WO2012096058A1 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
WO2012096058A1
WO2012096058A1 PCT/JP2011/076899 JP2011076899W WO2012096058A1 WO 2012096058 A1 WO2012096058 A1 WO 2012096058A1 JP 2011076899 W JP2011076899 W JP 2011076899W WO 2012096058 A1 WO2012096058 A1 WO 2012096058A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional object
peripheral
vehicle
bird
Prior art date
Application number
PCT/JP2011/076899
Other languages
English (en)
French (fr)
Inventor
山本欣司
武田聖子
久保山剛
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201180064774.5A priority Critical patent/CN103299617B/zh
Publication of WO2012096058A1 publication Critical patent/WO2012096058A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to an image generation apparatus that generates, as a display image, a bird's-eye view image from an upper virtual viewpoint above a camera viewpoint by projective conversion of a captured image acquired by an on-vehicle camera capturing an area around a vehicle.
  • a bird's-eye view image from directly above is generated by projecting a captured image acquired by an on-vehicle camera onto a projection plane parallel to the road surface, that is, projective transformation with the virtual viewpoint positioned vertically above Be done. Therefore, by displaying this overhead view image on the monitor, the driver is supported to grasp the road surface condition around the vehicle.
  • the distortion of the image in the far area is larger than that in the vicinity area of the on-vehicle camera, and it is difficult for the driver to feel a sense of distance.
  • a second image conversion unit configured to project the camera image on a curved surface and convert the camera image into a curved surface projection image (for example, a cylindrical surface projection image)
  • the image conversion unit converts a first image area having a predetermined width in the photographed image into the planar projection image, and the second image conversion unit is outside the width direction of the first image area in the photographed image.
  • the second image area (cylindrical surface projection area), which is the area of (1), is converted to the curved surface projection image. Therefore, by giving the image converted by this device to the display unit, an image having a plane projection image close to an image visually recognized by the driver actually and a curved surface projection image with a wide field of view is displayed. For this reason, the fall of a driver's visibility is controlled.
  • the device according to this patent document 1 makes it easy to see displays such as road division lines and road shoulders drawn on the road surface, the three-dimensional object (not only people and cars but also Road obstacles, such as triangle cones, etc.) become distorted and distorted in the imaging direction.
  • the near projection screen set on the road surface as the virtual projection plane, and the close projection screen connected to the far side from the real camera has a predetermined upward inclination angle.
  • the virtual stereoscopic projection plane having the distant view screen set is set, and the virtual camera is set at a position higher than the actual camera acquiring camera video data by the image projected on the actual imaging plane.
  • the monitor image is an image obtained by combining the overhead view image of the near view where it is easy to recognize the sense of distance and the perspective image of the middle view to the distant view where it is easy to recognize the sense of distance.
  • the overlapping area captured in duplicate by the plurality of in-vehicle cameras during display of the overhead display image created based on the original images captured by the plurality of in-vehicle cameras Is configured to switch the image displayed on the display device from the overhead display image to the original images of a plurality of in-vehicle cameras shooting the overlapping area when the obstacle detection device detects an obstacle present in the .
  • the obstacle detection device detects an obstacle present in the obstacle.
  • JP 2008-181330 A (paragraph number [0010-0016], FIG. 5) JP, 2008-83786, A (paragraph number [0007-0012], FIG. 1, 2)
  • Patent Document 1 JP 2007-235529 A (paragraph number [0007-0008], FIG. 11)
  • an object of the present invention is to generate a bird's-eye-view image from which a three-dimensional object present on a road surface can be recognized with a good sense of distance from a photographed image of a vehicle-mounted camera.
  • the feature of the image generating apparatus is as follows: the overhead view image generated by projective transformation of the captured image acquired by the on-vehicle camera capturing the peripheral area of the vehicle from the upper virtual viewpoint as a display image; A peripheral overhead view image generation unit that generates a peripheral overhead view image from the captured image using projective transformation, a solid object present in the field of view of the on-vehicle camera is detected, and solid object information including the position of the solid object is output A three-dimensional object detection unit, a three-dimensional object extraction unit for extracting a three-dimensional object image which is an image area including the three-dimensional object from the captured image based on the three-dimensional object information; A solid object eyelid image generation unit that generates a solid object eyelid image from the solid object picture using a second projective transformation that reduces distortion; and the three-dimensional object outline image on the peripheral eyelid image based on the solid object information.
  • the photographed image of the on-vehicle camera is converted into the peripheral bird's-eye image from the upper virtual viewpoint using the first projective transformation
  • a second object transformation image different from the first projection transformation is used to generate a three-dimensional object overhead image
  • the three-dimensional object overhead image is synthesized with the peripheral overhead image.
  • the second projective transformation is provided with parameters such that distortion of a three-dimensional object in the peripheral overhead image is reduced as compared to the first projection conversion used for generating the peripheral overhead image.
  • the three-dimensional object in the synthesized peripheral bird's-eye view image does not have a shape elongated in a long and thin manner as in the prior art, but a natural shape that is more easily visible. From this, the driver can recognize a three-dimensional object present on the road surface with a good sense of distance from this peripheral bird's-eye view image.
  • the first projective transformation is a bird's eye view from the upper virtual viewpoint, that is, a projective transformation that projects the photographed image from above onto the projection plane parallel to the road surface
  • the projected image of the placed three-dimensional object has an extended distortion.
  • the shape of the projection plane used for projective transformation and the positions of the projection plane and the three-dimensional object The relationship is an important factor. From this, in the preferred embodiment of the present invention, the shape of the projection surface or the projection surface and the projected three-dimensional object based on the three-dimensional object information including the position, the shape of the three-dimensional object, etc. It is configured to set the transformation parameter of the second projective transformation, which is the relative position or both of.
  • a shape of a projection surface a curved surface and a bending surface which are described in the above-mentioned patent documents 1 and 2 are preferred.
  • the front side is a projection plane part parallel to a road surface bordering on the boundary area
  • the peripheral eyelid Since the coordinate positions where the three-dimensional object appears are different between the peripheral eyelid image and the solid object eye image generated using different projective transformations, that is, different projection planes, even if the stereoscopic object eye image is synthesized with the peripheral eyelid image, the peripheral eyelid is originally The three-dimensional object captured in the image remains in the peripheral overhead image after image composition.
  • the peripheral bird's-eye view image combines the photographed images of a plurality of in-vehicle cameras having different photographing directions, the mismatch of the position of the three-dimensional object between the peripheral bird's-eye view and the three-dimensional object bird's-eye image becomes remarkable.
  • a three-dimensional object suppression unit which performs a suppression process so as not to make the region of the three-dimensional object image in the peripheral bird's-eye view image inconspicuous.
  • suppression processing blurring processing, color reduction processing, blending processing with a peripheral pixel group, or the like can be used.
  • color correction processing is performed on the three-dimensional object overhead image so that the three-dimensional object overhead image is highlighted. For example, it is a preferred embodiment to decolorize the color of a three-dimensional object.
  • the peripheral bird's-eye view image is a combination of images captured by a plurality of in-vehicle cameras having different image capturing directions
  • a three-dimensional object may appear in the two captured images.
  • the three-dimensional object is included in photographed images of two or more cameras.
  • a three-dimensional object image having a three-dimensional object region with a smaller area is extracted. The reason is that the smaller the area of the three-dimensional object region, the smaller the distortion of the three-dimensional object in the bird's-eye view image, in particular, the smaller the inclination, as an experimental result.
  • FIG. 5 is a schematic view illustrating a process of generating a solid object overhead image using projection transformation selected from various projection transformations. It is a flowchart which shows a bird's-eye view image display routine.
  • FIG. 1 is a basic conceptual diagram schematically illustrating generation of a bird's-eye view image using two different projective transformations, and here, in order to simplify the explanation, only images captured by a back camera as a vehicle-mounted camera are shown here. The generation of the overhead image used is shown.
  • a captured image of a peripheral region in the traveling direction of the vehicle is acquired by the on-vehicle camera (# 1).
  • detection processing of a three-dimensional object around the vehicle is performed, and if a three-dimensional object is detected within the shooting field of view of the on-vehicle camera, three-dimensional object information describing data such as position, attitude, and size of the three-dimensional object Is generated (# 101).
  • a first projective transformation in which the projection plane is parallel to the road surface that is, a viewpoint transformation in which a virtual viewpoint is set immediately above is performed (# 2).
  • a peripheral bird's eye image which is a bird's eye image from directly above the photographed image is obtained.
  • the three-dimensional object should be shown in this peripheral bird's-eye view image. Therefore, the three-dimensional object region is calculated using position information from three-dimensional object information, edge detection processing, etc., and the three-dimensional object region is subjected to suppression processing so that the three-dimensional object region is not noticeable from the peripheral portion.
  • this suppression processing image processing such as blurring, blending with peripheral pixels ( ⁇ -blending, etc.), saturation reduction, etc. is performed.
  • the three-dimensional object region is extracted from the photographed image using position information from three-dimensional object information, edge detection processing, and the like (# 102).
  • a second projective transformation is performed on the extracted three-dimensional object image using a projection plane having an inclination angle close to perpendicular to the road surface at least on the far side, and a three-dimensional object overhead image is obtained (# 103) .
  • a curved surface which is curved upward in the vertical direction from the road surface is used.
  • the vicinity of the top of the three-dimensional object is not a virtual viewpoint that looks at the road surface from above, but a haze that uses a virtual viewpoint that looks at the road surface substantially from the horizontal direction. Therefore, such a disadvantage that the top of the three-dimensional object extends as in the first projective transformation described above is avoided.
  • a three-dimensional object overhead image is synthesized so as to be superimposed from above on a position where a three-dimensional object is present on the three-dimensional object suppression peripheral overhead image (# 4).
  • the synthesized final bird's-eye view image is sent to the monitor as a monitor display bird's-eye view image.
  • FIG. 2 is a basic conceptual view showing a process of creating an all around bird's eye image from four peripherally captured images from the back camera 1a, left and right side cameras 1b and 1c, and the front camera 1d.
  • FIG. 2 exemplifies a procedure for generating an all-surrounding bird's-eye view image displayed on a monitor for parking assistance in parallel parking in reverse.
  • a triangular cone is reflected as a three-dimensional object to be noted in the image captured by the back camera 1a.
  • An image photographed rearward by the back camera 1a is projective-transformed as a rear area image of an all-surrounding bird's-eye view from directly above the vehicle.
  • the left captured image by the left side camera 1b, the right captured image by the right side camera 1c, and the forward captured image by the front camera 1d are projective transformations as a left area image, a right area image, and a front area image of the entire surrounding overhead view image, respectively.
  • the projective transformation is performed using the mapping table 63. Since the values of each map data are different, matching maps are set. However, each of these maps is created so as to provide a projective transformation in which a plane parallel to the road surface is a projection plane, and this projective transformation corresponds to the first projective transformation in the present invention.
  • the image captured behind the back camera 1a includes a three-dimensional object (triangular cone), but the presence of this three-dimensional object is detected by the three-dimensional object detection function mounted on this vehicle And three-dimensional object information is output. Therefore, based on this three-dimensional object information, the area where the three-dimensional object is taken from the rear captured image is extracted as a three-dimensional object image.
  • a projective transformation has been extracted that uses a curved surface or a bending surface (including a spherical surface and a cylindrical surface) with the camera side substantially parallel to the road surface and the far side substantially vertical (perpendicular) to the road surface.
  • This projective transformation corresponds to the second projective transformation in the present invention. Again, this projective transformation is performed using the mapping table 63.
  • this second projective transformation a projective transformation that makes the solid object easy to see can be determined according to the position, attitude, and size of the detected solid object. Therefore, a plurality of mapping tables are prepared. It is convenient to select the optimal projective transformation for At that time, not only the projection plane having a different three-dimensional shape is selected, but by appropriately selecting the projection plane and the solid object positional relationship, it is possible to obtain a bird's-eye-view image in which the three-dimensional object is easy to see.
  • the three-dimensional object region calculated based on the solid object information is subjected to suppression processing.
  • a three-dimensional object eyelid image is combined with a rear eyelid image segment including a suppression-treated three-dimensional object region, and a rear eyelid image segment to be synthesized as an all-round eyelid image is output.
  • the left eyelid image segment, the right eyelid image segment, and the front eyelid image segment, including the rear eyelid image segment, are synthesized to generate an all around eyelid image that is finally displayed on a monitor.
  • the synthesis of the three-dimensional object bird's eye image may be performed on a predetermined region of the previously generated all around bird's eye image.
  • FIG. 2 all around from the photographed image from the four on-vehicle cameras, the back camera 1a, the left side camera 1b, the right side camera 1c, and the front camera 1d and the three-dimensional object detection information
  • An image generation device for creating a bird's-eye view image is incorporated in a vehicle for the construction of a vehicle periphery monitoring system.
  • these on-vehicle cameras 1a, 1b, 1c, and 1d may be collectively simply referred to as a camera 1 as appropriate.
  • a photographed image by the camera 1 or a bird's-eye image generated using the photographed image is displayed on a monitor.
  • the camera 1 captures a two-dimensional image of 15 to 30 frames per second in time series using an imaging device such as a CCD (charge coupled device) or a CIS (CMOS image sensor), converts it into a digital signal, and realizes the captured image It is a digital camera that outputs.
  • the camera 1 is configured to include a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is secured in the horizontal direction, and the optical axis is installed on a vehicle with a depression angle of about 30 °.
  • an ECU 20 which is the core of the vehicle periphery monitoring system, is installed inside the vehicle.
  • the ECU 20 includes a sensor input interface 23 for communicating the signal input from the vehicle state detection sensor group as it is or evaluating it and transferring it to the inside of the ECU 20, a communication interface 70, etc. It has a microprocessor to process and a DSP (digital signal processor).
  • DSP digital signal processor
  • a vehicle state detection sensor group connected to the sensor input interface 23 detects the state of driving operation and vehicle travel.
  • the vehicle state detection sensor group includes a steering sensor that measures a steering operation direction (steering direction) and an operation amount (steering amount), a shift position sensor that determines the shift position of the shift lever, and an accelerator pedal.
  • the sensor includes an accelerator sensor that measures an operation amount, a brake sensor that detects an operation amount of a brake pedal, and a distance sensor that detects a travel distance of the vehicle.
  • the communication interface 70 used as an input / output interface adopts an in-vehicle LAN as a data transmission line, and control units such as the monitor 21, the touch panel 21T, the power steering unit PS, the transmission mechanism T, and the brake device BK Data transmission is possible.
  • control units such as the monitor 21, the touch panel 21T, the power steering unit PS, the transmission mechanism T, and the brake device BK Data transmission is possible.
  • a speaker 22 is also provided as an output device of audio information.
  • the ECU 20 is provided with various functional units constructed in the form of hardware and / or software, but as a functional unit particularly related to the present invention, as a three-dimensional object detection unit of the present invention
  • the three-dimensional object detection module 30, the image processing module 50, the display control unit 71, and the audio processing module 72 can be mentioned.
  • the monitor display image generated by the image processing module 50 is converted into a video signal by the display control unit 71 and sent to the monitor 21.
  • the voice guide generated by the voice processing module 72 and the warning sound in case of an emergency are sounded by the speaker 22.
  • an ultrasonic wave evaluation unit 31 which detects three-dimensional objects by evaluating detection signals from a plurality of ultrasonic sensors 3, and an image which performs three-dimensional object detection using a photographed image from the on-vehicle camera 1.
  • a recognition unit 32 is included.
  • the ultrasonic sensor 3 is disposed at both ends and the center of each of the front, rear, left and right sides of the vehicle, and an object (obstacle) existing in the vicinity of the vehicle periphery is reflected through the reflected waves from them. It can be detected.
  • the image recognition unit 32 implements an object recognition algorithm that is known per se, and detects a three-dimensional object around the vehicle from the input captured image, in particular, the captured image that is continuous with time.
  • any one of the ultrasonic wave evaluation unit 31 and the image recognition unit 32 may be used, but the image recognition unit 32 excellent in detecting the form of a three-dimensional object and the distance to the three-dimensional object That is, by providing both of the ultrasonic wave evaluation unit 31 which is excellent in calculating the position of the three-dimensional object and performing a cooperative operation, more accurate three-dimensional object detection becomes possible.
  • the three-dimensional object detection module 30 can output three-dimensional object information describing the position, posture, size, color tone, and the like of the detected three-dimensional object. Therefore, any one or a combination of the ultrasonic wave evaluation unit 31 and the image recognition unit 32 functions as the three-dimensional object detection unit in the present invention, and further, other three-dimensional object detection using laser radar It also includes the device.
  • the image processing module 50 has a function of generating an image such as a bird's-eye view image or the like converted by projective transformation from a captured image acquired by the camera 1 that captures the periphery of the vehicle.
  • the image processing module 50 includes a photographed image memory 51, a preprocessing unit 52, an image generation unit 60, a three-dimensional object information acquisition unit 53, an image combining unit 55, and a frame memory 56.
  • the photographed image acquired by the camera 1 is expanded in the photographed image memory 51, and the preprocessing unit 52 adjusts the luminance balance, color balance, and the like between the photographed images individually acquired by the camera 1.
  • the three-dimensional object information acquisition unit 53 receives the three-dimensional object information output from the three-dimensional object detection module 30, and reads out the position, posture, size, color tone, etc. of the three-dimensional object described in the three-dimensional object information.
  • the image generation unit 60 includes a normal image generation unit 61, a projective transformation selection unit 62, a mapping table 63, a peripheral eyelid image generation unit 64, a three-dimensional object eye image generation unit 65, a three-dimensional object extraction unit 66, and a three-dimensional object suppression unit 67. It is.
  • the normal image generation unit 61 adjusts the photographed image to an image quality suitable for monitor display as a vehicle peripheral image as it is.
  • the vehicle peripheral image displayed on the monitor may be one selected by the driver from the images captured by the back camera 1a, the left and right side cameras 1b and 1c, and the front camera 1d, or a combination of multiple captured images. .
  • the peripheral bird's-eye view image generation unit 64 performs the first projective transformation using the photographed image developed in the photographed image memory 51 to generate a peripheral bird's-eye view image.
  • the first projective transformation here, the projective transformation with a virtual viewpoint located above the vehicle and a plane parallel to or parallel to the road surface as the projection plane is set by default, but the driver's preference or driving situation It can be changed according to
  • the three-dimensional object overhead image generation unit 65 does not use the photographed image developed in the photographed image memory 51 as it is, but uses the three-dimensional object image obtained by extracting the image area of the three-dimensional object shown in the photographed image.
  • the second projective transformation is performed to generate a solid object overhead image.
  • the extraction of the three-dimensional object image from the photographed image is performed by the three-dimensional object extraction unit 66 based on the position data and the like read from the three-dimensional object information by the three-dimensional object information acquisition unit 53. Therefore, the three-dimensional object extraction unit 66 converts the position data of the three-dimensional object into the position coordinates of the photographed image system, calculates a rough area in which the three-dimensional object is copied, and detects the edge detection filter in the calculated area. It has a function of detecting the boundary of a three-dimensional object estimated using The three-dimensional object extraction unit 66 extracts a region surrounded by the boundary or a region extended from the boundary by a predetermined length as a three-dimensional object image, and supplies the same to the three-dimensional object overhead image generation unit 65.
  • the second projective transformation to be executed by the three-dimensional object overhead image generation unit 65 a plurality of types of projective transformations are prepared. Selection of the projective transformation performed by the three-dimensional object overhead view image generation unit 65 is performed by the projective transformation selection unit 62 based on the relative position of the three-dimensional object with respect to the camera 1, its posture, its size, and the like.
  • the projective transformation in the peripheral eyelid image generating unit 64 and the three-dimensional object overhead image generating unit 65 is performed by map transformation using a mapping table. Therefore, various projective transformations used here are used.
  • a mapping table is pre-stored to be selectable.
  • An aggregate of such a plurality of selectable stored mapping tables and an individual mapping table are referred to herein as a mapping table 63 and are also schematically illustrated in FIG.
  • each mapping table (hereinafter, abbreviated to a map as a point) constituting the mapping table 63 can be constructed in various forms, here, the pixel data of the photographed image and the pixels of the projection conversion image (usually an overhead image)
  • the map is constructed as a map in which the correspondence with the data is described, and the destination pixel coordinates in the overhead image are described in each pixel of the photographed image of one frame. Therefore, different maps are applied to each on-vehicle camera.
  • the projective transformation selection unit 62 estimates the shape of the three-dimensional object after projective transformation based on the data read from the three-dimensional object information for the three-dimensional object overhead image generation unit 65, and harmonizes with the peripheral bird's eye image as much as possible. And select a projective transformation that reduces distortion such as spacing. Furthermore, the three-dimensional object overhead image generation unit 65 can perform, as necessary, color correction processing such as saturation increase or contour emphasis processing so that the image region indicating the three-dimensional object is highlighted.
  • FIG. 5 schematically shows how a projective transformation selection unit 62 selects a map suitable for the three-dimensional object overhead view image generation unit 65 and a final overhead view image is generated.
  • a three-dimensional object image is extracted from the photographed image based on data (position, posture, shape, etc.) of the three-dimensional object described in the three-dimensional object information.
  • rule operation processing is performed using data of such a three-dimensional object as an input parameter, and a map selection instruction for instructing an optimal type of projective transformation is determined.
  • An application map is set in the three-dimensional object overhead view image generation unit 65 based on the map selection instruction.
  • a projection surface shape that defines projective transformation, and a transformation parameter representing the relative position between the projection surface and the solid object are set.
  • the structure is
  • a projective transformation for reducing distortion of a three-dimensional object as schematically shown in FIG. 5, a plurality of projective transformations in which the shape of the projection surface and the relative position of the three-dimensional object are different are prepared in the form of a map.
  • the shape of the projection surface include a cylindrical curved surface, a curved surface including a flat surface bent halfway, and a spherical curved surface.
  • a vertical plane perpendicular to the road surface or an inclined plane with respect to the road surface can also be used as a projection plane.
  • different projection transformations can be realized by arranging the projection planes at different relative positions with respect to the three-dimensional object.
  • the solid object may be projected on a raised inclined or curved surface area from the road surface of the projection surface, whereby a projection surface parallel to the road surface over the entire projected image of the solid object. Distortion which occurs while occurring at From this, it is convenient that the projected position of the end on the road surface side of the three-dimensional object coincides with the position of the area where the projection surface rises from the road surface.
  • the three-dimensional object is arranged using the projection surface arranged such that this position matches the rising position from the road surface of the projection surface. It is good to generate a bird's-eye view image.
  • a neural network is constructed by incorporating data of a three-dimensional object (position, posture, shape, etc.) described in three-dimensional object information as an input parameter and a map selection command as an output parameter, and incorporated in the projective transformation selection unit 62 It is good.
  • the three-dimensional object overhead image is generated from the three-dimensional object image using the map.
  • the three-dimensional object suppression unit 67 has a blending function in order to suppress the region of the three-dimensional object image in the peripheral overhead image generated by the peripheral overhead image generation unit 64 so as to be inconspicuous.
  • a typical process of this blending function is a process of replacing the pixel values of the area of the solid object image based on the pixel values of the peripheral area of the area of the solid object image, for example, the right area and the left area. If multiple cameras are used, the process using the road surface projection image by the camera on the side where the three-dimensional object is not reflected, for example, the pixel value of the road surface projection image The replacement process is also effective as the blending process. Of course, other processes may be adopted. Further, instead of the blending function with peripheral pixels, a configuration may be used that uses blurring processing or saturation reduction processing.
  • the image combining unit 55 generates the three-dimensional object image generated by the three-dimensional object overhead image generation unit 65 in the region of the three-dimensional object in the peripheral bird's-eye view image subjected to the three-dimensional object suppression processing by the three-dimensional object suppression unit 67 as necessary. Overlay and combine images.
  • the final peripheral bird's-eye view image thus synthesized is transferred to the frame memory 56 as a display bird's-eye image and displayed on the monitor 21 via the display control unit 71.
  • the display type of the bird's-eye view image which is set manually according to the driver's request or is set by default, is read (# 01).
  • the display type of the overhead view image defines a photographed image and a virtual viewpoint position used when generating the peripheral overhead view image, a layout of the generated display overhead view image on the monitor screen, and the like.
  • a map for the first projective transformation used by the peripheral overhead view image generation unit 64 is set for each captured image of the on-vehicle camera 1 to be used according to the display type of the overhead view image read (# 02).
  • the photographed image of the on-vehicle camera 1 is acquired (# 03).
  • An overhead image segment is generated from each captured image using each set map (# 04). While combining the generated overhead image segments, an overhead image image (which may be an illustration or a symbol) of a vehicle preset at the position of the host vehicle is arranged, and a peripheral overhead image is generated (# 05).
  • step # 06 If three-dimensional object information is output in the check of step # 06 (# 06 Yes branch), it is considered that a three-dimensional object to be noticed is reflected in the photographed image, and first, the three-dimensional object detected from the three-dimensional object information Data such as position, attitude, size, etc. are read out (# 07). The image area of the three-dimensional object in the photographed image is calculated based on the data on the read three-dimensional object (# 08), and the three-dimensional object image is extracted and temporarily stored in the memory (# 09). Furthermore, blend processing is performed on the image area of the solid object in the peripheral overhead image using the pixel values of the peripheral area to perform solid object suppression processing to eliminate or weaken the presence of the solid object (# 10 ).
  • a projection conversion image is generated using another projection conversion, that is, the second projection conversion, only for the solid object image extracted from the captured image.
  • an optimal map for the second projective transformation is selected and set based on three-dimensional object information from various forms as shown in FIG. 5 (# 11).
  • the three-dimensional object eyelid image generation unit 65 projective converts the three-dimensional object image using the set map, and generates a three-dimensional object eyelid image in which distortion is reduced compared to the peripheral eyelid image (# 12). At that time, if necessary, a color correction process to increase the saturation of the three-dimensional object region in the three-dimensional object image or a shape clarification process to emphasize the contour may be performed. Furthermore, the solid object eyelid image is superimposed and synthesized on the image area of the solid object in the peripheral eyelid image (# 13). The final peripheral bird's-eye view image thus generated is generated as a display bird's-eye view image (# 14) and displayed on the monitor 21 (# 15).
  • a three-dimensional object overhead image may be generated using different projection transformations depending on the three-dimensional object, and may be combined with the peripheral overhead image.
  • object detection methods such as laser radar and infrared methods.
  • the present invention can be used in all systems that monitor the surroundings of a vehicle using an overhead image.
  • solid object detection module 21 monitor 50: image processing module 53: solid object information acquisition unit 55: image combination unit 60: image generation unit 61: normal image generation unit 62: projection conversion selection unit 63: mapping table 64: periphery Overhead image generation unit 65: Three-dimensional object Overhead image generation unit 66: Three-dimensional object extraction unit 67: Three-dimensional object suppression unit 71: Display control unit

Abstract

　路面上に存在している立体物を良好な距離感をもって認識することができる俯瞰画像を車載カメラの撮影画像から生成する画像生成装置は、第１射影変換を用いて撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、立体物情報に基づいて撮影画像から立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、周辺俯瞰画像における立体物の歪みを低減する第２射影変換を用いて立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、立体物情報に基づき周辺俯瞰画像に立体物俯瞰画像を画像合成する画像合成部を備える。

Description

画像生成装置
　本発明は、自車の周辺領域を撮影する車載カメラによって取得された撮影画像を射影変換することでカメラ視点より上方の上方仮想視点からの俯瞰画像を表示画像として生成する画像生成装置に関する。
　従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。
　このような問題を解決するため、例えば特許文献１に記載された画像処理装置では、車載カメラによって撮像された撮影画像（カメラ画像）を取得する取得部と、前記撮影画像を平面に投影して、平面投影画像に変換する第１画像変換部と、前記カメラ画像を曲面に投影して、曲面投影画像（例えば、円筒面投影画像）に変換する第２画像変換部とを備え、前記第１画像変換部は、前記撮影画像内において所定の幅を有する第１画像領域を前記平面投影画像に変換し、前記第２画像変換部は、前記撮影画像内において前記第１画像領域の幅方向外側の領域である第２画像領域（円筒面投影領域）を前記曲面投影画像に変換する。したがって、この装置によって変換された画像を表示部に与えることで、運転者が実際に目視で見える画像に近い平面投影画像と、視野の広い曲面投影画像とをあわせもつ画像が表示される。このため、運転者の視認性の低下が抑制される。しかしながら、この特許文献１による装置は、路面上に描かれた道路区画線や路肩などの表示は見やすくなるとしても、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となってしまう。
　また、特許文献２に記載された画像生成装置では、仮想投影面として、路面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンとを有する仮想立体投影面が設定され、実撮像面に投影される画像によりカメラ映像データを取得する実カメラより高い位置に仮想カメラが設定される。そして、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換され、座標変換にしたがって仮想カメラの仮想撮像面上にカメラ撮影画像の各画素が移され、仮想カメラから仮想立体投影面を見たときに仮想撮像面に投影される画像がモニタに表示される。これにより、モニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景から遠景のパース画像とを合成した画像となる。しかしながら、この装置でも、路面上に配置された立体物の撮影画像が路面に水平な仮想投影面で変換された場合には、長く間延びした形状となり、立体物の視認性の低下は避けられない。
　さらに、特許文献３による車両周囲監視システムでは、複数の車載カメラで撮影された原画像をもとに作成した俯瞰表示画像の表示中に、複数の車載カメラで重複して撮影される重複領域内に存在する障害物を障害物検知装置が検知したときに、表示装置に表示させる画像を、俯瞰表示画像から、重複領域を撮影する複数の車載カメラの原画像へと切り替えるように構成されている。この構成では、障害物の検知時に、障害物の種類などを原画像を通じて直感的且つ瞬時に特定することを図っているが、俯瞰画像を通じて障害物を良好に視認したいという要望を満たすことはできない。
特開２００８－１８１３３０号公報（段落番号〔００１０－００１６〕、図５） 特開２００８－８３７８６号公報（段落番号〔０００７－００１２〕、図１,２） 特開２００７－２３５５２９号公報（段落番号〔０００７－０００８〕、図１１）
　上記実情に鑑み、本発明の目的は、路面上に存在している立体物を良好な距離感をもって認識することができる俯瞰画像を車載カメラの撮影画像から生成することにある。
　車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明に係る画像生成装置の特徴は、第１射影変換を用いて前記撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、前記車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、前記立体物情報に基づいて前記撮影画像から前記立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、前記周辺俯瞰画像における前記立体物の歪みを低減する第２射影変換を用いて前記立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、前記立体物情報に基づき前記周辺俯瞰画像に前記立体物俯瞰画像を画像合成する画像合成部とを備えた点にある。
　この構成によると、第１射影変換を用いて車載カメラの撮影画像を上方仮想視点からの周辺俯瞰画像に変換する際に、視野内に立体物の存在が検知されると、その撮影画像から抽出された立体物画像を第１射影変換とは異なる第２射影変換を用いて立体物俯瞰画像を生成し、この立体物俯瞰画像を周辺俯瞰画像に合成する。第２射影変換は周辺俯瞰画像の生成に用いられた第１射影変換に比べて当該周辺俯瞰画像における立体物の歪みが低減するようなパラメータを備えている。従って、合成された周辺俯瞰画像における立体物は従来のように細長く間延びした形状とならず、より視認しやすい自然な形状になっている。このことから、運転者は、この周辺俯瞰画像から路面上に存在している立体物を良好な距離感をもって認識することができる。
　上記説明から明らかなように、第１射影変換が上方仮想視点からの俯瞰画像、つまり上から撮影画像を撮影視点から路面に平行な投影面に投影するような射影変換であることから、路面に置かれた立体物の投影画像は間延びした歪みをもってしまう。このことから第２射影変換は、その投影面が路面に平行ではなく、できるだけ路面に対して傾斜させた投影面を用いることが好適である。従って、本発明の好適な実施形態の１つでは、前記第２射影変換として、前記撮影画像を撮影視点から路面に垂直な投影面に投影する射影変換を採用している。
　撮影画像中に含まれる路面上の立体物を、その俯瞰画像における歪みできるだけ小さくする射影変換のパラメータを設定するためには、射影変換に用いる投影面に形状と当該投影面と立体物との位置関係が重要なファクタとなる。このことから、本発明の好適な実施形態では、撮影空間における立体物に位置や立体物の形状などを含む立体物情報に基づいて、投投影面の形状又は投影面と投影される立体物との相対位置あるいはその両方である前記第２射影変換の変換パラメータを設定するように構成されている。投影面の形状としては、前述した特許文献１や２に記載されているような湾曲面や屈曲面が好適である。その際、特に、立体物と路面との境界領域を境にしてその前方側を路面に平行な投影面部とし、その後方側を垂直面ないしは垂直面に近い傾斜面とすることが好ましい。これにより、俯瞰画像において立体物の頂上が間延びしてしまうという視認上の欠点を取り除くことができる。
　異なる射影変換、つまり異なる投影面を用いて生成された周辺俯瞰画像と立体物俯瞰画像では立体物が写る座標位置が異なるので、周辺俯瞰画像に立体物俯瞰画像を合成しても、元々周辺俯瞰画像に写っていた立体物が画像合成後の周辺俯瞰画像に残ってしまう。特に周辺俯瞰画像が複数の撮影方向の異なる車載カメラの撮影画像を組み合わせている場合には、周辺俯瞰画像に立体物俯瞰画像との間での立体物の位置の不一致は顕著となる。このため、本発明の好適な実施形態では、前記周辺俯瞰画像における前記立体物画像の領域を目立たないように抑制処理をする立体物抑制部が備えられている。そのような抑制処理としては、ぼかし処理、低彩度化処理、周辺画素群とのブレンド処理などが利用できる。
　また、車両周辺の立体物をより明確に視認させるためには、周辺俯瞰画像に合成される立体物俯瞰画像を目立たせることが有効である。このため、本発明の好適な実施形態では、前記立体物俯瞰画像が強調表示されるように前記立体物俯瞰画像に色補正処理が施される。例えば、立体物の色を高彩度化することは好ましい実施形態である。
　周辺俯瞰画像が複数の撮影方向の異なる車載カメラの撮影画像を組み合わせている場合には、２つの撮影画像に立体物が写りこむことがある。そのようなケースにおいては、各撮影画像から立体物を抽出することができるので、そのうちの１つだけをより適切な立体物として選択することが好ましい。この目的のため、前記車載カメラが車両全周囲を撮影するために複数設置されている実施形態の好適な１つでは、前記立体物が２つ以上のカメラの撮影画像に含まれている場合には、より面積の小さい方の立体物領域を有する立体物画像が抽出されるように構成されている。その理由は立体物領域の面積が小さい方が俯瞰画像における立体物の歪、特に傾きが小さいことが実験的な結果として示されているからである。
本発明による画像生成装置で用いられている、車載カメラの撮影画像から周辺俯瞰図と立体物俯瞰図とを異なる射影変換で別個に生成して合成する基本的な画像処理過程を模式的に説明する模式図である。 周辺俯瞰画像に立体物俯瞰画像を合成して最終的な表示用俯瞰画像を生成する過程を図解した模式図である。 本発明による画像生成装置を組み込んだ車両周辺監視システムの機能ブロック図である。 車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。 種々の射影変換から選択された射影変換を用いて立体物俯瞰画像を生成する過程を図解した模式図である。 俯瞰画像表示ルーチンを示すフローチャートである。
　まず、本発明による画像生成装置で用いられている、車載カメラの撮影画像から周辺俯瞰図と立体物俯瞰図とを異なる射影変換で別個に生成して合成する基本的な画像処理過程を説明する。図１は、２つの異なる射影変換を用いた俯瞰画像の生成を模式的に図解している基本構想図であり、ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されている。
　車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。同時に、車両周辺における立体物の検出処理が行われており、車載カメラの撮影視野内に立体物が検知された場合、その立体物の位置、姿勢、大きさなどのデータを記述した立体物情報が生成される（＃１０１）。バックカメラの撮影画像から、投影面を路面に平行な面とする第１の射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃２）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である周辺俯瞰画像が得られる。立体物情報が生成されていると、この周辺俯瞰画像中にも立体物が写っているはずである。従って、その立体物領域を立体物情報からの位置情報やエッジ検出処理などを用いて算定し、その立体物領域が周辺部から目立たないように立体物領域に対して抑制処理を施し、立体物抑制周辺俯瞰画像を得る（＃３）。なお、このように生成される周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。この抑制処理としてぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの画像処理が行われる。
　また、立体物情報が生成されていると、撮影画像から、その立体物領域を立体物情報からの位置情報やエッジ検出処理などを用いて抽出する（＃１０２）。抽出された立体物画像に対して、少なくとも遠方側では路面に対して鉛直に近い傾斜角を有する投影面を用いた第２の射影変換が行われ、立体物俯瞰画像が得られる（＃１０３）。図１の例では路面から鉛直方向に上向き湾曲した湾曲面が用いられている。このような投影面を用いた第２射影変換では、立体物の頂部付近は上方から路面を見る仮想視点ではなく、ほぼ水平方向から路面を見る仮想視点を用いた俯瞰となる。従って、前述した第１射影変換で生じたような立体物の頂部付近が間延びするような不都合は回避される。
　ステップ＃３で立体物抑制周辺俯瞰画像上の立体物が存在する位置に立体物俯瞰画像が上から重ね合わさるように合成される（＃４）。合成された最終的な俯瞰画像はモニタ表示用俯瞰画像としてモニタに送られる。
　図１の基本構想図ではバックカメラからの唯一の撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況が把握できる全周囲俯瞰画像の要望が高い。図２は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの周辺撮影画像から全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
　図２では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる前方撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブル６３を用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されたのであり、この射影変換が本発明における第１射影変換に相当する。
　４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知され、立体物情報が出力される。従って、この立体物情報に基づいて、後方撮影画像から立体物が写されている領域が立体物画像として抽出される。カメラ側が路面に対して実質的に平行で、遠方側が路面に対してほぼ鉛直（垂直）となる湾曲面ないしは屈曲面（球面や円筒面を含む）を投影面とする射影変換が、抽出された立体物画像に行われることで、立体物俯瞰画像が生成される。この射影変換が本発明における第２射影変換に相当する。ここでも、この射影変換はマッピングテーブル６３を用いて行われる。この第２射影変換では、検知された立体物の位置や姿勢や大きさによって、立体物が見やすくなる射影変換を求めることができるため、複数のマッピングテーブルを用意しておき、第２射影変換のために最適な射影変換を選択するようにすると好都合である。その際、三次元形状が異なる投影面を選択するだけでなく、投影面と立体物位置関係も適切に選択することで、より立体物が見やすい俯瞰画像が得られる。
　また、生成された立体物俯瞰画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、予め立体物情報に基づいて算定された立体物領域が抑制処理を受ける。抑制処理された立体物領域を含む後方俯瞰画像セグメントに立体物俯瞰画像が合成され、全周囲俯瞰画像として合成される後方俯瞰画像セグメントが出力される。この後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。もちろん、立体物俯瞰画像の合成を、先に生成しておいた全周囲俯瞰画像の所定の領域に行うようにしてもよい。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図２で例示されているように、４つの車載カメラ、バックカメラ１ａ、左サイドカメラ１ｂ、右サイドカメラ１ｃ、フロントカメラ１ｄからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
　カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５～３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０～１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
　車両内部には、車両周辺監視システムの中核をなすＥＣＵ２０が設置されている。このＥＣＵ２０は、図３に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や、通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
　センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
　また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
　そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、本発明の立体物検知部としての立体物検知モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
　立体物検知モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う超音波評価部３１と、車載カメラ１からの撮影画像を用いて立体物検知を行う画像認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。画像認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を検知する。
　立体物の検知のためには、超音波評価部３１と画像認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた画像認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた超音波評価部３１の両方を備えて協働作業させることでより正確な立体物検知が可能となる。これにより、立体物検知モジュール３０は、検知した立体物の位置、姿勢、大きさ、色調などを記述した立体物情報を出力することができる。従って、超音波評価部３１と画像認識部３２のいずれでもあるいはその組み合わせであっても本発明における立体物検知部として機能するものであり、さらには、レーザレーダを用いるような他の立体物検知装置も含むものである。
　図４に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
　画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部６０、立体物情報取得部５３、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物情報取得部５３は、立体物検知モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、姿勢、大きさ、色調などを読み出す。
　画像生成部６０は、通常画像生成部６１、射影変換選択部６２、マッピングテーブル６３、周辺俯瞰画像生成部６４、立体物俯瞰画像生成部６５、立体物抽出部６６、立体物抑制部６７を含んでいる。通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせででもよい。
　周辺俯瞰画像生成部６４は、撮影画像メモリ５１に展開されている撮影画像を用いて第１射影変換を行い、周辺俯瞰画像を生成する。この第１射影変換として、ここでは車両の上方に位置する仮想視点、及び路面に一致する面又は平行な面を投影面とした射影変換がデフォルト設定されているが、運転者の嗜好あるいは運転状況に応じて変更可能である。
　立体物俯瞰画像生成部６５は、撮影画像メモリ５１に展開されている撮影画像をそのまま用いるのではなく、撮影画像に写っている立体物の画像領域を抽出して得られた立体物画像を用いて第２射影変換を行い、立体物俯瞰画像を生成する。撮影画像からの立体物画像の抽出は、立体物情報取得部５３によって立体物情報から読み出された位置データなどに基づいて立体物抽出部６６が行う。このため、立体物抽出部６６には、立体物の位置データを撮影画像系の位置座標に変換し、立体物が写されている大まかな領域を算定し、その算定された領域においてエッジ検出フィルタなどを用いて推定される立体物の境界線を検知する機能を有する。立体物抽出部６６は、この境界線によって囲まれた領域、ないしはこの境界線から所定長さ分だけ広げた領域を立体物画像として抽出して、立体物俯瞰画像生成部６５に与える。また、立体物俯瞰画像生成部６５で実行される第２射影変換として、複数の種類の射影変換が用意されている。立体物俯瞰画像生成部６５で実行される射影変換の選択は、当該立体物のカメラ１に対する相対位置、その姿勢、その大きさ等に基づいて射影変換選択部６２が行う。
　なお、この実施形態では、周辺俯瞰画像生成部６４及び立体物俯瞰画像生成部６５における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６３と称し、図４においても模式的に図示されている。マッピングテーブル６３を構成する各マッピングテーブル（以下点にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰画像）の画素データとの対応関係が記述されたマップとして構築され、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものである。従って、車載カメラ毎に異なるマップが適用される。
　射影変換選択部６２は、立体物俯瞰画像生成部６５に対しては、立体物情報から読み出されたデータに基づいて、射影変換後の立体物の形状を推定し、周辺俯瞰画像とできるだけ調和するとともに間延び等の歪が低減する射影変換を選択する。さらに立体物俯瞰画像生成部６５は、立体物を示す画像領域に対して強調表示されるように彩度増加などの色補正処理や輪郭強調処理を必要に応じて施すことができる。
　図５には、立体物俯瞰画像生成部６５に対して適切なマップが、射影変換選択部６２によって選択されて、最終的な俯瞰画像が生成される様子が模式的に示されている。
　立体物情報が出力されると、一方では立体物情報に記述された立体物のデータ（位置、姿勢、形状など）に基づいて、撮影画像から立体物画像が抽出される。また、他方ではそのような立体物のデータを入力パラメータとしてルール演算処理を行って、最適種類の射影変換を指示するマップ選択指令が決定される。このマップ選択指令に基づいて、適用マップが立体物俯瞰画像生成部６５に設定される。つまり、立体物のデータに基づいて、射影変換を規定する投影面形状や当該投影面と立体物（正確には射影変換元画像としての立体物画像）との相対位置を表す変換パラメータが設定される構成となっている。
　ここでは、立体物の歪みを低減する射影変換として、図５で模式的に示すように、投影面形状と立体物との相対位置とが異なる複数の射影変換がマップの形態で準備されている。投影面形状としては、円柱状湾曲面、途中で折り曲げられた平面からなる屈曲面、球面状湾曲面などが挙げられる。もちろん、路面に垂直な垂直平面や路面に対して傾斜平面も投影面として利用可能である。また、それぞれの投影面は、立体物との異なる相対位置に配置することで異なる射影変換を実現することができる。特に好適な配置としては、立体物が投影面の路面からの立ち上がった傾斜面領域又は湾曲面領域で投影されることがあり、これにより、立体物の投影画像全体にわたって、路面と平行な投影面において生じる間延びした歪が抑制される。このことから、立体物の路面側端部の投影位置が投影面の路面からの立ち上がった領域位置と一致する配置が好都合である。その際は、立体物の路面側端部の位置はエッジ検出処理で検出することができるので、この位置が投影面の路面からの立ち上がり位置に一致させるように配置した投影面を用いて立体物の俯瞰画像を生成するとよい。
　準備された射影変換の種類が多くなると、その選択ルールが複雑になる。従ってそのような場合、立体物情報に記述された立体物のデータ（位置、姿勢、形状など）を入力パラメータ、マップ選択指令を出力パラメータとするニューラルネットワークを構築して射影変換選択部６２に組み込むとよい。立体物画像に適した射影変換のためのマップが選択されると、当該マップを用いて、立体物画像から立体物俯瞰画像が生成される。
　立体物抑制部６７は、周辺俯瞰画像生成部６４によって生成された周辺俯瞰画像における立体物画像の領域に対して目立たないように抑制処理をするために、ブレンド機能を備えている。このブレンド機能の典型的な処理は、立体物画像の領域の周辺領域、例えば右側領域と左側領域の画素値に基づいて立体物画像の領域の画素値を置き換える処理である。また、複数カメラを使用している場合であれば、立体物が写り込んでいない側のカメラによる路面投影画像を用いる処理、例えば当該路面投影画像の画素値で立体物画像の領域の画素値を置き換える処理もブレンド処理として有効である。もちろん、その他の処理を採用してもよい。また、周辺画素とのブレンド機能に代えて、ぼかし処理や彩度低減処理を用いる構成でもよい。
　画像合成部５５は、必要に応じて、立体物抑制部６７によって立体物の抑制処理を施した周辺俯瞰画像の当該立体物の領域に、立体物俯瞰画像生成部６５によって生成された立体物俯瞰画像を重ね合わせ合成する。合成された最終的な周辺俯瞰画像は表示俯瞰画像としてフレームメモリ５６に転送され、表示制御部７１を介してモニタ２１に表示される。
　次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
　この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアル設定されるか又はデフォルトで設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、周辺俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された表示俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて周辺俯瞰画像生成部６４で用いられる第１射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、周辺俯瞰画像が生成される（＃０５）。
　立体物検知モジュール３０から立体物情報が出力されているかどうかチェックする（＃０６）。立体物情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された周辺俯瞰画像をそのまま利用して表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１５）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
　ステップ＃０６のチェックで、立体物情報が出力されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物情報から検知された立体物の位置、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物に関するデータに基づいて撮影画像における当該立体物の画像領域を算定し（＃０８）、立体物画像を抽出して一時的にメモリに格納する（＃０９）。さらに、周辺俯瞰画像における立体物の画像領域に対して、その周辺領域の画素値を用いてブレンド処理を行い、立体物の存在をなくするかもしくは弱めるような立体物抑制処理を行う（＃１０）。
　周辺俯瞰画像では、立体物の路面からの高さやカメラ１からの距離に依存するが、上方に延びている立体物の上端は間延びして示される。このような上方の仮想視点からの俯瞰画像における立体物の歪みを低減するため、撮影画像から抽出された立体物画像だけを別な射影変換、つまり第２射影変換を用いて射影変換画像を生成する。このために、まず、図５で示されているような種々の形態から第２射影変換のために最適なマップを立体物情報に基づいて選択して設定する（＃１１）。次いで、立体物俯瞰画像生成部６５は設定されたマップを用いて立体物画像を射影変換し、周辺俯瞰画像に比べて歪が低減されている立体物俯瞰画像を生成する（＃１２）。その際、必要に応じて、立体物俯瞰画像における立体物領域の彩度を上げる色補正処理や輪郭を強調したりする形状明確化処理を施してもよい。さらに、立体物俯瞰画像は周辺俯瞰画像における立体物の画像領域に重ね合わせ合成される（＃１３）。このようにして生成された最終的な周辺俯瞰画像は、表示俯瞰画像として生成され（＃１４）、モニタ２１に表示される（＃１５）。
〔別実施の形態〕
（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）注目すべき立体物として２つの異なる立体物を取り扱うようにしてもよい。さらにこの場合、立体物によって異なる射影変換を用いて立体物俯瞰画像を生成して、周辺俯瞰画像と合成してもよい。
（３）上述した実施の形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザーレーダ法や赤外線法を利用することも本発明の範囲内である。
　本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
３０：立体物検知モジュール
２１：モニタ
５０：画像処理モジュール
５３：立体物情報取得部
５５：画像合成部
６０：画像生成部
６１：通常画像生成部
６２：射影変換選択部
６３：マッピングテーブル
６４：周辺俯瞰画像生成部
６５：立体物俯瞰画像生成部
６６：立体物抽出部
６７：立体物抑制部
７１：表示制御部

Claims (6)

  1. 　車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
    　第１射影変換を用いて前記撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、
    　前記車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、
    　前記立体物情報に基づいて前記撮影画像から前記立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、
    　前記周辺俯瞰画像における前記立体物の歪みを低減する第２射影変換を用いて前記立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、
    　前記立体物情報に基づき前記周辺俯瞰画像に前記立体物俯瞰画像を画像合成する画像合成部と、
    を備えた画像生成装置。
  2. 　前記第２射影変換は、前記撮影画像を撮影視点から路面に垂直な投影面に投影する射影変換である請求項１に記載の画像生成装置。
  3. 　投影面の形状又は投影面と投影される立体物との相対位置あるいはその両方である前記第２射影変換の変換パラメータは、前記立体物情報に基づいて設定される請求項１又は２に記載の画像生成装置。
  4. 　前記周辺俯瞰画像における前記立体物画像の領域を目立たないように抑制処理をする立体物抑制部が備えられている請求項１から３のいずれか一項に記載の画像生成装置。
  5. 　前記立体物俯瞰画像が強調表示されるように前記立体物俯瞰画像に色補正処理が施される請求項１から４のいずれか一項に記載の画像生成装置。
  6. 　前記車載カメラは、車両全周囲を撮影するために複数設置されており、前記立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の小さい方の立体物領域を有する立体物画像が抽出される請求項１から５のいずれか一項に記載の画像生成装置。
PCT/JP2011/076899 2011-01-11 2011-11-22 画像生成装置 WO2012096058A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201180064774.5A CN103299617B (zh) 2011-01-11 2011-11-22 图像生成装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-002778 2011-01-11
JP2011002778A JP2012147149A (ja) 2011-01-11 2011-01-11 画像生成装置

Publications (1)

Publication Number Publication Date
WO2012096058A1 true WO2012096058A1 (ja) 2012-07-19

Family

ID=46506975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076899 WO2012096058A1 (ja) 2011-01-11 2011-11-22 画像生成装置

Country Status (3)

Country Link
JP (1) JP2012147149A (ja)
CN (1) CN103299617B (ja)
WO (1) WO2012096058A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104002730A (zh) * 2013-02-27 2014-08-27 阿尔派株式会社 立体物检测装置、驾驶支援装置以及立体物检测方法
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
CN104185009A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 前方路缘观察系统中的增强的俯瞰视图生成
CN104185010A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 在前方路缘观察系统中的增强的立体视图生成
CN104756486A (zh) * 2012-10-30 2015-07-01 株式会社电装 车载图像生成装置
WO2017077650A1 (ja) * 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10097772B2 (en) * 2014-10-31 2018-10-09 Mitsubishi Electric Corporation Image processing device and image processing method
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6302624B2 (ja) 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6106754B2 (ja) * 2013-08-26 2017-04-05 日立建機株式会社 作業機械の周囲監視装置
JP6277652B2 (ja) * 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6542539B2 (ja) 2015-02-10 2019-07-10 クラリオン株式会社 車両用進入可否判定装置
WO2017054116A1 (zh) * 2015-09-28 2017-04-06 神画科技（深圳）有限公司 自动三维映射的投影系统及方法
JPWO2017187694A1 (ja) * 2016-04-28 2019-02-28 シャープ株式会社 注目領域画像生成装置
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JPWO2018146997A1 (ja) * 2017-02-07 2019-11-14 日本電気株式会社 立体物検出装置
CN110651295A (zh) 2017-05-30 2020-01-03 索尼半导体解决方案公司 图像处理设备、图像处理方法和程序
JP7009785B2 (ja) * 2017-06-02 2022-01-26 株式会社アイシン 周辺監視装置
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
CN111033555A (zh) * 2017-08-25 2020-04-17 株式会社索思未来 修正装置、修正程序以及记录介质
CN109344677B (zh) * 2017-11-07 2021-01-15 长城汽车股份有限公司 识别立体物的方法、装置、车辆和存储介质
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
JP6809495B2 (ja) 2018-03-05 2021-01-06 株式会社デンソー 画像作成装置
CN111886624A (zh) * 2018-03-28 2020-11-03 三菱电机株式会社 图像处理装置、图像处理方法及图像处理程序
JP7074546B2 (ja) * 2018-04-13 2022-05-24 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置および方法
CN108876707B (zh) * 2018-05-25 2022-09-23 北京市商汤科技开发有限公司 鸟瞰图生成及神经网络训练方法、装置、存储介质、设备
JP7314518B2 (ja) 2019-02-06 2023-07-26 株式会社アイシン 周辺監視装置
JP7160730B2 (ja) * 2019-03-20 2022-10-25 本田技研工業株式会社 車両システム、車両システムの制御方法、およびプログラム
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
WO2022254592A1 (ja) * 2021-06-01 2022-12-08 株式会社ソシオネクスト 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333009A (ja) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法
JP2008177856A (ja) * 2007-01-18 2008-07-31 Sanyo Electric Co Ltd 俯瞰画像提供装置、車両、および俯瞰画像提供方法
JP2008205914A (ja) * 2007-02-21 2008-09-04 Alpine Electronics Inc 画像処理装置
JP2010128939A (ja) * 2008-11-28 2010-06-10 Aisin Seiki Co Ltd 鳥瞰画像生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333009A (ja) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法
JP2008177856A (ja) * 2007-01-18 2008-07-31 Sanyo Electric Co Ltd 俯瞰画像提供装置、車両、および俯瞰画像提供方法
JP2008205914A (ja) * 2007-02-21 2008-09-04 Alpine Electronics Inc 画像処理装置
JP2010128939A (ja) * 2008-11-28 2010-06-10 Aisin Seiki Co Ltd 鳥瞰画像生成装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756486A (zh) * 2012-10-30 2015-07-01 株式会社电装 车载图像生成装置
CN104002730A (zh) * 2013-02-27 2014-08-27 阿尔派株式会社 立体物检测装置、驾驶支援装置以及立体物检测方法
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
US9886636B2 (en) 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
CN104185009A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 前方路缘观察系统中的增强的俯瞰视图生成
CN104185010A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 在前方路缘观察系统中的增强的立体视图生成
CN104185009B (zh) * 2013-05-23 2017-04-12 通用汽车环球科技运作有限责任公司 前方路缘观察系统中的增强的俯瞰视图生成
US9834143B2 (en) 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
US10097772B2 (en) * 2014-10-31 2018-10-09 Mitsubishi Electric Corporation Image processing device and image processing method
WO2017077650A1 (ja) * 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2017077650A1 (ja) * 2015-11-06 2017-12-07 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
GB2556797A (en) * 2015-11-06 2018-06-06 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
JP6239205B2 (ja) * 2015-11-06 2017-11-29 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
GB2556797B (en) * 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Also Published As

Publication number Publication date
JP2012147149A (ja) 2012-08-02
CN103299617A (zh) 2013-09-11
CN103299617B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
WO2012096058A1 (ja) 画像生成装置
JP5682788B2 (ja) 車両周辺監視装置
WO2012169355A1 (ja) 画像生成装置
US9050931B2 (en) Vehicle periphery monitoring system
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP5516998B2 (ja) 画像生成装置
WO2012172923A1 (ja) 車両周辺監視装置
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
JP5870608B2 (ja) 画像生成装置
JP5495071B2 (ja) 車両周辺監視装置
JP2004021307A (ja) 運転支援装置
JP2010200240A (ja) 車両周囲俯瞰画像表示装置及び方法
JP5516997B2 (ja) 画像生成装置
CN111095921B (zh) 显示控制装置
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2012105090A (ja) 駐車支援装置
JP5500392B2 (ja) 車両周辺監視装置
JP5853457B2 (ja) 車両周辺監視システム
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP2008034964A (ja) 画像表示装置
JP5618139B2 (ja) 駐車支援装置
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP2016136326A (ja) 情報表示装置および情報表示方法
CN218877068U (zh) 具有图像合成功能的数字式后视镜、车机系统和车辆
WO2022044374A1 (ja) 表示制御装置、車両及び表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11855569

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11855569

Country of ref document: EP

Kind code of ref document: A1