WO2009116327A1 - 画像処理装置及び方法、運転支援システム、車両 - Google Patents

画像処理装置及び方法、運転支援システム、車両 Download PDF

Info

Publication number
WO2009116327A1
WO2009116327A1 PCT/JP2009/051747 JP2009051747W WO2009116327A1 WO 2009116327 A1 WO2009116327 A1 WO 2009116327A1 JP 2009051747 W JP2009051747 W JP 2009051747W WO 2009116327 A1 WO2009116327 A1 WO 2009116327A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
conversion
bird
eye view
Prior art date
Application number
PCT/JP2009/051747
Other languages
English (en)
French (fr)
Inventor
本郷　仁志
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to EP09723368A priority Critical patent/EP2254334A4/en
Priority to US12/922,006 priority patent/US20110001826A1/en
Priority to CN200980109377.8A priority patent/CN101978694B/zh
Publication of WO2009116327A1 publication Critical patent/WO2009116327A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to an image processing apparatus and method for performing image processing on an input image from a camera.
  • the present invention also relates to a driving support system and a vehicle using them.
  • the rear of the vehicle tends to be a blind spot for the vehicle driver.
  • a method has been proposed in which a camera for monitoring an area that is likely to become a driver's blind spot is mounted on a vehicle, and an image obtained from the camera is displayed on a display device arranged near the driver's seat.
  • a technique for converting the image obtained from the camera into a bird's eye view image and displaying it has also been developed.
  • the bird's-eye view image is an image as if the vehicle is viewed from above, it is easy to get a sense of perspective on the display screen, but the bird's-eye view image has a narrow field of view due to its characteristics.
  • a technique has been proposed in which a bird's eye view image is displayed in the first image region corresponding to the vicinity of the vehicle, while a far image is displayed in the second image region corresponding to the vehicle far away (for example, a patent). Reference 1).
  • the image corresponding to the composite image of the bird's-eye view image in the first image region and the far-field image in the second image region is also called an extended bird's-eye view image.
  • An image 900 in FIG. 14A shows an example of a camera image obtained from the camera.
  • FIGS. 14B and 14C show a bird's eye view image 910 and an extended bird's eye view image 920 obtained from the camera image 900, respectively.
  • the camera image 900 is obtained by photographing two parallel white lines drawn on the road surface.
  • a person as a subject is located to the side of the white line.
  • the two white lines in the camera image 900 are not parallel, but the two white lines in the bird's eye view image 910 are the same as those in the real space.
  • Become. 14 (b) and 14 (c) are regions that are not photographed by the camera (regions that originally have no image information). Further, in FIGS. 14A to 14C, the lower side corresponds to the vehicle side.
  • a boundary line 921 is set.
  • a bird's eye view image showing the state of the vicinity of the vehicle obtained from the first partial image of the camera image is drawn and located above the boundary line 921.
  • an image for distant which is obtained from the second partial image of the camera image and shows the distant state of the vehicle, is drawn.
  • the extended bird's-eye view image 920 corresponds to an image obtained by converting the camera image 900 into an image viewed from the viewpoint of the virtual camera by viewpoint conversion.
  • the depression angle of the virtual camera at the time of generating the bird's-eye view image in the first image area is fixed at 90 degrees, while the second image is shown in FIG. 15 (b).
  • the depression angle of the virtual camera at the time of generating the far-field image in the area is less than 90 degrees, and the depression angle is 90 degrees from the 90 degrees toward the upper side of the image at a predetermined angle change rate ( For example, the angle gradually approaches 45 degrees.
  • the person as the subject is hardly depicted on the bird's eye view image 910 due to the narrow field of view range (only the foot portion is depicted on the bird's eye view image 910), the person is shown in the expanded bird's eye view image 920. Is drawn to the same extent as the camera image 900. If such an extended bird's-eye view image is displayed, it is possible to support a field of view far away from the vehicle while enjoying the advantage of facilitating understanding of the perspective by the bird's-eye view image. That is, excellent visibility can be obtained in a wide range.
  • image conversion parameters for generating an extended bird's-eye view image from a camera image are set in advance, and the expanded bird's-eye view image is generated using the image conversion parameter during actual operation.
  • the image conversion parameter is a parameter that defines the correspondence between the coordinate value on the coordinate plane where the camera image is defined and the coordinate value on the coordinate plane where the extended bird's-eye view image is defined.
  • information such as the actual camera tilt angle and installation height is required, and the image conversion parameters are set based on the information.
  • FIG. 16 shows an example of an expanded bird's-eye view image in which this omission occurs.
  • the omission of an image means that an image missing area is included in the entire area of the extended bird's-eye view image where the entire image of the extended bird's-eye view image should appear.
  • the image missing area means an area where there is no image data based on the image data of the camera image.
  • the black portion in the upper part of FIG. 16 is an image missing area.
  • an object of the present invention is to provide an image processing apparatus and an image correction method that suppress image loss on a converted image obtained by coordinate conversion of an image from a camera. Moreover, an object of this invention is to provide the driving assistance system and vehicle using them.
  • An image processing apparatus includes an image acquisition unit that acquires an input image based on a shooting result of a camera that captures the periphery of a vehicle, and a first virtual camera viewed from the first virtual camera by coordinate conversion.
  • Image conversion means for converting into a converted image including a first element image and a second element image viewed from a second virtual camera different from the first virtual camera, and image conversion for converting the input image into the converted image Image data based on the image data of the input image exists in the entire area of the converted image obtained from the input image using the parameter storage means for storing the parameters and the image conversion parameters stored in the parameter storage means
  • Loss determination means for determining whether or not an image missing area is included, and it is determined that the image missing area is included in the entire area of the converted image.
  • the image conversion unit uses the input image as a first partial image in which a subject with a relatively short distance from the vehicle and a subject with a relatively long distance from the vehicle.
  • the first and second partial images are converted into the first and second element images, respectively, and the converted image is generated.
  • the depression angle of the second virtual camera is smaller than the depression angle of the first virtual camera, and the first element image starts from a boundary line between the first element image and the second element image.
  • the image conversion parameters before and after the adjustment are set so that the depression angle of the second virtual camera becomes smaller in accordance with a specified angle change rate as the distance from the distance increases.
  • the image conversion parameter is adjusted by adjusting the angle change rate in a direction in which the size of the image missing area decreases.
  • the image conversion parameter depends on the angle change rate, but the field of view of the converted image changes by adjusting the angle change rate. For this reason, it is possible to suppress generation
  • the image conversion parameter before and after the adjustment is set so that the depression angle of the second virtual camera is smaller than the depression angle of the first virtual camera
  • the parameter adjustment unit is configured to set the entire area of the converted image.
  • the image conversion parameter is adjusted by moving the image conversion parameter.
  • the depression angle of the second virtual camera is smaller than the depression angle of the first virtual camera, for example, if the boundary line is moved in the converted image in the direction in which the image size of the second element image is reduced, the converted image The field of view is reduced. For this reason, it is possible to suppress the occurrence of an image missing region by adjusting the position of the boundary line.
  • the parameter adjusting unit when it is determined that the image missing area is included in the entire area of the converted image, the parameter adjusting unit is configured to reduce the size of the image missing area in the first and second directions. The height of the virtual camera is adjusted, and thereby the image conversion parameter is adjusted.
  • the converted image is obtained by converting the input image into an image viewed from the virtual camera, for example, if the height of the virtual camera is reduced, the visual field range of the converted image is reduced. For this reason, it is possible to suppress the occurrence of an image missing region by adjusting the height of the virtual camera.
  • the depression angle of the second virtual camera is smaller than the depression angle of the first virtual camera, and the first element image starts from a boundary line between the first element image and the second element image.
  • the image conversion parameters before and after the adjustment are set so that the depression angle of the second virtual camera becomes smaller in accordance with a specified angle change rate as the distance from the distance increases.
  • the angle change rate, the position of the boundary line on the converted image, and the heights of the first and second virtual cameras are set to the first, second, and second, respectively.
  • the image conversion parameter is adjusted by adjusting any one or more of the first to third adjustment objects in a direction that suppresses the occurrence of the image missing area as a third adjustment object.
  • the image missing region is repeatedly executes the adjustment of the image transformation parameter until free within the entire region of the transformed image.
  • the coordinate value before coordinate conversion corresponding to the coordinate value of each pixel in the converted image is defined by the image conversion parameter, and the missing determination means has all the coordinate values before the coordinate conversion.
  • the image missing region is not included in the entire region of the converted image, and a coordinate value outside the input image is included in the obtained coordinate value It is determined that the image missing area is included in the entire area of the converted image.
  • the driving support system includes the camera and the image processing device, and outputs an image based on the converted image obtained by the image conversion unit of the image processing device to the display unit.
  • the vehicle according to the present invention is characterized in that the camera and the image processing apparatus are installed.
  • An image processing method includes an image acquisition step of acquiring an input image based on a shooting result of a camera that captures the periphery of a vehicle, and a first image obtained by viewing the input image from a first virtual camera by coordinate conversion.
  • An image conversion step for converting into a converted image including a first element image and a second element image viewed from a second virtual camera different from the first virtual camera, and an image conversion for converting the input image into the converted image A parameter storage step for storing parameters, and an image missing region in which no image data based on the image data of the input image exists in the entire region of the converted image obtained from the input image using the stored image conversion parameter And a loss determination step for determining whether or not the image is included, and it is determined that the image loss region is included in the entire region of the converted image. , And executes and a parameter adjustment step of generation of the image missing region is to adjust the image transformation parameter so as to suppress.
  • the present invention it is possible to provide an image processing apparatus and an image correction method that suppress image loss on a converted image obtained by coordinate conversion of an image from a camera. Moreover, the driving assistance system and vehicle using them can be provided.
  • FIG. 1 is a schematic block diagram of a driving support system according to an embodiment of the present invention.
  • FIG. 2 is an external side view of a vehicle to which the driving support system of FIG. 1 is applied. It is the figure which showed the relationship between the depression angle of a camera, and the ground (horizontal plane). It is a figure which shows the relationship between the optical center of a camera, and the camera coordinate plane in which a camera image is defined. It is a figure which shows the relationship between a camera coordinate plane and a bird's-eye view coordinate plane.
  • (A) is a figure which shows the camera image obtained from the camera of FIG. 1
  • (b) is a figure which shows the bird's-eye view image based on the camera image.
  • FIG. 2 is a detailed block diagram of the driving support system of FIG. 1 including a functional block diagram of the image processing apparatus.
  • FIG. It is a flowchart showing the flow of operation
  • FIG. It is a figure which shows the external shape of the extended bird's-eye view image on the bird's-eye view coordinate plane defined in the image processing apparatus of FIG.
  • (A) is a relationship diagram between a camera image and an extended bird's-eye view image when there is no image loss
  • (b) is a relationship diagram between the camera image and the extended bird's-eye view image when there is an image loss.
  • (A), (b) and (c) are the figures which respectively show the camera image, bird's-eye view image, and extended bird's-eye view image which concern on a prior art.
  • (A) And (b) is an image figure of the virtual camera assumed at the time of the production
  • FIG. 1 shows a schematic block diagram of a driving support system according to an embodiment of the present invention.
  • the driving support system in FIG. 1 includes a camera 1, an image processing device 2, and a display device 3.
  • the camera 1 performs shooting and outputs a signal representing an image obtained by shooting to the image processing apparatus 2.
  • the image processing device 2 generates a display image from the image obtained from the camera 1.
  • the image processing device 2 outputs a video signal representing the generated display image to the display device 3, and the display device 3 displays the display image as a video according to the given video signal.
  • the image obtained by shooting with the camera 1 is called a camera image.
  • the camera image represented by the output signal itself of the camera 1 is often affected by lens distortion. Therefore, the image processing device 2 performs lens distortion correction on the camera image represented by the output signal itself of the camera 1 and generates a display image based on the camera image after the lens distortion correction.
  • the camera image described below refers to a camera image after lens distortion correction. However, the lens distortion correction process may be omitted depending on the characteristics of the camera 1.
  • FIG. 2 is an external side view of the vehicle 100 to which the driving support system of FIG. 1 is applied.
  • the camera 1 is disposed rearward and obliquely downward at the rear of the vehicle 100.
  • the vehicle 100 is, for example, an automobile.
  • the angle formed by the horizontal plane and the optical axis of the camera 1 includes an angle represented by ⁇ and an angle represented by ⁇ ′ in FIG.
  • an acute angle formed by a horizontal plane and the optical axis of the camera is generally called a depression angle (or a look-down angle).
  • the angle ⁇ ′ is a depression angle of the camera 1.
  • the camera 1 captures the area around the vehicle 100.
  • the camera 1 is installed in the vehicle 100 so as to have a field of view on the rear side of the vehicle 100.
  • the field of view of the camera 1 includes a road surface located on the rear side of the vehicle 100.
  • the ground is assumed to be on a horizontal plane, and “height” represents the height with respect to the ground.
  • the ground and the road surface are synonymous.
  • the camera 1 a camera using a solid-state imaging device such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used.
  • the image processing apparatus 2 is formed from, for example, an integrated circuit.
  • the display device 3 is formed from a liquid crystal display panel or the like.
  • a display device included in a car navigation system or the like may be used as the display device 3 in the driving support system.
  • the image processing apparatus 2 can be incorporated as a part of the car navigation system.
  • the image processing device 2 and the display device 3 are installed near the driver's seat of the vehicle 100, for example.
  • the image processing apparatus 2 can generate a bird's-eye view image by converting the camera image into an image viewed from the viewpoint of the virtual camera using coordinate conversion. Coordinate transformation for generating a bird's-eye view image from a camera image is called “bird's-eye transformation”.
  • the image processing apparatus 2 can generate an extended bird's-eye view image as described in Japanese Patent Laid-Open No. 2006-287892. First, the bird's-eye conversion that is the basis of the image will be described.
  • a plane orthogonal to the optical axis direction of the camera 1 is defined as a camera coordinate plane. 4 and 5, the camera coordinate plane is represented by a plane Pbu .
  • the camera coordinate plane is a projection plane of a camera image parallel to the imaging plane of the solid-state imaging device of the camera 1, and the camera image is formed by pixels that are two-dimensionally arranged on the camera coordinate plane.
  • the intersection of the Z axis and the camera coordinate plane is the center point of the camera image.
  • the coordinate axes are orthogonal to each other and X bu and Y bu axes.
  • the X bu axis and the Y bu axis are parallel to the horizontal direction and the vertical direction of the camera image, respectively.
  • the position of a certain pixel on the camera coordinate plane (and the camera image) is represented by coordinate values (x bu , y bu ).
  • xbu and ybu represent the horizontal position and the vertical position of the pixel on the camera coordinate plane (and the camera image), respectively.
  • the origin of the two-dimensional orthogonal coordinate plane including the camera coordinate plane is represented by O.
  • the vertical direction of the camera image corresponds to the distance direction from the vehicle 100. If the Y bu axis component (that is, y bu ) of a certain pixel increases on the camera coordinate plane, the pixel on the camera coordinate plane is increased. The distance between the vehicle 100 and the camera 1 increases.
  • a plane parallel to the ground is a bird's eye view coordinate plane.
  • the bird's eye view coordinate plane is represented by a plane P au .
  • a bird's-eye view image is formed by pixels arranged two-dimensionally on the bird's-eye view coordinate plane.
  • the orthogonal coordinate axes on the bird's eye view coordinate plane are defined as an X au axis and a Y au axis.
  • the X au axis and the Y au axis are respectively parallel to the horizontal direction and the vertical direction of the bird's eye view image.
  • the position of a certain pixel on the bird's eye view coordinate plane (and the bird's eye view image) is represented by coordinate values (x au , y au ).
  • x au and y au represent the horizontal position and the vertical position of the pixel on the bird's eye view coordinate plane (and the bird's eye view image), respectively.
  • the vertical direction of the bird's-eye view image corresponds to the distance direction from the vehicle 100. If the Y au axis component (that is, y au ) of a certain pixel increases on the bird's-eye view coordinate plane, the pixel on the bird's-eye view coordinate plane is increased. The distance between the vehicle 100 and the camera 1 increases.
  • the bird's-eye view image corresponds to an image obtained by projecting a camera image defined on the camera coordinate plane onto the bird's-eye view coordinate plane, and bird's-eye conversion for performing the projection can be realized by known coordinate transformation.
  • bird's-eye conversion for performing the projection, by converting the coordinate value (x bu , y bu ) of each pixel on the camera image into the coordinate value (x au , y au ) on the bird's eye view image according to the following equation (1).
  • a bird's eye view image can be generated.
  • f is the focal length of the camera 1.
  • h is the height (installation height) at which the camera 1 is disposed, that is, the height of the viewpoint of the camera 1.
  • H is the height at which the virtual camera is arranged, that is, the height of the viewpoint of the virtual camera.
  • FIG. 6A shows an example of the camera image 200
  • FIG. 6B shows a bird's-eye view image 210 obtained by performing bird's-eye conversion on the camera image.
  • the camera image 200 is obtained by photographing two parallel white lines drawn on the road surface.
  • a person as a subject is located to the side of the white line.
  • the two white lines in the camera image 200 are not parallel because the tilt angle ⁇ of the camera 1 is not 90 degrees, but the two white lines in the bird's eye view image 210 are parallel to those in the real space.
  • the hatched area shown in FIG. 6B and later-described FIG. 9 is an area not photographed by the camera 1 (an area where no image information originally exists).
  • the outline of the entire area of the camera image is rectangular, but the outline of the entire area of the bird's-eye view image may not be rectangular due to the principle of bird's-eye view conversion.
  • the above-described bird's-eye view image is obtained by converting a camera image into an image viewed from the viewpoint of the virtual camera, and the depression angle of the virtual camera when generating the bird's-eye view image is 90 degrees. That is, the virtual camera is a camera that looks down on the ground in the vertical direction.
  • the driver can easily grasp the sense of distance between the vehicle body and the object (in other words, perspective) on the image, but the bird's-eye view image has a narrow field of view due to its characteristics.
  • the image processing apparatus 2 can generate an expanded bird's-eye view image in consideration of this.
  • Fig. 7 shows the structure of the extended bird's-eye view image.
  • the entire area of the extended bird's eye view image is divided into first and second image areas with a boundary line BL as a boundary.
  • An image in the first image area is called a first element image
  • an image in the second image area is called a second element image.
  • the lower side of FIG. 7 is the side on which the vehicle 100 is located.
  • a subject that is relatively close to the vehicle 100 appears in the first element image, and the distance from the vehicle 100 is relatively far in the second element image. The subject appears. That is, the subject appearing in the first element image is located closer to the vehicle 100 and the camera 1 than the subject appearing in the second element image.
  • the boundary line BL is parallel to the horizontal direction and the horizontal line of the expanded bird's-eye view image.
  • the horizontal line located closest to the vehicle 100 is referred to as a lower end line LL.
  • the horizontal line farthest from the boundary line BL is referred to as the upper end line UL.
  • the distance between the point on the extended bird's-eye view image and the vehicle 100 and the camera 1 increases as the point moves from the lower end line LL to the upper end line UL.
  • the extended bird's eye view image is also an image on the bird's eye view coordinate plane.
  • the bird's-eye view coordinate plane in the following description is interpreted to indicate the coordinate plane on which the extended bird's-eye view image is defined. Accordingly, the position of a certain pixel on the bird's-eye view coordinate plane (and the expanded bird's-eye view image) is represented by coordinate values (x au , y au ), and x au and y au are respectively the bird's-eye view coordinate plane ( And an extended bird's-eye view image).
  • the X au axis and the Y au axis are respectively parallel to the horizontal direction and the vertical direction of the expanded bird's-eye view image.
  • the vertical direction of the expanded bird's-eye view image corresponds to the distance direction from the vehicle 100, and if the Y au axis component (ie, y au ) of a certain pixel increases on the bird's-eye view coordinate plane, The distance between the pixel and the vehicle 100 and the camera 1 increases.
  • the horizontal line with the smallest Y au axis component matches the lower end line LL
  • the horizontal line with the largest Y au axis component matches the upper end line UL.
  • the concept of a method for generating an extended bird's-eye view image from a camera image will be described with reference to FIG.
  • the camera image is divided into a partial image 221 in a region where the Y bu- axis component is relatively small (image region near the vehicle) and a partial image 222 in a region where the Y bu- axis component is relatively large (image region far from the vehicle). Accordingly, a first element image is generated from the image data of the partial image 221, and a second element image is generated from the image data of the partial image 222.
  • the first element image is obtained by performing the above-described bird's eye conversion on the partial image 221. That is, the coordinate value (x bu , y bu ) of each pixel in the partial image 221 is converted into the coordinate value (x au , y au ) on the bird's eye view coordinate plane according to the following equations (2) and (3), and the coordinates An image formed from each pixel having the converted coordinate value is defined as a first element image.
  • Equation (2) is an expression obtained by replacing theta in Equation (1) to theta A.
  • Equation (3) when the first element image is generated, the actual tilt angle ⁇ of the camera 1 is used as ⁇ A in Equation (2).
  • the coordinate value (x bu , y bu ) of each pixel in the partial image 222 is converted into the coordinate value (x au , y au ) on the bird's eye view coordinate plane according to the expressions (2) and (4), and the coordinates An image formed from each pixel having the converted coordinate value is defined as a second element image. That is, when generating the second element image, ⁇ A according to the equation (4) is used as ⁇ A in the equation (2).
  • ⁇ y au is the distance on the bird's eye view coordinate plane between the pixel of interest in the second element image and the boundary line BL.
  • ⁇ is an angle change rate having a positive value.
  • the value of ⁇ can be set in advance. However, ⁇ is set so that the angle ⁇ A is always 90 degrees or more.
  • FIG. 9 shows an expanded bird's-eye view image 250 generated from the camera image 200 of FIG.
  • an image as if the ground is looked down vertically is drawn in a portion corresponding to the first element image, and an image where the ground is looked down obliquely in a portion corresponding to the second element image. Is drawn.
  • FIG. 1 Although the person as a subject is hardly depicted on the bird's eye view image 210 of FIG. 6B due to the narrow field of view range (only the foot portion is depicted on the bird's eye view image 210), FIG. In the expanded bird's-eye view image 250, the person is depicted to the same extent as the camera image 200 in FIG. If such an extended bird's-eye view image is displayed, a relatively distant area can be visually recognized as an image.
  • the first element image is obtained by converting the partial image 221 viewed from the viewpoint of the actual camera 1 into an image viewed from the viewpoint of the virtual camera by viewpoint conversion. Since the viewpoint conversion in this case is performed using the actual tilt angle ⁇ of the camera 1, the depression angle of the virtual camera is 90 degrees (however, an error may be included). That is, the depression angle of the virtual camera when generating the first element image is 90 degrees.
  • the second element image is obtained by converting the partial image 222 viewed from the viewpoint of the actual camera 1 into an image viewed from the viewpoint of the virtual camera by viewpoint conversion.
  • the viewpoint conversion in this case is performed using an angle ⁇ A smaller than the actual tilt angle ⁇ of the camera 1 (see Expression (4))
  • the depression angle of the virtual camera is less than 90 degrees. That is, the depression angle of the virtual camera when generating the second element image is less than 90 degrees.
  • the virtual cameras used when generating the first and second element images are also referred to as first and second virtual cameras, respectively.
  • the angle ⁇ A according to Equation (4) decreases toward 90 degrees
  • the angle ⁇ A in Equation (2) decreases toward 90 degrees
  • the depression angle of the second virtual camera decreases.
  • the angle ⁇ A is 90 degrees
  • the depression angle of the second virtual camera and the depression angle of the actual camera 1 are the same.
  • the height of the first virtual camera is the same as the height of the second virtual camera (both are H).
  • the image processing apparatus 2 generates and stores image conversion parameters for converting the camera image into the extended bird's eye view image according to the above formulas (2) to (4).
  • An image conversion parameter for converting a camera image into an extended bird's eye view image is particularly called an extended conversion parameter.
  • the correspondence between the coordinate value of the pixel on the bird's eye view coordinate plane (and the extended bird's eye view image) and the coordinate value of the pixel on the camera coordinate plane (and the camera image) is designated by the extension conversion parameter.
  • Extended conversion parameters can also be stored in a lookup table.
  • FIG. 10 is a detailed block diagram of the driving support system of FIG. 1 including a functional block diagram of the image processing apparatus 2.
  • the image processing apparatus 2 includes each part referred to by reference numerals 11 to 17.
  • FIG. 11 is a flowchart showing an operation flow of the driving support system.
  • the 10 is a memory for storing extended conversion parameters.
  • the initial value of the extended conversion parameter to be stored is determined in advance before execution of a series of processes consisting of steps S1 to S7 shown in FIG.
  • the initial value is set in the calibration mode.
  • the operation in the calibration mode is executed.
  • the image processing apparatus 2 performs the above equations (2) to (2) according to the information.
  • Each value of ⁇ and h in the equation (4) is determined.
  • the image processing apparatus 2 determines the values of ⁇ and h determined here, the initial value of the preset angle change rate ⁇ , the initial position of the preset boundary line BL, and the preset virtual camera height. And the initial value of the extended conversion parameter is determined according to the equations (2) to (4). The image processing apparatus 2 recognizes in advance the value of the focal length f in the above equation (2). In addition, the user may determine the initial value of the height H of the virtual camera.
  • step S ⁇ b> 1 the image input unit 11 receives an original image input from the camera 1. That is, the image input unit 11 receives image data of an original image sent from the camera 1 and stores the image data in a frame memory (not shown) to acquire the original image.
  • the original image refers to a camera image before lens distortion correction. Since a wide-angle lens is used for the camera 1 in order to ensure a wide viewing angle, the original image includes distortion. Therefore, in step S ⁇ b> 2, the lens distortion correction unit 12 performs lens distortion correction on the original image acquired by the image input unit 11.
  • a lens distortion correction method any known method as described in JP-A-5-176323 can be used. An image obtained by performing lens distortion correction on an original image is simply referred to as a camera image as described above.
  • step S3 subsequent to step S2, the image conversion unit 13 reads the extended conversion parameters stored in the parameter storage unit 16. As will be described later, the extended conversion parameters may be updated. In step S3, the latest extended conversion parameter is read. In subsequent step S4, the image conversion unit 13 generates an extended bird's-eye view image by performing extended bird's-eye conversion on the camera image provided from the lens distortion correction unit 12 according to the read extension conversion parameter.
  • the missing determination unit 14 determines whether an image is missing in the extended bird's eye view image to be generated in step S4.
  • An image loss means that an image missing area is included in the entire area of the extended bird's eye view image where the entire image of the extended bird's eye view image should appear, and when the image missing area is included in the entire area of the extended bird's eye view image It is determined that a missing image has occurred.
  • the image missing area means an area where there is no image data based on the image data of the camera image.
  • An example of an extended bird's-eye view image in which image loss has occurred is shown in FIG.
  • the black portion in the upper part of FIG. 16 is an image missing area.
  • the image data of all the pixels of the extended bird's-eye view image should be generated from the image data of the camera image based on the photographing result of the camera, but if the image conversion parameter is inappropriate, a part of the extended bird's-eye view image The corresponding pixel of the pixel no longer exists in the camera image, resulting in image loss.
  • the loss of the image to be determined by the loss determination unit 14 occurs in the second image region of the extended bird's-eye view image (see FIGS. 7 and 16). That is, if an image missing area occurs, it is included in the second image area. Further, due to the principle of extended bird's eye conversion, the loss of the image occurs from the upper end line UL.
  • step S5 If it is determined that an image loss has occurred in the extended bird's-eye view image, the process proceeds from step S5 to step S6. If it is determined that no image loss has occurred, the process proceeds to step S7.
  • a frame denoted by reference numeral 270 represents the entire region outline of the expanded bird's-eye view image on the bird's-eye view coordinate plane.
  • An extended bird's-eye view image is generated from the pixel group arranged two-dimensionally within the frame 270.
  • the missing determination unit 14 coordinates (x bu , y bu ) on the camera coordinate plane corresponding to the coordinate values (x au , y au ) of each pixel in the frame 270 according to the extended conversion parameter read in step S3. Ask for.
  • all the obtained coordinate values (x bu , y bu ) are the coordinate values in the camera image, that is, the image data of all the pixels forming the expanded bird's-eye view image can be obtained from the image data of the camera image. In this case, it is determined that no missing image has occurred.
  • it is determined that the image is missing it is determined that the image is missing.
  • FIG. 13A shows a state of coordinate conversion when no image loss occurs
  • FIG. 13B shows a state of coordinate conversion when image loss occurs.
  • a frame 280 represents the overall region outline of the camera image on the camera coordinate plane, and image data of the camera image exists only within the frame 280.
  • the parameter adjustment unit 15 adjusts the extended conversion parameter based on the determination result in step S6.
  • the extended bird's-eye view image generated from the original image depends on the lens distortion correction, the tilt angle ⁇ and the installation height h of the camera 1, the angle change rate ⁇ , the position of the boundary line BL, and the height H of the virtual camera.
  • the lens distortion correction should be determined depending on the characteristics of the lens used in the camera 1, and the tilt angle ⁇ and the installation height h of the camera 1 depend on the mounting state of the camera 1 with respect to the vehicle 100. Should be decided.
  • the parameter adjustment unit 15 changes the angle change rate so that the size of the image missing area included in the entire area of the extended bird's eye view image is reduced (ultimately, the image missing area is completely eliminated).
  • ⁇ the position of the boundary line BL, or the height H of the virtual camera is adjusted.
  • the size of the image missing area means the image size of the image missing area.
  • the size of the image missing area can be represented by the number of pixels forming the image missing area.
  • the angle change rate ⁇ is adjusted so that the angle change rate ⁇ after adjustment is smaller than that before adjustment. That is, the angle change rate ⁇ is corrected to decrease.
  • the angle change rate ⁇ is reduced to decrease.
  • the amount of decrease per time in the angle change rate ⁇ can be determined in advance. Alternatively, the amount of reduction may be determined according to the size of the image missing area.
  • the extended conversion parameters based on the equations (2) to (4) using the adjusted angle change rate ⁇ are updated and stored in the parameter storage unit 16.
  • the position of the boundary line BL is adjusted so that the position of the boundary line BL after adjustment is closer to the upper end line UL than that before the adjustment. That is, the coordinate value of the boundary line BL in the Y au axis direction is increased.
  • the vertical image size of the second element image is reduced, so that the visual field range on the far side of the vehicle is narrowed and image loss is less likely to occur.
  • the amount of movement of the boundary line BL per time can be determined in advance. Alternatively, the amount of movement may be determined according to the size of the image missing area.
  • the extended conversion parameters based on the expressions (2) to (4) using the adjusted position of the boundary line BL are updated and stored in the parameter storage unit 16.
  • the height H of the virtual camera is adjusted so that the height H of the adjusted virtual camera is lower than that before the adjustment.
  • the entire visual field range of the extended bird's-eye view image is narrowed, so that image loss is less likely to occur.
  • the amount of decrease in height H per time can be determined in advance.
  • the amount of reduction may be determined according to the size of the image missing area.
  • the extended conversion parameters based on the equations (2) to (4) using the adjusted height H are updated and stored in the parameter storage unit 16.
  • the angle change rate ⁇ , the position of the boundary line BL, and the height H of the virtual camera are handled as the first, second, and third adjustment objects, respectively, and the image missing area included in the entire area of the extended bird's-eye view image
  • Two or more adjustment targets of the first to third adjustment targets may be adjusted at the same time so that the size of the image becomes smaller (ultimately, the image missing area is completely eliminated).
  • the angle change rate ⁇ and the position of the boundary line BL may be adjusted at the same time so as to decrease the angle change rate ⁇ and so that the position of the boundary line BL approaches the upper end line UL.
  • the extended conversion parameters based on the equations (2) to (4) using the adjusted angle change rate ⁇ and the position of the boundary line BL are updated and stored in the parameter storage unit 16.
  • step S6 After the extension conversion parameter is adjusted in step S6, the process returns to step S3, the extension conversion parameter updated and stored is read by the image conversion unit 13, and the extension bird's-eye view of step S4 using the update storage parameter stored in the update is stored. Conversion and missing determination processing in step S5 are executed. Therefore, the loop process composed of steps S3 to S6 is repeatedly executed until it is determined in step S5 that no image is missing.
  • the image data of the latest expanded bird's-eye view image in which no image loss has occurred is sent from the image conversion unit 13 to the display image generation unit 17 (See FIG. 10).
  • the display image generation unit 17 generates image data of the display image based on the image data of the latest extended bird's eye view image, and outputs the image data of the display image to the display device 3. Thereby, the display image based on the extended bird's-eye view image in which no image is missing is displayed on the display device 3.
  • the display image is, for example, the extended bird's-eye view image itself, an image obtained by performing arbitrary processing on the extended bird's-eye view image, or an image obtained by adding an arbitrary image to the extended bird's-eye view image.
  • the extended conversion parameter is automatically adjusted in accordance with the change, so that the image is missing. It is possible to present a video without any noise to the driver.
  • the extended conversion parameter is applied to the image after the lens distortion correction.
  • an extended bird's eye view image is generated from the original image at once by incorporating the image conversion for correcting the lens distortion into the extended conversion parameter. You may make it do.
  • the original image acquired by the image input unit 11 in FIG. 10 is input to the image conversion unit 13.
  • an extended conversion parameter including image conversion for correcting lens distortion is stored in the parameter storage unit 16, and the extended bird's eye view image is generated by applying the extended conversion parameter to the original image.
  • lens distortion correction unit 12 may be deleted from the image processing apparatus 2 in FIG. 10 and the original image may be directly given to the image conversion unit 13.
  • the camera 1 has a field of view on the front side of the vehicle 100 or has a field of view on the side of the vehicle 100.
  • the camera 1 may be installed at the front or side of the vehicle 100.
  • a display image based on a camera image obtained from one camera is displayed on the display device 3, but a plurality of cameras (not shown) are installed in the vehicle 100, and the plurality of cameras A display image may be generated based on a plurality of camera images obtained from (not shown).
  • one or more other cameras are attached to the vehicle 100, and an image based on the camera image of the other camera is combined with an image based on the camera image of the camera 1 (in the above example, an extended bird's eye view image).
  • the synthesized image obtained by this synthesis can be finally used as a display image for the display device 3.
  • This synthesized image is, for example, an image in which the entire circumference of the periphery of the vehicle 100 is within the visual field range.
  • the image processing apparatus 2 in FIG. 10 can be realized by hardware or a combination of hardware and software.
  • a block diagram of a part realized by software represents a functional block diagram of the part.
  • all or part of the functions realized by the image processing apparatus 2 are described as a program, and the program is executed on the program execution apparatus so that all or part of the functions are realized. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　運転支援システムは、視点変換を用い、車載カメラから得られるカメラ画像より、第１及び第２要素画像の合成画像に相当する拡張鳥瞰図画像を生成して表示する。第１要素画像は車両近辺の様子を表す鳥瞰図画像であり、第２要素画像は車両遠方の様子を表す遠方用画像である。拡張鳥瞰図画像はカメラ画像を仮想カメラの視点から見た画像に変換したものであり、第１要素画像の生成時における仮想カメラの俯角は９０度であり、第２要素画像のそれは９０度未満である。実際のカメラの傾き角度等に応じて拡張鳥瞰図画像を生成した際、画像の欠落が発生しているか否かを自動的に判定し、画像の欠落が発生している場合、その欠落がなくなるように、第１及び第２要素画像の境界線の位置や仮想カメラの視点の高さなどを調整する。

Description

画像処理装置及び方法、運転支援システム、車両
　本発明は、カメラからの入力画像に対して画像処理を施す画像処理装置及び方法に関する。また本発明は、それらを利用した運転支援システム及び車両に関する。
　車両の運転者にとって車両後方は死角となりやすい。そこで、運転者の死角となりやすい領域を監視するカメラを車両に搭載し、カメラから得られた画像を運転席付近に配置された表示装置に表示するという手法が提案されている。また、カメラから得た画像をそのまま表示すると遠近感が把握しにくいことを考慮し、カメラから得た画像を鳥瞰図画像に変換して表示する技術も開発されている。
　鳥瞰図画像は車両を上空から眺めたような画像であるため、表示画面上において遠近感をつかみやすくなるが、鳥瞰図画像は、その特性上、視野範囲が狭い。これを考慮し、車両近辺に対応する第１画像領域おいては鳥瞰図画像を表示する一方、車両遠方に対応する第２画像領域においては遠方用画像を表示する技術が提案されている（例えば特許文献１参照）。
　第１画像領域における鳥瞰図画像と第２画像領域における遠方用画像との合成画像に相当する画像は、拡張鳥瞰図画像とも呼ばれる。図１４（ａ）における画像９００は、カメラから得たカメラ画像の例を示している。図１４（ｂ）及び(ｃ)に、夫々、そのカメラ画像９００から得た鳥瞰図画像９１０及び拡張鳥瞰図画像９２０を示す。カメラ画像９００は、路面上に描かれた２本の平行な白線を撮影することによって得たものである。また、その白線の側方に被写体としての人物が位置している。車両に設置されるカメラの俯角は９０度ではないため、カメラ画像９００内における２本の白線は平行とならないが、鳥瞰図画像９１０内における２本の白線は、実空間上のそれらと同じく平行となる。尚、図１４（ｂ）及び（ｃ）に示された斜線領域は、カメラによって撮影されていない領域（画像情報が元々ない領域）である。また、図１４（ａ）～（ｃ）において、下方側が車両側に対応している。
　拡張鳥瞰図画像９２０には、境界線９２１が設定される。そして、境界線９２１の下方側に位置する第１画像領域には、カメラ画像の第１部分画像から得た、車両近辺の様子を示す鳥瞰図画像が描画され、境界線９２１の上方側に位置する第２画像領域には、カメラ画像の第２部分画像から得た、車両遠方の様子を示す遠方用画像が描画される。
　拡張鳥瞰図画像９２０は、視点変換によって、カメラ画像９００を仮想カメラの視点から見た画像に変換したものに相当する。この際、図１５（ａ）に示す如く、第１画像領域内の鳥瞰図画像の生成時における仮想カメラの俯角は９０度で固定される一方で、図１５（ｂ）に示す如く、第２画像領域内の遠方用画像の生成時における仮想カメラの俯角は９０度未満とされ、且つ、その俯角は、画像の上方側に向かうにつれて９０度から所定の角度変化率にて実際のカメラの俯角（例えば４５度）に徐々に近づけられる。
　視野範囲が狭いことに起因して鳥瞰図画像９１０上では被写体としての人物が殆ど描写されていないが（鳥瞰図画像９１０上では足の部分だけが描写されている）、拡張鳥瞰図画像９２０では、その人物がカメラ画像９００と同程度に描写される。このような拡張鳥瞰図画像を表示するようにすれば、鳥瞰図画像による遠近感の把握容易化という利点を享受しつつ、車両遠方に対する視界をも支援することが可能となる。つまり、広範囲で優れた視認性を得る事が可能となる。
特開２００６－２８７８９２号公報
　拡張鳥瞰図画像を生成可能な運転支援システムでは、カメラ画像から拡張鳥瞰図画像を生成するための画像変換パラメータが事前に設定され、実稼動時において、その画像変換パラメータを用いて拡張鳥瞰図画像の生成を行う。画像変換パラメータは、カメラ画像が定義される座標面上の座標値と拡張鳥瞰図画像が定義される座標面上の座標値との対応関係を規定するパラメータである。拡張鳥瞰図画像を生成するためには、実際のカメラの傾き角度及び設置高さなどの情報が必要であり、画像変換パラメータは、その情報に基づいて設定される。
　車両の製造段階でカメラが取り付けられる場合など、カメラの傾き角度及び設置高さが完全に固定されることが分かっている場合は、上記情報に基づいて適切な画像変換パラメータを事前に定めておき、それをそのまま使い続けることで適切な拡張鳥瞰図画像を常時生成することができる。
　しかし、ユーザが車両とは別にカメラを用意して車両の形状等に合わせてカメラを車両に設置する場合は、カメラの傾き角度等が一定に保たれないため、カメラの傾き角度等の変化に対応して画像変換パラメータを適切に調整する必要がある。不適切な画像変換パラメータを用いた場合、生成した拡張鳥瞰図画像内に画像の欠落が発生することがある。図１６に、この欠落が発生している拡張鳥瞰図画像の例を示す。
　画像の欠落とは、拡張鳥瞰図画像の全体像が現れるべき拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。図１６の上方における黒塗り部分が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データから拡張鳥瞰図画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、拡張鳥瞰図画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
　拡張鳥瞰図画像を表示するシステムにおいて、画像欠落の発生を極力なくすべきであることは言うまでもない。
　そこで本発明は、カメラからの画像を座標変換することによって得た変換画像上における画像欠落を抑制する画像処理装置及び画像補正方法を提供することを目的とする。また、本発明は、それらを利用した運転支援システム及び車両を提供することを目的とする。
　本発明に係る画像処理装置は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換手段と、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整手段と、を備えたことを特徴とする。
　これにより、画像の欠落が抑制された変換画像を生成することが可能となる。
　具体的には例えば、前記画像変換手段は、前記画像変換パラメータに従い、前記入力画像を、前記車両からの距離が比較的短い被写体が現れる第１部分画像と前記車両からの距離が比較的長い被写体が現れる第２部分画像とを含む複数の部分画像に切り分けて、前記第１及び第２部分画像をそれぞれ前記第１及び第２要素画像に変換することにより前記変換画像を生成する。
　そして例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記角度変化率を調整することによって前記画像変換パラメータの調整を行う。
　上記の如く画像変換パラメータは角度変化率が依存するが、角度変化率を調整することによって変換画像の視野範囲が変化する。このため、角度変化率を調整することにより画像欠落領域の発生を抑制することが可能である。
　或いは例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１要素画像と前記第２要素画像との境界線を前記変換画像内で移動させ、これによって前記画像変換パラメータの調整を行う。
　第２の仮想カメラの俯角は第１の仮想カメラの俯角よりも小さいため、例えば、第２要素画像の画像サイズが縮小される方向に上記境界線を変換画像内で移動させれば、変換画像の視野範囲が縮小する。このため、境界線の位置を調整することにより画像欠落領域の発生を抑制することが可能である。
　或いは例えば、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１及び第２の仮想カメラの高さを調整し、これによって前記画像変換パラメータの調整を行う。
　変換画像は入力画像を仮想カメラから見た画像に変換したものであるため、例えば、仮想カメラの高さを低下させれば変換画像の視野範囲が縮小する。このため、仮想カメラの高さを調整することにより画像欠落領域の発生を抑制することが可能である。
　或いは例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記角度変化率、前記変換画像上における前記境界線の位置、並びに、前記第１及び第２の仮想カメラの高さをそれぞれ第１、第２及び第３調整対象として取り扱って、前記画像欠落領域の発生を抑制する方向に第１～第３の調整対象の内の何れか１以上を調整することにより前記画像変換パラメータの調整を行い、前記画像欠落領域が前記変換画像の全体領域内に含まれなくなるまで前記画像変換パラメータの調整を繰り返し実行する。
　また具体的には例えば、前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する。
　本発明に係る運転支援システムは、前記カメラ及び前記画像処理装置を備え、前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力することを特徴とする。
　本発明に係る車両は、前記カメラ及び前記画像処理装置が設置されたことを特徴とする。
　本発明に係る画像処理方法は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換ステップと、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、記憶された前記画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整ステップと、を実行することを特徴とする。
　本発明によれば、カメラからの画像を座標変換することによって得た変換画像上における画像欠落を抑制する画像処理装置及び画像補正方法を提供することができる。また、それらを利用した運転支援システム及び車両を提供することができる。
　本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
本発明の実施形態に係る運転支援システムの概略構成ブロック図である。 図１の運転支援システムが適用される車両の外観側面図である。 カメラの俯角と地面（水平面）との関係を示した図である。 カメラの光学中心とカメラ画像が定義されるカメラ座標面との関係を示す図である。 カメラ座標面と鳥瞰図座標面との関係を示す図である。 （ａ）は、図１のカメラから得られるカメラ画像を示す図であり、（ｂ）は、そのカメラ画像に基づく鳥瞰図画像を示す図である。 図１の画像処理装置にて生成される拡張鳥瞰図画像の構造を示す図である。 カメラ画像と拡張鳥瞰図画像との関係を示す図である。 図６（ａ）のカメラ画像から得た拡張鳥瞰図画像を示す図である。 画像処理装置の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。 図１の運転支援システムの動作の流れを表すフローチャートである。 図１０の画像処理装置内で定義される、鳥瞰図座標面上の拡張鳥瞰図画像の外形を示す図である。 （ａ）は、画像欠落ない場合における、カメラ画像と拡張鳥瞰図画像との関係図であり、（ｂ）は、画像欠落がある場合における、カメラ画像と拡張鳥瞰図画像との関係図である。 （ａ）、（ｂ）及び（ｃ）は、夫々、従来技術に係る、カメラ画像、鳥瞰図画像及び拡張鳥瞰図画像を示す図である。 （ａ）及び（ｂ）は、拡張鳥瞰図画像の生成時に想定される仮想カメラのイメージ図である。 画像欠落が生じた拡張鳥瞰図画像を例示する図である。
符号の説明
　　１　カメラ
　　２　画像処理装置
　　３　表示装置
　１１　画像入力部
　１２　レンズ歪み補正部
　１３　画像変換部
　１４　欠落判定部
　１５　パラメータ調整部
　１６　パラメータ記憶部
　１７　表示用画像生成部
　以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
　図１に、本発明の実施形態に係る運転支援システムの概略構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。
　カメラ１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。特記なき限り、以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ１の特性によっては、レンズ歪み補正処理が省略されることもある。
　図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えば自動車である。水平面とカメラ１の光軸との成す角には、図２にθで表される角度とθ’で表される角度とがある。観察者としての或るカメラに関し、水平面と該カメラの光軸との成す鋭角は、一般的に俯角（又は見下ろし角）と呼ばれている。角度θ’は、カメラ１の俯角である。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ’＝１８０°、が成立する。
　カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。
　カメラ１として、ＣＣＤ（Charge　Coupled　Devices）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
［通常の鳥瞰図画像について］
　画像処理装置２は、座標変換を用い、カメラ画像を仮想カメラの視点から見た画像に変換することによって鳥瞰図画像を生成することができる。カメラ画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。画像処理装置２は、特開２００６－２８７８９２号公報にも述べられているような拡張鳥瞰図画像を生成することができるが、まず、それの基礎となる鳥瞰変換を説明する。
　図４及び図５を参照する。カメラ１の光軸方向に直交する面をカメラ座標面とする。図４及び図５において、カメラ座標面を面Ｐｂｕで表す。カメラ座標面は、カメラ１の固体撮像素子の撮像面に平行なカメラ画像の投影面であり、カメラ画像はカメラ座標面上に二次元配列された各画素によって形成される。また、カメラ１の光学中心をＯＣで表すと共に、光学中心ＯＣを通り且つカメラ１の光軸方向に平行な軸をＺ軸とする。Ｚ軸とカメラ座標面との交点がカメラ画像の中心点となる。カメラ座標面上の、互いに直交する座標軸をＸｂｕ軸及びＹｂｕ軸とする。Ｘｂｕ軸及びＹｂｕ軸は、夫々、カメラ画像の水平方向及び垂直方向と平行である。そして、カメラ座標面（及びカメラ画像）上の或る画素の位置を座標値（ｘｂｕ，ｙｂｕ）で表す。ｘｂｕ及びｙｂｕは、夫々、その画素の、カメラ座標面（及びカメラ画像）上の水平位置及び垂直位置を表している。尚、カメラ座標面を含む、二次元直交座標面の原点をＯにて表す。カメラ画像の垂直方向は車両１００からの距離方向に対応しており、カメラ座標面上において、或る画素のＹｂｕ軸成分（即ち、ｙｂｕ）が増大すれば、カメラ座標面上における該画素と車両１００及びカメラ１との距離は増大する。
　また、地面に平行な面を鳥瞰図座標面とする。図５において、鳥瞰図座標面を面Ｐａｕで表す。鳥瞰図画像は、鳥瞰図座標面上に二次元配列された各画素によって形成される。鳥瞰図座標面上の直交座標軸をＸａｕ軸及びＹａｕ軸とする。Ｘａｕ軸及びＹａｕ軸は、夫々、鳥瞰図画像の水平方向及び垂直方向と平行である。そして、鳥瞰図座標面（及び鳥瞰図画像）上の或る画素の位置を座標値（ｘａｕ，ｙａｕ）で表す。ｘａｕ及びｙａｕは、夫々、その画素の、鳥瞰図座標面（及び鳥瞰図画像）上の水平位置及び垂直位置を表している。鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹａｕ軸成分（即ち、ｙａｕ）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ１との距離は増大する。
　鳥瞰図画像は、カメラ座標面上に定義されるカメラ画像を鳥瞰図座標面上に投影した画像に相当し、この投影を行うための鳥瞰変換を公知の座標変換によって実現できる。例えば、透視投影変換を用いる場合、カメラ画像上の各画素の座標値（ｘｂｕ，ｙｂｕ）を下記式（１）に従って鳥瞰図画像上の座標値（ｘａｕ，ｙａｕ）に変換することにより鳥瞰図画像を生成することができる。ここで、ｆはカメラ１の焦点距離である。ｈは、カメラ１が配置されている高さ（設置高さ）、即ちカメラ１の視点の高さである。Ｈは、上記の仮想カメラが配置されている高さ、即ち仮想カメラの視点の高さである。
Figure JPOXMLDOC01-appb-M000001
　図６（ａ）にカメラ画像２００の例を示すと共に、図６（ｂ）に、そのカメラ画像を鳥瞰変換することによって得た鳥瞰図画像２１０を示す。カメラ画像２００は、路面上に描かれた２本の平行な白線を撮影することによって得たものである。また、その白線の側方に被写体としての人物が位置している。カメラ１の傾き角度θが９０度でないことに由来してカメラ画像２００内における２本の白線は平行とならないが、鳥瞰図画像２１０内における２本の白線は、実空間上のそれらと同じく平行となる。尚、図６（ｂ）及び後述の図９に示された斜線領域は、カメラ１によって撮影されていない領域（画像情報が元々ない領域）である。カメラ画像の全体領域の外形は矩形であるが、鳥瞰変換の原理上、鳥瞰図画像の全体領域の外形は矩形とならないことがある。
［拡張鳥瞰図画像について］
　上述の鳥瞰図画像は、カメラ画像を仮想カメラの視点から見た画像に変換したものであり、鳥瞰図画像を生成する場合における仮想カメラの俯角は９０度である。つまり、その仮想カメラは地面を鉛直方向に見下ろすカメラである。鳥瞰図画像を表示すると運転者は画像上における車体と物体との距離感（換言すれば遠近感）を掴みやすくなるが、鳥瞰図画像は、その特性上、視野範囲が狭い。これを考慮した拡張鳥瞰図画像を、画像処理装置２は生成可能である。
　図７に、拡張鳥瞰図画像の構造を示す。拡張鳥瞰図画像の全体領域は境界線ＢＬを境界にして第１及び第２画像領域に分割されている。第１画像領域内の画像を第１要素画像と呼び、第２画像領域内の画像を第２要素画像と呼ぶ。図７の下方側が車両１００が位置する側であり、第１要素画像内には車両１００からの距離が比較的近い被写体が現れ、第２要素画像内には車両１００からの距離が比較的遠い被写体が現れる。つまり、第１要素画像内に現れる被写体は第２要素画像内に現れる被写体よりも車両１００及びカメラ１の近くに位置している。
　図７の上下方向が拡張鳥瞰図画像の垂直方向に合致しており、境界線ＢＬは拡張鳥瞰図画像の水平方向及び水平ラインに平行である。第１要素画像内の水平ラインの内、最も車両１００の近くに位置する水平ラインを下端ラインＬＬと呼ぶ。第２要素画像内の水平ラインの内、最も境界線ＢＬとの距離が遠い水平ラインを上端ラインＵＬと呼ぶ。拡張鳥瞰図画像上における或る点に関し、その点が下端ラインＬＬから上端ラインＵＬに向かうにつれて、拡張鳥瞰図画像上におけるその点と車両１００及びカメラ１との距離が大きくなる。
　また、鳥瞰図画像と同様、拡張鳥瞰図画像も鳥瞰図座標面上の画像であるとする。特に断りなき限り、以下の説明おける鳥瞰図座標面は、拡張鳥瞰図画像が定義される座標面を指すものと解釈される。従って、鳥瞰図座標面（及び拡張鳥瞰図画像）上の或る画素の位置は座標値（ｘａｕ，ｙａｕ）にて表され、ｘａｕ及びｙａｕは、夫々、その画素の、鳥瞰図座標面（及び拡張鳥瞰図画像）上の水平位置及び垂直位置を表している。Ｘａｕ軸及びＹａｕ軸は、夫々、拡張鳥瞰図画像の水平方向及び垂直方向と平行である。拡張鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹａｕ軸成分（即ち、ｙａｕ）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ１との距離は増大する。拡張鳥瞰図画像の水平ラインの内、最もＹａｕ軸成分が小さい水平ラインが下端ラインＬＬに合致し、最もＹａｕ軸成分が大きい水平ラインが上端ラインＵＬに合致する。
　図８を参照して、カメラ画像から拡張鳥瞰図画像を生成する方法の概念を説明する。カメラ画像を、Ｙｂｕ軸成分が比較的小さい領域（車両近傍の画像領域）内の部分画像２２１とＹｂｕ軸成分が比較的大きい領域（車両遠方の画像領域）内の部分画像２２２とに分割して考えた場合、部分画像２２１の画像データから第１要素画像が生成され、部分画像２２２の画像データから第２要素画像が生成される。
　第１要素画像は、部分画像２２１に上述した鳥瞰変換を施すことによって得られる。即ち、部分画像２２１内の各画素の座標値（ｘｂｕ，ｙｂｕ）を下記式（２）及び（３）に従って鳥瞰図座標面上の座標値（ｘａｕ，ｙａｕ）に変換し、その座標変換後の座標値を有する各画素から形成される画像を第１要素画像とする。式（２）は、式（１）におけるθをθＡに置換した式である。式（３）から分かるように、第１要素画像を生成する際には、式（２）におけるθＡとして、実際のカメラ１の傾き角度θが用いられる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　一方、部分画像２２２内の各画素の座標値（ｘｂｕ，ｙｂｕ）を式（２）及び式（４）に従って鳥瞰図座標面上の座標値（ｘａｕ，ｙａｕ）に変換し、その座標変換後の座標値を有する各画素から形成される画像を第２要素画像とする。つまり、第２要素画像を生成する際には、式（２）におけるθＡとして、式（４）に従うθＡが用いられる。ここで、Δｙａｕは、第２要素画像内における着目した画素と境界線ＢＬとの、鳥瞰図座標面上における距離である。その着目した画素の座標値のＹａｕ軸成分（即ち、ｙａｕ）と境界線ＢＬの座標値のＹａｕ軸成分との差分値が増大するにつれて、Δｙａｕは増大する。Δθは正の値を有する角度変化率である。Δθの値を予め設定しておくことができる。但し、角度θＡが常に９０度以上となるようにΔθが設定されるものとする。式（４）に従う場合、境界線ＢＬより上方の画像を１ライン分生成するごとに、座標変換に用いる角度θＡが９０度に向かって滑らかに減少するが、複数ライン分生成するごとに角度θＡを変化させても構わない。
Figure JPOXMLDOC01-appb-M000004
　以上のような、カメラ画像から拡張鳥瞰図画像を生成するための座標変換を「拡張鳥瞰変換」と呼ぶ。例として、図６（ａ）のカメラ画像２００から生成された拡張鳥瞰図画像２５０を図９に示す。拡張鳥瞰図画像２５０の内、第１要素画像に相当する部分には地面を鉛直方向に見下ろしたような画像が描画され、第２要素画像に相当する部分には地面を斜めから見下ろしたような画像が描画される。
　視野範囲が狭いことに起因して図６（ｂ）の鳥瞰図画像２１０上では被写体としての人物が殆ど描写されていないが（鳥瞰図画像２１０上では足の部分だけが描写されている）、図９の拡張鳥瞰図画像２５０では、その人物が図６（ａ）のカメラ画像２００と同程度に描写される。このような拡張鳥瞰図画像を表示するようにすれば、比較的遠方の領域を映像として視認することが可能となる。
　第１要素画像は、視点変換によって、実際のカメラ１の視点から見た部分画像２２１を仮想カメラの視点から見た画像に変換したものである。この場合における視点変換は、実際のカメラ１の傾き角度θを用いて行われるため、その仮想カメラの俯角は９０度（但し、誤差は含まれうる）である。つまり、第１要素画像を生成する際における仮想カメラの俯角は９０度である。
　同様に、第２要素画像は、視点変換によって、実際のカメラ１の視点から見た部分画像２２２を仮想カメラの視点から見た画像に変換したものである。但し、この場合における視点変換は、実際のカメラ１の傾き角度θよりも小さな角度θＡを用いて行われるため（式（４）参照）、その仮想カメラの俯角は９０度未満である。つまり、第２要素画像を生成する際における仮想カメラの俯角は９０度未満である。第１及び第２要素画像を生成する際における仮想カメラを、便宜上、夫々、第１及び第２の仮想カメラとも呼ぶ。Δｙａｕが増大するにつれて式（４）に従う角度θＡは９０度に向かって減少し、式（２）における角度θＡが９０度に向かって減少するにつれて第２の仮想カメラの俯角は減少する。角度θＡが９０度となると第２の仮想カメラの俯角と実際のカメラ１の俯角は同じとなる。尚、第１の仮想カメラの高さと第２の仮想カメラの高さは同じである（共にＨである）。
　画像処理装置２は、上記式（２）～（４）に従って、カメラ画像を拡張鳥瞰図画像に変換するための画像変換パラメータを生成して記憶する。カメラ画像を拡張鳥瞰図画像に変換するための画像変換パラメータを、特に拡張変換パラメータと呼ぶ。拡張変換パラメータによって、鳥瞰図座標面（及び拡張鳥瞰図画像）上の画素の座標値とカメラ座標面（及びカメラ画像）上の画素の座標値との対応関係が指定される。拡張変換パラメータを、ルックアップテーブルに格納することもできる。
［拡張変換パラメータの調整を含む、運転支援システムの動作］
　ところで、カメラ１の傾き角度及び設置高さが完全に固定されることが分かっている場合は、上記の角度変化率Δθ、境界線ＢＬの位置及び仮想カメラの高さＨを運転支援システムの設計段階で予め適切に設定しておけば適切な拡張鳥瞰図画像を常時生成することが可能である。しかし、ユーザが車両１００とは別にカメラ１を用意して車両１００の形状等に合わせてカメラ１を車両１００に設置する場合は、カメラ１の傾き角度等が一定に保たれないため、カメラ１の傾き角度等の変化に対応して拡張変換パラメータを適切に調整する必要がある。本実施形態に係る運転支援システムには、拡張変換パラメータを自動的に調整する機能が備えられている。この機能に注目した運転支援システムの構成及び動作を説明する。
　図１０は、画像処理装置２の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。画像処理装置２は、符号１１～１７によって参照される各部位を備える。図１１は、運転支援システムの動作の流れを表すフローチャートである。
　図１０のパラメータ記憶部１６は、拡張変換パラメータを記憶するメモリである。記憶される拡張変換パラメータの初期値は、図１１に示すステップＳ１～Ｓ７から成る一連の処理の実行前に、予め定められる。例えば、その初期値はキャリブレーションモードにて設定される。車両１００にカメラ１を設置した後、ユーザが運転支援システムに所定の操作を施すと、キャリブレーションモードにおける動作が実行される。キャリブレーションモードにおいて、図示されない操作部に対して、ユーザがカメラ１の傾き角度及び設置高さを表す情報を運転支援システムに与えると、その情報に従って、画像処理装置２が上記式（２）～式（４）におけるθ及びｈの各値を決定する。画像処理装置２は、ここで決定されたθ及びｈの各値と、予め設定された角度変化率Δθの初期値、予め設定された境界線ＢＬの初期位置及び予め設定された仮想カメラの高さＨの初期値とを用い、式（２）～式（４）に従って拡張変換パラメータの初期値を定める。尚、上記式（２）における焦点距離ｆの値を、画像処理装置２は予め認識している。また、仮想カメラの高さＨの初期値をユーザが決定するようにしてもよい。
　図１１のフローチャートに沿って、運転支援システムの動作を説明する。まず、ステップＳ１において、画像入力部１１は、カメラ１から原画像の入力を受ける。即ち、画像入力部１１は、カメラ１から送られてくる原画像の画像データを受け取り、その画像データをフレームメモリ（不図示）に記憶させることで原画像を取得する。原画像とはレンズ歪み補正前のカメラ画像を指す。広視野角を確保すべくカメラ１には広角レンズが用いられるため、原画像には歪みが含まれている。そこで、ステップＳ２において、レンズ歪み補正部１２は、画像入力部１１が取得した原画像に対してレンズ歪み補正を施す。レンズ歪み補正の方法として、特開平５－１７６３２３号公報に記載されているような公知の任意の方法が利用可能である。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。
　ステップＳ２に続くステップＳ３において、画像変換部１３は、パラメータ記憶部１６に記憶されている拡張変換パラメータを読み込む。後述するように、拡張変換パラメータは更新されることがある。ステップＳ３では、最新の拡張変換パラメータが読み込まれる。続くステップＳ４において、画像変換部１３は、読み込んだ拡張変換パラメータに従ってレンズ歪み補正部１２から与えられるカメラ画像を拡張鳥瞰変換することにより拡張鳥瞰図画像を生成する。
　ステップＳ４の処理の後、欠落判定部１４によってステップＳ５の処理が実行される。欠落判定部１４は、ステップＳ４で生成されるべき拡張鳥瞰図画像に画像の欠落が発生しているか否かを判定する。画像の欠落とは、拡張鳥瞰図画像の全体像が現れるべき拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれることを意味し、拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれる場合に、画像の欠落が発生していると判定される。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。画像の欠落が発生している拡張鳥瞰図画像の例は、図１６に示されている。図１６の上方における黒塗り部分が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データから拡張鳥瞰図画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、拡張鳥瞰図画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
　尚、欠落判定部１４の判定対象となる画像の欠落は拡張鳥瞰図画像の第２画像領域内に発生する（図７及び図１６参照）。つまり、画像欠落領域が生じる場合、それは第２画像領域内に含まれるものとする。また、拡張鳥瞰変換の原理上、その画像の欠落は上端ラインＵＬを起点として生じる。
　拡張鳥瞰図画像に画像の欠落が発生していると判断された場合は、ステップＳ５からステップＳ６に移行し、画像の欠落が発生していないと判断された場合はステップＳ７に移行する。
　図１２並びに図１３（ａ）及び（ｂ）を参照して、画像欠落の意義及び画像欠落の有無の判定方法を補足説明する。拡張鳥瞰図画像を形成する各画素が位置すべき、鳥瞰図座標面上の座標値は予め設定されており、その設定内容に従って、鳥瞰図座標面上における拡張鳥瞰図画像の外形位置も予め定められている。図１２並びに図１３（ａ）及び（ｂ）において、符号２７０が付された枠は、鳥瞰図座標面上における拡張鳥瞰図画像の全体領域外形を表している。その枠２７０内に二次元配列された画素群から拡張鳥瞰図画像が生成される。
　欠落判定部１４は、ステップＳ３で読み込まれた拡張変換パラメータに従って、枠２７０内の各画素の座標値（ｘａｕ，ｙａｕ）に対応するカメラ座標面上の座標値（ｘｂｕ，ｙｂｕ）を求める。そして、求めた全ての座標値（ｘｂｕ，ｙｂｕ）がカメラ画像内の座標値である場合、即ち、拡張鳥瞰図画像を形成する全画素の画像データをカメラ画像の画像データから得ることができる場合、画像の欠落は発生していないと判定する。一方、求めた全ての座標値（ｘｂｕ，ｙｂｕ）の中に、カメラ画像外の座標値が存在する場合は、画像の欠落が発生していると判定する。図１３（ａ）は、画像の欠落が発生しない場合の座標変換の様子を示しており、図１３（ｂ）は、画像の欠落が発生している場合の座標変換の様子を示している。図１３（ａ）及び（ｂ）において、枠２８０はカメラ座標面上におけるカメラ画像の全体領域外形を表しており、枠２８０内にのみ、カメラ画像の画像データが存在する。
　ステップＳ５にて画像の欠落が発生していると判断された場合、ステップＳ６において、その判断結果に基づきパラメータ調整部１５が拡張変換パラメータの調整を行う。原画像から生成される拡張鳥瞰図画像は、レンズ歪み補正、カメラ１の傾き角度θ及び設置高さｈ、角度変化率Δθ、境界線ＢＬの位置、並びに、仮想カメラの高さＨに依存するが、この内、レンズ歪み補正はカメラ１に使用するレンズの特性に依存して決められるべきであり、カメラ１の傾き角度θ及び設置高さｈは車両１００に対するカメラ１の取り付け状態に依存して決められるべきである。
　このため、パラメータ調整部１５は、拡張鳥瞰図画像の全体領域内に含まれる画像欠落領域の大きさが小さくなるように（究極的には、画像欠落領域が完全に無くなるように）、角度変化率Δθ、境界線ＢＬの位置又は仮想カメラの高さＨを調整する。画像欠落領域の大きさとは、画像欠落領域の画像サイズを意味する。画像欠落領域の大きさを、画像欠落領域を形成する画素数によって表すことができる。
　具体的には例えば、調整後の角度変化率Δθが調整前のそれよりも小さくなるように角度変化率Δθを調整する。即ち、角度変化率Δθを減少補正する。角度変化率Δθを減少させることにより、第２要素画像内の或る画素に対する仮想カメラの俯角が調整前よりも９０度に近づくため、車両遠方側の視野範囲が狭まって画像欠落が発生しにくくなる。角度変化率Δθの、一回当たりの減少量を予め定めておくことができる。或いは、その減少量を、画像欠落領域の大きさに応じて決定しても良い。調整後の角度変化率Δθを用いた式（２）～式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
　或いは例えば、調整後の境界線ＢＬの位置が調整前のそれよりも上端ラインＵＬに近くなるように境界線ＢＬの位置を調整する。即ち、境界線ＢＬのＹａｕ軸方向の座標値を増大させる。境界線ＢＬの位置を上端ラインＵＬ側に移動させることにより、第２要素画像の垂直画像サイズが減少するため、車両遠方側の視野範囲が狭まって画像欠落が発生しにくくなる。境界線ＢＬの、一回当たりの移動量を予め定めておくことができる。或いは、その移動量を、画像欠落領域の大きさに応じて決定しても良い。調整後の境界線ＢＬの位置を用いた式（２）～式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
　或いは例えば、調整後の仮想カメラの高さＨが調整前のそれよりも低くなるように仮想カメラの高さＨを調整する。仮想カメラの高さＨを低下させることにより、拡張鳥瞰図画像の全体の視野範囲が狭まるため、画像欠落が発生しにくくなる。高さＨの、一回当たりの低下量を予め定めておくことができる。或いは、その低下量を、画像欠落領域の大きさに応じて決定しても良い。調整後の高さＨを用いた式（２）～式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
　或いは例えば、角度変化率Δθ、境界線ＢＬの位置及び仮想カメラの高さＨを、夫々、第１、第２及び第３調整対象として取り扱い、拡張鳥瞰図画像の全体領域内に含まれる画像欠落領域の大きさが小さくなるように（究極的には、画像欠落領域が完全に無くなるように）、第１～第３調整対象の内の、２以上の調整対象を同時に調整するようにしてもよい。即ち例えば、角度変化率Δθを減少するように且つ境界線ＢＬの位置が上端ラインＵＬに近づくように、角度変化率Δθと境界線ＢＬの位置を同時に調整するようにしてもよい。この場合、調整後の角度変化率Δθ及び境界線ＢＬの位置を用いた式（２）～式（４）に基づく拡張変換パラメータが、パラメータ記億部１６に更新記憶される。
　ステップＳ６にて拡張変換パラメータが調整された後、ステップＳ３に戻り、更新記憶された拡張変換パラメータが画像変換部１３によって読み込まれ、その更新記憶された拡張変換パラメータを用いたステップＳ４の拡張鳥瞰変換及びステップＳ５の欠落判定処理が実行される。このため、ステップＳ３～Ｓ６から成るループ処理は、ステップＳ５にて画像の欠落が発生していないと判断されるまで繰り返し実行される。
　ステップＳ５にて画像の欠落が発生していないと判断された場合、画像の欠落の発生していない最新の拡張鳥瞰図画像の画像データが画像変換部１３から表示用画像生成部１７に送られる（図１０参照）。表示用画像生成部１７は、その最新の拡張鳥瞰図画像の画像データに基づいて表示用画像の画像データを生成し、その表示用画像の画像データを表示装置３に出力する。これにより、画像の欠落が存在しない拡張鳥瞰図画像に基づく表示用画像が表示装置３に表示される。表示用画像は、例えば、拡張鳥瞰図画像そのもの、或いは、拡張鳥瞰図画像に任意の加工を施した画像、或いは、拡張鳥瞰図画像に任意の画像を付加した画像である。
　本実施形態に係る運転支援システムによれば、カメラ１の傾き角度θや設置高さＨが変化したとしても、その変化に適応して拡張変換パラメータが自動的に調整されるため、画像の欠落のない映像を運転者に提示することが可能となる。
　＜＜変形等＞＞
　上述の実施形態の変形例または注釈事項として、以下に、注釈１～注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
　上述の例では、レンズ歪み補正後の画像に対して拡張変換パラメータを作用させているが、レンズ歪み補正を行うための画像変換を拡張変換パラメータに盛り込んで、原画像から一気に拡張鳥瞰図画像を生成するようにしてもよい。この場合、図１０の画像入力部１１にて取得された原画像を画像変換部１３に入力するようにする。そして、レンズ歪み補正のための画像変換をも含んだ拡張変換パラメータをパラメータ記憶部１６に記憶させておき、その拡張変換パラメータを原画像に作用させることで拡張鳥瞰図画像を生成する。
　また、使用するカメラによってはレンズ歪み補正自体が不要となることもある。レンズ歪み補正が不要な場合は、図１０の画像処理装置２からレンズ歪み補正部１２を削除し、原画像を画像変換部１３に直接与えればよい。
［注釈２］
　車両１００の後方側に視野を有するようにカメラ１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ１を車両１００の前部又は側方部に設置するようにしてもよい。
［注釈３］
　上述の例では、１つのカメラから得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に複数のカメラ（不図示）を設置し、その複数のカメラ（不図示）から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラのカメラ画像に基づく画像をカメラ１のカメラ画像に基づく画像（上述の例において、拡張鳥瞰図画像）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、車両１００の３６０°周辺全周を視野範囲に収めた画像である。
［注釈４］
　図１０の画像処理装置２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

Claims (10)

  1. 　車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、
    　座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換手段と、
    　前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、
    　前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、
    　前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整手段と、を備えた
    ことを特徴とする画像処理装置。
  2. 　前記画像変換手段は、前記画像変換パラメータに従い、前記入力画像を、前記車両からの距離が比較的短い被写体が現れる第１部分画像と前記車両からの距離が比較的長い被写体が現れる第２部分画像とを含む複数の部分画像に切り分けて、前記第１及び第２部分画像をそれぞれ前記第１及び第２要素画像に変換することにより前記変換画像を生成する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
    　前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記角度変化率を調整することによって前記画像変換パラメータの調整を行う
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
    　前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１要素画像と前記第２要素画像との境界線を前記変換画像内で移動させ、これによって前記画像変換パラメータの調整を行う
    ことを特徴とする請求項２に記載の画像処理装置。
  5. 　前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１及び第２の仮想カメラの高さを調整し、これによって前記画像変換パラメータの調整を行う
    ことを特徴とする請求項２に記載の画像処理装置。
  6. 　前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
    　前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、
    　前記角度変化率、前記変換画像上における前記境界線の位置、並びに、前記第１及び第２の仮想カメラの高さをそれぞれ第１、第２及び第３調整対象として取り扱って、前記画像欠落領域の大きさが減少する方向に第１～第３の調整対象の内の何れか１以上を調整することにより前記画像変換パラメータの調整を行い、前記画像欠落領域が前記変換画像の全体領域内に含まれなくなるまで前記画像変換パラメータの調整を繰り返し実行する
    ことを特徴とする請求項２に記載の画像処理装置。
  7. 　前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、
    　前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する
    ことを特徴とする請求項１乃至請求項６の何れかに記載の画像処理装置。
  8. 　請求項１乃至請求項６の何れかに記載のカメラ及び画像処理装置を備え、
    　前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力する
    ことを特徴とする運転支援システム。
  9. 　請求項１乃至請求項６の何れかに記載のカメラ及び画像処理装置が設置された
    ことを特徴とする車両。
  10. 　車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、
    　座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換ステップと、
    　前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、
    　記憶された前記画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、
    　前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整ステップと、を実行する
    ことを特徴とする画像処理方法。
PCT/JP2009/051747 2008-03-19 2009-02-03 画像処理装置及び方法、運転支援システム、車両 WO2009116327A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09723368A EP2254334A4 (en) 2008-03-19 2009-02-03 IMAGE PROCESSING DEVICE AND METHOD, DRIVING ASSISTANCE SYSTEM AND VEHICLE
US12/922,006 US20110001826A1 (en) 2008-03-19 2009-02-03 Image processing device and method, driving support system, and vehicle
CN200980109377.8A CN101978694B (zh) 2008-03-19 2009-02-03 图像处理装置和方法、驾驶支持系统、车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-071864 2008-03-19
JP2008071864A JP5222597B2 (ja) 2008-03-19 2008-03-19 画像処理装置及び方法、運転支援システム、車両

Publications (1)

Publication Number Publication Date
WO2009116327A1 true WO2009116327A1 (ja) 2009-09-24

Family

ID=41090735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/051747 WO2009116327A1 (ja) 2008-03-19 2009-02-03 画像処理装置及び方法、運転支援システム、車両

Country Status (5)

Country Link
US (1) US20110001826A1 (ja)
EP (1) EP2254334A4 (ja)
JP (1) JP5222597B2 (ja)
CN (1) CN101978694B (ja)
WO (1) WO2009116327A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446471B2 (en) 2009-12-31 2013-05-21 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
CN103366339A (zh) * 2013-06-25 2013-10-23 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
CN112092731A (zh) * 2020-06-12 2020-12-18 合肥长安汽车有限公司 一种汽车倒车影像自适应调节方法及其系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049821A1 (de) * 2007-10-16 2009-04-23 Daimler Ag Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
CN102804762A (zh) * 2009-06-29 2012-11-28 松下电器产业株式会社 车载用影像显示装置
JP5172806B2 (ja) 2009-10-05 2013-03-27 株式会社エヌ・ティ・ティ・ドコモ 無線通信制御方法、移動端末装置及び基地局装置
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5212422B2 (ja) * 2010-05-19 2013-06-19 株式会社富士通ゼネラル 運転支援装置
JP5724446B2 (ja) * 2011-02-21 2015-05-27 日産自動車株式会社 車両の運転支援装置
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
US10793067B2 (en) * 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
JP5971939B2 (ja) * 2011-12-21 2016-08-17 アルパイン株式会社 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
CN103802725B (zh) * 2012-11-06 2016-03-09 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
CN103879351B (zh) * 2012-12-20 2016-05-11 财团法人金属工业研究发展中心 车用影像监视系统
WO2014100985A1 (en) 2012-12-26 2014-07-03 Harman International Industries, Incorporated Method and system for generating a surround view
CN105378271A (zh) * 2013-07-08 2016-03-02 维斯塔斯风力系统有限公司 用于风轮发电机的传动装置
JP6255928B2 (ja) * 2013-11-15 2018-01-10 スズキ株式会社 俯瞰画像生成装置
EP3654286B1 (en) * 2013-12-13 2024-01-17 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US20160129838A1 (en) * 2014-11-11 2016-05-12 Garfield Ron Mingo Wide angle rear and side view monitor
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US10417743B2 (en) * 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
US20170151909A1 (en) * 2015-11-30 2017-06-01 Razmik Karabed Image processing based dynamically adjusting surveillance system
US9996914B2 (en) 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
US11989820B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US10163250B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US11989821B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US11222461B2 (en) 2016-03-25 2022-01-11 Outward, Inc. Arbitrary view generation
JP6742869B2 (ja) * 2016-09-15 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法
US10198841B2 (en) * 2016-11-30 2019-02-05 Gopro, Inc. Map view
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆
DE102017221839A1 (de) 2017-12-04 2019-06-06 Robert Bosch Gmbh Verfahren zur Positionsbestimmung für ein Fahrzeug, Steuergerät und Fahrzeug
JP6973302B2 (ja) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 物標認識装置
WO2020108738A1 (en) 2018-11-27 2020-06-04 Renesas Electronics Corporation Instruction list generation
FR3098620B1 (fr) * 2019-07-12 2021-06-11 Psa Automobiles Sa Procédé de génération d’une représentation visuelle de l’environnement de conduite d’un véhicule
CN114708571A (zh) * 2022-03-07 2022-07-05 深圳市德驰微视技术有限公司 基于域控制器平台的自动泊车的停车位标注方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176323A (ja) 1991-12-24 1993-07-13 Matsushita Electric Works Ltd 画像歪み補正方式
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2004194071A (ja) * 2002-12-12 2004-07-08 Matsushita Electric Ind Co Ltd 運転支援画像生成装置
JP2006135797A (ja) * 2004-11-08 2006-05-25 Matsushita Electric Ind Co Ltd 車両用周囲状況表示装置
JP2006287892A (ja) 2005-03-09 2006-10-19 Sanyo Electric Co Ltd 運転支援システム
JP2007249814A (ja) * 2006-03-17 2007-09-27 Denso Corp 画像処理装置及び画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP4196841B2 (ja) * 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
WO2006087993A1 (ja) * 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. 周辺監視装置および周辺監視方法
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176323A (ja) 1991-12-24 1993-07-13 Matsushita Electric Works Ltd 画像歪み補正方式
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2004194071A (ja) * 2002-12-12 2004-07-08 Matsushita Electric Ind Co Ltd 運転支援画像生成装置
JP2006135797A (ja) * 2004-11-08 2006-05-25 Matsushita Electric Ind Co Ltd 車両用周囲状況表示装置
JP2006287892A (ja) 2005-03-09 2006-10-19 Sanyo Electric Co Ltd 運転支援システム
JP2007249814A (ja) * 2006-03-17 2007-09-27 Denso Corp 画像処理装置及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2254334A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446471B2 (en) 2009-12-31 2013-05-21 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
CN103366339A (zh) * 2013-06-25 2013-10-23 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
CN112092731A (zh) * 2020-06-12 2020-12-18 合肥长安汽车有限公司 一种汽车倒车影像自适应调节方法及其系统
CN112092731B (zh) * 2020-06-12 2023-07-04 合肥长安汽车有限公司 一种汽车倒车影像自适应调节方法及其系统

Also Published As

Publication number Publication date
US20110001826A1 (en) 2011-01-06
JP2009231936A (ja) 2009-10-08
CN101978694A (zh) 2011-02-16
EP2254334A4 (en) 2013-03-06
EP2254334A1 (en) 2010-11-24
CN101978694B (zh) 2012-12-05
JP5222597B2 (ja) 2013-06-26

Similar Documents

Publication Publication Date Title
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP4924896B2 (ja) 車両の周辺監視装置
JP4975592B2 (ja) 撮像装置
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
JP5491235B2 (ja) カメラキャリブレーション装置
US8130270B2 (en) Vehicle-mounted image capturing apparatus
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
WO2010137265A1 (ja) 車両周囲監視装置
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP2006287892A (ja) 運転支援システム
JP2008271308A (ja) 画像処理装置及び方法並びに車両
WO2018221209A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2009120135A (ja) 撮像装置
JP5861871B2 (ja) 俯瞰画像提示装置
JP4945315B2 (ja) 運転支援システム及び車両
JP2009123131A (ja) 撮像装置
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP4696825B2 (ja) 車両用死角映像表示装置
JP2007065541A (ja) 画像表示装置
JP2007028442A (ja) 画像表示システム
US20230097715A1 (en) Camera system, vehicle, control method, and storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980109377.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09723368

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009723368

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12922006

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE