WO2009116328A1 - 画像処理装置及び方法、運転支援システム、車両 - Google Patents

画像処理装置及び方法、運転支援システム、車両 Download PDF

Info

Publication number
WO2009116328A1
WO2009116328A1 PCT/JP2009/051748 JP2009051748W WO2009116328A1 WO 2009116328 A1 WO2009116328 A1 WO 2009116328A1 JP 2009051748 W JP2009051748 W JP 2009051748W WO 2009116328 A1 WO2009116328 A1 WO 2009116328A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
reference point
converted
missing
Prior art date
Application number
PCT/JP2009/051748
Other languages
English (en)
French (fr)
Inventor
仁志 本郷
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to US12/933,021 priority Critical patent/US20110013021A1/en
Priority to EP09721218.7A priority patent/EP2256686A4/en
Priority to CN2009801091522A priority patent/CN101971207B/zh
Publication of WO2009116328A1 publication Critical patent/WO2009116328A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration

Definitions

  • the present invention relates to an image processing apparatus and method for performing image processing on an input image from a camera.
  • the present invention also relates to a driving support system and a vehicle using them.
  • the rear of the vehicle tends to be a blind spot for the vehicle driver. Therefore, a method has been proposed in which a rear camera for monitoring the rear of the vehicle is installed at the rear of the vehicle, and a camera image obtained from the rear camera is displayed on a display device arranged near the driver's seat.
  • the rear camera is often mounted at a position (offset position) shifted from the rear center of the vehicle.
  • reference numeral 901 indicates a rear camera.
  • the rear center of the vehicle body is not positioned on the center line of the image on the camera image obtained from the rear camera.
  • the camera optical axis is deviated from the center line of the vehicle, so the movement of the vehicle in real space and the video on the display screen The movement does not match and the driver feels uncomfortable driving while watching the video.
  • the optical axis direction of the rear camera may be inclined with respect to the traveling direction of the vehicle. In such a case, the same problem as described above may occur.
  • a homography matrix is set based on the correspondence between the coordinate values of the four feature points on the pre-conversion image and the coordinate values of the four reference points on the post-conversion image, and coordinate transformation is performed based on the homography matrix.
  • the technique of doing is generally known. If each coordinate value is appropriately set using this coordinate conversion, it is possible to generate an offset correction image in which the position of the center of the rear part of the vehicle body on the image matches the position of the center line of the image. However, if the homography matrix to be used is not appropriate, image loss occurs in the offset correction image.
  • the omission of an image means that an image omission area is included in the entire area of the offset correction image where the entire image of the offset correction image should appear.
  • the image missing area means an area where there is no image data based on the image data of the camera image.
  • the image data of all pixels of the offset correction image should be generated from the image data of the camera image based on the photographing result of the camera, but if the homography matrix as an image conversion parameter is inappropriate, the offset correction image Corresponding pixels of some of the pixels no longer exist in the camera image, and as a result, image loss occurs.
  • an object of the present invention is to provide an image processing apparatus and an image correction method that can cope with various camera mounting positions or mounting angles and can suppress image loss. Moreover, an object of this invention is to provide the driving assistance system and vehicle using them.
  • An image processing apparatus includes an image acquisition unit that acquires an input image based on a result of a camera that captures the periphery of a vehicle, and a position of a feature point on the input image is a position of a reference point on a converted image Image conversion means for generating the converted image from the input image by coordinate conversion, and for converting the input image to the converted image based on the position of the feature point and the position of the reference point An image based on the image data of the input image in a whole area of the converted image obtained from the input image using the image conversion parameter stored in the parameter storage unit Missing determination means for determining whether or not an image missing area where no data exists is included, and the image missing area is included in the entire area of the converted image If it is determined, as the generation of the image missing region is suppressed, and further comprising a, a parameter adjusting means for adjusting the image transformation parameter via changing the position of the reference point.
  • the image processing apparatus generates a converted image by coordinate conversion based on the position of the feature point on the input image and the position of the reference point on the converted image. Further, since the input image is an image based on the result of photographing by the camera, the camera attachment position and the attachment angle state are reflected on the position of the feature point on the input image. For this reason, it is possible to generate converted images corresponding to various camera mounting positions or mounting angles, and even if there is a change in the mounting position, image conversion parameters corresponding to the changed mounting position, etc. It can be easily generated. At this time, depending on the image conversion parameters, an image missing area may be included in the entire area of the converted image, but the occurrence of the image missing area is automatically suppressed by the parameter adjusting means.
  • the reference point is set so that the size of the image missing area decreases. Is adjusted in a direction away from the center position of the converted image.
  • the visual field range of the converted image is narrowed by moving the position of the reference point away from the center position of the converted image, it is possible to suppress the occurrence of an image missing region.
  • the feature point includes a plurality of feature points including first and second feature points
  • the reference point includes a plurality of reference points including first and second reference points
  • the first and second feature points correspond to the first and second reference points, respectively
  • the parameter adjusting means is within the entire area of the converted image and the first reference point is more than the second reference point.
  • the first and second references are located in the first and second partial images, respectively, and the parameter adjusting means is arranged so that the positions of the first and second reference points maintain a line-symmetric relationship with the center line as the axis of symmetry.
  • the position of one of the first and second reference points is moved, the position of the other reference point is also moved simultaneously.
  • the position of the feature point and the position of the reference point before and after the movement are determined so that the vehicle body center line in the traveling direction of the vehicle matches the center line.
  • the center line of the image coincides with the center line of the vehicle body, and the scales of the left and right images become uniform.
  • the coordinate value before the coordinate conversion corresponding to the coordinate value of each pixel in the converted image is defined by the image conversion parameter, and the missing determination means has all the coordinate values before the coordinate conversion in the input image. It is determined that the image missing area is not included in the entire area of the converted image, and if the calculated coordinate value includes a coordinate value outside the input image, It is determined that the image missing area is included in the entire area.
  • the driving support system includes the camera and the image processing device, and outputs an image based on the converted image obtained by the image conversion unit of the image processing device to the display unit.
  • the vehicle according to the present invention is characterized in that the camera and the image processing apparatus are installed.
  • An image processing method includes an image acquisition step of acquiring an input image based on a shooting result of a camera that captures the periphery of a vehicle, and a position of a feature point on the input image is a position of a reference point on a converted image
  • An image conversion step of generating the converted image from the input image by coordinate conversion, and converting the input image to the converted image based on the position of the feature point and the position of the reference point A parameter storing step for storing the image conversion parameters, and an image in which no image data based on the image data of the input image exists in the entire area of the converted image obtained from the input image using the stored image conversion parameters
  • a missing determination step for determining whether or not a missing area is included; and determining that the image missing area is included in the entire area of the converted image. And time, as the generation of the image missing region is suppressed, and executes and a parameter adjustment step of adjusting the image transformation parameter via changing the position of the reference point.
  • the present invention it is possible to provide an image processing apparatus and an image correction method that can cope with various camera mounting positions or mounting angles and can suppress image loss. Moreover, the driving assistance system and vehicle using them can be provided.
  • FIG. 1 is a schematic overall block diagram of a driving support system according to an embodiment of the present invention.
  • (A) And (b) is a figure which shows the state in which the camera of FIG. 2 was installed in the position which shifted
  • . 6 is a flowchart illustrating an operation of calculating an initial value of a homography matrix according to the embodiment of the present invention. It is a figure showing the imaging environment of a camera at the time of calculating the initial value of a homography matrix.
  • FIG. 6 is a diagram illustrating a camera image and an offset correction image according to the embodiment of the present invention. It is a figure for demonstrating the structure of the rectangular image as a camera image or an offset correction image concerning embodiment of this invention. It is a figure which shows that the omission of the image has arisen in the offset correction image according to the embodiment of the present invention.
  • FIG. 3 is a detailed block diagram of the driving support system of FIG. 2 including a functional block diagram of the image processing apparatus. 3 is a flowchart showing an operation flow of the driving support system in FIG. 2. It is a figure which shows the external shape of the offset correction image on an XY coordinate plane defined in the image processing apparatus of FIG.
  • (A) And (b) is a relationship diagram between the camera image and the offset correction image when there is no image loss, and a relationship diagram between the camera image and the offset correction image when there is an image loss.
  • (A), (b), and (c) are diagrams each showing an offset correction image including two image missing regions, an enlarged view of a first image region of the offset image, and a fourth image of the offset image. It is an enlarged view of an area. It is a figure which shows the other offset correction image containing two image missing areas. It is a figure which concerns on a prior art and shows the state in which the rear camera was installed in the position shifted
  • FIG. 1A is a plan view of a vehicle 100 that is an automobile as viewed from above.
  • FIG. 1B is a plan view of the vehicle 100 viewed from the side.
  • the vehicle 100 shall be arrange
  • a camera 1 is installed at the rear of the vehicle 100 to support safety confirmation behind the vehicle 100.
  • the camera 1 is installed in the vehicle 100 so as to have a field of view on the rear side of the vehicle 100.
  • a broken-line fan-shaped area denoted by reference numeral 105 represents a shooting area (field of view) of the camera 1.
  • the camera 1 is installed rearward and downward so that the field of view of the camera 1 includes the rear road surface near the vehicle 100.
  • a normal passenger car is illustrated as the vehicle 100, the vehicle 100 may be other than a normal passenger car (such as a truck).
  • the road surface is on a horizontal plane.
  • the vehicle 100 as a reference, in the real space (real space), defining the X C-axis and Y C axis is a virtual axis.
  • the X C axis and the Y C axis are axes on the road surface, and the X C axis and the Y C axis are orthogonal to each other.
  • Y C axis is parallel to the traveling direction of the vehicle 100, the vehicle body center line of the vehicle 100 rides on Y C axis.
  • the traveling direction of the vehicle 100 means the traveling direction when the vehicle 100 travels straight.
  • the vehicle body center line means a vehicle body center line parallel to the traveling direction of the vehicle 100. More specifically, the vehicle body center line, the center between the street and Y C imaginary line parallel to the axis 111 and imaginary line 112 parallel to the street and Y C axis at the left end of the vehicle 100 at the right end of the vehicle 100 It is a line that passes through.
  • the virtual lines 111 to 114 are assumed to be virtual lines on the road surface.
  • the right end of the vehicle 100 has the same meaning as the right end of the vehicle body of the vehicle 100. The same applies to the left end of the vehicle 100 and the like.
  • FIG. 2 is a schematic overall block diagram of the driving support system according to the embodiment of the present invention.
  • the driving support system includes a camera 1, an image processing device 2, a display device 3, and an operation unit 4.
  • the camera 1 captures a subject (including a road surface) located around the vehicle 100 and outputs a signal representing an image obtained by the capture to the image processing device 2.
  • the image processing device 2 generates a display image from the image obtained from the camera 1.
  • the image processing device 2 outputs a video signal representing the generated display image to the display device 3, and the display device 3 displays the display image as a video according to the given video signal.
  • the operation unit 4 is a part that receives an operation by the user, and the content of the user operation is transmitted to the image processing apparatus 2.
  • the image obtained by shooting with the camera 1 is called a camera image.
  • the camera image represented by the output signal itself of the camera 1 is often affected by lens distortion. Therefore, the image processing device 2 performs lens distortion correction on the camera image represented by the output signal itself of the camera 1 and generates a display image based on the camera image after the lens distortion correction.
  • the camera image described below refers to a camera image after lens distortion correction. However, the lens distortion correction process may be omitted depending on the characteristics of the camera 1.
  • the camera 1 a camera using a solid-state imaging device such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used.
  • the image processing apparatus 2 is formed from, for example, an integrated circuit.
  • the display device 3 is formed from a liquid crystal display panel or the like.
  • a display device included in a car navigation system or the like may be used as the display device 3 in the driving support system.
  • the image processing apparatus 2 can be incorporated as a part of the car navigation system.
  • the image processing device 2 and the display device 3 are installed near the driver's seat of the vehicle 100, for example.
  • the camera 1 is arranged in the center of the rear part of the vehicle with the vehicle rear facing accurately. That is, ideally, the optical axis of the camera 1 is to rest on the vertical plane containing the Y C-axis, the camera 1 is installed in the vehicle 100. However, due to structural or design constraints of the vehicle 100 or mounting errors of the camera 1, the camera 1 may be installed at a position shifted from the center of the rear of the vehicle as shown in FIG. the optical axis of the camera 1 as shown in that often or not be necessarily parallel to a vertical plane including the Y C axis. In such a case, the center line of the camera image is shifted from the vehicle body center line on the camera image, or the camera image is inclined with respect to the traveling direction of the vehicle 100.
  • the driving support system according to the present embodiment has a function of generating and displaying an image that compensates for such image shift and inclination.
  • the offset correction image is obtained by converting the coordinates of the camera image. It can also be considered that the offset correction image is generated by converting the camera image into an image viewed from a virtual viewpoint different from the viewpoint of the camera 1. This type of coordinate conversion (or image conversion by the coordinate conversion) is also called viewpoint conversion.
  • Coordinate transformation for obtaining an offset correction image from a camera image can be performed based on a homography matrix (projection transformation matrix).
  • the image processing device 2 obtains a homography matrix based on the photographing result of the camera 1, but the homography matrix once calculated can be adjusted later.
  • FIG. 4 is a flowchart showing the calculation operation of the initial value of the homography matrix. Note that the processing of steps S4 to S6 in FIG. 4 is executed by, for example, a parameter deriving unit (not shown) provided in the image processing apparatus 2.
  • step S1 a calibration environment is prepared.
  • a calibration environment as shown in FIG.
  • the following calibration environment is ideal and may actually contain errors.
  • the camera 1 is installed on the vehicle 100, and the vehicle 100 is arranged on the road surface so that the white lines L1 and L2 drawn on the road surface are within the field of view of the camera 1.
  • the white lines L1 and L2 are, for example, signs for distinguishing one parking section in a parking lot from other parking sections.
  • the white lines L1 and L2 are line segments parallel to each other, and the lengths of both line segments are the same.
  • the white line L1 and the white line L2, Y C-axis as a symmetry axis is assumed to have the relationship of line symmetry.
  • the distance between the distance and the Y C axis and the white line L2 between Y C is parallel to the axis and the white line L1 and L2 and Y C-axis and the white line L1 is consistent.
  • the camera 1 is accurately positioned at the center of the rear part of the vehicle with the vehicle rearward facing.
  • this arrangement may include a shift.
  • step S2 the camera 1 is photographed to acquire an original image, and in step S3, lens distortion correction is performed on the original image.
  • An original image refers to a camera image before lens distortion correction.
  • An image obtained by performing lens distortion correction on an original image is simply referred to as a camera image as described above.
  • the camera image obtained in step S3 is the camera image 210 shown in FIG.
  • Points P1 A to P4 A in the camera image 210 respectively represent end points P1 to P4 on the camera image 210, and these points are called feature points.
  • an offset correction image obtained by coordinate-transforming the camera image 210 according to the initial value of the homography matrix to be obtained by the processing of FIG.
  • the image processing apparatus 2 extracts the feature points P1 A to P4 A from the camera image 210 based on the image data of the camera image 210, and detects the positions of the feature points P1 A to P4 A.
  • a known method can be used as a method for extracting the end point of the white line in the image.
  • methods described in JP-A-63-142478, JP-A-7-78234, or International Publication No. WO00 / 7373 can be used. That is, for example, after performing an edge extraction process on a camera image, a line extraction process using a Hough transform or the like is further performed on the edge extraction result, and an end point of the obtained line segment is extracted as an end point of a white line To do.
  • the positions of the feature points P1 A to P4 A may be determined manually by the user. That is, the positions of the feature points P1 A to P4 A may be determined based on the content of the operation on the operation unit 4 by the user.
  • the user can manually operate the accurate feature points P1 as necessary to cope with the extraction error.
  • the positions A 1 to P 4 A may be given to the image processing apparatus 2.
  • the position of each feature point is represented by a coordinate value on the camera image 210.
  • a two-dimensional XY coordinate plane (XY coordinate system) having the X axis and the Y axis as coordinate axes is assumed as a coordinate plane (coordinate system) on which the camera image and the offset correction image are defined.
  • the X axis and the Y axis are orthogonal to each other, and the coordinate value of the point on the camera image is represented by (x, y), while the coordinate value of the point on the offset correction image is represented by (x ′, y ′).
  • x and y represent the X-axis component and Y-axis component of the position of the point on the camera image, respectively
  • x ′ and y ′ represent the X-axis component and Y-axis component of the position of the point on the offset correction image, respectively.
  • the X axis is parallel to the horizontal direction (and horizontal line) of the camera image and the offset correction image
  • the Y axis is parallel to the vertical direction (and vertical line) of the camera image and the offset correction image.
  • the X-axis direction corresponds to the left-right direction of the image
  • the Y-axis direction corresponds to the vertical direction of the image.
  • the origin on the XY coordinate plane corresponding to the intersection of the X axis and the Y axis is represented by O.
  • FIG. 7 shows a rectangular image 230 representing a camera image or an offset correction image.
  • a straight line 241 represents a horizontal center line that bisects the rectangular image 230 in the vertical direction
  • a straight line 242 represents a vertical center line that bisects the rectangular image 230 in the horizontal direction.
  • the horizontal center line 241 is parallel to the horizontal line of the rectangular image 230 (parallel to the X axis)
  • the vertical center line 242 is parallel to the vertical line of the rectangular image 230 (parallel to the Y axis).
  • the entire area of the rectangular image 230 is divided into four by a horizontal center line 241 and a vertical center line 242.
  • An image region located on the left side of the vertical center line 242 and an image region located below the horizontal center line 241 and on the right side of the vertical center line 242 are respectively the first, second, third and fourth images. This is called a region, and the images in the first, second, third, and fourth image regions are called first, second, third, and fourth partial images, respectively.
  • An intersection 240 between the horizontal center line 241 and the vertical center line 242 is a center point of the rectangular image 230.
  • step S5 the image processing apparatus 2 determines the reference points P1 B to P4 B that should correspond to the feature points P1 A to P4 A. Determine the position.
  • Reference points P1 B to P4 B represent end points P1 to P4 on the offset correction image, and the position of each reference point is represented by a coordinate value on the offset correction image.
  • the positions of the reference points P1 B to P4 B are set in advance, for example. Alternatively, the user designates the positions of the reference points P1 B to P4 B by operating the operation unit 4.
  • the reference points P1 B to P4 B are located in the first to fourth image areas of the offset correction image, respectively. Further, it is assumed that the feature points P1 A to P4 A are located in the first to fourth image areas in the camera image, respectively. Furthermore, in the offset correction image, the reference points P1 B and P3 B and the reference points P2 B and P4 B are arranged symmetrically so that the vertical center line and the vehicle body center line match.
  • the position of the reference point P1 B and the position of the reference point P2 B have a line-symmetric relationship with the vertical center line of the offset correction image as the symmetry axis
  • the position of the reference point P3 B and the position of the reference point P4 B are Assume that the positions of the reference points P1 B to P4 B in step S5 are determined so as to have a line-symmetric relationship with the vertical center line of the offset-corrected image as the axis of symmetry.
  • the image processing process 2 is based on the coordinate value information in step S6.
  • the homography matrix is represented by H
  • the relationship between the coordinate value (x, y) on the camera image and the coordinate value (x ′, y ′) on the offset-corrected image is expressed by the following equation (1). Is done.
  • a known technique can be used as a technique for obtaining a homography matrix based on the four sets of coordinate value correspondences.
  • a method described in Japanese Patent Application Laid-Open No. 2004-342067 (in particular, refer to the methods described in paragraphs [0059] to [0069]) may be used.
  • the coordinate values of the feature points P1 A to P4 A determined in step S4 are (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ) and (x 4 , y 4 ), respectively.
  • step S5 the coordinate values of the reference points P1 B to P4 B determined in step S5 are (x 1 ′, y 1 ′), (x 2 ′, y 2 ′), (x 3 ′, y), respectively. 3 ′) and (x 4 ′, y 4 ′).
  • step S6 the image processing apparatus 2 determines that the coordinate values (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), and (x 4 , y 4 ) are coordinates, respectively.
  • Homography matrix to be converted to values (x 1 ′, y 1 ′), (x 2 ′, y 2 ′), (x 3 ′, y 3 ′) and (x 4 ′, y 4 ′)
  • Each value of the elements h 1 to h 8 of H is obtained.
  • each value of the elements h 1 to h 8 is obtained so that this conversion error (evaluation function in Japanese Patent Application Laid-Open No. 2004-342067) is minimized.
  • the homography matrix H having the values of the elements h 1 to h 8 obtained here is set as the initial value of the homography matrix to be obtained in step S6.
  • the homography matrix is obtained, it is possible to convert any point on the camera image to a point on the offset correction image according to the above formulas (2a) and (2b), and generated from any camera image On the offset correction image, the vertical center line matches the vehicle center line.
  • table data according to the obtained homography matrix is created, and it is stored in a memory in the image processing apparatus 2 to generate a lookup table.
  • the camera image is referred to.
  • An offset correction image is generated.
  • the table data or the homography matrix is a parameter that defines the coordinate value on the camera image (that is, the coordinate value before coordinate conversion) corresponding to the coordinate value of each pixel on the offset correction image.
  • this parameter is referred to as an image conversion parameter.
  • the method for calculating the initial value of the homography matrix described above is merely an example, and if the vertical center line and the vehicle body center line match on the offset correction image obtained using the initial value of the homography matrix, You may calculate it how.
  • the vertical center line can be matched with the vehicle body center line on the offset correction image.
  • the image conversion parameter as shown in FIG. Missing images occur.
  • the omission of an image means that an image omission area is included in the entire area of the offset correction image where the entire image of the offset correction image should appear.
  • the image missing area means an area where there is no image data based on the image data of the camera image.
  • each of the hatched areas denoted by reference numerals 251 and 252 is an image missing area.
  • the image conversion parameter can be optimally set at the design stage of the driving support system in consideration of the mounting state of the camera 1.
  • the image conversion parameter is obtained even if the image conversion parameter is obtained as described above. If the result is not seen, it is not known whether or not the offset correction image is missing.
  • the driving support system according to the present embodiment is provided with an automatic adjustment function for image conversion parameters in order to eliminate missing images.
  • an automatic adjustment function for image conversion parameters in order to eliminate missing images.
  • FIG. 9 is a detailed block diagram of the driving support system of FIG. 2 including a functional block diagram of the image processing apparatus 2.
  • the image processing apparatus 2 includes each part referred to by reference numerals 11 to 17.
  • FIG. 10 is a flowchart showing an operation flow of the driving support system including an operation for realizing the automatic adjustment function.
  • the image input unit 11 receives an input of an original image from the camera 1. That is, the image input unit 11 receives image data of an original image sent from the camera 1 and stores the image data in a frame memory (not shown) to acquire the original image.
  • the original image refers to a camera image before lens distortion correction. Since a wide-angle lens is used for the camera 1 in order to ensure a wide viewing angle, the original image includes distortion. Therefore, in step S12, the lens distortion correction unit 12 performs lens distortion correction on the original image acquired by the image input unit 11.
  • a lens distortion correction method any known method as described in JP-A-5-176323 can be used. An image obtained by performing lens distortion correction on an original image is simply referred to as a camera image as described above.
  • step S13 the image conversion unit 13 reads image conversion parameters stored in the parameter storage unit 16.
  • the parameter storage unit 16 stores the image conversion parameter (that is, the image conversion parameter that represents the initial value of the homography matrix) obtained in step S6 of FIG. 4, but is stored as described later.
  • the image conversion parameters may be updated.
  • step S13 the latest image conversion parameter is read.
  • step S14 the image conversion unit 13 generates an offset correction image by performing coordinate conversion (viewpoint conversion) on the camera image provided from the lens distortion correction unit 12 according to the read image conversion parameter.
  • the missing determination unit 14 executes the process of step S15.
  • the missing determination unit 14 determines whether an image loss has occurred in the offset correction image to be generated in step S14.
  • the missing determination unit 14 determines that an image loss has occurred when an image missing region is included in the entire region of the offset correction image, and the image missing region is included in the entire region of the offset correction image. If not, it is determined that no missing image has occurred.
  • step S15 If it is determined that an image loss has occurred in the offset correction image, the process proceeds from step S15 to step S16. If it is determined that no image loss has occurred, the process proceeds to step S17.
  • the coordinate value on the XY coordinate plane where each pixel forming the offset correction image is to be located is set in advance, and the outline position of the offset correction image on the XY coordinate plane is also determined in advance according to the setting contents.
  • a frame denoted by reference numeral 270 represents the entire region outline of the offset correction image on the XY coordinate plane.
  • An offset correction image is generated from the pixel group two-dimensionally arranged in the frame 270.
  • the missing determination unit 14 obtains a coordinate value (x, y) corresponding to the coordinate value (x ′, y ′) of each pixel in the frame 270 according to the image conversion parameter read in step S13.
  • all the obtained coordinate values (x, y) are the coordinate values in the camera image, that is, when the image data of all the pixels forming the offset correction image can be obtained from the image data of the camera image, It is determined that no missing image has occurred.
  • FIG. 12A shows a state of coordinate conversion when no image loss occurs
  • FIG. 12B shows a state of coordinate conversion when image loss occurs.
  • a frame 280 represents the overall region outline of the camera image on the XY coordinate plane, and image data of the camera image exists only within the frame 280.
  • step S15 If it is determined in step S15 that an image is missing, the parameter adjustment unit 15 adjusts the image conversion parameter based on the determination result in step S16.
  • the parameter adjustment unit 15 has an image missing region in the first, second, third, and fourth image regions in the first to fourth image regions (see FIG. 7) that form the entire region of the offset correction image. If so, the positions of the reference points P1 B , P2 B , P3 B , P4 B are respectively set so that the size of the image missing area is reduced (ultimately, the image missing area is completely eliminated). Is moved in a direction away from the center point of the offset corrected image, and the image conversion parameter is recalculated according to the position of the reference point after the movement. Adjustments are made by this recalculation. That is, the new image conversion parameter obtained by this recalculation is the adjusted image conversion parameter.
  • the image conversion parameters stored in the parameter storage unit 16 are updated with the adjusted image conversion parameters. If the position of the reference point is moved away from the center point of the offset correction image, the field of view of the offset correction image is narrowed, so that an image missing region is less likely to occur.
  • the position of one of the reference points P1 B and P2 B is set so that the positions of the reference point P1 B and the reference point P2 B are symmetrical with respect to the vertical center line 242 as the axis of symmetry. If moved, the position of the other reference point is also moved simultaneously.
  • the position of one of the reference points P3 B and P4 B is set so that the positions of the reference point P3 B and the reference point P4 B are axisymmetric with respect to the vertical center line 242 as the symmetry axis. If moved, the position of the other reference point is also moved simultaneously.
  • the vertical center line matches the vehicle body center line, and the scales of the left and right images are uniform. That is, the horizontal length on the image of the object located in the first partial image and the horizontal length on the image of the object located in the second partial image are the actual size of both objects. It is the same if it is the same in space. The same applies to the relationship between the third partial image and the fourth partial image.
  • the offset correction image 300 shown in FIG. 13A is obtained in step S14 by using the image conversion parameters before adjustment. It is assumed that an image missing area 301 exists in the first image area of the offset corrected image 300 and an image missing area 302 exists in the fourth image area of the offset corrected image 300. A part of the image missing area 302 exists in the second image area. Further, the center point of the offset correction image 300 is referred to by reference numeral 310. Further, enlarged views of the first and fourth image regions of the offset corrected image 300 are shown in FIGS. 13B and 13C, respectively.
  • the parameter adjustment unit 15 pays attention to each of the first to fourth image areas of the offset correction image 300, calculates the horizontal pixel number of the image missing area included in the focused image area for each horizontal line, and uses the vertical pixel.
  • the number is calculated for each vertical line.
  • the image missing area included in the i-th image area the number of pixels in the horizontal direction of a certain horizontal line refers to the number of pixels belonging to the image missing area and located on the horizontal line.
  • the number of pixels in the vertical direction of the vertical line refers to the number of pixels that belong to the image missing region and are located on the vertical line (where i is 1, 2, 3, or 4).
  • the parameter adjustment unit 15 calculates the number of horizontal pixels of the image missing region 301 included in the first image region for each horizontal line and calculates the number of vertical pixels for each vertical line.
  • the number of horizontal lines N 1A that is equal to or greater than the set threshold TH A is determined, and the number of vertical lines N 1B that is equal to or greater than the preset threshold TH B is determined.
  • the number of horizontal lines N 1A is proportional to the size of the bracket 330 shown in FIG.
  • the position of the reference point P 1 B is moved upward (ie, vertically away from the center point 310).
  • the amount of upward movement can be determined according to the number of horizontal lines N 1A . For example, the amount of upward movement may be increased as the number of horizontal lines N 1A increases.
  • the vertical line number N 1B obtained is one or more, the position of the reference points P1 B to the left (i.e., in the horizontal direction away from the center point 310) is moved.
  • the amount of movement to the left can be determined according to the number of horizontal lines N 1B . For example, the amount of movement to the left may be increased as the number of horizontal lines N 1B increases.
  • N 1B 0, the reference point P1 B is not moved to the left.
  • the position of the reference point P2 B is also moved simultaneously.
  • the position of the reference point P2 B is also moved upward at the same time.
  • the movement amount of the reference point P1 B and the movement amount of the reference point P2 B are the same.
  • Similar processing is performed on the fourth image region. That is, the parameter adjustment unit 15 calculates the number of horizontal pixels of the image missing region 302 included in the fourth image region for each horizontal line, calculates the number of vertical pixels for each vertical line, and calculates the calculated number of horizontal pixels.
  • the horizontal line number N 4A is calculated to be equal to or greater than a preset threshold TH A
  • the vertical line number N 4B is calculated so that the calculated number of vertical pixels is equal to or greater than a preset threshold TH B.
  • the position of the reference point P4 B is moved downward (ie, vertically away from the center point 310).
  • the amount of downward movement can be determined according to the number of horizontal lines N 4A . For example, the amount of downward movement may be increased as the number of horizontal lines N 4A increases.
  • the position of the reference point P 4 B is moved to the right side (that is, horizontally away from the center point 310).
  • the amount of movement to the right can be determined according to the number of horizontal lines N 4B . For example, the amount of movement to the right may be increased as the number of horizontal lines N 4B increases.
  • the position of the reference point P3 B is also moved at the same time.
  • the position of the reference point P3 B is also moved to the lower left side at the same time.
  • the downward movement amount of the reference point P4 B and the downward movement amount of the reference point P3 B are the same, and the movement amount of the reference point P4 B to the right side and the movement amount of the reference point P3 B to the left side are The same.
  • Similar processing is performed on the second and third image regions.
  • the positions of the reference point P1 B and the reference point P2 B are always kept symmetrical with respect to the vertical center line 242 as the axis of symmetry, and the reference point P3 B and the reference point P4 are used with the vertical center line 242 as the axis of symmetry.
  • the movement process for the position of each reference point is performed so that the position of B always maintains a line-symmetrical relationship.
  • the amount of upward movement of the reference points P1 B and P2 B is determined based on both determination results. For example, among the reference points P1 B and P2 movement amount is determined with respect to B, and the position of the reference points P1 B and P2 B may be moved according to the movement amount larger. That is, in the case of this numerical example, both the positions of the reference points P1 B and P2 B may be moved upward by 5 pixels.
  • the positions of the feature points P1 A to P4 A in the camera image are determined at the stage of the process of step S4 in FIG. 4, but the positions of the feature points P1 A to P4 A at the stage of the process of step S16. May be adjusted simultaneously.
  • the position may be adjusted in order to correspond to the extraction error of the feature points P1 A ⁇ P4 A based on the image data of the camera image, in the stage of the processing of step S16, if necessary, the feature point in the user manual operation P1 A ⁇ P4 A The position may be adjusted.
  • the image conversion parameter is recalculated according to the position of the adjusted feature point and the position of the reference point after the movement described above, and the new image conversion parameter obtained by this recalculation is the adjusted image conversion parameter. Is updated and stored in the parameter storage unit 16.
  • step S16 After the image conversion parameter is adjusted in step S16 in FIG. 10, the process returns to step S13, the image conversion parameter updated and stored is read by the image conversion unit 13, and step S14 using the image conversion parameter updated and stored is used. The image conversion and the missing determination process in step S15 are executed. For this reason, the loop process including steps S13 to S16 is repeatedly executed until it is determined in step S15 that no missing image has occurred.
  • step S15 the image data of the latest offset-corrected image in which no missing image has occurred is sent from the image converting unit 13 to the display image generating unit 17 (See FIG. 9).
  • the display image generation unit 17 generates image data of a display image based on the latest image data of the offset correction image, and outputs the image data of the display image to the display device 3.
  • a display image based on the offset-corrected image with no missing image is displayed on the display device 3.
  • the display image is, for example, the offset correction image itself, an image obtained by performing arbitrary processing on the offset correction image, or an image obtained by adding an arbitrary image to the offset correction image.
  • the image conversion parameters are automatically adjusted according to the mounting state of the camera 1, so that it is possible to present a video with no missing images to the driver. .
  • the image conversion parameters are automatically adjusted to adapt to the changed mounting state of the camera 1. That is, even when the attachment position or the attachment angle of the camera 1 is changed, it is possible to easily generate an appropriate image conversion parameter for generating a video with no image loss.
  • the driving support system according to the present embodiment unlike the case where the method described in Patent Document 1 is used, the scales of the left and right images on the display screen can be made uniform.
  • the number of feature points and the number of reference points are set to 4. However, any number may be used as long as the number is 4 or more. As is well known, the accuracy of image conversion can be increased by increasing the number thereof to four.
  • An image conversion method (coordinate conversion method) for generating an offset correction image from a camera image may not be a method based on a homography matrix.
  • an offset correction image may be generated from a camera image by image conversion (coordinate conversion) using affine transformation or nonlinear transformation.
  • traveling direction of the vehicle corresponds to the vertical direction of the image, but the traveling direction of the vehicle may correspond to the horizontal direction of the image.
  • the image conversion parameter is applied to the image after the lens distortion correction, but the image conversion for performing the lens distortion correction is included in the image conversion parameter in the image conversion unit 13 so that the image conversion parameter 13 can be used at once.
  • An offset correction image may be generated.
  • the original image acquired by the image input unit 11 in FIG. 9 is input to the image conversion unit 13.
  • an image conversion parameter including image conversion for lens distortion correction is stored in the parameter storage unit 16, and an offset correction image is generated by applying the image conversion parameter to the original image.
  • lens distortion correction unit 12 may be deleted from the image processing apparatus 2 in FIG. 9 and the original image may be directly given to the image conversion unit 13.
  • the camera 1 has a field of view on the front side of the vehicle 100 or has a field of view on the side of the vehicle 100.
  • the camera 1 may be installed at the front or side of the vehicle 100.
  • a display image based on a camera image obtained from one camera is displayed on the display device 3, but a plurality of cameras (not shown) are installed in the vehicle 100, and the plurality of cameras A display image may be generated based on a plurality of camera images obtained from (not shown).
  • one or more other cameras other than the camera 1 are attached to the vehicle 100, and an image based on the camera image of the other camera is combined with an image based on the camera image of the camera 1 (in the above example, an offset correction image).
  • the synthesized image obtained by this synthesis can be finally used as a display image for the display device 3.
  • This synthesized image is, for example, an image in which the entire circumference of the periphery of the vehicle 100 is within the visual field range.
  • the image processing apparatus 2 in FIG. 9 can be realized by hardware or a combination of hardware and software.
  • a block diagram of a part realized by software represents a functional block diagram of the part.
  • all or part of the functions realized by the image processing apparatus 2 are described as a program, and the program is executed on the program execution apparatus so that all or part of the functions are realized. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

　車両に設置されたカメラより得られるカメラ画像から４特徴点を抽出する一方で、カメラ画像から生成されるべきオフセット補正画像上の４基準点の位置を設定し、４特徴点の座標値が４基準点の座標値に変換されるように、ホモグラフィ行列に基づく座標変換を行う。オフセット補正画像上において画像中心線と車体中心線が合致するように各座標値は設定される。生成されたオフセット補正画像の全体領域内に、カメラ画像の画像データに基づく画像データが存在しない画像欠落領域が含まれているか否かを判定し、それが含まれている場合は、２つの基準点又は４つの基準点の位置を左右対称に移動させ、移動後の基準点の位置に従ってホモグラフィ行列を再計算する。

Description

画像処理装置及び方法、運転支援システム、車両
　本発明は、カメラからの入力画像に対して画像処理を施す画像処理装置及び方法に関する。また本発明は、それらを利用した運転支援システム及び車両に関する。
　車両の運転者にとって車両後方は死角となりやすい。そこで、車両後方を監視するリアカメラを車両後部に設置し、リアカメラから得られたカメラ画像を運転席付近に配置された表示装置に表示するという手法が提案されている。
　通常、車両の構造又はデザイン上の制約から、図１５に示す如く、リアカメラは、車両の後部中央からずれた位置（オフセット位置）に取り付けられることが多い。図１５において、符号９０１はリアカメラを示している。このような位置のずれがあると、リアカメラから得られるカメラ画像上において、車体後部中心が画像の中心線上に位置しなくなる。たとえ、画像上における車体後部中心の位置と画像の中心線の位置をあわせたとしても、カメラ光軸が車体中心線からずれているため、実空間上における車両の動きと表示画面上の映像の動きが合わず、運転者は映像を見ながらの運転に違和感を覚える。
　そこで、リアカメラが車両の後部中央からずれた位置に設置される場合、カメラ画像のラスタ毎のオフセット量に基づいて、カメラ画像内の所定の範囲を所定の倍率で伸縮させる方法が提案されている（下記特許文献１参照）。この方法では、車両の進行方向における車体中心線が画像の中心線上に位置し、且つ、車両の進行方向における車両両端が画像の両端に対応するように、カメラ画像を左右に分けて左右の部分画像を個別に伸縮補正する。
　しかしながら、この方法では、補正を行うためのパラメータ調整が複雑となるため、カメラの取り付け位置に変更が生じた際、その変更への対応が困難である。また、カメラ画像を左右に分けて左右の部分画像を個別に伸縮補正するため、左右の画像の尺度が不均一となる。
　尚、リアカメラが車両の後部中央からずれた位置に配置される場合に着目したが、リアカメラの光軸方向が車両の進行方向に対して傾くこともある。このような場合にも、上述と同様の問題が生じうる。
　一方において、変換前画像上の４特徴点の座標値と変換後画像上の４基準点の座標値との対応関係に基づいてホモグラフィ行列を設定し、そのホモグラフィ行列に基づいて座標変換を行うという手法が一般的に知られている。この座標変換を利用して各座標値を適切に設定すれば、画像上における車体後部中心の位置と画像の中心線の位置とが合致したオフセット補正画像を生成することも可能ではある。但し、使用するホモグラフィ行列が適切でないと、オフセット補正画像に画像の欠落が発生する。
　画像の欠落とは、オフセット補正画像の全体像が現れるべきオフセット補正画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。本来、カメラの撮影結果に基づくカメラ画像の画像データからオフセット補正画像の全画素の画像データが生成されるべきであるが、画像変換パラメータとしてのホモグラフィ行列が不適切であると、オフセット補正画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
特開２００５－１２９９８８号公報
　そこで本発明は、様々なカメラの取り付け位置又は取り付け角度に対応可能であって且つ画像の欠落を抑制可能な画像処理装置及び画像補正方法を提供することを目的とする。また、本発明は、それらを利用した運転支援システム及び車両を提供することを目的とする。
　本発明に係る画像処理装置は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換手段と、前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整手段と、を備えたことを特徴とする。
　上記画像処理装置は、入力画像上の特徴点の位置と変換画像上の基準点の位置とに基づく座標変換によって変換画像を生成する。また、入力画像はカメラの撮影結果に基づく画像であるため、カメラの取り付け位置及び取り付け角度の状態は入力画像上の特徴点の位置に反映される。このため、様々なカメラの取り付け位置又は取り付け角度に対応した変換画像を生成することが可能であり、取り付け位置等に変更が生じても、その変更後の取り付け位置等に応じた画像変換パラメータを容易に生成することが可能である。この際、画像変換パラメータによっては、変換画像の全体領域内に画像欠落領域が含まれることがあるが、パラメータ調整手段により画像欠落領域の発生が自動的に抑制される。
　具体的には例えば、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記基準点の位置を前記変換画像の中心位置から離れる方向へ移動させることにより前記画像変換パラメータの調整を行う。
　上述の如く、基準点の位置を変換画像の中心位置から遠ざけることにより変換画像の視野範囲が狭まるため、画像欠落領域の発生を抑制することが可能である。
　より具体的には例えば、前記特徴点は第１及び第２の特徴点を含む複数の特徴点から成ると共に前記基準点は第１及び第２の基準点を含む複数の基準点から成り、前記第１及び第２の特徴点は夫々前記第１及び第２の基準点に対応し、前記パラメータ調整手段は、前記変換画像の全体領域内であって且つ前記第２の基準点よりも前記第１の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第１の基準点の位置を前記中心位置から離れる方向へ移動させる一方で、前記変換画像の全体領域内であって且つ前記第１の基準点よりも前記第２の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第２の基準点の位置を前記中心位置から離れる方向へ前記変換画像内で移動させる。
　更に具体的には例えば、前記変換画像を水平又は垂直方向に二分する中心線を境界として前記変換画像を第１及び第２部分画像に分割して考えた場合、前記第１及び第２の基準点は夫々第１及び第２部分画像内に位置し、前記パラメータ調整手段は、前記中心線を対称軸として前記第１及び第２の基準点の位置が線対称の関係を保つように、前記第１及び第２の基準点の内の一方の位置を移動させる場合は、同時に他方の基準点の位置も移動させる。
　そして例えば、前記変換画像上において、前記車両の進行方向における前記車両の車体中心線が前記中心線と合致するように、前記特徴点の位置及び移動前後の前記基準点の位置は決定される。
　これにより、変換画像上において、画像の中心線と車体中心線が合致すると共に左右の画像の尺度が均一となる。
　また例えば、前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する。
　本発明に係る運転支援システムは、前記カメラ及び前記画像処理装置を備え、前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力することを特徴とする。
　本発明に係る車両は、前記カメラ及び前記画像処理装置が設置されたことを特徴とする。
　本発明に係る画像処理方法は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換ステップと、前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整ステップと、を実行することを特徴とする。
　本発明によれば、様々なカメラの取り付け位置又は取り付け角度に対応可能であって且つ画像の欠落を抑制可能な画像処理装置及び画像補正方法を提供することができる。また、それらを利用した運転支援システム及び車両を提供することができる。
　本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
（ａ）及び（ｂ）は、夫々、本発明の実施形態に係り、車両を上方から見た平面図及び車両を側方から見た平面図である。 本発明の実施形態に係る運転支援システムの概略全体ブロック図である。 （ａ）及び（ｂ）は、夫々、図２のカメラが車両後部中央からずれた位置に設置された状態を示す図、及び、図２のカメラが傾いて設置された状態を示す図である。 本発明の実施形態に係り、ホモグラフィ行列の初期値の算出動作を表すフローチャートである。 ホモグラフィ行列の初期値を算出する際における、カメラの撮影環境を表す図である。 本発明の実施形態に係り、カメラ画像及びオフセット補正画像を示す図である。 本発明の実施形態に係り、カメラ画像又はオフセット補正画像としての矩形画像の構造を説明するための図である。 本発明の実施形態に係り、オフセット補正画像に画像の欠落が生じていることを示す図である。 画像処理装置の機能ブロック図を含む、図２の運転支援システムの詳細ブロック図である。 図２の運転支援システムの動作の流れを表すフローチャートである。 図９の画像処理装置内で定義される、ＸＹ座標面上のオフセット補正画像の外形を示す図である。 （ａ）及び（ｂ）は、夫々、画像欠落ない場合におけるカメラ画像とオフセット補正画像との関係図、及び、画像欠落がある場合におけるカメラ画像とオフセット補正画像との関係図である。 （ａ）、（ｂ）及び（ｃ）は、夫々、２つの画像欠落領域を含むオフセット補正画像を示す図、そのオフセット画像の第１画像領域の拡大図、及び、そのオフセット画像の第４画像領域の拡大図である。 ２つの画像欠落領域を含む他のオフセット補正画像を示す図である。 従来技術に係り、リアカメラが車両後部中央からずれた位置に設置された状態を示す図である。
符号の説明
　　１　カメラ
　　２　画像処理装置
　　３　表示装置
　　４　操作部
　１１　画像入力部
　１２　レンズ歪み補正部
　１３　画像変換部
　１４　欠落判定部
　１５　パラメータ調整部
　１６　パラメータ記憶部
　１７　表示用画像生成部
　以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
　図１（ａ）は、自動車である車両１００を上方から見た平面図である。図１（ｂ）は、車両１００を側方から見た平面図である。車両１００は、路面上に配置されているものとする。車両１００の後部には、車両１００後方の安全確認を支援するためのカメラ１が設置されている。カメラ１は、車両１００の後方側に視野を有するように車両１００に設置される。符号１０５が付された破線扇型領域は、カメラ１の撮影領域（視野）を表している。カメラ１の視野に車両１００付近の後方側路面が含まれるように、カメラ１は後方下向きに設置される。尚、車両１００として普通乗用車を例示しているが、車両１００は、普通乗用車以外（トラックなど）であってもよい。路面は水平面上にあるものとする。
　今、車両１００を基準にし、実空間（実際の空間）において、仮想軸であるＸＣ軸及びＹＣ軸を定義する。ＸＣ軸及びＹＣ軸は、路面上の軸であり、ＸＣ軸とＹＣ軸は互いに直交する。ＸＣ軸及びＹＣ軸から成る二次元座標系において、ＹＣ軸は車両１００の進行方向に平行であり、車両１００の車体中心線はＹＣ軸上にのる。ここにおける車両１００の進行方向とは、車両１００の直進時における進行方向を意味するものとする。また、車体中心線とは、車両１００の進行方向に平行な、車体の中心線を意味するものとする。より具体的には、車体中心線とは、車両１００の右端を通り且つＹＣ軸に平行な仮想線１１１と車両１００の左端を通り且つＹＣ軸に平行な仮想線１１２との間の中心を通る線である。また、車両１００の前端を通り且つＸＣ軸に平行な仮想線１１３と車両１００の後端を通り且つＸＣ軸に平行な仮想線１１４との間の中心を通る線はＸＣ軸上にのる。仮想線１１１～１１４は、路面上の仮想線であるとする。尚、車両１００の右端とは車両１００の車体の右端と同義である。車両１００の左端等についても同様である。
　図２に、本発明の実施形態に係る運転支援システムの概略全体ブロック図を示す。運転支援システムは、カメラ１、画像処理装置２、表示装置３及び操作部４を備える。カメラ１は、車両１００の周辺に位置する被写体（路面を含む）を撮影し、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。操作部４は、ユーザによる操作を受け付ける部位であり、ユーザの操作内容は画像処理装置２に伝達される。
　カメラ１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。特記なき限り、以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ１の特性によっては、レンズ歪み補正処理が省略されることもある。
　カメラ１として、ＣＣＤ（Charge　Coupled　Devices）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
　理想的には、カメラ１は、正確に車両後方を向けて車両後部中央に配置される。つまり、理想的には、カメラ１の光軸がＹＣ軸を含む鉛直面上にのるように、カメラ１は車両１００に設置される。しかしながら、車両１００の構造又はデザイン上の制約或いはカメラ１の取り付け誤差に起因して、図３（ａ）に示す如くカメラ１が車両後部中央からずれた位置に設置されたり、図３（ｂ）に示す如くカメラ１の光軸がＹＣ軸を含む鉛直面と平行にならなかったりすることも多い。このような場合、カメラ画像の中心線がカメラ画像上の車体中心線からずれたり、カメラ画像が車両１００の進行方向に対して傾いたりする。本実施形態に係る運転支援システムは、このような画像のずれや傾きを補償した画像を生成及び表示する機能を備える。
　画像のずれや傾きが補償された画像をオフセット補正画像と呼ぶ。オフセット補正画像は、カメラ画像を座標変換することによって得られる。カメラ画像をカメラ１の視点とは異なる仮想視点から見たような画像に変換することによってオフセット補正画像が生成される、と考えることもできる。この種の座標変換（又は該座標変換による画像変換）は、視点変換とも呼ばれる。
　カメラ画像からオフセット補正画像を得るための座標変換を、ホモグラフィ行列（射影変換行列）に基づいて行うことができる。画像処理装置２は、カメラ１の撮影結果に基づいてホモグラフィ行列を求めるが、一旦算出されたホモグラフィ行列は後に調整されうる。まず、図４を参照して、ホモグラフィ行列の初期値の算出方法を説明する。図４は、ホモグラフィ行列の初期値の算出動作を表すフローチャートである。尚、図４におけるステップＳ４～Ｓ６の処理は、例えば、画像処理装置２内に設けられたパラメータ導出部（不図示）によって実行される。
　まず、ステップＳ１において、校正環境が整備される。典型的な例として、図５に示すような校正環境が整備されたことを想定する。但し、以下の校正環境は理想的なものであり、実際には誤差が含まれうる。
　まず、車両１００にカメラ１を設置し、路面上に描かれた白線Ｌ１及びＬ２がカメラ１の視野内に収まるように車両１００を路面上に配置する。白線Ｌ１及びＬ２は、例えば、駐車場における１つの駐車区画を他の駐車区画と区分けするための標識である。路面上において、白線Ｌ１とＬ２は、互いに平行な線分であって、両線分の長さは同じであるとする。そして、ＹＣ軸を対称軸として白線Ｌ１と白線Ｌ２は線対称の関係を有するものとする。従って、ＹＣ軸と白線Ｌ１及びＬ２とは平行であり且つＹＣ軸と白線Ｌ１との距離とＹＣ軸と白線Ｌ２との距離は一致する。尚、図５では、カメラ１が正確に車両後方を向けて車両後部中央に配置されているが、上述したように、この配置にはずれが含まれうる。
　白線Ｌ１の両端点の内、カメラ１及び車両１００から遠い方及び近い方の端点を夫々Ｐ１及びＰ３で表し、白線Ｌ２の両端点の内、カメラ１及び車両１００から遠い方及び近い方の端点を夫々Ｐ２及びＰ４で表す。説明の簡略化上、各白線の太さ（ＸＣ軸方向の長さ）の存在を無視して考える。白線Ｌ１の太さを無視しない場合は、ＹＣ軸に平行な、白線Ｌ１の中心線を想定し、その中心線上における白線Ｌ１の両端点を端点Ｐ１及びＰ３と捉えればよい（白線Ｌ２に対しても同様）。
　このような校正環境の下、ステップＳ２において、カメラ１に撮影を行わせて原画像を取得し、ステップＳ３において原画像にレンズ歪み補正を施す。原画像とは、レンズ歪み補正前のカメラ画像を指す。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。ステップＳ３にて得られたカメラ画像が、図６に示すカメラ画像２１０であったとする。カメラ画像２１０内の点Ｐ１Ａ～Ｐ４Ａは、夫々、カメラ画像２１０上の端点Ｐ１～Ｐ４を表しており、それらの点を特徴点と呼ぶ。また、カメラ画像２１０を、図４の処理で求められるべきホモグラフィ行列の初期値に従って座標変換して得たオフセット補正画像を、符号２２０によって表す。
　続くステップＳ４において、画像処理装置２は、カメラ画像２１０の画像データに基づいてカメラ画像２１０から特徴点Ｐ１Ａ～Ｐ４Ａを抽出して、特徴点Ｐ１Ａ～Ｐ４Ａの位置を検出する。
　画像内における白線の端点を抽出する方法として公知の方法を用いることができる。例えば、特開昭６３－１４２４７８号公報、特開平７－７８２３４号公報又は国際公開番号ＷＯ００／７３７３号に記載された方法を用いることができる。即ち例えば、カメラ画像に対してエッジ抽出処理を行った後、そのエッジ抽出結果に対して更にハフ変換などを利用した直線抽出処理を実施し、得られた線分の端点を白線の端点として抽出する。尚、特徴点Ｐ１Ａ～Ｐ４Ａの位置をユーザの手動操作で決定してもよい。つまり、ユーザによる操作部４への操作内容に基づいて、特徴点Ｐ１Ａ～Ｐ４Ａの位置を決定しても良い。また、一旦、カメラ画像２１０の画像データに基づいて特徴点Ｐ１Ａ～Ｐ４Ａを自動抽出させた後、抽出誤差に対応するべく、必要に応じて、ユーザが手動操作にて正確な特徴点Ｐ１Ａ～Ｐ４Ａの位置を画像処理装置２に与えるようにしてもよい。
　各特徴点の位置は、カメラ画像２１０上の座標値によって表される。今、カメラ画像及びオフセット補正画像が定義される座標面（座標系）として、Ｘ軸及びＹ軸を座標軸とする二次元のＸＹ座標面（ＸＹ座標系）を想定する。Ｘ軸及びＹ軸は互いに直交し、カメラ画像上の点の座標値を（ｘ，ｙ）で表す一方で、オフセット補正画像上における点の座標値を（ｘ’，ｙ’）で表す。ｘ及びｙは、それぞれカメラ画像上の点の位置のＸ軸成分及びＹ軸成分を表し、ｘ’及びｙ’は、それぞれオフセット補正画像上の点の位置のＸ軸成分及びＹ軸成分を表す。Ｘ軸は、カメラ画像及びオフセット補正画像の水平方向（及び水平ライン）に平行であり、Ｙ軸は、カメラ画像及びオフセット補正画像の垂直方向（及び垂直ライン）に平行であるとする。Ｘ軸方向が画像の左右方向に対応し、且つ、Ｙ軸方向が画像の上下方向に対応するものとする。また、Ｘ軸とＹ軸の交点に相当する、ＸＹ座標面上の原点をＯにて表す。
　また、カメラ画像及びオフセット補正画像は矩形画像であるとする。図７に、カメラ画像又はオフセット補正画像を表す矩形画像２３０を示す。図７において、直線２４１は矩形画像２３０を垂直方向に二分する水平中心線を表し、直線２４２は矩形画像２３０を水平方向に二分する垂直中心線を表す。水平中心線２４１は、矩形画像２３０の水平ラインに平行であり（Ｘ軸に平行であり）、垂直中心線２４２は、矩形画像２３０の垂直ラインに平行である（Ｙ軸に平行である）。矩形画像２３０の全体領域は水平中心線２４１及び垂直中心線２４２によって４分割される。水平中心線２４１の上側であって垂直中心線２４２の左側に位置する画像領域、水平中心線２４１の上側であって垂直中心線２４２の右側に位置する画像領域、水平中心線２４１の下側であって垂直中心線２４２の左側に位置する画像領域、水平中心線２４１の下側であって垂直中心線２４２の右側に位置する画像領域を、それぞれ第１、第２、第３及び第４画像領域と呼び、第１、第２、第３及び第４画像領域内の画像を、夫々、第１、第２、第３及び第４部分画像と呼ぶ。また、水平中心線２４１と垂直中心線２４２との交点２４０は、矩形画像２３０の中心点である。
　図４のステップＳ４にて特徴点Ｐ１Ａ～Ｐ４Ａの位置が決定された後、ステップＳ５において、画像処理装置２は、特徴点Ｐ１Ａ～Ｐ４Ａに対応すべき基準点Ｐ１Ｂ～Ｐ４Ｂの位置を決定する。基準点Ｐ１Ｂ～Ｐ４Ｂは、オフセット補正画像上における端点Ｐ１～Ｐ４を表し、各基準点の位置は、オフセット補正画像上の座標値によって表される。基準点Ｐ１Ｂ～Ｐ４Ｂの位置は、例えば、予め設定されている。或いは、操作部４に対する操作によってユーザが基準点Ｐ１Ｂ～Ｐ４Ｂの位置を指定する。
　但し、基準点Ｐ１Ｂ～Ｐ４Ｂは、夫々、オフセット補正画像の第１～第４画像領域内に位置するものとする。また、特徴点Ｐ１Ａ～Ｐ４Ａは、夫々、カメラ画像における第１～第４画像領域内に位置するものとする。また更に、オフセット補正画像において、垂直中心線と車体中心線が合致するように基準点Ｐ１Ｂ及びＰ３Ｂと基準点Ｐ２Ｂ及びＰ４Ｂを左右対称に配置する。即ち、基準点Ｐ１Ｂの位置と基準点Ｐ２Ｂの位置がオフセット補正画像の垂直中心線を対称軸として線対称の関係を持ち、且つ、基準点Ｐ３Ｂの位置と基準点Ｐ４Ｂの位置がオフセット補正画像の垂直中心線を対称軸として線対称の関係を持つように、ステップＳ５における基準点Ｐ１Ｂ～Ｐ４Ｂの位置が決定されるものとする。
　ステップＳ４及びＳ５にて４つの特徴点の座標値（位置）及び４つの基準点の座標値（位置）が決定されると、ステップＳ６において、画像処理処理２は、それらの座標値情報に基づいてホモグラフィ行列の初期値を算出する。ホモグラフィ行列をＨで表した場合、カメラ画像上における座標値（ｘ，ｙ）とオフセット補正画像上における座標値（ｘ’，ｙ’）との関係は、下記式（１）のように表される。ホモグラフィ行列Ｈは、３行３列の行列であり、その行列の各要素をｈ１～ｈ９で表す。更に、ｈ９＝１であるとする（ｈ９＝１、となるように行列を正規化する）。また、式（１）より、座標値（ｘ，ｙ）と座標値（ｘ’，ｙ’）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　４組の座標値対応関係に基づきホモグラフィ行列を求める手法として、公知の手法を用いることができる。例えば、特開２００４－３４２０６７号公報に記載の手法（特に、段落［００５９］～［００６９］に記載の手法を参照）を用いればよい。ステップＳ４において決定された特徴点Ｐ１Ａ～Ｐ４Ａの座標値が、それぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）及び（ｘ４，ｙ４）であり、且つ、ステップＳ５において決定された基準点Ｐ１Ｂ～Ｐ４Ｂの座標値が、それぞれ（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）及び（ｘ４’，ｙ４’）であったとする。そうすると、ステップＳ６において、画像処理装置２は、座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）及び（ｘ４，ｙ４）が、それぞれ、座標値（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）及び（ｘ４’，ｙ４’）に変換されるように、ホモグラフィ行列Ｈの要素ｈ１～ｈ８の各値を求める。実際には、この変換の誤差（特開２００４－３４２０６７号公報における評価関数）が最小化されるように要素ｈ１～ｈ８の各値を求める。ここで求めた要素ｈ１～ｈ８の各値を有するホモグラフィ行列Ｈを、ステップＳ６で求めるべきホモグラフィ行列の初期値とする。
　一旦、ホモグラフィ行列が求まれば、上記式（２ａ）及び（２ｂ）に従ってカメラ画像上の任意の点をオフセット補正画像上の点に変換することが可能であり、任意のカメラ画像から生成したオフセット補正画像上において、垂直中心線を車体中心線は合致する。実際には例えば、求めたホモグラフィ行列に従うテーブルデータを作成して、それを画像処理装置２内のメモリに格納することによりルックアップテーブルを生成し、そのテーブルデータを参照することによりカメラ画像からオフセット補正画像を生成する。このテーブルデータ又はホモグラフィ行列は、オフセット補正画像上の各画素の座標値に対応するカメラ画像上の座標値（即ち、座標変換前の座標値）を規定するパラメータである。以下、このパラメータを、画像変換パラメータと呼ぶ。
　尚、上述したホモグラフィ行列の初期値の算出方法は、あくまで例示であり、ホモグラフィ行列の初期値を用いて得たオフセット補正画像上において垂直中心線と車体中心線が合致するのであれば、それをどのように算出しても構わない。
　上述の如くして画像変換パラメータを求めることにより、オフセット補正画像上において垂直中心線を車体中心線に合致させることができるが、画像変換パラメータによっては、図８に示すようにオフセット補正画像内に画像の欠落が生じる。
　画像の欠落とは、オフセット補正画像の全体像が現れるべきオフセット補正画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。図８において、符号２５１及び２５２が付された斜線領域の夫々が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データからオフセット補正画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、オフセット補正画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
　カメラ１が正確に車両後方を向けて車両後部中央に配置されない場合であっても、カメラ１の取り付け位置及び角度が一定の位置及び角度に完全に固定されることが分かっている場合は、車両１００を基準とする撮影領域は不変であるため、カメラ１の取り付け状態を考慮して運転支援システムの設計段階で画像変換パラメータを最適に設定しておくことができる。しかし、ユーザが車両１００とは別にカメラ１を用意して車両１００の形状等に合わせてカメラ１を車両１００に設置する場合は、上述のようにして画像変換パラメータを求めたとしても、画像変換結果を見なければオフセット補正画像に画像の欠落が生じるか否かが分からない。
　本実施形態に係る運転支援システムには、画像の欠落を排除するための、画像変換パラメータに対する自動調整機能が備えられている。以下、この機能に注目した運転支援システムの構成及び動作を説明する。
　図９は、画像処理装置２の機能ブロック図を含む、図２の運転支援システムの詳細ブロック図である。画像処理装置２は、符号１１～１７によって参照される各部位を備える。図１０は、上記の自動調整機能を実現するための動作を含む、運転支援システムの動作の流れを表すフローチャートである。
　まず、ステップＳ１１において、画像入力部１１は、カメラ１から原画像の入力を受ける。即ち、画像入力部１１は、カメラ１から送られてくる原画像の画像データを受け取り、その画像データをフレームメモリ（不図示）に記憶させることで原画像を取得する。原画像とは、上述したように、レンズ歪み補正前のカメラ画像を指す。広視野角を確保すべくカメラ１には広角レンズが用いられるため、原画像には歪みが含まれている。そこで、ステップＳ１２において、レンズ歪み補正部１２は、画像入力部１１が取得した原画像に対してレンズ歪み補正を施す。レンズ歪み補正の方法として、特開平５－１７６３２３号公報に記載されているような公知の任意の方法が利用可能である。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。
　ステップＳ１２に続くステップＳ１３において、画像変換部１３は、パラメータ記憶部１６に記憶されている画像変換パラメータを読み込む。当初、パラメータ記憶部１６は、図４のステップＳ６にて求められた画像変換パラメータ（即ち、ホモグラフィ行列の初期値を表す画像変換パラメータ）を記憶しているが、後述するように、記憶される画像変換パラメータは更新されることがある。ステップＳ１３では、最新の画像変換パラメータが読み込まれる。続くステップＳ１４において、画像変換部１３は、読み込んだ画像変換パラメータに従ってレンズ歪み補正部１２から与えられるカメラ画像を座標変換（視点変換）することによりオフセット補正画像を生成する。
　ステップＳ１４の処理の後、欠落判定部１４によってステップＳ１５の処理が実行される。欠落判定部１４は、ステップＳ１４で生成されるべきオフセット補正画像に画像の欠落が発生しているか否かを判定する。欠落判定部１４は、オフセット補正画像の全体領域内に画像欠落領域が含まれる場合に、画像の欠落が発生していると判定し、オフセット補正画像の全体領域内に画像欠落領域が含まれていない場合は、画像の欠落が発生していないと判定する。
　オフセット補正画像に画像の欠落が発生していると判断された場合は、ステップＳ１５からステップＳ１６に移行し、画像の欠落が発生していないと判断された場合はステップＳ１７に移行する。
　図１１並びに図１２（ａ）及び（ｂ）を参照して、画像欠落の意義及び画像欠落の有無の判定方法を補足説明する。オフセット補正画像を形成する各画素が位置すべき、ＸＹ座標面上の座標値は予め設定されており、その設定内容に従って、ＸＹ座標面上におけるオフセット補正画像の外形位置も予め定められている。図１１並びに図１２（ａ）及び（ｂ）において、符号２７０が付された枠は、ＸＹ座標面上におけるオフセット補正画像の全体領域外形を表している。その枠２７０内に二次元配列された画素群からオフセット補正画像が生成される。
　欠落判定部１４は、ステップＳ１３で読み込まれた画像変換パラメータに従って、枠２７０内の各画素の座標値（ｘ’，ｙ’）に対応する座標値（ｘ，ｙ）を求める。そして、求めた全ての座標値（ｘ，ｙ）がカメラ画像内の座標値である場合、即ち、オフセット補正画像を形成する全画素の画像データをカメラ画像の画像データから得ることができる場合、画像の欠落は発生していないと判定する。一方、求めた全ての座標値（ｘ，ｙ）の中に、カメラ画像外の座標値が存在する場合は、画像の欠落が発生していると判定する。図１２（ａ）は、画像の欠落が発生しない場合の座標変換の様子を示しており、図１２（ｂ）は、画像の欠落が発生している場合の座標変換の様子を示している。図１２（ａ）及び（ｂ）において、枠２８０はＸＹ座標面上におけるカメラ画像の全体領域外形を表しており、枠２８０内にのみ、カメラ画像の画像データが存在する。
　ステップＳ１５にて画像の欠落が発生していると判断された場合、ステップＳ１６において、その判断結果に基づきパラメータ調整部１５が画像変換パラメータの調整を行う。
　ステップＳ１６の調整方法を説明する。パラメータ調整部１５は、オフセット補正画像の全体領域を形成する第１～第４画像領域の内（図７参照）、第１、第２、第３、第４画像領域内に画像欠落領域が存在する場合は、その画像欠落領域の大きさが減少するように（究極的には、画像欠落領域が完全に無くなるように）、夫々、基準点Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂ、Ｐ４Ｂの位置をオフセット補正画像の中心点から離れる方向に移動させ、移動後の基準点の位置に従って画像変換パラメータを再計算する。この再計算によって調整がなされる。即ち、この再計算によって得られた新たな画像変換パラメータが、調整後の画像変換パラメータである。パラメータ記憶部１６が記憶する画像変換パラメータは、調整後の画像変換パラメータによって更新される。基準点の位置をオフセット補正画像の中心点から遠ざけるとオフセット補正画像の視野範囲が狭まるため、画像欠落領域が発生しにくくなる。
　この際、垂直中心線２４２を対称軸として基準点Ｐ１Ｂと基準点Ｐ２Ｂの位置が線対称の関係を保つように、基準点Ｐ１Ｂ及びＰ２Ｂの内の、一方の基準点の位置を移動させたならば、他方の基準点の位置も同時に移動させる。同様に、垂直中心線２４２を対称軸として基準点Ｐ３Ｂと基準点Ｐ４Ｂの位置が線対称の関係を保つように、基準点Ｐ３Ｂ及びＰ４Ｂの内の、一方の基準点の位置を移動させたならば、他方の基準点の位置も同時に移動させる。これにより、調整後の画像変換パラメータに基づくオフセット補正画像においても、垂直中心線が車体中心線に合致し、また左右の画像の尺度が均一となる。即ち、第１部分画像内に位置する物体の、画像上における水平方向の長さと、第２部分画像内に位置する物体の、画像上における水平方向の長さは、両物体の大きさが実空間上で同じであるならば同じとなる。第３部分画像と第４部分画像の関係も同様である。
　具体的な基準点の移動方向及び移動量の決定方法を説明する。今、調整前の画像変換パラメータを用いることによって、ステップＳ１４にて、図１３（ａ）に示すオフセット補正画像３００が得られた場合を想定する。オフセット補正画像３００の第１画像領域には画像欠落領域３０１が存在し、オフセット補正画像３００の第４画像領域には画像欠落領域３０２が存在していたものとする。尚、画像欠落領域３０２の一部は第２画像領域に存在している。また、オフセット補正画像３００の中心点を符号３１０によって参照する。また、オフセット補正画像３００の第１及び４画像領域の拡大図を、夫々、図１３（ｂ）及び（ｃ）に示す。
　パラメータ調整部１５は、オフセット補正画像３００の第１～第４画像領域の夫々に着目し、着目した画像領域に含まれる画像欠落領域の水平方向画素数を水平ライン毎に算出すると共に垂直方向画素数を垂直ライン毎に算出する。第ｉ画像領域に含まれる画像欠落領域に関し、或る水平ラインの水平方向画素数とは、その画像欠落領域に属する画素であって且つ該水平ライン上に位置する画素の個数を指し、或る垂直ラインの垂直方向画素数とは、その画像欠落領域に属する画素であって且つ該垂直ライン上に位置する画素の個数を指す（ここで、ｉは１、２、３又は４）。まず、第１画像領域に着目して、この算出結果に基づく処理を説明する。
　パラメータ調整部１５は、第１画像領域に含まれる画像欠落領域３０１の水平方向画素数を水平ライン毎に算出すると共に垂直方向画素数を垂直ライン毎に算出し、算出した水平方向画素数が予め設定された閾値ＴＨＡ以上となっている水平ライン数Ｎ１Ａを求めると共に算出した垂直方向画素数が予め設定された閾値ＴＨＢ以上となっている垂直ライン数Ｎ１Ｂを求める。尚、水平ライン数Ｎ１Ａは、図１３（ｂ）に示すブラケット３３０の大きさに比例する。
　そして、求めた水平ライン数Ｎ１Ａが１以上である場合、基準点Ｐ１Ｂの位置を上側へ（即ち、中心点３１０から離れるように垂直方向へ）移動させる。上側への移動量を、水平ライン数Ｎ１Ａに応じて決定することができる。例えば、水平ライン数Ｎ１Ａが増加するに従って上側への移動量を増加させるとよい。同様に、求めた垂直ライン数Ｎ１Ｂが１以上である場合、基準点Ｐ１Ｂの位置を左側へ（即ち、中心点３１０から離れるように水平方向へ）移動させる。左側への移動量を、水平ライン数Ｎ１Ｂに応じて決定することができる。例えば、水平ライン数Ｎ１Ｂが増加するに従って左側への移動量を増加させるとよい。但し、図１３（ｂ）に示す例では、Ｎ１Ｂ＝０であるため、基準点Ｐ１Ｂの左側への移動は行われない。
　また、上述したように、基準点Ｐ１Ｂの位置を移動させたならば、同時に基準点Ｐ２Ｂの位置も移動させる。図１３（ｂ）に示す例の場合、基準点Ｐ１Ｂの位置を上側へ移動させるため、同時に基準点Ｐ２Ｂの位置も上側へ移動させる。基準点Ｐ１Ｂの移動量と基準点Ｐ２Ｂの移動量は同じである。
　第４画像領域に対しても同様の処理が施される。即ち、パラメータ調整部１５は、第４画像領域に含まれる画像欠落領域３０２の水平方向画素数を水平ライン毎に算出すると共に垂直方向画素数を垂直ライン毎に算出し、算出した水平方向画素数が予め設定された閾値ＴＨＡ以上となっている水平ライン数Ｎ４Ａを求めると共に算出した垂直方向画素数が予め設定された閾値ＴＨＢ以上となっている垂直ライン数Ｎ４Ｂを求める。
　そして、求めた水平ライン数Ｎ４Ａが１以上である場合、基準点Ｐ４Ｂの位置を下側へ（即ち、中心点３１０から離れるように垂直方向へ）移動させる。下側への移動量を、水平ライン数Ｎ４Ａに応じて決定することができる。例えば、水平ライン数Ｎ４Ａが増加するに従って下側への移動量を増加させるとよい。同様に、求めた垂直ライン数Ｎ４Ｂが１以上である場合、基準点Ｐ４Ｂの位置を右側へ（即ち、中心点３１０から離れるように水平方向へ）移動させる。右側への移動量を、水平ライン数Ｎ４Ｂに応じて決定することができる。例えば、水平ライン数Ｎ４Ｂが増加するに従って右側への移動量を増加させるとよい。
　また、上述したように、基準点Ｐ４Ｂの位置を移動させたならば、同時に基準点Ｐ３Ｂの位置も移動させる。図１３（ｃ）に示す例の場合、基準点Ｐ４Ｂの位置を右下側へ移動させるため、同時に基準点Ｐ３Ｂの位置も左下側へ移動させる。基準点Ｐ４Ｂの下側への移動量と基準点Ｐ３Ｂの下側への移動量は同じであり、基準点Ｐ４Ｂの右側への移動量と基準点Ｐ３Ｂの左側への移動量は同じである。
　第２及び第３画像領域に対しても同様の処理が施される。但し、垂直中心線２４２を対称軸として基準点Ｐ１Ｂと基準点Ｐ２Ｂの位置が常に線対称の関係を保つように、且つ、垂直中心線２４２を対称軸として基準点Ｐ３Ｂと基準点Ｐ４Ｂの位置が常に線対称の関係を保つように、各基準点の位置に対する移動処理はなされる。
　従って、図１４に示すような、第１及び第２画像領域の夫々に画像欠落領域が存在するオフセット補正画像が得られた場合において、第１画像領域に含まれる画像欠落領域の大きさに基づき基準点Ｐ１Ｂの位置を上側に５画素分だけ移動させるべきであると判断し、同時に、第２画像領域に含まれる画像欠落領域の大きさに基づき基準点Ｐ２Ｂの位置を上側に３画素分だけ移動させるべきであると判断したときには、両方の判断結果に基づいて基準点Ｐ１Ｂ及びＰ２Ｂの上側への移動量を決定する。例えば、基準点Ｐ１Ｂ及びＰ２Ｂに対して判断された移動量の内、大きい方の移動量に従って基準点Ｐ１Ｂ及びＰ２Ｂの位置を移動させればよい。つまり、この数値例の場合、基準点Ｐ１Ｂ及びＰ２Ｂの位置を、共に５画素分、上側に移動させればよい。
　尚、カメラ画像における特徴点Ｐ１Ａ～Ｐ４Ａの位置は、図４のステップＳ４の処理の段階で決定されているのであるが、ステップＳ１６の処理の段階で特徴点Ｐ１Ａ～Ｐ４Ａの位置も同時に調整するようにしてもよい。例えば、カメラ画像の画像データに基づく特徴点Ｐ１Ａ～Ｐ４Ａの抽出誤差に対応するべく、ステップＳ１６の処理の段階で、必要に応じて、ユーザが手動操作にて特徴点Ｐ１Ａ～Ｐ４Ａの位置を調整するようにしてもよい。この場合、この調整後の特徴点の位置と上述した移動後の基準点の位置とに従って画像変換パラメータが再計算され、この再計算によって得られた新たな画像変換パラメータが調整後の画像変換パラメータとしてパラメータ記憶部１６に更新記憶される。
　図１０のステップＳ１６にて画像変換パラメータが調整された後、ステップＳ１３に戻り、更新記憶された画像変換パラメータが画像変換部１３によって読み込まれ、その更新記憶された画像変換パラメータを用いたステップＳ１４の画像変換及びステップＳ１５の欠落判定処理が実行される。このため、ステップＳ１３～Ｓ１６から成るループ処理は、ステップＳ１５にて画像の欠落が発生していないと判断されるまで繰り返し実行される。
　ステップＳ１５にて画像の欠落が発生していないと判断された場合、画像の欠落の発生していない最新のオフセット補正画像の画像データが画像変換部１３から表示用画像生成部１７に送られる（図９参照）。表示用画像生成部１７は、その最新のオフセット補正画像の画像データに基づいて表示用画像の画像データを生成し、その表示用画像の画像データを表示装置３に出力する。これにより、画像の欠落が存在しないオフセット補正画像に基づく表示用画像が表示装置３に表示される。表示用画像は、例えば、オフセット補正画像そのもの、或いは、オフセット補正画像に任意の加工を施した画像、或いは、オフセット補正画像に任意の画像を付加した画像である。
　本実施形態に係る運転支援システムによれば、カメラ１の取り付け状態に適応して画像変換パラメータが自動的に調整されるため、画像の欠落のない映像を運転者に提示することが可能となる。また、車両１００に対するカメラ１の取り付け位置又は取り付け角度に変更が生じた場合は、その変更後、図４のステップＳ１～Ｓ６の各処理の実行を介して図１０のステップＳ１１～Ｓ１７の各処理を実行すれば、変更後のカメラ１の取り付け状態に適応するように画像変換パラメータが自動的に調整される。つまり、カメラ１の取り付け位置又は取り付け角度に変更が生じた場合でも、画像の欠落のない映像を生成するための、適切な画像変換パラメータを容易に生成可能である。更に、本実施形態に係る運転支援システムによれば、特許文献１に記載された方法を用いた場合と異なり、表示画面上における左右の画像の尺度を均一とすることができる。
　＜＜変形等＞＞
　上述の実施形態の変形例または注釈事項として、以下に、注釈１～注釈７を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
　上述の例では、画像変換パラメータとしてのホモグラフィ行列を求める際、特徴点の個数及び基準点の個数を４としたが、それらの個数は４以上であれば幾つでもよい。周知の如く、それらの個数を４より大きくすることにより、画像変換の精度を高めることができる。
［注釈２］
　カメラ画像からオフセット補正画像を生成するための画像変換方法（座標変換方法）は、ホモグラフィ行列に基づく方法でなくてもよい。例えば、アフィン変換又は非線形変換を用いた画像変換（座標変換）によってカメラ画像からオフセット補正画像を生成するようにしてもよい。
［注釈３］
　上述の実施形態の説明文中における「水平」と「垂直」を入れ替えて考えても構わない。即ち、上述の例では、車両の進行方向を画像の垂直方向に対応させているが、車両の進行方向を画像の水平方向に対応させても構わない。
［注釈４］
　上述の例では、レンズ歪み補正後の画像に対して画像変換パラメータを作用させているが、レンズ歪み補正を行うための画像変換を画像変換部１３における画像変換パラメータに盛り込んで、原画像から一気にオフセット補正画像を生成するようにしてもよい。この場合、図９の画像入力部１１にて取得された原画像を画像変換部１３に入力するようにする。そして、レンズ歪み補正のための画像変換をも含んだ画像変換パラメータをパラメータ記憶部１６に記憶させておき、その画像変換パラメータを原画像に作用させることでオフセット補正画像を生成する。
　また、使用するカメラによってはレンズ歪み補正自体が不要となることもある。レンズ歪み補正が不要な場合は、図９の画像処理装置２からレンズ歪み補正部１２を削除し、原画像を画像変換部１３に直接与えればよい。
［注釈５］
　車両１００の後方側に視野を有するようにカメラ１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ１を車両１００の前部又は側方部に設置するようにしてもよい。
［注釈６］
　上述の例では、１つのカメラから得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に複数のカメラ（不図示）を設置し、その複数のカメラ（不図示）から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラのカメラ画像に基づく画像をカメラ１のカメラ画像に基づく画像（上述の例において、オフセット補正画像）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、車両１００の３６０°周辺全周を視野範囲に収めた画像である。
［注釈７］
　図９の画像処理装置２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

Claims (9)

  1. 　車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、
    　前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換手段と、
    　前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、
    　前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、
    　前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整手段と、を備えた
    ことを特徴とする画像処理装置。
  2. 　前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記基準点の位置を前記変換画像の中心位置から離れる方向へ移動させることにより前記画像変換パラメータの調整を行う
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記特徴点は第１及び第２の特徴点を含む複数の特徴点から成ると共に前記基準点は第１及び第２の基準点を含む複数の基準点から成り、前記第１及び第２の特徴点は夫々前記第１及び第２の基準点に対応し、
    　前記パラメータ調整手段は、
    　前記変換画像の全体領域内であって且つ前記第２の基準点よりも前記第１の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第１の基準点の位置を前記中心位置から離れる方向へ移動させる一方で、
    　前記変換画像の全体領域内であって且つ前記第１の基準点よりも前記第２の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第２の基準点の位置を前記中心位置から離れる方向へ前記変換画像内で移動させる
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記変換画像を水平又は垂直方向に二分する中心線を境界として前記変換画像を第１及び第２部分画像に分割して考えた場合、前記第１及び第２の基準点は夫々第１及び第２部分画像内に位置し、
    　前記パラメータ調整手段は、前記中心線を対称軸として前記第１及び第２の基準点の位置が線対称の関係を保つように、前記第１及び第２の基準点の内の一方の位置を移動させる場合は、同時に他方の基準点の位置も移動させる
    ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記変換画像上において、前記車両の進行方向における前記車両の車体中心線が前記中心線と合致するように、前記特徴点の位置及び移動前後の前記基準点の位置は決定される
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 　前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、
    　前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する
    ことを特徴とする請求項１乃至請求項５の何れかに記載の画像処理装置。
  7. 　請求項１乃至請求項５の何れかに記載のカメラ及び画像処理装置を備え、
    　前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力する
    ことを特徴とする運転支援システム。
  8. 　請求項１乃至請求項５の何れかに記載のカメラ及び画像処理装置が設置された
    ことを特徴とする車両。
  9. 　車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、
    　前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換ステップと、
    　前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、
    　記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、
    　前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整ステップと、を実行する
    ことを特徴とする画像処理方法。
PCT/JP2009/051748 2008-03-19 2009-02-03 画像処理装置及び方法、運転支援システム、車両 WO2009116328A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/933,021 US20110013021A1 (en) 2008-03-19 2009-02-03 Image processing device and method, driving support system, and vehicle
EP09721218.7A EP2256686A4 (en) 2008-03-19 2009-02-03 Image processing device and method, driving support system, and vehicle
CN2009801091522A CN101971207B (zh) 2008-03-19 2009-02-03 图像处理装置及方法、驾驶辅助系统、车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008071944A JP4874280B2 (ja) 2008-03-19 2008-03-19 画像処理装置及び方法、運転支援システム、車両
JP2008-071944 2008-03-19

Publications (1)

Publication Number Publication Date
WO2009116328A1 true WO2009116328A1 (ja) 2009-09-24

Family

ID=41090736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/051748 WO2009116328A1 (ja) 2008-03-19 2009-02-03 画像処理装置及び方法、運転支援システム、車両

Country Status (5)

Country Link
US (1) US20110013021A1 (ja)
EP (1) EP2256686A4 (ja)
JP (1) JP4874280B2 (ja)
CN (1) CN101971207B (ja)
WO (1) WO2009116328A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN110969657A (zh) * 2018-09-29 2020-04-07 杭州海康威视数字技术股份有限公司 一种枪球坐标关联方法、装置、电子设备及存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811327B2 (ja) * 2011-06-11 2015-11-11 スズキ株式会社 カメラキャリブレーション装置
TWI489859B (zh) * 2011-11-01 2015-06-21 Inst Information Industry 影像形變方法及其電腦程式產品
JP5884439B2 (ja) * 2011-11-24 2016-03-15 アイシン精機株式会社 車両周辺監視用画像生成装置
JP6012982B2 (ja) * 2012-02-24 2016-10-25 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
US20150262343A1 (en) * 2012-10-11 2015-09-17 Lg Electronics Inc. Image processing device and image processing method
TWI517670B (zh) * 2012-12-28 2016-01-11 財團法人工業技術研究院 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
CN103366339B (zh) * 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
JP6022423B2 (ja) * 2013-07-31 2016-11-09 Toa株式会社 監視装置及び監視装置の制御プログラム
JP6036601B2 (ja) * 2013-08-09 2016-11-30 株式会社デンソー 画像処理装置及び画像処理方法
DE102013015847B3 (de) * 2013-09-24 2015-03-05 Mekra Lang Gmbh & Co. Kg Sichtsystem
CN103632334B (zh) * 2013-11-13 2017-02-08 华南理工大学 一种基于平行光轴结构摄像机的无穷远图像对齐方法
CN105095900B (zh) 2014-05-04 2020-12-08 斑马智行网络(香港)有限公司 一种提取标准卡片中特定信息的方法和装置
JP6322812B2 (ja) * 2014-08-21 2018-05-16 パナソニックＩｐマネジメント株式会社 情報管理装置、車両、および、情報管理方法
KR102227850B1 (ko) * 2014-10-29 2021-03-15 현대모비스 주식회사 차량용 후방 카메라의 영상 보정 방법
KR101676161B1 (ko) * 2015-03-31 2016-11-15 멀티펠스 주식회사 차량 카메라용 영상 처리 시스템 및 그 영상 처리 방법
KR102543523B1 (ko) * 2016-09-09 2023-06-15 현대모비스 주식회사 카메라의 오차 보정 시스템 및 방법
JP6766715B2 (ja) * 2017-03-22 2020-10-14 トヨタ自動車株式会社 車両用表示制御装置
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
JP6637932B2 (ja) * 2017-08-03 2020-01-29 株式会社Ｓｕｂａｒｕ 車両用運転支援装置
CN107564063B (zh) * 2017-08-30 2021-08-13 广州方硅信息技术有限公司 一种基于卷积神经网络的虚拟物显示方法及装置
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치
CN111860440A (zh) * 2020-07-31 2020-10-30 广州繁星互娱信息科技有限公司 人脸特征点的位置调整方法、装置、终端及存储介质
CN113860172A (zh) * 2021-09-30 2021-12-31 广州文远知行科技有限公司 一种纠偏方法、装置、交通工具及存储介质
CN117274939B (zh) * 2023-10-08 2024-05-28 北京路凯智行科技有限公司 安全区域检测方法和安全区域检测装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142478A (ja) 1986-12-05 1988-06-14 Nissan Motor Co Ltd 白線検出装置
JPH05176323A (ja) 1991-12-24 1993-07-13 Matsushita Electric Works Ltd 画像歪み補正方式
JPH0778234A (ja) 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
WO2000007373A1 (fr) 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2004342067A (ja) 2003-04-22 2004-12-02 3D Media Co Ltd 画像処理方法、画像処理装置、及びコンピュータプログラム
JP2005129988A (ja) 2003-10-21 2005-05-19 Nissan Motor Co Ltd 車両用周囲撮影装置
JP2006252473A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2007089111A (ja) * 2005-08-26 2007-04-05 Kazuo Iwane 二次元図面と映像の合成表示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
ATE311725T1 (de) * 2001-09-07 2005-12-15 Matsushita Electric Ind Co Ltd Vorrichtung zum anzeigen der umgebung eines fahrzeuges und system zur bildbereitstellung
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
WO2004034183A2 (en) * 2002-08-21 2004-04-22 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
JP2004289225A (ja) * 2003-03-19 2004-10-14 Minolta Co Ltd 撮像装置
JP4196841B2 (ja) * 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
WO2006087993A1 (ja) * 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. 周辺監視装置および周辺監視方法
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142478A (ja) 1986-12-05 1988-06-14 Nissan Motor Co Ltd 白線検出装置
JPH05176323A (ja) 1991-12-24 1993-07-13 Matsushita Electric Works Ltd 画像歪み補正方式
JPH0778234A (ja) 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
WO2000007373A1 (fr) 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2004342067A (ja) 2003-04-22 2004-12-02 3D Media Co Ltd 画像処理方法、画像処理装置、及びコンピュータプログラム
JP2005129988A (ja) 2003-10-21 2005-05-19 Nissan Motor Co Ltd 車両用周囲撮影装置
JP2006252473A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2007089111A (ja) * 2005-08-26 2007-04-05 Kazuo Iwane 二次元図面と映像の合成表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2256686A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
US8842181B2 (en) 2010-03-02 2014-09-23 Toshiba Alpine Automotive Technology Corporation Camera calibration apparatus
CN110969657A (zh) * 2018-09-29 2020-04-07 杭州海康威视数字技术股份有限公司 一种枪球坐标关联方法、装置、电子设备及存储介质
CN110969657B (zh) * 2018-09-29 2023-11-03 杭州海康威视数字技术股份有限公司 一种枪球坐标关联方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20110013021A1 (en) 2011-01-20
CN101971207B (zh) 2013-03-27
JP2009230235A (ja) 2009-10-08
EP2256686A1 (en) 2010-12-01
EP2256686A4 (en) 2017-03-01
JP4874280B2 (ja) 2012-02-15
CN101971207A (zh) 2011-02-09

Similar Documents

Publication Publication Date Title
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP4863922B2 (ja) 運転支援システム並びに車両
JP4924896B2 (ja) 車両の周辺監視装置
JP5491235B2 (ja) カメラキャリブレーション装置
JP4193886B2 (ja) 画像表示装置
JP4975592B2 (ja) 撮像装置
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
JP4810953B2 (ja) 車両用死角映像表示装置
JP4257356B2 (ja) 画像生成装置および画像生成方法
WO2007111377A1 (ja) 運転支援装置
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP2008085446A (ja) 画像生成装置および画像生成方法
JPWO2008087707A1 (ja) 車両用画像処理装置及び車両用画像処理プログラム
JP2011105306A (ja) 車両用表示装置
JP2008085710A (ja) 運転支援システム
JP2007158695A (ja) 車載画像処理装置
JP2008034964A (ja) 画像表示装置
JP2019176402A (ja) 画像処理装置
JP2009123131A (ja) 撮像装置
JP4945315B2 (ja) 運転支援システム及び車両
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
JP4696825B2 (ja) 車両用死角映像表示装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980109152.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09721218

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009721218

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12933021

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE