WO2015019526A1 - 画像処理装置およびマーカ - Google Patents

画像処理装置およびマーカ Download PDF

Info

Publication number
WO2015019526A1
WO2015019526A1 PCT/JP2014/002623 JP2014002623W WO2015019526A1 WO 2015019526 A1 WO2015019526 A1 WO 2015019526A1 JP 2014002623 W JP2014002623 W JP 2014002623W WO 2015019526 A1 WO2015019526 A1 WO 2015019526A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
image
area
polygon
edge
Prior art date
Application number
PCT/JP2014/002623
Other languages
English (en)
French (fr)
Inventor
新　浩治
渉 仲井
荒井　結子
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US14/911,002 priority Critical patent/US10165262B2/en
Priority to EP14834074.8A priority patent/EP3032818B1/en
Publication of WO2015019526A1 publication Critical patent/WO2015019526A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an image processing apparatus and marker that calculate camera parameters.
  • a recent camera system using a camera installed in a vehicle has a function of superimposing a guide line indicating an expected arrival position of the vehicle on an image (hereinafter referred to as "camera image") captured by the camera, or a camera image A function to generate an image from a virtual viewpoint by geometric transformation is implemented. All of these functions use the correspondence between the three-dimensional position of the real space and the two-dimensional position projected on the camera image. In order to realize such correspondence, it is necessary to calculate so-called camera parameters (hereinafter referred to as “calibration” as appropriate) such as parameters such as camera installation angle or installation position or projective transformation parameters.
  • a calibration marker whose shape, size, installation position, etc. are known is generally used.
  • a method of photographing a marker including a specific pattern installed on a road surface and using a projection position with respect to the camera image see, for example, Patent Document 1).
  • a method of making the shape of the marker into a polygon a square marker placed on a road surface is photographed by a camera, projective transformation of the camera image is performed to generate an overhead image, and the shape of the square in the overhead image
  • a method of calculating a projective transformation parameter which is an example of a camera parameter based on the existing position is known (for example, see Patent Document 2).
  • FIG. 1 is a view showing an example in which a vehicle and a road surface are viewed from above.
  • the area a is an area through which the vehicle passes, so no marker can be installed.
  • the area c is an area of a certain distance or more from the side of the vehicle, the marker can not be installed.
  • the area b is an area less than a certain distance from the side of the vehicle, the marker can be installed.
  • the marker of the size necessary for calibration can not be installed at an appropriate position, and as a result, there is a problem that the accuracy of calibration is lowered.
  • An object of the present invention is to provide an image processing apparatus and a marker that can ensure the accuracy of calibration even when the range in which the calibration marker can be set is limited.
  • An image processing apparatus includes an image acquisition unit that acquires an image in which a marker for calibration is captured, an edge detection unit that detects an edge or feature point of the marker in the image, and the edge Alternatively, polygon generation is performed to estimate a plurality of straight lines based on feature points and generate a virtual polygonal area including an area other than the area surrounded by the plurality of straight lines and the marker in the image.
  • a camera parameter calculation unit that calculates a camera parameter based on the unit, the feature amount on the image of the virtual polygon region, and the feature amount on the real space of the virtual polygon region; Take the configuration.
  • a marker according to an aspect of the present invention is a marker used for calibration, and an edge or a feature point of the marker is detected in an image in which the marker is captured, and a plurality of straight lines are detected based on the edge or the feature point. Is estimated and used to generate a virtual polygon area surrounded by the plurality of straight lines in an area including an area other than the area where the marker is installed in the image.
  • the calibration accuracy can be ensured even when the range in which the calibration marker can be set is limited.
  • Diagram showing an example of a typical marker installation range A diagram showing an example of an implementation environment of calibration of the image processing apparatus according to the first embodiment of the present invention Block diagram showing an example of configuration of an image processing apparatus according to Embodiment 1 of the present invention Block diagram showing a configuration example of an image processing apparatus according to Embodiment 2 of the present invention A diagram showing an example of an image before and after distortion correction and viewpoint conversion according to a second embodiment of the present invention Block diagram showing a configuration example of an edge detection unit according to Embodiment 2 of the present invention The figure which shows the example of the image after marker area
  • FIG. 2 A figure showing an example of an image before and behind candidate point extraction concerning Embodiment 2 of the present invention
  • Block diagram showing a configuration example of a camera parameter calculation unit according to Embodiment 2 of the present invention Explanatory drawing of squareness according to Embodiment 2 of the present invention
  • a diagram showing an example of an implementation environment of calibration of an image processing apparatus according to a third embodiment of the present invention The figure which shows the example of the production
  • a diagram showing another example of the virtual polygon generation position according to the third embodiment of the present invention The figure which shows the marker and another example of a virtual polygon concerning each embodiment of this invention.
  • Embodiment 1 First, the first embodiment will be described.
  • FIG. 2 is a diagram showing an implementation environment of calibration according to the present embodiment.
  • FIG. 2A is a side view of a vehicle on a road surface and a marker installed on the road surface.
  • FIG. 2B is a top view of the vehicle and the marker shown in FIG. 2A.
  • the vehicle 100 mounts the camera 20 at the back, and mounts the image processing apparatus 10 (an example of the image processing apparatus of this invention) inside.
  • the camera 20 shoots the marker 60 installed on the road surface R.
  • the camera image is input to the image processing apparatus 10 and used for calibration.
  • the marker 60 is installed in one side of the range b which can install a marker (henceforth a "marker installation possible range") b. Moreover, in FIG. 2B, the marker 60 is made into the shape which arranged two right-angled isosceles triangles as an example.
  • FIG. 3 is a block diagram showing a configuration example of the image processing apparatus 10 according to the present embodiment.
  • the image processing apparatus 10 includes an image acquisition unit 1, an edge detection unit 2, a polygon generation unit 3, and a camera parameter calculation unit 4.
  • the image acquisition unit 1 acquires a camera image captured by the camera 20.
  • the camera image is an image of the marker 60 taken.
  • the edge detection unit 2 performs image processing on the camera image acquired by the image acquisition unit 1 and detects a plurality of edges of the marker 60 from the camera image.
  • the polygon generation unit 3 estimates a plurality of straight lines based on the plurality of edges detected by the edge detection unit 2. For example, the polygon generation unit 3 estimates a straight line that passes through more points constituting an edge, using a known method such as the Hough transform or the least squares method. Then, in the camera image, the polygon generation unit 3 sets the virtual polygon region surrounded by the straight lines to a region including the region outside the marker installable range (both the marker installable range and the marker installable range). It is generated in the area including (or only the area outside the marker installable range).
  • the camera parameter calculation unit 4 calculates camera parameters based on the feature amount on the image of the virtual polygon region generated by the polygon generation unit 3 and the feature amount on the virtual space of the virtual polygon region. Do.
  • the calculated camera parameters are, for example, the roll angle, the pitch angle, the height, and the like of the camera 20 installed in the vehicle 100.
  • the above-mentioned “feature amount on image of polygon area” is information on the shape of the polygon on the image, for example, in the case of using side length in roll angle / pitch angle calculation, each polygon on the image It becomes the length of the side.
  • each polygon on the image It becomes the length of the side.
  • the virtual polygon area is a pentagon and its vertices are A, B, C, D, E, it is the length on the image of the sides AB, BC, CD, DE, EA.
  • the calculation of the length of each side is performed based on the coordinate values of the vertices A to E identified by the vertex identification unit 32 described later.
  • the above-mentioned "feature amount of polygon region in real space” is information on the actual shape of the polygon, and, for example, when using the side length in roll angle / pitch angle calculation, each side of the actual polygon
  • the length of For example, if the virtual polygon area is a pentagon and its vertices are A, B, C, D, E, then it is the actual length of sides AB, BC, CD, DE, EA. Or, for example, when the virtual polygon area is a square, it is the fact that the side lengths are equal, and the actual length of one side.
  • calculation of camera parameters there are, for example, the following two methods.
  • One is a method of calculating uniquely using a linear simultaneous equation or a non-linear one-to-one correspondence table from a geometrical relationship based on a feature amount on an image and a feature amount on real space.
  • the other is to obtain an evaluation value indicating the degree of coincidence between the polygon on the image and the shape of the polygon on the real space from the feature on the image and the feature on the real space, and the optimum based on the evaluation Calculation method.
  • roll angle and pitch angle calculation is the latter method, and for example, evaluation values are calculated from the ratio of the length of each side of the polygon in real space and the ratio of the length of each side of the polygon on the corresponding image. Calculate a combination of roll angle and pitch angle that minimizes the evaluation value.
  • the image processing apparatus 10 is based on the edge of the marker detected from the image obtained by photographing the calibration marker, the virtual polygon in the region including at least the region outside the marker installable range An area is generated, and camera parameters are calculated based on the polygon area. Due to this feature, the image processing apparatus 10 can ensure the calibration accuracy even when the marker installable range is limited.
  • the implementation environment of calibration in this embodiment is the same as the implementation environment of Embodiment 1 shown in FIG.
  • FIG. 4 is a block diagram showing a configuration example of the image processing apparatus 10 according to the present embodiment.
  • the image processing apparatus 10 includes an image acquisition unit 1, an edge detection unit 2, a polygon generation unit 3, a camera parameter calculation unit 4, and an image distortion correction / viewpoint conversion unit 5.
  • the image acquisition unit 1 acquires a camera image captured by the camera 20.
  • the camera image is an image of the marker 60 taken.
  • the image distortion correction / viewpoint conversion unit 5 corrects distortion contained in the camera image acquired by the image acquisition unit 1 and converts it into a state of central projection, and the outside set in advance.
  • the road surface R is converted into a perspective viewed from above using the parameters (also referred to as extrinsic parameters; an example of camera parameters).
  • the external parameters used here are the initial temporary parameters set in the image distortion correction / viewpoint conversion unit 5 from the beginning, the temporary parameters set in the temporary parameter setting unit 44 described later, and the angle specifying unit described later It is one of the parameters identified in 45. For example, design values of the installation angle of the camera with respect to the vehicle are set as the initial temporary parameters.
  • the image distortion correction / viewpoint conversion unit 5 performs distortion correction and viewpoint conversion on the camera image shown in FIG. 5A to generate an image shown in FIG. 5B.
  • the coordinates of the image before distortion correction and the coordinates of the image after distortion correction are also called internal parameters (intrinsic parameters) including optical axis center coordinates, focal length, lens distortion coefficient, etc.
  • the image distortion correction / viewpoint conversion unit 5 stores the internal parameters as fixed values calculated in advance.
  • the method of calculating the internal parameter may be a known method. As this known method, for example, a checkerboard whose grid size is known is photographed, the intersection position of the checkerboard pattern is detected from the photographed image, and optimization is performed so that the intervals between the intersections become as even as possible. And a method of calculating an internal parameter.
  • the lens of the camera is a fisheye lens, it is sufficient to calculate internal parameters related to projective transformation corresponding to the fisheye lens, such as so-called equidistant projection and stereoscopic projection.
  • the coordinates of the image before viewpoint conversion and the coordinates of the image after viewpoint conversion are associated via an external parameter of the camera including an installation angle of the camera with respect to the road surface and an installation position.
  • the installation angle of the camera is represented by a roll angle, a pitch angle, and a yaw angle
  • the installation position of the camera is represented by an X coordinate, a Y coordinate, and a Z coordinate.
  • the Y coordinate is a direction perpendicular to the road surface
  • the Z coordinate is a direction along the traveling direction of the vehicle
  • the X coordinate is a direction perpendicular to the Y coordinate and the Z coordinate It is defined as
  • processing is performed on the coordinates in the order of distortion correction and viewpoint conversion.
  • image conversion is performed using a look-up table. This lookup table performs the inverse conversion of viewpoint conversion and the inverse conversion of distortion correction in order from the coordinates after distortion correction and viewpoint conversion as a starting point to obtain corresponding coordinates, and describes the correspondence It is.
  • the edge detection unit 2 detects an edge of the marker 60 by performing image processing on the image generated by the image distortion correction / viewpoint conversion unit 5.
  • the edge detecting unit 2 includes a marker area specifying unit 21, a filtering unit 22, and a candidate point extracting unit 23, as shown in FIG.
  • the marker area specifying unit 21 specifies an area (hereinafter, referred to as a “marker area”) of the marker 60 from the image (for example, the image of FIG. 5B) generated by the image distortion correction / viewpoint conversion unit 5.
  • a marker area an area of the marker 60 from the image (for example, the image of FIG. 5B) generated by the image distortion correction / viewpoint conversion unit 5.
  • An example of the image after specifying the marker area is shown in FIG. 7A. As shown in FIG. 7A, the area of the marker 60 is identified.
  • a method of specifying the marker area for example, a method using luminance information, a method of detecting a feature point, or the like can be used.
  • the marker is detected using the difference between the luminance of the road surface and the luminance of the marker. For example, when the luminance of the road surface in the calibration environment is low, a marker with high luminance is installed on the road surface, and after capturing a marker with a camera, a portion with luminance greater than or equal to a certain value is detected from the camera image. To identify the marker area.
  • the method of detecting a feature point for example, using a general Harris corner detection method, a plurality of marker end points are detected based on the amount of change in luminance in a camera image.
  • the filtering unit 22 performs filtering on the image (for example, the image in FIG. 7A) after the marker area specification using a specific operator (for example, a Laplacian operator).
  • a specific operator for example, a Laplacian operator.
  • FIG. 7B An example of the image after filtering is shown in FIG. 7B. As shown in FIG. 7B, the outer periphery of the marker 60 is identified.
  • the candidate point extraction unit 23 specifies an edge from a set of candidate points by searching for a change in luminance from a fixed direction with respect to the image after filtering (for example, the image in FIG. 7B). For example, as shown in FIG. 8A, the candidate point extraction unit 23 specifies the edges 11 to 14 on the outer periphery of the marker 60. In the example of FIG. 8A, the hypotenuses of the two triangles constituting the marker 60 are respectively identified as the edges 11-14.
  • FIG. 8B is an image showing the edge 11.
  • FIG. 8C is an image showing the edge 12.
  • FIG. 8D is an image showing the edge 13.
  • FIG. 8E is an image showing the edge 14.
  • the polygon generation unit 3 estimates a plurality of straight lines based on the plurality of edges detected by the edge detection unit 2. Then, the polygon generation unit 3 generates a virtual polygon area surrounded by the plurality of estimated straight lines in the camera image. This virtual polygon area is generated in an area including an area outside the marker installable area, ie, an area including both the marker installable area and the marker installable area, or an area only outside the marker installable area. Ru.
  • the polygon generation unit 3 includes a straight line estimation unit 31 and a vertex identification unit 32, as shown in FIG.
  • the straight line estimation unit 31 estimates a plurality of straight lines based on the plurality of edges (for example, the edges 11 to 14) detected by the edge detection unit 2. Specifically, the straight line estimation unit 31 estimates straight line parameters by using the Hough transform, which is a general parameter estimation method, based on the information of the two-dimensional coordinate sequence of the edge.
  • An example of each estimated straight line is shown in FIGS. 10A-D.
  • FIG. 10A is an image of a straight line 11 ′ estimated based on the edge 11.
  • FIG. 10B is an image of a straight line 12 ′ estimated based on the edge 12.
  • FIG. 10C is an image of a straight line 13 ′ estimated based on the edge 13.
  • FIG. 10D is an image of a straight line 14 ′ estimated based on the edge 14.
  • the straight lines 11 'to 14' are lines extending the edges 11 to 14, respectively.
  • the vertex identification unit 32 identifies an intersection of the straight lines estimated by the straight line estimation unit 31.
  • the points of intersection of the straight lines can be obtained by solving simultaneous equations derived from equations representing the respective straight lines. In addition, it is assumed that it is determined in advance which straight line and which straight line are to be obtained.
  • An example of each identified intersection is shown in FIG. 10E.
  • the intersection A of the straight line 11 ′ and the straight line 12 ′, the intersection B of the straight line 12 ′ and the straight line 13 ′, the intersection C of the straight line 13 ′ and the straight line 14 ′, and the intersection of the straight line 14 ′ and the straight line 11 ′. D is identified respectively.
  • intersection points A, B, C, and D specified in this manner become vertices that form a virtual polygon area. Therefore, in the following, the intersection points A, B, C, and D will be referred to as vertices A, B, C, and D, respectively.
  • the virtual polygon area to be generated is a square as an example.
  • a straight line is estimated by the straight line estimation unit 31 and a vertex is specified by the vertex specifying unit 32, so that a polygon area surrounded by the straight line and the vertex is generated as a virtual polygon area.
  • a specific example of the range in which the virtual polygon area is generated will be described later with reference to FIG.
  • the camera parameter calculation unit 4 generates camera parameters (e.g., based on the feature quantities on the image of the virtual polygon region generated by the polygon generation unit 3 and the feature quantities on the real space of the virtual polygon region). , Roll angle, pitch angle, and height) of the camera 20.
  • camera parameters e.g., based on the feature quantities on the image of the virtual polygon region generated by the polygon generation unit 3 and the feature quantities on the real space of the virtual polygon region. , Roll angle, pitch angle, and height
  • the camera parameter calculation unit 4 has a roll / pitch calculation unit 41 that calculates a roll angle and a pitch angle, and a height calculation unit 42 that calculates a height.
  • the roll and pitch calculation unit 41 has an evaluation value calculation unit 43, a temporary parameter setting unit 44, and an angle specification unit 45, as shown in FIG.
  • the evaluation value calculation unit 43 matches the shapes of the polygon on the image and the polygon on the real space based on the information indicating the lengths of the four sides of the virtual polygon region generated by the polygon generation unit 3. Calculate an evaluation value that indicates the degree.
  • the evaluation value is a value indicating the squareness of the polygon on the image.
  • the standard deviation of the lengths of the four sides of the polygon is used as the evaluation value.
  • the evaluation value E is calculated by the following equation (1).
  • FIG. 12 shows an example of the difference in squareness.
  • FIGS. 12A and 12B compares the polygon area 70 on the image with the correct square 80, FIG. 12A has a shape closer to a square, and the standard of the four sides of the polygon is longer.
  • the value of the evaluation value which is the deviation is also a smaller value in FIG. 12A.
  • the standard deviation of the length of the side forming the polygon is used as the evaluation value, but the standard deviation of the angle at each vertex of the polygon may be used, and the length of the side and the size of the angle Both may be used to weight each to determine an assessment value.
  • the temporary parameter setting unit 44 sets temporary parameters of the roll angle and the pitch angle, and outputs the temporary parameters to the image distortion correction / viewpoint conversion unit 5. Thereafter, as described above, the image distortion correction / viewpoint conversion unit 5 executes distortion correction and viewpoint conversion based on the temporary parameters.
  • the temporary parameter setting unit 44 writes a pair of the evaluation value calculated by the evaluation value calculation unit 43 and the temporary parameter used to calculate the evaluation value in the evaluation value list. Then, the temporary parameter setting unit 44 updates the values of the temporary parameters of the roll angle and the pitch angle in the image distortion correction / viewpoint conversion unit 5. The value of the temporary parameter may be updated by using a combination of predetermined values as a whole, or based on the tendency between the evaluation value calculated this time and the evaluation value calculated so far, the following: Temporary parameters of the roll angle and the pitch angle may be set. When it is determined that the content of the evaluation value list is sufficient for specifying the roll angle and the pitch angle, the temporary parameter setting unit 44 requests the angle specifying unit 45 to perform processing.
  • the angle specifying unit 45 specifies the roll angle and the pitch angle based on the evaluation value list stored in the temporary parameter setting unit 44.
  • a roll angle for example, 10 degrees
  • a pitch angle for example, 80 degrees
  • a more precise roll angle by fitting a straight line from the relationship between the pitch angle (for example, 80 degrees) and the evaluation value) For example, 9.96 degrees
  • 9.96 degrees may be specified.
  • the angle specifying unit 45 outputs the roll angle and the pitch angle which are the specified camera parameters to the image distortion correction / viewpoint conversion unit 5 and requests distortion correction and viewpoint conversion using these. Thereafter, the image distortion correction / viewpoint conversion unit 5 performs distortion correction and viewpoint conversion based on the camera parameters.
  • the height calculation unit 42 calculates the height based on the information indicating the lengths of the four sides of the virtual polygon area generated by the polygon generation unit 3. For example, when the polygon area is a square, the height calculation unit 42 calculates a representative value of the sides of the square from the average value of the lengths of the four sides of the square. Then, the height calculation unit 42 inputs a representative value of the side length and calculates the corresponding height, based on a table showing the relationship between the side length and the height shown in FIG. For example, if the length of a side of a square in a camera image is 125 pixels, the height of the camera of 120 cm can be obtained by referring to the table of FIG. The table shown in FIG. 14 is, for example, stored in advance by the height calculation unit 42.
  • the camera parameter calculation unit 4 calculates the roll angle, the pitch angle, and the height as the camera parameters of the camera 20.
  • the relationship between the marker and the calibration accuracy will be described.
  • the accuracy of the straight line estimation by the straight line estimation unit 31 depends on the set of candidate points that are candidates for the points constituting the straight line. Therefore, as the set of candidate points exist over a wide range in the camera image (in other words, the length of the edge is longer), the accuracy of straight-line estimation performed based on the set of candidate points becomes better.
  • the difference between the prior art and the present embodiment is that in the prior art it is necessary to detect the marker itself as a polygon, but in the present embodiment it is not necessary. That is, in the prior art, the size and shape of the marker placed must be identical to the size and shape to be detected. Therefore, in the prior art, as shown in FIG. 15A, for example, when the marker installable range is limited to the area b, the marker 61 is installed so that the polygon (for example, a square) does not protrude from the area b. There is a need to. Therefore, the size of the marker 61 is also limited, and the length L1 of one side of the square is also shortened.
  • a straight line is estimated based on the edge detected from the marker, and a virtual polygon is generated from the straight line. That is, in the present embodiment, the size and shape of the marker to be placed may not be the same as the size and shape of the marker to be detected. Therefore, by devising the shape and the installation position of the marker, it is possible to generate a virtual polygon area out of the installable range of the marker. For example, in FIG. 15B, even when the marker installable range is limited to only the area b as in FIG. 15A, the marker 60 having a shape in which two triangles are arranged adjacent to one another is installed in the area b.
  • a virtual polygon area 70 defined by an extension of each hypotenuse of two triangles can be generated at a position other than the area b.
  • the shape of this virtual polygon area 70 is a square, the length L1 of one side thereof is twice as long as that of one side L1 of the square marker 61 shown in FIG. 15A. is there.
  • the marker installable range is limited, it is possible to virtually obtain a polygonal area larger than the polygonal area obtained by the prior art, so that the calibration accuracy is ensured. it can.
  • the marker and the virtual polygon region are not limited to those described above, and various modifications are possible. Hereafter, the modification is demonstrated.
  • the markers 60a and 60b may be installed in one of the regions b on the side of the vehicle 100, and the markers 60c and 60d may be installed in the other.
  • the markers 60a, 60b, 60c and 60d are the same as the markers 60 shown in FIGS. 2 and 15B, respectively.
  • the virtual polygonal area 70 generated in the case of the installation of the marker shown in FIG. 16 is, as shown in FIG. 17, two straight lines estimated based on the marker 60a and the marker 60c, and the marker 60b and the marker 60d. It is defined by the two straight lines estimated based on it, and is arranged in the area a which is out of the marker installable range.
  • the virtual polygon area 70 is a square.
  • FIG. 18 is a view showing a case where parallelogram markers 62a to 62d are provided.
  • the markers 62a and 62b are installed in one of the regions b on the side of the vehicle 100, and the markers 62c and 62d are installed in the other.
  • two straight lines are estimated by the markers 62a and 62c, and two straight lines are estimated by the markers 62b and 62d.
  • a virtual polygon area 70 is generated in the area a which is out of the marker installable range by each of the estimated straight lines.
  • the virtual polygon area 70 is a square.
  • the influence of the positional relationship between the triangles can be reduced as compared with the case where the markers 60 in which the triangles are arranged side by side are installed, and calibration is further performed. Accuracy is improved.
  • FIG. 19A is a diagram showing a case where markers 63a to 63j having a linear shape (long parallelogram) are provided.
  • markers 63a to 63e are installed in one of the regions b on the side of the vehicle 100
  • markers 63f to 63j are installed in the other.
  • one straight line is estimated by the marker 63a and the marker 63h
  • one straight line is estimated by the marker 63b and the marker 63j.
  • one straight line is estimated by the markers 63c and 63f
  • one straight line is estimated by the markers 63d and 63i
  • one straight line is estimated by the markers 63e and 63g.
  • a virtual polygon area 71 is generated in the area a which is out of the marker installable range by each of the estimated straight lines.
  • the virtual polygon area 71 is a pentagon.
  • markers may be colored in order to clarify which marker should be connected to each other.
  • markers colored in different colors are used for each pair of markers connecting edges, such as marker 63a and marker 63h yellow and marker 63b and marker 63j blue.
  • This also makes it possible to specify the side of a virtual polygon. For example, the side L11 included in the straight line estimated by the markers 63a and 63h, and the side L12 included in the straight line estimated by the markers 63b and 63j can be specified.
  • the camera parameter calculation unit 4 calculates the ratio of the length on the image of a specific side of the virtual polygon to the length in the real space or the side length. By using it, the camera parameter can be calculated by the method of obtaining the evaluation value as described in the second embodiment.
  • FIG. 19B shows a case where trapezoidal markers 64a to 64f are provided instead of the straight (long and narrow parallelogram) markers 63a to 63j to form the same pentagon as FIG. 19A.
  • the marker 64a is a trapezoid capable of detecting the same edge as the edge of the marker 63a and the marker 63b shown in FIG. 19A.
  • Two edges detected from the marker 64a are connected to one of the edges detected from the marker 64e and the edge detected from the marker 64f.
  • two straight lines L11 and L12 are estimated.
  • Other straight lines are also estimated as in FIG. 19A.
  • a pentagon is generated as a virtual polygon area 71 by each straight line, and is arranged in the area a which is out of the marker installable range.
  • FIG. 20 is a view showing a case where trapezoidal markers 65a to 65d are provided as in FIG. 19B. Also in FIG. 20, a plurality of straight lines are estimated as in FIG. 19 based on the edges of the trapezoidal markers 65a to 65d, but the virtual polygon area 72 formed in the area a is a triangle.
  • FIG. 21A shows a case where circular markers 66a to 66h are provided.
  • the straight line estimation unit 31 identifies a straight line by connecting the barycentric positions of the two detected markers in the camera image. For example, one straight line is estimated by the markers 66a and 66g, and one straight line is estimated by the markers 66b and 66h. Further, one straight line is estimated by the markers 66c and 66e, and one straight line is estimated by the markers 66d and 66f. Then, the virtual polygon area 70 is generated in the area a which is out of the marker installable range by each estimated straight line.
  • the virtual polygon area 70 is a square.
  • FIG. 21B is a view showing a case where parallelogram markers 67a, 67d, 67e and trapezoidal markers 67b, 67c, 67f are provided.
  • the polygon generation unit 3 extracts a specific point c2 on the side in addition to the vertex c1 of the virtual polygon area.
  • the polygon generation unit 3 estimates a straight line based on the edge detected by the edge detection unit 2 and extracts an intersection point of the straight line, that is, a vertex c1 and a point c2.
  • the camera parameter calculation unit 4 calculates camera parameters based on the positions of the vertex c1 and the point c2 on the camera image and the position in the real space.
  • each marker is installed in both of the areas b on the side of the vehicle 100, only one area b is provided as in the case of FIGS. 2B and 15B. It may be installed in the
  • the present invention is useful for techniques (e.g., apparatus, system, method, program, etc.) for calculating camera parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)

Abstract

　キャリブレーション用マーカを設置できる範囲が制限される場合でも、カメラキャリブレーションの精度を確保できる画像処理装置。画像処理装置（１０）は、キャリブレーション用のマーカが撮影された画像を取得する画像取得部（１）と、画像においてマーカのエッジを検出するエッジ検出部（２）と、エッジに基づいて複数の直線を推定し、複数の直線に囲まれた仮想の多角形領域を、画像においてマーカが設置されている領域以外の領域を含む領域に生成する多角形生成部（３）と、仮想の多角形領域の前記画像上の特徴量と、仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出するカメラパラメータ算出部（４）と、を備える。

Description

画像処理装置およびマーカ
　本発明は、カメラパラメータを算出する画像処理装置およびマーカに関する。
　車両に設置されたカメラを用いた近年のカメラシステムでは、車両の予想到達位置を示すガイド線をカメラで撮影した画像（以下、「カメラ画像」という）に重畳表示する機能、または、カメラ画像の幾何的な変換により仮想的な視点からの画像を生成する機能などが実装されている。これらの機能はいずれも、実空間の３次元位置とカメラ画像上に投影された２次元位置の対応付けを利用したものである。このような対応付けを実現するためには、カメラの設置角もしくは設置位置などのパラメータ、または、射影変換パラメータ等のいわゆるカメラパラメータの算出（以下、適宜「キャリブレーション」という）が必要となる。
　カメラ画像に基づくキャリブレーションでは、通常、形状・大きさ・設置位置などが既知であるキャリブレーション用マーカを利用する。その一つの形態として、路面上に設置された、特定のパターンを含むマーカを撮影し、そのカメラ画像に対する投影位置を利用する方法がある（例えば、特許文献１参照）。
　また、マーカの形状を多角形とする方法例としては、路面上に設置された正方形のマーカをカメラで撮影し、そのカメラ画像を射影変換して俯瞰画像を生成し、俯瞰画像における正方形の形状・存在位置を基に、カメラパラメータの一例である射影変換パラメータを算出する方法が知られている（例えば、特許文献２参照）。
特開２０１１－０４７７２５号公報 特開２０１０－２４４３２６号公報
　特許文献１、２の技術では、マーカを路面上に設置する必要があるが、マーカを設置できる範囲が制限される場合がある。この例について、図１を用いて説明する。
　図１は、車両と路面を上方から見た例を示す図である。図１において、領域ａは、車両が通過する領域であるため、マーカを設置できない。また、領域ｃは、車両の側方から一定距離以上の領域であるため、マーカを設置できない。これらに対し、領域ｂは、車両の側方から一定距離未満の領域であるため、マーカを設置できる。
　このようにマーカを設置できる範囲が制限されている場合、キャリブレーションに必要なサイズのマーカを適切な位置に設置することができず、その結果、キャリブレーションの精度が低下するという課題がある。
　本発明の目的は、キャリブレーション用マーカを設置できる範囲が制限される場合でも、キャリブレーションの精度を確保できる画像処理装置およびマーカを提供することである。
　本発明の一態様に係る画像処理装置は、キャリブレーション用のマーカが撮影された画像を取得する画像取得部と、前記画像において前記マーカのエッジまたは特徴点を検出するエッジ検出部と、前記エッジまたは特徴点に基づいて複数の直線を推定し、前記複数の直線に囲まれ、かつ、前記画像において前記マーカが設置されている領域以外の領域を含む仮想の多角形領域を生成する多角形生成部と、前記仮想の多角形領域の前記画像上の特徴量と、前記仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出するカメラパラメータ算出部と、を備える、構成を採る。
　本発明の一態様に係るマーカは、キャリブレーションに用いられるマーカであって、前記マーカが撮影された画像において前記マーカのエッジまたは特徴点が検出され、前記エッジまたは特徴点を基に複数の直線が推定され、前記複数の直線に囲まれた仮想の多角形領域を、前記画像において前記マーカが設置されている領域以外の領域を含む領域に生成するために用いられる構成を採る。
　本発明によれば、キャリブレーション用マーカを設置できる範囲が制限される場合でも、キャリブレーションの精度を確保できる。
一般的なマーカの設置可能範囲の例を示す図 本発明の実施の形態１に係る画像処理装置のキャリブレーションの実施環境の例を示す図 本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図 本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図 本発明の実施の形態２に係る歪補正・視点変換の前後の画像の例を示す図 本発明の実施の形態２に係るエッジ検出部の構成例を示すブロック図 本発明の実施の形態２に係るマーカ領域特定後の画像およびフィルタリング後の画像の例を示す図 本発明の実施の形態２に係る候補点抽出の前後の画像の例を示す図 本発明の実施の形態２に係る多角形生成部の構成例を示すブロック図 本発明の実施の形態２に係る直線推定後の画像および頂点特定後の画像の例を示す図 本発明の実施の形態２に係るカメラパラメータ算出部の構成例を示すブロック図 本発明の実施の形態２に係る正方形らしさの説明図 本発明の実施の形態２に係るロール角・ピッチ角算出の処理例を示す図 本発明の実施の形態２に係る高さ算出の処理例を示す図 従来技術のマーカの設置と本発明の実施形態２のマーカの設置との比較例を示す図 本発明の実施の形態３に係る画像処理装置のキャリブレーションの実施環境の例を示す図 本発明の実施の形態３に係る仮想多角形の生成位置の例を示す図 本発明の実施の形態３に係る仮想多角形の生成位置の別の例を示す図 本発明の各実施の形態に係るマーカおよび仮想多角形の別の例を示す図 本発明の各実施の形態に係るマーカおよび仮想多角形の別の例を示す図 本発明の各実施の形態に係るマーカおよび仮想多角形の別の例を示す図
　以下、本発明の実施の形態について図面を参照しながら説明する。
　（実施の形態１）
　まず、実施の形態１について説明する。
　図２は、本実施の形態に係るキャリブレーションの実施環境を示す図である。図２Ａは、路面上の車両と路面に設置されたマーカとを横から見た図である。図２Ｂは、図２Ａに示す車両およびマーカを上方から見た図である。
　図２Ａに示すように、車両１００は、後方にカメラ２０を搭載しており、内部に画像処理装置１０（本発明の画像処理装置の一例）を搭載している。カメラ２０は、路面Ｒに設置されたマーカ６０を撮影する。このカメラ画像は、画像処理装置１０に入力され、キャリブレーションに使用される。
　図２Ｂに示すように、マーカ６０は、マーカを設置できる範囲（以下、「マーカ設置可能範囲」という）ｂの片側一方に設置されている。また、図２Ｂにおいて、マーカ６０は、例として、直角二等辺三角形を２つ並べた形状としている。
　図３は、本実施の形態に係る画像処理装置１０の構成例を示すブロック図である。
　図３において、画像処理装置１０は、画像取得部１、エッジ検出部２、多角形生成部３、およびカメラパラメータ算出部４を有する。
　画像取得部１は、カメラ２０で撮影されたカメラ画像を取得する。このカメラ画像は、マーカ６０が撮影された画像である。
　エッジ検出部２は、画像取得部１で取得されたカメラ画像に対して画像処理を実施し、カメラ画像からマーカ６０のエッジを複数検出する。
　多角形生成部３は、エッジ検出部２で検出された複数のエッジに基づいて複数の直線を推定する。例えば、多角形生成部３は、公知の方式であるハフ変換または最小二乗法を使用して、エッジを構成する点群をより多く通過する直線を推定する。そして、多角形生成部３は、カメラ画像において、それら直線で囲まれた仮想の多角形領域を、マーカ設置可能範囲外の領域を含む領域（マーカ設置可能範囲とマーカ設置可能範囲外の両方を含む領域、または、マーカ設置可能範囲外のみの領域）に生成する。
　カメラパラメータ算出部４は、多角形生成部３で生成された仮想の多角形領域の画像上の特徴量と、仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出する。算出されるカメラパラメータは、例えば、車両１００に設置されたカメラ２０についての、ロール角、ピッチ角、高さなどである。
　上記「多角形領域の画像上の特徴量」とは、多角形の画像上における形状に関する情報であり、例えばロール角・ピッチ角算出において辺長を使用する場合は、画像上における多角形の各辺の長さとなる。例えば、仮想の多角形領域が五角形であり、その頂点をＡ、Ｂ、Ｃ、Ｄ、Ｅとした場合、辺ＡＢ、ＢＣ、ＣＤ、ＤＥ、ＥＡの画像上での長さである。なお、各辺の長さの算出は、後述する頂点特定部３２で特定された頂点Ａ～Ｅの座標値に基づいて行われる。
　上記「多角形領域の実空間上の特徴量」とは、多角形の実際の形状に関する情報であり、例えばロール角・ピッチ角算出において辺長を使用する場合は、実際の多角形の各辺の長さとなる。例えば、仮想の多角形領域は五角形であり、その頂点をＡ、Ｂ、Ｃ、Ｄ、Ｅとした場合、辺ＡＢ、ＢＣ、ＣＤ、ＤＥ、ＥＡの実際の長さである。または、例えば、仮想の多角形領域が正方形である場合、各辺長が等しいという事実、および、１辺の実際の長さである。
　上記「カメラパラメータの算出」としては、例えば、以下の２つの方法がある。１つは、画像上の特徴量と実空間上の特徴量に基づく幾何的な関係から線形の連立方程式または非線形の１対１の対応テーブルを利用して一意に算出する方法である。もう１つは、画像上の特徴量と実空間上の特徴量から、画像上の多角形と実空間上の多角形の形状の一致度合いを示す評価値を求め、その評価値に基づいた最適化により算出する方法である。例えばロール角・ピッチ角算出は後者の方法であり、例えば実空間上の多角形の各辺の長さの比率と、対応する画像上の多角形の各辺の長さの比率から評価値を算出し、評価値が最小となるロール角、ピッチ角の組合せを求める。
　以上のように、本実施の形態の画像処理装置１０は、キャリブレーション用マーカを撮影した画像から検出したマーカのエッジに基づいて、少なくともマーカ設置可能範囲外の領域を含む領域に仮想の多角形領域を生成し、その多角形領域に基づいてカメラパラメータを算出することを特徴とする。この特徴により、画像処理装置１０は、マーカ設置可能範囲が制限される場合でも、キャリブレーションの精度を確保できる。
　（実施の形態２）
　次に、実施の形態２について説明する。
　本実施の形態におけるキャリブレーションの実施環境は、図２に示す実施の形態１の実施環境と同様である。
　図４は、本実施の形態に係る画像処理装置１０の構成例を示すブロック図である。
　図４において、画像処理装置１０は、画像取得部１、エッジ検出部２、多角形生成部３、カメラパラメータ算出部４、および画像歪補正・視点変換部５を有する。
　画像取得部１は、カメラ２０で撮影されたカメラ画像を取得する。このカメラ画像は、マーカ６０が撮影された画像である。
　画像歪補正・視点変換部５は、画像取得部１で取得されたカメラ画像に対して、そのカメラ画像に含まれる歪みを補正して中心射影の状態に変換し、かつ、予め設定された外部パラメータ（エクストリンシックパラメータ（Extrinsic Parameters）ともいう。カメラパラメータの一例）を用いて路面Ｒを上空から俯瞰した視点に変換する。なお、ここで用いられる外部パラメータは、画像歪補正・視点変換部５に始めから設定された初期の仮パラメータ、後述する仮パラメータ設定部４４で設定された仮パラメータ、及び、後述する角度特定部４５で特定されたパラメータのいずれかである。初期の仮パラメータには例えば、車両に対するカメラの設置角の設計値を設定する。
　歪補正および視点変換の前後の画像の例を図５に示す。画像歪補正・視点変換部５は、図５Ａに示すカメラ画像に対して、歪み補正および視点変換を行うことで、図５Ｂに示す画像を生成する。
　ここで、上述した歪補正および視点変換における座標の対応付けについて、それぞれ説明する。
　まず、歪補正前の画像の座標と歪補正後の画像の座標は、光軸中心座標、焦点距離、レンズ歪み係数等からなる内部パラメータ（イントリンシックパラメータ（Intrinsic Parameters）ともいう。カメラパラメータの一例）を介して対応付けられる。内部パラメータは、予め算出された固定値として、画像歪補正・視点変換部５が記憶している。内部パラメータの算出方法は公知の方法でよい。この公知の方法としては、例えば、マス目サイズが既知のチェッカーボードを撮影し、その撮影画像からチェッカーボードのパターンの交点位置を検出し、交点の間隔ができるだけ均等になるように最適化することで、内部パラメータを算出する方法が挙げられる。なお、カメラのレンズが魚眼レンズである場合には、いわゆる等距離射影、立体射影といった、魚眼レンズに対応した射影変換に関する内部パラメータの算出を行えばよい。
　次に、視点変換前の画像の座標と視点変換後の画像の座標は、路面に対するカメラの設置角、設置位置からなるカメラの外部パラメータを介して対応付けられる。カメラの設置角は、ロール角、ピッチ角、ヨー角で表現され、カメラの設置位置は、Ｘ座標、Ｙ座標、Ｚ座標で表現される。路面と車両の進行方向を基準とした３次元座標系において、例えば、Ｙ座標は路面に垂直な方向、Ｚ座標は車両進行方向に沿った方向、Ｘ座標はＹ座標およびＺ座標に垂直な方向と定義される。
　歪補正および視点変換を行った後の座標を得るためには、座標に対して歪補正、視点変換の順に処理を実施する。歪補正および視点変換を行った後の画像を得るためには、例えば、ルックアップテーブルを用いて画像変換を行う。このルックアップテーブルは、歪補正および視点変換を行った後の座標を起点として、視点変換の逆変換、歪補正の逆変換を順に実施して対応する座標を求め、その対応関係を記載したものである。
　図４に戻り、エッジ検出部２について説明する。
　エッジ検出部２は、画像歪補正・視点変換部５で生成された画像に対して画像処理を実施することで、マーカ６０のエッジを検出する。
　エッジ検出部２は、図６に示すように、マーカ領域特定部２１、フィルタリング部２２、および候補点抽出部２３を有する。
　マーカ領域特定部２１は、画像歪補正・視点変換部５で生成された画像（例えば、図５Ｂの画像）から、マーカ６０の領域（以下、「マーカ領域」という）を特定する。マーカ領域特定後の画像の例を図７Ａに示す。図７Ａに示すように、マーカ６０の領域が特定されている。
　マーカ領域の特定の方法としては、例えば、輝度情報を用いる方法、特徴点を検出する方法などを用いることができる。輝度情報を用いる方法では、路面の輝度とマーカの輝度の差異を利用してマーカを検出する。例えばキャリブレーションの実施環境における路面の輝度が低い場合には、輝度の高いマーカを路面上に設置し、カメラでマーカを撮影した後で、カメラ画像から輝度が一定値以上の部分を検出することにより、マーカ領域を特定する。一方、特徴点を検出する方法では、例えば一般的なHarrisのコーナ検出手法を使用することで、カメラ画像における輝度の変化量に基づいて、マーカの端点を複数検出する。
　フィルタリング部２２は、マーカ領域特定後の画像（例えば、図７Ａの画像）に対して、特定のオペレータ（例えば、ラプラシアンオペレータ等）を用いて、フィルタリングを行う。フィルタリング後の画像の例を図７Ｂに示す。図７Ｂに示すように、マーカ６０の外周が特定されている。
　候補点抽出部２３は、フィルタリング後の画像（例えば、図７Ｂの画像）に対して、一定の方向から輝度の変化を探索することで、候補点の集合からエッジを特定する。例えば、図８Ａに示すように、候補点抽出部２３は、マーカ６０の外周において、エッジ１１～１４を特定する。図８Ａの例では、マーカ６０を構成する２つの三角形の斜辺が、それぞれ、エッジ１１～１４として特定されている。図８Ｂは、エッジ１１を示す画像である。図８Ｃは、エッジ１２を示す画像である。図８Ｄは、エッジ１３を示す画像である。図８Ｅは、エッジ１４を示す画像である。
　図４に戻り、多角形生成部３について説明する。
　多角形生成部３は、エッジ検出部２で検出された複数のエッジに基づいて複数の直線を推定する。そして、多角形生成部３は、カメラ画像において、推定した複数の直線で囲まれた仮想の多角形領域を生成する。この仮想の多角形領域は、マーカ設置可能範囲外の領域を含む領域、すなわち、マーカ設置可能範囲とマーカ設置可能範囲外の両方を含む領域、または、マーカ設置可能範囲外のみの領域において生成される。
　多角形生成部３は、図９に示すように、直線推定部３１および頂点特定部３２を有する。
　直線推定部３１は、エッジ検出部２で検出された複数のエッジ（例えば、エッジ１１～１４）に基づいて複数の直線を推定する。具体的には、直線推定部３１は、エッジの２次元座標列の情報に基づいて、一般的なパラメータ推定手法であるハフ変換を使用することで、直線のパラメータを推定する。推定された各直線の例を図１０Ａ～Ｄに示す。図１０Ａは、エッジ１１を基に推定された直線１１’の画像である。図１０Ｂは、エッジ１２を基に推定された直線１２’の画像である。図１０Ｃは、エッジ１３を基に推定された直線１３’の画像である。図１０Ｄは、エッジ１４を基に推定された直線１４’の画像である。このように、直線１１’～１４’は、それぞれ、エッジ１１～１４を延長した線となる。
　頂点特定部３２は、直線推定部３１で推定された直線同士の交点を特定する。直線同士の交点は、各直線を表現する方程式から導かれる連立方程式を解いて求められる。なお、どの直線とどの直線の交点を求めるかは予め定められているとする。特定された各交点の例を図１０Ｅに示す。図１０Ｅにおいて、直線１１’と直線１２’との交点Ａ、直線１２’と直線１３’との交点Ｂ、直線１３’と直線１４’との交点Ｃ、直線１４’と直線１１’との交点Ｄが、それぞれ特定されている。このようにして特定された交点Ａ、Ｂ、Ｃ、Ｄは、仮想の多角形領域を構成する頂点となる。よって、以下では、交点Ａ、Ｂ、Ｃ、Ｄを、それぞれ、頂点Ａ、Ｂ、Ｃ、Ｄという。なお、本実施の形態において、生成される仮想の多角形領域は、例として正方形とする。
　このようにして、直線推定部３１により直線が推定され、頂点特定部３２により頂点が特定されることで、その直線と頂点で囲まれた多角形領域が、仮想の多角形領域として生成される。なお、この仮想の多角形領域が生成される範囲の具体例については、図１４を用いて後述する。
　図４に戻り、カメラパラメータ算出部４について説明する。
　カメラパラメータ算出部４は、多角形生成部３で生成された仮想の多角形領域の画像上の特徴量と、仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータ（例えば、カメラ２０についての、ロール角、ピッチ角、および高さ）を算出する。ここでいう「画像上の特徴量」と「空間上の特徴量」の定義、および「カメラパラメータの算出」の例については、実施の形態１で説明した通りである。
　カメラパラメータ算出部４は、図１１に示すように、ロール角およびピッチ角を算出するロール・ピッチ算出部４１、および、高さを算出する高さ算出部４２を有する。
　ロール・ピッチ算出部４１は、図１１に示すように、評価値算出部４３、仮パラメータ設定部４４、および角度特定部４５を有する。
　評価値算出部４３は、多角形生成部３で生成された仮想の多角形領域の４辺の長さを示す情報に基づいて、画像上の多角形と実空間上の多角形の形状の一致度合いを示す評価値を算出する。仮想の多角形領域が正方形である場合、評価値は、画像上の多角形の正方形らしさを示す値とする。本実施の形態では、評価値として多角形の４辺の長さの標準偏差を用いるものとする。具体的には、多角形の４辺の長さをそれぞれＬ１からＬ４、４辺の長さの平均値をＬｍとしたとき、評価値Ｅは以下の式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
　仮想の多角形領域が正方形に近いほど、評価値、すなわち多角形の４辺の長さの標準偏差は小さな値となる。図１２は正方形らしさの違いの例を示すものである。図１２Ａと図１２Ｂのそれぞれにおいて、画像上の多角形領域７０と正確な正方形８０を比較すると、図１２Ａの方がより正方形に近い形状となっており、多角形の４辺の長さの標準偏差である評価値の値も図１２Ａの方が小さな値となる。
　なお、上記では、評価値として多角形を成す辺の長さの標準偏差を使用したが、多角形の各頂点における角度の標準偏差を使用してもよく、また、辺の長さと角度の大きさの両方を使用して、それぞれに重み付けをして評価値を決定してもよい。
　仮パラメータ設定部４４は、ロール角およびピッチ角の仮パラメータを設定し、その仮パラメータを画像歪補正・視点変換部５へ出力する。その後、画像歪補正・視点変換部５は、上述した通り、仮パラメータに基づいて、歪補正および視点変換を実行する。
　また、仮パラメータ設定部４４は、評価値算出部４３で算出された評価値と、その評価値を算出するために用いた仮パラメータとのペアを、評価値リストに記載する。そして仮パラメータ設定部４４は、画像歪補正・視点変換部５における、ロール角およびピッチ角の仮パラメータの値を更新する。仮パラメータの値の更新は、予め定められた値の組合せを総当りするようにしても良いし、今回算出された評価値とこれまでに算出された評価値との傾向に基づいて、次のロール角およびピッチ角の仮パラメータを設定するようにしても良い。仮パラメータ設定部４４は、評価値リストの内容がロール角とピッチ角を特定するために十分であると判断した場合、角度特定部４５に処理を依頼する。
　角度特定部４５は、仮パラメータ設定部４４で記憶されている評価値リストに基づいて、ロール角およびピッチ角を特定する。角度の特定方法としては、例えば図１３Ａに示すように、評価値が最小（例えば、０．９６）となったケースに対応するロール角（例えば、１０度）およびピッチ角（例えば、８０度）を解として特定してもよい。または、より高精度な値を特定する必要がある場合、例えば図１３Ｂに示すように、ピッチ角（例えば、８０度）と評価値の関係から直線をフィッティングすることで、より厳密なロール角（例えば、９．９６度）を特定してもよい。
　また、角度特定部４５は、画像歪補正・視点変換部５に対して、特定したカメラパラメータであるロール角およびピッチ角を出力するとともに、それらを使用した歪補正および視点変換を依頼する。その後、画像歪補正・視点変換部５は、カメラパラメータに基づいて、歪補正および視点変換を実行する。
　高さ算出部４２は、多角形生成部３で生成された仮想の多角形領域の４辺の長さを示す情報に基づいて、高さを算出する。例えば、多角形領域が正方形である場合、高さ算出部４２は、正方形の４辺の長さの平均値から、その正方形の辺の長さの代表値を算出する。そして、高さ算出部４２は、図１４に示す辺の長さと高さの関係を示すテーブルに基づいて、辺の長さの代表値を入力して対応する高さを算出する。例えば、カメラ画像における正方形の辺の長さが１２５画素である場合、図１４のテーブルを参照することにより、カメラの高さ１２０ｃｍを得られる。なお、図１４に示すテーブルは、例えば、高さ算出部４２が予め記憶しているとする。
　以上のようにして、カメラパラメータ算出部４は、カメラ２０のカメラパラメータとして、ロール角、ピッチ角、および高さを算出する。
　以下、本実施の形態における効果について説明する。
　まず、マーカとキャリブレーション精度との関係について説明する。キャリブレーションの精度を向上させるためには、多角形を構成する直線を、精度良く推定する必要がある。上述した通り、直線推定部３１による直線推定の精度は、直線を構成する点の候補である候補点の集合に依存する。よって、候補点の集合がカメラ画像において幅広い範囲にわたって存在する（換言すれば、エッジの長さが長い）ほど、その候補点の集合に基づいて行われる直線推定の精度も良くなる。
　従来技術（例えば、特許文献２の技術）と本実施の形態とで一致する点は、いずれもキャリブレーションに多角形を使用し、その多角形に基づいてカメラパラメータを算出する点である。
　一方、従来技術と本実施の形態とで異なる点は、従来技術ではマーカ自体を多角形として検出する必要があるが、本実施の形態ではその必要がない点である。すなわち、従来技術では、設置されるマーカの大きさおよび形状は、検出される大きさおよび形状と同一でなくてはならない。よって、従来技術では、例えば図１５Ａに示すように、マーカ設置可能範囲が領域ｂだけに制限されている場合、その領域ｂから多角形（例えば、正方形）がはみ出さないようにマーカ６１を設置する必要がある。そのため、マーカ６１のサイズも制限され、正方形の１辺の長さＬ１も短くなる。
　これに対して本実施の形態の場合、マーカから検出したエッジを基に直線を推定し、その直線から仮想の多角形を生成することを特徴とする。すなわち、本実施の形態では、設置されるマーカの大きさおよび形状は、検出されるマーカの大きさおよび形状と同一でなくてよい。よって、マーカの形状および設置位置を工夫することにより、マーカの設置可能範囲からはみ出して、仮想の多角形領域を生成することができる。例えば図１５Ｂにおいて、図１５Ａと同様にマーカ設置可能範囲が領域ｂだけに制限されている場合でも、三角形２個を隣り合うように並べた形状であるマーカ６０を領域ｂに設置することで、２つの三角形の各斜辺の延長線で定義される仮想の多角形領域７０を、領域ｂ以外の位置に生成することができる。この仮想の多角形領域７０の形状は正方形であるが、その１辺の長さＬ１は、図１５Ａに示す正方形のマーカ６１における１辺の長さＬ１と比較して、２倍の長さである。このように、本実施の形態では、マーカ設置可能範囲が制限されていても、従来技術で得られる多角形領域よりも大きな多角形領域を仮想的に得ることができるので、キャリブレーション精度を確保できる。
　なお、本発明の実施の形態１、２では、マーカのエッジを検出し、それを基に直線を推定する例について説明したが、マーカの特徴点を検出し、それを基に直線を推定してもよい。
　また、本発明の実施の形態１、２において、マーカおよび仮想の多角形領域については、上述したものに限られず、種々の変形が可能である。以下、その変形例について説明する。
　例えば、上記実施の形態１、２では、図２に示すように、車両１００の側面側にある領域ｂ（マーカ設置可能範囲）のうちの一方に１つだけ、マーカ６０を設置する例について説明したが、設置数および設置位置はこれに限定されない。例えば、図１６に示すように、車両１００の側面側にある領域ｂの一方にマーカ６０ａ、６０ｂを、もう一方にマーカ６０ｃ、６０ｄを設置してもよい。なお、マーカ６０ａ、６０ｂ、６０ｃ、６０ｄは、それぞれ、図２、図１５Ｂに示すマーカ６０と同じものである。
　図１６に示すマーカの設置の場合において生成される仮想の多角形領域７０は、図１７に示すように、マーカ６０ａとマーカ６０ｃに基づいて推定された２つの直線と、マーカ６０ｂとマーカ６０ｄに基づいて推定された２つの直線とによって定義され、かつ、マーカ設置可能範囲外である領域ａに配置される。仮想の多角形領域７０は、正方形である。
　図１６、図１７に示す例の場合、離れた位置に設置された２つのマーカ（例えば、マーカ６０ａとマーカ６０ｃ）を用いて同じ直線を推定しているので、図２、図１５Ｂの場合と比べて、直線の推定精度が向上する。その結果、キャリブレーションの精度も向上する。なお、同じ直線を推定するために用いる２つのマーカは、そのマーカから検出されるエッジの傾きが同じである必要がある。
　図１８は、平行四辺形のマーカ６２ａ～６２ｄを設置した場合を示す図である。図１８において、車両１００の側面側にある領域ｂの一方にマーカ６２ａ、６２ｂが、もう一方にマーカ６２ｃ、６２ｄが設置されている。この場合、図１７と同様に、マーカ６２ａとマーカ６２ｃにより直線が２本推定され、マーカ６２ｂとマーカ６２ｄにより直線が２本推定される。そして、推定された各直線によってマーカ設置可能範囲外である領域ａに仮想の多角形領域７０が生成される。仮想の多角形領域７０は、正方形である。
　図１８に示す平行四辺形のマーカ６２ａ～６２ｄを設置する場合、三角形を横並びに並べたマーカ６０を設置した場合と比較して、三角形同士の位置関係のずれの影響が軽減でき、よりキャリブレーションの精度が向上する。
　図１９Ａは、直線形状（細長い平行四辺形）のマーカ６３ａ～６３ｊを設置した場合を示す図である。図１９Ａにおいて、車両１００の側面側にある領域ｂの一方にマーカ６３ａ～６３ｅが、もう一方にマーカ６３ｆ～６３ｊが設置されている。この場合、マーカ６３ａとマーカ６３ｈにより直線が１本推定され、マーカ６３ｂとマーカ６３ｊにより直線が１本推定される。また、マーカ６３ｃとマーカ６３ｆにより直線が１本推定され、マーカ６３ｄとマーカ６３ｉにより直線が１本推定され、マーカ６３ｅとマーカ６３ｇにより直線が１本推定される。そして、推定された各直線によって仮想の多角形領域７１がマーカ設置可能範囲外である領域ａに生成される。仮想の多角形領域７１は、五角形である。
　図１９Ａの場合において、どのマーカのエッジ同士を接続すればよいのかを明確にするため、マーカに対して彩色してもよい。例えば、マーカ６３ａおよびマーカ６３ｈを黄色、マーカ６３ｂおよびマーカ６３ｊを青色のように、エッジを接続するマーカの組ごとに異なる色で彩色されたマーカを用いる。これにより、仮想の多角形の辺の特定も可能となる。例えば、マーカ６３ａ、６３ｈにより推定された直線に含まれる辺Ｌ１１、マーカ６３ｂ、６３ｊにより推定された直線に含まれる辺Ｌ１２を特定できる。
　車両の設置位置が常に同じ場合、カメラ画像上のマーカ位置は常に同じ位置になる。そのため、カメラ画像上のマーカのエッジをもとに特定された直線によって生成される仮想の多角形も、カメラ画像において常に同じ位置になる。しかし、仮想の多角形に対して大きく傾けて車両を設置した場合、カメラ画像における仮想の多角形は大きく回転する。そして、車両設置の傾き具合が不明確な場合には、仮想の多角形の辺と実空間における多角形の辺の対応も不明確になる。上述したように、エッジを接続するマーカの組ごとに異なる色で彩色されたマーカを用いることで、仮想の多角形の辺と実空間における多角形の辺の対応付けが容易となる。
　仮想の多角形領域として五角形が生成された場合、カメラパラメータ算出部４は、仮想の多角形の特定の一辺の画像上での長さと実空間での長さ、または辺の長さの比を用いることにより、実施の形態２に記載したような評価値を求める手法によってカメラパラメータを算出できる。
　図１９Ｂは、直線（細長い平行四辺形）のマーカ６３ａ～６３ｊの代わりに台形のマーカ６４ａ～６４ｆを設置し、図１９Ａと同じ五角形を形成した場合を示す図である。図１９Ｂにおいて、例えば、マーカ６４ａは、図１９Ａに示すマーカ６３ａおよびマーカ６３ｂのエッジと同じエッジを検出可能な台形である。マーカ６４ａから検出される２つのエッジは、マーカ６４ｅから検出されるエッジの１つおよびマーカ６４ｆから検出されるエッジと接続される。これにより、Ｌ１１、Ｌ１２の２つの直線が推定される。他の直線も、図１９Ａと同様に推定される。そして、各直線によって仮想の多角形領域７１として五角形が生成され、マーカ設置可能範囲外である領域ａに配置される。
　図２０は、図１９Ｂと同様に、台形のマーカ６５ａ～６５ｄを設置した場合を示す図である。図２０においても、台形のマーカ６５ａ～６５ｄのエッジを基に図１９と同様複数の直線が推定されるが、領域ａに形成される仮想の多角形領域７２は三角形である。
　図２１Ａは、円のマーカ６６ａ～６６ｈを設置した場合を示す図である。この例では、直線推定部３１は、検出された２つのマーカのカメラ画像における重心位置を接続することにより、直線を特定する。例えば、マーカ６６ａとマーカ６６ｇにより直線が１本推定され、マーカ６６ｂとマーカ６６ｈにより直線が１本推定される。また、マーカ６６ｃとマーカ６６ｅにより直線が１本推定され、マーカ６６ｄとマーカ６６ｆにより直線が１本推定される。そして、推定された各直線によって仮想の多角形領域７０がマーカ設置可能範囲外である領域ａに生成される。仮想の多角形領域７０は、正方形である。
　図２１Ｂは、平行四辺形のマーカ６７ａ、６７ｄ、６７ｅおよび台形のマーカ６７ｂ、６７ｃ、６７ｆを設置した場合を示す図である。この場合では、多角形生成部３が、仮想の多角形領域の頂点ｃ１に加えて、辺上の特定の点ｃ２を抽出する。例えば、多角形生成部３は、エッジ検出部２が検出したエッジに基づいて直線を推定し、直線の交点、すなわち頂点ｃ１と点ｃ２を抽出する。カメラパラメータ算出部４は、頂点ｃ１と点ｃ２のカメラ画像上の位置と、実空間上での位置とに基づいて、カメラパラメータを算出する。
　なお、上記図１７～図２１において、各マーカは、車両１００の側面側にある領域ｂの両方に設置される例としたが、図２Ｂ、図１５Ｂの場合のように、一方の領域ｂだけに設置するようにしてもよい。
　以上、本発明の実施の形態１、２およびその変形例について説明したが、本発明は、上記説明に限定されず、その趣旨を逸脱しない範囲においての変形を可能とする。
　２０１３年８月８日出願の特願２０１３－１６４９６５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、カメラパラメータを算出する技術（例えば、装置、システム、方法、プログラムなど）に有用である。
　１　画像取得部
　２　エッジ検出部
　３　多角形生成部
　４　カメラパラメータ算出部
　５　画像歪補正・視点変換部
　１０　画像処理装置
　２０　カメラ
　２１　マーカ領域特定部
　２２　フィルタリング部
　２３　候補点抽出部
　３１　直線推定部
　３２　頂点特定部
　４１　ロール・ピッチ算出部
　４２　高さ算出部
　４３　評価値算出部
　４４　仮パラメータ設定部
　４５　角度特定部
　１００　車両

Claims (6)

  1. 　キャリブレーション用のマーカが撮影された画像を取得する画像取得部と、
    　前記画像において前記マーカのエッジまたは特徴点を検出するエッジ検出部と、
    　前記エッジまたは特徴点に基づいて複数の直線を推定し、前記複数の直線に囲まれ、かつ、前記画像において前記マーカが設置されている領域以外の領域を含む仮想の多角形領域を生成する多角形生成部と、
    　前記仮想の多角形領域の前記画像上の特徴量と、前記仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出するカメラパラメータ算出部と、を備える、
    　画像処理装置。
  2. 　前記多角形生成部は、
    　前記画像において離れて存在する前記マーカの、複数のエッジまたは特徴点に基づいて同一の直線を推定する、
    　請求項１記載の画像処理装置。
  3. 　前記カメラパラメータ算出部は、
    　前記仮想の多角形領域の実空間上の特徴量を、前記仮想の多角形領域を構成する各辺の長さまたは各頂点における角度とする、
    　請求項１記載の画像処理装置。
  4. 　キャリブレーションに用いられるマーカであって、
    　前記マーカが撮影された画像において前記マーカのエッジまたは特徴点が検出され、前記エッジまたは特徴点を基に複数の直線が推定され、前記複数の直線に囲まれた仮想の多角形領域を、前記画像において前記マーカが設置されている領域以外の領域を含む領域に生成するために用いられる、
    　マーカ。
  5. 　前記マーカのエッジまたは特徴点は、前記画像において離れて存在する別のマーカのエッジまたは特徴点と同一の直線の推定に使用される、
    　請求項４記載のマーカ。
  6. 　直角二等辺三角形を並べた形状であり、前記直角二等辺三角形の斜辺が前記マーカのエッジとして検出され、または、前記直角二等辺三角形の頂点が前記マーカの特徴点として検出される、
    　請求項４記載のマーカ。
PCT/JP2014/002623 2013-08-08 2014-05-19 画像処理装置およびマーカ WO2015019526A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/911,002 US10165262B2 (en) 2013-08-08 2014-05-19 Image processing device and markers
EP14834074.8A EP3032818B1 (en) 2013-08-08 2014-05-19 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-164965 2013-08-08
JP2013164965A JP6260891B2 (ja) 2013-08-08 2013-08-08 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2015019526A1 true WO2015019526A1 (ja) 2015-02-12

Family

ID=52460890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002623 WO2015019526A1 (ja) 2013-08-08 2014-05-19 画像処理装置およびマーカ

Country Status (4)

Country Link
US (1) US10165262B2 (ja)
EP (1) EP3032818B1 (ja)
JP (1) JP6260891B2 (ja)
WO (1) WO2015019526A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355581A (zh) * 2016-09-29 2017-01-25 上海智驾电子科技有限公司 利用车辆检测实现车载摄像头的在线标定的装置及方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3125196B1 (en) 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
DE112016006081T5 (de) * 2015-12-28 2018-09-06 Intel Corporation Automatische Echtzeit-Fahrzeugkamerakalibrierung
JP6572862B2 (ja) * 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
US10612199B2 (en) 2017-05-09 2020-04-07 Toyota Research Institute, Inc. Systems and methods for roadway fingerprinting
US10571280B2 (en) 2017-05-09 2020-02-25 Toyota Research Institute, Inc. Systems and methods for localizing a vehicle using a roadway signature
US10127462B1 (en) * 2017-05-09 2018-11-13 Toyota Research Institute, Inc. Systems and methods for detecting markers on a roadway
KR102035586B1 (ko) * 2018-05-17 2019-10-23 화남전자 주식회사 카메라 영상 이미지로부터 삼각형을 자동으로 찾는 방법 및 그 시스템
JP2020016920A (ja) * 2018-07-23 2020-01-30 Ｎｅｃソリューションイノベータ株式会社 画像補正装置、カウント装置、画像補正方法、カウント方法、プログラム及び記録媒体
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN110288655B (zh) * 2019-06-28 2021-06-15 深圳市同为数码科技股份有限公司 一种自动识别chart图片中测试图案位置的方法及装置
JP7269864B2 (ja) * 2019-10-21 2023-05-09 株式会社アマダ ワーク撮影画像処理装置及びワーク撮影画像処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148745A (ja) * 2004-11-24 2006-06-08 Aisin Seiki Co Ltd カメラの校正方法及びカメラの校正装置
JP2006349443A (ja) * 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd カメラ校正装置
JP2010244326A (ja) 2009-04-07 2010-10-28 Alpine Electronics Inc 車載周辺画像表示装置
JP2011047725A (ja) 2009-08-26 2011-03-10 Alpine Electronics Inc 撮像装置の取り付け位置の推定方法およびキャリブレーションシステム
JP2011155687A (ja) * 2011-04-06 2011-08-11 Aisin Seiki Co Ltd 車載カメラの校正装置
JP2011182236A (ja) * 2010-03-02 2011-09-15 Toshiba Alpine Automotive Technology Corp カメラキャリブレーション装置
JP2011221983A (ja) * 2010-03-26 2011-11-04 Nissan Motor Co Ltd 車両用環境認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010025759A (ja) * 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
JP5316805B2 (ja) 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
JP4831374B2 (ja) 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148745A (ja) * 2004-11-24 2006-06-08 Aisin Seiki Co Ltd カメラの校正方法及びカメラの校正装置
JP2006349443A (ja) * 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd カメラ校正装置
JP2010244326A (ja) 2009-04-07 2010-10-28 Alpine Electronics Inc 車載周辺画像表示装置
JP2011047725A (ja) 2009-08-26 2011-03-10 Alpine Electronics Inc 撮像装置の取り付け位置の推定方法およびキャリブレーションシステム
JP2011182236A (ja) * 2010-03-02 2011-09-15 Toshiba Alpine Automotive Technology Corp カメラキャリブレーション装置
JP2011221983A (ja) * 2010-03-26 2011-11-04 Nissan Motor Co Ltd 車両用環境認識装置
JP2011155687A (ja) * 2011-04-06 2011-08-11 Aisin Seiki Co Ltd 車載カメラの校正装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3032818A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355581A (zh) * 2016-09-29 2017-01-25 上海智驾电子科技有限公司 利用车辆检测实现车载摄像头的在线标定的装置及方法

Also Published As

Publication number Publication date
JP2015035685A (ja) 2015-02-19
US20160203606A1 (en) 2016-07-14
EP3032818A4 (en) 2016-07-27
EP3032818A1 (en) 2016-06-15
US10165262B2 (en) 2018-12-25
EP3032818B1 (en) 2019-01-30
JP6260891B2 (ja) 2018-01-17

Similar Documents

Publication Publication Date Title
WO2015019526A1 (ja) 画像処理装置およびマーカ
JP6363863B2 (ja) 情報処理装置および情報処理方法
WO2018225446A1 (ja) 地図変化点検出装置
WO2017135081A1 (ja) 車載カメラ用校正システム
JP5109294B2 (ja) ３次元位置補正装置
US20130002861A1 (en) Camera distance measurement device
JP5432835B2 (ja) カメラのキャリブレーション方法
WO2020228694A1 (zh) 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
JP2013115540A (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
JPWO2013133129A1 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP2014013147A5 (ja)
US11488354B2 (en) Information processing apparatus and information processing method
WO2019228523A1 (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
KR101453143B1 (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
JP2015184929A (ja) 立体物検出装置、立体物検出方法、および立体物検出プログラム
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
JP2009276233A (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
JP2012248004A (ja) 画像処理装置、画像認識装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14834074

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014834074

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14911002

Country of ref document: US