WO2017092631A1 - 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 - Google Patents

鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 Download PDF

Info

Publication number
WO2017092631A1
WO2017092631A1 PCT/CN2016/107427 CN2016107427W WO2017092631A1 WO 2017092631 A1 WO2017092631 A1 WO 2017092631A1 CN 2016107427 W CN2016107427 W CN 2016107427W WO 2017092631 A1 WO2017092631 A1 WO 2017092631A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fisheye
distortion
point
target
Prior art date
Application number
PCT/CN2016/107427
Other languages
English (en)
French (fr)
Inventor
罗运岑
杜亚凤
周炳
王冬梅
潘锋
Original Assignee
宁波舜宇光电信息有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510844966.8A external-priority patent/CN106815866B/zh
Priority claimed from CN201510919593.6A external-priority patent/CN106875341B/zh
Application filed by 宁波舜宇光电信息有限公司 filed Critical 宁波舜宇光电信息有限公司
Publication of WO2017092631A1 publication Critical patent/WO2017092631A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations

Definitions

  • the present invention relates to image correction technology in the field of photographic imaging, and more particularly to a distortion image correction method for a fisheye image, a calibration method for a fisheye camera, and a calibration system thereof.
  • Distorted images have the characteristics of short focal length and large field of view, and have a wide market demand in omnidirectional vision systems.
  • Distorted images can reach a large viewing angle close to or greater than 180°, so the use of distorted images can capture a wider range of scenes. Therefore, distorted images have great potential application value.
  • the distortion image is applied to some public video surveillance systems, and the ceiling installation method allows the entire area to be recorded. This eliminates the need to install multiple surveillance cameras in different areas to save space, resources and cost. For example, people always encounter this kind of situation in their daily life. They obviously feel that the scenery in front of them is beautiful, but they can't record them with the camera equipment in their hands. This is partly because the perspective ability of the camera equipment. Can not reach the range that the human eye can see.
  • the distorted image has the advantage of a large field of view, which can reach or exceed the range that can be seen by the human eye
  • such an oversized view of the distorted image is achieved by sacrificing the subject in its original form. That is to say, the image taken with the distorted image is distorted.
  • the fisheye image outline appears as a circular structure.
  • the distorted image can produce a very strong perspective effect when it is close to the subject, emphasizing the contrast of the subject near and far, making the photographed image have a powerful appeal, so it is very popular among camera lovers. .
  • this distorted image is not required by people. For example, surveillance cameras that are ubiquitous in today's life are set up in places where they can help people constrain their daily behavior. Some monitoring records may even become valid evidence of fact finding. But this distorted picture often affects the identification of some details.
  • the premise of fisheye image correction is the contour extraction of the fisheye image.
  • the commonly used fisheye image contour extraction methods include area statistical method, scanning line approximation method and regional growth method. These methods have their own advantages and disadvantages, but they also have some shortcomings. They cannot completely locate the center coordinates and radius of the fisheye image, and the scope of application is limited.
  • the current methods can be mainly classified into 3D correction and 2D correction.
  • the main methods in this field include spherical perspective projection model correction method, quadratic surface perspective model correction method, fisheye image distortion correction method based on circular segmentation, fisheye image plane correction method based on geometric properties, and the like.
  • spherical perspective projection model correction method quadratic surface perspective model correction method
  • fisheye image distortion correction method based on circular segmentation fisheye image plane correction method based on geometric properties, and the like.
  • Each of the above methods has its own advantages and disadvantages. In terms of computational complexity and correction effect, it does not fully meet the real-time correction requirements of high-definition video, and there is still a certain distance in practical applications.
  • the real-time correction of the fisheye image is of great significance for the consumer to obtain the corrected image in time. Especially for the correction of fisheye video images is of great significance. There is an urgent need for a real-time and efficient method for correcting HD fisheye video.
  • the imaging model of the camera expresses the correspondence between pixels and external space, and is one of the key technologies of image processing and machine vision.
  • One is an analytical model based on the projection principle of a fisheye camera.
  • Such models often contain some parameters with clear physical meanings, such as focal length, optical axis center coordinates, and so on.
  • This model is often too complex and contains many external parameters, making internal parameters difficult to obtain.
  • the second is the polynomial model. This model has good versatility, but the order of the model is uncertain, completely abandoning the projection principle of the lens itself, and it is difficult to verify the validity of the result.
  • the parameters of the model need to be determined.
  • the methods for determining parameters are also divided into two broad categories. One is to obtain each parameter in turn by means of a precision mechanical table. When a certain parameter is obtained, the target parameter is obtained by rotating, translating the camera or the reference object and canceling the effects of other parameters. This method is costly and inefficient, and is only suitable for applications where accuracy is critical.
  • the other is to use the camera to image the reference object, and by optimizing the algorithm, all the parameters are obtained at one time.
  • the reference object is also called a target board, and a series of feature points are drawn thereon, and the camera detects the actual image point of the feature point after imaging the target board.
  • the model image points of the feature points can be calculated by the mathematical model.
  • the mathematical model can be obtained by adjusting the parameters of the mathematical model so that the errors of the two image points are minimized.
  • a common target pattern is a black and white checkerboard.
  • the feature points are distributed at the corners of the black and white alternating. This method theoretically accurately locates feature points. However, due to noise, distortion and algorithm problems, the error of the extracted feature points is relatively large. Although this positioning method only requires 2 or 3 trials in theory, it often takes more than 20 times in actual operation, which is sufficient to illustrate the uncertainty of the method.
  • Another common target pattern is the black and white spot sequence. The feature points are distributed at the center of the spot. The method is simple and convenient, and has good noise resistance, but when there is nonlinear distortion, the center of the round spot will shift.
  • the current target is flat, and the fisheye camera has a wide wide-angle range, which cannot be effectively covered.
  • the large viewing angle of the fisheye can cause deviations in positioning.
  • the main object of the present invention is to provide a distortion image correction method for a fisheye image, wherein the method can accurately locate the center and radius of the fisheye image.
  • Another object of the present invention is to provide a distortion image correction method for a fisheye image, wherein the method has the characteristics of fast correction speed and good correction effect.
  • Another object of the present invention is to provide a distortion image correction method for a fisheye image, wherein the method can be used to correct a fisheye image.
  • Another object of the present invention is to provide a distortion image correction method for a fisheye image, wherein the method is suitable for use in real time correction of a fisheye image.
  • Another object of the present invention is to provide a distortion image correction method for a fisheye image, wherein the method can be used to correct a multi-channel fisheye image.
  • Another object of the present invention is to provide a distortion image correction method for a fisheye image, wherein the method fully takes into account the characteristics of the circular structure of the fisheye image and fully utilizes the correlation between the multi-channel fisheye video images.
  • Sexuality suitable for real-time correction of multi-channel HD fisheye images on embedded.
  • Another object of the present invention is to provide a calibration method for a fisheye camera and a calibration system and target thereof, wherein the method establishes a mathematical model based on the fisheye camera projection principle, and only needs to image the target plate less frequently If it can be as little as once, the internal parameters of the fisheye camera, such as the focal length or the center of the optical axis, can be calculated to correct the distortion of the fisheye camera.
  • Another object of the present invention is to provide a calibration method for a fisheye camera, a calibration system thereof and a target plate, wherein the calibration plate has a cylindrical structure to reduce the size limitation, and can effectively cover a large viewing angle of the fisheye camera. At the same time, the cylindrical surface can be unfolded in a plane, which is easy to print.
  • Another object of the present invention is to provide a calibration method for a fisheye camera, a calibration system thereof and a target plate, wherein the calibration plate is simple to manufacture, and a planar pattern can be directly pasted on the standard plate to form a stereoscopic test pattern.
  • Another object of the present invention is to provide a calibration method for a fisheye camera, a calibration system and a target thereof, which generate a characteristic texture pattern by speckle projection, and the geometrical spots are concentric circles and have the same radial 360-degree projection. Arrange, project the pre-projection pattern onto the cylindrical surface to get the desired pattern of the target.
  • Another object of the present invention is to provide a calibration method for a fisheye camera and a calibration system and target thereof, wherein the method is suitable for calibration of an isometric fisheye camera.
  • Another object of the present invention is to provide a calibration method for a fisheye camera and a calibration system and target thereof, wherein the estimation method of the nonlinear distortion employed makes the designed calibration method avoid the offset problem of the center of the spot.
  • Another object of the present invention is to provide a calibration method for a fisheye camera and a calibration system and a target thereof, wherein the degree of misalignment between the cylindrical plate and the optical axis is estimated by the degree of misalignment of the central coordinates of the feature points after imaging, Thereby correcting the relative position of the fisheye camera and the cylindrical target based on a software algorithm to avoid The dependence of the secret mechanical platform.
  • the present invention provides a distortion image correction method for correction of a fisheye image, wherein the distortion image correction method comprises the following steps:
  • Step (1) includes the following steps:
  • Step (11) adopts a four-point positioning method to accurately position the position and contour of the distorted image to ensure accurate and effective method for correcting the distorted image.
  • the step (11) comprises the steps of:
  • step (11) comprises the steps of:
  • the step (114) comprises the steps of:
  • the step (114) comprises the steps of:
  • step (115) comprises the steps of:
  • step (1153) determining a position of the distorted image, that is, an imaging range and an outline, according to a point on the normalized image determined in step (1152) that the pixel is greater than or equal to the threshold.
  • step (115) comprises the steps of:
  • step (1153) determining a position and an outline of the distorted image according to a point on the normalized image determined in step (1152) that the pixel is greater than or equal to the threshold.
  • the threshold T h can be obtained by the following formula:
  • p x,y is the pixel value of the normalized image at the coordinate point (x, y)
  • W is the image width of the normalized image
  • H is the image height of the normalized image.
  • the threshold T h can be obtained by the following formula:
  • p x,y is the pixel value of the normalized image at the coordinate point (x, y)
  • W is the image width of the normalized image
  • H is the image height of the normalized image.
  • step (1152) comprises the steps of:
  • step (1152) comprises the steps of:
  • step (1) further comprises a step:
  • the step (1152) further includes the following steps:
  • the four directions include row by row from top to bottom, row by row from bottom to top, column by column from left to right, column by column from right to left, wherein in row by row from top to bottom, row by row from bottom to bottom.
  • the first, column-by-column, left-to-right, column-by-column, right-to-left scanning process, the first point greater than or equal to the threshold T h is marked as
  • the step (1152) further includes the following steps:
  • step (1) further comprises the steps of:
  • x il is the horizontal coordinate of the contour point of the i-th distortion image
  • y i is the vertical coordinate of the contour point of the i-th distortion image
  • l ik is the contour point distance image of the i-th distortion image with the vertical coordinate y k The horizontal distance of the center.
  • step (12) comprises the steps of:
  • the coordinates of the corner points of the plurality of the distortion images detected in the step (121) in the plane rectangular coordinate system are marked as (x ik , y ik ), where i represents the first video and k represents the video.
  • the corner points in the number are marked as (x ik , y ik ), where i represents the first video and k represents the video.
  • step (123) comprises the steps of:
  • the value of the correction factor ⁇ M of the superimposed image ranges between 0.7 and 1.3.
  • step (2) further comprises the steps of:
  • the distortion correction formula is determined as follows:
  • step (11) before step (112), the step (11) further comprises the following steps:
  • the distortion image correction method further comprises the following steps:
  • step (3) further comprises the steps of:
  • a distortion correction table is generated according to the distortion correction formula in the step (21).
  • step (3) further comprises the steps of:
  • the present invention provides a calibration method for a fisheye camera, comprising the steps of:
  • a calibration host coupled to the fisheye camera acquires an image of the feature pattern and extracts feature points
  • the target is cylindrical
  • the calibration method further includes the step (D) of making the target:
  • the target plate is made through the cylindrical surface.
  • the feature pattern in the step (D.1) is further produced by the following steps:
  • the cylindrical surface is rolled into a cylindrical shape to form the cylindrical target plate.
  • the method further includes the step of fitting the cylindrical surface having the characteristic pattern to a cylindrical target body to obtain the target.
  • the method further comprises an estimation method of nonlinear distortion, which comprises the steps of:
  • e is a distorted variable
  • R w is the radius of the target
  • f is the focal length of the fisheye camera
  • Z 2 is the height of the feature point
  • ⁇ z is the amount of translation along the optical axis
  • ⁇ r is the radius of the spot before distortion
  • ⁇ r 1 is the radius of the spot after distortion.
  • the step (C) includes the mathematical model as follows: when the Z-axis of the world coordinate system coincides with the optical axis of the fisheye camera, according to the implementation of the equidistant fisheye The projection principle of the camera, plus the coordinate transformation, the mathematical model of the equidistant projection is:
  • u, v are image space coordinates
  • X w , Y w , Z w are world coordinates
  • x, y, X, Y, Z are intermediate variables
  • f is the focal length
  • u 0 , v 0 is the optical axis
  • c y is the scaling factor of the y-axis with respect to the x-axis
  • t is the amount of translation of the world coordinate system along the optical axis
  • ⁇ is the rotation angle of the world coordinate about the optical axis.
  • f, u 0 , v 0 and c y constitute the parameters required for calibration
  • t, ⁇ are parameters that need to be additionally identified.
  • the step (B) and the step (C) further include an alignment step (E) of aligning the central axis of the target to the optical axis of the fisheye camera, It includes the steps:
  • the criteria employed are:
  • the method further comprises the steps of:
  • the method further includes the steps of: securing the fisheye camera to a fixed plate, and adjusting the position of the fisheye camera by moving the fixed plate.
  • the parameters of the mathematical model are obtained.
  • the target board making process further includes the following steps:
  • the acquired image is grayscale processed and a binarized image is obtained according to the set grayscale threshold value, thereby obtaining image data of the feature point.
  • the method further comprises the steps of:
  • the present invention provides a fisheye camera which is calibrated using the above method.
  • the present invention provides a calibration system for a fisheye camera, comprising:
  • a calibration host ie, can be implemented as a display computing unit such as a computer
  • a fisheye eye machine to be calibrated is connected to the calibration host, and corresponds to the target position to facilitate capturing the target and acquiring image data. And substituting a mathematical model to obtain the relevant parameters of the fish phase eye machine.
  • the target in the calibration system, includes a cylindrical target body and a cylindrical surface having a characteristic pattern disposed on the cylindrical target body.
  • the pattern of the feature pattern has a corresponding relationship with a speckle pattern as follows:
  • the speckle pattern has a plurality of spots, the spots are grouped in concentric circles, respectively extending one layer at a time, and the spots are grouped in the same radial direction and radially extended from the center of the concentric circles.
  • the straight lines formed by the respective radial directions have equal angles, and the speckle pattern is projected based on the fish machine camera projection principle and the shape and size of the cylindrical surface to obtain a corresponding pattern of the characteristic patterns.
  • the cylindrical surface having the characteristic pattern is attached to or fixed to the cylindrical target body by a fixing member.
  • a fixing plate is further included, wherein the fisheye camera is mounted to the fixing plate to adjust a position of the fisheye camera through the fixing plate.
  • the present invention provides a target for calibration of a fisheye camera, wherein the target has a feature pattern having a plurality of feature points, the feature points along The depth direction is arranged along the surrounding direction.
  • the target is a cylindrical target
  • the characteristic pattern is disposed on a cylindrical surface, wherein the pattern of the characteristic pattern has a corresponding relationship with a speckle pattern as follows:
  • the speckle pattern has a plurality of spots, the spots are grouped in concentric circles, respectively extending one layer at a time, and the spots are grouped in the same radial direction and radially extended from the center of the concentric circles.
  • the straight lines formed by the respective radial directions have equal angles, and the speckle pattern is projected based on the fish machine camera projection principle and the shape and size of the cylindrical surface to obtain a corresponding pattern of the characteristic patterns.
  • FIG. 1 is a schematic diagram of a filter template used in a distorted image correction method in accordance with a preferred embodiment of the present invention.
  • FIG. 2 is a schematic diagram of the distortion image correction method according to the above preferred embodiment of the present invention.
  • Fig. 3 illustrates a step of determining a distortion image profile of the distortion image correction method according to the above preferred embodiment of the present invention.
  • Fig. 4 illustrates a step of determining a correction factor of the distortion image correction method according to the above preferred embodiment of the present invention.
  • Figure 5 illustrates a schematic diagram of a distortion image correction method in accordance with the above-described preferred embodiment of the present invention.
  • FIG. 6 is a schematic diagram of a pre-projection pattern when a feature pattern of a target is formed in a fisheye camera calibration system in accordance with a preferred embodiment of the present invention.
  • FIG. 7 is a characteristic pattern required for a cylindrical target obtained by projecting a pre-projection pattern onto a cylindrical surface based on a fisheye camera projection principle in accordance with the above-described preferred embodiment of the present invention.
  • Figure 8 is a schematic illustration of a cylindrical body having a feature pattern affixed to a target in accordance with the above-described preferred embodiment of the present invention.
  • Figure 9 is a schematic diagram showing the principle of the above nonlinear distortion estimating method according to the present invention.
  • Figure 10 is a schematic illustration of the principle of a mathematical model in accordance with the above-described preferred embodiment of the present invention.
  • Figure 11 is an image displayed when optical axis alignment is performed in accordance with the above preferred embodiment of the present invention.
  • Figure 12 is a general schematic view of a fisheye camera calibration system in accordance with the above-described preferred embodiment of the present invention.
  • Figure 13 is a flow chart showing a method of calibrating a fisheye camera in accordance with the above preferred embodiment of the present invention.
  • the distortion image correction method can be applied to distortion correction of a fisheye image, but is not limited to distortion correction of a fisheye image.
  • the preferred embodiment describes the distortion image correction method of the present invention in detail by taking the distortion image correction of the multipath distortion image as an example.
  • the distortion image correction method includes the following steps:
  • the correction parameter in the step (1) is determined according to the distortion image.
  • the step (1) includes the following steps:
  • step (11) comprises the following steps:
  • the distortion image acquired by the step (111) has some noise due to some factors, which may interfere with the determination of the distortion image contour, so the distortion image needs to be filtered to reduce the distortion image.
  • the filter template used is shown in Figure 1.
  • step (111) is free of noise or the noise is small enough to affect the correction of the distorted pattern
  • step (112) is not necessary.
  • the distorted image can be directly superimposed in step (113). That is, step (113) becomes superimposed on the distorted image to obtain a superimposed image I S .
  • the distorted image is superimposed in the step (113) to cancel the error of determining the position of each distorted image.
  • the image superposition method is used to uniformly locate each distorted image, which is beneficial to ensure the quality of the image after correction.
  • Step (114) includes the following steps:
  • the preferred embodiment uses the distortion image to capture the middle portion of the image without deformation and the surrounding contour is circularly curved and distorted.
  • the center of the circle around the circular distortion image is positioned, and then the fisheye is The image outline is precisely positioned.
  • the center positioning method is convenient and accurate, and the distortion image correction method has the characteristics of simplicity and high efficiency.
  • step (115) includes the following steps:
  • step (1153) determining a position and an outline of the distorted image according to a point at which the pixel on the normalized image I M determined in step (1152) is greater than or equal to the threshold value T h .
  • the method for determining the position and contour of the distorted image in the step (115) is a four-point positioning method.
  • the step (1152) includes the following steps:
  • the four directions are row by row from top to bottom, row by row from bottom to top, column by column from left to right, and column by column from right to left.
  • p x, y is the pixel value of the normalized image I M at the coordinate point (x, y)
  • W is the image width of the normalized image
  • H is the image height of the normalized image .
  • the step (1) of the distortion image correction method further comprises a step:
  • step (11), the step (12) and the step (13), and the order among the three can be interchanged and is not limited.
  • the plane rectangular coordinate system established in the step (13) enables each point on the image in the distortion image correction method to be determined by using specific coordinate values, thereby helping to determine the relative correlation between the coordinate system and the distortion image correction method. Positional relationship.
  • each point in the plane rectangular coordinate system can be calibrated by a specific numerical value, it is convenient to accurately determine the geometric shape by using the specific mathematical relationship of the geometric figure.
  • the preferred embodiment since the fisheye image outline appears as a circular structure, the preferred embodiment utilizes the mathematical relationship of the circle to accurately position the fisheye image contour, thereby making the distortion image correction more accurate.
  • the plane rectangular coordinate system is established in a plane in which the superimposed image I S is located, wherein the plane rectangular coordinate system is composed of an X axis and a Y axis perpendicular to each other, wherein the X axis and the Y axis Intersects at an origin O, where the coordinates of the coordinate points within the coordinate system are labeled (x, y).
  • the plane rectangular coordinate system is established for the convenience of calculation and calibration, and has no substantial limitation on the present invention. That is to say, no matter where the coordinate system is established in the plane in which the superimposed image I S is located, the correction effect of the distorted image correction method on the distorted image is not affected. That is to say, each coordinate point (x, y) only plays a relative role, and the specific values of x and y do not have absolute meaning.
  • step (1152) comprises the following steps:
  • the pixel points that satisfy the requirements are searched from top to bottom, row by row from bottom to top, column by column from left to right, column by column from right to left, respectively.
  • the larger value of d 1 and d 2 is selected as the imaging diameter d 3 of the distorted image, and the imaging radius R of the distorted image is obtained, and the center coordinates are (x c , y c ).
  • R, x c , and y c are calculated by Equation 5, Equation 6, and Equation 7, respectively:
  • the step (1) further includes the steps of:
  • contour of the distorted image refers to the surrounding contour of the distorted image.
  • the coordinate value of the coordinate point of the contour point of the distortion image in the step (14) in the plane rectangular coordinate system passes the following To determine:
  • x il is the horizontal coordinate of the contour point of the i-th distortion image
  • y i is the vertical coordinate of the contour point of the i-th distortion image
  • the horizontal distance l ik of the contour point of the distorted image from the center of the image in the step (15) is determined by the following formula:
  • l ik is the horizontal distance of the contour point of the i-th distortion image with the vertical coordinate of y k from the center of the image.
  • the horizontal distance l ik of the contour point of the distortion image from the center of the image in the step (15) is by the plane rectangular coordinate system, and
  • the mathematical relationship formula of the geometric image contour is used to calculate, so that the value of l ik is accurate, thereby ensuring the accuracy and accuracy of the distortion image correction method.
  • this is only an example of the invention, and not limitation.
  • the step (12) comprises the following steps:
  • the coordinates of the corner points of the plurality of the distortion images detected in the step (121) in the plane rectangular coordinate system are marked as (x ik , y ik ), where i represents the first video and k represents The corner number in the video.
  • Step (123) includes the following steps:
  • x ik represents the abscissa size of the kth corner point under the i-th board disc distortion image
  • K represents the total number of corner points of each of the distorted images.
  • Step (2) further includes the following steps:
  • the correction factor reflects the magnitude of the correction.
  • Step (3) further includes the following steps:
  • the distortion image correction method will be described in further detail below by taking the correction of the fisheye video image as an example.
  • the distortion image correction method collects a checkerboard image of the multipath distortion image, performs low-pass filtering operation on the checkerboard image, filters out high frequency noise on the image, and eliminates related influences.
  • the filter template used is shown in Figure 1.
  • the superimposed image I S is traversed to obtain a maximum value P max and a minimum value P min .
  • the superimposed image I S is linearly compressed by P max and P min to obtain a normalized image I M , and the I M image has a pixel value ranging from 0 to 255. Linear compression is performed using Equation 1.
  • the threshold T h is set as the mean value of the superimposed image, and the calculation manner is as shown in Formula 2.
  • the normalized image I M is scanned pixel by pixel in four directions, and in each direction scanning, the coordinate position of the first pixel point greater than or equal to the threshold value T h is recorded.
  • the four scanning directions are row by row from top to bottom, row by row from bottom to top, column by column from left to right, column by column from right to left. Find the pixels that meet the requirements during the scan and mark them as
  • the larger value of d 1 and d 2 is selected as the imaging diameter d 3 of the fisheye image, and the imaging radius R of the fisheye image is obtained, and the center coordinates are (x c , y c ).
  • R, x c , and y c are calculated by Equation 5, Equation 6, and Equation 7, respectively.
  • corner detection algorithm By corner detection algorithm, the detected corner points (x ik, y ik) brightest image among a checkerboard, where i represents the several video, k representing the angular point number among the video.
  • the abscissa of the video corner points of each fisheye is accumulated, and the cumulative value of the corner coordinate of each fisheye video is obtained.
  • the corner points of the superimposed image I S are detected, and the abscissas of all the corner points are accumulated to obtain X M .
  • the correction factors ⁇ i ⁇ M ⁇ X i /X M of the other respective videos can be obtained.
  • Equation 11 a distortion correction table corresponding to the pixels can be generated for each fisheye video to meet the real-time correction requirements of the multi-channel HD fisheye video in the embedded system.
  • the calibration system includes a target 10 and a calibration host 30 for parameter testing and calibration of a fisheye camera 20.
  • the fisheye camera 20 is connected to the calibration host 30, such as a computer having a display 31, and the fisheye camera 20 captures the target 10, and the obtained image data is analyzed by the calibration host 30.
  • the calibration host 30 invokes a preset calibration software to calibrate the fisheye camera 20.
  • the manufacturing process of the target 10 of the above preferred embodiment of the present invention is a stereoscopic target, and further, the target 10 of the present invention is a cylindrical calibration cylinder, which may have The same or gradual diameter, as shown in Figure 8, preferably, this embodiment of the invention is a cylindrical calibration cylinder having a uniform radius Rw .
  • the cylindrical design reduces the size limitations of the fisheye camera during testing. Due to the wide wide-angle range of the fisheye camera, during the test, the conventional target cannot completely display the characteristic image generated by the fisheye camera, thereby causing the test data to be inaccurate and affecting the test result.
  • the cylindrical target plate used in the present invention is not required in size, and can effectively cover the large viewing angle of the fisheye camera 20.
  • the target 10 has a cylindrical surface 11 having a characteristic pattern 12, as shown in Figure 8, for the fish
  • the eye camera 20 takes and images for further analysis and calculation.
  • the target 10 may be formed by rolling a sheet or film having the characteristic pattern 12 into a cylindrical shape.
  • the target 10 may further have a cylindrical body 13 to which the cylindrical surface 11 having the characteristic pattern 12 is attached to obtain the present invention. Cylindrical calibration cylinder. That is, the cylindrical surface 11 of the target 10 can be unfolded into a plane without loss, so that the feature pattern 12 can be directly printed or pasted.
  • the target board 10 has the characteristics of simple manufacture and low production cost.
  • the feature pattern 12 of the present invention is obtained by projecting the speckle pattern 40 shown in FIG. 11 to produce a feature texture pattern.
  • the speckle pattern 40 before projection is as shown in FIG. 11 and includes a plurality of spots 41, which may be the geometric centers of the spots 41.
  • the spots 41 may have various geometric shapes such as a circle, an ellipse, a line pair, or various polygons such as a triangle, a quadrangle, a pentagon, and the like.
  • the spots 41 are grouped in concentric circles and extend outwards one by one, and the spots 41 are grouped in the same radial direction, and extend radially from the center of the concentric circles, and each radial direction is formed.
  • the lines have equal angles between them.
  • these spots 41 form 10 concentric circles, and 20 radial line lines are formed along the radial direction and are equally divided by 360°, which is understood to be the arrangement of the spots 41 shown in FIG.
  • the invention is not limited by the examples only.
  • the speckle pattern 40 is inversely projected onto a cylindrical surface based on the fisheye camera projection principle, that is, the feature pattern 12 as shown in FIG. 13 is obtained, that is, each of the spots 41 is projected to form corresponding feature points 121, that is, by reverse
  • the feature pattern 12 is obtained in a designed manner.
  • the fisheye camera 20 captures the feature pattern 12, and an imaging pattern substantially similar to the speckle pattern 40 can be obtained, thereby facilitating subsequent further testing.
  • the diameter d of the target 10 is measured, and the circumference ⁇ d thereof is calculated, and the length of the circumference is the width W of the cylindrical surface 11.
  • the feature pattern 12 is then formed on the cylindrical surface 11, for example by printing or pasting the cylindrical surface 11 embodied as a drawing or film, and then further affixing or otherwise securing the cylindrical surface 11 to the
  • the main body 13 is marked to obtain the cylindrical target 10 of the present invention.
  • the present invention proposes a new distortion estimation method that reflects the distortion based on translation of the target 10.
  • 9 is a schematic illustration of the target 10 being translated along the optical axis of the fisheye camera 20 in accordance with the above-described preferred embodiment of the present invention.
  • the distortion estimation method of the present invention is based on the following two parts.
  • the target 10 when the target 10 is rotated about the optical axis of the fisheye camera 20, and its face opposite the optical axis is always facing the optical axis, then all the pixels of the target 10 are The relative position is unchanged, that is, the distortion becomes 0.
  • the offset of its geometric center when the target is translated along the optical axis of the fisheye camera, the offset of its geometric center can be estimated by:
  • R w is the radius of the target
  • f is the focal length of the fisheye camera
  • Z 2 is the height of the feature point
  • ⁇ z is the amount of translation along the optical axis
  • ⁇ r is the pre-distortion spot Radius
  • ⁇ r 1 is the radius of the spot after distortion
  • the unit is degree.
  • the formula quantitatively expresses the distortion, which is convenient for the user to verify the accuracy requirements, and reveals the role of each influencing factor. Overall, because Very small, so the deviation will not be too big. In addition, the larger the shorter the target, the smaller the spot can further suppress the distortion.
  • Such experimental data is sufficient for the fisheye camera test with a resolution of up to 4000 ⁇ 4000, and the measured distortion is 0.28 pixels. This error is allowed in many occasions to meet the market production requirements.
  • the mathematical model of the equidistant projection can be obtained as follows:
  • u, v are image space coordinates
  • X w , Y w , Z w are world coordinates
  • x, y, X, Y, Z are intermediate variables
  • f is the focal length
  • u 0 , v 0 is the optical axis in the image space
  • the coordinates of c y are the scaling factor of the y axis with respect to the x axis
  • t is the amount of translation of the world coordinate system along the optical axis
  • ⁇ is the rotation angle of the world coordinate around the optical axis.
  • F, u 0 , v 0 and c y constitute the parameters required for calibration
  • t, ⁇ are parameters that need to be additionally identified.
  • the calibration method of the present invention further includes an alignment method of aligning the central axis of the target 10 with the optical axis of the fisheye camera 20, in particular, a mathematical model and principle employed in accordance with the present invention,
  • the central axis of the cylindrical target 10 is aligned to the optical axis of the fisheye camera.
  • the present invention contemplates a software alignment method.
  • n feature points 121 [x i , y i ] have been extracted, as shown in 200 of the feature points 121 in FIG. 7, these feature points 121 are grouped in concentric circles, assuming a total of k groups, as shown in FIG. Shown are 10 groups of 20 feature points 121 per group. The coordinates of the feature points 121 in each group are averaged to obtain the center coordinates of the group J ⁇ 1,...,k ⁇ . If the target 10 and the optical axis of the fisheye camera 20 have coincident, then all Should coincide. Instead, according to The degree of misalignment is estimated by the degree of misalignment of the target 10 with the optical axis of the fisheye camera 20.
  • Figure 11 provides complete feedback information for adjusting the relative position of the fisheye camera 20 to the target 10.
  • a test pattern 50 displayed on the display 31 of the calibration host 30, which includes a plurality of test points 51, each of which is grouped according to the concentric circles described above and each group
  • the coordinates of the feature points 121 are averaged and obtained by obtaining the center coordinates of the group.
  • it has ten of the test points 51 and is arranged in a substantially U-shape and has a notch 52.
  • the adjustment method of the present invention may fix the position of the target 10 by fixing the fisheye camera 20, or may move the fisheye camera 20 to fix the target 10.
  • the target 10 is fixed by moving the fisheye camera 20, and the adjustment method of the present invention is:
  • the direction of the fisheye camera 20 is translated, and the angle of the fisheye camera 20 is adjusted such that it is biased toward the direction indicated by the "notch 52 of the line in Fig. 11."
  • When adjusting the angle Will leave The user needs to translate to realign the central axis of the target 10 with the optical axis of the fisheye camera 20.
  • the translation process does not produce an angle change, so there is no contradiction between the two adjustments.
  • the judgment for completing the alignment is:
  • the present invention provides a calibration method for a fisheye camera, which includes the following steps:
  • (A) fisheye camera 20 captures the characteristic pattern 12 of the cylindrical stereoscopic target 10;
  • the calibration host 30 connected to the fisheye camera 20 acquires an image of the feature pattern 12 and extracts feature points 121;
  • an estimation method of nonlinear distortion which includes the steps of:
  • e is a distorted variable
  • R w is the radius of the target
  • f is the focal length of the fisheye camera
  • Z 2 is the height of the feature point
  • ⁇ z is the amount of translation along the optical axis
  • ⁇ r is The radius of the spot before distortion
  • ⁇ r 1 is the radius of the spot after distortion.
  • step (C) of the calibration method of the present invention includes the mathematical model as follows: when the Z axis of the world coordinate system coincides with the optical axis of the fisheye camera 20, according to the implementation For the projection principle of the fisheye camera 20 of the isometric fisheye camera, plus the coordinate transformation, the mathematical model for the equidistant projection is:
  • u, v are image space coordinates
  • X w , Y w , Z w are world coordinates
  • x, y, X, Y, Z are intermediate variables
  • f is the focal length
  • u 0 , v 0 is the optical axis
  • c y is the scaling factor of the y-axis with respect to the x-axis
  • t is the amount of translation of the world coordinate system along the optical axis
  • ⁇ is the rotation angle of the world coordinate about the optical axis.
  • f, u 0 , v 0 and c y constitute the parameters required for calibration
  • t, ⁇ are parameters that need to be additionally identified.
  • the target 10 of the present invention is a cylindrical target
  • the calibration method further includes the step (D) of fabricating the target 10:
  • the target 10 is made through the cylindrical surface 11.
  • the feature pattern 12 in the step (D.1) is further produced by the following steps:
  • the feature pattern 12 is printed or affixed to the cylindrical surface 11.
  • the cylindrical surface 11 is rolled into a cylindrical shape to form the cylindrical target plate 10.
  • it further includes the step of attaching the cylindrical surface 11 having the characteristic pattern 12 to The cylindrical target body 13 (such as a sticker or other attachment means) is used to obtain the target 10.
  • the method further includes the step of fixing the fisheye camera 20 to a fixed plate 60 to facilitate control of the fisheye camera 20, such as adjusting the position of the fisheye camera 20.
  • step (E.1) the basis for discriminating coincidence is:
  • the method further comprises the steps of:
  • the calibration system includes the cylindrical target 10, the calibration host 30 and the fixed plate 60, wherein to be tested And the calibrated fisheye camera 20 is mounted on the fixing plate 60, and is connected to the calibration main body 30, and corresponds to the position of the target 10 to facilitate photographing the target 10, and the target is photographed. 10 and if necessary, when the target 10 is translated, image data is acquired and substituted into a mathematical model to obtain relevant parameters of the fisheye machine.
  • the diameter d of the target 10 is measured, and its circumference is calculated.
  • the feature pattern 12 is printed such that its width W is equal to the circumference of the cylinder, and then pasted as accurately as possible to form the target 10.
  • the software collects images in real time, performs binarization processing, extracts feature points 121, and obtains the center coordinates of each group of feature points 121.
  • the acquired image is grayscale processed and a binarized image is obtained according to the set grayscale threshold value, thereby obtaining image data of the feature point 121.
  • the user adjusts the camera according to the alignment.
  • the specific adjustment method is as follows (the orientation of the camera is roughly the same as the orientation of the display):
  • step (7) Determine if the alignment is successful. If successful, proceed to step (8), otherwise proceed to step (4).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种可用于鱼眼图像实时校正的畸变图像校正方法，通过多路鱼跟图像的叠加，归一化和多方向扫描，快速得到鱼眼图像的成像范围，并且根据图像的角点分布，利用多路鱼眼图像之间的相关性得到各路图像的校正参数，以保证所述畸变图像校正方法的准确、有效。一种鱼眼相机的标定方法，鱼眼相机拍摄圆柱形立体标板的特征图案并提取特征点，然后调用非线性优化算法，输入特征点坐标，并基于标定用数学模型得到鱼眼相机的参数。

Description

鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 技术领域
本发明涉及摄影摄像领域的图像校正技术，更详而言之涉及鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法及其标定系统。
背景技术
摄影、摄像在现代人的日常生活和工作中占据非常重要的地位，已成为人们生活工作、生活中不可或缺的一部分。
人们已经习惯利用具有摄影、摄像功能的电子设备记录生活中的点点滴滴。人们喜欢并需要这样的一种工具来记录孩子的成长、亲朋好友的相聚以及美好的风景等生活中值得纪念的一些瞬间、一段时光、一处景致。
随着人们对摄影摄像技术的需求日益多样化，各种各样的摄影摄像镜头被人们使用并喜爱。例如，为使摄影摄像设备能够具有更广阔的视野空间，“畸变图像”应运而生。畸变图像具有焦距短、视场大的特点，在全方位视觉系统有广泛的市场需求。
畸变图像能够达到接近或者大于180°的超大视角，所以利用畸变图像能够扑捉更大范围的景象，因此，畸变图像具有巨大的潜在应用价值。例如，将畸变图像应用于一些公共场合的视频监控系统，采用吸顶的安装方式，则可以使整个区域的景象被记录。这样人们就不需要在不同的区域安装多个监控摄像头，以节约空间、资源及使用成本。又例如人们在日常生活中总会遇到这种情况，明明感觉眼前的景致很美，却怎么也不能用手中的摄影摄像设备将其记录下来，这很大一部分原因是摄影摄像设备的视角能力不能达到人眼所能看到的范围。
虽然畸变图像具有视场大的优点，能够达到甚至超出人眼所能看到的范围，但是畸变图像的这种超大的视角是通过牺牲被拍摄物以其原有形态呈现来达到的。也就是说，利用畸变图像所拍摄的图像发生了畸变。鱼眼图像轮廓呈现为圆形结构。畸变图像在接近被摄物拍摄时能造成非常强烈的透视效果，强调被摄物近大远小的对比，使所摄画面具有一种震撼人心的感染力，因此而备受摄像爱好者的喜爱。但是，这种畸变的图像除了能增强艺术感染力之外，多是不被人们所需要的。例如，现今生活中随处可见的监控摄像头在一些必要的场所设置，能够帮助人们约束日常行为。一些监控记录甚至有可能成为事实认定的有效证据。但是这种变形的画面往往会影响一些细节的认定。
即便畸变的图像能够给人以艺术感染力，许多消费者还是希望这些畸变的图像能够被还原为其原本的面目。无论是用来纪念还是用来与畸变图像进行对比， 都具有非常重要的意义是应用价值。因此，畸变图像的校正技术深受研发人员的关注。
鱼眼图像校正的前提就是鱼眼图像的轮廓提取。目前常用的鱼眼图像轮廓提取方法有面积统计法、扫描线逼近法、区域生长法。这几种方法各有优劣，但也都存在着一些缺点，不能完全准确定位鱼眼图像的圆心坐标和半径，适用范围也有局限性。
在鱼眼图像的畸变校正上，目前的方法主要可以归纳为3D校正和2D校正。该领域主要的方法包括基于球面透视投影模型校正方法、基于二次曲面透视模型校正方法、基于圆分割的鱼眼图像畸变校正方法、基于几何性质的鱼眼图像平面校正方法等等。上述的这些方法，都各有优缺点，在计算复杂度和校正效果上，都没有完全符合高清视频的实时校正要求，在现实应用上都还存在着一定的距离。
鱼眼图像的实时校正对于消费者及时获得校正图像具有重要的意义。尤其是对于鱼眼视频图像的校正具有重要的意义。当前迫切需要一种实时高效的高清鱼眼视频的校正方法。
相机的成像模型表达了像素与外部空间的对应关系，是图像处理、机器视觉的关键技术之一。目前，针对鱼眼相机的数学模型主要有两大类。一是基于鱼眼相机的投影原理而建立的解析式模型。这种模型往往包含一些物理意义明确的参数，如焦距、光轴中心坐标等。但是这种模型往往过于复杂，包含了许多外参，使得内参难以获得。二是多项式模型。这种模型通用性好，但是模型的阶数不确定，完全放弃了镜头本身的投射原理，难以验证结果的有效性。
无论采用哪一种模型，都需要确定模型的参数。确定参数的方法也分为两大类。一种是借助精密的机械台，依次求得每一个参数。在求某一参数时，旋转、平移相机或参照物并抵消其他参数的作用，从而求得目标参数。这种方法的成本高，效率低，只适合对精度要求极高的场合。另一种是用相机对参照物成像，通过优化算法，一次性得到全部参数。参照物又叫标板，其上绘有一系列的特征点，相机对标板成像后检测出特征点的实际像点。另一方面，通过数学模型可以算出特征点的模型像点。通过调整数学模型的参数，使得两组像点的误差最小，即可获得数学模型。
一种常见的标板图案是黑白棋盘格。特征点分布于黑白交变处的角点。这种方法理论上精确地定位了特征点，然而实践中由于噪声、畸变和算法的问题，所提取的特征点的误差是比较大的。这种定位方式虽然在理论上只需2、3次试验，但实际操作中往往需要20次以上，这足以说明该方法的不确定性。另一种常见的标板图案是黑白斑点序列。特征点分布于斑点的中心。该方法简单方便、抗噪性好，但当存在非线性畸变时，圆斑的中心会发生偏移。
另外，目前标板都是平面的，而鱼眼相机的广角范围大，进而无法有效覆盖 鱼眼的大视角，会造成定位的偏差。
发明内容
本发明的主要目的在于提供一鱼眼图像的畸变图像校正方法，其中该方法能够准确定位鱼眼图像的圆心和半径。
本发明的另一目的在于提供一鱼眼图像的畸变图像校正方法，其中该方法具有校正速度快、校正效果好的特点。
本发明的另一目的在于提供一鱼眼图像的畸变图像校正方法，其中该方法能够被用于对鱼眼图像进行校正。
本发明的另一目的在于提供一鱼眼图像的畸变图像校正方法，其中该方法适合被用于对鱼眼图像进行实时校正。
本发明的另一目的在于提供一鱼眼图像的畸变图像校正方法，其中该方法能够被用于对多路鱼眼图像进行校正。
本发明的另一目的在于提供一鱼眼图像的畸变图像校正方法，其中该方法充分考虑了鱼眼图像轮廓所呈现出圆形结构的特点并充分利用了多路鱼眼视频图像之间的相关性，适合在嵌入式上实现多路高清鱼眼图像的实时校正。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其中所述方法基于鱼眼相机投影原理建立数学模型，并且只需要对所述标板成像较少的次数如可以少至一次，即可计算得到所述鱼眼相机的内参数如焦距或光轴中心，从而用于校正鱼眼相机的畸变。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其中所述标版为圆柱形结构，以减少尺寸的限制，能够有效覆盖所述鱼眼相机的大视角，同时圆柱面得以无损平面展开，便于打印。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其中所述标版的制作简单，可以在标版直接粘贴平面图案，从而形成立体测试图案。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其通过斑点投影来产生特征纹理图案，几何形状的斑点以同心圆并呈同一径向的360度射状排列，将投影前图案投影到圆柱面，即可得到标板所需的图案。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其中所述方法适合于对等距鱼眼相机的标定。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其中所采用的非线性畸变的估计方法使得所设计的标定方法避开了斑点中心的偏移问题。
本发明的另一目的在于提供一鱼眼相机的标定方法及其标定系统和标板，其中通过成像后特征点的中心坐标的不重合程度，估计圆柱形标版与光轴的不重合程度，从而基于软件算法校正所述鱼眼相机与圆柱形标板的相对位置，避免对精 密机械台的依赖。
通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。
依照本发明的一方面，本发明提供一畸变图像校正方法，以用于鱼眼图像的校正，其中所述畸变图像校正方法包括以下步骤：
(1)确定校正参数；和
(2)根据所述校正参数，确定校正算法；
其中步骤(1)包括以下步骤：
(11)确定多路畸变图像的位置和轮廓，即确定多路鱼眼图像的成像范围和轮廓；和
(12)确定所述畸变图像的校正因子；(下述畸变图像指对应的各路鱼眼图像)。
其中步骤(11)采用四点定位法对所述畸变图像的位置和轮廓进行准确定位，以保证所述畸变图像校正方法的准确、有效。
根据一个实施例，所述步骤(11)包括如下步骤：
(113)叠加所述畸变图像即叠加多路鱼眼图像，以得到一叠加图像；
(114)线性压缩所述叠加图像，以得到一归一化图像；和
(115)根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置即成像范围和轮廓。
根据一个实施例，在步骤(113)之前，所述步骤(11)包括如下步骤：
(112)过滤所述畸变图像，以滤除所述畸变图像的噪声。
根据一个实施例，步骤(114)包括以下步骤：
(1141)获取所述叠加图像的最大像素值Pmax和最小像素值Pmin；和
(1142)根据所述叠加图像的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
其中线性压缩采用以下公式进行：
Figure PCTCN2016107427-appb-000001
其中，px,y为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值，Px,y为叠加图像上坐标点(x,y)处的像素值。
根据一个实施例，步骤(114)包括以下步骤：
(1141)获取所述叠加图像的最大像素值Pmax和最小像素值Pmin；和
(1142)根据所述叠加图像的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
其中线性压缩采用以下公式进行：
Figure PCTCN2016107427-appb-000002
其中，px,y为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值，Px,y为叠加图像上坐标点(x,y)处的像素值。
根据一个实施例，步骤(115)包括以下步骤：
(1151)设定阈值Th；
(1152)记录所述归一化图像上像素大于或者等于该阈值Th的点；
(1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述畸变图像的位置即成像范围和轮廓。
根据一个实施例，步骤(115)包括以下步骤：
(1151)设定阈值Th；
(1152)记录所述归一化图像上像素大于或者等于该阈值Th的点；
(1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述畸变图像的位置和轮廓。
根据一个实施例，所述阈值Th能够通过以下公式获得：
Figure PCTCN2016107427-appb-000003
其中px,y为所述归一化图像在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
根据一个实施例，所述阈值Th能够通过以下公式获得：
Figure PCTCN2016107427-appb-000004
其中px,y为所述归一化图像在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
根据一个实施例，步骤(1152)包括以下步骤：
(11521)从四个方向上对所述归一化图像进行扫描；和
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
根据一个实施例，步骤(1152)包括以下步骤：
(11521)从四个方向上对所述归一化图像进行扫描；和
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
根据一个实施例，步骤(1)还包括一步骤：
(13)建立一平面直角坐标系；
其中步骤(1152)还包括以下步骤：
(11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点在所述平面直角坐标系中的坐标值精确定位所述畸变图像的圆心位置及成像半径；
其中所述四个方向包括逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左，其中在分别逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左扫描过程中遇到的第一个大于或者等于所述阈值Th的点分别被标记为
Figure PCTCN2016107427-appb-000005
其中步骤(1152)还包括以下步骤：
(11524)分别计算两组对应坐标的垂直距离和水平距离，其中计算方式如下所示：
d1＝|y1-y2|
d2＝|x3-x4|
(11525)确定所述畸变图像的成像直径d3为d1和d2中较大的数值，从而所述畸变图像的成像半径R＝d3/2；和
(11536)确定所述畸变图像的圆心位置，其中所述圆心坐标为(xc,yc)，其中，
Figure PCTCN2016107427-appb-000006
Figure PCTCN2016107427-appb-000007
根据一个实施例，步骤(1)还包括以下步骤：
(14)确定所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点(xil,yi)；和
(15)确定所述畸变图像的轮廓点距离图像中心的水平距离lik；
其中
Figure PCTCN2016107427-appb-000008
其中xil为第i路畸变图像的轮廓点的水平坐标，yi为第i路畸变图像的轮廓点的垂直坐标，其中lik为第i路畸变图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
根据一个实施例，步骤(12)包括如下步骤：
(121)检测多路所述畸变图像的角点；
(122)检测叠加图像的角点；和
(123)根据每一路所述畸变图像的角点以及所述叠加图像的角点，确定各路图像的所述校正因子αi。
其中，步骤(121)中检测到的多路所述畸变图像的角点在所述平面直角坐标系中的坐标标记为(xik,yik)，其中i代表第几路视频，k代表视频当中的角点编号。
根据一个实施例，步骤(123)包括以下步骤：
(1231)分别累加各路畸变图像的角点在所述平面直角坐标系中的横坐标值，以得到各路所述畸变图像的角点横坐标累加值Xi；
(1232)累加所述叠加图像的角点在所述平面直角坐标系中的横坐标，以得到所述叠加图像的角点横坐标累加值XM；
(1233)设定所述叠加图像的校正因子αM；和
(1234)计算各路畸变图像的校正因子αi，其中αi＝αM·Xi/XM。
根据一个实施例，所述叠加图像的校正因子αM的数值范围在0.7和1.3之间。
根据一个实施例，步骤(2)进一步包括以下步骤：
(21)根据步骤(1)中得到的校正参数，确定畸变校正公式如下：
Figure PCTCN2016107427-appb-000009
根据一个实施例，在步骤(112)之前，所述步骤(11)还包括如下步骤：
(111)采集多路镜头的棋盘格畸变图像。
根据一个实施例，所述畸变图像校正方法还包括以下步骤：
(3)根据所述校正算法对多路畸变图像进行校正。
根据一个实施例，步骤(3)进一步包括以下步骤：
(31)根据步骤(21)中的畸变校正公式，生成畸变校正表格。
根据一个实施例，步骤(3)进一步包括以下步骤：
(32)将所述校正表格应用于嵌入式系统下多路高清畸变图像，以实现对所述畸变图像的实时校正。
根据本发明的另外一方面，本发明提供一鱼眼相机的标定方法，其包括如下步骤：
(A)鱼眼相机拍摄柱形立体标板的特征图案；
(B)连接至所述鱼眼相机的标定主机采集所述特征图案的图像并提取特征点；以及
(C)调用非线性优化算法，输入所述特征点坐标，并基于标定用数学模型得到所述鱼眼相机的参数。
在一个实施例中，所述标板呈圆柱形，所述标定方法进一步地包括制作所述标板的步骤(D)：
(D.1)制作具有所述特征图案的圆柱面；以及
(D.2)通过所述圆柱面制作所述标板。
在一个实施例中，所述步骤(D.1)中的所述特征图案进一步地通过如下步骤制作：
(D.1.1)提供一投影前的斑点图案，其具有多个斑点，所述斑点以同心圆为一组，分别一层一层往外延伸，同时所述斑点又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角；
(D.1.2)将所述斑点图案基于鱼机相机投影原理和所述圆柱面的形状和尺寸进行投影，得到所述特征图案的样式；
(D.1.3)将所述特征图案印刷或粘贴于所述圆柱面。
在一个实施例中，在所述步骤(D.2)中，所述圆柱面卷成筒状从而制作圆柱形的所述标板。
在一个实施例中，在所述步骤(D.2)中，进一步地包括步骤：将具有所述特征图案的所述圆柱面贴合于圆柱形的标板主体从而得到所述标板。
在一个实施例中，在上述方法中的步骤(D)中，还包括非线性畸变的估计方法，其包括步骤:
(i)当所述标板绕着所述鱼眼相机的光轴旋转时，且其对着光轴的面始终对着光轴，则该所述标板的所有像点的相对位置不变，即畸变为0；以及
(ii)当所述标板沿着所述鱼眼相机的光轴平移时，其几何中心的偏移情况用下式估计：
Figure PCTCN2016107427-appb-000010
其中上式中，e为畸变量，Rw为所述标板的半径，f为所述鱼眼相机的焦距，Z2为特征点的高度，δz为沿着光轴的平移量，△r为畸变前斑点半径，△r1为畸变后斑点半径。
在一个实施例中，所述步骤(C)中地一步的包括如下的所述数学模型，当世界坐标系的Z轴与所述鱼眼相机的光轴重合时，根据实施为等距鱼眼相机的投影原理，加上坐标变换，可得等距投影的数学模型为：
Figure PCTCN2016107427-appb-000011
Figure PCTCN2016107427-appb-000012
Figure PCTCN2016107427-appb-000013
其中上式中，u，v是像空间坐标，Xw,Yw,Zw是世界坐标，x，y，X，Y，Z为中间变量，f为焦距，u0,v0为光轴在像空间的坐标，cy为y轴相对x轴的缩放系数，t为世界坐标系沿着光轴的平移量，θ为世界坐标绕着光轴的旋转角。f，u0,v0和cy构成标定所需辨识的参数，而t，θ为需额外辨识的参数。
在一个实施例中，所述步骤(B)和所述步骤(C)之间还包括将所述标板的中轴对准于所述鱼眼相机的光轴的对准步骤(E)，其包括步骤：
(E.1)提取n个所述特征点121并按同心圆分组，设定一共具有k组，将每组内的所述特征点的坐标求平均，得该组的中心坐标
Figure PCTCN2016107427-appb-000014
并与所述鱼眼相机的光轴进行判断是否重合；以及
(E.2)通过移动所述鱼眼相机或移动所述标板调整所述鱼眼相机与所述标板的相对位置。
在一个实施例中，在所述步骤(E.1)中，所采用的判据是：
Figure PCTCN2016107427-appb-000015
当ex,ey均小于设定值时，完成对准。
在一个实施例中，在所述步骤(E.2)中，进一步地包括步骤：
(E.2.1)按照
Figure PCTCN2016107427-appb-000016
的方向平移所述鱼眼相机；以及
(E.2.2)调整所述鱼眼相机的角度，调整角度时，
Figure PCTCN2016107427-appb-000017
会离开
Figure PCTCN2016107427-appb-000018
通过平移来使圆柱形标板的中轴对准到与所述鱼眼相机的光轴重新重合。
在一个实施例中，所述方法还包括步骤：将所述鱼眼相机固定于一固定板，通过移动所述固定板调整所述鱼眼相机的位置。
在一个实施例中，在完成对准后，将所述特征点坐标[xi,yi]，i＝{1,...,n}，加上所述等距投影的数学模型，带入所述非线性优化算法，即得所述数学模型的参数。
在一个实施例中，所述标板制作过程进一步地包括如下步骤：
(1)测量所述标板直径d，计算其周长；
(2)打印所述特征图案，使其宽W等于所述圆柱形的标板主体的周长，然 后粘贴所述特征图案于所述标板主体而形成所述标板。
在一个实施例中，在所述步骤(B)中，获取的图像灰度处理并且根据设定的灰度阈值得到二值化图像，从而得到所述特征点的图像数据。
在一个实施例中，在调整所述鱼相相机的步骤中，进一步地包括步骤：
在所述标定主机的显示器显示对应所述特征点的中心坐标的测试点，所述测试点呈现大致U形线条；按照“动点”指向“不动点”的方向平移所述固定板；所显示的所述U型线条的底部指向所述固定板的一处边缘时将该处边缘往后拉。
在一个实施例中，实施参数为
Figure PCTCN2016107427-appb-000019
Rw＝50毫米，Z2＝100毫米，δz＝10毫米。
根据本发明的另外一方面，本发明提供一鱼眼相机，其采用上述方法标定得到。
根据本发明的另外一方面，本发明提供一鱼眼相机的标定系统，其包括：
一圆柱形标板；以及
一标定主机(即可实施为一显示计算单元如电脑)，待标定的一鱼眼眼机连接于所述标定主机，并且与所述标板位置对应从而便于拍摄所述标板，获取图像数据并代入一数学模型得到所述鱼相眼机的相关参数。
在一个实施例中，在所述标定系统中，所述标板包括一圆柱形标板主体和设置于所述圆柱形标板主体的具有一特征图案的圆柱面。
在一个实施例中，在所述标定系统中，所述特征图案的样式与一斑点图案有如下对应的关系：
所述斑点图案具有多个斑点，所述斑点以同心圆为一组，分别一层一层往外延伸，同时所述斑点又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角，并且所述斑点图案基于鱼机相机投影原理和所述圆柱面的形状和尺寸进行投影，得到对应的所述特征图案的样式。
在一个实施例中，在所述标定系统中，具有所述特征图案的所述圆柱面粘贴于或通过固定元件固定于圆柱形的所述标板主体。
在一个实施例中，在所述标定系统中，还包括一固定板，其中所述鱼眼相机安装于所述固定板，以通过所述固定板调整所述鱼眼相机的位置。
根据本发明的另外一方面，本发明提供一标板，以用于一鱼眼相机的标定，其中所述标板具有一特征图案，所述特征图案具有多个特征点，所述特征点沿着深度方向和沿着环绕的方向布置。
在一个实施例中，所述标板是一圆柱形标板，所述特征图案设置于一圆柱面，其中所述特征图案的样式与一斑点图案有如下对应的关系：
所述斑点图案具有多个斑点，所述斑点以同心圆为一组，分别一层一层往外延伸，同时所述斑点又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角，并且所述斑点图案基于鱼机相机投影原理和所述圆柱面的形状和尺寸进行投影，得到对应的所述特征图案的样式。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的一个优选实施例的一畸变图像校正方法中所使用的滤波模板示意图。
图2是根据本发明的上述优选实施例的该畸变图像校正方法示意图。
图3阐释了根据本发明的上述优选实施例的畸变图像校正方法的一确定畸变图像轮廓的步骤。
图4阐释了根据本发明的上述优选实施例的畸变图像校正方法的一确定校正因子的步骤。
图5阐释了依据本发明的上述优选实施例的畸变图像校正方法示意图。
图6是根据本发明的一个优选实施例中鱼眼相机标定系统的形成标板的特征图案时的投影前的图案的示意图。
图7是根据本发明的上述优选实施例中投影前图案基于鱼眼相机投影原理投影到圆柱面得到的圆柱形标板所需的特征图案。
图8是根据本发明的上述优选实施例中将特征图案粘贴至标板的圆柱形主体的示意图。
图9是根据本发明的上述非线性畸变估计方法的原理示意图。
图10是根据本发明的上述优选实施例中数学模型的原理示意图。
图11是根据本发明的上述优选实施例中进行光轴对准时所显示的图像。
图12是根据本发明的上述优选实施例中鱼眼相机标定系统的整体示意图。
图13是根据本发明的上述优选实施例中鱼眼相机标定方法的流程示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
附图之图1至图4阐释了依据本发明的一个优选实施例的畸变图像校正方 法。该畸变图像校正方法能够被应用于鱼眼图像的畸变校正，但不局限于鱼眼图像的畸变校正。本领域技术人员应该能够理解，任何符合鱼眼图像轮廓呈圆形畸变的畸变图像的校正都适用该畸变图像校正方法。本优选实施例以多路畸变图像的畸变图像校正为例对本发明的畸变图像校正方法进行详细介绍。
如附图之图2所示，该畸变图像校正方法包括以下步骤：
(1)确定校正参数；
(2)根据所述校正参数，确定校正算法；和
(3)根据所述校正算法对多路畸变图像进行实时校正。
其中步骤(1)中所述校正参数是根据所述畸变图像进行确定的。具体地，该步骤(1)包括如下步骤：
(11)确定每一路所述畸变图像的轮廓；和
(12)确定每一路所述畸变图像的校正因子αi。
更具体地，该步骤(11)包括如下步骤：
(111)采集多路鱼眼镜头的棋盘格畸变图像；
(112)过滤所述畸变图像，以滤除所述各路畸变图像上的噪声，从而防止所述噪声对该畸变图像的校正造成影响；
(113)叠加经该步骤(112)过滤的所述畸变图像，以得到一叠加图像IS；
(114)线性压缩所述叠加图像IS，以得到一归一化图像IM；和
(115)根据该归一化图像IM在各个位置的像素值px,y，精确定位所述畸变图像的位置和轮廓。
其中通过步骤(111)所采集的所述畸变图像由于受到一些因素的影响而存在一些噪声，会对所述畸变图像轮廓的确定产生干扰，所以需要对所述畸变图像进行过滤，以减少所述噪声对所述畸变图像轮廓确定的影响。其中所采用的滤波模板如图1所示。
本领域技术人员应该能够理解，对于没有噪声或者噪声小至不足以对畸变图像的校正产生影响的畸变图像，则无需进行校正。也就是说，如果通过步骤(111)所采集的所述畸变图像没有噪声或者噪声小至不足以对畸变图形的校正产生影响，则步骤(112)不是必须的。这样，在步骤(113)中可直接对所述畸变图像进行叠加。也就是说，步骤(113)变为叠加所述畸变图像，以得到一叠加图像IS。
为了更准确地对各路所述畸变图像进行定位，该步骤(113)中对所述畸变图像进行了叠加，以抵消确定各路畸变图像位置的误差。换一种方式来讲，如果对各路所述畸变图像进行分别定位，不可避免会产生各种环境因素或者人为因素造成的误差，其中这些误差不仅会导致所述畸变图像定位不够准确，而且会导致各路畸变图像之间有可能因为各自的误差不同而错位，从而进一步导致校正后的图像质量无法得到保障。所以，通过图像叠加方法对各路畸变图像进行统一定位，有利于保障图像被校正后的质量。
其中步骤(114)包括以下步骤：
(1141)获取所述叠加图像IS的最大像素值Pmax和最小像素值Pmin；和
(1142)根据所述叠加图像IS的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
其中线性压缩采用公式1进行：
Figure PCTCN2016107427-appb-000020
其中，px,y为线性压缩以后的所述归一化图像IM在坐标点(x,y)处的像素值，Px,y为叠加图像IS上坐标点(x,y)处的像素值。
另外，值得一提的是，本优选实施例利用畸变图像拍摄图像中间部分不变形以及周围轮廓呈圆形弯曲畸变的特点，首先对圆畸变图像周围轮廓所在圆的圆心进行定位，进而对鱼眼图像轮廓进行精确定位。这种圆心定位法既方便又准确，使该畸变图像校正方法具有简单、高效的特点。
具体地，该步骤(115)包括以下步骤：
(1151)设定阈值Th；
(1152)记录所述归一化图像IM上像素大于或者等于该阈值Th的点；
(1153)根据步骤(1152)中所确定的所述归一化图像IM上像素大于或者等于该阈值Th的点确定所述畸变图像的位置和轮廓。
进一步，该步骤(115)用于确定所述畸变图像位置和轮廓的方法为四点定位法。具体地，该步骤(1152)包括以下步骤：
(11521)从四个方向上对所述归一化图像IM进行扫描；和
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
更具体地，所述四个方向分别是逐行从上到下、逐行从下到上、逐列从左到右和逐列从右到左。
其中所述阈值Th通过以下公式2获得：
Figure PCTCN2016107427-appb-000021
其中px,y为所述归一化图像IM在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
为使该畸变图像校正方法更加快速、准确、有效，该畸变图像校正方法的该步骤(1)还包括一步骤：
(13)建立一平面直角坐标系。
值得一提的是，该步骤(11)、该步骤(12)和该步骤(13)之间并没有先后顺序的区别，三者之间的先后顺序可以互换且不受限制。
步骤(13)中所建立的平面直角坐标系使该畸变图像校正方法中图像上的每一点都能够用具体的坐标值予以确定，进而帮助确定该坐标系中与该畸变图像校正方法相关的相对位置关系。
另一方面，由于该平面直角坐标系中的每一点都可以通过具体的数值进行标定，所以方便利用几何图形的具体数学关系对几何图形进行精确确定。在本发明的该优选实施例中，由于鱼眼图像轮廓呈现为圆形结构，本优选实施例利用圆的数学关系对鱼眼图像轮廓进行精确定位，从而使该畸变图像校正更为准确。另一方面，方便进行数学计算。
如图2所示，在该叠加图像IS所在的平面内建立该平面直角坐标系，其中该平面直角坐标系由相互垂直的一X轴和一Y轴构成，其中该X轴和该Y轴相交于一原点O，其中该坐标系内的坐标点的坐标被标示为(x，y)。
值得一提的是，该平面直角坐标系为了计算和标定的方便而建立，对本发明并没有实质的限制作用。也就是说，无论该坐标系被建立在该叠加图像IS所在 的平面内的何处，都不影响该畸变图像校正方法对畸变图像的校正效果。也就是说，各个坐标点(x，y)只是起到相对的标示作用，其中x和y的具体数值并不存在绝对的意义。
相应的，该步骤(1152)包括以下步骤：
(11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点在所述平面直角坐标系中的坐标值精确定位所述畸变图像的圆心位置及成像半径。
具体地，逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左扫描过程中找到满足要求的像素点分别标记为
Figure PCTCN2016107427-appb-000022
分别计算两组对应坐标的垂直距离和水平距离，其计算方式如公式3、公式4所示：
d1＝|y1-y2|         公式3
d2＝|x3-x4|         公式4
选择d1和d2中较大的数值作为畸变图像的成像直径d3，则得到畸变图像的成像半径R，圆心坐标为(xc,yc)。R、xc、yc分别通过公式5、公式6、公式7计算得到：
R＝d3/2       公式5
Figure PCTCN2016107427-appb-000023
Figure PCTCN2016107427-appb-000024
该步骤(1)还包括步骤：
(14)确定所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点(xil,yi)；和
(15)确定所述畸变图像的轮廓点距离图像中心的水平距离lik。
其中所述畸变图像的轮廓是指所述畸变图像的周围轮廓。其中步骤(14)中所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点的坐标值通过以下公 式予以确定：
Figure PCTCN2016107427-appb-000025
其中xil为第i路畸变图像的轮廓点的水平坐标，yi为第i路畸变图像的轮廓点的垂直坐标。
步骤(15)中所述畸变图像的轮廓点距离图像中心的水平距离lik通过以下公式予以确定：
Figure PCTCN2016107427-appb-000026
其中lik为第i路畸变图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
值得一提的是，依据本发明的该优选实施例的该畸变图像校正方法，步骤(15)中所述畸变图像的轮廓点距离图像中心的水平距离lik借助所述平面直角坐标系，并利用了几何图像轮廓既有的数学关系公式进行计算，使得lik的数值精准，从而保证了该畸变图像校正方法的精确性和准确性。但是本领域技术人员应该能够理解，这仅仅是对本发明的示例，而非限制。
该步骤(12)包括如下步骤：
(121)检测多路所述畸变图像的角点；
(122)检测叠加图像IS的角点；和
(123)根据每一路所述畸变图像的角点以及所述叠加图像IS的角点，确定各路图像的所述校正因子αi。
具体地，步骤(121)中检测到的多路所述畸变图像的角点在所述平面直角坐标系中的坐标标记为(xik,yik)，其中i代表第几路视频，k代表视频当中的角点编号。
步骤(123)包括以下步骤：
(1231)分别累加各路畸变图像的角点在所述平面直角坐标系中的横坐标值，以得到各路所述畸变图像的角点横坐标累加值Xi；
(1232)累加所述叠加图像IS的角点在所述平面直角坐标系中的横坐标，以 得到所述叠加图像IS的角点横坐标累加值XM；
(1233)设定所述叠加图像IS的校正因子αM(范围在0.7与1.3之间)；和
(1234)根据Xi、XM和αM计算各路畸变图像的校正因子αi，其中αi＝αM·Xi/XM。
其中，步骤(1231)中用于累加各路畸变图像的角点在所述平面直角坐标系中的横坐标值的公式如公式10所示：
Figure PCTCN2016107427-appb-000027
其中，xik代表第i路棋盘格畸变图像下第k个角点的横坐标大小，K代表每一路所述畸变图像总共的角点数目。
值得一提的是，该步骤(121)和(122)之间没有先后顺序的区分，两者之间先后顺序可以互换。本领域技术人员应该能够理解，该步骤(121)和(122)也可以同时进行。也就是说，依据本发明的该优选实施例，该步骤(121)和(122)没有任何先后顺序上的区别。
步骤(2)进一步包括以下步骤：
(21)根据步骤(1)中得到的校正参数，确定畸变校正公式：
Figure PCTCN2016107427-appb-000028
其中，ai是第i路鱼眼视频图像长轴的半径；bi＝1，2，3，…，H；H是畸变图像宽的半径，xil为第i路畸变图像的轮廓的水平坐标，xc为所述畸变图像的中心的水平坐标，li为第i路畸变图像的轮廓的水平坐标到所述畸变图像的中心的水平坐标的距离，αi为第i路畸变图像的校正因子，反映了校正幅度的大小。
步骤(3)进一步包括以下步骤：
(31)根据公式11，生成畸变校正表格；和
(32)将所述校正表格应用于嵌入式系统下多路高清畸变图像，以实现对所述畸变图像的实时校正。
值得一提的是，本发明中该畸变图像校正方法的步骤中所用的编号中所使用的1、2、3、4、5等阿拉伯数字仅仅是起到标示作用，并不区分先后次序的作用。本领域技术人员应该能够理解，在不违反各个步骤本身逻辑次序的情况下，该畸变图像校正方法中的步骤是没有先后次序区分的。当然，本领域技术人员应该能够理解，在一些后续步骤需要以前面的步骤为前提的情况下，这些步骤是具有先后顺序的区分的。而对于那些不互为前提的步骤，只要能够实现本发明的目的，其顺序是可以相互交换的。
为了更详细描述本发明，下面以鱼眼视频图像的校正为例，对该畸变图像校正方法进行进一步详细描述。
该畸变图像校正方法采集多路畸变图像的棋盘格图像，对这些棋盘格图像进行低通滤波操作，滤除图像上的高频噪声，消除相关的影响。所采用的滤波模板如图1所示。
对预处理后的多路鱼眼图像进行叠加，得到叠加图像IS。遍历叠加图像IS，得到最大值Pmax和最小值Pmin。通过Pmax和Pmin，将叠加图像IS进行线性压缩，得到归一化图像IM，IM图像的像素值范围在0到255之间。线性压缩采用公式1进行。
设定阈值Th为叠加图像的均值，其计算方式如公式2所示。
对归一化图像IM进行四个方向的逐像素的扫描，每个方向扫描时候，记录第一个大于或者等于阈值Th的像素点的坐标位置。四个扫描方向分别是逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左。扫描过程中找到满足要求的像素点分别标记为
Figure PCTCN2016107427-appb-000029
分别计算两组对应坐标的垂直距离和水平距离，其计算方式如公式3、公式4所示。
选择d1和d2中较大的数值作为鱼眼图像的成像直径d3，则得到鱼眼图像的成像半径R，圆心坐标为(xc,yc)。R、xc、yc分别通过公式5、公式6、公式7计算得到。
通过公式8得到各路鱼眼视频图像的轮廓点的坐标(xil,yi)。
通过公式9得到各路鱼眼视频图像的轮廓点距离图像中心的水平距离lik。
通过角点检测算法，检测到各路棋盘格图像当中的角点(xik,yik)，其中i代表第几路视频，k代表视频当中的角点编号。
对各路鱼眼视频角点的横坐标进行累加，得到各路鱼眼视频的角点横坐标累加值。
检测叠加图像IS的角点，并累加所有角点的横坐标，得到XM。
设定叠加图像的校正因子αM(范围在07与13之间),则可以得到其他各路视频的校正因子αi＝αM·Xi/XM。
通过之前所得到的各种参数，综合得到各路鱼眼视频的畸变校正公式11。
利用公式11，则可以针对各路鱼眼视频，生成与像素一一对应的畸变校正表格，满足嵌入式系统下多路高清鱼眼视频的实时校正需求。
如图6至图13所示是根据本发明的一个优选实施例的鱼眼相机的标定方法及其标定系统和标板。所述标定系统包括一标板10和一标定主机30，以针对一鱼眼相机20进行参数测试并且标定。所述鱼眼相机20连接于所述标定主机30，如具有显示器31的一个计算机，并且所述鱼眼相机20拍摄所述标板10，得到的影像数据供所述标定主机30分析，所述标定主机30调用预设的标定软件对所述鱼眼相机20进行标定。
更具体地，如图6至8所示是本发明的上述优选实施例的标板10的制作过程。在本发明的这个优选实施例，不像现有技术中使用平面型标板，而是采用立体标板，更进一步地，本发明的所述标板10是一个柱形标定筒，其可以具有相同或渐变的直径，如图8中所示，优选地，本发明的这个实施例是具有统一半径Rw的圆柱形标定筒。圆柱形的设计结构得以减少鱼眼相机在测试过程中对所述标板的尺寸限制。由于所述鱼眼相机的广角范围大，在测试过程中，传统的标板不能完整地显示所述鱼眼相机产生的特征图像，进而造成测试数据不精确，影响测试结果。而本发明采用的圆柱形标板，对尺寸没有要求，而且能够有效地覆盖鱼眼相机20的大视角。
所述标板10具有一圆柱面11，其具有特征图案12，如图8所示，供所述鱼 眼相机20拍摄并成像，以供进一步地分析和计算。所述标板10可以是通过将具有所述特征图案12的图纸或薄膜卷成筒状而制成所述圆柱面11。在本发明的这个优选实施例中，所述标板10也可以进一步地具有筒状主体13，具有所述特征图案12的所述圆柱面11粘贴于所述筒状主体13从而得到本发明的圆柱形标定筒。即所述标板10的所述圆柱面11可无损展开成平面，便于直接打印或粘贴所述特征图案12。所述标板10具有制作简单，生产成本低等特点。
如图11至图13所示，本发明的所述特征图案12通过如下方法得到，即通过将图11中所示的斑点图案40投影来产生特征纹理图案。具体地，投影前的斑点图案40如图11所示，其包含多个斑点41，特征点可以是这些斑点41的几何中心。斑点41可以具有各种各样的几何形状，如圆形、椭圆形、线对形或各种多边形如三角形、四边形和五边形等。
这些所述斑点41以同心圆为一组，分别一层一层往外延伸，同时所述斑点41又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角。例如图11中所示，这些所述斑点41形成10个同心圆，并且沿着径向形成放射状的20条斑点线并等分360°，可以理解的是图11中所示的斑点41的排列只作为举例而并不限制本发明。
所述斑点图案40基于鱼眼相机投影原理逆投影到一圆柱形表面，即得到如图13所示的特征图案12，即各个所述斑点41投影后形成对应的各个特征点121，即通过逆向设计的方式得到所述特征图案12。本发明的标定过程中，所述鱼眼相机20拍摄所述特征图案12，可以得到大致与所述斑点图案40类似的成像图案，从而方便后续进一步的测试。
相应地，本发明的所述特征图案12得到后，测量所述标板10的直径d，计算得到其周长πd,此周长的长度即所述圆柱面11的宽度W。然后将所述特征图案12形成于所述圆柱面11，例如通过打印或粘贴于实施为图纸或薄膜的所述圆柱面11，然后进一步地将所述圆柱面11粘贴或其他方式固定于所述标板主体13，从而得到本发明的圆柱形的所述标板10。
然而，所述鱼眼相机20拍摄所述特征图案12，可以得到大致与所述斑点图案40类似的成像图案时，会产生非线性畸变。即在上述特征图案12基于投影原理产生阶段，像坐标系和世界坐标系之间有对应关系。但是在实际标定阶段，所 述鱼眼相机20拍摄所述标板10时不重合前述的对应关系。具体表现为：特征点偏离了几何中心。所以，需要定量考察这种偏离的程度，以便设计出准确又便利的标定方法。
为解决这种偏离情况，本发明提出新的畸变估计方法，其基于平移所述标板10来反映畸变情况。如图9所示是根据本发明的上述优选实施例中所述标板10沿着所述鱼眼相机20的光轴平移的示意图。
具体地，本发明的畸变估计方法基于下面两部分内容。第一方面，当所述标板10绕着所述鱼眼相机20的光轴旋转时，且其对着光轴的面始终对着光轴，则该所述标板10的所有像点的相对位置不变，即畸变为0。第二方面，当所述标板沿着所述鱼眼相机的光轴平移时，其几何中心的偏移情况可用下式估计：
Figure PCTCN2016107427-appb-000030
其中，e为畸变量，Rw为标板的半径，f为所述鱼眼相机的焦距，Z2为特征点的高度，δz为沿着光轴的平移量，△r为畸变前斑点半径，△r1为畸变后斑点半径，
Figure PCTCN2016107427-appb-000031
的单位是度。该公式定量地表达了畸变情况，方便用户校验精度要求，且揭示了各个影响因素的作用。总体上，因为
Figure PCTCN2016107427-appb-000032
很小，所以偏离不会太大。另外，越大越矮的标板、越小的斑点都能进一步抑制畸变。
值得一提的是，本发明推荐的实施参数为
Figure PCTCN2016107427-appb-000033
另外可取试验数据Rw＝50毫米，Z2＝100毫米，δz＝10毫米。这样的实验数据足以满足分辨率高达4000×4000的所述鱼眼相机测试，得到测试的畸变量为0.28个像素，这一误差在许多场合下是允许的，满足市场的生产需求。
根据以上畸变估计公式可知，当世界坐标系的Z轴与所述鱼眼相机20的光轴重合时，非线性畸变的作用很小。基于这一要求，并且参照如图10所示，根据实施为等距鱼眼相机的所述鱼眼相机20的投影原理，加上坐标变换，可得等距投影的数学模型为：
Figure PCTCN2016107427-appb-000034
Figure PCTCN2016107427-appb-000035
Figure PCTCN2016107427-appb-000036
其中，u，v是像空间坐标，Xw,Yw,Zw是世界坐标，x，y，X，Y，Z为中间变量，f为焦距，u0,v0为光轴在像空间的坐标，cy为y轴相对x轴的缩放系数，t为世界坐标系沿着光轴的平移量，θ为世界坐标绕着光轴的旋转角。F,u0,v0和cy构成标定所需辨识的参数，而t，θ为需额外辨识的参数。
另外，本发明的标定方法中还包括将所述标板10的中轴对准于所述鱼眼相机20的光轴的对准方法，具体地，根据本发明所采用的数学模型和原理，需将圆柱形标板10的中轴对准于所述鱼眼相机的光轴。进而避免对精密机械台的依赖，同时本发明设计了一种软件对准方法。
假定已经提取得n个特征点121[xi,yi]，如图7中200个所述特征点121，将这些特征点121按同心圆分组，假定一共具有k组，如图7中所示是10组，每组20个所述特征点121。将每组内的所述特征点121的坐标求平均，得该组的中心坐标
Figure PCTCN2016107427-appb-000037
j∈{1,...,k}。若所述标板10与所述鱼眼相机20的光轴已重合，则所有的
Figure PCTCN2016107427-appb-000038
应重合。相反，可根据
Figure PCTCN2016107427-appb-000039
的不重合程度，估计所述标板10与所述鱼眼相机20的光轴的不重合程度。
在软件对准方法实施过程中，取最外圈对应的下标j＝1，将
Figure PCTCN2016107427-appb-000040
Figure PCTCN2016107427-appb-000041
坐标处的像素突出显示，可得结果如图11所示。c为某一比较大的常数，用于放大显示
Figure PCTCN2016107427-appb-000042
的不重合度。图11提供了完整的反馈信息，以用于调整所述鱼眼相机20与所述标板10的相对位置。在图11中，其显示了在所述标定主机30的所述显示器31显示的测试图案50，其包括多个测试点51，每个所述测试点51基于上述按同心圆分组并将每组内的 所述特征点121的坐标求平均，得至该组的中心坐标而得到。例如在本发明的这个示例中，其具有10个所述测试点51，并且排列成大致U形形状，并且具有凹口52。
本发明的调整方法可以固定所述鱼眼相机20而调整所述标板10的位置，也可以移动所述鱼眼相机20而固定所述标板10。以移动所述鱼眼相机20而固定所述标板10，本发明的调整的方法是：按照
Figure PCTCN2016107427-appb-000043
的方向平移所述鱼眼相机20，调整所述鱼眼相机20的角度，使其偏向“图11中线条的凹口52”所指的方向。调整角度时，
Figure PCTCN2016107427-appb-000044
会离开
Figure PCTCN2016107427-appb-000045
用户需通过平移来使所述标板10的中轴与所述鱼眼相机20的光轴重新重合。同时平移过程不会产生角度的变化，所以这两种调整是没有矛盾的。完成对准的判断式为：
Figure PCTCN2016107427-appb-000046
其中ex,ey均小于设定值时，完成对准。完成对准后，可将特征点坐标[xi,yi]，i＝{1,...,n}，加上所述等距投影的数学模型，带入某一非线性优化算法，既得模型的参数。
相应地，本发明提供一种鱼眼相机的标定方法，其包括如下步骤：
(A)鱼眼相机20拍摄柱形立体标板10的特征图案12；
(B)连接至所述鱼眼相机20的标定主机30采集所述特征图案12的图像并提取特征点121；以及
(C)调用非线性优化算法，输入所述特征点121坐标，并基于标定用数学模型得到所述鱼眼相机20的参数。
相应地，在上述方法中，还包括非线性畸变的估计方法，其包括步骤:
(i)当所述标板10绕着所述鱼眼相机20的光轴旋转时，且其对着光轴的面始终对着光轴，则该所述标板10的所有像点的相对位置不变，即畸变为0；以及
(ii)当所述标板10沿着所述鱼眼相机20的光轴平移时，其几何中心的偏移情况可用下式估计：
Figure PCTCN2016107427-appb-000047
其中上式中，e为畸变量，Rw为标板的半径，f为所述鱼眼相机的焦距，Z2为特征点的高度，δz为沿着光轴的平移量，△r为畸变前斑点半径，△r1为畸变 后斑点半径。
进一步，本发明的所述标定方法的所述步骤(C)中地一步的包括如下的所述数学模型，当世界坐标系的Z轴与所述鱼眼相机20的光轴重合时，根据实施为等距鱼眼相机的所述鱼眼相机20的投影原理，加上坐标变换，可得等距投影的数学模型为：
Figure PCTCN2016107427-appb-000048
Figure PCTCN2016107427-appb-000049
Figure PCTCN2016107427-appb-000050
其中上式中，u，v是像空间坐标，Xw,Yw,Zw是世界坐标，x，y，X，Y，Z为中间变量，f为焦距，u0,v0为光轴在像空间的坐标，cy为y轴相对x轴的缩放系数，t为世界坐标系沿着光轴的平移量，θ为世界坐标绕着光轴的旋转角。f，u0,v0和cy构成标定所需辨识的参数，而t，θ为需额外辨识的参数。
另外，优选地，本发明的所述标板10是圆柱形标板，所述标定方法进一步地包括制作所述标板10的步骤(D)：
(D.1)制作具有特征图案12的圆柱面11；以及
(D.2)通过所述圆柱面11制作所述标板10。
其中所述步骤(D.1)中的所述特征图案12进一步地通过如下步骤制作：
(D.1.1)提供一投影前的斑点图案40，其具有多个斑点41，所述斑点41以同心圆为一组，分别一层一层往外延伸，同时所述斑点41又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角；
(D.1.2)将所述斑点图案40基于鱼机相机投影原理和所述圆柱面11的形状和尺寸进行投影，得到所述特征图案12的样式；
(D.1.3)将所述特征图案12印刷或粘贴于所述圆柱面11。
在所述步骤(D.2)中，所述圆柱面11卷成筒状从而制作圆柱形的所述标板10。或者其进一步地包括步骤：将具有所述特征图案12的所述圆柱面11贴合于 (如粘贴或其他附着固定方式)圆柱形的标板主体13从而得到所述标板10。
在上述标定方法中，其还包括步骤：将所述鱼眼相机20固定于一固定板60，从而便于控制所述鱼眼相机20，如调整所述鱼眼相机20的位置。
在本发明的步骤(B)和步骤(C)之间还包括将所述标板10的中轴对准于所述鱼眼相机20的光轴的对准步骤(E)，其包括步骤：
(E.1)提取n个所述特征点121并按同心圆分组，设定一共具有k组，将每组内的所述特征点121的坐标求平均，得该组的中心坐标
Figure PCTCN2016107427-appb-000051
并与所述鱼眼相机20的光轴进行判断是否重合；以及
(E.2)通过移动所述鱼眼相机20或移动所述标板10调整所述鱼眼相机20与所述标板10的相对位置。
在步骤(E.1)中，判别重合的依据是：
Figure PCTCN2016107427-appb-000052
当ex,ey均小于设定值时，完成对准。
优选地，在所述步骤(E.2)中，进一步地包括步骤：
(E.2.1)按照
Figure PCTCN2016107427-appb-000053
的方向平移所述鱼眼相机；以及
(E.2.2)调整所述鱼眼相机20的角度，调整角度时，
Figure PCTCN2016107427-appb-000054
会离开
Figure PCTCN2016107427-appb-000055
通过平移来使圆柱形标板10的中轴对准到与所述鱼眼相机20的光轴重新重合。
相应地，在调整所述鱼眼相机20的角度时，可以通过移动所述固定板60来完成。
并且在完成对准后，可将特征点坐标[xi,yi]，i＝{1,...,n}，加上所述等距投影的数学模型，带入某一非线性优化算法，既得模型的参数。
参照如图13所示是根据本发明的这个优选实施例的一个具体实施方式，其中所述标定系统包括所述圆柱形标板10，所述标定主机30和所述固定板60，其中待测试和标定的所述鱼眼相机20安装于所述固定板60，并且连接于所述标定主机30，并且与所述标板10位置对应从而便于拍摄所述标板10，在拍摄所述标板10以及有需要时平移所述标板10后获取图像数据并代入数学模型得到所述鱼相眼机的相关参数。
具体地，在一个具体的实施方案中，其包括如下步骤：
(1)测量所述标板10直径d，计算其周长。
(2)打印所述特征图案12，使其宽W等于圆柱体周长，然后尽可能准确地粘贴而形成所述标板10。
(3)连接所述鱼眼相机20和标定主机30(如电脑)，启动标定软件。
(4)软件实时采集图像，进行二值化处理，提取特征点121并求取各组特征点121的中心坐标。相应地二值化处理中，获取的图像灰度处理并且根据设定的灰度阈值得到二值化图像，从而得到所述特征点121的图像数据。
(5)显示对准情况。
(6)用户根据对准情况，调整相机。具体调整方法如下(相机的方位与显示的方位大体一致)：
①按照“动点”指向“不动点”的方向平移所述固定板60。
②所显示的U型线条40的底部指向所述固定板60的一处边缘时将该处边缘往后拉。
(7)判定是否已对准成功。若成功，则进入步骤(8)，否则进入步骤(4)。
(8)调用非线性优化算法，输入特征点坐标，计算相机的参数，输出结果。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (59)

  1. 一畸变图像校正方法，以用于鱼眼图像的校正，其特征在于，包括以下步骤：
    (1)确定校正参数；和
    (2)根据所述校正参数，确定校正算法；
    其中步骤(1)包括以下步骤：
    (11)确定多路鱼眼图像的成像范围和轮廓；和
    (12)根据多路所述鱼眼图像之间的相关性确定多路所述鱼眼图像的校正因子。
  2. 根据权利要求1所述的畸变图像校正方法，其中所述步骤(11)包括如下步骤：
    (113)叠加多路所述鱼眼图像，以得到一叠加图像；
    (114)线性压缩所述叠加图像，以得到一归一化图像；和
    (115)根据该归一化图像在各个位置的像素值，确定所述成像范围和轮廓。
  3. 根据权利要求2所述的畸变图像校正方法，其中在步骤(113)之前，所述步骤(11)包括如下步骤：
    (112)过滤所述多路鱼眼镜头的图像，以滤除噪声。
  4. 根据权利要求2所述的畸变图像校正方法，其中步骤(114)包括以下步骤：
    (1141)获取所述叠加图像的最大像素值Pmax和最小像素值Pmin；和
    (1142)根据所述叠加图像的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
    其中线性压缩采用以下公式进行：
    Figure PCTCN2016107427-appb-100001
    其中，px,y为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值，Px,y为叠加图像上坐标点(x,y)处的像素值。
  5. 根据权利要求3所述的畸变图像校正方法，其中步骤(114)包括以下步骤：
    (1141)获取所述叠加图像的最大像素值Pmax和最小像素值Pmin；和
    (1142)根据所述叠加图像的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
    其中线性压缩采用以下公式进行：
    Figure PCTCN2016107427-appb-100002
    其中，px,y为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值，Px,y为叠加图像上坐标点(x,y)处的像素值。
  6. 根据权利要求4所述的畸变图像校正方法，其中步骤(115)包括以下步骤：
    (1151)设定阈值Th；
    (1152)记录所述归一化图像上像素大于或者等于该阈值Th的点；
    (1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述成像范围和轮廓。
  7. 根据权利要求5所述的畸变图像校正方法，其中步骤(115)包括以下步骤：
    (1151)设定阈值Th；
    (1152)记录所述归一化图像上像素大于或者等于该阈值Th的点；
    (1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述成像范围和轮廓。
  8. 根据权利要求6所述的畸变图像校正方法，其中所述阈值Th能够通过以下公式获得：
    Figure PCTCN2016107427-appb-100003
    其中px,y为所述归一化图像在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
  9. 根据权利要求7所述的畸变图像校正方法，其中所述阈值Th能够通过以下公式获得：
    Figure PCTCN2016107427-appb-100004
    其中px,y为所述归一化图像在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
  10. 根据权利要求8所述的畸变图像校正方法，其中步骤(1152)包括以下步骤：
    (11521)从四个方向上对所述归一化图像进行扫描；和
    (11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
  11. 根据权利要求9所述的畸变图像校正方法，其中步骤(1152)包括以下步骤：
    (11521)从四个方向上对所述归一化图像进行扫描；和
    (11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
  12. 根据权利要求1～11中任意一项所述的畸变图像校正方法，其中步骤(1)还包括一步骤：
    (13)建立一平面直角坐标系；
    其中步骤(1152)还包括以下步骤：
    (11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点在所述平面直角坐标系中的坐标值精确定位所述鱼眼图像图像的圆心位置及成像半径；
    其中所述四个方向包括逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左，其中在分别逐行从上到下、逐行从下到上、逐列从左到右、逐列从右 到左扫描过程中遇到的第一个大于或者等于所述阈值Th的点分别被标记为
    Figure PCTCN2016107427-appb-100005
    其中步骤(1152)还包括以下步骤：
    (11524)分别计算两组对应坐标的垂直距离和水平距离，其中计算方式如下所示：
    d1＝|y1-y2|
    d2＝|x3-x4|
    (11525)确定所述鱼眼图像的成像直径d3为d1和d2中较大的数值，从而所述鱼眼图像的成像半径R＝d3/2；和
    (11536)确定所述鱼眼图像的圆心位置，其中所述圆心坐标为(xc,yc)，其中，
    Figure PCTCN2016107427-appb-100006
    Figure PCTCN2016107427-appb-100007
  13. 根据权利要求12所述的畸变图像校正方法，其中步骤(1)还包括以下步骤：
    (14)确定各路所述鱼眼图像的轮廓点在所述平面直角坐标系中的坐标点(xil,yi)；和
    (15)确定各路所述鱼眼图像的轮廓点距离图像中心的水平距离lik；
    其中
    Figure PCTCN2016107427-appb-100008
    其中xil为第i路鱼眼图像的轮廓点的水平坐标，yi为第i路鱼眼图像的轮廓点的垂直坐标，其中lik为第i路鱼眼图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
  14. 根据权利要求13所述的畸变图像校正方法，其中步骤(12)包括如下步骤：
    (121)检测多路所述鱼眼图像的角点；
    (122)检测叠加图像的角点；和
    (123)根据每一路所述鱼眼图像的角点以及所述叠加图像的角点，确定各路图像的所述校正因子αi。
    其中，步骤(121)中检测到的多路所述鱼眼图像的角点在所述平面直角坐标系中的坐标标记为(xik,yik)，其中i代表第几路视频，k代表视频当中的角点编号。
  15. 根据权利要求14所述的畸变图像校正方法，其中步骤(123)包括以下步骤：
    (1231)分别累加各路鱼眼图像的角点在所述平面直角坐标系中的横坐标值，以得到各路所述鱼眼图像的角点横坐标累加值Xi；
    (1232)累加所述叠加图像的角点在所述平面直角坐标系中的横坐标，以得到所述叠加图像的角点横坐标累加值XM；
    (1233)设定所述叠加图像的校正因子αM；和
    (1234)计算各路鱼眼图像的校正因子αi，其中αi＝αM·Xi/XM。
  16. 根据权利要求15所述的畸变图像校正方法，其中所述叠加图像的校正因子αM的数值范围在0.7和1.3之间。
  17. 根据权利要求16所述的畸变图像校正方法，其中步骤(2)进一步包括以下步骤：
    (21)根据步骤(1)中得到的校正参数，确定畸变校正公式如下：
    Figure PCTCN2016107427-appb-100009
  18. 根据权利要求17所述的畸变图像校正方法，其中在步骤(112)之前，所述步骤(11)还包括如下步骤：
    (111)采集多路镜头的棋盘格畸变图像。
  19. 根据权利要求18所述的畸变图像校正方法，其中所述畸变图像校正方法还包括以下步骤：
    (3)根据所述校正算法对多路鱼眼图像进行校正。
  20. 根据权利要求19所述的畸变图像校正方法，其中步骤(3)进一步包括以下步骤：
    (31)根据步骤(21)中的畸变校正公式，生成畸变校正表格。
  21. 根据权利要求20所述的畸变图像校正方法，其中步骤(3)进一步包括以下步骤：
    (32)将所述校正表格应用于嵌入式系统下多路高清鱼眼图像，以实现对所述多路高清鱼眼图像的实时校正。
  22. 一畸变图像定位方法，以用于鱼眼图像的定位，其特征在于，包括以下步骤：
    (113)叠加多路鱼眼图像，以得到一叠加图像；
    (114)线性压缩所述叠加图像，以得到一归一化图像；和
    (115)根据该归一化图像在各个位置的像素值，确定成像范围和轮廓。
  23. 根据权利要求22所述的畸变图像定位方法，其中在步骤(113)之前，所述鱼眼图像定位方法还包括如下步骤：
    (112)过滤所述鱼眼图像，以滤除所述鱼眼图像的噪声。
  24. 根据权利要求22所述的畸变图像定位方法，其中步骤(114)包括以下步骤：
    (1141)获取所述叠加图像的最大像素值Pmax和最小像素值Pmin；和
    (1142)根据所述叠加图像的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
    其中线性压缩采用以下公式进行：
    Figure PCTCN2016107427-appb-100010
    其中，px,y为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值，Px,y为叠加图像上坐标点(x,y)处的像素值。
  25. 根据权利要求23所述的畸变图像定位方法，其中步骤(114)包括以下步骤：
    (1141)获取所述叠加图像的最大像素值Pmax和最小像素值Pmin；和
    (1142)根据所述叠加图像的最大像素值Pmax和最小像素值Pmin对所述叠加图像IS进行线性压缩；
    其中线性压缩采用以下公式进行：
    Figure PCTCN2016107427-appb-100011
    其中，px,y为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值，Px,y为叠加图像上坐标点(x,y)处的像素值。
  26. 根据权利要求24所述的畸变图像定位方法，其中步骤(115)包括以下步骤：
    (1151)设定阈值Th；
    (1152)记录所述归一化图像上像素大于或者等于该阈值Th的点；
    (1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述鱼眼图像的成像范围和轮廓。
  27. 根据权利要求25所述的畸变图像定位方法，其中步骤(115)包括以下步骤：
    (1151)设定阈值Th；
    (1152)记录所述归一化图像上像素大于或者等于该阈值Th的点；
    (1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述成像范围和轮廓。
  28. 根据权利要求26所述的畸变图像定位方法，其中所述阈值Th能够通过以下公式获得：
    Figure PCTCN2016107427-appb-100012
    其中px,y为所述归一化图像在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
  29. 根据权利要求27所述的畸变图像定位方法，其中所述阈值Th能够通过以下公式获得：
    Figure PCTCN2016107427-appb-100013
    其中px,y为所述归一化图像在坐标点(x,y)处的像素值，W为所述归一化图像的图像宽度，H为所述归一化图像的图像高度。
  30. 根据权利要求28所述的畸变图像定位方法，其中步骤(1152)包括以下步骤：
    (11521)从四个方向上对所述归一化图像进行扫描；和
    (11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
  31. 根据权利要求29所述的畸变图像定位方法，其中步骤(1152)包括以下步骤：
    (11521)从四个方向上对所述归一化图像进行扫描；和
    (11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点。
  32. 根据权利要求22～31中任意一项所述的畸变图像定位方法，其中所述畸变图像定位方法还包括一步骤：
    (13)建立一平面直角坐标系；
    其中步骤(1152)还包括以下步骤：
    (11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值Th的点在所述平面直角坐标系中的坐标值精确定位所述鱼眼图像的圆心位置及成像半径；
    其中所述四个方向包括逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左，其中在分别逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左扫描过程中遇到的第一个大于或者等于所述阈值Th的点分别被标记为
    Figure PCTCN2016107427-appb-100014
    其中步骤(1152)还包括以下步骤：
    (11524)分别计算两组对应坐标的垂直距离和水平距离，其中计算方式如下所示：
    d1＝|y1-y2|
    d2＝|x3-x4|
    (11525)确定所述鱼眼图像的成像直径d3为d1和d2中较大的数值，从而所述鱼眼图像的成像半径R＝d3/2；和
    (11536)确定所述鱼眼图像的圆心位置，其中所述圆心坐标为(xc,yc)，其中，
    Figure PCTCN2016107427-appb-100015
    Figure PCTCN2016107427-appb-100016
  33. 根据权利要求32所述的畸变图像定位方法，其中所述畸变图像定位方法还包括以下步骤：
    (14)确定各路所述鱼眼图像的轮廓点在所述平面直角坐标系中的坐标点(xil，yi)；和
    (15)确定各路所述鱼眼图像的轮廓点距离图像中心的水平距离lik；
    其中
    Figure PCTCN2016107427-appb-100017
    其中xil为第i路鱼眼图像的轮廓点的水平坐标，yi为第i路鱼眼图像的轮廓点的垂直坐标，其中lik为第i路鱼眼图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
  34. 根据权利要求33所述的畸变图像定位方法，其中在步骤(112)之前，所述畸变图像定位方法还包括如下步骤：
    (111)采集多路鱼眼镜头的棋盘格图像。
  35. 一鱼眼相机的标定方法，其特征在于，包括如下步骤：
    (A)鱼眼相机拍摄柱形立体标板的特征图案；
    (B)连接至所述鱼眼相机的标定主机采集所述特征图案的图像并提取特征点；以及
    (C)调用非线性优化算法，输入所述特征点坐标，并基于标定用数学模型得到所述鱼眼相机的参数。
  36. 根据权利要求35所述的方法，其中所述标板呈圆柱形，所述标定方法进一步地包括制作所述标板的步骤(D)：
    (D.1)制作具有所述特征图案的圆柱面；以及
    (D.2)通过所述圆柱面制作所述标板。
  37. 根据权利要求36所述的方法，其中所述步骤(D.1)中的所述特征图案进一步地通过如下步骤制作：
    (D.1.1)提供一投影前的斑点图案，其具有多个斑点，所述斑点以同心圆为一组，分别一层一层往外延伸，同时所述斑点又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角；
    (D.1.2)将所述斑点图案基于鱼机相机投影原理和所述圆柱面的形状和尺寸进行投影，得到所述特征图案的样式；以及
    (D.1.3)将所述特征图案印刷或粘贴于所述圆柱面。
  38. 根据权利要求37所述的方法，其中在所述步骤(D.2)中，所述圆柱面卷成筒状从而制作圆柱形的所述标板。
  39. 根据权利要求37所述的方法，其中在所述步骤(D.2)中，进一步地包括步骤：将具有所述特征图案的所述圆柱面贴合于圆柱形的标板主体从而得到所述标板。
  40. 根据权利要求35至39中任一所述的方法，其中在上述方法中的步骤(D)中，还包括非线性畸变的估计方法:
    (i)当所述标板绕着所述鱼眼相机的光轴旋转时，且其对着光轴的面始终对着光轴，则该所述标板的所有像点的相对位置不变，即畸变为0；以及
    (ii)当所述标板沿着所述鱼眼相机的光轴平移时，其几何中心的偏移情况用下式估计：
    Figure PCTCN2016107427-appb-100018
    上式中，e为畸变量，Rw为所述标板的半径，f为所述鱼眼相机的焦距，Z2为 特征点的高度，δz为沿着光轴的平移量，△r为畸变前斑点半径，△r1为畸变后斑点半径。
  41. 根据权利要求40所述的方法，其中所述步骤(C)中进一步地包括如下的所述数学模型，当世界坐标系的Z轴与所述鱼眼相机的光轴重合时，根据所实施的等距鱼眼相机的投影原理，加上坐标变换，可得数学模型为：
    Figure PCTCN2016107427-appb-100019
    Figure PCTCN2016107427-appb-100020
    Figure PCTCN2016107427-appb-100021
    其中，u，v是像空间坐标，Xw,Yw,Zw是世界坐标，x，y，X，Y，Z为中间变量，f为焦距，u0,v0为光轴在像空间的坐标，cy为y轴相对x轴的缩放系数，t为世界坐标系沿着光轴的平移量，θ为世界坐标绕着光轴的旋转角，f，u0,v0和cy构成标定所需辨识的参数，而t，θ为需额外辨识的参数。
  42. 根据权利要求41所述的方法，其中所述步骤(B)和所述步骤(C)之间还包括将所述标板的中轴对准于所述鱼眼相机的光轴的对准步骤(E)，其包括步骤：
    (E.1)提取n个所述特征点并按同心圆分组，设定一共具有k组，将每组内的所述特征点的坐标求平均，得该组的中心坐标
    Figure PCTCN2016107427-appb-100022
    并与所述鱼眼相机的光轴进行判断是否重合；以及
    (E.2)通过移动所述鱼眼相机或移动所述标板调整所述鱼眼相机与所述标板的相对位置。
  43. 根据权利要求42所述的方法，其中在所述步骤(E.1)中所使用的判别依据是：
    Figure PCTCN2016107427-appb-100023
    当ex,ey均小于设定值时，完成对准。
  44. 根据权利要求42所述的方法，其中在所述步骤(E.2)中，进一步地包括步骤：
    (E.2.1)按照
    Figure PCTCN2016107427-appb-100024
    的方向平移所述鱼眼相机；以及
    (E.2.2)调整所述鱼眼相机的角度，调整角度时，
    Figure PCTCN2016107427-appb-100025
    会离开
    Figure PCTCN2016107427-appb-100026
    通过平移来使圆柱形标板的中轴对准到与所述鱼眼相机的光轴重新重合。
  45. 根据权利要求44所述的方法，还包括步骤：将所述鱼眼相机固定于一固定板，通过移动所述固定板调整所述鱼眼相机的位置。
  46. 根据权利要求44所述的方法，其中在完成对准后，将所述特征点坐标[xi,yi]，i＝{1,...,n}，加上所述等距投影的数学模型，带入所述非线性优化算法，即得所述数学模型的参数。
  47. 根据权利要求39所述的方法，所述标板制作过程进一步地包括如下步骤：
    (1)测量所述标板直径d，计算其周长；
    (2)打印所述特征图案，使其宽W等于所述圆柱形的标板主体的周长，然后粘贴所述特征图案于所述标板主体而形成所述标板。
  48. 根据权利要求35至39中任一所述的方法，在所述步骤(B)中，获取的图像灰度处理并且根据设定的灰度阈值得到二值化图像，从而得到所述特征点的图像数据。
  49. 根据权利要求44所述的方法，其中在调整所述鱼相相机的步骤中，进一步地包括步骤：
    在所述标定主机的显示器显示对应所述特征点的中心坐标的测试点，所述测试点呈现大致U形线条；按照“动点”指向“不动点”的方向平移所述固定板；所显示的所述U型线条的底部指向所述固定板的一处边缘时将该处边缘往后拉。
  50. 一鱼眼相机，其特征在于，采用如权利要求35-49中任一所述的方法标定得到。
  51. 一鱼眼相机的标定系统，其特征在于，包括：
    一圆柱形标板；以及
    一标定主机，待标定的一鱼眼眼机连接于所述标定主机，并且与所述标板位置对应从而便于拍摄所述标板，获取图像数据并代入一数学模型得到所述鱼 相眼机的相关参数。
  52. 根据权利要求51所述的标定系统，其中所述标板包括一圆柱形标板主体和设置于所述圆柱形标板主体的具有一特征图案的圆柱面。
  53. 根据权利要求52所述的标定系统，其中所述特征图案的样式与一斑点图案有如下对应的关系：
    所述斑点图案具有多个斑点，所述斑点以同心圆为一组，分别一层一层往外延伸，同时所述斑点又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角，并且所述斑点图案基于鱼机相机投影原理和所述圆柱面的形状和尺寸进行投影，得到对应的所述特征图案的样式。
  54. 根据权利要求53所述的标定系统，其中具有所述特征图案的所述圆柱面粘贴于或通过固定元件固定于圆柱形的所述标板主体。
  55. 根据权利要求51至54中任一所述的标定系统，还包括一固定板，其中所述鱼眼相机安装于所述固定板，以通过所述固定板调整所述鱼眼相机的位置。
  56. 一标板，以用于一鱼眼相机的标定，其特征在于，所述标板具有一特征图案，所述特征图案具有多个特征点，所述特征点沿着深度方向和沿着环绕的方向布置。
  57. 根据权利要求56所述的标板，其中所述标板是一圆柱形标板，所述特征图案设置于一圆柱面，其中所述特征图案的样式与一斑点图案有如下对应的关系：
    所述斑点图案具有多个斑点，所述斑点以同心圆为一组，分别一层一层往外延伸，同时所述斑点又以同一径向为一组，并从所述同心圆的圆心放射状延伸，各径向所形成的直线之间具有相等夹角，并且所述斑点图案基于鱼机相机投影原理和所述圆柱面的形状和尺寸进行投影，得到对应的所述特征图案的样式。
  58. 根据权利要求57所述的标板，其中所述特征图案通过打印或粘贴于所述圆柱面。
  59. 根据权利要求58所述的标板，其中所述标板包括一圆柱形的标板主体，其中具有所述特征图案的所述圆柱面粘贴或通过固定元件固定于所述标板主体
PCT/CN2016/107427 2015-11-30 2016-11-28 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 WO2017092631A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201510844966.8 2015-11-30
CN201510844966.8A CN106815866B (zh) 2015-11-30 2015-11-30 鱼眼相机的标定方法及其标定系统和标板
CN201510919593.6A CN106875341B (zh) 2015-12-11 2015-12-11 畸变图像校正方法及其定位方法
CN201510919593.6 2015-12-11

Publications (1)

Publication Number Publication Date
WO2017092631A1 true WO2017092631A1 (zh) 2017-06-08

Family

ID=58796274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/107427 WO2017092631A1 (zh) 2015-11-30 2016-11-28 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法

Country Status (1)

Country Link
WO (1) WO2017092631A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410140A (zh) * 2018-10-24 2019-03-01 京东方科技集团股份有限公司 一种畸变校正方法、装置、系统及计算机可读存储介质
CN109754434A (zh) * 2018-12-27 2019-05-14 歌尔科技有限公司 相机标定方法、装置、用户设备及存储介质
CN109801340A (zh) * 2019-01-16 2019-05-24 山西班姆德机械设备有限公司 一种基于图像处理的砂轮磨削方法
CN110059611A (zh) * 2019-04-12 2019-07-26 中国石油大学(华东) 一种智能化教室空余座位识别方法
CN110458894A (zh) * 2019-07-31 2019-11-15 天津大学 一种测量机的相机与接触式测头的标定方法
CN110610455A (zh) * 2019-09-18 2019-12-24 长江师范学院 一种鱼眼图像的有效区域提取方法
CN110689582A (zh) * 2019-09-03 2020-01-14 天津大学 全站仪摄像机标定方法
CN110930299A (zh) * 2019-12-06 2020-03-27 杭州视洞科技有限公司 一种基于半球展开的圆形鱼眼视频显示方案
CN111047650A (zh) * 2019-12-02 2020-04-21 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN111047639A (zh) * 2018-10-12 2020-04-21 富华科精密工业（深圳）有限公司 单目测距装置
CN111380668A (zh) * 2018-12-27 2020-07-07 浙江舜宇智能光学技术有限公司 一种深度相机的精度检测系统及其精度检测方法
CN111445534A (zh) * 2020-04-03 2020-07-24 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN111656391A (zh) * 2018-07-17 2020-09-11 华为技术有限公司 一种图像校正方法和终端
CN111784655A (zh) * 2020-06-24 2020-10-16 江苏科技大学 一种水下机器人回收定位方法
CN111798524A (zh) * 2020-07-14 2020-10-20 华侨大学 一种基于倒置低分辨率相机的标定系统及方法
CN111815710A (zh) * 2020-05-28 2020-10-23 北京易航远智科技有限公司 鱼眼相机自动标定方法
CN112258593A (zh) * 2020-10-23 2021-01-22 明峰医疗系统股份有限公司 单目相机下ct或pet-ct智能定位扫描方法
CN112435302A (zh) * 2020-12-09 2021-03-02 北京理工大学 一种基于高精度转台和平行光管的远距离大视场鱼眼相机标定方法
CN112747673A (zh) * 2020-12-25 2021-05-04 中国人民解放军陆军工程大学 一种基于标定筒的单目多线结构光传感器的标定方法
CN112862895A (zh) * 2019-11-27 2021-05-28 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN112927300A (zh) * 2021-01-07 2021-06-08 深圳市天双科技有限公司 一种全景摄像头标定方法
CN112967343A (zh) * 2021-01-20 2021-06-15 深圳视觉龙智能传感器有限公司 一种实现2d相机引导2.5d贴装的算法
CN112967344A (zh) * 2021-03-09 2021-06-15 北京百度网讯科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113327202A (zh) * 2021-03-30 2021-08-31 苏州微清医疗器械有限公司 一种图像畸变的矫正方法及其应用
CN113538283A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN113643205A (zh) * 2021-08-17 2021-11-12 安徽农业大学 一种鱼眼镜头的全场图像畸变校正方法
CN113850195A (zh) * 2021-09-27 2021-12-28 杭州东信北邮信息技术有限公司 一种基于3d视觉的ai智能物体识别方法
CN117392243A (zh) * 2023-12-13 2024-01-12 山东科技大学 基于图像处理的编码器安装位置检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061260A (ja) * 2007-09-21 2008-03-13 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法
KR20140072470A (ko) * 2012-12-05 2014-06-13 광운대학교 산학협력단 어안 렌즈용 왜곡 영상 처리 방법
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
CN104200454A (zh) * 2014-05-26 2014-12-10 深圳市中瀛鑫科技股份有限公司 鱼眼图像畸变校正方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061260A (ja) * 2007-09-21 2008-03-13 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法
KR20140072470A (ko) * 2012-12-05 2014-06-13 광운대학교 산학협력단 어안 렌즈용 왜곡 영상 처리 방법
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
CN104200454A (zh) * 2014-05-26 2014-12-10 深圳市中瀛鑫科技股份有限公司 鱼眼图像畸变校正方法及装置

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656391A (zh) * 2018-07-17 2020-09-11 华为技术有限公司 一种图像校正方法和终端
CN111656391B (zh) * 2018-07-17 2023-09-22 华为技术有限公司 一种图像校正方法和终端
CN111047639B (zh) * 2018-10-12 2023-08-18 深圳富联富桂精密工业有限公司 单目测距装置
CN111047639A (zh) * 2018-10-12 2020-04-21 富华科精密工业（深圳）有限公司 单目测距装置
CN109410140B (zh) * 2018-10-24 2021-02-26 京东方科技集团股份有限公司 一种畸变校正方法、装置、系统及计算机可读存储介质
CN109410140A (zh) * 2018-10-24 2019-03-01 京东方科技集团股份有限公司 一种畸变校正方法、装置、系统及计算机可读存储介质
CN109754434B (zh) * 2018-12-27 2023-08-29 歌尔科技有限公司 相机标定方法、装置、用户设备及存储介质
CN109754434A (zh) * 2018-12-27 2019-05-14 歌尔科技有限公司 相机标定方法、装置、用户设备及存储介质
CN111380668A (zh) * 2018-12-27 2020-07-07 浙江舜宇智能光学技术有限公司 一种深度相机的精度检测系统及其精度检测方法
CN109801340A (zh) * 2019-01-16 2019-05-24 山西班姆德机械设备有限公司 一种基于图像处理的砂轮磨削方法
CN109801340B (zh) * 2019-01-16 2022-09-27 山西班姆德机械设备有限公司 一种基于图像处理的砂轮磨削方法
CN110059611A (zh) * 2019-04-12 2019-07-26 中国石油大学(华东) 一种智能化教室空余座位识别方法
CN110059611B (zh) * 2019-04-12 2023-05-05 中国石油大学(华东) 一种智能化教室空余座位识别方法
CN110458894A (zh) * 2019-07-31 2019-11-15 天津大学 一种测量机的相机与接触式测头的标定方法
CN110458894B (zh) * 2019-07-31 2023-05-09 天津大学 一种测量机的相机与接触式测头的标定方法
CN110689582A (zh) * 2019-09-03 2020-01-14 天津大学 全站仪摄像机标定方法
CN110689582B (zh) * 2019-09-03 2023-06-09 天津大学 全站仪摄像机标定方法
CN110610455B (zh) * 2019-09-18 2022-10-11 长江师范学院 一种鱼眼图像的有效区域提取方法
CN110610455A (zh) * 2019-09-18 2019-12-24 长江师范学院 一种鱼眼图像的有效区域提取方法
CN112862895A (zh) * 2019-11-27 2021-05-28 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN112862895B (zh) * 2019-11-27 2023-10-10 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN111047650B (zh) * 2019-12-02 2023-09-01 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN111047650A (zh) * 2019-12-02 2020-04-21 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN110930299A (zh) * 2019-12-06 2020-03-27 杭州视洞科技有限公司 一种基于半球展开的圆形鱼眼视频显示方案
CN111445534A (zh) * 2020-04-03 2020-07-24 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN111445534B (zh) * 2020-04-03 2023-04-21 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN111815710B (zh) * 2020-05-28 2024-01-23 北京易航远智科技有限公司 鱼眼相机自动标定方法
CN111815710A (zh) * 2020-05-28 2020-10-23 北京易航远智科技有限公司 鱼眼相机自动标定方法
CN111784655B (zh) * 2020-06-24 2023-11-24 江苏科技大学 一种水下机器人回收定位方法
CN111784655A (zh) * 2020-06-24 2020-10-16 江苏科技大学 一种水下机器人回收定位方法
CN111798524B (zh) * 2020-07-14 2023-07-21 华侨大学 一种基于倒置低分辨率相机的标定系统及方法
CN111798524A (zh) * 2020-07-14 2020-10-20 华侨大学 一种基于倒置低分辨率相机的标定系统及方法
CN112258593A (zh) * 2020-10-23 2021-01-22 明峰医疗系统股份有限公司 单目相机下ct或pet-ct智能定位扫描方法
CN112258593B (zh) * 2020-10-23 2024-02-02 明峰医疗系统股份有限公司 单目相机下ct或pet-ct智能定位扫描方法
CN112435302A (zh) * 2020-12-09 2021-03-02 北京理工大学 一种基于高精度转台和平行光管的远距离大视场鱼眼相机标定方法
CN112435302B (zh) * 2020-12-09 2024-05-31 北京理工大学 一种基于高精度转台和平行光管的远距离大视场鱼眼相机标定方法
CN112747673A (zh) * 2020-12-25 2021-05-04 中国人民解放军陆军工程大学 一种基于标定筒的单目多线结构光传感器的标定方法
CN112747673B (zh) * 2020-12-25 2022-10-25 中国人民解放军陆军工程大学 一种基于标定筒的单目多线结构光传感器的标定方法
CN112927300A (zh) * 2021-01-07 2021-06-08 深圳市天双科技有限公司 一种全景摄像头标定方法
CN112967343A (zh) * 2021-01-20 2021-06-15 深圳视觉龙智能传感器有限公司 一种实现2d相机引导2.5d贴装的算法
CN112967344A (zh) * 2021-03-09 2021-06-15 北京百度网讯科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN112967344B (zh) * 2021-03-09 2023-12-08 阿波罗智联(北京)科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113327202A (zh) * 2021-03-30 2021-08-31 苏州微清医疗器械有限公司 一种图像畸变的矫正方法及其应用
CN113538283A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN113538283B (zh) * 2021-07-22 2024-04-30 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN113643205A (zh) * 2021-08-17 2021-11-12 安徽农业大学 一种鱼眼镜头的全场图像畸变校正方法
CN113643205B (zh) * 2021-08-17 2024-03-22 安徽农业大学 一种鱼眼镜头的全场图像畸变校正方法
CN113850195B (zh) * 2021-09-27 2024-05-28 新讯数字科技(杭州)有限公司 一种基于3d视觉的ai智能物体识别方法
CN113850195A (zh) * 2021-09-27 2021-12-28 杭州东信北邮信息技术有限公司 一种基于3d视觉的ai智能物体识别方法
CN117392243A (zh) * 2023-12-13 2024-01-12 山东科技大学 基于图像处理的编码器安装位置检测方法及系统
CN117392243B (zh) * 2023-12-13 2024-02-06 山东科技大学 基于图像处理的编码器安装位置检测方法及系统

Similar Documents

Publication Publication Date Title
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN107767422B (zh) 一种鱼眼镜头的校正方法、装置及便携式终端
AU2007254627B2 (en) Geometric parameter measurement of an imaging device
US8491128B2 (en) System and method for projection correction by capturing projection image
CN107886547B (zh) 一种鱼眼相机标定方法及系统
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN106815866B (zh) 鱼眼相机的标定方法及其标定系统和标板
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN110717942A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN105608671A (zh) 一种基于surf算法的图像拼接方法
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
CN106875341B (zh) 畸变图像校正方法及其定位方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN112598747A (zh) 一种单目相机与投影仪的联合标定方法
CN113012234A (zh) 基于平面变换的高精度相机标定方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
TWI705292B (zh) 判斷相機模組之組裝品質的方法
CN111179180B (zh) 影像的修正方法及其装置
CN110838147B (zh) 摄像模组检测方法及装置
JPH09329418A (ja) カメラのキャリブレーション方法
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质
JPH09329440A (ja) 複数枚の画像の各計測点の対応づけ方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16869941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16869941

Country of ref document: EP

Kind code of ref document: A1