WO2008066368A1 - Método y aparato para la restauración rápida tridimensional - Google Patents

Método y aparato para la restauración rápida tridimensional Download PDF

Info

Publication number
WO2008066368A1
WO2008066368A1 PCT/MX2007/000144 MX2007000144W WO2008066368A1 WO 2008066368 A1 WO2008066368 A1 WO 2008066368A1 MX 2007000144 W MX2007000144 W MX 2007000144W WO 2008066368 A1 WO2008066368 A1 WO 2008066368A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereo
calibration
images
cameras
image
Prior art date
Application number
PCT/MX2007/000144
Other languages
English (en)
French (fr)
Inventor
Miguel Octavio Arias Estrada
Alicia Morales Reyes
Maria Luisa Rosas Cholula
Gerardo SOSA RAMÍREZ
Original Assignee
Prefixa Vision Systems, S.A. De C.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prefixa Vision Systems, S.A. De C.V. filed Critical Prefixa Vision Systems, S.A. De C.V.
Priority to CA2707176A priority Critical patent/CA2707176A1/en
Priority to EP07851843A priority patent/EP2104365A4/en
Publication of WO2008066368A1 publication Critical patent/WO2008066368A1/es

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the present invention is related to stereo vision, particularly with a method and an apparatus for stereo and radiometric calibration, a three-dimensional stereo technique and depth calibration process to obtain dense detail depth maps without the need of previous knowledge of surface reflection.
  • Stereo vision consists in the restoration of three-dimensional data of an object seen from two or more points.
  • Some fields of application for stereo vision are industrial, such as quality control in production lines, where the concepts of inspection and sampling are required to eliminate defective products.
  • Another important field is in medicine, where highly detailed models are required by specialists. Obtaining dense and thorough three-dimensional models is computationally expensive and can cause bottlenecks in production lines.
  • Stereo vision generally involves several stages. First is A calibration process is necessary This process includes both stereo and radiometric aspects. After this, a correspondence analysis is applied to the stereo images and finally the three-dimensional model is obtained.
  • the calibration process generally consists of two stages: stereo and radiometric.
  • the radiometric or geometric calibration stage is solved by the geometric calibration of each camera independently and then a geometric transformation is applied to find the geometry of the stereo fixation.
  • This geometric calibration leads to the knowledge of the rotation and position of the camera (commonly called the parameters of the extrinsic parameters of the camera) and its internal characteristics (intrinsic parameters of the camera) such as focal length, position of the main point, difference in scale of the axes of the image and so on.
  • Tsai and Lens propose a practical solution to turn off the calibration of the camera support. This solution estimates the relative translation and rotation by introducing a limitation of radial alignment. Using these estimated values, the camera parameters can be derived for optimization.
  • the Tsai model is widely used in computer vision, and produces the poorest results among other widely used models.
  • DLT Direct Linear Transformation
  • Haralick's standard solution uses an iterative method to find three extrinsic parameters (three angles for rotation between the coordinated world and pinhole system) and seven intrinsic parameters (three camera distortion factors, the center of the image, as well as the scale factor as well as vertical and horizontal image coordinates)
  • a problem with Haralick's standard solution is that the nonlinear equation makes it impossible to have a direct solution.
  • the partial differentiation of the nonlinear equation is generally used and the high order of the nonlinear terms is omitted before the iteration is carried out. This means a good approximation of initial parameters can be available and cannot be guaranteed that the iteration has a convergent result.
  • a similar nonlinear optimization method is described in BROWN, D. C, "Closed Range Camera Calibration," Photogrammetric Engineering, vol 37, No.8, pp. 855-866, 1971, incorporated herein by reference.
  • Gintic model a new way of calibration derived from the Hararick model, known as the Gintic model, and is described in JIAN, X., MALCOLM; A. and ZHONGPING 1 F :, Precision micrometric camera calibration, SIMTech Technical Report (AT / 01/037 / PS) Singapore, 2001, incorporated herein by reference.
  • the Gintic model simplifies the equation of the Haralick model and guarantees that the optimal solution is always found, and this way finds the camera parameters that best describe the behavior of the camera.
  • the second stage of the calibration is the radiometric calibration. This step is necessary to recover information of the depth from the objects in the scene considering a reflection of unknown surface.
  • the calibration of the luminous anisotropy and the relative orientation of the anisotropy with respect to the chamber are filled completely after the radiometric calibration. Radiometric calibration is required in the hypothesis that the photo-response of the camera is not linear and spatially non-uniform and the lights are not isotropic.
  • the article JANKO, Z., DRBOHLAV, O, and SARA, R. "Radiometric calibration of a Helmholts stereo ring, which comes from the IEEE 2004 Computer Society Conference on Computer Vision and
  • the second step for the three-dimensional stereo restoration is the correspondence analysis that is commonly classified as both active and passive, depending on the lighting control.
  • the active approach adopts manipulation of stage lights, for example photometric stereo lighting, while passive methods do not depend on the way of stage lighting.
  • the distribution of the surface reflectance depends on the incidental lighting on the objects in the scene and the material of the object.
  • both active or passive approaches require both a prior consideration of the surface reflectance, both implicitly and explicitly.
  • the passive stereo approach implicitly assumes the reflectance of the surfaces. That is, they assume that the reflectance of the objects in the scene is the same without taking into account the point of view of the acquisition.
  • active stereo approaches establish a form of known parametric reflectance.
  • Another three-dimensional recovery technique refers to a system in which the scene is illuminated by a known geometric pattern of light. These are known as structured lighting systems, and these make use of the triangulation principle to compute the depth.
  • structured lighting systems These are known as structured lighting systems, and these make use of the triangulation principle to compute the depth.
  • the main disadvantage of structured light methods is that they require several image acquisitions (in the order of 4 to 32) under different lighting conditions to obtain a dense depth map, such that these recovery techniques are computation methods expensive, and these are currently not practical for fast 3D acquisition requests such as inspection on production lines or object modeling.
  • This technique in recent stereo takes advantage of the reflective symmetry of the surface.
  • the reflective symmetry, or reciprocity allows an arbitrary shape of the reflective surface.
  • the restrictions caused by optical properties inherent in surface materials are eliminated, and the depth recovery of any kind of surface can be obtained.
  • This stereo technique based on the reciprocity of reflectance has other advantages, for example, since stereo images have reciprocal irradiation, the specularities appear fixed on the surface, which is an advantage over other stereo approaches, because it is possible to match corresponding mirror regions.
  • semi-occluded regions are corresponding. In other words, a semi-occluded region in the left stereo image appears shaded in the right stereo image, and vice versa. This property can improve the quality of depth reconstruction since allows to determine the discontinuities of the depth.
  • textured and flat surfaces cannot be recovered using these conventional active or passive stereo techniques.
  • the invention provides a method and an apparatus for obtaining stereo images that satisfy the property of reflective reciprocity to retrieve depth information of an object placed in the visual field of an array of single or multiple stereo cameras.
  • This particular property of the surface reflectance allows the three-dimensional modeling of objects without considering their reflective distribution, that is, the system can manipulate surfaces without texture and speculation while conventional and photometric stereo techniques fail.
  • the present invention uses extended binocular that does not have any restrictions related to the projection geometry or the configuration of the arrangement of the camera.
  • the system uses a stereo and radiometric calibration process before capturing the images of the object.
  • the stereo calibration process requires two stereo pairs of a calibration pattern to model the intrinsic and extrinsic parameters of a single or multiple stereo camera array.
  • Radiometric calibration requires a single stereo pair of reciprocal images of a white calibration pattern to apply an isotropic light distribution to stereo images.
  • a stereo rectification process is applied to ensure epipolar contrast and retrieve the information of the depth of the object in the scene.
  • a dense three-dimensional model is obtained, according to the invention, by calibration in stereo and radiometric and rectification procedures. After this, a stereo rectification process is applied to ensure epipolar contrast. Then, an algorithm for three-dimensional recovery is applied on complementary epipolar lines in order to obtain dense depth data of the object in the scene. Finally, a depth map calibration process is applied to obtain a highly accurate 3D point cloud.
  • the system has a stereo head with an internal lighting control that includes a beam splitter to align the optical axis with the light beam.
  • an outdoor lighting distribution can be used, which consists in placing the light source near the optical center.
  • the device is designed considering an acquisition process which allows the automatic communication of light sources in stereo to ensure the reciprocity of images.
  • the system is fully automatic, easy to use, has a simple layout and calibration process.
  • the system is unique in that it requires only two images of the object for highly precise three-dimensional modeling of objects without considering their reflective distribution. Therefore, it is potentially faster than other scanners
  • 3D or 3D recovery systems such that, the system can be used in a wide range of applications such as metrology, quality control, medicine, dynamic three-dimensional modeling and the like.
  • the system of the present invention simplifies the control and light to obtain stereo images with symmetric curves of the intensity.
  • Other different photometric techniques in stereo this approach obtains the measurements of depth of the object in the scene directly, obviously the integration of the normal field means an important reduction of the computational cost.
  • one mode of the imaging device allows a stereo camera configuration with a parallel and converging optical axis. This option could also be applied to a system of deferred multivision cameras.
  • Figure 1 is a diagram of the general principle of the invention
  • Figure 2 is a diagram of the process of obtaining a general image.
  • Figure 3A is a diagram of the head of the camera considering an interior light control.
  • Figure 3B is a diagram of the head of the camera considering an external light control
  • Figure 4 is a diagnosis of the basic stereo recovery device.
  • Figure 5 is a general diagram of the 3D recovery process.
  • Figure 6 is a diagnosis of the possible extensions of the device.
  • Figure 7 is a block diagram of the stereo calibration process.
  • Figure 8 is a block diagram of the stereo rectification process.
  • Figure 9 is a block diagram of the radiometric calibration process.
  • Figure 10 is a block diagram of the radiometric rectification process.
  • Figure 1 1 is a block diagram of the three-dimensional recovery process considering the orthographic projection.
  • Figure 12 is a block diagram of the three-dimensional recovery process considering perspective projection.
  • Figure 13A is a diagram of the depth map calibration process.
  • Figure 1 3B is a branch of the depth map rectification process.
  • Figure 14 is a diagnosis of examples of three-dimensional recovery.
  • Figure 1 illustrates the general principle of the invention.
  • the left chamber 110 and the right chamber 120 capture images of the object 190.
  • a left light source 170 and a left beam splitter 130 are used such that the object 190 is illuminated along the left optical axis 150 when an image is captured by The right camera 120, and similarly a right light source 180 and a right beam splitter 140 are used to illuminate the object 190 along the right optical axis 160 when an image is captured by the left camera 110.
  • the left camera 210 captures an image of the object 230 when it is illuminated by the right light source 220. In the same way the left stereo image is obtained.
  • the right camera 240 captures an image of the object 230 when it is illuminated by the left light source 250. In the same, the right stereo image is obtained. After both images have been obtained, the present invention can retrieve depth information, as described in detail below.
  • Figures 3A and 3B illustrate in greater detail two alternative cameras and the lighting mechanism
  • Figure 4 shows a complete system for the calibration and modeling of a three-dimensional object of according to the invention.
  • the system illustrated in Figure 4 includes the camera and light source modules 410 and 420, which can be illuminated internally according to Figure 3A or alternatively externally illuminated according to Figure 3B.
  • the camera and modules of lighting sources 410 and 420 also include cameras and a PC-compatible interface. The cameras can be rotated to obtain the image of the object from multiple points of view. The rotation allows to consider different geometries.
  • the 3A includes a beam splitter 340 to align the optical axis 350 with the light beam originating from the light source 310 and passes through the lens 320.
  • the image sensor 330 is used to capture an image of an object and also includes in the diaphragm module 360 for the depth of the control field and the optics of the imaging 370.
  • the object to be reflected and illuminated is placed within the visual field of the camera 380.
  • the modules of the external lighting chamber, illustrated in Figure 3B include light sources 315.
  • the image sensor As in Figure 3B, the image sensor
  • the stereo light sources are automatically controlled , in a way that the symmetrical reciprocity of the irradiation of the image is obtained.
  • the cameras used in the modules illustrated in Figures 3A and 3B are They consist of CMOS digital image sensors and optical lenses.
  • An example of an image sensor that can be used in one embodiment of the invention is the CMOS MT9T001 Digital Image Sensor Vz inch at 3-Mega pixels manufactured by Micron Technology, Inc. The data sheet is incorporated in attached form to reference.
  • the MT9T001 sensor provides full-frame images in a wide range of formats.
  • the array of pixels in the CMOS sensor is configured as 2048 columns by 1536 rows.
  • Lenses of 25 mm or 12 mm are used alternately, depending on the field of view required for the image of the object.
  • the cameras are capable of obtaining full resolution RGB images at 12 frames per second (fps) and these are connected to a computer via a USB port.
  • said computer has a Pentium III processor at 1GHz and 512 Mb of
  • the object 460 to be modeled is placed on an up-down platform 470 within the field of view 450 of the camera array.
  • the baseline control 440 is used to move the modules of the cameras and the light sources left 410 and right 420 and the up-down stereo head control 430 is used to move the modules of the cameras and sources up and down of light 410 and 420.
  • the general principle of acquisition is illustrated. This principle makes it possible to acquire an image system of an object placed within the field of view of the camera array.
  • the camera arrangement can be rotated within a range of 40 degrees with ten degree shifts, such that the object can be reflected from 4x4 different views specified by the user.
  • the angular positions of the cameras are repeatable, the calibration process is repeated for accurate results.
  • the position of the camera and the angles are dependent on the application, and the method presented can be adapted to other multiple configurations of camera positions.
  • Figure 5 illustrates the overall calibration and the 3D calibration process.
  • the steps illustrated on the left represent the stereo calibration process and the steps illustrated on the right represent the 3D recovery process.
  • the cameras acquire three sets of images: stereo calibration images, radiometric calibration images, and 3D object calibration images.
  • a geometric calibration pattern is placed in the scene and in step 515 a set of calibration images is obtained in stereo.
  • step 520 performs the stereo calibration and step 525 generates the stereo calibration parameters.
  • a radiometric calibration pattern is placed in the scene and in step 535 a set of stereo calibration images is obtained.
  • step 540 performs the rectification in stereo
  • the radiometric calibration is performed
  • step 550 a set of radiometric calibration parameters is obtained.
  • the final step in the calibration process involves placing an object for the 3D calibration in the scene in step 591.
  • a 3D calibration object is placed in the scene and in step 592 a set of stereo images is obtained for calibration.
  • 3D In step 593 the stereo rectification process is performed, in step 594 the radiometric rectification process is performed, in step 595 the three-dimensional recovery process is performed and in step 596 the calibration map process is performed depth. Finally, in step 597 a set of 3D calibration parameters is obtained.
  • Step 560 Calibration only needs to be done once in a previous process step to obtain a particular array of cameras. Subsequently, an object to be recovered is placed in the scene in step 560 and a set of images is acquired in step 565. As explained in detail below, a stereo rectification process occurs in step
  • step 570 followed by the radiometric rectification process in step 575, a three-dimensional recovery process in step 580 and a depth map rectification in step 585.
  • the acquisition and processing of the images is automated after the object has been put in the field of view of the cameras. Then, the three-dimensional recovery is fully achieved automatically.
  • the object used for 3D calibration images is a calibration object or pattern with the visually perceptible features painted on it.
  • the radiometric calibration image set is acquired from a calibration object or pattern with a uniformly distributed gray level. This set of images are acquired while the calibration object is illuminated with automatically switched stereo light sources.
  • the image set of the object is acquired while the object is illuminated with automatically switched stereo light sources.
  • This game allows three-dimensional modeling of objects without considering their reflectance distribution as described in greater detail below.
  • the acquired image system can be displayed on a monitor while acquiring the images.
  • the system of the present invention only uses two images of the object to perform three-dimensional modeling of objects without considering their reflectance distribution.
  • the system takes advantage of the symmetry of the reflection of surfaces, that is, the system can manipulate surfaces without texture and speculate.
  • the present invention uses interior lighting sources to align the optical axis with the light beam. This allows the automatic communication of the stereo light source to ensure the reciprocity of the images.
  • the lights may be in an external location; cameras or objects can be rotated to acquire full 360-degree 3D models;
  • the system can be compensated by stereo cameras and arrangements of light sources 610 organized in different configurations on a rotating platform 640 up-down, for the image of the object 630 placed in the visual field 620 of different views, as shown in Ia Figure 6
  • the images are acquired using a Bayer Filter mosaic organization technique, which can be used since the virgin output of the Bayer Filter cameras is available. Since each pixel is filtered to register only one of three colors, two thirds of the color data is missing in each pixel. To obtain a fully colored image, several mosaic-based algorithms can be used to interpolate a system of full red, green and blue values for each point.
  • the bi-linear interpolation algorithm can be applied for the recovery of the fully colored image.
  • These algorithms calculate the full red, green and blue values for each pixel as follows:
  • the stereo calibration image system is acquired by placing a calibration object or pattern in the visual field of the camera arrangement and, if necessary, adjusting the position and opening of the cameras.
  • the image system of the calibration of a known calibration object is acquired.
  • the known calibration object consists of a chess board pattern.
  • the calibration target With the up-down platform the calibration target is placed in two Different distances, thus, two images of the calibration target are taken from each of the cameras.
  • the parameters of the cameras are determined using a calibration procedure for a stereo system, which is described in more detail below.
  • the radiometric calibration imaging system is acquired by placing a calibration object or pattern within the visual field of the camera array.
  • the radiometric calibration imaging system of a known gray level pattern (for example a white balance test pattern) is acquired from each of the cameras.
  • the light sources are automatically switched.
  • the 3D calibration object for example a rectangular caliper block, is placed within the visual field of the camera array, and the image system of the calibration object is acquired when the light sources are switched automatically.
  • the object is placed within the visual field of the camera array, and the Object image system is acquired when light sources are switched automatically.
  • the location of the object is within the limit of the geometric calibration target.
  • Figure 7 illustrates the stereo calibration procedure.
  • the stereo calibration requires three sets of coordinate pairs of the scene image. This coordinate system of the scene is measured directly in the calibration pattern, the two corresponding coordinate pairs of the image have to be detected in the acquisition of the images from each of the cameras. In order to allow such detection, the pattern is equipped with the visually significant features painted on it; These characteristics are called control points.
  • the images on the left of the calibration pattern are entered in step 710 and the images on the right of the calibration are entered in step 720.
  • Positions of control points in acquired images are detected with a detection algorithm.
  • This self-detection algorithm is based on the Harris method of corner detection which calculates an operator of defined interest according to the self-correlation of Gaussian flattened images. This size of the mask of the convolution gives a compensation between the location of the corners and the amount of noise excluded.
  • the self-correction can be defined as the sum of the difference in intensities of the image:
  • ⁇ l ⁇ x, ⁇ y) ⁇ ⁇ lfi + &, j + Sy) - I 1 (Uj)? (D ⁇ j 6 serving
  • the two eigenvalues of N are proportional to the principal curvatures of N and their functions must have the property of the rotary invariance.
  • K is a constant value.
  • the corner is defined at the local maxima in the two dimensional quadratic portions adjusted to ⁇ (x, y), resulting in the precision of the sub-pixel,
  • the camera calibration model defines ten initial parameters for each camera, these parameters are: ⁇ , rotation angle around the x-axis; ⁇ , angle of rotation around the y-axis; K angle of rotation around the z-axis; a Ul focal length of the u-axis; a v , focal length of the v-axis; k ⁇ , k 2 , k 3 , parameters of the radial geometric distortion of the lens; ⁇ u p , v p ), main point in the coordinates of the image.
  • the relationship between the world coordinate system and the reference coordinate system of the camera can be represented by the following equation:
  • This model uses 14 parameters i ⁇ XL , at 2L ... g ⁇ L , g 2L ) for the left chamber and 14 parameters ⁇ a XR , at 2R ... g ⁇ R , g 2R ) for the right chamber to describe the cartography of the 3D world ⁇ n and n z n to the coordinates of the 2D image u nL and v nL for the left camera yu nR and v nR for the right camera.
  • These parameters are represented by box 780.
  • the linear equation (8) and (9) used in step 750 can be solved and always lead to a stable result when at least seven points of the calibration target are available for each chamber. Localized calibration
  • the localized calibration 760 comes from the observation that the distortion of the lenses of the camera is never symmetrical and thus cannot be represented by normal parameters such as k ⁇ , k 2 and & 3 .
  • the idea of the localized calibration is segmented from the total calibration area in overlapping sections, where we can achieve the parameters of the localized calibration for each section that best describes the behavior of the camera there.
  • a, b, c, d, e, f, g are the parameters defined by the camera model, x n , and n , z n , are the world coordinates and u n , v n are the coordinates of the image for the x axis, and the y axis.
  • Equations (10) and (11) can be applied to the input of stereo images 810 and 820 in step 840 using their respective calibration parameters 830: ⁇ a ⁇ L , a u ... g ⁇ L , g 2L ) to The left image
  • the radiometric calibration method defines an effective sensitivity function for a mixture of a small number of certain semi-defined positive nuclei, ker (/)
  • the known geometry is inserted into the scene and images 910 and 920 of the object are required, the points of the surface x s , xl, 2 ... S are sampled in step 940 of the known parametric model of the calibration object.
  • the 3-D x s points are projected to the image via the geometric calibration parameters in step 930.
  • the 3D point x s provides a linear equation in a o '. ⁇ In total, S equations are obtained for unknown nxL (L is unknown for each of the n cameras).
  • the system is then solved by the method of the smaller square in step 960. This radiometric calibration procedure is shown in Figure 9.
  • the radiometric rectification processes are performed , that is, the radiometric calibration parameters are applied to stereo images, such that isotropic illumination is satisfied in each epipolar line.
  • the optical basis of the stereo restoration technique is based on the BRDF (Bidirectional Distribution Function of
  • the reciprocity is to exploit the symmetry of the surface reflection. This optical property is achieved if the light sources and the position of the camera satisfy the condition that the radiation energy falls on the plane of the image, depends only on the surface shape and is independent of the BRDF.
  • the way to obtain these conditions is with a stereo assembly. For example, if a camera and the light source are placed and separated by a known distance (the baseline); then the left image is obtained with the camera in the left position and the light source in the right position. After this, the camera and the light source are exchanged to obtain the right image. Positions for Left and right cameras are defined by O 1 and O r . A space point P has two direction vectors and these are defined by V 1 and V r . Finally, the normal surface at that point is denoted by ⁇ .
  • the process of restoring the depth is applied to geometric stereo and radiologically reciprocal images 1 140 and 1 150, that is, the epipolar geometric constraint is satisfied which means that the search space for the corresponding points is reduced from a 2D arrangement (a matrix) to a 1 D arrangement (a vector), in addition, both images of the stereoscopic pair have a distribution of isotropic light.
  • a geometric frame is established for a stereoscopic coplanar arrangement of the chamber, that is, the left and right optical axes are parallel.
  • the initial parameters are set in step 1120.
  • a point on the surface P (X, Y, z) is projected on the plane of the image as p ( ⁇ , y) in step 1130.
  • e, ( ⁇ , y) and r ( ⁇ r , y) 1160 are the reciprocal intensities of the image for each point of the image.
  • This partial differential equation 1180 can be solved by a numerical integration methodology, restricted by an initial condition established in step 1120. For each epipolar line a known depth value is required for a point on the surface to integrate along the epipolar lines
  • the direction vectors 1270 for both cameras are calculated from the spatial and
  • the 3D calibration process is performed by adjusting the depth map measurements 1340 to a set of previously known measurements 1330 of a very precise 3D calibration object such as a triangular gauge block.
  • the depth map adjustment is carried out by computing the parameters of the depth map calibration model by minimizing the square distance between the measurements of the 3D calibration object and the corresponding depth map measurements.
  • the parameters of the 3D 1360 calibration model include a scalar factor a and a ⁇ compensation. Equation (19), used in step 1350, defines the depth map calibration ratio.
  • the set of measurements 1330 of a 3D calibration object are selected and obtained manually, and the 3D calibration process adjusts those measurements to a plane in the scene coordinate system.
  • This plane is used the calibration of the depth map size
  • the points of the image correspond to the scene coordinate points of the 3D calibration object also form a plane.
  • Figure 14 shows two graphs of the depth map 1420 and 1440 in micron level scale.
  • the graphs illustrate the models of two metal parts obtained with the present invention, a heat sink 1410 and an easel 1430.
  • the present invention is a method and apparatus for stereo and radiometric calibration and a three-dimensional stereo technique for obtaining accurate dense maps without prior knowledge of surface reflectance.
  • the system only uses two images of objects for three-dimensional modeling of objects without Estimate its reflective distribution.
  • the system takes advantage of the reflective surface symmetry, that is, the system can manipulate textured surfaces and specular surfaces.
  • the system also sources interior lighting to align the optical axes with the beam of light.
  • the system allows automatic communication of light sources in stereo to satisfy the reciprocity of images.
  • different wavelengths of light could be used to improve the contrast of the surface for good quality in the recovered 3D information.
  • different wavelengths can be used in combination (reflected with different colors, infrared or UV) to recover better 3D surfaces using differential methods.
  • the use of polarized lighting and / or polarizers in the heads of the camera for 3D recovery using image capture in a single time is also possible in alternative modalities, or to recover good 3D estimates using the polarized light reflection equations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

La presente invención comprende un método y un aparato para modelado tridimensional usando el principio de visión en estéreo con un sistema de iluminación integrado para permitir restaurar la profundidad sin previo conocimiento de la reflexión de la superficie. El método incluye varios pasos iniciales por calibración en estéreo y radiométrica y procesos de rectificación para obtener resultados precisos. Además, una técnica en estéreo activa es aplicada para restaurar mapas de profundidad densa a partir de un simple par de imágenes en estéreo. Esta técnica es una combinación de los acercamientos convencionales y fotometría en estéreo y se basa en la propiedad de reciprocidad de Ia reflexión el cual considera una distribución superficial arbitraria de la reflexión. Esta propiedad particular se obtiene si el objeto a restaurarse es adquirido bajo condiciones de iluminación específicas provistas por la invención. Después la técnica en estéreo activa se aplica un proceso de calibración del mapa con profundidad. El método también incluye un procedimiento de adquisición de imagen para obtener los juegos de imágenes necesarias para calibración, rectificación y procesos de restauración tridimensional. El aparato para la adquisición de imágenes en estéreo comprende fuentes de luz internas, estás están comunicadas automáticamente por un control de iluminación para asegurar la propiedad de reciprocidad, una cabeza de cámara en estéreo compuesta por las ópticas necesarias para adquirir las imágenes en etéreo reciprocas y una interfase compatible con PC. Posiciones de fuentes de luz externas pueden considerarse como una extensión de este aparato. El método y aparato pueden extenderse a otras cámaras o configuraciones de fuentes de luz para adquirir objetos grandes y/o puntos múltiples de adquisición de vistas. Esta invención es potencialmente más rápida que otros escáner 3D o sistemas de restauración 3D puesto que requiere solamente dos imágenes para obtener modelos profundos de objetos con una distribución de la superficie de reflexión arbitrari a tal que, Ie sistema puede usarse en un amplio rango de aplicaciones tal como metrología, control de calidad, modelado tridimensional medico y dinámico.

Description

MÉTODO Y APARATO PARA LA RESTAURACIÓN RÁPIDA
TRIDIMENSIONAL
CAMPO DE LA INVENCIÓN
La presente invención está relacionada con Ia visión en estéreo, particularmente con un método y un aparato para calibración en estéreo y radiométrica, una técnica en estéreo de tres dimensiones y proceso de calibración de planos con profundidad para obtener mapas de profundidad de detalle denso sin necesidad de conocimiento previo de reflexión de superficie.
ANTECEDENTES DE LA INVENCIÓN
La visión en estéreo consiste en Ia restauración de datos tridimensionales de un objeto visto desde dos o más puntos. Algunos campos de aplicación para Ia visión en estéreo son industriales, tal como control de calidad en las líneas de producción, donde los conceptos de de inspección y muestreo se requieren para eliminar productos defectuosos. Otro importante campo de es en medicina, donde modelos altamente minuciosos son requeridos por los especialistas. El obtener modelos tridimensionales densos y minuciosos es computacionalmente caro y puede causar cuellos de botella en las líneas de producción.
La visión estéreo involucra generalmente varias etapas. Primero es necesario un proceso de calibración Este proceso comprende tanto aspectos estéreos como .radiométricos. Después de esto, un análisis de correspondencia es aplicado a las imágenes en estéreo y finalmente se obtiene el modelo tridimensional.
El proceso de calibración consiste generalmente de dos etapas: estéreo y radiométrico. La etapa de calibración radiométrica o geométrica es resuelta por Ia calibración geométrica de cada cámara independientemente y entonces se aplica una transformación geométrica para encontrar Ia geometría de Ia fijación en estéreo. Esta calibración geométrica conduce al conocimiento de Ia rotación y posición de Ia cámara (comúnmente llamados los parámetros los parámetros extrínsecos de Ia cámara) y sus características internas (parámetros intrínsecos de Ia cámara) tales como distancia focal, posición del punto principal, diferencia en escala de los ejes de Ia imagen y así.
Existen varios métodos de calibración que han sido descritos para ser usados con cámaras comercialmente disponibles. Uno de tales ejemplos es descrito en TSAI, R. Y., "Una técnica eficiente y minuciosa de calibración de cámara para máquina de visión 3 D", "Conferencias de
Procedimientos IEEE en visión computarizada y reconocimientos de patrones (CVPR), Miami Beach, FL, 1986, Pág. 364-374, y también en LENZ, R. K. y TSAI, R. Y., "Técnicas para calibración del factor de escalas para y centro de Ia imagen para metrología de máquina de visión 3-D de alta exactitud," Transacciones IEEE en análisis de patrones e inteligencia artificial, 10(5):713-720, septiembre de 1988, ambos de incorporados aquí por referencia. En estos artículos, Tsai y Lens proponen una solución práctica para apagar Ia calibración del soporte de Ia cámara. Esta solución estima Ia translación y rotación relativa introduciendo una limitación de alineamiento radial. Usando estos valores estimados, los parámetros de Ia cámara pueden ser derivados por para optimización. Sin embargo el modelo de Tsai es ampliamente usado en visión computarizada, y produce los más pobres resultados entre otros modelos también ampliamente usados.
Otro método popular es conocido como "Transformación lineal directa" (DLT) y es descrito en ABDEL, AZIS, Y. I. y KARARA, H. M., "Transformación lineal directa en coordinados espacios objetivos en fotogrametría de rengo cerrado;" En Simposios de Procedimientos de Fotogrametría de Rengo Cerrado, pp. 1-18, Universidad de Illinois, Urbana, 1971, incorporada en Ia presente como referencia. Una limitación del modelo DLT es que no se fija en Ia distorsión de los lentes, que puede afectar severamente Ia precisión de Ia medida.
Otra técnica de calibración clásica es conocida como solución estándar de Haralick, y es descrita en HARALICK, R: y SHAPIRO, L, Visión computarizada y robotizada, Volumen II. Capítulo 13, "Geometría
Proyectiva en Perspectiva," pp. 43-124, AddisonWesley, Reading, MA,
1993 y en POELZLEITNER, W. y ULM, M., "Estudio Comparativo de algoritmos con aplicación a Ia navegación de naves espaciales, "Procedimientos de SPIE, "vol. 2350, Videometrics III, Sabry F. Haking
Editor, Octubre 1994, pp. 187-196, ambas son incorporadas aquí como referencia. La solución estándar de Haralick usa un método iterativo para encontrar tres parámetros extrínsecos (tres ángulos para Ia rotación entre el sistema coordinado del mundo y de agujero alfiler) y siete parámetros intrínsecos (tres factores de distorsión de cámara, el centro de Ia imagen, así como el factor de escala tanto como coordenadas de imagen vertical y horizontal) Un problema con Ia solución estándar de Haralick es que Ia ecuación no lineal hace imposible tener una solución directa. Así, Ia diferenciación parcial de Ia ecuación no lineal se usa generalmente y el orden alto de los términos no lineales es omitido antes de que Ia iteración se lleve a cabo. Esto significa una buena aproximación de parámetros iniciales pueden ser disponibles y no pueden ser garantizado que Ia iteración tenga un resultado convergente. Un método de optimización no lineal similar es descrito en BROWN, D. C, "Calibración de cámara de rango cerrado," Photogrammetric Engineering, vol 37, No.8, pp. 855-866, 1971, incorporados aquí como referencia.
Muchas de las desventajas de los métodos ya discutidos están dirigidas a una nueva manera de calibración derivado del modelo Hararick, conocido como el modelo Gintic, y es descrito en JIAN, X., MALCOLM; A. y ZHONGPING1 F:, Calibración de cámara con precisión a nivel micrométrico, SIMTech Technical Report (AT/01/037/PS) Singapur, 2001, incorporado aquí de referencia. El modelo Gintic simplifica Ia ecuación del modelo Haralick y garantiza que Ia solución óptima se encuentre siempre, y esta manera encuentra los parámetros de cámara que mejor describen el comportamiento de Ia cámara.
La segunda etapa de Ia calibración es Ia calibración radiométrica. Este paso es necesario para recobrar información de Ia profundidad desde los objetos en Ia escena considerando un reflejo de superficie desconocido. La calibración de Ia anisotropía luminosa y Ia orientación relativa de Ia anisotropía con respecto a Ia cámara son llenados completamente después de Ia calibración radiométrica. La calibración radiométrica se requiere en Ia hipótesis de que Ia foto-respuesta de Ia cámara no es lineal y espacialmente no uniforme y las luces no son isotrópicas. El artículo JANKO, Z., DRBOHLAV, O, y SARA, R., "Calibración radiométrica de un anillo estéreo Helmholts, que procede de Ia Conferencia de Ia Sociedad de Computación IEEE 2004 en Visión Computarizada y
Reconocimientos de Patrones, 27 de junio - 2 de julio 2004, vol. 1, pp. 166-171, incorporado aquí como referencia, ilustra que Ia calibración radiométrica mejora Ia minuciosidad de Ia recuperación de los datos de profundidad.
Después de Ia calibración, el segundo paso para Ia restauración estéreo tridimensional es el análisis de correspondencia que es comúnmente clasificado tanto como activa, como pasiva, dependiendo del control de iluminación. La aproximación activa adopta manipulación de luces escénicas, por ejemplo iluminación estéreo fotométríca, mientras los métodos pasivos no dependen de Ia manera de iluminación escénica. La distribución de Ia reflectancia de superficie depende de Ia iluminación incidental sobre los objetos en Ia escena y el material del objeto. Sin embargo, tanto las aproximaciones activas o pasivas requieren ambas una consideración previa de Ia reflectancia de Ia superficie, tanto implícitamente como explícitamente. La aproximación estéreo pasiva asume implícitamente Ia reflectancia de las superficies. Esto es, estas asumen que Ia reflectancia de los objetos en Ia escena es Io mismo sin tomar en cuenta el punto de vista de Ia adquisición. Por otra parte, aproximaciones estéreo activas establece una forma de reflectancia paramétrica conocida. Esto es, ellos calculan una función de reflectancia a partir de diferentes modelos físicos, y más tarde ellos incluyen esta función en Ia recuperación constreñida. Ambas consideraciones no son válidas en el mundo real, puesto que Ia reflectancia depende de diferentes aspectos, tales como las características ópticas de superficie, ángulo de incidencia de Ia iluminación, posición de los puntos ópticos, etc.
Otra técnica de recuperación tridimensional se refiere a un sistema en el que Ia escena es iluminada por un patrón geométrico de luz conocido. Estos son conocidos como sistemas de iluminación estructurados, y estos hacen uso del principio de triangulación para computar Ia profundidad. La desventaja principal de los métodos de luz estructurados es que esos requieren varias adquisiciones de imágenes (en el orden de 4 a 32) bajo diferentes condiciones de iluminación para obtener un mapa de profundidad densa, tal que, estas técnicas de recuperación son métodos de computo costosos, y estos actualmente no son prácticos para solicitudes de adquisición 3D rápidas tal como inspección en líneas de producción o modelado de objetos.
Recientemente una nueva técnica en estéreo se ha propuesto en MAGDA,
S., KRIEGMAN, D., ZICKLER, T., y BELHUMEUR, P., "Más allá de Lambert: Reconstrucción de superficies con BRDFs arbitrario," Procedimiento de Ia Conferencia Internacional en Visión por Computadora (ICCV)1 2001, Pág. 391-399, y ZICKLER, T., BELHUMEUR, P., y KRIEGMAN , D., "Helmoholtz Estereopsis: Explora reciprocidad para Reconstrucción de Superficie," Procedimientos de Ia 7ma Conferencia Europea en Visión por Computadora (ECCV), mayo del 2002, vol. 3, Pág.
869-884, ambos son incorporados como referencia. Esta nueva aproximación se propone para alcanzar Ia recuperación de información de profundidad de objetos en escena considerando una superficie con reflectancia arbitraria y desconocida.
Esta técnica en estéreo reciente toma ventaja de Ia simetría reflectante de Ia superficie. La simetría reflectante, ó reciprocidad, permite una forma arbitraria de Ia superficie reflectante. De esta manera, bajo un ambiente de iluminación controlada, las restricciones causadas por propiedades ópticas inherentes para los materiales superficiales son eliminadas, y Ia recuperación de profundidad de cualquier clase de superficie puede obtenerse.
Esta técnica en estéreo basada en Ia reciprocidad de reflectancia tiene otras ventajas, por ejemplo, puesto que las imágenes en estéreo tienen irradiación reciproca, las especularidades aparecen fijas sobre Ia superficie, Io cual es una ventaja sobre otras aproximaciones en estéreo, porque es posible igualar regiones especulares correspondientes. Por otra parte, regiones semi-ocluidas son correspondientes. Es decir una región semi-ocluida en Ia imagen en estéreo izquierda aparece sombreada en Ia imagen en estéreo derecha, y viceversa. Esta propiedad puede mejorar Ia calidad de Ia reconstrucción de profundidad puesto que permite determinar las discontinuidades de Ia profundidad. Además, las superficies sin textura y planas no pueden ser recuperadas usando estas técnicas en estéreo convencionales activas o pasivas.
Una simplificación del argumento en estéreo multi-ocular es presentado en ZICKLER, T., HO, J., KRIEGMAN, D., J., y BELHUMEUR, P., Εstereopsis Helmholtz Binocular." Procedimientos de Ia Conferencia Internacional en Visión por Computadora (ICCV), 2003, Pág.1411-1417, Incorporado aquí como referencia. Estos artículos proponen un método para como un mapa de profundidad densa puede ser recuperado de un solo par de imágenes en estéreo recíprocas, considerando proyección de puntos ortográficos.
Desafortunadamente, estos artículos no ilustran como tal técnica puede integrar fácilmente con los procesos de calibración. En particular, un proceso de calibración mecánica se asume en que las cámaras son reposicionadas y se realizan las mediciones detalladas. El artículo ya mencionado tampoco ilustra los pasos implicados en el acercamiento propuesto. Además el acercamiento de Zickler's establece un análisis en estéreo considerando una proyección ortográfica del punto. Este tipo de geometría de Ia proyección puede alcanzarse si Ia disposición en estéreo está lejos de los objetos de Ia escena. Por Io tanto, está restricción elimina Ia posibilidad llevarlo a Ia práctica para que pueda usarse en operaciones industriales en donde el espacio es un factor limitativo importante.
Por consiguiente, hay una necesidad de un método y aparato para Ia recuperación tridimensional de Ia profundidad utilizando el concepto de Ia reciprocidad de Ia reflectancia que no tenga las limitaciones indicadas arriba. En particular, hay una necesidad de un sistema completo, es decir, un método y aparato prácticos, que aborde todas las etapas de un proceso de recuperación tridimensional altamente exacto, desde calibración de Ia cámara a un proceso de ajuste de Ia ultima rejilla, incluyendo, incluyendo algunas tareas específicas relacionadas con Ia propiedad de reflectancia reciproca. Por otra parte, un sistema completo debe satisfacer los requerimientos en tiempo real de solicitudes tales como inspección industrial.
BREVE DESCRIPCIÓN DE LA INVENCIÓN
La invención proporciona un método y un aparato para obtener imágenes en estéreo que satisfacen Ia propiedad de reciprocidad reflectante para recuperar información de profundidad de un objeto puesto en el campo visual de un arreglo de cámaras en estéreo simple o múltiple. Esta propiedad particular de Ia reflectancia de Ia superficie permite Ia modelación tridimensional de objetos sin considerar su distribución reflectante, es decir, el sistema puede manipular superficies sin textura y especulares mientras que las técnicas en estéreo convencionales y fotométricas fallan. En una modalidad preferida, Ia presente invención utiliza binocular extendido que no tiene ninguna restricción relacionada con Ia geometría de proyección o Ia configuración de Ia disposición de Ia cámara. El sistema utiliza un proceso de calibración en estéreo y radiométrico antes de Ia captura de las imágenes del objeto. El proceso de calibración en estéreo requiere dos pares en estéreo de un patrón de calibración para modelar los parámetros intrínsecos y extrínsecos de un arreglo de cámara en estéreo simple o múltiple. La calibración radiométrica necesita un solo par en estéreo de imágenes recíprocas de un patrón de calibración blanco para aplicar una distribución de luz isotrópica a las imágenes en estéreo. Finalmente, un proceso de rectificación en estéreo es aplicado para asegurar el contraste epipolar y recuperar Ia información de Ia profundidad del objeto en Ia escena.
Un modelo tridimensional denso es obtenido, de acuerdo a Ia invención, por calibración en estéreo y radiométrica y procedimientos de rectificación. Después de esto, un proceso de rectificación en estéreo es aplicado para asegurar el contraste epipolar. Entonces, se aplica un algoritmo para recuperación tridimensional sobre líneas epipolares complementarias ordenadamente para obtener datos de profundidad densa del objeto en Ia escena. Finalmente se aplica un proceso de calibración del mapa de profundidad para obtener una nube de puntos 3D altamente exactos.
El sistema tiene una cabeza en estéreo con un control de iluminación interno que incluye un divisor de haz para alinear el eje óptico con el haz de luz. Alternativamente, puede utilizarse una distribución de iluminación exterior, que consiste en colocar Ia fuente de luz cerca del centro óptico. El aparato está diseñado considerando un proceso de adquisición el cual permite Ia comunicación automática de las fuentes de luz en estéreo para asegurar la propiedad de reciprocidad de las imágenes.
El sistema es completamente automático, de fácil utilización, tiene una disposición simple y proceso de calibración. El sistema es único en que este requiere solamente dos imágenes del objeto para modelación tridimensional de objetos altamente precisa sin considerar su distribución reflectante. Por Io tanto, es potencialmente más rápido que otros escáner
3D o sistemas de recuperación 3D, tales que, el sistema puede ser utilizado en un amplio rango de aplicaciones como metrología, control de calidad, medicina, modelación tridimensional dinámica y similares.
El sistema de Ia presente invención simplifica el control e luz para obtener imágenes en estéreo con curvas simétricas de Ia intensidad. Otras distintas técnicas fotométricas en estéreo, este acercamiento obtiene las medidas de profundidad del objeto en Ia escena directamente, evidentemente Ia integración del campo normal significa una reducción importante del costo computacional.
Adicionalmente, una modalidad del aparato de proyección de imagen permite una configuración de cámara en estéreo con un eje óptico paralelo y convergente. Esta opción se podría también aplicar a un sistema de cámaras multivisión diferidas.
BREVE DESCRIPCIÓN DE LAS FIGURAS
La figura 1 es un diagrama del principio general de Ia invención La figura 2 es un diagrama del proceso de obtención de imagen general.
La figura 3A es un diagrama de Ia cabeza de Ia cámara considerando un control de luz interior.
La figura 3B es un diagrama de Ia cabeza de Ia cámara considerando un control de luz exterior
La figu ra 4 es u n diag rama del aparato de recuperación en estéreo básico.
La figura 5 es u n diagrama general del proceso de recuperación 3D.
La figura 6 es un diag rama de las extensiones posible del aparato. La figura 7 es un diagrama de bloques del proceso de calibración en estéreo.
La figura 8 es un diagrama de bloques de proceso de rectificación en estéreo.
La figura 9 es un diagrama de bloques del proceso de calibración radiométrica .
La figura 10 es un diagrama de bloques del proceso de rectificación radiométrica .
La figura 1 1 es un diagrama de bloques del proceso de recuperación tridimensional considerando Ia proyección ortográfica . La figura 12 es un diag rama de bloques del proceso de recuperación tridimensional considerando proyección en perspectiva.
La figura 13A es un diagrama del proceso de calibración del mapa de profundidad.
La figura 1 3B es u n d iag rama del proceso de rectificación del mapa de profundidad .
La figura 14 es un diag rama de ejemplos de Ia recuperación tridimensional. DESCRIPCIÓN DETALLADA
CONFIGURACIÓN DEL SISTEMA
La figura 1 ¡lustra el principio general de Ia invención. La cámara izquierda 110 y Ia cámara derecha 120 capturan imágenes del objeto 190. Una fuente de luz izquierda 170 y un divisor de haz izquierdo 130 son utilizados tal que el objeto 190 es iluminado alo largo del eje óptico izquierdo 150 cuando una imagen es capturada por Ia cámara derecha 120, y en forma similar una fuente de luz derecha 180 y un divisor de haz derecho 140 son utilizados para ¡luminar el objeto 190 a Io largo del eje óptico derecho 160 cuando una imagen es capturada por Ia cámara izquierda 110.
El proceso de obtención de Ia imagen es ilustrado en mayor detalle en Ia
Figura 2. La cámara izquierda 210 captura una imagen del objeto 230 cuando es iluminado por Ia fuente de luz derecha 220. En Ia misma forma se obtiene Ia imagen en estéreo izquierda. La cámara derecha 240 captura una imagen del objeto 230 cuando es iluminado por Ia fuente de luz izquierda 250. En Ia misma se obtiene forma Ia imagen en estéreo derecha. Después de que ambas imágenes se han obtenido, Ia presente invención puede recuperar información de profundidad, como se describe a detalle a continuación.
Las figuras 3A y 3B ilustran en mayor detalle dos cámaras alternativas y el mecanismo de iluminación, y en Ia Figura 4 se muestra un sistema completo para Ia calibración y modelado de un objeto tridimensional de acuerdo con Ia invención. El sistema ilustrado en Ia figura 4 incluye Ia cámara y módulos de fuentes de luz 410 y 420, que puede ser iluminado internamente de acuerdo a Ia figura 3A o alternativamente iluminado externamente de acuerdo a Ia figura 3B. La cámara y los módulos de las fuentes de iluminación 410 y 420 también incluyen cámaras y una interfase compatible con PC. Las cámaras pueden rotarse para obtener Ia imagen del objeto desde múltiples puntos de vista. La rotación permite considerar diferentes geometrías.
Los módulos de las cámaras de iluminación interna, ilustrado en Ia Figura
3A incluye un divisor de haz 340 para alinear el eje óptico 350 con el haz de luz originado desde Ia fuente de luz 310 y pasa a través del lente 320. El sensor de imagen 330 es usado para capturar una imagen de un objeto y también incluye en el módulo diafragmas 360 para Ia profundidad del campo de control y Ia óptica de Ia proyección de imagen 370. El objeto a ser reflejado e iluminado se pone dentro del campo visual de Ia cámara 380.
Los módulos de Ia cámara de iluminación externa, ilustrado en Ia figura 3B incluye fuentes de luz 315. Como en Ia figura 3B, el sensor de imagen
330 es usado para capturar una imagen del objeto y a Io largo del eje óptico 350, a través del diafragma 360 y Ia óptica de Ia proyección de imagen 370. Durante Ia proyección de Ia imagen del objeto, las fuentes de luz en estéreo son controlan automáticamente, de una manera tal que Ia reciprocidad simétrica de Ia irradiación de Ia imagen es obtenida.
Las cámaras usadas en los módulos ilustrados en las Figuras 3A y 3B se componen de sensores de imagen digital CMOS y lentes ópticos. Un ejemplo de un sensor de imagen que puede se utilizado en una modalidad de Ia invención es el Sensor de Imagen Digital CMOS MT9T001 de Vz pulgada a 3-Mega píxeles manufacturado por Micron Technology, Inc. La hoja de datos se incorpora en forma adjunta para su referencia.
El sensor MT9T001 proporciona imágenes de marco-lleno en un rango amplio de formatos. El arreglo de pixeles en el sensor CMOS está configurado como 2048 columnas por 1536 filas. Lentes de 25 mm ó 12 mm se utilizan alternativamente, dependiendo del campo de vista requerido para Ia imagen del objeto. En una de las modalidades de Ia presente invención, las cámaras son capaces de obtener imágenes RGB de resolución completas a 12 cuadros por segundo (fps) y estas son conectadas a una computadora vías un puerto USB. En una modalidad, dicha computadora tiene un procesador Pentium III a 1GHz y 512 Mb de
RAM.
Como ilustrado en Ia figura 4, el objeto 460 a modelarse se coloca en una plataforma arriba-abajo 470 dentro del campo de vista 450 del arreglo de cámara. El control de línea de base 440 se usa para mover los módulos de las cámaras y las fuentes de luz izquierda 410 y derecha 420 y el control de cabeza estéreo arriba-abajo 430 se usa para mover arriba y abajo los módulos de las cámaras y fuentes de luz 410 y 420.
El concepto del sistema básico puede extenderse para considerar diferentes geometrías para proyecciones de puntos espaciales. Es decir, proyecciones ortográficas y proyecciones en perspectiva, para permitir arreglos de cámaras y fuentes de luz organizados en diferentes configuraciones. Las proyecciones ortográficas y en perspectiva se describen con mayor detalle más adelante.
FUNCIONALIDAD DEL SISTEMA
En Ia figura 2, es ilustrado el principio general de Ia adquisición. Este principio permite adquirir un sistema de imágenes de un objeto colocado dentro del campo de vista del arreglo de cámara. En este ejemplo, el arreglo de cámara puede girarse dentro de un rango de 40 grados con desplazamientos de diez grados, tal que el objeto pueda ser reflejado desde 4x4 diferentes puntos de vista especificados por el usuario. Aunque las posiciones angulares de las cámaras son repetibles, el proceso de calibración es repetido para obtener resultados precisos. La posición de Ia cámara y los ángulos son dependientes de Ia aplicación, y el método presentado puede adaptarse a otras múltiples configuraciones de posiciones de cámara.
La figura 5 ilustra Ia calibración global y el proceso de calibración 3D.
Los pasos ilustrados a Ia izquierda representan el proceso de calibración en estéreo y los pasos ilustrados en Ia derecha representan el proceso de recuperación 3D. Durante Ia calibración las cámaras adquieren tres juegos de imágenes: imágenes de calibración en estéreo, imágenes de calibración radiométrica, e imágenes de calibración del objeto 3D. En el paso 510 un patrón de calibración geométrico es colocado en Ia escena y en el paso 515 se obtiene un juego de imágenes de calibración en estéreo. Como se explica a detalle más abajo, el paso 520 realiza Ia calibración en estéreo y el paso 525 genera los parámetros de calibración en estéreo. En el paso 530 un patrón de calibración radiométrica se coloca en Ia escena y en el paso 535 se obtiene un juego de imágenes de calibración en estéreo. Como se explica a detalle abajo, el paso 540 realiza Ia rectificación en estéreo, en el paso 545 se realiza Ia calibración radiométrica, y en el paso 550 se obtiene un juego de parámetros de calibración radiométrica. El paso final en el proceso de calibración implica colocar un objeto para Ia calibración 3D en Ia escena en el paso 591. Un objeto de calibración 3D es colocado en Ia escena y en el paso 592 se obtiene un juego de imágenes en estéreo para Ia calibración 3D. En el paso 593 se realiza el proceso de rectificación en estéreo, en el paso 594 se realiza el proceso de rectificación radiométrica, en el paso 595 se realiza el proceso de recuperación tridimensional y en el paso 596 se realiza el proceso de calibración del mapa de profundidad. Finalmente, en el paso 597 se obtiene un juego de parámetros de calibración 3D.
La calibración solo necesita realizarse una vez en un paso de proceso previo para obtener un arreglo particular de cámaras. Posteriormente, un objeto a ser recuperado es colocado en Ia escena en el paso 560 y un juego de imágenes se adquiere en el paso 565. Como se explica en detalle abajo, un proceso de rectificación en estéreo ocurre en el paso
570 seguido por el proceso de rectificación radiométrica en el paso 575, un proceso de recuperación tridimensional en el paso 580 y una rectificación del mapa de profundidad en el paso 585. La adquisición y procesamiento de las imágenes se automatiza después de que el objeto se haya puesto en el campo de vista de las cámaras. Entonces, Ia recuperación tridimensional se alcanza totalmente en forma automática.
El objeto usado para las imágenes de calibración 3D es un objeto de calibración o patrón con las características visualmente perceptibles pintadas en este. El juego de imágenes de calibración radiométrica se adquiere de un objeto de calibración o patrón con nivel gris uniformemente distribuido. Este juego de imágenes son adquiridas mientras el objeto de calibración es iluminado con fuentes de luz estéreas automáticamente conmutadas.
Durante el proceso de recuperación tridimensional, el juego de imágenes del objeto se adquiere mientras el objeto es iluminado con fuentes de luz estéreas automáticamente conmutadas. Este juego permite el modelado tridimensional de objetos sin considerar su distribución de reflectancia como descrito en mayor detalle abajo. En una modalidad de Ia invención, el sistema de imágenes adquiridas pueden exhibirse en un monitor mientras de adquieren las imágenes.
Un diferente importante entre Ia presente invención y el arte previo es que el sistema de Ia presente invención solo usa dos imágenes del objeto para realizar modelado tridimensional de objetos sin considerar sus distribución de reflectancia. El sistema toma ventaja de Ia simetría de Ia reflexión de superficies, es decir, el sistema puede manipular superficies sin textura y especular.
Otra diferencia importante con el arte previo es que el sistema de Ia presente invención usa fuentes de iluminación interiores para alinear el eje óptico con el haz de luz. Esto permite Ia comunicación automática de Ia fuente de luz estérea para asegurar Ia propiedad de reciprocidad de las imágenes.
Debe notarse que otros sistemas equivalentes se pueden establecer dentro del alcance de Ia presente invención. Por ejemplo, en lugar de utilizar fuentes de luz internas, las luces pueden estar en una ubicación externa; las cámaras u objetos pueden girarse para adquirir modelos completos 3D de 360 grados; el sistema puede compensarse por cámaras en estéreo y arreglos de fuentes de luz 610 organizados en diferentes configuraciones sobre una plataforma giratoria 640 arriba-abajo, para Ia imagen del objeto 630 colocado en el campo visual 620 de puntos de vista diferentes, como mostrado en Ia Figura 6.
PROCEDIMIENTO DE LA ADQUISICIÓN DE LA IMPAGEN
Procedimiento de Baver
En Ia modalidad preferida, las imágenes son adquiridas usando una Técnica de organización por mosaicos Filtro de Bayer, que puede utilizarse puesto que Ia salida virgen de las cámaras Filtro de Bayer está disponible. Puesto que cada píxel se filtra para registrar solamente uno de tres colores, dos tercios de los datos de color faltan en cada píxel. Para obtener una imagen completamente coloreada, varios algoritmos basados en mosaicos pueden utilizarse para interpolar un sistema de valores rojo, verde y azul completos para cada punto.
El algoritmo de interpolación bi-lineal puede aplicarse para Ia recuperación de Ia imagen completamente coloreada. Estos algoritmos calcular los valores rojo , verde y azu l completos para cada píxel como sigue:
1 .- Interpolación del píxel verde. El promed io de los valores superior, inferior, izquierdo y derecho del píxel se asigna como el valor verde del píxel interpolado. 2.- Interpolación de los píxeles rojo/azul:
2a.- Interpolación de u n píxel rojo/azul en una posición verde: el promedio de dos valores de píxeles adyacentes en el color correspondiente se asigna al píxel interpolado.
2b.- La interpolación de un píxel rojo/azu l en una posición azul/rojo: el promedio de cuatro valores de píxeles diagonales adyacentes se asigna al píxel interpolado.
Calibración de imágenes en estéreo
El sistema de imágenes de Ia calibración en estéreo se adquiere colocando un objeto de calibración o patrón en el campo visual del arreg lo de cámaras y, si es necesario , ajustar Ia posición ya apertura de las cámaras. Se adquiere el sistema de imágenes de Ia calibración de un objeto de calibración conocido. En una modalidad preferida el objeto de calibración conocido consiste de un patrón de tablero de ajedrez. Con Ia plataforma arriba-abajo el blanco de calibración se coloca en dos distancias diferentes, así, dos imágenes del blanco de calibración se toman de cada una de las cámaras. Los parámetros de las cámaras se determinan usando un procedimiento de calibración para un sistema estéreo, el cual se describe con mayor detalle a continuación.
Calibración Radiométrica de las Imágenes
El sistema de imágenes de calibración radiométrica se adquiere colocando un objeto de calibración o patrón dentro del campo visual del arreglo de cámaras. El sistema de imágenes de calibración radiométrica de un patrón de nivel de grises conocido (por ejemplo un patrón de prueba de equilibrio blanco) se adquiere de cada una de las cámaras.
Durante Ia adquisición de las imágenes de calibración, las fuentes de luz son conmutadas automáticamente.
Imágenes del objeto de calibración 3D
El objeto de calibración 3D, por ejemplo un bloque rectangular calibrador, se coloca dentro del campo visual del arreglo de cámaras, y el sistema de imágenes del objeto de calibración es adquirido cuando las fuentes de luz se conmutan automáticamente.
Imágenes del Objeto
El objeto se coloca dentro del campo visual del arreglo de cámaras, y el sistema de imágenes del objeto se adquiere cuando las fuentes de luz se conmutan automáticamente. La localización del objeto está dentro del límite del blanco de calibración geométrica.
PROCEDIMIENTO DE CALIBRACIÓN EN ESTÉREO
La figura 7 ilustra el procedimiento de calibración en estéreo. La calibración en estéreo requiere tres sistemas de pares de coordenadas de Ia imagen en escena. Este sistema de coordenadas de Ia escena se miden directamente en el patrón de calibración, los dos sistemas correspondientes de pares de coordenadas de Ia imagen tiene que detectarse en Ia adquisición de las imágenes desde cada una de las cámaras. En orden para permitir tal detección, el patrón se equipa de las características visualmente significativas pintadas en éste; estas características son llamadas puntos de control. Las imágenes de Ia izquierda del patrón de calibración son ingresadas en el paso 710 y las imágenes de Ia derecha de Ia calibración se ingresan en el paso 720.
Para desarrollar el modelo de Ia cámara que describe Ia proyección de cualquier punto 3D al plano de Ia imagen, necesitamos definir las siguientes coordenadas del sistema: xyz, las coordenadas mundiales o de Ia escena de los puntos de control. Estas coordenadas son medidas directamente en el patrón de calibración geométrica. El rango de z se define de acuerdo con Ia profundidad del objeto a ser recuperado. Las coordenadas de Ia correspondiente imagen izquierda de los puntos de control uLvL, y las coordenadas de Ia correspondiente imagen derecha URVR,. Estas coordenadas deben detectarse en Ia imagen. La posición de los puntos de control dentro de Ia imagen se detectan en el paso 730 y el sistema de coordenadas del mundo real se ingresan en el paso 740.
Posiciones de los puntos de control en las imágenes adquiridas se detectan con un algoritmo de detección. Este algoritmo de auto-detección se basa en el método Harris de detección de esquinas el cual calcula un operador de interés definido de acuerdo a Ia auto-correlación de imágenes aplanadas Gaussianas. Este tamaño de Ia mascara de Ia circunvolución da una compensación entre Ia localización de las esquinas y Ia cantidad de ruido excluido. La auto-corrección puede definirse como Ia suma de Ia diferencia de intensidades de Ia imagen:
δl{δx,δy)= ∑{lfi + &,j + Sy)- I1(Uj)? (D ιj 6 porción
15 Cuya expansión analítica de Taylor es:
Figure imgf000025_0001
En donde:
Figure imgf000025_0002
Los dos valores propios de N son proporcionales a las curvaturas principales de N y las funciones de estas deben tener Ia propiedad de Ia invariación rotaría. Cuando el trazo de Ia matriz es grande allí es un borde y cuando Ia determinante es grande allí es un borde o esquina. Una señal de intensidad de Ia esquina es: Φ(JC, y) = \N(x, y] - κTrazo2N(x, y) (4)
En donde K es un valor constante. La esquina está definida en los máximos locales en las dos porciones cuadráticas dimensionales ajustadas a Φ(x,y), resultando en Ia precisión del sub-pixel,
ax + by + cxy + dx + ey + f = Φ(x, y) (5)
Usando los nueve píxeles alrededor de (x, y) esto conduce a 9 ecuaciones en 6 incógnitas que pueden resolverse por el método del cuadrado menor.
Ecuaciones del Modelo de Gintic
El modelo de calibración de cámara define diez parámetros iniciales por cada cámara, estos parámetros son: ω, ángulo de rotación alrededor del eje-x; φ, ángulo de rotación alrededor del eje-y; K ángulo de rotación alrededor del eje-z; aUl longitud focal del eje-u; av, longitud focal del eje-v; k¡, k2, k3, parámetros de Ia distorsión geométrica radial del lente; {up,vp), punto principal en las coordenadas de Ia imagen. La relación entre el sistema de coordenadas mundial y el sistema de coordenadas de referencia de Ia cámara pueden estar representadas por Ia siguiente ecuación:
Figure imgf000026_0001
Entonces, podemos obtener su proyección en perspectiva. Si se asumen que un modelo de Ia cámara de agujero alfiler y el plano de imagen es una distancia f (longitud focal, convertida en au y av para reflejar los factores focales en coordenadas de Ia imagen) desde Ia posición del agujero alfiler, tenemos
(1 + V J; + , V L. „;4 + , V , ; 6j 1 U ;n (7)
Figure imgf000027_0001
En donde
Figure imgf000027_0002
Además simplificando Ia ecuación (7) podemos cambiarla como ecuación (8) y Ia ecuación (9), utilizada en el paso 750:
aλxn + bxyn +C1Zn + dxun +e,unxn + fxunyn + g,unzn '+1 = 0 (8) y
^+Vn +c2zn+ d2vn +e2vnxn+f2vnyn+g2vnzn+\ = 0 (9)
Este modelo usa 14 parámetros iμXL,a2L...gλL,g2L) para Ia cámara izquierda y 14 parámetros {aXR,a2R...gιR,g2R) para Ia cámara derecha para describir Ia cartografía del mundo 3D χnynzn a las coordenadas de Ia imagen 2D unL y vnL para Ia cámara izquierda y unR y vnR para Ia cámara derecha. Estos parámetros están representados por Ia caja 780. La ecuación lineal (8) y (9) usada en el paso 750 se puede resolver y siempre conducir a un resultado estable cuando al menos siete puntos del blanco de calibración están disponibles para cada cámara. Calibración localizada
La calibración localizada 760 viene de Ia observación de que Ia distorsión de los lentes de Ia cámara nunca es simétrica y así no puede ser representada por los parámetros normales tales como kλ,k2 y &3. La idea de Ia calibración localizada es segmentada de Ia área de calibración total en secciones traslapadas, en donde podemos conseguir los parámetros de Ia calibración localizada para cada sección que mejor describe el comportamiento de Ia cámara fotográfica allí. Conseguimos esto alimentado Ia ecuación (8) y (9) en el paso 750 con las coordenadas de Ia imagen y mundiales de los puntos del blanco de calibración que corresponde a una sección en particular. Mientras Ia sección contiene más que 7 puntos del blanco, los parámetros localizados pueden calcularse aplicando Ia solución del cuadrado menor en el paso 770 para las ecuaciones (8) y (9). Sebe observarse que tal calibración tiene que ser hecha para cada cámara fotográfica del sistema.
Procedimiento de rectificación en estéreo
Como mostrado en Ia figura 8, cuando los parámetros de calibración en estéreo se obtienen por cada punto de vista del anillo en estéreo, el proceso de rectificación en estéreo debe ser aplicado. La restricción epipolar se cumple aplicando los parámetros de calibración para las imágenes en estéreo.
La relación entre las coordenadas mundiales y las coordenadas de Ia imagen se pueden representar por las siguientes ecuaciones, utilizada en el paso 840:
Figure imgf000029_0001
Figure imgf000029_0002
En donde a,b,c,d,e,f,g, son los parámetros definidos por el modelo de cámara, xn,yn,zn, son las coordenadas mundiales y un,vn son las coordenadas de Ia imagen para el eje x, y el eje y.
Las ecuaciones (10) y (11) pueden aplicarse a Ia entrada de las imágenes en estéreo 810 y 820 en el paso 840 usando sus respectivos parámetros de calibración 830: {aλL,au...gιL,g2L) para Ia imagen izquierda
Y (a \R> a 2R •••£IΛ>£2«) Para 'a imagen derecha. Cuando Ia cartografía 840 es definida entre las coordenadas mundiales y las coordenadas de Ia imagen por el anillo en estéreo, se aplica una operación de interpolación 850. La salida 860 del procedimiento de rectificación en estéreo son las imágenes en estéreo izquierda y derecha rectificadas. PROCEDIMIENTO DE CALIBRACIÓN RADIOMÉTRICA
La anisotropía de luz calibrada y Ia orientación relativa de Ia anisotropía con respecto a cada cámara se requiere para recuperar información de profundidad de los objetos de Ia escena considerando una superficie de reflexión arbitraria o desconocida. En relación a, el método de calibración radiométrico se define una función de sensibilidad efectiva para una mezcla de un número pequeño de determinados núcleos positivos semi-definidos, ker(/)
//„(/) = ∑α,'ker(/-/¿) (12)
/=1
Cuyos puntos de control io' son las localizaciones fijas en el plano de imagen, / denota un píxel de Ia imagen y μn(ϊ) es Ia sensibilidad efectiva reconstruida para n cámaras.
El núcleo bi-cúbico kerθ,.y) = ^ _o a u χ" "∑Ü -<A.yv es usado en el paso 950 para recuperar los parámetros radiométricos 970 de cada μn. La ecuación (12) puede escribirse como sigue:
Figure imgf000030_0001
(13)
Muestreo
Cuando el objeto de calibración radiométrica Ia geometría conocida se inserta en Ia escena y las imágenes 910 y 920 del objeto son requeridas, los puntos de Ia superficie xs,x-l,2...S son muestreados en el paso 940 del modelo paramétrico conocido del objeto de calibración.
Los puntos 3-D xs son proyectados a Ia imagen vía los parámetros de calibración geométrica en el paso 930. El punto 3D xs proporciona una ecuación lineal en ao'. {en total, S ecuaciones se obtienen par nxL desconocidas (L es desconocido para cada una de las cámaras n). El sistema es entonces resuelto por el método del cuadrado menor en el paso 960. Este procedimiento de calibración radiométrica se muestra en Ia figura 9.
Rectificación Radiométrica
Como mostrado en Ia figura 10, una vez que el sistema de parámetros de calibración radiométrica 1030 son obtenidos para cada punto de Ia visión 1010 y 1020 del anillo en estéreo y son aplicados los procesos de rectificación en estéreo, se realizan los procesos de rectificación radiométrica, esto es, los parámetros de calibración radiométrica son aplicados a las imágenes en estéreos, tal que, está satisfecha Ia iluminación isotrópica en cada línea epipolar.
La relación entre las intensidades reales y las intensidades de Ia imagen se representan por Ia siguiente ecuación, utilizada en el paso 1040: I(x,y,z) = μn(un,vn) (14) La ecuación (14) es aplicada en el paso 1040 para las imágenes en estéreo usando los parámetros de calibración izquierdo y derechos respectivos. La salida de éste procedimiento son imágenes izquierda y derecha 1050 rectificadas radiométricamente.
PROCEDIMIENTO DE RESTAURACIÓN TRIDIMENSIONAL
La base óptica de Ia técnica de restauración en estéreo está fundamentada en Ia BRDF (Función de Distribución Bidireccional de
Reflectancia) Ia reciprocidad es para explotar Ia simetría de Ia reflexión superficial. Esta propiedad óptica es lograda si las fuentes de luz y Ia posición de Ia cámara satisfacen Ia condición que Ia energía de radiación caiga sobre el plano de Ia imagen, depende solamente de Ia forma superficial y es independiente de Ia BRDF.
Para satisfacer Ia limitación de Ia reciprocidad de Ia reflexión, es necesario que Ia BRDF o Ia cantidad de sucesos y Ia energía emitida deben ser iguales para Ia posición seleccionada de Ia cámara y Ia fuente de luz, esto es representado como p(P,,Pe)= p(Ve,P,)-
La manera de obtener estas condiciones es con un ensamble en estéreo. Por ejemplo, si una cámara y Ia fuente de luz son colocadas y separadas por una distancia conocida (Ia línea base); entonces Ia imagen izquierda es obtenida con Ia cámara en Ia posición izquierda y Ia fuente de luz en Ia posición derecha. Después de esto, Ia cámara y Ia fuente de luz se intercambian para obtener Ia imagen derecha. Las posiciones para las cámaras izqu ierda y derecha están definidas por O1 y Or . U n punto espacial P tiene dos vectores de dirección y estos están definidos por V1 y Vr . Finalmente, Ia superficie normal en ese punto está denotada por ñ .
Debido a Ia reciprocidad de Ia reflexión , se sabe que p{Pr,V¡)= pty,,Ϋr), y sin considerar Ia caída por unidad de fuerza de una fuente de luz isotrópica, Ia resta constreñida se iguala como:
(e,Ϋ, - erΫr)' ñ = 0 ( 1 5)
Siguiendo el diagrama de bloques en las figuras 1 1 y 12, el proceso de restau ración de Ia profundidad se representa considerando dos casos de geometría para proyección de puntos espaciales. Primero Ia proyección ortográfica se explica y después Ia proyección de Ia perspectiva es presentada, para ambos casos, se deduce Ia igualdad constreñida para recuperar Ia profundidad expresada como una ecuación diferencial parcial.
Proyección Ortográfica
El proceso de restau ración de Ia profu nd idad se aplica a imágenes en estéreo geométrica y rad iométricamente recíprocas 1 140 y 1 150, eso es, Ia restricción geométrica epipolar se satisface que significa que el espacio de Ia búsqueda para los puntos correspondientes se reduce desde una disposición 2D (una matriz) a una d isposición 1 D (un vector) , además, ambas imágenes del par estereoscópico tienen una distribución de luz isotrópica.
Para deducir Ia igualdad constreñida para recuperar Ia profundidad, se establece un marco geométrico para una disposición estereoscópica coplanar de Ia cámara, eso es, los ejes óptico izquierdo y derecho son paralelos. Los parámetros iniciales se fijan en el paso 1120. Por proyección ortográfica, un punto de Ia superficie P(X,Y,z) se proyecta en el plano de Ia imagen como p(χ,y) en el paso 1130. Si Ia profundidad es considerada una función de las coordenadas de Ia imagen y el objeto a ser recuperado representa una primera curva de Ia superficie continua, entonces Z = Z(x,y) y puede expresarse usando Ia definición del vector normal de estereopsis fotométrica, ñ = (p,q,-l) en donde p = — dx v dz dy
De Ia ecuación de Ia igualdad constreñida se derivada de Ia BRDF el análisis de reciprocidad y considerando el marco geométrico explicado anteriormente; es posible fijar un sistema de coordenadas de referencia para Ia posición de Ia cámara izquierda asumiendo una matriz de rotación de identidad, por Io tanto, el vector de dirección izquierda V1 /1170) es alineado con el eje Z , y un ángulo de rotación mínimo es considerado para Ia cámara derecha (un ángulo de rotación menor que 3 grados guarda un análisis coplanar), entonces el vector de dirección derecha Vr (1170) se obtiene de Ia matriz de rotación derecha (1130).
A causa de Ia restricción epipolar cumple Ia derivada parcial en el término y se elimina, y finalmente, Ia igualdad constreñida es simplificada y Ia siguiente ecuación diferencial es deducida: dz = e,(xiy)+er(xríy)Rr¡t dx er(xr,y)Rr¡χ
En donde e,(χ,y) y er(χr,y) 1160 son las intensidades reciprocas de Ia imagen para cada punto de Ia imagen. Esta ecuación diferencial parcial 1180 se puede resolver por una metodología de integración numérica, restringida por una condición inicial establecida en el paso 1120. Para cada línea epipolar se requiere un valor de profundidad conocido para un punto de Ia superficie para integrar a Io largo de las líneas epipolares.
Ahora, si Ia geometría de Ia cámara en estéreo es convergente, esto es, ángulos de rotación significativos relacionan los ejes ópticos izquierdo y derecho. Entonces, es necesario introducir los parámetros de rotación para ambos arreglos en estéreo de las cámaras. Esto es, un punto espacial P se proyectará sobre el plano de Ia imagen izquierda a
P1[R1 X + R, Z, y) y sobre el plano de Ia imagen derecha a Pr[R^X + Rrχ¡Z, y) en el paso 1130, ambas considerando el principio de proyección ortográfica. Además los vectores de dirección 1170 para las cámaras izquierda y derecha pueden obtenerse de Ia matriz de rotación izquierda y derecha. Finalmente, las variables se sustituyen en Ia igualdad constreñida en estéreo general, Ia ecuación diferencial parcial siguiente es deducida:
Figure imgf000035_0001
En donde e,(χ,y) y er(χr,y) 1160 son las intensidades reciprocas para cada punto de Ia imagen. En el mismo modo, esta ecuación diferencial parcial 1180 puede resolverse para cada línea epipolar por una metodología de integración numérica considerando una condición inicial conocida.
Por el análisis geométrico explicado anteriormente, es necesario saber explícitamente los parámetros extrínsecos 1110 para ambas cámaras del arreglo en estéreo. Un acercamiento con ventanas se incluye para Ia reducción del error de proyección de puntos para obtener las intensidades recíprocas izquierda y derecha [e, y er ). El resultado del proceso de restauración tridimensional es un mapa de profundidad densa
1190.
Proyección de Ia perspectiva Del mismo modo que para Ia proyección ortográfica, el análisis aquí presentado asume que el par de imágenes en estéreo 1240 y 1250 son calibradas radioeléctrica y geométricamente, de tal manera que, parámetros intrínsecos y extrínsecos 1210 y 1220 se conocen y Ia restricción geométrica epipolar se cumple.
Considerando una configuración de una cámara en estéreo coplanar con un ángulo de rotación mínimo (menos que 2 grados guarda un análisis coplanar) para una de las cámaras, y siguiendo Ia perspectiva del principio de proyección de puntos, se conoce que un punto de Ia superficie es proyectado sobre el plano de Ia imagen izquierda y derecha en el paso 1230 por triángulos similares como D(£L S] Y (f(XRrxx+ZRrxz)^ λ . en donde |a |ong¡tud foca| ^ es obtenido de!
proceso de calibración geométrica previo así como los coeficientes de rotación.
De Ia misma forma, si una disposición de una disposición de cámara convergente es considerada, los parámetros de rotación afectarán las ecuaciones de proyección de puntos para ambos planos de Ia imagen, esto es, un punto en el espacio P(X,Y,Z) es proyectado en el paso 1230 sobre el plano de Ia imagen izquierda como , y
Figure imgf000037_0001
sobre el plano de Ia imagen derecha como ( f(XRra +ZRrJ j
Debido a Ia proyección en perspectiva, los vectores de dirección 1270 para ambas cámaras se calculan desde las coordenadas espaciales y de
Ia imagen de puntos correspondientes. Ahora, considerando Ia profundidad como una función de las coordenadas de Ia imagen, de tal manera que, Λ_/ík _&. \ y sustituyendo todos los parámetros en Ia ex oy
igualdad constreñida general para Ia restauración de Ia profundidad, es derivada Ia siguiente ecuación diferencial parcial 120:
dz = e,{xtiy)Vlt-er{xr,y)Vri ^ ^ dx e,(x,,y)V¡t-er(xr,y)Vri
En donde e,(x,y) y er(χr,y) 1260 son las intensidades reciprocas para cada punto de Ia imagen. Esta ecuación integra Ia profundidad del objeto para ser recuperado a Io largo de las líneas epipolares correspondientes, y está se resuelve por un método de integración numérica asumiendo una condición inicial conocida. El resultado final de este proceso de restauración tridimensional es un mapa de profundidad densa 1290.
CALIBRACIÓN Y RECTIFICACIÓN DEL MAPA DE PROFUNDIDAD
Después del proceso de restauración tridimensional, es necesario aplicar un proceso de calibración del mapa de profundidad para obtener mapas de profundidad muy precisos. El proceso de calibración 3D se realiza ajustando las mediciones del mapa de profundidad 1340 a un conjunto de medidas conocidas previamente 1330 de un objeto de calibración 3D muy preciso tal como un bloque calibrador triangular. El ajuste del mapa de profundidad se lleva acabo computado los parámetros del modelo de calibración del mapa de profundidad por medio de minimización de Ia distancia cuadrada entre las medidas del objeto de calibración 3D y las correspondientes medidas del mapa de profundidad. Los parámetros del modelo de calibración 3D 1360 incluyen un factor escalar a y una compensación β. La ecuación (19), usada en el paso 1350, define Ia relación de calibración del mapa de profundidad.
calibración _ , o mapa profundidad ^^mapa profundidad r \l yJ
El conjunto de medidas 1330 de un objeto de calibración 3D son seleccionadas y obtenidas manualmente, y el proceso de calibración 3D ajusta esas medidas a un plano en el sistema de coordenadas de escena.
Este plano es usado Ia calibración del tamaño del mapa de profundidad en el sistema de coordenadas de Ia imagen, los puntos de Ia imagen corresponden a los puntos de coordenadas de de escena del objeto de calibración 3D además forma un plano.
Para encontrar los parámetros de calibración es necesario usar un menor acercamiento del cuadrado lineal y minimizar el error cuadrado en z (el eje perpendicular al plano de Ia imagen). Ajustamos el plano ax + by-z + d = 0 a Ia localización de coordenadas de escena. Usando los parámetros del plano computado (a, b, d) Ia sustitución para zc°^' ac^'φnΛdad puede hacerse usando Ia ecuación (19) en el paso 1350 y resolver (en forma lineal del cuadrado menor) el problema resultante sobre todos los puntos conocidos para obtener los parámetros 1360, a y β. Después que, el proceso de rectificación 1390 se lleva acabo aplicando los parámetros de calibración 3D 1380 (α y β) al mapa de profundidad 1370 recuperado de cualquier objeto representado. Los procesos de calibración y rectificación son mostrados en las figuras 13A y 13B.
En Ia figura 14 se muestran dos gráficas del mapa de profundidad 1420 y 1440 en escala de nivel de micrón. Las gráficas ilustran los modelos de dos piezas metálicas obtenidas con Ia presente invención, un disipador de calor 1410 y un caballete 1430.
La presente invención es un método y aparato para calibración en estéreo y radiométrica y una técnica en estéreo tridimensional para obtener mapas densos exactos sin el conocimiento previo de reflectancia de superficie. A diferencia del estado de Ia técnica, el sistema solo usa dos imágenes de objetos para modelación tridimensional de objetos sin estimar su distribución reflectante. El sistema toma Ia ventaja de Ia simetría reflectante de superficies, que es, el sistema puede manipular superficies sin textura y superficies especulares. El sistema también fuentes de iluminación interiores para alinear los ejes ópticos con el haz de Ia luz. El sistema permite Ia comunicación automática de las fuentes de luz en estéreo para satisfacer Ia propiedad de reciprocidad de las imágenes.
En una modalidad alternativa de Ia presente invención, diferentes longitudes de onda de luz (color, iluminación IR o UV) podría usarse para mejorar el contraste de Ia superficie para Ia buena calidad en Ia información 3D recuperada. También, diferentes longitudes de onda pueden usarse en combinación (reflejado con diferentes colores, infrarrojos o UV) para recuperar mejores superficies 3D usando métodos diferenciales. El uso de iluminación polarizada y/o polarizadores en las cabezas de Ia cámara para recuperación 3D usando captura de imagen en un solo tiempo es también posible en modalidades alternativas, o para recuperar buenas estimaciones 3D usando las ecuaciones de reflexión de luz polarizada.
A pesar de que Ia invención se ha descrito a manera de ejemplo de modalidades preferidas, será entendido que varias otras adaptaciones y modificaciones pueden realizarse dentro del alcance de Ia invención. Por consiguiente es el objeto de las reivindicaciones adjuntas cubrir todas las variaciones y modificaciones que vienen dentro del alcance de Ia invención.

Claims

REIVINDICACIONES
1.- Un sistema automatizado para Ia restauración tridimensional de un objeto puesto dentro del campo de Ia vista de una pluralidad de cámaras, comprendiendo: un aparato de iluminación y de adquisición de imagen configurado para Ia adquisición de imágenes en estéreo reciprocas de dichos objetos sin movimiento físico de dicha pluralidad de cámaras; un aparato computacional programado para restaurar datos de Ia profundidad de dicho objeto desde dichas imágenes en estéreo reciprocas, en donde dichos dato de profundidad puede ser restaurado sin importar las propiedades de reflexión de dicho objeto; en donde dicho aparato computacional se programa además para realizar una calibración automática de dicho sistema basado en una pluralidad de imágenes de calibración en estéreo.
2.- El sistema de Ia reivindicación 1, en donde dicha pluralidad de imágenes de calibración en estéreo consisten en imágenes geométricas, patrones radiométricos e imágenes capturadas de objetos de calibración tridimensional.
3.- El sistema de Ia reivindicación 1, en donde dicho aparato de adquisición de imágenes comprende un arreglo de cámaras.
4.- El sistema de Ia reivindicación 1, en donde dichos modelos de calibración automática de características en estéreo y radiométricas de dicha pluralidad de cámaras, en donde una pluralidad de parámetros de calibración en estéreo y radiométricos se determinan por distorsión geométrica y radiométrica.
5.- El sistema de Ia reivindicación 1, en donde dicha calibración automática rectifica las características en estéreo y radiométricas de dicha pluralidad de cámaras tal que Ia distorsión geométrica y radiométrica en imágenes en estéreo es eliminada.
6.-El sistema de Ia reivindicación 1, en donde dicho aparato computacional utiliza un modelo para describir Ia relación cartográfica entre las coordenadas espaciales y las coordenadas de Ia imagen usando ecuaciones lineales.
7.- El sistema de Ia reivindicación 1, en donde dicho aparato computacional caracteriza una pluralidad de cámaras alimentando un sistema de ecuaciones lineales con coordenadas espaciales y coordenadas de Ia imagen de un patrón de calibración.
8.- El sistema de Ia reivindicación 1 en donde dicho aparato computacional caracteriza el comportamiento de Ia fuente de luz alimentando una ecuación lineal con intensidades de las imágenes de un patrón de calibración.
9.- El sistema de Ia reivindicación 1 en donde dicho aparato de iluminación y de adquisición de imágenes comprende una pluralidad de cámaras ensambladas con una pluralidad de fuentes de luz.
10.- El sistema de Ia reivindicación 1 en donde dicho aparato de iluminación y de adqu isición de imágenes comprende un ensamble para colocar una o más cámaras y arreg los en estéreo de fuentes de luz para Ia adquisición de objetos desde una variedad de puntos de vista.
1 1 .- El sistema de acuerdo con Ia reivindicación 1 , comprendiendo además:
Un aparato de comunicación con fuente de luz utilizado para satisfacer Ia propiedad de reciprocidad de intensidades de Ia imagen .
12.- El sistema de Ia reivindicación 1 , en donde las fuentes de luz se asignan fuera de las posiciones centrales ópticas tal que se obtienen diferentes relaciones de reciprocidad de intensidades de Ia imagen .
13,- Un método para Ia restauración tridimensional de un objeto puesto dentro del campo de Ia vista de una plu ralidad de cámaras, comprendiendo los pasos de:
Iluminar un objeto y adquirir imágenes en estéreo reciprocas sin movimiento físico de dicha plu ralidad de cámaras; Restauración de datos de profund idad de dicho objeto desde imágenes en estéreo reciprocas, en donde dichos datos de profundidad pueden regenerados sin tomar en cuenta las propiedades de reflexión de dicho objeto;
Calibrar automáticamente dicho sistema en base a una pluralidad de imágenes de calibración en estéreo .
14.- El método de Ia reivindicación 13 donde dicha pluralidad de imágenes de calibración en estéreo comprende imágenes geométricas, patrones radiométricos e imágenes tomadas de objetos de calibración tridimensional.
15.- El método de Ia reivindicación 13 en donde dicho paso de iluminación y adquisición utiliza un arreglo de cámaras.
16.- El método de Ia reivindicación 13 en donde dicho paso de calibrar automáticamente modela las características en estéreo y radiométricas de dicha pluralidad de cámaras, en donde se determinan una pluralidad de parámetros de calibración en estéreo y radiométricas por distorsión geométrica y radiométrica.
17.- El método de Ia reivindicación 13, en donde dicho paso de calibrar automáticamente rectifica las características en estéreo y radiométricas de dicha pluralidad de cámaras tal que las distorsión geométrica y radiométrica en imágenes en estéreo es eliminada.
18.- El método de Ia reivindicación 13, en donde dicho paso de restauración utiliza un modelo para describir Ia relación de cartografía entre las coordenadas espaciales y las coordenadas de Ia imagen utilizando ecuaciones lineales.
19.- El método de Ia reivindicación 13 en donde dicho paso de calibrar automáticamente caracteriza una pluralidad de cámaras alimentando un sistema de ecuaciones lineales con coordenadas espaciales y coordenadas de Ia imagen de un patrón de calibración.
20.- El método de Ia reivindicación 13 en donde dicho paso de calibrar automáticamente caracteriza el comportamiento de Ia fuentes de luz alimentando una ecuación lineal con intensidades de las imágenes de un patrón de calibración.
21.- El método de Ia reivindicación 13 en donde dicho paso de iluminar y adquirir utiliza una pluralidad de cámaras ensambladas con una pluralidad de fuentes de luz.
22.- El método de Ia reivindicación 13 en donde dicho paso de iluminar y adquirir utiliza un ensamble colocando una o más cámaras y arreglos en estéreo de fuentes de luz para Ia adquisición del objeto desde una diversidad de puntos de vista.
23.- El método de Ia reivindicación 13 en donde dicho paso de iluminación y adquisición utiliza un aparato de comunicación de fuente de luz para asegurar las propiedades de reciprocidad de intensidades de Ia imagen.
24.- El método de Ia reivindicación 13, en donde dicho paso de iluminación y adquisición utiliza fuentes de luz colocadas fuera de las posiciones centrales ópticas tal que se obtienen diferentes relaciones de reciprocidad de intensidades de Ia imagen.
PCT/MX2007/000144 2006-11-28 2007-11-28 Método y aparato para la restauración rápida tridimensional WO2008066368A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CA2707176A CA2707176A1 (en) 2006-11-28 2007-11-28 Method and apparatus for rapid three-dimensional restoration
EP07851843A EP2104365A4 (en) 2006-11-28 2007-11-28 METHOD AND APPARATUS FOR QUICK THREE DIMENSIONAL RESTORATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/564,263 2006-11-28
US11/564,263 US7769205B2 (en) 2006-11-28 2006-11-28 Fast three dimensional recovery method and apparatus

Publications (1)

Publication Number Publication Date
WO2008066368A1 true WO2008066368A1 (es) 2008-06-05

Family

ID=39463765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/MX2007/000144 WO2008066368A1 (es) 2006-11-28 2007-11-28 Método y aparato para la restauración rápida tridimensional

Country Status (4)

Country Link
US (2) US7769205B2 (es)
EP (1) EP2104365A4 (es)
CA (1) CA2707176A1 (es)
WO (1) WO2008066368A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3099279A1 (fr) 2019-07-26 2021-01-29 Allegorithmic Procédé de détermination d’une carte de normales à partir d’images par photométrie stéréo non calibrée

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US20090306941A1 (en) * 2006-05-15 2009-12-10 Michael Kotelyanskii Structure Model description and use for scatterometry-based semiconductor manufacturing process metrology
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US8036452B2 (en) 2007-08-10 2011-10-11 Leica Geosystems Ag Method and measurement system for contactless coordinate measurement on an object surface
US9020240B2 (en) 2007-08-10 2015-04-28 Leica Geosystems Ag Method and surveying system for noncontact coordinate measurement on an object surface
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20100039500A1 (en) * 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8537229B2 (en) * 2008-04-10 2013-09-17 Hankuk University of Foreign Studies Research and Industry—University Cooperation Foundation Image reconstruction
TWI374398B (en) * 2008-06-16 2012-10-11 Univ Nat Cheng Kung Method and apparatus for forming 3-d image
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
WO2010020908A1 (en) * 2008-08-22 2010-02-25 Densys Ltd A system and a method for three-dimensional modeling of a three-dimensional scene features
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp ３次元視覚センサにおけるモデル表示方法および３次元視覚センサ
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 ３次元認識結果の表示方法および３次元視覚センサ
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
US20110123098A1 (en) * 2009-11-24 2011-05-26 Maurice Moshe Ernst System and a Method for Three-dimensional Modeling of a Three-dimensional Scene Features with a Cooling System
KR101377325B1 (ko) * 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
US20120032946A1 (en) * 2010-08-04 2012-02-09 Wei-Chung Wang New calibration procedures for three-dimensional digital image correlation
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US20120176478A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming range maps using periodic illumination patterns
US20120176380A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming 3d models using periodic illumination patterns
FR2972061B1 (fr) * 2011-02-24 2013-11-15 Mobiclip Procede de calibrage d'un dispositif de prise de vue stereoscopique
US8976256B2 (en) * 2011-03-21 2015-03-10 The United States Of America As Represented By The Secretary Of The Air Force Remote sensing of hidden objects
GB2490872B (en) * 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US8744763B2 (en) 2011-11-17 2014-06-03 Honeywell International Inc. Using structured light to update inertial navigation systems
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US8611642B2 (en) 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
FR2991448B1 (fr) * 2012-06-01 2015-01-09 Centre Nat Rech Scient Procede de mesures tridimensionnelles par stereo-correlation utilisant une representation parametrique de l'objet mesure
US9163938B2 (en) 2012-07-20 2015-10-20 Google Inc. Systems and methods for image acquisition
US8818079B2 (en) * 2012-08-07 2014-08-26 Massachusetts Institute Of Technology 3D radiometry
US9117267B2 (en) * 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
CN104427324A (zh) * 2013-09-02 2015-03-18 联咏科技股份有限公司 视差计算方法及其立体匹配装置
CN105873517B (zh) 2013-11-27 2018-10-26 皇家飞利浦有限公司 具有自动等中心的介入x射线系统
KR102158025B1 (ko) * 2014-01-28 2020-09-21 엘지이노텍 주식회사 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법
KR102158026B1 (ko) * 2014-01-28 2020-09-21 엘지이노텍 주식회사 캘리브레이션 장치 및 카메라 시스템
WO2015134795A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
US9451239B2 (en) * 2014-03-06 2016-09-20 Nec Corporation Shape and material recovery from object motion with application to relighting
US9883169B2 (en) * 2014-03-31 2018-01-30 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
DE102014210099B3 (de) * 2014-05-27 2015-10-22 Carl Zeiss Meditec Ag Verfahren zur bildbasierten Kalibrierung von Mehrkamerasystemen mit einstellbarem Fokus und / oder Zoom
US10091418B2 (en) 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
CA2967774C (en) 2014-11-12 2023-03-28 Covar Applied Technologies, Inc. System and method for measuring characteristics of cuttings and fluid front location during drilling operations with computer vision
CN104596502B (zh) * 2015-01-23 2017-05-17 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
KR101892168B1 (ko) * 2015-05-13 2018-08-27 페이스북, 인크. 반사도 맵 표현을 이용한 깊이 맵 표현의 증강
US10083522B2 (en) * 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
US20170032565A1 (en) * 2015-07-13 2017-02-02 Shenzhen University Three-dimensional facial reconstruction method and system
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
US10828125B2 (en) * 2015-11-03 2020-11-10 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
CN105551006B (zh) * 2015-12-01 2018-06-05 深圳大学 一种深度图像缺失像素的修复方法及系统
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
JP6855587B2 (ja) * 2016-10-18 2021-04-07 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． 視点から距離情報を取得するための装置及び方法
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
WO2019170591A1 (de) 2018-03-04 2019-09-12 Vision Tools Hard- Und Software Entwicklungs-Gmbh Erstellung eines abstandsbildes
DE102018105516A1 (de) * 2018-03-09 2019-09-12 Cruse Spezialmaschinen GmbH Verfahren und Vorrichtung zum Ermitteln einer Höhenprofilabbildung einer Oberfläche eines Objekts
CN109343578B (zh) * 2018-11-16 2020-05-19 北京理工大学 一种基于视觉反馈的tdi-ccd相机双目视觉系统视场对齐方法
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
CN109903252B (zh) * 2019-02-27 2021-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
EP4224841A1 (en) * 2019-03-09 2023-08-09 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
CN110060212B (zh) * 2019-03-19 2023-07-14 中国海洋大学 一种基于深度学习的多光谱光度立体表面法向恢复方法
US11138757B2 (en) 2019-05-10 2021-10-05 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
US11109010B2 (en) * 2019-06-28 2021-08-31 The United States of America As Represented By The Director Of The National Geospatial-Intelligence Agency Automatic system for production-grade stereo image enhancements
CN111046906B (zh) * 2019-10-31 2023-10-31 中国资源卫星应用中心 一种面状特征点可靠加密匹配方法和系统
US11030478B1 (en) 2019-11-27 2021-06-08 Compound Eye, Inc. System and method for correspondence map determination
US11270467B2 (en) 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration
CN113100754B (zh) * 2020-01-21 2023-02-03 天目爱视（北京）科技有限公司 一种3d信息采集测量设备
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
CN112070885B (zh) * 2020-08-31 2024-05-14 中国科学院空天信息创新研究院 一种基于摄影测量光度立体模型的三维重建方法和系统
CN113409242A (zh) * 2021-02-23 2021-09-17 杭州哲域智能科技有限公司 一种轨交弓网点云智能监测方法
WO2023156021A1 (de) 2022-02-21 2023-08-24 Vision Tools Hard- Und Software Entwicklungs-Gmbh Anordnung und verfahren zur aufnahme von bildern
DE102022104041B3 (de) 2022-02-21 2023-02-23 Vision Tools Hard- Und Software Entwicklungs Gmbh Anordnung und Verfahren zur Aufnahme von Bildern
CN117694107B (zh) * 2023-12-28 2024-07-02 广东若铂智能机器人有限公司 一种扰动下串型水果用机器人智能避障采摘方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000027131A2 (en) * 1998-10-30 2000-05-11 C3D Limited Improved methods and apparatus for 3-d imaging
EP1089573A2 (en) * 1999-09-15 2001-04-04 Sharp Kabushiki Kaisha Method of producing a stereoscopic image
WO2002013140A2 (en) * 2000-08-07 2002-02-14 Koninklijke Philips Electronics N.V. Camera calibration for three-dimensional reconstruction of objects
EP1235439A2 (en) * 2001-02-23 2002-08-28 Sharp Kabushiki Kaisha Method and apparatus for transforming stereoscopic images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903738B2 (en) 2002-06-17 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Image-based 3D modeling rendering system
US6831641B2 (en) 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
US7574067B2 (en) * 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
KR20060065800A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000027131A2 (en) * 1998-10-30 2000-05-11 C3D Limited Improved methods and apparatus for 3-d imaging
EP1089573A2 (en) * 1999-09-15 2001-04-04 Sharp Kabushiki Kaisha Method of producing a stereoscopic image
WO2002013140A2 (en) * 2000-08-07 2002-02-14 Koninklijke Philips Electronics N.V. Camera calibration for three-dimensional reconstruction of objects
EP1235439A2 (en) * 2001-02-23 2002-08-28 Sharp Kabushiki Kaisha Method and apparatus for transforming stereoscopic images

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
ABDEL, AZIS, Y. I.; KARARA, H. M.: "Proceedings of the Symposia on Close-Range Photogrammetry", 1971, UNIVERSITY OF ILLINOIS, article "Direct linear transformation into object space coordinates in close range photogrammetry", pages: 1 - 18
BROWN, D.C.: "Calibration of close-range cameras", PHOTOGRAMMETRIC ENGINEERING, vol. 37, no. 8, 1971, pages 855 - 866
HARALICK, R.; SHAPIRO, L.: "Computer and Robot Vision", vol. 11, 1993, ADDISON WESLEY, article "Projective Geometry in Perspective", pages: 43 - 124
JANKO, Z.; DRBOHLAV, 0.; SARA, R.: "Conference of the Computer Society IEEE 2004", vol. 1, 27 June 2004, COMPUTER VISION AND PATTERNS RECOGNITION, article "Radiometric Calibration of a Helmholtz Stereo Rig", pages: 166 - 171
JIAN, X.; MALCOLM; A.; ZHONGPING, F: "Camer Calibration with Micron Level Accuracy", SIMTECH TECHICAL REPORT, 2001
LENZ, R.K.; TSAI, R. Y.: "Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3-D Machine Vision Metrology", IEEE TRANSACTIONS IN PATTERN ANALYSIS AND ARTIFICIAL INTELLIGENCE, vol. 10, no. 5, pages 713 - 720, XP011478186, DOI: doi:10.1109/34.6781
MAGDA, S. ET AL.: "Beyond Lambert: Reconstructing surfaces with arbitrary BRDFs", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 2001, pages 391 - 399
POELZLEITNER, W.; ULM, M.: "SPIE Proceedings", vol. 2350, October 1994, SABRY F. HAKING PUBLISHERS, article "Comparative Study of Algorithms with Application to the Navigation of Spaceships", pages: 187 - 196
See also references of EP2104365A4
TSAI, R. Y.: "An Efficient and Accurate Camera Calibration Technique for 3-D Machine Vision", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITIONS, 1986, pages 364 - 374, XP001004843
ZICKLER, T. ET AL.: "Binocular Helmholtz Stereopsis", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 2003, pages 1411 - 1417, XP010662557, DOI: doi:10.1109/ICCV.2003.1238655
ZICKLER, T.; BELHUMEUR, P.; KRIEGMAN, D.: "Helmoholtz stereopsis: Exploiting Reciprocity for Surface Reconstruction", PROCEEDINGS OF THE 7TH EUROPEAN CONFERENCE ON COMPUTER VISION, vol. 3, May 2002 (2002-05-01), pages 869 - 884

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3099279A1 (fr) 2019-07-26 2021-01-29 Allegorithmic Procédé de détermination d’une carte de normales à partir d’images par photométrie stéréo non calibrée
WO2021019414A1 (en) 2019-07-26 2021-02-04 Adobe Inc. Method for determining a normal map on the basis of images by means of uncalibrated photometric stereo

Also Published As

Publication number Publication date
US20080123937A1 (en) 2008-05-29
US7769205B2 (en) 2010-08-03
US20100295926A1 (en) 2010-11-25
EP2104365A1 (en) 2009-09-23
CA2707176A1 (en) 2008-06-05
US8121352B2 (en) 2012-02-21
EP2104365A4 (en) 2011-11-23

Similar Documents

Publication Publication Date Title
WO2008066368A1 (es) Método y aparato para la restauración rápida tridimensional
Shi et al. A benchmark dataset and evaluation for non-lambertian and uncalibrated photometric stereo
ES2384086T3 (es) Sistema de captación de imagen 3D
Hernández et al. Non-rigid photometric stereo with colored lights
Zhu et al. Fusion of time-of-flight depth and stereo for high accuracy depth maps
Bouguet et al. 3D photography using shadows in dual-space geometry
Holroyd et al. A coaxial optical scanner for synchronous acquisition of 3D geometry and surface reflectance
Papadhimitri et al. Uncalibrated near-light photometric stereo
JP5043023B2 (ja) 画像処理方法および装置
EP3115741B1 (en) Position measurement device and position measurement method
Brostow et al. Video normals from colored lights
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN107403449B (zh) 一种基于光度立体视觉的视觉系统及其三维重建方法
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
Yeh et al. A streamlined photometric stereo framework for cultural heritage
Takai et al. Difference sphere: an approach to near light source estimation
Zhang et al. A novel 3D multispectral vision system based on filter wheel cameras
Ahmad et al. An improved photometric stereo through distance estimation and light vector optimization from diffused maxima region
Liao et al. Light fall-off stereo
Hillemann et al. UCalMiCeL–Unified intrinsic and extrinsic calibration of a multi-camera-system and a laserscanner
Hoegner et al. Fusion of 3D point clouds with tir images for indoor scene reconstruction
Mauthner et al. Region matching for omnidirectional images using virtual camera planes
Yang et al. Point Light Measurement and Calibration for Photometric Stereo
Yeh et al. Shape-from-shifting: Uncalibrated photometric stereo with a mobile device
Conen et al. Rectification and robust matching using oriented image triplets for minimally invasive surgery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07851843

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2009/005269

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007851843

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2707176

Country of ref document: CA