WO2009150799A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2009150799A1
WO2009150799A1 PCT/JP2009/002511 JP2009002511W WO2009150799A1 WO 2009150799 A1 WO2009150799 A1 WO 2009150799A1 JP 2009002511 W JP2009002511 W JP 2009002511W WO 2009150799 A1 WO2009150799 A1 WO 2009150799A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
plane
image processing
provisional
provisional plane
Prior art date
Application number
PCT/JP2009/002511
Other languages
English (en)
French (fr)
Inventor
川崎洋
古川亮
佐川立昌
八木康史
Original Assignee
有限会社テクノドリーム二十一
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社テクノドリーム二十一 filed Critical 有限会社テクノドリーム二十一
Priority to EP09762230.2A priority Critical patent/EP2295932B1/en
Priority to US12/997,088 priority patent/US8837812B2/en
Publication of WO2009150799A1 publication Critical patent/WO2009150799A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program, and more particularly, to an image processing device, an image processing method, and a program for restoring a three-dimensional shape using an input two-dimensional image.
  • the pattern coding method In the pattern coding method, three-dimensional reconstruction is performed by projecting a single or multiple patterns onto a scene and photographing them. For this reason, a correspondence relationship between the feature points of the projection pattern and the photographed scene is necessary. Many pattern coding schemes do this by temporally coding projector pixel position information into multiple patterns.
  • this method there is a method of acquiring a three-dimensional shape of a moving scene by reducing the number of necessary patterns and further increasing the speed of the pattern. This method assumes that the amount of temporal movement of the scene is very small while projecting the required number of patterns, so an accurate shape cannot be obtained when the movement is fast, and a high speed is required. There is a problem that the system becomes complicated for the construction of a device that operates in synchronization with the system.
  • Non-patent Document 1 the position information of the projector pixels is coded in the temporal or spatial change of the projected pattern.
  • Non-Patent Document 2 Non-Patent Document 4
  • measurement one-shot scan
  • Non-Patent Document 5 the number of necessary patterns is reduced by using both temporal change and spatial change.
  • Non-Patent Document 6 Although not strictly a pattern coding method, there is a study of restoration by spatiotemporal stereo matching including motion (Non-Patent Document 6 and Non-Patent Document 7).
  • Non-Patent Document 8 proposes a method capable of dense shape restoration from a single image using a simple pattern called a set of linear patterns.
  • S. Inokuchi, K. et al. Sato, and F.S. Matsuda Range imaging system for 3-D object recognition.
  • ICPR pages 806-808, 1984.2.
  • volume 1 pages 95-107, 2004. 2, 5 J. et al. Pan, P.M. S. Huang, and F.H. -P. Chiang. Color-coded binary fringe projection technique for 3-d shape measurement.
  • Patent Document 1 has a problem that the number of patterns necessary for encoding position information is large and is not suitable for high-speed capture.
  • Non-Patent Document 2 to Non-Patent Document 4 there is a problem that the resolution is lowered because the pattern is coded into a spatially wide pattern.
  • the pattern for realizing this is relatively complicated, and image processing for extraction is also complicated. For this reason, there is a problem that extraction of encoded information is likely to fail due to the influence of the color and shape of the object, and the result tends to be unstable.
  • Non-Patent Document 5 there is a restriction that the scene must be practically stationary while a plurality of patterns are irradiated.
  • a solution based on alignment is proposed, but it cannot be used when there is movement in a target other than a rigid body, such as a human face or body movement.
  • Non-Patent Document 6 and Non-Patent Document 7 in the stereo of a camera pair, the projector is used only to give a texture that changes with time. In this technique, the continuity of the motion of the object is assumed, and there is a problem that if there is a fast motion that causes discontinuity on the spatio-temporal image, it cannot be correctly restored.
  • problems common to Non-Patent Document 5 to Non-Patent Document 7 include a problem that a system that operates in a very high-speed synchronization in order to cope with a fast movement, and a problem that processing is relatively heavy. is there.
  • Patent Document 8 The technique disclosed in Patent Document 8 is based on a local shape configuration based on extraction of dense stripe patterns (repetition of linear patterns), and global position estimation based on auxiliary sparse linear pattern extraction.
  • the Euclidean shape can be restored by combining. For this reason, there is a problem that reconstruction cannot be performed if detection of the sparse linear pattern fails or extraction of a striped pattern fails.
  • the present invention has been made to solve the above-described various problems, and a main object of the present invention is an image processing apparatus and an image that are capable of high-density restoration and are robust against image processing. It is to provide a processing method and a program.
  • two types of linear patterns irradiated from a projector are applied by applying a technique that realizes restoration of a three-dimensional shape by solving coplanarity conditions of points irradiated by a line laser.
  • the three-dimensional shape is restored by utilizing the fact that the coplanarity condition is established at the intersection of these patterns.
  • This restoration method is, for example, Kawasaki Hiroshi, Furukawa Ryo “Shape Reconstruction from Cast Shadows Usage Coplanarities and Metric Constants II, NP ArCp. 847-857, 2007.
  • the present invention uses one or more light sources that project planar pattern light in a three-dimensional space so that the first constraint condition that is a common constraint condition exists.
  • Projecting means for projecting onto the object a first pattern and one or more second patterns arranged so as to intersect with the first pattern and have a second constraint condition that is a common constraint condition;
  • An imaging unit that captures light reflected from the object by projecting pattern light onto the object to obtain a two-dimensional image
  • an image processing unit that restores the three-dimensional shape of the object from the two-dimensional image.
  • the image processing means obtains an intersection of an observed first pattern obtained by observing the first pattern as reflected light and an observed second pattern obtained by observing the second pattern as reflected light in the two-dimensional image.
  • a second calculation unit that calculates a first solution including:
  • three-dimensional reconstruction is realized by using a simple grid pattern composed of a large number of straight lines that can be identified only in the vertical and horizontal directions and using the intersection as a feature point. If such feature points are used, information about the connection points between the vertical and horizontal connections can be obtained. Therefore, by applying shape restoration from coplanarity, a consistent shape can be created as the intersection of the vertical and horizontal lines. Can be created as a solution set of parameters. Further, since the degree of freedom of this solution is 1 when the grid pattern is known, it can be determined at high speed by a one-dimensional search. Accordingly, it is possible to densely measure a moving scene or object in three dimensions.
  • the present invention has an advantage that the shape does not need to be globally smooth as long as a sufficient number of pieces of connection information for unique association can be obtained, and can be restored even if there is a sudden change in depth due to occlusion. Also, in a simple grid pattern composed of a large number of straight lines, it is sufficient that only the vertical and horizontal directions can be identified, so that there are few image processing problems.
  • (A) is a figure which shows the image processing apparatus of this invention
  • (B) is a figure which shows the structure of an image processing means. It is a figure which shows the image processing method of this invention. It is a figure which shows the image processing method of this invention, and is a figure which shows the plane relevant to the plane of the pattern irradiated from a projector. It is a figure which shows the image processing method of this invention, and is a figure which shows the plane relevant to the plane of the pattern irradiated from a projector. It is a figure which shows the image processing method of this invention, and is a figure which shows the collection of the plane of the pattern irradiated from a projector.
  • FIG. 1 It is a figure which shows the image processing method of this invention, and is a figure which shows the method of three-dimensional shape restoration. It is a figure which shows the image processing method of this invention, (A) shows the pattern irradiated, (B) has shown the extracted linear pattern. It is a figure which shows the image processing method of this invention, (A) shows the pattern which employ
  • FIG. 1A is a diagram illustrating an example of the configuration of the image processing apparatus 10
  • FIG. 1B is a diagram illustrating the configuration of the image processing means 16.
  • an image processing apparatus 10 is mainly composed of a projector 12 as a projecting unit, a camera 14 as a photographing unit, and an image processing unit 16 composed of, for example, a personal computer. Yes.
  • the projector 12 has a function of projecting light including a predetermined pattern onto the object 18 that is a subject.
  • a device such as a video projector is conceivable.
  • line laser projectors may be arranged or combined.
  • the laser light source may be irradiated in a plurality of directions by a prism or a beam splitter.
  • the projector 12 projects two types of patterns in the vertical direction and the horizontal direction on the subject.
  • the vertical pattern (first pattern) and the horizontal pattern (second pattern) are orthogonal to each other, and are identified by colors or the like.
  • two colors of RGB red, green, blue
  • the horizontal pattern and the vertical pattern it is only necessary to employ light having different wavelengths for the horizontal pattern and the vertical pattern.
  • light other than visible light for example, infrared light
  • a light source having a specific wavelength when used as described above, high-accuracy identification can be easily realized by photographing using a narrow-band bandpass filter or the like.
  • the vertical pattern and the horizontal pattern only need to generate intersections that intersect each other, and need not necessarily be orthogonal.
  • two types of patterns may be identified based on pattern thickness and pattern angle.
  • the pattern to be projected may be any pattern that can extract a vertical line and a horizontal line. Therefore, a line arranged in a grid pattern may be projected, and the line may be extracted from the image as it is.
  • a band that is thicker than the line may be projected and the boundary portion may be extracted.
  • the method of extracting the boundary part of the band has an advantage that patterns twice as many as the observed band can be extracted.
  • a checkerboard pattern (checkered pattern) may be projected and the boundary portion may be extracted.
  • the camera 14 is means for photographing light reflected from an object by projecting light with the projector 12, and for example, a solid-state imaging device such as a CCD image sensor is employed. A two-dimensional image is taken by the camera 14, and data based on the two-dimensional image is subjected to image processing by the image processing means 16, whereby the three-dimensional shape of the object 18 is restored.
  • a solid-state imaging device such as a CCD image sensor
  • image processing means 16 whereby the three-dimensional shape of the object 18 is restored.
  • the relative positional relationship between the camera 14 and the projector 12 is known, for example, by calibrating in advance, calibrating online, or self-calibrating.
  • the configuration of the image processing means 16 that restores a three-dimensional shape from a two-dimensional image will be described.
  • the image processing means 16 of the present embodiment mainly includes an image processing unit 30, a control unit 20, an input unit 22, a storage unit 24, a display unit 26, and an operation unit 28.
  • the overall schematic function of the image processing means 16 is to perform image processing on the input two-dimensional image, restore the three-dimensional shape, and output it.
  • the embodied image processing means 16 may be a computer such as a personal computer in which an application (program) for executing a predetermined function is installed, or dedicated to image processing configured to execute the predetermined function. It may be configured as a device.
  • the parts constituting the image processing means 16 are electrically connected to each other via a bus.
  • the image processing unit 30 is a part that performs the main image processing function, and includes an intersection acquisition unit 32, a first solution calculation unit 34, a second solution calculation unit 36, and a three-dimensional shape restoration unit 38.
  • the intersection acquisition unit 32 (first calculation unit) is a part that acquires an intersection of a pattern in which a vertical pattern is observed and a pattern in which a horizontal pattern is detected from a two-dimensional image captured by the camera 14.
  • the first solution calculation unit 34 (second calculation unit) is configured such that a constraint condition in which the two patterns share an intersection, a constraint condition in which a plane including the pattern passes a predetermined line, a position between the camera 14 and the projector 12. This is a part for calculating the first solution including the degree of freedom based on the conditions obtained from the relationship.
  • the 2nd solution calculation part 36 (3rd calculation part) is a site
  • the three-dimensional shape restoration unit 38 is a part that restores the three-dimensional shape of the photographed object based on the calculated second solution.
  • the control unit 20 is a part that controls the operation of the entire image processing means 16 (the image processing unit 30, the input unit 22, the storage unit 24, and the display unit 26).
  • the input unit 22 is a part where information is input to the image processing means 16 from the outside.
  • a moving image or a still image that is a two-dimensional image is input.
  • the storage unit 24 is a fixed storage disk represented by an HDD (Hard Disk Drive), a removable storage disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disk), a fixed or removable semiconductor memory, or the like. is there.
  • the storage unit 24 stores a two-dimensional image before processing and a three-dimensional shape restored from the two-dimensional image.
  • the storage unit 24 stores a program for executing the image processing method described below.
  • This program is called by the user operating the operation unit 28, and executes the functions of the respective parts described above. Specifically, the program operates each part so as to restore three-dimensional shape data from the input two-dimensional image data.
  • the display unit 26 is, for example, a liquid crystal display, a CRT (Cathode Ray Tube), or a video projector, and displays an input two-dimensional image and a three-dimensional shape restored based on the two-dimensional image.
  • a CRT Cathode Ray Tube
  • a video projector displays an input two-dimensional image and a three-dimensional shape restored based on the two-dimensional image.
  • the operation unit 28 is, for example, a keyboard or a mouse.
  • the image processing unit 16 restores a three-dimensional shape from the two-dimensional image.
  • the linear pattern projected by projector 12 defines a plane in space. That is, the linear pattern projected by the projector 12 passes through a plane in the space.
  • the vertical pattern and the plane represented by the horizontal pattern are expressed as vertical pattern plane (VPP) and horizontal pattern plane (HPP), respectively.
  • VPP vertical pattern plane
  • HPP horizontal pattern plane
  • the internal parameters of the projector 12 and the camera 14 are known, and the relative position between the projector 12 and the camera 14 is also known by a technique such as external calibration. That is, VPP and HPP existing in the space all have known plane positions and parameters in the camera coordinate system (in the following description, parameters such as planes and straight lines, and the three-dimensional positions of points are all camera coordinates. System).
  • VPP and HPP whose position parameters are known are referred to as CVPP (calibrated VPP) and CHPP. All CVPPs also share a single straight line that includes the optical center of the projector. Similarly, CHPP also shares a single straight line. These straight lines are written as L v and L h , respectively. Intersection of these straight lines, consistent with the optical center O p of the projector. O p and, L v, the direction vector of L h, the projector 12 and the relative position between the camera 14 can be determined by calculation if known.
  • intersection of the detected vertical pattern and the detected horizontal pattern is extracted as a feature point from the image captured by the camera 14. These feature points are called “captured intersections”.
  • the connection relationship between these intersections is extracted by image processing.
  • the relationship between the intersections the relationship that they are on the same detected vertical pattern or the detected horizontal pattern is used.
  • An intersection point on the same detected vertical pattern can be said to be “on the same VPP”.
  • CVPP or CHPP the VPP and HPP at which the respective intersections exist are specifically.
  • UVPP unassociated VPP
  • UHPP HPP represented by the detected horizontal pattern
  • UVPP unknown VPP
  • UHPP HPP represented by the detected horizontal pattern
  • UVPP has a one-to-one correspondence with the detected vertical pattern
  • CVPP is a known three-dimensional plane
  • identifying UVPPs and UHPPs Since UVPP has a one-to-one correspondence with the detected vertical pattern and CVPP is a known three-dimensional plane, if the correspondence between UVPP and CVPP can be obtained, the points of the vertical pattern can be detected by light cutting. A three-dimensional position can be obtained.
  • the image processing method of the present invention is based on step S10 for acquiring data necessary for restoring the three-dimensional shape of an object, and coplanarity conditions established for UVPP or UHPP.
  • Step S11 for calculating the solution Step S12 for eliminating the degree of freedom of the solution by matching the set of UVPP and UHPP and the set of CVPP and UVPP, and Step S13 for restoring the three-dimensional shape of the object from the obtained solution It consists of and.
  • the degree of freedom of the solution indeterminacy obtained in step S11 is 1, the position of all UVPPs and UHPPs is determined by determining one parameter in step S12. This process is performed, for example, by defining a matching error between planes and performing a one-dimensional search for a parameter that minimizes the sum.
  • Step S10 data required for the three-dimensional shape restoration of the object 18 is acquired using the image processing apparatus 10 shown in FIG. Specifically, the object 18 is irradiated with pattern light including a plurality of orthogonal patterns.
  • pattern light composed of a vertical pattern and a horizontal pattern orthogonal to each other is projected from the projector 12. Then, the camera 14 captures the light reflected by the object. Information based on the two-dimensional image photographed by the camera 14 is input to the image processing means 16. Then, the two-dimensional image input to the image processing means 16 is subjected to image processing to extract the position on the image at the intersection of the patterns.
  • FIG. 7B shows an example in which patterns and intersections are actually detected.
  • Step S11 a method is described in which a constraint equation relating to UVPP and UHPP is obtained from a set of captured intersection points, and a solution relating to these planes (first solution) is obtained by removing one degree of freedom.
  • symbols for representing related planes (CVPP, CHPP, UVPP, UHPP) are defined. Projected by V 1 set of CVPP obtained from the pattern, V 2, ⁇ , expressed as V M, the set of CHPP, H 1, H 2, ⁇ , denoted H N.
  • UVPPs obtained from the image a set of UHPPs, respectively, v 1, v 2, ⁇ , v m, and, h 1, h 2, ⁇ ⁇ ⁇ , denoted as h n.
  • the three-dimensional vectors v k and h k represent plane parameters, and x represents an arbitrary point on the plane. If the three-dimensional position of the captured intersection point u k, l is x k, l , x k, l uses u k, l ,
  • all UVPP includes straight L v
  • all UHPP includes straight L h
  • L v and L h intersect at a point O p. From these conditions, constraints are imposed on the arbitrary variables s and c in Equation (4), and the degree of freedom of the indefiniteness of the solution is reduced. The following describes how to obtain a general solution considering the above conditions.
  • the plane containing the two linear L v and L h referred to as a projector focal plane (PFP), it referred to the plane parameters p.
  • the direction vector of the straight line L v and L h expressed as l v and l h, respectively.
  • the three-dimensional position of the optical center O p of the projector is denoted by o p.
  • All UVPP includes straight L v
  • all UHPP includes straight L h.
  • all UVPP and UHPP includes the point O p. Than this,
  • Equation (11) represents that, from the image of the intersection of the vertical pattern and the horizontal pattern, a solution of the plane corresponding to them, that is, the position of the entire UVPP and UHPP, is obtained except for one degree of freedom. In practice, there are conditions for such a solution to be required. This is described below. When points on the line of intersection of certain UVPP and UHPP are observed on the image, they are defined as connected. In this sense, when the planes a and b are connected and the planes b and c are connected, it is defined that the planes a and c are connected. When there is a set of UVPP and UHPP and an arbitrary element is connected to all other elements, this is called a connected set. FIG. 5 shows an example of a connected set. At this time, if a set of UVPP and UHPP is a connected set, the solution of the position of the entire set is obtained in the form of equation (11).
  • equation (11) represents the form of this solution.
  • the set of UVPP and UHPP is not a connected set, there is no constraint condition between planes that are not connected sets, so that the overall solution has two or more degrees of freedom. Therefore, the necessary and sufficient condition that the solution of the entire set of planes is obtained in the form of equation (11) is that the set is a connected set.
  • the set of UVPP and UHPP is a connected set. If a plurality of connected sets can be obtained from the target scene, the proposed method should be applied to each connected set, and this does not impair the generality of the present method. In order to divide each connected set, it can be easily performed by a labeling process in image processing, and it is also efficient to examine the connection relationship in a graph composed of detected vertical patterns, detected horizontal patterns, and captured intersections. realizable.
  • the solution obtained in this step S11 leaving one degree of freedom may be also useful.
  • the focal length of the projector light source is long and the light source is close to a parallel light source, the distortion of the shape is relatively small even if the remaining parameters are appropriately determined for the solution that leaves one degree of freedom.
  • the output of the processing up to step S10 may be sufficiently utilized as a result.
  • it is only displayed on a two-dimensional display, it can be displayed without a sense of incongruity and can be used as it is in movies, games, digital archives, and the like. Therefore, depending on the case, the output of step S11 may be the result.
  • Step S12 the correspondence between UVPP and CVPP or UHPP and CHPP is obtained by matching the solution obtained in the previous step with CVPP and CHPP. That is, a solution parameter is obtained such that the solution obtained in the previous step matches CVPP and CHPP.
  • the solution of the previous step is obtained from the captured intersection only for UVPP and UHPP, and the information of CVPP and CHPP is not used. Since the degree of freedom of the solution is 1, a solution (second solution) in which the degree of freedom is eliminated is obtained by efficiently performing matching by a one-dimensional search.
  • k-th UVPPv k is, that corresponding to the i-th CVPPV i, referred to as v k ⁇ V i. This means that v k has been identified as V i .
  • a specific matching process will be described. First, select an appropriate UVPP. For example, the v 10 is selected. Next, with respect to v 10, made to correspond to CVPPV 1, from the corresponding all UVPPs, UHPPs position, i.e. v 1, ⁇ , v m, h 1, ⁇ , the position of h n Ask. At this time, the positions of the obtained UVPP, UHPP (v 1 ,..., V m , h 1 ,..., H n ) as a whole are CVPP, CHPP (V 1 ,..., V M , H 1 ,..., H N ) are evaluated.
  • the CVPP to correspond to v 10 is changed from V 2, V 3 ⁇ , UVPP obtained for each of the corresponding and UHPP position, evaluate whether the match as a whole CVPP, the CHPP To do.
  • Equation (11) has indefiniteness due to the parameter s. However, assuming a specific correspondence between UVPP and CVPP, this parameter is determined by the calculation described below. If the k′th UVPP corresponds to the i′th CVPP (ie, v k ′ ⁇ V i ′ ),
  • V i ′ is a parameter vector of CVPPV i ′ . From this equation, s is
  • s is expressed as s (k ′, i ′). Then, the v k v is calculated assuming a correspondence between the ' ⁇ V i' k and h l, v k (k ' , i'), h l (k ', i') is denoted as. Then these planes are
  • the next step is to compare the calculated UVPP (or UHPP) with CVPP (or CHPP). For this, for each UVPP, the difference between the UVPP and the CHPP closest to the UVPP is used as an error. Accordingly, the degree of coincidence regarding the correspondence relationship v k ′ ⁇ V i ′ can be defined as the square sum of errors for all the UVPPs (the smaller the sum of squared errors, the higher the degree of coincidence). By searching for a correspondence relationship that minimizes the error function, an optimum correspondence between UVPP (or UHPP) and CVPP (or CHPP) can be obtained.
  • D represents the angle which two planes make, and is defined as follows.
  • Another method can be considered as a method for comparing the calculated UVPP and UHPP with CVPP and CHPP. For example, the degree of coincidence between a set of intersection lines between UVPP and UHPP (there are a plurality of intersection lines because there are a plurality of UVPPs and UHPPs) and a set of intersection lines between CVPP and CHPP may be examined.
  • the former set is referred to as IUPP (Intersections between Uncalibrated Projector Planes), and the latter set is referred to as ICPP (Intersections betb Calibrated Projector Planes).
  • d (g, h) represents the angle difference between the direction vectors of the straight lines g and h.
  • d (g, h) represents the angle difference between the direction vectors of the straight lines g and h.
  • the same processing is performed for all h, and the sum of squares of the angle difference d (g, h) is calculated as an error function.
  • a parameter that minimizes such an error function may be obtained in the same manner as in step S12.
  • the boundary line of the belt-like pattern is the detected vertical pattern, whether the vertical pattern by a certain UVPP is the left boundary or the right boundary of the band coincides with the corresponding CVPP. Need to be. That is, since the UVPP on the right side of the boundary needs to correspond to the CVPP on the right side of the boundary, this may be reflected in an error function for evaluating the degree of matching or used for searching for a matching parameter.
  • the intersection if there is a method for distinguishing a set of specific intersections from other intersections, it may be reflected in the evaluation of coincidence. For example, a pattern in which markers such as circles are attached to some intersections can be used, and the coincidence of the circles can be used to evaluate the degree of coincidence between UVPP and UHPP and CVPP and CHPP.
  • Step S13 In this step, since all the UVPPs have been identified by the above processing, the shape is restored by the light cutting method. Specifically, as shown in FIG. 6, the three-dimensional coordinates of the object 18 are calculated as the intersection of the plane parameter and the line of sight connecting the detected edge and the center of the camera 14.
  • CVPP and CHPP are arranged at irregular intervals on the image plane of the projector.
  • the arrangement of the set of Vq and Hr becomes irregular, it is difficult to satisfy the condition of the above expression.
  • both the vertical and horizontal sides need not be irregular.
  • CHPPs may be arranged at irregular intervals
  • CVPPs may be arranged regularly (equally spaced) at a higher density than CHPP. .
  • Such a pattern is advantageous in that the stability of the search is ensured by the irregularity of CHPP and the density of the shape reconstructed by the density of CVPP is increased.
  • An example of such a pattern is shown in FIG. Further, even if the CHPP arrangement is not irregular and is based on a certain rule, if the interval is not uniform, it is effective in improving the stability of the search.
  • the present invention does not identify individual patterns as in a general one-shot scan, there is no need for a pattern that can be coded as in the deBruijn sequence, and only one color is required. Since a single color is sufficient as described above, it is difficult to be affected by the texture of the target object surface, and stable detection can be performed with simple image processing. Further, since it is not spatially encoded, a pattern with a width of 1 pixel is sufficient, and a very dense shape can be restored.
  • the present invention since the present invention only needs to identify whether the monochromatic pattern is vertical or horizontal, the texture and the like are robust, but the problem regarding the shape remains. For example, if the normal direction from the viewpoint is significantly different between the front and the side, such as a cylinder, even if a pattern with the same frequency is projected, the pattern near the side is compressed and crushed on the captured image. It may happen that measurement cannot be performed. Therefore, the present invention solves this by adding patterns having different frequencies. This time, we assume commercial projectors and cameras, so we consider identification using only three colors RGB, one color is a sparse and irregular horizontal pattern, and the other two colors are sparse and dense regular vertical patterns. can do. An actually created pattern is shown in FIG. FIG. 8B and FIG. 8C show the results of detecting the vertical and horizontal patterns using this pattern. It can be seen that a sparse grid and a dense grid are identified. In the following description, such pattern arrangement is referred to as coarse-to-fine.
  • different patterns may be parallel patterns that are different from each other only in a sparse or dense manner, or completely independent patterns may be used.
  • the sparse vertical pattern and the dense vertical pattern may be combined and handled as a set of vertical patterns.
  • Equation 1 is expressed by Equation 1 as in the above method.
  • Equation 3 is expressed by plane parameters, and linear equations are created at the intersections of all patterns in the same manner as in Equation 3.
  • the plane representing each pattern includes a common straight line determined by the pattern direction, it is the same as in Equations 9 and 10.
  • a simultaneous equation can be created. By solving this, it is possible to restore a pattern having straight lines in three or more directions.
  • this method unlike the example of FIG. 8A, even if a sparse vertical pattern and a dense vertical pattern are not parallel, they can be solved together as one equation.
  • the set of planes corresponding to the vertical pattern and the horizontal pattern is a set of planes passing through the same straight line, but may be a set of parallel planes instead.
  • the condition that the plane passes through the same straight line may be replaced with the condition that the plane passes through the same straight line at infinity.
  • straight line L v and the straight line L h in the second embodiment may be considered through the same point at infinity O p.
  • An actual system can be realized by arranging line laser light sources in parallel. In such an arrangement, pattern light with the same interval can be obtained even if the light source is far away from the light source, so that the light source can be placed away from the target object, and convenience in three-dimensional measurement is enhanced.
  • the projection pattern orthogonal to the vertical and horizontal directions will remain orthogonal to the vertical and horizontal directions in the camera coordinate system.
  • the same pattern is not passed more than twice. If the algorithm detects the peak (plurality) on the scan line in such an arrangement, the problem due to the simple threshold and the problem of the texture and the object boundary edge can be solved.
  • v k, h l are both (a PHP, represented by p) o p through each l v, is normal to the l h is a vertical plane. This is,
  • m is the number of UVPPs
  • n is the number of UHPPs
  • K is the number of intersections.
  • This equation is a representation of the condition of the expression (3), the equation (19), UVPPs comprises L v, since the condition is expressed as UHPP comprises L h, solving the equation To get the general solution in the previous section. Since the variable vector q of this equation is an m + n-dimensional vector, 3 (m + n) variables can be reduced to m + n.
  • ⁇ j is expressed by a linear combination of ⁇ k . If this is expressed as a matrix,
  • column numbers k 1 , k 2 ,... represent the elements of ⁇ ⁇ 1 (j), that is, the numbers of all UHPPs having intersections with the j-th UVPP.
  • R T P T PR T is an n ⁇ n matrix.
  • n number of UHPP
  • m number of UVPP
  • FIG. 10 shows the failure rate of i ′ min search. From this result, it is understood that the stability of the algorithm is improved by using the pattern having irregular intervals.
  • the resolution of the projection pattern was 1024 ⁇ 768, and this was photographed with a CCD camera having a resolution of 720 ⁇ 480 pixels, and three-dimensional reconstruction was performed.
  • FIG. 12 shows an example of measurement objects and measurement results. In the experiment, measurements were made using objects with complex shapes or objects with textures, but all of them were able to restore dense and accurate shapes. Specifically, FIG. 12A shows a target object, and FIGS. 12B to 12E show reconstruction results. Further, FIG. 12F shows the target object, and FIGS. 12G to 12I show the reconstruction results.
  • FIG. 13 a scene of a box (size: 0.4 mx 0.3 mx 0.3 m) and a cylinder (height: 0.2 m, radius: 0.2 m) is converted into the above-mentioned coarse-to-fine. It measured by the method by. For the evaluation, the same scene was measured by a pattern coding method to obtain a true shape.
  • 13A shows the photographed object
  • FIG. 13B and FIG. 13C show the input images
  • FIG. 13D shows the detected horizontal pattern
  • FIG. (E) shows the detected dense vertical pattern
  • FIG. 13 (F) shows the detected sparse vertical pattern
  • FIG. 13 (G) shows the intersection of the dense patterns
  • FIG. 13 (H) shows the sparse.
  • 13 (I) shows the restoration of the dense pattern
  • FIG. 13 (J) shows the restoration of the sparse pattern
  • FIG. 13 (K) shows the integration result.
  • 13 (L) to 13 (N) show the restored shape and the true shape in an overlapping manner
  • FIG. 14 the shape of a human face was measured as a three-dimensional measurement experiment of a deformed object.
  • the state of the experiment is shown in FIGS. 14 (A) and 14 (B).
  • examples of restoration of three facial expressions as measurement results are shown in FIGS. It can be seen that each complex expression can be restored as a dense and accurate shape.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　高密度な復元が可能であり、画像処理に対しても頑健な画像処理装置、画像処理方法およびプログラムを提供する。本発明の画像処理装置（１０）は、投影手段としてのプロジェクタ（１２）と、撮影手段としてのカメラ（１４）と、例えばパーソナルコンピュータから構成される画像処理手段（１６）とから主要に構成されている。そして、画像処理手段（１６）では、撮影された画像からパターン同士の交点を獲得し、この交点を含む第１暫定平面および第２暫定平面の制約条件と、プロジェクタ（１２）とカメラ（１４）との位置関係から得られる制約条件を用いて自由度を含む第１解を算出している。１次的な探索によりこの自由度を解消することで、３次元形状を復元している。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像を用いて３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。
　動きのあるシーンや物体、例えば顔などを計測するためには、計測の高速性、高密度の点群の獲得、正確性、などが重要となる。パッシブステレオにおいては、テクスチャの無い形状表面を、密かつ正確に再構成することは難しい。このため、アクティブ３次元計測手法、特にパターンコード化法を高速化することで動きのあるシーンの形状取得を行なうというアプローチが近年盛んに研究されている。
　パターンコード化法では、プロジェクタで単一又は複数のパターンをシーンに投影し、撮影することで３次元復元を行なう。このために、投影パターンの特徴点と撮影されたシーンとの対応関係が必要である。多くのパターンコード化方式では、プロジェクタの画素の位置情報を複数のパターンに時間的にコード化することでこれを行なう。この方式において、必要なパターンの数を減らし、さらに、パターンの速度を上げることで、動きのあるシーンの３次元形状の獲得を行なう方法がある。この方法では、必要な数のパターンを投影する間、シーンの時間的な移動量が非常に少ないことを仮定しているので、動きが速い場合には正確な形状が得られず、また、高速に同期して動作する機器の構築のためにシステムが複雑化するという問題点がある。
　一方で、プロジェクタから投影される画像に、各々の画素位置を同定するための情報を空間的なパターンとしてコード化し埋め込むことで、一度の撮影画像のみからシーンを復元する（ワンショットスキャン）手法がある。この方法では、局所的な領域に、位置情報を一意にコード化する必要性から、パターンが複雑になりやすく、また、複数の画素に単一の位置情報をコード化することから解像度が低くなるという問題がある。さらに、コードのパターンが複雑になると、対象物の反射率により色情報が乱されたり、対象物の形状によってパターンの歪みや不連続性などが起きやすく、コード化された情報の抽出が不安定となる問題もある。
　パターンコード化法において、対応点の決定に一般に利用される制約条件としてエピポーラ拘束がある。しかし、特徴点の数が多い場合や、特徴点の配列などの条件によってエピポーラ線上に複数の特徴点がある場合には、一意に対応付けることはできない。
　パターン光による形状復元では、投影されるパターンの時間的あるいは空間的変化にプロジェクタの画素の位置情報をコード化する。画像の時間的変化のみを利用する方法は、画素ごとに実装が容易なため、古くから利用されている（下記非特許文献１）。
　一方で、パターンの空間的コードのみを利用する方法（下記非特許文献２～下記非特許文献４）では、単一フレーム画像のみによる計測（ワンショットスキャン）が可能である。
　下記非特許文献５では、時間的変化と空間的変化の両方を利用して、必要なパターンの数を減らした。
　また、厳密にはパターンコード化法では無いが、動きも含めた時空間ステレオマッチングにより復元をする研究もある（下記非特許文献６および下記非特許文献７）。
　一方で、非特許文献８では、直線状パターンの集合という単純なパターンを用いて、画像一枚から密な形状復元が可能な方法が提案されている。
Ｓ．　Ｉｎｏｋｕｃｈｉ，　Ｋ．　Ｓａｔｏ，　ａｎｄ　Ｆ．　Ｍａｔｓｕｄａ．　Ｒａｎｇｅ　ｉｍａｇｉｎｇ　ｓｙｓｔｅｍ　ｆｏｒ　３－Ｄ　ｏｂｊｅｃｔ　ｒｅｃｏｇｎｉｔｉｏｎ．　Ｉｎ　ＩＣＰＲ，　ｐａｇｅｓ　８０６－８０８，　１９８４．２ Ｃ．　Ｊｅ，　Ｓ．　Ｗ．　Ｌｅｅ，　ａｎｄ　Ｒ．－Ｈ．　Ｐａｒｋ．　Ｈｉｇｈ－ｃｏｎｔｒａｓｔ　ｃｏｌｏｒ－ｓｔｒｉｐｅ　ｐａｔｔｅｒｎ　ｆｏｒ　ｒａｐｉｄ　ｓｔｒｕｃｔｕｒｅｄ－ｌｉｇｈｔ　ｒａｎｇｅ　ｉｍａｇｉｎｇ．　Ｉｎ　ＥＣＣＶ，　ｖｏｌｕｍｅ　１，　ｐａｇｅｓ　９５－１０７，　２００４．　２，　５ Ｊ．　Ｐａｎ，　Ｐ．　Ｓ．　Ｈｕａｎｇ，　ａｎｄ　Ｆ．－Ｐ．　Ｃｈｉａｎｇ．　Ｃｏｌｏｒ－ｃｏｄｅｄ　ｂｉｎａｒｙ　ｆｒｉｎｇｅ　ｐｒｏｊｅｃｔｉｏｎ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　３－ｄ　ｓｈａｐｅ　ｍｅａｓｕｒｅｍｅｎｔ．　Ｏｐｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，　４４（２）：２３６０６－２３６１５，　２００５． Ｊ．　Ｓａｌｖｉ，　Ｊ．　Ｂａｔｌｌｅ，　ａｎｄ　Ｅ．　Ｍ．　Ｍｏｕａｄｄｉｂ．　Ａ　ｒｏｂｕｓｔ－ｃｏｄｅｄ　ｐａｔｔｅｒｎ　ｐｒｏｊｅｃｔｉｏｎ　ｆｏｒ　ｄｙｎａｍｉｃ　３ｄ　ｓｃｅｎｅ　ｍｅａｓｕｒｅｍｅｎｔ．　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　１９（１１）：１０５５－１０６５，　１９９８． Ｓ．Ｒｕｓｉｎｋｅｉｗｉｃｚ：　"Ｒｅａｌ－ｔｉｍｅ　３Ｄ　ｍｏｄｅｌ　ａｃｑｕｉｓｉｔｉｏｎ"　，　ＡＣＭ　ＳＩＧＧＲＡＰＨ，ｐｐ．４３８－４４６　（２００２）． Ｏ．　Ｈａｌｌ－Ｈｏｌｔ　ａｎｄ　Ｓ．　Ｒｕｓｉｎｋｉｅｗｉｃｚ．　Ｓｔｒｉｐｅ　ｂｏｕｎｄａｒｙ　ｃｏｄｅｓ　ｆｏｒ　ｒｅａｌ－ｔｉｍｅ　ｓｔｒｕｃｔｕｒｅｄ－ｌｉｇｈｔ　ｒａｎｇｅ　ｓｃａｎｎｉｎｇ　ｏｆ　ｍｏｖｉｎｇ　ｏｂｊｅｃｔｓ．　Ｉｎ　ＩＣＣＶ，　ｖｏｌｕｍｅ　２，　ｐａｇｅｓ　３５９－３６６，　２００１． Ｌ．　Ｚｈａｎｇ，　Ｎ．　Ｓｎａｖｅｌｙ，　Ｂ．　Ｃｕｒｌｅｓｓ，　ａｎｄ　Ｓ．Ｍ．　Ｓｅｉｔｚ．　Ｓｐａｃｅｔｉｍｅ　ｆａｃｅｓ：　Ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ　ｃａｐｔｕｒｅ　ｆｏｒ　ｍｏｄｅｌｉｎｇ　ａｎｄ　ａｎｉｍａｔｉｏｎ．　Ｉｎ　ＡＣＭ　Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ｐａｇｅｓ　５４８－５５８，　Ａｕｇｕｓｔ　２００４．　２ Ｔ．　Ｐ．　Ｋｏｎｉｎｃｋｘ　ａｎｄ　Ｌ．　Ｖ．　Ｇｏｏｌ．　Ｒｅａｌ－ｔｉｍｅ　ｒａｎｇｅ　ａｃｑｕｉｓｉｔｉｏｎ　ｂｙ　ａｄａｐｔｉｖｅ　ｓｔｒｕｃｔｕｒｅｄ　ｌｉｇｈｔ．　ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　ＰＡＭＩ，　２８（３）：４３２－４４５，　Ｍａｒｃｈ　２００６．
　しかしながら、上記した背景技術では、以下のような問題があった。
　具体的には、特許文献１に記載された技術では、位置情報のコード化に必要なパターンの枚数が多く、高速なキャプチャに不向きである問題があった。
　非特許文献２～非特許文献４に記載された技術では、空間的な広がりのあるパターンにコード化するため解像度が落ちてしまう問題があった。また、パターンが各画素の周囲で局所的かつ一意的にコード化される必要性から、これを実現するためのパターンは比較的複雑なものとなり、抽出のための画像処理も複雑となる。このため、物体の色や形状の影響によりコード化された情報の抽出に失敗することが起こりやすく、結果不安定になりやすい問題があった。
　非特許文献５に記載された発明では、複数枚のパターンを照射する間、シーンが事実上静止していなければならないという制約がある。また、動きの遅い剛体物に限り、位置あわせによる解決手法を提案してはいるものの、人間の顔や体の動きなど、剛体以外の対象に動きがある場合には対応できない。
　非特許文献６および非特許文献７に記載された技術では、カメラペアのステレオにおいて、プロジェクタは時間的に変化するテクスチャを与えることのみに使用される。この技術では物体の運動の連続性が仮定されており、時空間画像上で不連続性が生じるような速い動きがある場合には正しく復元されないという問題がある。
　また、非特許文献５～非特許文献７に共通する課題として、早い動きに対応するために非常に高速同期して動作するシステムを構築しなければならない点や、処理が比較的重いという問題もある。
　特許文献８に開示された技術では、密な縞模様パターン（直線状パターンの繰り返し）の抽出による局所的な形状構成を基本とし、これに補助的な疎な直線状パターン抽出によるグローバルな位置推定を組み合わせることで、ユークリッドな形状の復元を実現している。このため、この疎な直線状パターンの検出に失敗するか、縞模様の抽出に失敗すると再構成が出来ないという問題があった。
　本発明は、上記した種々の課題を解決するために成されたものであり、本発明の主たる目的は、高密度な復元が可能であり、画像処理に対しても頑健な画像処理装置、画像処理方法およびプログラムを提供することにある。
　本発明では、ラインレーザによって照射される点の共面性条件を解くことで３次元形状の復元が実現される手法を応用し、プロジェクタ（投影手段）から照射される２種類の直線状パターンについて、これらパターンどうしの交点に共面性条件が成立することを利用して、３次元形状の復元を行う。この復元の方法は、例えば、Ｋａｗａｓａｋｉ　Ｈｉｒｏｓｈｉ、Ｆｕｒｕｋａｗａ　Ｒｙｏ　"Ｓｈａｐｅ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｆｒｏｍ　Ｃａｓｔ　Ｓｈａｄｏｗｓ　ｕｓｉｎｇ　Ｃｏｐｌａｎａｒｉｔｉｅｓ　ａｎｄ　 Ｍｅｔｒｉｃ　Ｃｏｎｓｔｒａｉｎｔｓ"， ＡＣＣＶ， Ｐａｒｔ　ＩＩ，　ＬＮＣＳ ４８４３，ｐｐ．８４７－８５７， ２００７　に記載されている。
　具体的には、本発明は、３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、前記２次元画像から前記物体の３次元形状を復元する画像処理手段と、を備え、前記画像処理手段は、前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する第１計算部と、前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する第２計算部と、を備えることを特徴とする。
　本発明では、縦と横のみが識別可能な多数の直線で構成された単純なグリッドパターンを用いて、その交点を特徴点とすることで３次元復元を実現する。このような特徴点を用いれば、縦と横の接続関係という特徴点どうしの情報が得られるため、共面性からの形状復元を応用して、縦線と横線の交点として矛盾のない形状を、パラメータの解集合として作成することができる。また、この解の自由度は、グリッドパターンが既知である場合１であるため、１次元探索により高速に決定することが出来る。従って、動きのあるシーンや物体を密に３次元計測することができる。
　更に本発明では、一意な対応付けに十分な数の接続情報さえ得られれば形状がグローバルに滑らかである必要が無く、オクルージョンによる急激なデプスの変化等があっても復元できるという利点がある。また、多数の直線で構成された単純なグリッドパターンにおいて、縦と横のみが識別可能であれば良いため、画像処理の問題も少ない。
 
（Ａ）は本発明の画像処理装置を示す図であり、（Ｂ）は画像処理手段の構成を示す図である。 本発明の画像処理方法を示す図である。 本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面に関連する平面を示す図である。 本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面に関連する平面を示す図である。 本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面の集合を示す図である。 本発明の画像処理方法を示す図であり、３次元形状復元の方法を示す図である。 本発明の画像処理方法を示す図であり、（Ａ）は照射されるパターンを示し、（Ｂ）は、抽出された線状パターンを示している。 本発明の画像処理方法を示す図であり、（Ａ）は縦パターンに疎なパターンと密なパターンの両方を採用したパターンを示し、（Ｂ）は検出された疎なパターンを示し、（Ｃ）は検出された密なパターンを示す。 本発明の画像処理方法を示す図であり、（Ａ）は均等なパターンによる入力画像であり、（Ｂ）は乱雑な間隔のパターンによる入力画像、（Ｃ）は乱雑な間隔のパターンによる画像の処理結果である。 本発明の画像処理方法を示す図であり、雑音の大きさに対する誤り率を示すグラフである。 本発明の画像処理方法を示す図であり、スキャンを行う際の装置を撮影した画像である。 本発明の画像処理方法を示す図であり、（Ａ）および（Ｂ）は対象物体を示す図であり、（Ｃ）（Ｄ）および（Ｅ）は再構成結果を示し、（Ｆ）は対象物体であり、（Ｇ）および（Ｈ）は再構成結果を示し、（Ｉ）はテクスチャマッピングされたモデルである。 本発明の画像処理方法を示す図であり、（Ａ）は撮影された物体を示し、（Ｂ）および（Ｃ）入力された画像を示し、（Ｄ）は検出された横パターンを示し、（Ｅ）は検出された密な縦パターンを示し、（Ｆ）は検出された疎な縦パターンを示し、（Ｇ）は密パターンの交点を示し、（Ｈ）は疎なパターンの交点を示し、（Ｉ）は密パターンの復元を示し、（Ｊ）は疎なパターンの復元を示し、（Ｋ）は統合結果を示している。そして、（Ｌ）－（Ｎ）は、復元された形状と真の形状とを重ねて示している。 本発明の画像処理方法を示す図であり、（Ａ）は入力シーンを示し、（Ｂ）は入力画像を示し、（Ｃ）－（Ｅ）は３つの表情の復元例を示す。
１０　　　画像処理装置
１２　　　プロジェクタ
１４　　　カメラ
１６　　　画像処理手段
１８　　　物体
２０　　　制御部
２２　　　入力部
２４　　　記憶部
２６　　　表示部
２８　　　操作部
３０　　　画像処理部
３２　　　交点獲得部
３４　　　第１解算出部
３６　　　第２解算出部
３８　　　３次元形状復元部
 
 
　＜第１の実施の形態：画像処理装置＞
　図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（Ａ）は画像処理装置１０の構成の一例を示す図であり、図１（Ｂ）は画像処理手段１６の構成を示す図である。
　図１（Ａ）を参照して、画像処理装置１０は、投影手段としてのプロジェクタ１２と、撮影手段としてのカメラ１４と、例えばパーソナルコンピュータから構成される画像処理手段１６とから主要に構成されている。
　プロジェクタ１２は、被写体である物体１８に対して所定のパターンを含む光を投影する機能を有し、例えば、ビデオプロジェクタ等の装置が考えられる。その他、ラインレーザ投光機を並べたり組み合わせたりしても良い。あるいはレーザ光源をプリズムやビームスプリッターなどで複数方向に分けて照射しても良い。プロジェクタ１２は、被写体に対して、縦方向および横方向の２種類のパターンを投影している。ここで、縦方向のパターン（第１パターン）と横方向のパターン（第２パターン）とは、互いに直交するパターンであり、色などにより識別される。本発明では、２パターンの識別が可能であればよいので、これらのパターンの色としては、ＲＧＢ（赤、緑、青）のうち２色が選択されて採用されても良い。更に、横方向のパターンと縦方向のパターンとでは、波長が異なる光が採用されれば良く、例えば可視光以外の光（例えば赤外線）が採用されても良い。また、このように特定の波長の光源を用いる場合には、狭帯域バンドパスフィルタ等を用いて撮影すれば容易に高精度な識別が実現できる。更にまた、縦方向のパターンと横方向のパターンとは、互いに交わる交点が生成されれば良く、必ずしも直交する必要はない。また、色以外にも、パターンの太さや、パターンの角度によって、２種類のパターンを識別しても良い。また、投写するパターンは、縦方向の線と横方向の線が抽出できるものであればよいので、格子状に配置された線を投写し、その線をそのまま画像から抽出しても良いし、あるいは、線よりも太さのある帯を投写し、その境界部を抽出しても良い。帯の境界部を抽出する方法には、観測された帯の２倍の数のパターンを抽出できるという利点がある。あるいは、チェッカーボード模様（市松模様）を投写し、その境界部を抽出してもよい。
　カメラ１４は、プロジェクタ１２で光を投影することで物体から反射された光を撮影する手段であり、例えばＣＣＤイメージセンサ等の固体撮像装置が採用される。カメラ１４により２次元画像が撮影され、この２次元画像に基づくデータが画像処理手段１６により画像処理されることで、物体１８の３次元形状が復元される。ここで、カメラ１４とプロジェクタ１２との相対的な位置関係は、事前に校正するか、あるいはオンラインで校正するか、または自校正することなどにより、既知であると仮定する。
　図１（Ｂ）を参照して、２次元画像から３次元形状を復元する画像処理手段１６の構成を説明する。
　本実施の形態の画像処理手段１６は、画像処理部３０と、制御部２０と、入力部２２と、記憶部２４と、表示部２６と、操作部２８とを主要に具備する。画像処理手段１６の全体的な概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理手段１６としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理手段１６を構成する各部位は、バスを経由して相互に電気的に接続される。
　画像処理部３０は、主たる画像処理の機能を果たす部位であり、交点獲得部３２と、第１解算出部３４と、第２解算出部３６と、３次元形状復元部３８とを含む。
　交点獲得部３２（第１計算部）は、カメラ１４により撮影された２次元画像から、縦パターンを観測したパターンと、横パターンを検出したパターンとの交点を獲得する部位である。
　第１解算出部３４（第２計算部）は、前記両パターンが交点を共有する制約条件や、パターンを含む平面が所定の線を通ることによる制約条件や、カメラ１４とプロジェクタ１２との位置関係から得られる条件等を基に、自由度を含む第１解を算出する部位である。
　第２解算出部３６（第３計算部）は、第１算出部により算出された第１解の自由度を解消して第２解を算出する部位である。
　３次元形状復元部３８は、算出された第２解を基に、撮影された物体の３次元形状を復元する部位である。
　上記した画像処理部を構成する各部位の詳細は、画像処理方法として以下に詳述する。
　制御部２０は、画像処理手段１６全体（画像処理部３０、入力部２２、記憶部２４、表示部２６）の動作を制御している部位である。
　入力部２２は、外部から画像処理手段１６に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。
　記憶部２４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部２４には、処理前の２次元画像、当該２次元画像から復元された３次元形状が記憶される。
　更に、記憶部２４には、下記する画像処理方法を実行するためのプログラムが格納される。このプログラムは、使用者が操作部２８を操作することにより呼び出されて、上記した各部位の機能を実行させる。具体的には、入力された２次元画像のデータから、３次元形状のデータを復元するように、プログラムは各部位を動作させる。
　表示部２６は、例えば液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。
　操作部２８は、例えば、キーボードやマウスであり、使用者がこの操作部２８を操作することにより、画像処理手段１６は２次元画像から３次元形状を復元する。
　＜第２の実施の形態：画像処理方法＞
　本発明の画像処理方法を説明する前に、プロジェクタにより投影されるパターンに関する平面を定義する。
　図３を参照して、プロジェクタ１２によって投影された直線状パターンは、空間中に平面を定義する。つまり、プロジェクタ１２によって投影された直線状パターンは、空間中の平面を通過する。縦パターンと、横パターンで表される平面を、それぞれｖｅｒｔｉｃａｌ　ｐａｔｔｅｒｎ　ｐｌａｎｅ（ＶＰＰ）、ｈｏｒｉｚｏｎｔａｌ　ｐａｔｔｅｒｎ　ｐｌａｎｅ（ＨＰＰ）と表記する。プロジェクタ１２とカメラ１４の内部パラメータは既知であり、プロジェクタ１２とカメラ１４との相対位置も外部キャリブレーション等の手法によって既知であると仮定する。つまり、空間中に存在するＶＰＰとＨＰＰは、全てカメラ座標系での平面の位置とパラメータが既知である（以下の記述では、平面、直線等のパラメータ、点の３次元位置は、全てカメラ座標系で表すものとする）。これら、位置パラメータが既知であるようなＶＰＰ及びＨＰＰを、ＣＶＰＰ（ｃａｌｉｂｒａｔｅｄ　ＶＰＰ）及びＣＨＰＰと呼ぶ。また、全てのＣＶＰＰは、プロジェクタの光学中心を含む単一の直線を共有する。また、ＣＨＰＰも、同様に、単一の直線を共有する。これらの直線を、それぞれ、Ｌｖ、Ｌｈと表記する。これらの直線の交点は、プロジェクタの光学中心Ｏｐと一致する。Ｏｐと、Ｌｖ、Ｌｈの方向ベクトルは、プロジェクタ１２とカメラ１４との相対位置が既知であれば計算により求めることが出来る。対象シーン（物体）の表面に投影された縦パターンと、横パターンを、カメラ１４で撮影した２次元曲線を、それぞれ「検出された縦パターン」「検出された横パターン」と呼ぶ。ここで、検出された縦パターンと検出された横パターンの交点を、カメラ１４で撮影された画像から特徴点として抽出する。これらの特徴点を、「キャプチャされた交点」と呼ぶ。本発明では、画像処理によって、これらの交点同士の接続関係を抽出する。ここでは、交点同士の関係として、同一の検出された縦パターンや、検出された横パターン上にある、という関係を利用する。同一の検出された縦パターン上にある交点は、「同一のＶＰＰ上にある」と言うことが出来る。ただし、それぞれの交点が存在するＶＰＰ、ＨＰＰが、具体的にどのＣＶＰＰあるいはＣＨＰＰであるかは、最初は分からない。このように、検出された縦パターンが表すＶＰＰは、観測時点ではＣＶＰＰに対応づけられていないので、これをＵＶＰＰ（ｕｎｋｎｏｗｎ　ＶＰＰ）と呼ぶ（図４参照）。同様に、検出された横パターンが表すＨＰＰを、ＵＨＰＰと呼ぶ。最終的に、全てのＵＶＰＰおよびＵＨＰＰを、ＣＶＰＰ、ＣＨＰＰに対応づける（これをＵＶＰＰ、ＵＨＰＰを同定するという）ことが本発明の目的である。ＵＶＰＰは検出された縦パターンと１対１で対応しており、ＣＶＰＰは既知の３次元平面であるから、ＵＶＰＰとＣＶＰＰの対応づけが得られれば、光切断法によって、縦パターン上の点の３次元位置を求めることができる。単一のＣＶＰＰに照射された点が、オクルージョンなどによって画像面上で不連続になると、複数の縦パターンとして観測される。この場合、複数のＵＶＰＰが、一つのＣＶＰＰに対応することになる。ＵＨＰＰとＣＨＰＰについても同様である。
　以下に、画像処理方法の詳細を説明する。図２を参照して、本発明の画像処理方法は、物体の３次元形状を復元するために必要とされるデータを獲得するステップＳ１０と、ＵＶＰＰあるいはＵＨＰＰについて成立する共面性の条件等から解を算出するステップＳ１１と、ＵＶＰＰ及びＵＨＰＰの集合と、ＣＶＰＰ及びＵＶＰＰの集合とのマッチングによって解の自由度を解消するステップＳ１２と、求められた解から物体の３次元形状を復元するステップＳ１３とから構成されている。本発明では、ステップＳ１１で求められる解の不定性の自由度が１であることから、ステップＳ１２にて、一つのパラメータを決定することで、全てのＵＶＰＰ、ＵＨＰＰの位置が決まる。この処理は、例えば平面どうしのマッチング誤差を定義し、その和が最小となるパラメータを１次元探索することで行なわれる。
　各ステップの詳細を以下にて説明する。
　ステップＳ１０
　本ステップでは、図１に示される画像処理装置１０を用いて物体１８の３次元形状復元に必要とされるデータを獲得する。具体的には、直交する複数のパターンを含むパターン光を、物体１８に対して照射する。ここでは、例えば図７（Ａ）に示すような、互いに直交する縦パターンおよび横パターンから成るパターン光がプロジェクタ１２から投影されている。そして、物体により反射された光をカメラ１４により撮影する。カメラ１４により撮影された２次元画像に基づく情報は、画像処理手段１６に入力される。そして、画像処理手段１６に入力された２次元画像を画像処理することにより、パターン同士の交点の画像上での位置を抽出する。図７（Ｂ）にパターンや交点を実際に検出した例を示す。
　ステップＳ１１
　本ステップでは、キャプチャされた交点の集合から、ＵＶＰＰ、ＵＨＰＰに関する拘束式を得て、それらの平面に関する解（第１解）を１自由度を除いて得る方法を述べる。まず、関係する平面（ＣＶＰＰ、ＣＨＰＰ、ＵＶＰＰ、ＵＨＰＰ）を表すための記号を定義する。投影されるパターンから得られたＣＶＰＰの集合をＶ１、Ｖ２、・・・、ＶＭと表し、ＣＨＰＰの集合を、Ｈ１、Ｈ２、・・・、ＨＮと表す。また、画像から得られたＵＶＰＰ、ＵＨＰＰの集合を、それぞれ、ｖ１、ｖ２、・・・、ｖｍ、及び、ｈ１、ｈ２、・・・、ｈｎと表記する。
　ｖｋとｈｊの交点がキャプチャされ、画像上での位置が正規化カメラの座標表記でｕｋ、ｌ＝［ｓｋ、ｌ、ｔｋ、ｌ］Ｔであるとする。ｖｋとｈｊの２個の平面は、次の式で表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで３次元ベクトルｖｋ及びｈｋは平面のパラメータを表し、ｘは平面上の任意の点を表す。キャプチャされた交点ｕｋ、ｌの３次元位置をｘｋ、ｌとすると、ｘｋ、ｌはｕｋ、ｌを利用して、
Figure JPOXMLDOC01-appb-M000002
 　と表される。方程式（１）にｘ＝ｘｋ、ｌを代入して、式（１）と（２）から
ｘｋ、ｌとγを消去すると、
Figure JPOXMLDOC01-appb-M000003
 　が得られる。この式は、ｖｋ、ｈｌを変数とする一次方程式であり、この方程式を全てのキャプチャされた交点について並べると、ｖ１、・・・、ｖｍ、
ｈ１、・・・、ｈｎを変数とする連立一次方程式となる。これを行列形式で表現したとき、Ａｑ＝０と表されるとする。ただし、ｑ＝［ｖ１ Ｔ、・・・、ｖｍ Ｔ、ｈｌ Ｔ、・・・、ｈｎ Ｔ］Ｔである。
　方程式（３）には差（ｖｋ－ｈｌ）のみが現れるので、連立方程式Ａｑ＝０の解ｑ＝［ｖT １、・・・、ｖT ｍ、ｈT １、・・・、ｈT ｎ］Tについて、そのスカラー倍、 ｓｑ＝［ｓｖT １、・・・、ｓｖT ｍ、ｓｈT １、・・・、ｓｈT ｎ］Tもまた解である。さらに、任意の３次元定数ベクトルｃを並べたベクトルを加算したものｑ＋［ｃT、ｃT、・・・、ｃT］T＝［ｖT １＋ｃT、・・・、ｖT ｍ＋ｃT、ｈT １＋ｃT、・・・、ｈT ｎ＋ｃT］Tもやはり解となる。これより、連立方程式Ａｑ＝０の一般解は、
Figure JPOXMLDOC01-appb-M000004
 　と表される。ただし、ｑ’＝［ｖ’T １、・・・、ｖ’T ｍ、ｈ’T １、・・・、ｈ’T ｎ］TはＡｑ＝０の特殊解である。
　本発明では、全てのＵＶＰＰは直線Ｌｖを含み、全てのＵＨＰＰは直線Ｌｈを含む、という条件が存在する。さらに、ＬｖとＬｈは点Ｏｐで交わる。これらの条件から、式（４）の任意変数ｓとｃには拘束が生じ、解の不定性の自由度が減る。以下に、上記の条件を考慮した一般解の求め方を述べる。２個の直線ＬｖとＬｈを含む平面を、ｐｒｏｊｅｃｔｏｒ　ｆｏｃａｌ　ｐｌａｎｅ（ＰＦＰ）と呼び、その平面パラメータをｐと表記する。直線Ｌｖと
Ｌｈの方向ベクトルを、それぞれｌｖ及びｌｈと表記する。また、プロジェクタの光学中心Ｏｐの３次元位置をｏｐと表記する。全てのＵＶＰＰは直線Ｌｖを含み、全てのＵＨＰＰは直線Ｌｈを含む。また、全てのＵＶＰＰ及びＵＨＰＰは点Ｏｐを含む。これより、
Figure JPOXMLDOC01-appb-M000005
 が得られる。また、前述の特殊解ｑ’も上記の条件を満たすとする。つまり、
Figure JPOXMLDOC01-appb-M000006
 である。また、ＰＦＰは、直線Ｌｖ、Ｌｈと点Ｏｐを含むので、
Figure JPOXMLDOC01-appb-M000007
 が成立する。式（５）、（６）、（７）より、
Figure JPOXMLDOC01-appb-M000008
 　が得られる。これらの式から、 ｖｋ－ｐとｖ’ｋ－ｐが、両方ともｌｖ及びｏｐに直交することがわかる。ｌｖとｏｐは一般には平行でないので、これらの両方に直交するベクトルは、スケーリングを除いて一意に決まる。これより、
Figure JPOXMLDOC01-appb-M000009
 が得られる。同様に、
Figure JPOXMLDOC01-appb-M000010
 である。式（９）、（１０）より、方程式（３）及び（５）の一般解は、
Figure JPOXMLDOC01-appb-M000011
 　の形で表される。既に述べたように、［ｖ’T １、・・・、ｖ’T ｍ、ｈ’T １、・・・、ｈ’T ｎ］Tは特殊解の一つであり、ｐは平面ＰＦＰのパラメータベクトルである。式（４）の一般解の不定性がＬｖ及びＬｈの条件により減少した結果、式（１１）における不定性は、スカラー値ｓによる１自由度のみとなったことが分かる。
　式（１１）は、縦パターンと横パターンとの交点の像から、それらに対応する平面、つまりＵＶＰＰ及びＵＨＰＰ全体の位置の解が、１自由度を除いて求められることを表す。実際には、このような解が求められるためには条件がある。これを以下に述べる。あるＵＶＰＰとＵＨＰＰの交線上の点が画像上で観測されているとき、これらは連結している、と定義する。また、この意味で平面ａとｂが連結しており、かつ、平面ｂとｃが連結しているとき、平面ａとｃは連結していると定義する。あるＵＶＰＰ及びＵＨＰＰの集合があり、その任意の要素が他の全ての要素と連結しているとき、これを連結集合と呼ぶことにする。図５に連結集合の例を示す。この時、あるＵＶＰＰ及びＵＨＰＰの集合が連結集合ならば、その集合全体の位置の解は式（１１）の形で求められる。
　これは、直観的には、以下のように証明できる。ある一つのＵＶＰＰ　ｖｆに着目すると、ｖｆは直線Ｌｖを含むことから、その位置の不定性は１自由度である。ここで、ｖｆの不定な１個のパラメータを仮に定め、ｖｆと交点のあるＵＨＰＰ　ｈｇを考える。ｖｆの位置を定めると、交点の位置が定まり、かつｈｇは直線Ｌｈを含むため、ｈｇの位置も定まる。このように、ある平面を定めると、その平面と交点を持つ平面が定められるため、これを繰り返すと連結集合全体の解が定まる。この時、不定性は、最初の平面の１自由度のみであり、式（１１）はこの解の形式を表す。逆に、ＵＶＰＰ及びＵＨＰＰの集合が連結集合でないならば、連結集合でない平面同士には拘束条件がないので、全体としての解は２自由度以上になる。よって、平面の集合全体が解は式（１１）の形で求められる必要十分条件は、その集合が連結集合であることである。
　本発明では、ＵＶＰＰ及びＵＨＰＰの集合が連結集合であると仮定する。もし、対象シーンから複数の連結集合が得られる場合には、それぞれの連結集合ごとに提案手法を適用すればよいので、このことは本手法の一般性を損なわない。連結集合ごとに分けるには、画像処理でラベリング処理により容易に行うことができる他、検出された縦パターンと検出された横パターンとキャプチャされた交点からなるグラフにおいて接続関係を調べることでも効率よく実現できる。
　さらに、想定する応用例によっては、本ステップＳ１１で得られる、１自由度を残した解でも役に立つ場合もある。例えば、プロジェクタ光源の焦点距離が長く、光源が平行光源に近い場合、１自由度を残した解について、残りのパラメータを適当に定めても形状の歪みは比較的少ない。このような時、形状に陰影を付けて表示するなどの限定的な利用に関しては、ステップＳ１０までの処理の出力が、結果として十分利用できる場合がある。特に、２次元ディスプレイ上に表示するだけであれば違和感なく表示可能であり、映画やゲーム、デジタルアーカイブなどでそのまま利用できる。よって、場合によっては、ステップＳ１１の出力を結果としてもよい。
　ステップＳ１２
　本工程では、この先ステップで得られた解と、ＣＶＰＰ及びＣＨＰＰとのマッチングを行なうことで、ＵＶＰＰとＣＶＰＰ、あるいはＵＨＰＰとＣＨＰＰとの対応関係を求める。つまり、この先ステップで得られた解と、ＣＶＰＰ及びＣＨＰＰとが一致するような解のパラメータを求める。前ステップの解は、ＵＶＰＰ、ＵＨＰＰに関して、キャプチャされた交点のみから得られ、ＣＶＰＰ及びＣＨＰＰの情報は利用されていない。解の自由度が１であることから、マッチングを１次元探索によって効率的に行なうことで、自由度が解消された解（第２解）を得る。
　まず、ＵＶＰＰとＣＶＰＰの対応を表すための表記方法を定義する。ｋ番目のＵＶＰＰｖｋが、ｉ番目のＣＶＰＰＶｉに対応することを、ｖｋ→Ｖｉと表記する。これは、ｖｋがＶｉに同定されたことを意味する。
　具体的なマッチング処理について述べる。最初に、適当なＵＶＰＰを選ぶ。例えば、ｖ１０が選ばれたとする。次に、ｖ１０に対して、ＣＶＰＰＶ１を対応させ、この対応から、全てのＵＶＰＰ、ＵＨＰＰの位置、つまりｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎの位置を求める。この時、得られたＵＶＰＰ、ＵＨＰＰ（ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎ）の位置が、全体としてＣＶＰＰ、ＣＨＰＰ（Ｖ１、・・・、ＶＭ、Ｈ１、・・・、ｈＮ）に一致しているかどうかを評価する。
　同様に、 ｖ１０に対応させるＣＶＰＰを、Ｖ２、Ｖ３・・・と変化させ、それぞれの対応について得られたＵＶＰＰ、ＵＨＰＰの位置が、全体としてＣＶＰＰ、ＣＨＰＰに一致しているかどうかを評価する。
　ＵＶＰＰ、ＵＨＰＰの位置が、全体として最もＣＶＰＰ、ＣＨＰＰに一致していると判断される時のＵＶＰＰとＣＶＰＰの対応関係、及びＵＨＰＰとＣＨＰＰの対応関係を、求める対応関係として出力する。
　一致しているかどうかを判断する手法について以下に述べる。式（１１）はパラメータｓによる不定性を持つが、特定のＵＶＰＰとＣＶＰＰの対応を仮定すると、以下に述べる計算によりこのパラメータが決定される。仮に、ｋ’番目のＵＶＰＰが、ｉ’番目のＣＶＰＰに対応する（つまりｖｋ’→Ｖｉ’）とすると、
Figure JPOXMLDOC01-appb-M000012
 が成り立つ。ただし、Ｖｉ’はＣＶＰＰＶｉ’のパラメータベクトルである。この式から、ｓは、
Figure JPOXMLDOC01-appb-M000013
 　と計算される。計算されたｓによって、ｖｋ’→Ｖｉ’の対応関係を仮定した場合の全てのＵＶＰＰ及びＵＨＰＰを計算することが出来る。
　式（１３）のｓをｓ（ｋ’、ｉ’）と表記する。そして、ｖｋ’→Ｖｉ’の対応関係を仮定して計算されたｖｋ及びｈｌを、ｖｋ（ｋ’、ｉ’）、ｈｌ（ｋ’、ｉ’）と表記する。すると、これらの平面は、
Figure JPOXMLDOC01-appb-M000014
 で表される。
　次のステップとして、計算されたＵＶＰＰ（又はＵＨＰＰ）と、ＣＶＰＰ（又はＣＨＰＰ）を比較する。これには、それぞれのＵＶＰＰについて、そのＵＶＰＰと、そのＵＶＰＰに最も近いＣＨＰＰとの差を誤差として利用する。これにより、対応関係ｖｋ’→Ｖｉ’に関する一致度を、全てのＵＶＰＰについての誤差の自乗和として定義できる（誤差の自乗和が小さいほど一致度は高い）。誤差関数が最小となるような対応関係を探索することで、ＵＶＰＰ（又はＵＨＰＰ）とＣＶＰＰ（又はＣＨＰＰ）との最適な対応を求めることが出来る。
　上記の比較は、ＵＶＰＰの集合ｖｋ（ｋ’、ｉ’）、（ｋ＝１、・・・、ｍ）とＣＶＰＰの集合Ｖｉ、（ｉ＝１、・・・、Ｍ）の間、及び、ＵＨＰＰの集合ｈｌ（ｋ’、ｉ’）、（ｌ＝１、・・・、ｎ）とＣＨＰＰの集合Ｈｊ、（ｊ＝１、・・・、Ｎ）の間で行なわれる。本発明では、これらの平面の比較は、平面同士の角度差によって行なわれる。すなわち、誤差関数は具体的には以下のように定義される。
Figure JPOXMLDOC01-appb-M000015
 ただし、Ｄは２個の平面の成す角度を表し、以下のように定義される。
Figure JPOXMLDOC01-appb-M000016
 これにより最終的に、
Figure JPOXMLDOC01-appb-M000017
 による探索の結果、得られた平面の集合ｖｋ（ｋ’、ｉ’ｍｉｎ）、（ｋ＝１、２、・・・、ｍ）とｈｌ（ｋ’、ｉ’ｍｉｎ）、（ｌ＝１、２、・・・、ｎ）が解となる。
　計算されたＵＶＰＰおよびＵＨＰＰと、ＣＶＰＰおよびＣＨＰＰを比較する方法としては、別な方法も考えられる。例えば、ＵＶＰＰおよびＵＨＰＰの間の交線の集合（ＵＶＰＰおよびＵＨＰＰが複数あるので、交線も複数存在する）と、ＣＶＰＰとＣＨＰＰの間の交線の集合との一致度を調べてもよい。前者の集合をＩＵＰＰ（Ｉｎｔｅｒｓｅｃｔｉｏｎｓ　ｂｅｔｗｅｅｎ　Ｕｎｃａｌｉｂｒａｔｅｄ　Ｐｒｏｊｅｃｔｏｒ　Ｐｌａｎｅｓ）、後者の集合をＩＣＰＰ（Ｉｎｔｅｒｓｅｃｔｉｏｎｓ　ｂｅｔｗｅｅｎ　Ｃａｌｉｂｒａｔｅｄ　Ｐｒｏｊｅｃｔｏｒ　Ｐｌａｎｅｓ）と呼ぶことにする。一致度を表す基準として、ＩＵＰＰの各交線ｈについて、ＩＣＰＰの要素を探索し、ｄ（ｇ，ｈ）が最小となるようなｇ∈ＩＣＰＰを選び出す。ただし、ｄ（ｇ，ｈ）は、直線ｇとｈの方向ベクトルの角度差を表す。全てのｈについて、同様の処理を行ない、角度差ｄ（ｇ，ｈ）の自乗和を計算したものを誤差関数とする。このような誤差関数が最小となるようなパラメータを、ステップＳ１２と同様に求めればよい。
　さらに、観測されるパターンを、既知のパターンと比較する方法があれば、それを上記の比較に利用しても良い。例えば、帯状のパターンの境界線を、検出された縦パターンとしている場合、あるＵＶＰＰによる縦パターンが、帯の左側の境界であるか、右側の境界であるかは、対応するＣＶＰＰと一致している必要がある。つまり、境界の右側のＵＶＰＰは、境界の右側のＣＶＰＰに対応させる必要があるので、これを一致度を評価する誤差関数に反映させたり、一致するパラメータの探索に利用してもよい。また、交点についても、特定の交点の集合を他の交点と見分ける方法があれば、それを一致度の評価に反映させても良い。例えば、幾つかの交点に、丸印などのマーカーを付けたパターンを利用し、丸印の一致を、ＵＶＰＰおよびＵＨＰＰと、ＣＶＰＰおよびＣＨＰＰの一致度の評価に利用することができる。
　ステップＳ１３
　本ステップでは、以上の処理により全てのＵＶＰＰが同定されたため、光切断法により形状の復元を行う。具体的には、図６のように、平面パラメータと、検出されたエッジとカメラ１４の中心とを結ぶ視線との交点として物体１８の３次元座標が計算される。
　以上のステップを経ることにより、カメラにより撮影された物体の３次元形状が復元される。
　＜第３の実施の形態：カメラとプロジェクタの位置関係＞
　カメラとプロジェクタの位置関係は、事前に精密に計測しておくと精度の高い計測が可能となる。その際、校正儀を用いてキャリブレーションを行い、そのパラメータを用いることが出来る。一方で、事前の校正は負担の多い作業のため、計測の時に、静止物にパターンを複数回投影し自校正で求めておくと利便性が高い。この方法は、例えば、Ｒｙｏ　Ｆｕｒｕｋａｗａ，　Ｈｉｒｏｓｈｉ　Ｋａｗａｓａｋｉ，　”Ｄｅｎｓｅ　３Ｄ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｗｉｔｈ　ａｎ　Ｕｎｃａｌｉｂｒａｔｅｄ　Ｓｔｅｒｅｏ　Ｓｙｓｔｅｍ　ｕｓｉｎｇ　Ｃｏｄｅｄ　Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔ，”　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　（ＣＶＰＲ’０５）　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｐｒｏｊｅｃｔｏｒ－Ｃａｍｅｒａ　Ｓｙｓｔｅｍｓ，　ｐ．　１０７，　　２００５．　に記載されている。
　＜第４の実施の形態：投影されるパターンの配置＞
　次に、プロジェクタ１２により投影されるパターンに関して説明する。
　　投影パターンであるＣＶＰＰ、ＣＨＰＰの配置は、式（１７）の探索の安定性に影響する。仮に、平面の真の対応が、ｖ１ T→Ｖ１、・・・、ｖｍ T→Ｖｍ、ｈ１→Ｈ１、・・・、ｈｎ→Ｈｎであるとする。このとき、解に誤差が無いとすると、式（１１）の真のｓについて、Ｖ１＝ｖ１、・・・、Ｖｍ＝ｖｍ、Ｈ１＝ｈ１、・・・、Ｈｎ＝ｈｎである。ここで、式（１１）の真の値とは違うある値ｓ’を代入して、真の位置とは別のＵＶＰＰ及びＵＨＰＰ（ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎ）を定めたとき、任意のｋ、ｉについてＶｑ＝ｖｋ、（ｋ≠ｑ）、Ｈｒ＝ｈｉ、（ｉ≠ｒ）となるようなｑ、ｒが存在すると、このｓ’は真の値ｓと見分けが付かず、唯一解を求めることが出来なくなる。
　このような状況は一般には起こらないものの、ＣＶＰＰ、ＣＨＰＰが規則的に配置されている場合などには、対応関係が１つずれても評価関数に大きな差が現れないため、解が不安定になることがある。これを防ぐ方法としては、ＣＶＰＰ、ＣＨＰＰをプロジェクタの画像面上で不規則な間隔で配置することが挙げられる。この場合、Ｖｑ、Ｈｒの集合の配置が不規則なものになるため、上式の条件が成立しにくくなる。実際には縦および横の両方が不規則である必要はなく、例えば、ＣＨＰＰは不規則な間隔で配置し、ＣＶＰＰはＣＨＰＰよりも高密度に規則的（等間隔）に配置することが考えられる。このようなパターンにすると、ＣＨＰＰの不規則性によって探索の安定性が確保され、ＣＶＰＰの密度によって再構成される形状の密度が高くなる利点がある。このようなパターンの例を図７に示す。また、ＣＨＰＰの配置が不規則でなく、ある規則に基づいたものであっても、間隔が均一でなければ、探索の安定性の向上に効果があるので、そのようにしてもよい。
　本発明は、一般的なのワンショットスキャンのように、個々にパターンを同定する訳ではないため、ｄｅＢｒｕｉｊｎ系列のようにコード化可能なパターンである必要性が無く、しかも１色だけで良い。このように単色で良いため、対象物体表面のテクスチャの影響を受けにくくなり、簡単な画像処理で、安定した検出が可能となる。また空間的にエンコードされる訳ではないため１ピクセル幅のパターンで良く、非常に密な形状復元が可能となる。
　更に、本発明は、単色パターンを縦か横か識別するだけでよいため、テクスチャ等に関してはロバストになるものの、形状に関する問題は残る。例えば、円筒のように、正面と側面で視点からの法線方向が大きく異なる形状の場合、同じ周波数のパターンを投影したとしても、撮影画像上では側面付近のパターンが圧縮され潰れてしまうことで計測出来なくなることが起こりうる。そこで、本発明では周波数の異なるパターンを追加することで解決する。今回は、市販のプロジェクタおよびカメラを前提としているため、ＲＧＢの３色のみによる識別を考え、１色を疎で不規則な横パターン、他の２色を疎・密の規則的な縦パターンとすることができる。実際に作成したパターンを図８（Ａ）に示す。このパターンを利用して縦横パターンを検出した結果を図８（Ｂ）および図８（Ｃ）に示す。疎なグリッドと密なグリッドがそれぞれ識別されていることが分かる。この様なパターンの配置を以下の説明では、ｃｏａｒｓｅ－ｔｏ－ｆｉｎｅと呼ぶ。
　ｃｏａｒｓｅ－ｔｏ－ｆｉｎｅに用いる複数のパターンは、異なるパターンどうしはそれぞれ平行で疎密だけ異なるパターンでも良いし、全く独立したパターンを用いても良い。
　また、さらにｃｏａｒｓｅ－ｔｏ－ｆｉｎｅを効率化するためにさらに疎密の異なるパターンを増やすことも考えられる。ただし、その場合であっても、提案手法はあくまでも空間周波数を上げる目的であるため、カメラの解像度が１０２４の場合、最悪のケース（最も多くパターン数を要するケース）を想定しても、１０２４＝１０ビットで足りることから、１０パターンだけ識別できれば良く、過去の空間に情報をコード化する方式とは根本的に異なる。１０パターン程度であれば、狭帯域バンドパスフィルタなどを用いれば容易に実現できる。
　復元に際しては、図８（Ｂ）と図８（Ｃ）、それぞれで独立して復元を行い、それらをマージすれば良い。マージの手法としては、実装が容易な単純な集合和をとる手法が考えられる。その他にも、疎密で共有しているラインの整合性を統計的に取れば、なお高い精度での復元が実現できる。
　また、二つのパターンについて独立に復元する方法の他に、横パターンと、疎な縦パターン、密な縦パターンを全て利用して復元を行なう方法もある。図８（Ａ）の例のように疎な縦パターンと密な縦パターンが平行な場合には、疎な縦パターンと密な縦パターンをあわせて、すべて縦パターンの集合として扱えばよい。
　また、解の精度を高めるために、基本的な格子状のパターンに、さらに別の直線状のパターンを追加しても良い、追加した直線については、上記の方法と同様に、数式１のように平面パラメータで表し、全てのパターンの交点について数式３と同様に線形方程式を作り、また、それぞれのパターンを表す平面は、パターンの方向によって決まる共通な直線を含むので、数式９、１０と同様に線形方程式を作ることで、連立方程式を作ることができる。これを解くことで、３個以上の方向の直線を持つパターンについて、復元を行なうことができる。この方法を用いると、図８（Ａ）の例と違って、疎な縦パターンと密な縦パターンが平行でない場合でも、まとめて一つの方程式として解くことができる。
　＜第５の実施の形態：平行な平面を投影する投影手段の利用＞
　第２の実施の形態において、縦パターンおよび横パターンに対応する平面の集合は、それぞれ同一の直線を通る平面の集合であるとしたが、かわりに平行な平面の集合としてもよい。この場合、平面が同一の直線を通る、という条件を、平面が「同一の無限遠直線を通る」という条件に置き換えればよい。この時、第２の実施の形態における直線Ｌｖおよび直線Ｌｈは、同一の無限遠点Ｏｐを通ると考えて良い。このように考えると、式５の方程式Ｏｐ Ｔｖk＝－１は、Ｏｐ Ｔｖk＝０という式に、置き換えられる。同様に、式５、６、７の方程式で右辺が－１の式を、全て右辺を０に置き換えた方程式にすれば、平行な平面の集合が満たす制約式になる。これを制約式として解くことで、第２の実施の形態と同様に１自由度の解を得ることができる。
　実際のシステムとしては、ラインレーザ光源を平行に並べることで実現できる。このような配置の場合、光源から遠くに離れても同じ間隔のパターン光を得られるため、対象物体から離れて光源を設置することができ、３次元計測における利便性が高まる。
　＜第６の実施の形態：パターンの検出アルゴリズム＞
　赤と青でそれぞれ縦横の投影パターンとした場合、撮影した画像を赤・青のプレーンで分離した画像からラインを検出し、交点を検出する。ラインの検出方法としては、画像全体に対して単純な閾値処理を行うことも考えられるが、光源からの距離の違いや物体の法線方向の違いにより、明るさが変化してしまうため、画像全体を通して精度の高いライン検出が困難となることが起こる。そこで、Ｃａｎｎｙフィルタのようなエッジフィルタを用いると、安定した処理が実現できる。しかしエッジフィルタを用いると、テクスチャにエッジがある場合や、物体境界のエッジが撮影されていると、それらが検出され誤検出の原因となることもある。これらの回避方法としては、画像全体を細かいサブブロックに分割し、そのサブブロック内で個別の閾値を算出し、閾値処理によってラインを検出する方式が考えられる。
　また、カメラとプロジェクタの向きは平行なままで、斜め４５度の方向にずらして配置すれば、縦と横に直交した投影パターンが、カメラ座標系においても縦横平行に直交したままのため、撮影した画像上で縦や横方向にスキャンした場合、同一パターンを２回以上通ることが無くなる。このような配置でスキャンライン上でピーク（複数）を検出するアルゴリズムとすれば、上記の単純な閾値による問題や、テクスチャや物体境界エッジの問題を解決することが出来る。
　＜第７の実施の形態：方程式の削減＞
　上記した第２の実施の形態では、ｍをＵＶＰＰの数、ｎをＵＨＰＰの数とした場合、方程式に含まれる変数の数は、３（ｍ＋ｎ）であった。この変数の数を削減したら、画像処理に必要とされる時間を大幅に短くすることができる。以下のように方程式の変数を削減することにより、自由度を含む解を算出するステップ（図２に示すステップＳ１１）に必要とされる時間を１／１００００程度にして、高速に３次元形状が復元される。
　以下では、全てが共通な平面を通る性質を利用して、平面のパラメータを１つの変数にて表現することで、変数の数を１／３に削減して、３次元形状を復元するのに必要とされる処理時間を短縮している。
　具体的には、ｖｋ、ｈｌは、どちらもｏｐ（ＰＨＰであり、ｐで表される）を通り、それぞれｌｖ、ｌｈに法線が垂直な平面である。これは、
Figure JPOXMLDOC01-appb-M000018
 として、
Figure JPOXMLDOC01-appb-M000019
 と表せる。ここで、式１９では、ｖｋおよびｈｌが１つのパラーメータ（ηｋ、ρｌ）により表現されている。よって、式（３）から、
である。ｉ番目の交点が、ｖｋとｈｌの交点であるとき、α（ｉ）≡ｋ、β（ｉ）≡ｌとする。また、すると、ｉ番目の交点の式は、
Figure JPOXMLDOC01-appb-M000021
 と表される。
　この条件は、ｍをＵＶＰＰの数、ｎをＵＨＰＰの数、Ｋを交点数として、
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
Figure JPOXMLDOC01-appb-M000024
 という定義を用いて、
Figure JPOXMLDOC01-appb-M000025
 という斉次線形方程式になる。この方程式は、式（３）の条件を表したものであり、式（１９）によって、ＵＶＰＰがＬｖを含み、ＵＨＰＰがＬｈを含むという条件が表されることから、この方程式を解くことで前節の一般解を得ることができる。この方程式の変数ベクトルｑはｍ＋ｎ次元ベクトルであるから、これによって、３（ｍ＋ｎ）個の変数を、ｍ＋ｎ個に削減できたことになる。
　次に、上記した方程式を、例えば横平面（ＵＨＰＰ）のみのパラメータを変数とする方程式に変換して、変数の数を横平面の数まで削減する方法を説明する。
　先ず、誤差を考慮して、方程式（２５）の左辺のノルムを最小化することでこの方程式を解く。左辺のノルムの自乗をＥｐ≡∥Ｐｑ∥２と書くと、
Figure JPOXMLDOC01-appb-M000026
 である。これを、ηｊについて偏微分する。α－１（ｊ）≡｛ｋ｜α（ｋ）＝ｊ｝とすると、
Figure JPOXMLDOC01-appb-M000027
 Ｅｐを最小化するために∂Ｅｐ／∂ρｊと置くと、
Figure JPOXMLDOC01-appb-M000028
 より
Figure JPOXMLDOC01-appb-M000029
 が得られる。よって、ρｊはηｋの線形結合で表される。これを行列で表すと、
Figure JPOXMLDOC01-appb-M000030
 である。ただし、
Figure JPOXMLDOC01-appb-M000031
Figure JPOXMLDOC01-appb-M000032
Figure JPOXMLDOC01-appb-M000033
Figure JPOXMLDOC01-appb-M000034
Figure JPOXMLDOC01-appb-M000035
 の定義を利用した。Ｔの定義において、列番号ｋ１、ｋ２、・・・は、α－１（ｊ）の要素、つまり、ｊ番目のＵＶＰＰと交点を持つ全てのＵＨＰＰの番号を表す。この時、
Figure JPOXMLDOC01-appb-M000036
 より
Figure JPOXMLDOC01-appb-M000037
 と定義すると、∥Ｐｑ∥２の最小化は
Figure JPOXMLDOC01-appb-M000038
 の最小化となる。この式の最小化は、誤差のある線形方程式
Figure JPOXMLDOC01-appb-M000039
 を誤差の自乗和を最小化する意味で解くことに相当し、これは、ＲＴＰＴＰＲＴの最小固有値に対応する固有ベクトルを求めることに帰着される。ＲＴＰＴＰＲＴは、ｎ×ｎ行列である。縦パターンを密に、横パターンを疎にした場合、ｎ（ＵＨＰＰの数）はｍ（ＵＶＰＰの数）よりずっと小さい。この場合、上記の問題は、元の∥Ｐｑ∥２をｑについて最小化する問題より、はるかに効率的に解くことができる。
　＜第８の実施の形態：実験結果＞
　最初に提案手法の有効性を示すために、シミュレーションにより作成されたデータを用いて本手法の検証を行なった。シミュレーションは、複数のグリッドパターンを用いて行った。第１のパターンは均一な間隔のパターンとし、第２のパターンは、第１のパターンにおいて、水平パターンの間隔を意図的に乱数によって乱したものを利用した。第２のパターンは、上述した理由によって、対応探索の安定性が上がると考えられる。それぞれのパターンを仮定して生成されたシミュレーション画像を図９（Ａ）、図９（Ｂ）に示す。これらの画像において、縦パターンの間隔は約５画素であった。グリッドパターンの交点を画像から抽出し、ＵＨＰＰ及びＵＶＰＰからＣＶＰＰ及びＣＨＰＰへの対応関係を提案手法によって抽出した。それぞれのパターンにおいて、ＵＨＰＰとＵＶＰＰの正しい対応関係が抽出され、再構成された形状は、真の形状に一致した。第２のパターンの画像での再構成結果と真の形状を図９（Ｃ）に示す。
　次に、入力データ（画像からキャプチャされた交点集合の位置）にノイズを加えた場合の、提案手法の安定性を調べるための実験を行なった。本手法の安定性は、投影するパターンによって変化するので、図９（Ａ）、図９（Ｂ）に示される２種類のパターンについて実験を行なった。キャプチャされた交点の位置には、様々な大きさの分散を持った、等方的な２次元ガウシアンノイズを加え、それぞれの分散値ごとに、提案手法による３次元再構成を２０回ずつ行った。 ｉ’ｍｉｎの探索の失敗の割合を、図１０に示す。この結果から、不規則な間隔を持ったパターンを利用することで、アルゴリズムの安定性が向上したことがわかる。
　次に、図１１に示す実験装置を用いて実物体の計測実験を行った。投光パターンの解像度は１０２４ｘ７６８であり、これを７２０ｘ４８０画素の解像度のＣＣＤカメラで撮影し、３次元復元を行った。
　図１２に、計測対象と計測結果の例を示す。実験では、複雑な形状を持った物体や、テクスチャの付いた物体などを用いて計測を行ったが、いずれも密で正確な形状を復元することができた。具体的には、図１２（Ａ）は対象物体を示し、図１２（Ｂ）－図１２（Ｅ）は再構成結果を示す。更に、図１２（Ｆ）は対象物体を示し、図１２（Ｇ）－図１２（Ｉ）は再構成結果を示す。
　次に、図１３を参照して、箱（大きさ：０．４ｍｘ０．３ｍｘ０．３ｍ）と円筒（高さ：０．２ｍ、半径：０．２ｍ）のシーンを、上記したｃｏａｒｓｅ－ｔｏ－ｆｉｎｅによる手法で計測した。評価のために、同一のシーンをパターンコード化法によって計測し、真の形状とした。ここで、図１３（Ａ）は撮影された物体を示し、図１３（Ｂ）および図１３（Ｃ）入力された画像を示し、図１３（Ｄ）は検出された横パターンを示し、図１３（Ｅ）は検出された密な縦パターンを示し、図１３（Ｆ）は検出された疎な縦パターンを示し、図１３（Ｇ）は密パターンの交点を示し、図１３（Ｈ）は疎なパターンの交点を示し、図１３（Ｉ）は密パターンの復元を示し、図１３（Ｊ）は疎なパターンの復元を示し、図１３（Ｋ）は統合結果を示している。そして、図１３（Ｌ）－図１３（Ｎ）は、復元された形状と真の形状とを重ねて示している。
　疎密を組み合わせた縦パターンを用いることで、法線方向が大きく異なる形状を欠損無く密に計測できていることが分かる。また、復元結果には少しずれが観測されるものの、この実験におけるＲＭＳ誤差は０．５２ｍｍであり、高い精度で復元できたことが分かる。
　最後に、図１４を参照して、変形する物体の３次元計測実験として、人物の顔の形状計測を行った。実験の様子を図１４（Ａ）、図１４（Ｂ）に示す。また、計測結果として３つの表情の復元例を同図（Ｃ）－（Ｅ）に示す。それぞれ複雑な表情が密で正確な形状として復元できていることが分かる。
 

Claims (15)

  1. 　３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、
    　前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、
    　前記２次元画像から前記物体の３次元形状を復元する画像処理手段と、を備え、
    　前記画像処理手段は、
    　前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する第１計算部と、
    　前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する第２計算部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記第１制約条件は、平面状の前記第１パターンが同一の第１共有直線を通る制約条件または前記第１パターン同士が互いに平行である制約条件であり、
    　前記第２制約条件は、平面状の前記第２パターンが同一の第２共有直線を通る制約条件または前記第２パターン同士が互いに平行である制約条件である、ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記第２計算部で用いられる前記第１相対位置関係は、事前にキャリブレーションして獲得されていることを特徴とする請求項１記載の画像処理装置。
  4. 　前記第２計算部では、
    　前記交点の位置座標と前記第１暫定平面のパラメータと前記第２暫定平面のパラメータから得られる第１方程式と、前記第１制約条件と前記第１相対位置関係から得られる第２方程式と、前記第２制約条件と前記第１相対位置関係から得られる第３方程式とを連立方程式として解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項１記載の画像処理装置。
  5. 　前記第２計算部では、
    　前記第１暫定平面が前記第１共有直線を通るかまたは互いに平行であることを利用して、前記第１暫定平面を１つのパラメータでパラメータ表現し、
    　前記第２暫定平面が前記第２共有直線を通るかまたは互いに平行であることを利用して、前記第２暫定平面を１つのパラメータでパラメータ表現し、
    　前記交点の位置座標と前記第１暫定平面のパラメータ表現と前記第２暫定平面のパラメータ表現から得られる方程式を第１連立線形方程式として解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項２記載の画像処理装置。
  6. 　前記第２計算部では、
    　前記第１暫定平面が前記第１共有直線を通るかまたは互いに平行であることを利用して、前記第１暫定平面を１つのパラメータでパラメータ表現し、
    　前記第２暫定平面が前記第２共有直線を通るかまたは互いに平行であることを利用して、前記第２暫定平面を１つのパラメータでパラメータ表現し、
    　前記交点の位置座標と前記第１暫定平面のパラメータ表現と前記第２暫定平面のパラメータ表現から得られる第１連立線形方程式が成立する、あるいは前記第１連立線形方程式の誤差が最小になる時に、前記第２暫定平面のパラメータ表現のパラメータが前記第１暫定平面のパラメータ表現のパラメータの線形結合で表されることと、前記第１連立線形方程式とから得られる、前記第１暫定平面のパラメータ表現のパラメータのみを変数として持つ第２連立線形方程式を解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項２記載の画像処理装置。
  7. 　前記画像処理手段は、
    　前記第１パターンの前記投影手段との相対位置関係である第２相対位置関係および前記第１相対位置関係から得られる第１確定平面と、前記第１暫定平面との対応関係と、前記第２パターンの前記投影手段との相対位置関係である第３相対位置関係および前記第１相対位置関係から得られる第２確定平面と、前記第２暫定平面との対応関係、の両方あるいはいずれか片方を比較し対応付けることで、前記第１解の自由度を解消した解である、第２解を算出する第３計算部を備えることを特徴とする請求項１記載の画像処理装置。
  8. 　前記画像処理手段は、
    　前記第１暫定平面と前記第２暫定平面との交線の集合と、
    　前記第１パターンの前記投影手段との相対位置関係である第２相対位置関係および前記第１相対位置関係から得られる第１確定平面と、前記第２パターンの前記投影手段との相対位置関係である第３相対位置関係および前記第１相対位置関係から得られる第２確定平面との交線の集合とを比較し対応付けることで、前記第１解の自由度を解消した解である、第２解を算出する第３計算部を備えることを特徴とする請求項１記載の画像処理装置。
  9. 　前記第３計算部では、
    　前記第１解の自由度を定めることで得られる、前記第１暫定平面あるいは前記第２暫定平面と、前記第１確定平面あるいは前記第２確定平面とを対応させた時の差が全体として最小となるように前記第１解の自由度を決定する、ことを特徴とする請求項７記載の画像処理装置。
  10. 　前記第１パターンまたは前記第２パターンの両方あるいは何れか一方を不均一な間隔で配置することを特徴とする請求項１記載の画像処理装置。
  11. 　前記投影手段は、前記第２パターンに加えて、前記第２パターンとは異なる第３パターンを前記物体に対して投影し、
    　前記画像処理手段では、前記第１パターンおよび前記第２パターンを用いた３次元形状の復元とは別に、前記第２パターンの代わりに前記第３パターンを用いた３次元形状復元を行うことを特徴とする請求項１記載の画像処理装置。
  12. 　前記投影手段は、前記第１パターンおよび第２パターンに加えて、共通の制約条件である第３制約条件が存在するように配置された１つ以上の第３パターンを前記物体に対して投影し、
    　前記第１計算部は、前記第３パターンを観測した観測第３パターンを獲得し、かつ前記第１計算部は、前記観測第１パターン、前記観測第２パターンおよび前記観測第３パターンの相互の交点を獲得し、
    　前記第２計算部は、前記第１暫定平面と、前記第２暫定平面と、前記観測第３パターンを含む空間中の第３暫定平面のいずれかが前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記第３制約条件と、前記第１相対位置関係とを用いて、前記第１暫定平面、前記第２暫定平面あるいは前記第３暫定平面について自由度を含む第１解を算出することを特徴とする請求項１の画像処理装置。
  13. 　前記第２計算部で算出される前記第１解は、１つの自由度を含むことを特徴とする請求項１記載の画像処理装置。
  14. 　３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影するステップと、
    　前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得るステップと、
    　前記２次元画像から前記物体の３次元形状を復元するステップと、を備え、
    　前記復元するステップは、
    　前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得するステップと、
    　前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出するステップと、
    　を備えることを特徴とする画像処理方法。
  15. 　入力された２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
    　前記２次元画像は、
    　３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、
    　前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、を用いて撮影され、
    　前記画像処理装置に、
    　前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する機能と、
    　前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する機能と、
    　を実行させることを特徴とするプログラム。
     
     
     
PCT/JP2009/002511 2008-06-13 2009-06-04 画像処理装置、画像処理方法およびプログラム WO2009150799A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP09762230.2A EP2295932B1 (en) 2008-06-13 2009-06-04 Image processing device, image processing method, and program
US12/997,088 US8837812B2 (en) 2008-06-13 2009-06-04 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008155605A JP5317169B2 (ja) 2008-06-13 2008-06-13 画像処理装置、画像処理方法およびプログラム
JP2008-155605 2008-06-13

Publications (1)

Publication Number Publication Date
WO2009150799A1 true WO2009150799A1 (ja) 2009-12-17

Family

ID=41416512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002511 WO2009150799A1 (ja) 2008-06-13 2009-06-04 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US8837812B2 (ja)
EP (1) EP2295932B1 (ja)
JP (1) JP5317169B2 (ja)
WO (1) WO2009150799A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012054A1 (ja) * 2011-07-19 2013-01-24 独立行政法人産業技術総合研究所 画像処理方法および装置
US11321860B2 (en) * 2018-02-14 2022-05-03 Omron Corporation Three-dimensional measurement apparatus, three-dimensional measurement method and non-transitory computer readable medium

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US9170097B2 (en) 2008-04-01 2015-10-27 Perceptron, Inc. Hybrid system
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
EP2438397B1 (en) * 2009-06-01 2018-11-14 DENTSPLY SIRONA Inc. Method and device for three-dimensional surface detection with a dynamic reference frame
JP5578844B2 (ja) 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2011095695A1 (en) * 2010-02-02 2011-08-11 Planmeca Oy Dental computed tomography apparatus
JP5631025B2 (ja) 2010-03-10 2014-11-26 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
JP2011242183A (ja) * 2010-05-17 2011-12-01 Hiroshima City Univ 画像処理装置、画像処理方法およびプログラム
JP5615055B2 (ja) * 2010-06-18 2014-10-29 キヤノン株式会社 情報処理装置及びその処理方法
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8704890B2 (en) * 2010-08-19 2014-04-22 Olympus Corporation Inspection apparatus and measuring method
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
EP2672880B1 (en) 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
AT511223B1 (de) * 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
JP6097903B2 (ja) * 2011-07-15 2017-03-22 有限会社テクノドリーム二十一 ３次元形状の取得装置、処理方法およびプログラム
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US9217636B2 (en) * 2012-06-11 2015-12-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium
WO2014020823A1 (ja) * 2012-07-30 2014-02-06 独立行政法人産業技術総合研究所 画像処理システムおよび画像処理方法
TR201811449T4 (tr) * 2012-11-07 2018-09-21 Artec Europe S A R L Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem.
DE102012024223B4 (de) * 2012-12-11 2022-06-23 Carl Zeiss Optotechnik GmbH Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US20140313293A1 (en) * 2013-04-23 2014-10-23 Speech Innovation Consulting Group Co., Ltd. Depth measuring schemes
US20150009290A1 (en) * 2013-07-05 2015-01-08 Peter MANKOWSKI Compact light module for structured-light 3d scanning
US9424809B1 (en) * 2013-07-15 2016-08-23 Google Inc. Patterned projection with multi-panel display
US20150302648A1 (en) * 2014-02-18 2015-10-22 Sulon Technologies Inc. Systems and methods for mapping an environment using structured light
TWI503518B (zh) * 2014-12-29 2015-10-11 Pixart Imaging Inc 測距方法與裝置
CN105096269B (zh) * 2015-07-21 2018-03-02 北京交通大学 基于畸变直线结构检测的图像径向畸变矫正的方法及系统
EP3978868A1 (en) * 2016-11-21 2022-04-06 Carestream Dental Technology Topco Limited 3-d intraoral surface characterization
JP6702171B2 (ja) * 2016-12-22 2020-05-27 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
CN110214262A (zh) 2017-01-25 2019-09-06 国立研究开发法人产业技术综合研究所 图像处理方法
US10612912B1 (en) 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US20190180475A1 (en) * 2017-12-08 2019-06-13 Qualcomm Incorporated Dynamic camera calibration
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
US10650584B2 (en) * 2018-03-30 2020-05-12 Konica Minolta Laboratory U.S.A., Inc. Three-dimensional modeling scanner
DE102018115673A1 (de) * 2018-06-28 2020-02-13 Carl Zeiss Ag Verfahren und Vorrichtungen zur Musterprojektion
US10841544B2 (en) 2018-09-27 2020-11-17 Rovi Guides, Inc. Systems and methods for media projection surface selection
US10839536B2 (en) * 2018-10-02 2020-11-17 Facebook Technologies, Llc Depth sensing using grid light patterns
US20220230335A1 (en) * 2021-01-20 2022-07-21 Nicolae Paul Teodorescu One-shot high-accuracy geometric modeling of three-dimensional scenes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6344107A (ja) * 1986-08-11 1988-02-25 Goro Matsumoto 立体形状測定装置
JP2000512012A (ja) * 1996-06-13 2000-09-12 ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント 三次元形状の表示を得る方法とシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5705444A (en) 1996-05-06 1998-01-06 Minnesota Mining & Manufacturing Company Filter material of ceramic oxide fibers and vermiculite particles
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US7747067B2 (en) * 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
WO2006013635A1 (ja) * 2004-08-03 2006-02-09 Techno Dream 21 Co., Ltd. ３次元形状計測方法及びその装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6344107A (ja) * 1986-08-11 1988-02-25 Goro Matsumoto 立体形状測定装置
JP2000512012A (ja) * 1996-06-13 2000-09-12 ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント 三次元形状の表示を得る方法とシステム

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
C. JE; S. W. LEE; AND R.-H. PARK: "High-Contrast Color-stripe pattern for rapid structured-light range imaging", ECCV, vol. 2, no. 5, 2004, pages 95 - 107
HIROSHI KAWASAKI ET AL.: "Fukusu Laser Heimen no Jiko Kosei ni yoru 3D Saikosei", THE TRANSACTIONS OF THE IEICE, D, vol. J90-D, no. 8, 1 August 2007 (2007-08-01), pages 1848 - 1857, XP008140610 *
J. PAN; P. S. HUANG; F.-P. CHIANG: "Color-coded binary fringe projection technique for 3-d shape measurement", OPTICAL ENGINEERING, vol. 44, no. 2, 2005, pages 23606 - 23615
J. SALVI; J. BATLLE; E. M. MOUADDIB: "A robust-coded pattern projection for dynamic 3d scene measurement", PATTERN RECOGNITION, vol. 19, no. 11, 1998, pages 1055 - 1065
L. ZHANG; N. SNAVELY; B. CURLESS; S.M. SEITZ: "Spacetime faces: High-resolution capture for modeling and animation", ACM ANNUAL CONFERENCE ON COMPUTER GRAPHICS, 2 August 2004 (2004-08-02), pages 548 - 558
O. HALL-HOLT; S. RUSINKIEWICZ: "Stripe boundary codes for real-time structured-light range scanning of moving objects", ICCV, vol. 2, 2001, pages 359 - 366
RYO FURUKAWA; HIROSHI KAWASAKI: "Dense 3D Reconstruction with an Uncalibrated Stereo System using Coded Structured Light", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR'05) WORKSHOP ON PROJECTOR-CAMERA SYSTEMS, 2005, pages 107
S. INOKUCHI; K. SATO; F. MATSUDA: "Range imaging system for 3-D object recognition", ICPR, vol. 2, 1984, pages 806 - 808
S. RUSINKEIWICZ: "Real-time 3D model acquisition", ACM SIGGRAPH, 2002, pages 438 - 446
See also references of EP2295932A4 *
T. P. KONINCKX; L. V. GOOL.: "Real-time range acquisition by adaptive structured light", IEEE TRANS. ON PAMI, vol. 28, no. 3, March 2006 (2006-03-01), pages 432 - 445

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012054A1 (ja) * 2011-07-19 2013-01-24 独立行政法人産業技術総合研究所 画像処理方法および装置
US11321860B2 (en) * 2018-02-14 2022-05-03 Omron Corporation Three-dimensional measurement apparatus, three-dimensional measurement method and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP2009300277A (ja) 2009-12-24
US8837812B2 (en) 2014-09-16
JP5317169B2 (ja) 2013-10-16
EP2295932A1 (en) 2011-03-16
EP2295932B1 (en) 2014-10-08
EP2295932A4 (en) 2012-09-05
US20110081072A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
JP5317169B2 (ja) 画像処理装置、画像処理方法およびプログラム
Zhang Absolute phase retrieval methods for digital fringe projection profilometry: A review
US7570805B2 (en) Creating 3D images of objects by illuminating with infrared patterns
Kawasaki et al. Dynamic scene shape reconstruction using a single structured light pattern
EP2881702B1 (en) Image processing system, and image processing method
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP6596433B2 (ja) ２つのカメラからの曲線の集合の構造化光整合
JP6097903B2 (ja) ３次元形状の取得装置、処理方法およびプログラム
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
JP5761750B2 (ja) 画像処理方法および装置
Chiang et al. Active stereo vision system with rotated structured light patterns and two-step denoising process for improved spatial resolution
Ha et al. A multi-view structured-light system for highly accurate 3D modeling
Berssenbrügge et al. Characterization of the 3D resolution of topometric sensors based on fringe and speckle pattern projection by a 3D transfer function
Kasuya et al. Robust and accurate one-shot 3D reconstruction by 2C1P system with wave grid pattern
Furukawa et al. Shape from grid pattern based on coplanarity constraints for one-shot scanning
CN111462199A (zh) 基于gpu的快速散斑图像匹配方法
Lee et al. 3D surface reconstruction using structured circular light patterns
Daval et al. Primitives extraction based on structured-light images
Zeller et al. Edge segmentation in images of a focused plenotic camera
Yu et al. Phase-domain modulated hybrid phase-shifting structured light based efficient 3D measurement
Chen et al. Recovering dense stereo depth maps using a single gaussian blurred structured light pattern
Kawasaki et al. Projector camera system for realtime 3d scanning
Borgmann et al. Image guided phase unwrapping for real-time 3D-scanning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09762230

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12997088

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009762230

Country of ref document: EP