WO2023082816A1 - 一种用于三维信息重建的结构光编码方法及系统 - Google Patents

一种用于三维信息重建的结构光编码方法及系统 Download PDF

Info

Publication number
WO2023082816A1
WO2023082816A1 PCT/CN2022/118053 CN2022118053W WO2023082816A1 WO 2023082816 A1 WO2023082816 A1 WO 2023082816A1 CN 2022118053 W CN2022118053 W CN 2022118053W WO 2023082816 A1 WO2023082816 A1 WO 2023082816A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
pattern
type
patterns
projection
Prior art date
Application number
PCT/CN2022/118053
Other languages
English (en)
French (fr)
Inventor
吴厚航
Original Assignee
资阳联耀医疗器械有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 资阳联耀医疗器械有限责任公司 filed Critical 资阳联耀医疗器械有限责任公司
Publication of WO2023082816A1 publication Critical patent/WO2023082816A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré

Definitions

  • the invention relates to the field of three-dimensional information reconstruction, in particular to a structured light encoding method and system for three-dimensional information reconstruction.
  • This type of method mainly uses a projection device to project specific coded grating stripes as a projection image of structured light onto the surface of the measured object, and then uses an image sensor, such as a camera, to capture the structured light modulated and reflected by the surface of the object to obtain an imaging image.
  • the imaging image is decoded to find out the corresponding relationship between each imaging position and the projection position in the decoding pattern; since the position where the encoding pattern is projected onto the object is known, according to the aforementioned corresponding relationship, the three-dimensional information of the object surface can be obtained by using the triangulation method.
  • a commonly used structured light encoding method is temporal encoding.
  • the time coding method projects multiple patterns to the measured space sequentially in time sequence, and each projection is imaged by a camera. As shown in FIG. 3 , assume that there are 4 images, and set the code value of the shaded part to 1, and the code value of the uncovered part to 0. Each projection generates a code value for each imaging point. After 4 projections, a code word corresponding to each imaging point is generated (a binary code word with a length of 4 in Figure 3). According to the binary code word of the imaging point The corresponding relationship between the imaging point and the projection point can be determined.
  • Gray code is an improvement of binary code, which has better robustness than binary code. In order to increase the resolution, the number of projection positions will be relatively large. Regardless of Gray code or binary code, if the number of projection positions is 2 N , at least N projection images are required to ensure the decoding of the imaged image.
  • a large number of projected images helps to improve the measurement accuracy of the system, but a large number of projected images will affect the measurement efficiency of the system and make the 3D reconstruction process more complicated. Therefore, it is necessary to reduce the number of images to be obtained while ensuring the measurement accuracy.
  • One of the objectives of the present invention is to provide a structured light encoding method and system for three-dimensional information reconstruction, which is used to solve the problem that the current encoding method requires a large number of projection images.
  • a structured light encoding method for three-dimensional information reconstruction comprising: forming at least 3 projection images, and the encoding pattern formed by aligning all the projection images includes: a first type of sub-pattern and a second type of sub-pattern; the sub-pattern A pattern formed for all projected images at the same projected position;
  • the first type of sub-patterns and the second type of sub-patterns appear alternately, the first type of sub-patterns appear in stripes only in one projection image, and the second type of sub-patterns appear in at least two projection images Streaks: Streaks appear in different projection images of any two adjacent subpatterns of the first type.
  • stripes appear in different projection images of any two adjacent sub-patterns of the first type, including: in the coding pattern, the sub-patterns of the first type appear sequentially in all Streaks appear sequentially in the projected image.
  • the patterns of any two adjacent sub-patterns of the second type are different.
  • the patterns of any two adjacent sub-patterns of the second type are different, including: in the patterns of adjacent sub-patterns of the second type, the positions where the stripes appear in the projected image are different, or the stripes appear
  • the number of projected images varies.
  • a third type of sub-pattern is provided in the second type of sub-pattern, and stripes appear in all projected images of the third type of sub-pattern.
  • the first sub-pattern is set as the third type of sub-pattern.
  • a basic pattern is determined, and the pattern of each sub-pattern in the basic pattern is different; and each sub-pattern of the basic pattern is repeated in the same preset period.
  • the encoding pattern further includes a fourth-type sub-pattern, and a fourth-type sub-pattern is inserted between adjacent first-type sub-patterns and second-type sub-patterns.
  • the present invention also provides a system for three-dimensional information reconstruction, including a projection device, an image sensor, and a reconstruction unit;
  • the projection device generates multiple projection images according to the aforementioned structured light encoding method for three-dimensional information reconstruction, and presses Projecting the projection images onto the surface of the measured object sequentially in time sequence;
  • the image sensor imaging the projection images projected onto the surface of the measured object to obtain an imaging image;
  • the reconstruction unit imaging the The image is decoded to determine the corresponding relationship between each imaging position and the projection position, and according to the corresponding relationship, the three-dimensional information on the surface of the measured object is reconstructed.
  • the present invention sets the first type of sub-pattern and the second type of sub-pattern in the coding pattern, and the two sub-patterns appear alternately. Compared with the existing binary coding/Gray code coding scheme, fewer The projection image determines the corresponding relationship between the imaging position and the projection position, which improves the measurement efficiency of the system.
  • stripes appear sequentially in all projection images of the first type of sub-pattern, and/or introduce the fourth type of sub-pattern, and/or appropriately increase the number of projection images, so as to obtain a greater depth of field, which can
  • the imaging position and projection position are correctly matched for 3D points with a large depth of field, and the matching robustness is good.
  • Fig. 1 is a flowchart of an embodiment of a structured light encoding method for three-dimensional information reconstruction of the present invention
  • Fig. 2 is a schematic structural diagram of a system for three-dimensional information reconstruction of the present invention
  • Fig. 3 is a kind of logic diagram of existing binary coding pattern
  • Fig. 4 is a logical schematic diagram of the structured light encoding pattern of the present invention.
  • Fig. 5 is another logical schematic diagram of the structured light encoding pattern of the present invention.
  • Fig. 6 is another logical schematic diagram of the structured light encoding pattern of the present invention.
  • Fig. 7 is another logical schematic diagram of the structured light encoding pattern of the present invention.
  • Fig. 8 is a schematic diagram of a structured light encoding pattern of the present invention.
  • a structured light coding method for three-dimensional information reconstruction including:
  • Step S100 forms N projection images, N ⁇ 3, where:
  • the coding pattern formed after all projected images are aligned includes a first type of sub-pattern A and a second type of sub-pattern B, and the sub-pattern is a pattern formed by all projected images at the same projection position;
  • the first type of sub-pattern A and the second type of sub-pattern B appear alternately, the first type of sub-pattern A has stripes only in one projection image, and the second type of sub-pattern B has stripes in at least two projection images; and any Two adjacent subpatterns of the first type appear as stripes in different projected images.
  • this embodiment is a time coding method of structured light.
  • the time coding method is to project multiple patterns onto the surface of the measured object sequentially in time order.
  • Each pattern also known as a projected image, is composed of a row of structured light with different shades.
  • a projection device generally includes a light source and a grating.
  • a grating is an optical device consisting of a large number of parallel slits of equal width. Where there is a slit, the light source forms a section of light of bright color through the slit, and this section of light of bright color is called fringe. In places where there are no slits, the light source cannot pass through to form a dark color.
  • the projected image is recorded on the grating, and the light source projects the projected image on the grating onto the surface of the object.
  • the coded pattern is divided according to the projection position, and the pattern formed by elements of all projected images at the same projected position is called a sub-pattern. That is to say, the sub-patterns are patterns in which the coded pattern is at the same projected position.
  • the coding pattern is composed of three projected images, each row in the horizontal direction is a projected image, and each column in the vertical direction is a sub-pattern.
  • the sub-patterns include a first type of sub-pattern A and a second type of sub-pattern B.
  • the first type of sub-pattern A is a sub-pattern in which stripes appear only in one projected image
  • the second type of sub-pattern B is a sub-pattern that appears in at least two projected images.
  • a subpattern of stripes appears in .
  • the sub-pattern A of the first type and the sub-pattern B of the second type appear at intervals.
  • the three projection images all have stripes at projection point 1, so the sub-pattern of projection point 1 is the second type of sub-pattern B; at projection point 2, only projection image 1 has stripes, so the sub-pattern of projection point 2 is the first type Class sub-pattern A; at projection point 3, stripes appear in projection images 1 and 2, so the sub-pattern of projection point 3 is the second type of sub-pattern B, and so on.
  • the coding pattern formed by the projected images 1-3 is a pattern in which sub-patterns B and A of the second type appear alternately, and actually the coding pattern can also be composed of sub-patterns A and B of the first type appearing alternately. In this embodiment, There is no restriction on this.
  • Adjacent sub-patterns of the first type appear stripes in different projection images.
  • the sub-patterns of projection points 2, 4, and 6 are all sub-patterns of the first type A
  • the sub-patterns of projection points 2 and 4, or 4 and 6 are adjacent sub-patterns of the first type, as can be seen
  • the patterns of any two adjacent sub-patterns of the first type are different, and stripes appear in different projection images.
  • an implementation manner may be: according to the difference between the first type of sub-pattern A and the second type of sub-pattern B, distinguish the first type of sub-pattern A from the second type of sub-pattern B; Adjacent to the difference of the first type of sub-pattern A and the appearance rule of the first type of sub-pattern A, determine the corresponding relationship between the imaging point (i.e. the imaging position) and the projection point (i.e. the projection position) in all the first type sub-pattern A; then The second type of sub-pattern B is further identified, and the corresponding relationship between the imaging point and the projection point is determined.
  • the patterns of adjacent second-type sub-patterns may be the same or different. The difference helps to better determine the location of the second type of sub-patterns. For example, taking Figure 4 as an example, after determining the first type of sub-pattern of projection point 2, we know that its front and rear are the second type of sub-patterns. If the two patterns are the same, it is not easy to determine whether its serial number is 1 or 3. If If the two patterns are different, it is easier to determine their serial number.
  • the patterns of the adjacent second-type sub-patterns are different, which may be manifested in that: in the adjacent second-type sub-patterns, the positions where the stripes appear in the projected image are different, or the number of the stripes that appear in the projected image is different. In short, the greater the difference between the two patterns, the better for identification.
  • the second type of sub-patterns can be further subdivided into third-type sub-patterns and non-third-type sub-patterns.
  • a sub-pattern in which stripes appear in all projected images is taken as the third type of sub-pattern. Since the third type of sub-pattern appears as stripes in all projected images, it is easier to identify when decoding.
  • the coding pattern obtained by the above method is used as the basic pattern.
  • constraints can also be added to the basic pattern, requiring that the patterns of each sub-pattern in the basic pattern are different.
  • a new coding pattern is formed by repeating the basic pattern periodically, that is, each sub-pattern of the basic pattern repeats at the same preset period, so that no new projected images need to be added. For 2 N sub-patterns, using 3 projection images can still meet the decoding requirements.
  • the first sub-pattern of the basic pattern is set as the third type of sub-pattern C. Since the third type of sub-pattern C is easy to identify, it is easier to determine the boundary of the basic pattern.
  • FIG. 5 is a pattern formed by repeating the pattern in FIG. 4 .
  • the boundary of the basic pattern can be determined first, and then the basic pattern can be decoded by the aforementioned method.
  • the boundary of the basic pattern can be determined by the recurrence of a sub-pattern.
  • the boundary of the basic pattern is determined according to the recurrence rule of the sub-pattern of projection point 1 .
  • adjacent first-type sub-patterns appear stripes in different projection images, including: in the coding pattern formed after all projection images are aligned, the first-type sub-patterns appear sequentially in all projection images The streaks appear sequentially.
  • the stripes appearing in sequence means that the stripes appear in an arrangement order of all the projected images, or the stripes appear repeatedly in a period of an arrangement order of all the projected images.
  • the first type of sub-patterns appear stripes at projection points 2, 4, and 6 in the order of projection images 1, 2, and 3, and then use this as a cycle to repeat the aforementioned patterns at projection points 8, 10, and 12. analogy.
  • the first type of sub-patterns can also appear in the order of projection images 1, 3, 2 or other arrangement sequences such as 2, 3, 1, and stripes appear at each projection point in turn.
  • the distance between the adjacent first-type sub-patterns in the same projected image can be made larger, which helps to improve the decoding accuracy of the first-type sub-patterns and obtain a larger depth of field, which is suitable for large surface depth changes.
  • 3D information reconstruction of object surfaces Otherwise, it is only suitable for application scenarios with a small depth of field.
  • the depth of field corresponds to the depth change of the surface of the object. When the depth of the surface of the object does not change much, the depth of field requirement is low; vice versa.
  • a fourth type of sub-pattern D may also be introduced into the coding pattern on the basis of the foregoing embodiments.
  • the fourth type of sub-pattern D has no streaks in all projected images.
  • a fourth-type sub-pattern is inserted between adjacent first-type sub-patterns and second-type sub-patterns.
  • the sub-patterns of projection points 1, 5, 9, and 13 are the second type of sub-patterns
  • the sub-patterns of projection points 2, 4, 6, 8, 10, 12, 14, and 16 are the fourth type of sub-patterns.
  • the sub-patterns of projection points 3, 7, 11, and 15 are sub-patterns of the first type.
  • the distance between adjacent sub-patterns of the first type in the same projected image is 6.
  • the distance between adjacent first-type sub-patterns in the same projected image is 12, which is much larger than that in FIG. 5 , so it is applicable to application scenarios with a greater depth of field.
  • the number of projected images can also be increased. If four projection images are used, as shown in FIG. 7 , it can be seen that the distance between adjacent first-type sub-patterns in the same projection image is 8, which is larger than that in FIG. 5 . If "insert a fourth-type sub-pattern between adjacent first-type sub-patterns and second-type sub-patterns" is added to the measure of increasing the number of projected images, the distance can be further increased to meet the greater depth of field requirement .
  • the two sub-patterns appear alternately, compared with the binary coding/Gray code coding scheme, it can be determined with fewer projection images at high resolution
  • the corresponding relationship between imaging points and projection points improves the measurement efficiency of the system; by ordering the first type of sub-patterns in order to appear stripes in all projection images, and introducing the fourth type of sub-patterns, it is possible to correctly measure for larger depth of field
  • the three-dimensional point matches the imaging point and the projection point, and the matching robustness is better.
  • FIG. 1 An embodiment of the present invention, as shown in Figure 2, a system for three-dimensional information reconstruction, including:
  • the projection device 100 generates a plurality of projection images according to the structured light encoding method for three-dimensional information reconstruction described in the foregoing embodiments, and projects the projection images onto the surface of the object to be measured sequentially in time sequence;
  • Image sensor 200 imaging the projected image projected onto the surface of the measured object to obtain an imaging image
  • the reconstruction unit 300 decodes the imaging image, determines the corresponding relationship between each imaging position and the projection position, and reconstructs the three-dimensional information of the surface of the measured object according to the corresponding relationship.
  • the projection device 100 generates multiple projection images according to the structured light encoding method for three-dimensional information reconstruction described in the foregoing embodiments.
  • the reconstruction unit 300 decodes the imaging image according to the structured light decoding method for three-dimensional information reconstruction described in the foregoing embodiments, and determines the corresponding relationship between each imaging position and the projection position.
  • the encoding pattern is composed of multiple projected images
  • the decoding pattern is composed of multiple imaging images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于三维信息重建的结构光编码方法及系统。该方法包括：形成至少3幅投影图像，由所有投影图像对齐后构成的编码图案包括：第一类子图案和第二类子图案；第一类子图案和第二类子图案交错出现，第一类子图案仅在一幅投影图像中出现条纹，第二类子图案至少在两幅投影图像中出现条纹；任意两个相邻的第一类子图案在不同的投影图像中出现条纹(S100)。该方法可在高分辨率下以更少的投影图像确定成像位置和投影位置的对应关系，从而提高了系统的测量效率，为较大景深的三维点正确匹配成像位置和投影位置，且匹配鲁棒性较好。

Description

一种用于三维信息重建的结构光编码方法及系统 技术领域
本发明涉及三维信息重建领域，尤指一种用于三维信息重建的结构光编码方法及系统。
背景技术
在工业控制、医疗等领域，已经有很多技术用于物体表面的三维信息重建。其中，基于结构光的光栅条纹投影类方法以其高精度、高效率、高鲁棒性等优点得到了广泛的研究与应用。
此类方法主要通过投影装置将特定编码的光栅条纹作为结构光的投影图像投影到被测物体表面，然后利用图像传感器，比如摄像机，捕获经物体表面调制后反射的结构光，得到成像图像，对成像图像进行解码，找出解码图案中各个成像位置与投影位置的对应关系；由于编码图案投影到物体的位置是已知的，根据前述对应关系，利用三角法就可以获得物体表面的三维信息。
一种常用的结构光编码方法为时间编码。时间编码方法按时间顺序依次向被测空间投影多幅图案，每次投影都通过相机进行成像。如图3所示，假设有4张影像，并设被阴影覆盖部分的码值为1，未被覆盖部分的码值为0。每次投影对各成像点产生一个码值，经过4次投影，产生一个与各成像点一一对应的码字(图3中是长度为4的二进制码字)，根据成像点的二进制码字就可确定成像点和投影点的对应关系。
格雷码是对二进制码的改进，它比二进制码具有更好的鲁棒性。为了提高分辨率，投影位置数量会比较多。无论是格雷码还是二进制码，若投影位置数为2 N个，则至少需要N张投影图像才能保证成像图像的解码。
投影图像数量多有助于改善系统的测量精度，但投影图像数量多，会影响 系统的测量效率，导致三维重建过程变复杂。因此，有必要在保证测量精度的情况下减少需要获得的图像数量。
发明内容
本发明的目的之一是提供一种用于三维信息重建的结构光编码方法及系统，用于解决目前采用的编码方式需要的投影图像数量多的问题。
本发明提供的技术方案如下：
一种用于三维信息重建的结构光编码方法，包括：形成至少3幅投影图像，由所有投影图像对齐后构成的编码图案包括：第一类子图案和第二类子图案；所述子图案为所有投影图像在同一投影位置处形成的图案；
所述第一类子图案和所述第二类子图案交错出现，所述第一类子图案仅在一幅投影图像中出现条纹，所述第二类子图案至少在两幅投影图像中出现条纹；任意两个相邻的第一类子图案在不同的投影图像中出现条纹。
在一些实施例中，所述的任意两个相邻的第一类子图案在不同的投影图像中出现条纹，包括：在所述编码图案中，所述第一类子图案按序在所有的投影图像中依次出现条纹。
在一些实施例中，任意两个相邻的第二类子图案的图案不同。
在一些实施例中，所述任意两个相邻的第二类子图案的图案不同，包括：在相邻的第二类子图案的图案中，条纹出现在投影图像的位置不同，或条纹出现在投影图像的数量不同。
在一些实施例中，在所述第二类子图案中设置第三类子图案，所述第三类子图案在所有投影图像中都出现条纹。
在一些实施例中，将第一条子图案设为所述第三类子图案。
在一些实施例中，确定基本图案，所述基本图案中每个子图案的图案都不相同；将所述基本图案的每个子图案按相同的预设周期重复出现。
在一些实施例中，所述编码图案还包括第四类子图案，在相邻的第一类子图案和第二类子图案之间插入一条第四类子图案。
本发明还提供一种用于三维信息重建的系统，包括投影装置、图像传感器和重建单元；所述投影装置，按前述的用于三维信息重建的结构光编码方法生成多幅投影图像，并按时间顺序依次将所述投影图像投射到被测物体表面；所述图像传感器，对投射到所述被测物体表面上所述投影图像进行成像，获得成像图像；所述重建单元，对所述成像图像进行解码，确定各个成像位置与投影位置的对应关系，根据该对应关系，重建所述被测物体表面的三维信息。
通过本发明提供的一种用于三维信息重建的结构光编码方法及系统，至少能够带来以下有益效果：
1、本发明通过在编码图案中设置第一类子图案和第二类子图案，且两种子图案交错出现，相对现有的二进制编码/格雷码编码方案，在高分辨率下可以更少的投影图像确定成像位置和投影位置的对应关系，提高了系统的测量效率。
2、本发明通过将第一类子图案按序在所有的投影图像中依次出现条纹，和/或引入第四类子图案，和/或适当增加投影图像数量，可获得更大的景深，能够为较大景深的三维点正确匹配成像位置和投影位置，且匹配鲁棒性较好。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种用于三维信息重建的结构光编码方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明的一种用于三维信息重建的结构光编码方法的一个实施例的流程图；
图2是本发明的一种用于三维信息重建的系统的结构示意图；
图3是现有二进制编码图案的一种逻辑示意图；
图4是本发明的结构光编码图案的一种逻辑示意图；
图5是本发明的结构光编码图案的另一种逻辑示意图；
图6是本发明的结构光编码图案的另一种逻辑示意图；
图7是本发明的结构光编码图案的另一种逻辑示意图；
图8是本发明的结构光编码图案的一种示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘制了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
本发明的一个实施例，如图1所示，一种用于三维信息重建的结构光编码方法，包括：
步骤S100形成N幅投影图像，N≧3，其中：
所有投影图像对齐后构成的编码图案包括第一类子图案A和第二类子图案B，子图案为所有投影图像在同一投影位置处形成的图案；
第一类子图案A和第二类子图案B交错出现，第一类子图案A仅在一幅投影图像中出现条纹，第二类子图案B至少在两幅投影图像中出现条纹；且任意两个相邻的第一类子图案在不同的投影图像中出现条纹。
具体的，本实施例是一种结构光的时间编码方法。时间编码方法是按时间顺序依次向被测物体表面投影多幅图案。每幅图案，又称为投影图像，是由一排明暗不同的结构光构成。
投影装置一般包括光源和光栅。光栅是一种由大量等宽的平行狭缝构成的光学器件。在有狭缝的地方，光源通过狭缝形成一段明色光线，将这段明色光线称为条纹。在不存在狭缝的地方，光源透不过去形成暗色。在光栅上刻录投影图像，光源将光栅上的投影图像投影到物体表面上。
所有投影图像对齐后构成编码图案，对编码图案按投影位置进行划分，将由所有投影图像在相同投影位置的元素所形成的图案称为子图案。也就是说，子图案是编码图案在同一投影位置的图案。如图8，由3幅投影图像构成的编码图案，横向每一排为投影图像，纵向每一列为子图案。
子图案包括第一类子图案A和第二类子图案B，第一类子图案A为仅在一幅投影图像中出现条纹的子图案，第二类子图案B为至少在两幅投影图像中出现条纹的子图案。
在编码图案中，第一类子图案A与第二类子图案B间隔出现。
比如，如图4，有6个投影点(即投影位置)和3幅投影图像，其中灰色格表示条纹。如投影图像1，其在投影点1-3出现了条纹，在其他投影点没有出现条纹。
3幅投影图像在投影点1都出现了条纹，所以投影点1的子图案为第二类子图案B；在投影点2只有投影图像1出现了条纹，所以投影点2的子图案为第一类子图案A；在投影点3，投影图像1和2出现了条纹，所以投影点3的子图案为第二类子图案B，依次类推。可以看出，由投影图像1-3构成的编码图案是由第二类子图案B、A交错出现的图案，实际也可以由第一类子图案A、B交错出现构成编码图案，本实施例对此不做限制。
相邻的第一类子图案在不同的投影图像中出现条纹。如图4所示，投影点 2、4、6的子图案都为第一类子图案A，投影点2与4，或4与6的子图案为相邻的第一类子图案，可以看出任意两个相邻的第一类子图案的图案是不同的，条纹是出现在不同的投影图像中。
在对上述编码图案进行解码时，一种实施方式可以为：根据第一类子图案A与第二类子图案B的差别，区分第一类子图案A与第二类子图案B；再根据相邻第一类子图案A的不同以及第一类子图案A的出现规律，确定所有第一类子图案A中成像点(即成像位置)与投影点(即投影位置)的对应关系；然后再进一步识别第二类子图案B，确定成像点与投影点的对应关系。
相邻的第二类子图案的图案可以相同，也可以不同。不同有助于更好地确定第二类子图案的位置。比如，以图4为例，在确定投影点2的第一类子图案后，我们知道其前后为第二类子图案，若两者图案相同，则不容易确定其序号是1还是3，若两者图案不同，则更容易确定其序号。
相邻的第二类子图案的图案不同，可以表现在：在相邻的第二类子图案的图案中，条纹出现在投影图像的位置不同，或条纹出现在投影图像的数量不同。总之，两者图案相差越大，会有利于识别。
对第二类子图案可进一步细分，将其分为第三类子图案和非第三类子图案。将在所有投影图像中都出现条纹的子图案作为第三类子图案。由于第三类子图案在所有投影图像中都出现条纹，解码时更容易识别。
将上述方法得到的编码图案作为基本图案。为了方便解码，还可以对基本图案增加约束，要求基本图案中每个子图案的图案都不相同。
假设有条纹的成像点的像素值为1，无条纹的成像点的像素值为0，可以看出图4中每个子图案对应的码字是不同的，所以可根据常规方法进行解码，比如根据成像点的码字确定成像点与投影点的对应关系。当然还可以采用其他解码方法，本实施例对此不做限制。
有时因高分辨率要求，所需的子图案数多。将基本图案重复周期出现形成 新的编码图案，即基本图案的每个子图案都按相同的预设周期重复出现，这样就不必增加新的投影图像。对于2 N条子图案，采用3张投影图像仍能满足解码要求。
在一个实施例中，将基本图案的第一条子图案设为第三类子图案C。由于第三类子图案C容易识别，这样可以更容易确定基本图案的边界。
如图5所示，图5是以图4的图案为基础重复出现所形成的图案。针对这种编码方式，在解码时，可以先确定基本图案的边界，再采用前述方法解码基本图案。可以通过一种子图案的重复出现规律确定基本图案的边界。比如，如图5，根据投影点1的子图案的重复出现规律确定基本图案的边界。
在一个实施例中，相邻的第一类子图案在不同的投影图像中出现条纹，包括：在所有投影图像对齐后构成的编码图案中，第一类子图案按序在所有的投影图像中依次出现条纹。此处的按序出现条纹是指以所有投影图像的一种排列顺序出现条纹，或以所有投影图像的一种排列顺序为周期重复出现条纹。
如图5，第一类子图案按投影图像1、2、3的顺序依次在投影点2、4、6出现条纹，然后以此为周期，在投影点8、10、12重复前述图案，依次类推。当然，第一类子图案也可以按投影图像1、3、2的顺序或2、3、1等其他排列顺序，依次在各个投影点出现条纹。
这样可以使同一投影图像中相邻的第一类子图案的间距更大，这样有助于提高第一类子图案的解码的正确性，获得更大的景深，适用于表面深度变化较大的物体表面的三维信息重建。否则，只适用于景深较小的应用场景。景深对应物体表面的深度变化，物体表面深度变化不大的情况，景深要求低；反之相反。
为了进一步加大景深，还可以在前述实施例的基础上，在编码图案中引入第四类子图案D。第四类子图案D在所有投影图像中都未出现条纹。在相邻的第一类子图案和第二类子图案之间插入一条第四类子图案。
如图6，投影点1、5、9、13的子图案为第二类子图案，投影点2、4、6、8、10、12、14、16的子图案为第四类子图案，投影点3、7、11、15的子图案为第一类子图案。相邻的第二类子图案与第一类子图案之间有一条第四类子图案。
针对图6所示编码方案，可以按前述解码方案确定好第二类子图案后，再根据“相邻的第二类子图案与第一类子图案之间有一条第四类子图案”确定所有第四类子图案。
图5中，同一投影图像中相邻的第一类子图案的间距为6。图6中，同一投影图像中相邻的第一类子图案的间距为12，远大于图5，所以可适用于更大景深的应用场景。
为了满足更大的景深要求还可以增加投影图像数量。如采用4幅投影图像，如图7所示，可以看出，同一投影图像中相邻的第一类子图案的间距为8，比图5的大。若在增加投影图像数量的措施上再增加“在相邻的第一类子图案和第二类子图案之间插入一条第四类子图案”，可以进一步增大间距，满足更大的景深要求。
本实施例，通过在编码方案中设置第一类子图案和第二类子图案，且两种子图案交错出现，相对二进制编码/格雷码编码方案，在高分辨率下可以更少的投影图像确定成像点和投影点的对应关系，提高了系统的测量效率；通过将第一类子图案按序在所有的投影图像中依次出现条纹，以及引入第四类子图案，能够正确为较大景深的三维点匹配成像点和投影点，且匹配鲁棒性较好。
本发明的一个实施例，如图2所示，一种用于三维信息重建的系统，包括：
包括投影装置100、图像传感器200和重建单元300；
投影装置100，按前述实施例所述的用于三维信息重建的结构光编码方法生成多幅投影图像，并按时间顺序依次将投影图像投射到被测物体表面；
图像传感器200，对投射到被测物体表面上的投影图像进行成像，获得成 像图像；
重建单元300，对成像图像进行解码，确定各个成像位置与投影位置的对应关系，根据该对应关系，重建被测物体表面的三维信息。
具体地，投影装置100按前述实施例所述的用于三维信息重建的结构光编码方法生成多幅投影图像。重建单元300按前述实施例所述的用于三维信息重建的结构光解码方法对成像图像进行解码，确定各个成像位置与投影位置的对应关系。
编码图案由多幅投影图像构成，解码图案由多幅成像图像构成。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

  1. 一种用于三维信息重建的结构光编码方法，其特征在于，包括：
    形成至少3幅投影图像，由所有投影图像对齐后构成的编码图案包括：
    第一类子图案和第二类子图案；所述子图案为所有投影图像在同一投影位置处形成的图案；
    所述第一类子图案和所述第二类子图案交错出现，所述第一类子图案仅在一幅投影图像中出现条纹，所述第二类子图案至少在两幅投影图像中出现条纹；
    任意两个相邻的第一类子图案在不同的投影图像中出现条纹。
  2. 根据权利要求1所述的用于三维信息重建的结构光编码方法，其特征在于，所述的任意两个相邻的第一类子图案在不同的投影图像中出现条纹，包括：
    在所述编码图案中，所述第一类子图案按序在所有的投影图像中依次出现条纹。
  3. 根据权利要求1所述的用于三维信息重建的结构光编码方法，其特征在于：
    任意两个相邻的第二类子图案的图案不同。
  4. 根据权利要求3所述的用于三维信息重建的结构光编码方法，其特征在于，所述任意两个相邻的第二类子图案的图案不同，包括：
    在相邻的第二类子图案的图案中，条纹出现在投影图像的位置不同，或条纹出现在投影图像的数量不同。
  5. 根据权利要求4所述的用于三维信息重建的结构光编码方法，其特征在于：
    在所述第二类子图案中设置第三类子图案，所述第三类子图案在所有投影图像中都出现条纹。
  6. 根据权利要求5所述的用于三维信息重建的结构光编码方法，其特征在于：
    将第一条子图案设为所述第三类子图案。
  7. 根据权利要求5所述的用于三维信息重建的结构光编码方法，其特征在于：
    确定基本图案，所述基本图案中每个子图案的图案都不相同；
    将所述基本图案的每个子图案按相同的预设周期重复出现。
  8. 根据权利要求1-7任一项所述的用于三维信息重建的结构光编码方法，其特征在于：
    所述编码图案还包括第四类子图案，在相邻的第一类子图案和第二类子图案之间插入一条第四类子图案。
  9. 一种用于三维信息重建的系统，其特征在于，包括投影装置、图像传感器和重建单元；
    所述投影装置，按权利要求1至8中任一项所述的用于三维信息重建的结构光编码方法生成多幅投影图像，并按时间顺序依次将所述投影图像投射到被测物体表面；
    所述图像传感器，对投射到所述被测物体表面上所述投影图像进行成像，获得成像图像；
    所述重建单元，对所述成像图像进行解码，确定各个成像位置与投影位置的对应关系，根据该对应关系，重建所述被测物体表面的三维信息。
PCT/CN2022/118053 2021-11-15 2022-09-09 一种用于三维信息重建的结构光编码方法及系统 WO2023082816A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111350080.X 2021-11-15
CN202111350080.XA CN114061489A (zh) 2021-11-15 2021-11-15 一种用于三维信息重建的结构光编码方法及系统

Publications (1)

Publication Number Publication Date
WO2023082816A1 true WO2023082816A1 (zh) 2023-05-19

Family

ID=80272252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/118053 WO2023082816A1 (zh) 2021-11-15 2022-09-09 一种用于三维信息重建的结构光编码方法及系统

Country Status (2)

Country Link
CN (1) CN114061489A (zh)
WO (1) WO2023082816A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061489A (zh) * 2021-11-15 2022-02-18 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统
CN115451868A (zh) * 2022-10-12 2022-12-09 上海联耀医疗技术有限公司 一种基于结构光的三维扫描投影线的投影方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293626A1 (en) * 2011-05-19 2012-11-22 In-G Co., Ltd. Three-dimensional distance measurement system for reconstructing three-dimensional image using code line
CN105180836A (zh) * 2014-05-23 2015-12-23 精工爱普生株式会社 控制装置、机器人、以及控制方法
CN105890546A (zh) * 2016-04-22 2016-08-24 无锡信捷电气股份有限公司 基于正交格雷码和线移相结合的结构光三维测量方法
CN107490348A (zh) * 2017-07-26 2017-12-19 爱佩仪中测（成都）精密仪器有限公司 编码结构光三维测量中的编码光栅投影方法
CN109242957A (zh) * 2018-08-27 2019-01-18 深圳积木易搭科技技术有限公司 一种基于多重约束的单帧编码结构光三维重建方法
CN109341589A (zh) * 2018-10-17 2019-02-15 深圳市华汉伟业科技有限公司 一种光栅图像投影方法、三维重建方法及三维重建系统
CN111536904A (zh) * 2020-05-27 2020-08-14 深圳市华汉伟业科技有限公司 一种基于结构照明的三维测量方法及系统、存储介质
CN113008163A (zh) * 2021-03-01 2021-06-22 西北工业大学 一种结构光三维重建系统中基于频移条纹的编解码方法
CN114061489A (zh) * 2021-11-15 2022-02-18 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017715A (ja) * 2003-06-26 2005-01-20 Toshiba Corp 面むら補正装置及び面むら補正方法
CN201138194Y (zh) * 2007-04-17 2008-10-22 哈尔滨理工大学 基于绿条纹中心的颜色编码结构光三维测量装置
CN102519390B (zh) * 2011-12-21 2015-01-07 哈尔滨理工大学 三编码周期灰度梯形相移结构光三维信息获取方法
US20150103358A1 (en) * 2012-03-09 2015-04-16 Galil Soft Ltd. System and method for non-contact measurement of 3d geometry
CN108088391B (zh) * 2018-01-05 2020-02-07 深度创新科技（深圳）有限公司 一种三维形貌测量的方法和系统
CN108332670B (zh) * 2018-02-06 2020-04-03 浙江大学 一种融合rgb通道正反格雷码及条纹块平移的结构光系统编码方法
JP2020139869A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 計測装置、算出方法、システム及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293626A1 (en) * 2011-05-19 2012-11-22 In-G Co., Ltd. Three-dimensional distance measurement system for reconstructing three-dimensional image using code line
CN105180836A (zh) * 2014-05-23 2015-12-23 精工爱普生株式会社 控制装置、机器人、以及控制方法
CN105890546A (zh) * 2016-04-22 2016-08-24 无锡信捷电气股份有限公司 基于正交格雷码和线移相结合的结构光三维测量方法
CN107490348A (zh) * 2017-07-26 2017-12-19 爱佩仪中测（成都）精密仪器有限公司 编码结构光三维测量中的编码光栅投影方法
CN109242957A (zh) * 2018-08-27 2019-01-18 深圳积木易搭科技技术有限公司 一种基于多重约束的单帧编码结构光三维重建方法
CN109341589A (zh) * 2018-10-17 2019-02-15 深圳市华汉伟业科技有限公司 一种光栅图像投影方法、三维重建方法及三维重建系统
CN111536904A (zh) * 2020-05-27 2020-08-14 深圳市华汉伟业科技有限公司 一种基于结构照明的三维测量方法及系统、存储介质
CN113008163A (zh) * 2021-03-01 2021-06-22 西北工业大学 一种结构光三维重建系统中基于频移条纹的编解码方法
CN114061489A (zh) * 2021-11-15 2022-02-18 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统

Also Published As

Publication number Publication date
CN114061489A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
WO2023082816A1 (zh) 一种用于三维信息重建的结构光编码方法及系统
CN103415870B (zh) 测量场景中的深度值的方法
CN101975558B (zh) 基于彩色光栅投影的快速三维测量方法
CN108592823B (zh) 一种基于双目视觉彩色条纹编码的解码方法
CN108332670B (zh) 一种融合rgb通道正反格雷码及条纹块平移的结构光系统编码方法
CN108592822B (zh) 一种基于双目相机及结构光编解码的测量系统及方法
CN105165006A (zh) 投影系统及半导体集成电路
CN104677308A (zh) 一种高频二值条纹的三维扫描方法
US20160255332A1 (en) Systems and methods for error correction in structured light
US8142023B2 (en) Optimized projection pattern for long-range depth sensing
CN105806259A (zh) 一种基于二值光栅离焦投影的三维测量方法
CN104838228A (zh) 三维扫描仪及操作方法
CN101608906B (zh) 一种时间编码的光学三维轮廓测量方法
CN102322823A (zh) 基于相位级次自编码的光学三维测量方法
CN109540039B (zh) 一种基于循环互补格雷码的三维面形测量方法
CN107036556A (zh) 基于分段量化相位编码的结构光三维测量方法
CN101738172B (zh) 基于绿条纹分割的高采样密度彩色结构光三维测量方法
JP2001074507A (ja) 互いに相対的に運動する部品間の位置を求めるための装置および方法
CN111207692A (zh) 一种改进的分段阶梯相位编码三维测量方法
CN104729427A (zh) 一种自适应多频时空彩色编码的光学三维轮廓测量方法
Chen et al. Realtime structured light vision with the principle of unique color codes
Cheng et al. 3D object scanning system by coded structured light
KR20230128340A (ko) 투영 모듈, 줄무늬 디코딩 방법, 장치, 매체, 기기 및 시스템
Zhang et al. Evaluation of coded structured light methods using ground truth
JPH0498106A (ja) ３次元形状計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22891621

Country of ref document: EP

Kind code of ref document: A1