WO2021115300A1

WO2021115300A1 - 一种用于3d信息采集的智能控制方法

Info

Publication number: WO2021115300A1
Application number: PCT/CN2020/134761
Authority: WO
Inventors: 左忠斌; 左达宇
Original assignee: 左忠斌
Priority date: 2019-12-12
Filing date: 2020-12-09
Publication date: 2021-06-17
Also published as: CN111780682A; CN111006586A; CN111006586B

Abstract

一种3D采集控制方法，第1步：根据设置的图像采集装置(1)拍摄数量N和拍摄间隔△t设置伺服马达的转速；第2步：设置伺服马达的加速时间tup；第3步：启动伺服马达，带动图像采集装置(1)旋转；第4步：图像采集装置(1)开始采集目标物图像。首次提出了通过优化相机旋转控制算法来兼顾提高合成速度和合成精度。

Description

一种用于3D信息采集的智能控制方法

技术领域

本发明涉及形貌测量技术领域，特别涉及3D形貌测量技术领域。

背景技术

在进行3D测量时，需要首先采集3D信息。目前常用的方法包括使用机器视觉的方式，采集物体不同角度的图片，并将这些图片匹配拼接形成3D模型。在采集不同角度图片时，可以待测物不同角度设置多个相机，也可以通过单个或多个相机旋转从不同角度采集图片。但无论这两种方式哪一种，都涉及合成速度和合成精度的问题。而合成速度和合成精度在某种程度上是一对矛盾，合成速度的提高会导致最终3D合成精度下降；要提高3D合成精度则需要降低合成速度，通过更多的图片来合成。

在现有技术中，为了同时提高合成速度和合成精度，通常通过优化算法的方法实现。并且本领域一直认为解决上述问题的途径在于算法的选择和更新，截止目前没有任何提出其他角度同时提高合成速度和合成精度的方法。然而，算法的优化目前已经达到瓶颈，在没有更优理论出现前，已经无法兼顾提高合成速度和合成的精度。因此，从未有人提出通过优化相机旋转控制算法来兼顾提高合成速度和合成的精度。

在现有技术中，也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现：目标物尺寸难以准确确定，特别是某些应用场合目标物需要频繁更换，每次测量带来大量额外工作量，并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。

另外，通常情况下，在转动过程中，相机的拍摄间隔由3D合成算法要求决定，但从未有人注意到3D采集过程中采集数据量会非常大，过大的数据量导致数据传输拥堵，会导致图片丢失的问题。

并且，通常情况下，3D采集过程中相机转动的速度主要考虑相机拍摄的要求，即在一定光圈情况下拍摄图像清晰无拖影。也就是相机转速较慢会更好。因此，通常在设定采集速度后，再根据采集数量设定采集间隔。然而这种方式没有考虑传输拥堵的问题，同时也没有考虑如何优化相机位置兼顾速度和效果。

因此，目前急需解决以下技术问题：①如何优化相机旋转控制算法能够同时提高合成速度和合成精度；②成本低，不增加过多设备复杂程度和体积。③3D合成完整、可靠。

发明内容

鉴于上述问题，提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的方法。

本发明的一方面提供了一种3D采集控制方法及程序，

第1步：设置伺服马达的转速：根据设置的图像采集装置拍摄数量N和拍摄间隔△t设置伺服马达的转速；

第2步：设置伺服马达的加速时间t _up；

第3步：启动伺服马达，带动图像采集装置旋转；

第4步：图像采集装置开始采集目标物图像。

可选的，图像采集装置开始采集的时刻大于t _up。

可选的，△t＝ζ*B/V，其中V为图像的传输速度V，B为采集图像的大小，ζ为经验系数。

可选的，0.003＜ζ＜0.082。

可选的，t _up的取值范围为20-200ms。

可选的，N满足如下条件：

f为图像采集装置的焦距；d为图像采集装置感光元件(CCD)的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数，δ<0.603。

可选的，δ<0.410。

可选的，δ<0.356。

本发明的另一方面还提供了一种3D识别方法，使用如上所述设备或方法。

本发明的第三方面还提供了一种3D制造设备，使用如上所述设备或方法。

发明点及技术效果

1、首次提出通过优化相机旋转控制算法来兼顾提高合成速度和合成的精度。

2、通过增加背景板，并优化背景板的尺寸，在降低旋转负担的同时，保证能够同时提高合成速度和合成精度。

3、通过优化算法，保证能够同时提高合成速度和合成精度。

4、结合3D采集特点，首次提出根据传输速度设置拍摄间隔，并优化了间隔计算公式，保证了3D图像合成的完整性，避免了传输拥堵。

5、通过采集间隔和采集数量来设置相机转速(间接考虑了传输拥堵问题、以及相机位置优化的问题)，而不是按照镜头要求设置转速，也不要求转速较慢，克服了传统设置相机转速带来的采集速度、效果差的问题。

6、优化了相机采集图片数量，兼顾了采集速度和效率。

7、在加速完成后再启动相机，提高了采集的效果，同时使得相机位置优化更加容易。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的3D信息采集设备的前视图；

图2为本发明实施例提供的3D信息采集设备的立体图；

图3为本发明实施例提供的3D信息采集设备的另一立体图；

附图标记与各部件的对应关系如下：

1图像采集装置，2旋转装置，3背景板，4第一安装柱，5旋转横梁。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

3D信息采集装置结构

为解决提高算法效率，本发明提供了一种与上述算法相配合的3D信息采集装置，包括图像采集装置1、旋转横梁3、旋转装置2和背景板3。

旋转横梁5两端分别连接有图像采集装置1和背景板3，两者相对设置，由旋转装置2带动同步旋转，保证在转动过程中始终相对，从而使得图像采集装置1采集的图像背景为背景板3。旋转横梁5通过旋转装置2与固定横梁连接，旋转装置2驱动旋转横梁5转动，从而带动横梁5两端的背景板3和图像采集装置1转动，但无论怎样转动，图像采集装置1与背景板3均相对设置，特别是图像采集装置1的光轴穿过背景板3中心。

图像采集装置1用于采集目标物的图像，其可以为定焦相机，或变焦相机。特别是即可以为可见光相机，也可以为红外相机。当然，可以理解的是任何具有图像采集功能的装置均可以使用，并不构成对本发明的限定。

背景板3全部为纯色，或大部分(主体)为纯色。特别是可以为白色板或黑色板，具体颜色可以根据目标物主体颜色来选择。背景板3通常为平板，优选也可以为曲面板，例如凹面板、凸面板、球形板，甚至在某些应用场景下，可以为表面为波浪形的背景板3；也可以为多种形状拼接板，例如可以用三段平面进行拼接，而整体呈现凹形，或用平面和曲面进行拼接等。除了背景板3表面的形状可以变化外，其边缘形状也可以根据需要选择。通常情况下为直线型，从而构成矩形板。但是在某些应用场合，其边缘可以为曲线。优选的，背景板为曲面板，这样可以使得在获得最大背景范围的情况下，使得背景板3投影尺寸最小。这使得背景板3在转动时需要的空间更小，有利于缩小设备体积，并且减少设备重量，避免转动惯性，从而更有利于控制转动。

光源可以为LED光源，也可以为智能光源，即根据目标物及环境光的情况自动调整光源参数。通常情况下，光源位于图像采集装置的镜头周边分散式分布，例如光源为在镜头周边的环形LED灯。由于在一些应用中，被采集对象为人体，因此需要控制光源强度，避免造成人体不适。特别是可以在光源的光路上设置柔光装置，例如为柔光外壳。或者直接采用LED面光源，不仅光线比较柔和，而且发光更为均匀。更佳地，可以采用OLED光源，体积更小，光线更加柔和，并且具有柔性特性，可以贴附于弯曲的表面。

图像采集装置1和背景板3之间通常为待采集目标物。当目标物为人体时，可以在设备底座中央设置座椅。并且由于不同人身高不同，座椅可以设置为连接可升降结构。升降机构通过驱动电机驱动，由遥控器进行控制升降。当然，升降机构也可以由控制终端统一控制。即驱动电机的控制面板通过有线或无线方式与控制终端通讯，接收控制终端的命令。控制终端可以为电脑、云平台、手机、平板、专用控制设备等。

但当目标物为物体时，可以在设备底座中央设置载物台。同样，载物台也可以由升降结构驱动进行高度调整，以方便采集目标物体信息。具体控制方法和连接关系与上述相同，不再赘述。但特别的，物体与人不同，旋转并不会带来不适感，因此载物台可在旋转装置的驱动下旋转，此时在采集时就无需旋转横梁转动带动图像采集装置1和背景板3旋转。当然，也可以载物台和旋转横梁同时转动。

为了方便目标物的实际尺寸测量，可在座椅或载物台上设置4个标记点，并且这些标记点的坐标已知。通过采集标记点，并结合其坐标，获得3D合成模型的绝对尺寸。标记点可以位于座椅上的头托上。

装置还包括处理器，用以根据图像采集装置采集的多个图像，根据3D合成算法，合成目标物3D模型，得到目标物3D信息。

3D采集装置控制方法

第1步：设置伺服马达的转速。

1-1：设置图像采集装置拍摄数量N。

1-2：设置图像采集装置拍摄间隔△t。拍摄间隔△t与图像的传输速度V和单张图像大小B有关。图像采集拍摄完的图像需要传输至存储装置，拍摄间隔过小会导致图像存储丢失。因此△t＝ζ*B/V，其中ζ为经验系数，0.003＜ζ＜0.082。

1-3：计算伺服马达的转速。

伺服马达转动一周脉冲数为G，伺服电机传动比为W，图像采集装置间隔为△t拍摄一次，伺服马达的转速为P＝G*W/(△t*N)，即马达每秒接收的脉冲数。

a.PLC每秒发出脉冲数的数字P来自寄存器Db；通过调整填入到伺服控制器寄存器的值，可以决定PLC单位时间的发出的脉冲的数量，可以决定马达的单位时间转动的角度，达到控制马达运动速度的控制。

b.PLC发出脉冲的的使能控制由Ma的值决定当Ma的值为1时，PLC开始发出脉冲；

c.PC通过458串行总线，在Db里面填充数值P；

d.PC通过485串行总线，在Ma里面填充数值1；

PLC每秒钟发出P个脉冲给伺服马达控制器，伺服马达以P*360/(G*π*W)的角速度转动。

第2步：设置伺服控制器指令平滑滤波器，从而控制伺服电机的加速度(稳定度)。

如图3所示，由于伺服电机在启动时就有加速阶段，在停止时具有减速阶段，加速时间t _up和减速时间t _down的大小就决定了伺服马达的稳定性。t _up和t _down的大小有伺服控制器寄存器决定，由伺服控制器决定多长时间可以达到100％的稳定速度，数值设定的越大，速度提升和下降的时间越长，加速度越小，伺服马达转动的稳定度相对就越好。但是时间过长会影响采集过程。因此经过试验，t _up和t _down的取值范围为20-200ms。设动伺服控制器指令平滑滤波器Pr2.22为20-200ms。

第3步：控制转动拍摄。

伺服控制器通过自身COM接口接受PLC发出的脉冲指令，并通过内部的控制系统向马达直接发出指令，并控制运动过程的各项参数。

控制伺服马达按照设定的加速度和速度进行转动，在经过t _up时间后启动图像采集装置进行拍照，此后每间隔△t拍摄一张照片，并将照片传输至存储器中。

在进行上述设置时，为了兼顾合成速度和合成时间，N的取值需要进行优化。

可以理解，根据上述公式计算后，N应当取整。优选，N宜向前进位取整。

当上述两个位置是沿图像采集装置感光元件长度方向时，d取矩形长度；当上述两个位置是沿图像采集装置感光元件宽度方向时，d取矩形宽度。

图像采集装置在两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外，在另一种情况下，L为A _n、A _n+1两个图像采集装置光心的直线距离，与A _n、A _n+1两个图像采集装置相邻的A _n-1、A _n+2两个图像采集装置和A _n、A _n+1两个图像采集装置各自感光元件沿着光轴到目标物表面的距离分别为T _n-1、T _n、T _n+1、T _n+2，T＝(T _n-1+T _n+T _n+1+T _n+2)/4。当然可以不只限于相邻4个位置，也可以用更多的位置进行平均值计算。

L应当为两个图像采集装置光心的直线距离，但由于图像采集装置光心位置在某些情况下并不容易确定，因此在某些情况下也可以使用图像采集装置的感光元件中心、图像采集装置的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代，经过试验发现由此带来的误差是在可接受的范围内的。

通常情况下，现有技术中均采用物体尺寸、视场角等参数作为推算相机位置的方式，并且两个相机之间的位置关系也采用角度表达。由于角度在实际使用过程中并不好测量，因此在实际使用时较为不便。并且，物体尺寸会随着测量物体的变化而改变。例如，在进行一个成年人头部3D信息采集后，再进行儿童头部采集时，就需要重新测量头部尺寸，重新推算。上述不方便的测量以及多次重新测量都会带来测量的误差，从而导致相机位置推算错误。而本方案根据大量实验数据，给出了相机位置需要满足的经验条件，不仅避免测量难以准确测量的角度，而且不需要直接测量物体大小尺寸。经验条件中d、f均为相机固定参数，在购买相机、镜头时，厂家即会给出相应参数，无需测量。而T仅为一个直线距离，用传统测量方法，例如直尺、激光测距仪均可以很便捷的测量得到。因此，本发明的经验公式使得准备过程变得方便快捷，同时也提高了相机位置的排布准确度，使得相机能够设置在优化的位置中，从而在同时兼顾了3D合成精度和速度，具体实验数据参见下述。

利用本发明装置，进行实验，得到了如下实验结果。

更换相机镜头，再次实验，得到了如下实验结果。

更换相机镜头，再次实验，得到了如下实验结果。

从上述实验结果及大量实验经验可以得出，δ的值应当满足δ<0.603，此时已经能够合成部分3D模型，虽然有一部分无法自动合成，但是在要求不高的情况下也是可以接受的，并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是δ的值满足δ<0.410时，能够最佳地兼顾合成效果和合成时间的平衡；为了获得更好的合成效果可以选择δ<0.356，此时合成时间会上升，但合成质量更好。当然为了进一步提高合成效果，可以选择δ<0.311。而当δ为 0.681时，已经无法合成。但这里应当注意，以上范围仅仅是最佳实施例，并不构成对保护范围的限定。

并且从上述实验可以看出，对于相机拍照位置的确定，只需要获取相机参数(焦距f、CCD尺寸)、相机CCD与物体表面的距离T即可根据上述公式得到，这使得在进行设备设计和调试时变得容易。由于相机参数(焦距f、CCD尺寸)在相机购买时就已经确定，并且是产品说明中就会标示的，很容易获得。因此根据上述公式很容易就能够计算得到相机位置，而不需要再进行繁琐的视场角测量和物体尺寸测量。特别是在一些场合中，需要更换相机镜头，那么本发明的方法直接更换镜头常规参数f计算即可得到相机位置；同理，在采集不同物体时，由于物体大小不同，对于物体尺寸的测量也较为繁琐。而使用本发明的方法，无需进行物体尺寸测量，能够更为便捷地确定相机位置。并且使用本发明确定的相机位置，能够兼顾合成时间和合成效果。因此，上述经验条件是本发明的发明点之一。

以上数据仅为验证该公式条件所做实验得到的，并不对发明构成限定。即使没有这些数据，也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验，得到其他数据也是符合该公式条件的。

本发明所述的转动运动，为在采集过程中前一位置采集平面和后一位置采集平面发生交叉而不是平行，或前一位置图像采集装置光轴和后一位置图像采集位置光轴发生交叉而不是平行。也就是说，图像采集装置的采集区域环绕或部分环绕目标物运动，均可以认为是两者相对转动。虽然本发明实施例中列举更多的为有轨道的转动运动，但是可以理解，只要图像采集设备的采集区域和目标物之间发生非平行的运动，均是转动范畴，均可以使用本发明的限定条件。本发明保护范围并不限定于实施例中的有轨道转动。

本发明所述的相邻采集位置是指，在图像采集装置相对目标物移动时，移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时，此时应当根据运动的相对性，将目标物的运动转化为目标物不动，而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。

上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体，也可以为多个物体组成物。例如可以为头部、手部等。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。

本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

以上实施例获得的目标物多个区域的3D信息可以用于进行比对，例如用于身份的识别。首先利用本发明的方案获取人体面部和虹膜的3D信息，并将其存储在服务器中，作为标准数据。当使用时，例如需要进行身份认证进行支付、开门等操作时，可以用3D获取装置再次采集并获取人体面部和虹膜的3D信息，将其与标准数据进行比对，比对成功则允许进行下一步动作。可以理解，这种比对也可以用于古董、艺术品等固定财产的鉴别，即先获取古董、艺术品多个区域的3D信息作为标准数据，在需要鉴定时，再次获取多个区域的3D信息，并与标准数据进行比对，鉴别真伪。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims

一种用于3D采集的控制方法，其特征在于：

第1步：设置伺服马达的转速：根据设置的图像采集装置拍摄数量N和拍摄间隔△t设置伺服马达的转速；

第2步：设置伺服马达的加速时间t _up；

第3步：启动伺服马达，带动图像采集装置旋转；

第4步：图像采集装置开始采集目标物图像；

N满足如下条件：

f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数，δ<0.603。
如权利要求1所述方法，其特征在于：图像采集装置开始采集的时刻大于t _up。
如权利要求1所述方法，其特征在于：△t＝ζ*B/V，其中V为图像的传输速度V，B为采集图像的大小，ζ为经验系数。
如权利要求3所述方法，其特征在于：0.003＜ζ＜0.082。
如权利要求1所述方法，其特征在于：t _up的取值范围为20-200ms。
如权利要求1所述方法，其特征在于：δ<0.410。
如权利要求1所述方法，其特征在于：δ<0.356。
如权利要求1所述方法，其特征在于：δ<0.311。
如权利要求1所述方法，其特征在于：δ<0.284。
如权利要求1所述方法，其特征在于：δ<0.261。
如权利要求1所述方法，其特征在于：δ<0.241。
如权利要求1所述方法，其特征在于：δ<0.107。
一种3D识别方法，其特征在于：使用如权利要求1-12任一所述方法。
一种3D制造设备，其特征在于：使用如权利要求1-12任一所述方法。