WO2023004737A1 - 一种结构光投射装置以及深度相机 - Google Patents

一种结构光投射装置以及深度相机 Download PDF

Info

Publication number
WO2023004737A1
WO2023004737A1 PCT/CN2021/109558 CN2021109558W WO2023004737A1 WO 2023004737 A1 WO2023004737 A1 WO 2023004737A1 CN 2021109558 W CN2021109558 W CN 2021109558W WO 2023004737 A1 WO2023004737 A1 WO 2023004737A1
Authority
WO
WIPO (PCT)
Prior art keywords
structured light
light
projection device
angle
target object
Prior art date
Application number
PCT/CN2021/109558
Other languages
English (en)
French (fr)
Inventor
杨京寰
李腾
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2021/109558 priority Critical patent/WO2023004737A1/zh
Priority to CN202180006602.6A priority patent/CN115917426A/zh
Publication of WO2023004737A1 publication Critical patent/WO2023004737A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种结构光投射装置(1000)及深度相机(10),结构光投射装置(1000)包括:光发射机构(1),用于发射第一光;角度调节机构(2),用于调整第一光的角度;以及衍射机构(3),用于将经过角度调节机构(2)的第一光转换为带有预设图案的第二光。能够提升探测的视场范围的同时,又保证结构光预设图案的空间密度,进而增加深度信息的探测精度。

Description

一种结构光投射装置以及深度相机 技术领域
本申请涉及智能车辆领域,具体涉及一种结构光投射装置、深度相机、结构光投射装置的控制方法以及控制装置。
背景技术
为了获得空间内物体的信息,进而实现例如:人脸识别、手势识别以及动作识别,物体的深度信息成为提升对空间内物体的感知能力的关键要素。
目前,获得物体的深度信息通常通过主动式和被动式两种方式。被动式是依赖于物体对环境光地反射,来获得物体的三维信息,例如,双目视觉技术;主动式是指向物体发射光信号,通过接收被探测物体返回的信号来获取物体的三维信息,例如,飞行时间(Time of Flight,ToF)技术和结构光技术。
双目视觉技术利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维信息。但是,这种方式对环境光的要求较高,在光照条件复杂的车辆座舱中,可能无法精确的获得深度信息。
ToF技术是发射调制过后的连续光脉冲信号至物体上,然后利用传感器接收反射光,利用它们之间的时间差进行运算和转换得到深度信息。但是,这种方式在遇到较大的探测范围时,会存在点云不够稠密的情况,在遇到较远探测距离时,可能会出现反射光的强度不足的情况,从而降低探测精度。
结构光技术是将编码图案,投射到目标物体上,然后计算编码图案的形变进而确定出深度信息。但是,这种方式在遇到较大的探测范围时,也会出现编码图案不够稠密的情况,在遇到较远探测距离时,会出现编码图案的信噪比降低的情况,同时,在空间中物体较多时,编码图案无法针对性的投射到目标物体上,探测范围内的其他物体会对目标物体的深度信息造成干扰,同样也会导致探测精度的下降。
因此,如何保证探测的视场范围足够大的同时又保证深度信息的精度成为业内亟需解决的问题。
发明内容
本申请提供一种结构光投射装置、深度相机、结构光投射装置的控制方法以及控制装置,能够在增大探测的视场范围的同时,提高深度信息的探测精度。
本申请第一方面提供了一种结构光投射装置,包括:光发射机构,用于发射第一光;角度调节机构,用于调整第一光的角度;以及衍射机构,用于将经过角度调节机构的第一光转换为带有预设图案的第二光。
其中,调整第一光的角度是指相对于第一光的发射方向调整第一光的角度,使第一光的角度相对于第一光的发射方向偏离。
通过上述设置,由角度调节机构对第一光的角度调整,从而能够增加第一光的出 射范围,进而增大光投射装置的探测视场范围;通过对第一光的角度调整,能够例如对应于目标区域的形状来调整第一光的投射位置,使预设图案能够覆盖目标区域,提高深度信息的精度。
在一种可能的实现方式中,装置还包括:尺寸调节机构,用于调整第二光的尺寸,使第二光覆盖目标区域。
采用上述结构,由尺寸调节机构对预设图案的尺寸进行调整,使预设图案大小例如能够根据目标区域的尺寸进行调整,使目标区域内的预设图案的密度维持在一定范围内,避免因预设图案过于稀疏而导致目标区域内的部分区域没有覆盖预设图案的问题,使从而保证结构光投射装置的探测精度。
在一种可能的实现方式中,角度调节机构包括:第一调节模组和第二调节模组,第二调节模组位于第一调节模组和衍射机构之间;第一调节模组用于在第一角度范围内调整第一光;第二调节模用于在第二角度范围内调整第一光,第二角度范围大于第一角度范围。
通过上述设置,由第一调节模组对第一光的角度进行小范围(例如0°~5°)、高精度的调整;由第二调节模组对第一光的角度进行大范围(0°~45°)的调整,二者结合,实现对第一光发射角度的高精度且大范围的调整。
在一种可能的实现方式中,第一调节模组还用于将第一光分为多个光束。
通过上述设置,实现了对发射光的分束,从而使第一光能够覆盖不同的目标区域,避免因第一光发射到其他区域造成的干扰,提升信噪比。
在一种可能的实现方式中,第一调节模组包括:液晶相控阵。在一种可能的实现方式中,尺寸调节机构包括:液晶透镜。
在一种可能的实现方式中,结构光投射装置安装于车辆的座舱内的以下位置中的一个或多个:中控台、车顶灯开关的位置、前排座椅的朝向后排座椅的一侧以及中央后视镜。
在一种可能的实现方式中,结构光投射装置安装于车辆的座舱外、手机或智能家居终端。
本申请第二方面,提供了一种深度相机,包括:摄像头以及本申请第一方面及其可能的实现方式提供的结构光投射装置。
本申请第三方面,提供了一种结构光投射装置的控制方法,包括:获取被投射第一结构光的目标对象的图像;根据图像确定目标对象在图像中的图像位置和图像位置对应的深度信息;根据图像位置和深度信息,确定第二结构光的发射角度,使结构光投射装置发射的第二结构光,覆盖目标对象对应于图像位置的目标区域,其中,结构光投射装置包括:用于发射第一光的光发射机构、用于调整第一光的角度的角度调节机构,以及用于将经过角度调节机构的第一光转换为带有预设图案的结构光的衍射机构。
通过上述设置,实现对结构光投射区域的控制,能够使结构光的投射方向根据目标区域的位置进行调整。
在一种可能的实现方式中,第一结构光投射于车辆座舱内的预设座椅区域。
通过上述设置,可以减少第一结构光在座舱内的覆盖范围,避免因第一结构光发 射到座舱内其他区域造成的干扰,提升信噪比。
在一种可能的实现方式中,获取被投射第一结构光的目标对象的图像前,还包括:获取目标对象在车辆座舱内的位置;根据位置确定目标对象位于的预设座椅区域;向预设座椅区域发射第一结构光。
通过上述设置,可以根据目标对象的位置所位于的预设座椅区域发射第一结构光,使第一结构光仅覆盖于预设座椅区域,减少第一结构光的覆盖范围,避免因第一结构光发射到座舱内其他区域造成的干扰,提升信噪比。
在一种可能的实现方式中,目标对象在车辆座舱内的位置根据以下中的一个或多个得到:座椅压力信息、安全带扣紧信息以及生命体征信息。
本申请第四方面,提供了一种结构光投射装置的控制装置,包括:获取模块,用于获取被投射第一结构光的目标对象的图像;确定模块,用于根据图像确定目标对象在图像中的图像位置和图像位置对应的深度信息;控制模块,用于根据图像位置和深度信息,确定第二结构光的发射角度,使结构光投射装置发射的第二结构光,覆盖目标对象对应于图像位置的目标区域,其中,结构光投射装置包括:用于发射第一光的光发射机构、用于调整第一光的角度的角度调节机构,以及用于将经过角度调节机构的第一光转换为带有预设图案的结构光的衍射机构。
在一种可能的实现方式中,第一结构光投射于车辆座舱内的预设座椅区域。
在一种可能的实现方式中,获取模块还用于获取目标对象在车辆座舱内的位置;确定模块还用于根据位置确定目标对象位于的预设座椅区域;控制模块还用于向预设座椅区域发射第一结构光。
在一种可能的实现方式中,目标对象在车辆座舱内的位置根据以下中的一个或多个得到:座椅压力信息、安全带扣紧信息以及生命体征信息。
本申请第五方面,提供了一种结构光投射系统,包括:本申请第一方面提供的结构光投射装置、摄像头以及本申请第四方面提供的结构光投射装置的控制装置,摄像头用于采集图像。
在一种可能的实现方式中,控制装置通过车载以太网接口、控制器局域网接口或差分信号接口与结构光投射装置信号连接。
在一种可能的实现方式中,摄像头通过车载以太网接口、控制器局域网接口或差分信号接口与所述控制装置信号连接。
本申请第六方面,提供了一种计算设备,包括:处理器和存储器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得计算设备执行本申请第三方面提供的结构光投射装置的控制方法。
本申请第七方面,提供了一种计算机可读存储介质,其上存储有程序指令,程序指令当被计算机执行时使得计算机执行本申请第三方面提供的结构光投射装置的控制方法。
本申请第八方面,提供了一种计算机程序产品,其包括有程序指令,程序指令当被计算机执行时使得计算机执行本申请第三方面提供的结构光投射装置的控制方法。
通过设置第一调节模组,能够在较小的角度范围内实现对第一光的调整,实现对第一光的高精度的调整,进而使预设图案能够覆盖目标区域;通过设置第一调节模组, 还实现了对第一光的分束,从而在目标物体的数量为多个时,使编码图案投射到目标物体的所在位置,降低编码图案投射到其他物体的面积,进而降低探测范围内的其他物体对目标物体造成的干扰,提升信噪比;
通过设置第二调节模组,可以在目标距离结构光投射装置较远的情况下,大范围的缩小第一光的发射角度,维持编码图像的空间密度;在目标距离结构光投射装置较近的情况下,提高第一光的发射范围,实现在较大的角度范围内对第一光的调整;
通过设置尺寸调节机构,能够在提升结构光投射装置的探测的范围的同时,调整编码图案的密度,避免因编码图案过于稀疏而导致的探测精度的下降。
附图说明
图1是本申请实施例提供的结构光投射装置以及深度相机的一应用场景的示意图;
图2是本申请实施例提供的结构光投射装置以及深度相机的另一应用场景示的意图;
图3是本申请实施例提供的结构光投射装置的结构示意图;
图4-图5是本申请实施例提供的结构光投射装置的第一调节模组的结构示意图;
图6A-图6B是本申请实施例提供的结构光投射装置的第二调节模组的结构示意图;
图7-图8是本申请实施例提供的结构光投射装置的尺寸调节机构的结构示意图;
图9是本申请实施例提供的具有结构光投射装置的深度相机的结构示意图;
图10是本申请实施例提供的结构光投射装置的控制方法的流程图;
图11是本申请实施例提供的结构光投射装置的控制装置的模块示意图;
图12是本申请实施例提供的结构光投射系统的结构示意图;
图13是本申请实施例提供的计算设备的模块示意图。
应理解,上述结构示意图中,各框图的尺寸和形态仅供参考,不应构成对本申请实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系,仅为示意性地表示各框图间的结构关联,而非限制本申请实施例的物理连接方式。
具体实施方式
下面结合附图并举实施例,对本申请提供的技术方案作进一步说明。应理解,本申请实施例中提供的系统结构和业务场景主要是为了说明本申请的技术方案的可能的实施方式,不应被解读为对本申请的技术方案的唯一限定。本领域普通技术人员可知,随着系统结构的演进和新业务场景的出现,本申请提供的技术方案对类似技术问题同样适用。
图1是本申请实施例提供的结构光投射装置以及深度相机的一应用场景的示意图。如图1所示,本申请实施例提供的深度相机10例如可以应用在车辆座舱系统中,用于识别座舱11内用户12的人脸,进而确定用户12的身份或者是否疲劳驾驶;或者用于识别座舱11内用户12的手势,进而确定用户12的意图和指令等;又或者用于确定用户12的视线等。结构光投射装置可以安装于以下位置中的一个或多个上:中控台、车顶灯开关的位置、前排座椅的朝向后排座椅的一侧以及中央后视镜。在图1 所示的示例中,深度相机10可以布置在中控台13上,深度相机10包括结构光投射装置和摄像头,结构光投射装置可以向座舱11内的乘员12的头部位置所在的区域发射带有预设图案(在本申请中,也被称为编码图案)的结构光L1、L2,摄像头获取带有被投射的结构光的用户12头部图像,控制器根据该用户头12部图像获得结构光L1、L2在用户头12部位置的形变情况,进而可以获得用户12头部的深度信息。
图2是本申请实施例提供的结构光投射装置以及深度相机的另一应用场景的示意图。如图2所示,本申请实施例提供的深度相机10还可以应用在智能家居终端系统中,例如:应用在智能门锁系统14中。结构光投射装置可以向用户15的面部位置所在的区域发射带有预设图案的结构光L3,摄像头获取带有被投射的结构光的用户15人脸图像,智能门锁系统根据该用户15的人脸图像获得编码图案在用户15人脸位置的形变情况,来识别用户15的人脸,进而确定用户15的身份。
图3为本申请一个实施例提供的一种结构光投射装置的结构示意图,如图3所示,本申请一个实施例提供的一种结构光投射装置1000包括:用于发射第一光的光发射机构1、位于光发射机构1的出光光路上,且用于调整第一光的角度的角度调节机构2、位于角度调节机构2的出光光路上,且用于将经过角度调节机构2的光转换为带有预设图案的第二光的衍射机构3、位于衍射机构3的出光光路上,且用于调整所述预设图案的尺寸的尺寸调节机构4。
其中,调整第一光的角度是指对于第一光的发射方向调整第一光的角度,使第一光的角度相对于第一光的发射方向偏离。例如,使第一光相对于其发射方向偏离35°。
如图3所示,角度调节机构2可以包括:第一调节模组21和第二调节模组22。第一调节模组21用于在第一角度范围内调整光,第二调节模组22位于所述第一调节模组21和衍射机构3之间,用于在第二角度范围内调整光,第二角度范围大于第一角度范围。其中,第一角度范围例如可以为0°~5°,第二角度范围例如可以为0°~45°。
在一些实施例中,如图4和图5所示,第一调节模组21可以为液晶相控阵,液晶相控阵可以包括:依次贴合并且相互平行的第一基板211、第一电极212、第一定向单元213、液晶层214、第二定向单元215、第二电极216以及第二基板217。第一定向单元213和第二定向单元215用于使液晶层214中的液晶分子以一定的预设角度排列。第一电极212与第二电极216之间可以形成电势差,如图4所示,液晶层214中的液晶分子的截面例如可以为椭圆形,当电势差为零时,液晶分子截面的长轴可以平行于第一基板211所在的平面,或者,液晶分子截面的长轴可以根据第一定向单元213和第二定向单元215的形状相对于第一基板211呈预设角;当第一电极212与第二电极216之间的具有电势差时,如图5所示,液晶层214中的液晶分子会出现偏转。液晶分子的排列方向影响液晶层214的折射率,从而使得光发射机构1发射的光在从液晶相控阵上出射时会产生相位的变化,这种相位分布呈空间上线性变化时将使得光束角度发生偏转。在一些实施例中,第二电极216可以包括:多个电极单元2161,在每个电极单元2161上施加电压,从而使得每个电极单元2161分别与第一电极212形成独立电动势差,进而改变液晶分子的排列方向,从而光束可以以不同角度投射目标 物体。
在一些实施例中,第一调节模组还可以为MEMS(Micro-Electro-Mechanical System,MEMS)振镜,MEMS振镜例如可以包括:MEMS镜片和用于驱动MEMS镜片的线圈,线圈设置在镜片周围,通过给线圈通电,使MEMS镜片的周围产生电磁力,进而使MEMS镜片产生扭转,使照射在MEMS镜片上的第一光的角度发生偏转。当然,MEMS振镜例如还可以为静电驱动式MEMS振镜、压电驱动式MEMS振镜或热电驱动式MEMS振镜,本申请对此不做限制。
如图6A所示,第二调节模组22可以为双折射棱镜。双折射棱镜可以包括多个双折射棱镜单元221,在图6A中示出了3个,但本申请不限于此。多个双折射棱镜单元221依次呈直线排列于第一调节模组21的出光方向上。每个双折射棱镜单元221可以包括:两块双折射晶体2211、2212。双折射晶体可以为三棱柱状,其具有入光面和出光面,垂直于入光面和出光面的截面可以为三角形或梯形,在图6A示出的示例中,截面为三角形。两块双折射晶体2211、2212的光轴相互垂直,通过设计双折射棱镜的双折射晶体2211、2212的楔角α,可以控制出射光束的角度,实现角度的调节。
在一些实施例中,第二调节模组还可以为微透镜阵列,如图6B所示,微透镜阵列222例如可以包括呈阵列排布的透镜单元2222,入射于微透镜阵列222的光束经过透镜单元2222的折射后,实现出射光束的角度的偏转,进而实现对光束的角度的调整。
通过设置第一调节模组,例如可以实现光束在0°~5°范围内的偏转调整,实现对光束角度的小角度、高精度的调整;通过设置第二调节模组,例如可以实现光束在0°~45°范围内的偏转调整,实现对光束角度的大角度、广范围的调整,进而使预设图案的覆盖范围能够根据目标物体的位置和形状进行调整。
在一些实施例中,通过调整第一调节模组的电机单元的电压,从而实现液晶分子的偏转,从第一调节模组出射的第一光能够实现例如3°的偏转;偏转3°第一光在经过三个双折射棱镜单元后,根据双折射晶体的楔角α的不同,可以分别依次偏转,15°、30°以及45°,进而使光束实现45°的偏转。
如图7和图8所示,尺寸调节机构可以由液晶透镜40构成,液晶透镜40可以为圆柱形,其可以包括:依次贴合的第一基板401、第一电极402、液晶层403、第二电极404以及第二基板405。第二电极404包括多个电极单元4041,在每个电极单元4041上设置电压,从而使得每个电极单元4041分别与第一电极402形成独立电势差,进而根据需要调整液晶透镜40的焦距值。通过给不同的电极单元施加不同的电压,使液晶层403形成类似透镜的从中心到四周变化的相位分布;这种相位分布的改变,可以实现投射光发散角的调节,从而扩大或缩小预设图案的覆盖范围。例如,如图8所示,通过给第二电极404中的靠近圆心的电极单元4041施加的电压,使液晶呈现不同的分布,从而扩大预设图案的覆盖范围;如图7所示,通过给第二电极404中远离圆心的电极单元4041施加的电压,使液晶呈现不同的分布,从而缩小预设图案的覆盖范围。
需要说明的是,虽然图7和图8示出的电极单元呈环形分布,但是本申请不限于 此,电极单元还可以以其他方式布置在第二基板上,只要保证施加在第二电极上的电压的分布呈同心圆即可。
通过设置液晶透镜,可以实现预设图案投影倍数大小的灵活调整。当目标物体较远时,可以通过改变焦距,缩小预设图案的覆盖范围,保持编码图像的空间密度;当目标物体较近时,可以通过改变焦距,放大预设图案的覆盖范围。
通过第一调节模组、第二调节模组以及液晶透镜的配合,可以实现光束发射角度和预设图案尺寸的调整,使预设图案尽可能地以合适的尺寸覆盖目标物体,减少除目标物体之外的其他物体的干扰,提升信噪比。
在一些实施例中,光发射机构1可以由垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser,VCSEL)构成,用于发射红外激光,例如,发射波长为940/850nm的近红外激光光束,该激光光束经过扩束准直后,相对于第一调节模组21的入光面(第一基板的延伸平面)垂直地射入第一调节模组21。
在一些实施例中,衍射机构3可以由衍射光学元件(Diffractive Optical Elements,DOE)构成,例如,多线DOE模组,一维点阵和直线DOE模组,二维点阵DOE模组,圆形和圆形点阵DOE模组,十字线DOE模组,随机点阵DOE模组等等,本申请对此不做限制。
通过设置角度调节机构,增加了第一光的出射范围,进而增大光投射装置的探测视场范围;通过对第一光的角度调整,能够例如对应于目标区域的形状来调整第一光的投射位置,使预设图案能够覆盖目标区域,提高深度信息的精度。
通过设置尺寸调节机构,使预设图案大小例如能够根据目标区域的尺寸进行调整,使目标区域内的预设图案的密度维持在一定范围内,避免因预设图案过于稀疏而导致目标区域内的部分区域没有覆盖预设图案的问题,使从而保证结构光投射装置的探测精度。
图9为本申请实施例提供的一种深度相机的结构示意图,如图9所示,本申请实施例提供的深度相机可以包括:基板5000,设置在基板5000上的控制装置6000、结构光投射装置1000以及摄像头2000。
其中,控制装置6000可以包括印刷电路板4000(Printed Circuit Board,PCB)和驱动单元3000,驱动单元3000用于驱动角度调节机构和衍射机构,从而调整结构光L4的发射范围。
在一些实施例中,摄像头2000可以为高分辨广角红外摄像头,摄像头的焦距在13mm-38mm之间,视角在60°~118°范围之间。
下面,参照图10对本申请实施例提供的一种结构光投射装置的控制方法进行说明。本申请实施例中的结构光投射装置的控制方法可以由终端执行,例如智能驾驶车辆这样的终端、深度相机这样的终端,也可以是由应用在终端内的电子装置,例如系统芯片、通用芯片等。
如图10所示,本申请实施例提供的一种结构光投射装置的控制方法可以包括以下步骤:
步骤S1:获取被投射第一结构光的目标对象的图像。
其中,目标对象可以为人脸和人手等,带有第一结构光的预设图案的图像可以通 过摄像头获取。
在一些实施例中,第一结构光的覆盖范围可以与摄像头的视角范围基本一致,这样一来,结构光投射装置可以粗略探测摄像头的整个视角范围内的所有对象,获得整个视角范围内的所有目标对象的图像和深度信息。
在一些实施例中,第一结构光可以投射于车辆座舱内的预设座椅区域,如图1所示,预设座椅区域例如可以包括:主驾驶座椅区域A1、副驾驶座椅区域A2、后排第一座椅区域A3、第二座椅区域A4以及第三座椅区域A5。上述区域A1、A2、A3、A4以及A5根据车辆座舱内的座椅所在的位置预先设置。
在一些实施例中,在步骤S1前,还可以包括:获取所述目标对象在所述车辆座舱内的位置;根据所述位置确定所述目标对象位于的预设座椅区域;向所述预设座椅区域发射所述第一结构光。
其中,所述目标对象在所述车辆座舱内的位置根据以下中的一个或多个得到:座椅压力信息、安全带扣紧信息以及生命体征信息。
在一些实施例中,座椅压力信息可以通过设置于座椅坐垫的压力传感器获得、也可以通过设置于座椅靠背的压力传感器获得,可以根据压力传感器的位置设置对应的预设座椅区域,例如,当设置于主驾驶座椅上的压力传感器检测到的压力超过阈值时,确定目标对象位于主驾驶座椅区域A1,向主驾驶座椅区域A1发射第一结构光;安全带扣紧信息可以通过控制器局域网信号获得,可以根据控制器局域网信号设置对应的预设座椅区域,当控制器局域网信号指示副驾驶安全带扣紧时,确定目标对象位于副驾驶座椅区域A2,向副驾驶座椅区域A2发射第一结构光;生命体征信息可以通过雷达传感器获得,可以根据雷达传感器检测到的活体的位置确定该位置位于的预设座椅区域,例如,当检测到的活体位于后排第一座椅时,确定后排第一座椅区域A3为目标对象所在的区域,向后排第一座椅区域A3发射第一结构光。
步骤S2:根据所述图像确定所述目标对象在所述图像中的图像位置和所述图像位置对应的深度信息。
其中,可以通过神经网络模型来对图像进行识别,识别出目标对象在图像中的位置,例如通过人脸识别的方式来识别图像中人脸区域的像素坐标,根据预设图案的形变确定与该像素坐标对应的深度信息等。
步骤S3:根据所述图像位置、所述深度信息,确定第二结构光的发射角度,使结构光投射装置发射的第二结构光,覆盖所述目标对象对应于所述图像位置的目标区域。
其中,所述第二结构光的覆盖范围小于所述第一结构光,所述结构光投射装置包括:用于发射第一光的光发射机构、用于调整所述第一光的角度的角度调节机构,以及用于将经过所述角度调节机构的所述第一光转换为带有预设图案的结构光的衍射机构。对于结构光投射装置结构的详细描述,可以参见以上本申请实施例提供的结构光投射装置的描述,为了简洁起见,在此不再赘述。
在一些实施例中,可以根据图像中人脸区域的像素坐标、像素坐标对应的深度信息来确定角度调节机构的与像素坐标对应的电极单元电压,通过向电极单元施加相应的电压进而控制第二结构光的发射角度,使第二结构光能够覆盖人脸区域。图11示 出了本申请实施例提供的一种结构光投射装置的控制装置的模块示意图,如图11所示,本申请实施例提供的一种结构光投射装置的控制装置包括以下模块:
获取模块100,用于获取目标对象的带有第一结构光的图像。
其中,所述第一结构光投射于车辆座舱内的预设座椅区域。
确定模块200,用于根据所述图像确定所述目标对象在所述图像中的图像位置和所述图像位置对应的深度信息。
控制模块300,用于根据所述图像位置、所述深度信息,确定第二结构光的发射角度,使结构光投射装置发射的第二结构光,覆盖所述目标对象对应于所述图像位置的目标区域。
其中,所述结构光投射装置包括:用于发射第一光的光发射机构、用于调整所述第一光的角度的角度调节机构,以及用于将经过所述角度调节机构的所述第一光转换为带有预设图案的结构光的衍射机构。
在一些实施例中,所述获取模块100还用于获取所述目标对象在所述车辆座舱内的位置;所述确定模块200还用于根据所述位置确定所述目标对象位于的预设座椅区域;所述控制模块300还用于向所述预设座椅区域发射所述第一结构光。
在一些实施例中,所述目标对象在所述车辆座舱内的位置根据以下中的一个或多个得到:座椅压力信息、安全带扣紧信息以及生命体征信息。
关于获取模块100、确定模块200以及控制模块300的详细描述可以参见本申请实施例提供的一种结构光投射装置的控制方法的相关描述,为了简洁起见,在此不再赘述。
需要说明的是,上述各模块,即:获取模块100、确定模块200和控制模块300用于执行上述方法的相关步骤。比如获取模块100用于执行步骤S1相关内容,确定模块200用于执行步骤S2等的相关内容。
在本实施例中,结构光投射装置是以模块的形式来呈现。这里的“模块”可以包括专用集成电路(application specific integrated circuit,ASIC),执行一个或多个软件或固件程序的处理器和存储器,集成逻辑电路,和/或其他可以提供上述功能的器件。此外,以上获取模块100、确定模块200和控制模块300可以通过图13所示的计算设备来实现。
图12是本申请实施例提供的一种结构光投射系统的模块示意图,如图12所示,本申请实施例提供的结构光投射系统包括:结构光投射装置500、摄像头600以及结构光投射装置的控制装置700。
其中,摄像头700用于采集被投射第一结构光的目标对象的图像。
在一些实施例中,结构光投射装置和摄像头可以均位于车顶灯开关位置,控制装置可以位于中控台位置,其中,控制装置可以通过有线或无线的方式与结构光投射装置信号连接;控制装置可以通过有线或无线的方式与摄像头信号连接,控制装置根据摄像头获取到的被投射第一结构光的目标对象执行步骤S1-步骤S3,从而实现对结构光投射装置的控制。
其中,有线方式例如可以通过车载以太网接口、控制器局域网接口或差分信号接口实现控制装置与结构光投射装置的信号连接以及摄像头与控制装置信号连接。
无线方式例如可以通过蓝牙或Wi-Fi的方式实现控制装置与结构光投射装置的信号连接以及摄像头与控制装置信号连接。
图13是本申请实施例提供的一种计算设备1500的结构性示意性图。该计算设备1500包括:处理器1510和存储器1520。
其中,该处理器1510可以与存储器1520连接。该存储器1520可以用于存储该程序代码和数据。因此,该存储器1520可以是处理器1510内部的存储单元,也可以是与处理器1510独立的外部存储单元,还可以是包括处理器1510内部的存储单元和与处理器1510独立的外部存储单元的部件。
可选的,计算设备1500还可以包括总线。其中,存储器1520、通信接口可以通过总线与处理器1510连接。总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
应理解,在本申请实施例中,该处理器1510可以采用中央处理单元(central processing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor,DSP)、ASIC、现成可编程门阵列(field programmable gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1510采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
该存储器1520可以包括只读存储器和随机存取存储器,并向处理器1510提供指令和数据。处理器1510的一部分还可以包括非易失性随机存取存储器。例如,处理器1510还可以存储设备类型的信息。
在计算设备1500运行时,所述处理器1510执行所述存储器1520中的计算机执行指令执行上述方法的操作步骤。
应理解,根据本申请实施例的计算设备1500可以对应于执行根据本申请各实施例的方法中的相应主体,并且计算设备1500中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些 接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行一种结构光发射装置的控制方法,该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于,电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括、但不限于无线、电线、光缆、射频电路等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外 部计算机(例如利用因特网服务提供商来通过因特网连接)。
说明书和权利要求书中的词语“第一、第二”等类似用语,仅用于区别类似的对象,不代表针对对象的特定排序,可以理解地,在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容;它不排除其它的元件或步骤。因此,其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在,但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此,表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。
本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例,但可以指同一实施例。此外,在一个或多个实施例中,能够以任何适当的方式组合各特定特征、结构或特性,如从本公开对本领域的普通技术人员显而易见的那样。
注意,上述仅为本申请的实施例及所运用的技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请的构思的情况下,还可以包括更多其他等效实施例,均属于本申请的保护范畴。

Claims (20)

  1. 一种结构光投射装置,其特征在于,包括:
    光发射机构,用于发射第一光;
    角度调节机构,用于调整所述第一光的角度;以及
    衍射机构,用于将经过所述角度调节机构的所述第一光转换为带有预设图案的第二光。
  2. 根据权利要求1所述的装置,其特征在于,还包括:
    尺寸调节机构,用于调整所述第二光的尺寸,使所述第二光覆盖目标区域。
  3. 根据权利要求1或2所述的装置,其特征在于,所述角度调节机构包括:第一调节模组和第二调节模组,所述第二调节模组位于所述第一调节模组和所述衍射机构之间;
    所述第一调节模组用于在第一角度范围内调整所述第一光;
    所述第二调节模组用于在第二角度范围内调整所述第一光,所述第二角度范围大于所述第一角度范围。
  4. 根据权利要求3所述的装置,其特征在于,所述第一调节模组还用于将所述第一光分为多个光束。
  5. 根据权利要求3或4所述的装置,其特征在于,所述第一调节模组包括:液晶相控阵。
  6. 根据权利要求2所述的装置,其特征在于,所述尺寸调节机构包括:液晶透镜。
  7. 根据权利要求1-6中任一项所述的装置,其特征在于,所述结构光投射装置安装于车辆的座舱内的以下位置中的一个或多个:
    中控台、车顶灯开关的位置、前排座椅的朝向后排座椅的一侧以及中央后视镜。
  8. 根据权利要求1-6中任一项所述的装置,其特征在于,所述结构光投射装置安装于手机或智能家居终端。
  9. 一种深度相机,其特征在于,包括:摄像头以及根据权利要求1-8中任一项所述的结构光投射装置。
  10. 一种结构光投射装置的控制方法,其特征在于,包括:
    获取被投射第一结构光的目标对象的图像;
    根据所述图像确定所述目标对象在所述图像中的图像位置和所述图像位置对应的深度信息;
    根据所述图像位置和所述深度信息,确定第二结构光的发射角度,使结构光投射装置发射的所述第二结构光,覆盖所述目标对象对应于所述图像位置的目标区域,
    其中,所述结构光投射装置包括:用于发射第一光的光发射机构、用于调整所述第一光的角度的角度调节机构,以及用于将经过所述角度调节机构的所述第一光转换为带有预设图案的结构光的衍射机构。
  11. 根据权利要求10所述的控制方法,其特征在于,所述第一结构光投射于车辆座舱内的预设座椅区域。
  12. 根据权利要求11所述的控制方法,其特征在于,所述获取被投射第一结构光的目标对象的图像前,还包括:获取所述目标对象在所述车辆座舱内的位置;
    根据所述位置确定所述目标对象位于的预设座椅区域;
    向所述预设座椅区域发射所述第一结构光。
  13. 根据权利要求12所述的控制方法,其特征在于,所述目标对象在所述车辆座舱内的位置根据以下中的一个或多个得到:
    座椅压力信息、安全带扣紧信息以及生命体征信息。
  14. 一种结构光投射装置的控制装置,其特征在于,包括:
    获取模块,用于获取被投射第一结构光的目标对象的图像;
    确定模块,用于根据所述图像确定所述目标对象在所述图像中的图像位置和所述图像位置对应的深度信息;
    控制模块,用于根据所述图像位置和所述深度信息,确定第二结构光的发射角度,使结构光投射装置发射的所述第二结构光,覆盖所述目标对象对应于所述图像位置的目标区域,
    其中,所述结构光投射装置包括:用于发射第一光的光发射机构、用于调整所述第一光的角度的角度调节机构,以及用于将经过所述角度调节机构的所述第一光转换为带有预设图案的结构光的衍射机构。
  15. 根据权利要求14所述的控制装置,其特征在于,所述第一结构光投射于车辆座舱内的预设座椅区域。
  16. 根据权利要求15所述的控制装置,其特征在于,
    所述获取模块还用于获取所述目标对象在所述车辆座舱内的位置;
    所述确定模块还用于根据所述位置确定所述目标对象位于的预设座椅区域;
    所述控制模块还用于向所述预设座椅区域发射所述第一结构光。
  17. 根据权利要求16所述的控制装置,其特征在于,所述目标对象在所述车辆座舱内的位置根据以下中的一个或多个得到:
    座椅压力信息、安全带扣紧信息以及生命体征信息。
  18. 一种结构光投射系统,其特征在于,包括:根据权利要求1-8中任一项所述的结构光投射装置、摄像头以及根据权利要求11所述的结构光投射装置的控制装置,所述摄像头用于采集所述图像。
  19. 根据权利要求18所述的结构光投射系统,其特征在于,
    所述控制装置通过以下中的一个与所述结构光投射装置信号连接:车载以太网接口、控制器局域网接口或差分信号接口。
  20. 根据权利要求18所述的结构光投射系统,其特征在于,
    所述摄像头通过以下中的一个与所述结构光投射装置信号连接:车载以太网接口、控制器局域网接口或差分信号接口。
PCT/CN2021/109558 2021-07-30 2021-07-30 一种结构光投射装置以及深度相机 WO2023004737A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/109558 WO2023004737A1 (zh) 2021-07-30 2021-07-30 一种结构光投射装置以及深度相机
CN202180006602.6A CN115917426A (zh) 2021-07-30 2021-07-30 一种结构光投射装置以及深度相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/109558 WO2023004737A1 (zh) 2021-07-30 2021-07-30 一种结构光投射装置以及深度相机

Publications (1)

Publication Number Publication Date
WO2023004737A1 true WO2023004737A1 (zh) 2023-02-02

Family

ID=85086052

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/109558 WO2023004737A1 (zh) 2021-07-30 2021-07-30 一种结构光投射装置以及深度相机

Country Status (2)

Country Link
CN (1) CN115917426A (zh)
WO (1) WO2023004737A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703792A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 智能家电的控制方法和装置
CN108333859A (zh) * 2018-02-08 2018-07-27 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN109068117A (zh) * 2018-09-11 2018-12-21 深圳阜时科技有限公司 光源模组、3d成像系统、身份识别装置及电子设备
WO2019145786A1 (en) * 2018-01-24 2019-08-01 Mantisvision Ltd. Structured light projector and method for depth measurement
CN110784694A (zh) * 2018-07-31 2020-02-11 奇景光电股份有限公司 结构光投影机及三维影像感测模块
CN111226436A (zh) * 2017-08-14 2020-06-02 脸谱科技有限责任公司 具有用于深度感测的可编程衍射光学元件的照相机组件

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111226436A (zh) * 2017-08-14 2020-06-02 脸谱科技有限责任公司 具有用于深度感测的可编程衍射光学元件的照相机组件
CN107703792A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 智能家电的控制方法和装置
WO2019145786A1 (en) * 2018-01-24 2019-08-01 Mantisvision Ltd. Structured light projector and method for depth measurement
CN108333859A (zh) * 2018-02-08 2018-07-27 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN110784694A (zh) * 2018-07-31 2020-02-11 奇景光电股份有限公司 结构光投影机及三维影像感测模块
CN109068117A (zh) * 2018-09-11 2018-12-21 深圳阜时科技有限公司 光源模组、3d成像系统、身份识别装置及电子设备

Also Published As

Publication number Publication date
CN115917426A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US11035548B2 (en) Structured light generator and object recognition apparatus including the same
EP3347738B1 (en) Mixed-mode depth detection
CN109752905B (zh) 包括元透镜在内的投影仪
US10119806B2 (en) Information processing apparatus and information processing method
US10175489B1 (en) Compact optical system with MEMS scanners for image generation and object tracking
US10481266B2 (en) Multi-range three-dimensional imaging systems
JP5096008B2 (ja) 面発光レーザ(vcsel)アレイ・レーザスキャナ
US11425359B2 (en) Apparatus and method for generating three-dimensional image
CN113454421A (zh) 具有用于增加通道的高侧和低侧开关的固态电子扫描激光器阵列
EP3226042A1 (en) Structured light generator and object recognition apparatus including the same
US20200302626A1 (en) Optical device, detection device, and electronic apparatus
CN112433382B (zh) 散斑投影装置及方法、电子设备和距离测量系统
US11977312B2 (en) Optical modulator and electronic apparatus including the same
WO2023004737A1 (zh) 一种结构光投射装置以及深度相机
TWI638136B (zh) 三維影像量測系統
US20220196811A1 (en) Wavefront correction for beam shaping
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
US20230341556A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
JP2022074195A (ja) 光検出装置
WO2020075506A1 (ja) 測距システム、キャリブレーション方法、プログラム、及び電子機器
CN113661433A (zh) 头戴式显示设备及其操作方法
US20240085558A1 (en) Lidar sensor with adjustable optic
US20210293954A1 (en) Object detection apparatus and movable apparatus
WO2024065332A1 (zh) 一种显示模组、光学显示系统、终端设备及图像显示方法
WO2023201742A1 (zh) 一种扫描方法、探测装置及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21951333

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021951333

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021951333

Country of ref document: EP

Effective date: 20240227