WO2019129004A1 - 检测方法、检测装置、计算机设备和计算机可读存储介质 - Google Patents

检测方法、检测装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
WO2019129004A1
WO2019129004A1 PCT/CN2018/123585 CN2018123585W WO2019129004A1 WO 2019129004 A1 WO2019129004 A1 WO 2019129004A1 CN 2018123585 W CN2018123585 W CN 2018123585W WO 2019129004 A1 WO2019129004 A1 WO 2019129004A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
frames
optical element
pattern
Prior art date
Application number
PCT/CN2018/123585
Other languages
English (en)
French (fr)
Inventor
吴安平
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2019129004A1 publication Critical patent/WO2019129004A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • FIG. 12 is a schematic flow chart of a detection method according to some embodiments of the present application.
  • computer readable instructions 511 are executed by processor 52 such that processor 52 can also perform a multi-level crack pattern classifier based on Haar-like rectangular feature sets, using positive cracks.
  • the pattern sample and the negative crack pattern sample train a multi-level crack pattern classifier, and an operation of detecting whether the first image has a crack pattern by using the trained multi-stage crack pattern classifier.
  • the detecting device 10 further includes a first opening module 21 , a second acquiring module 22 , a second processing module 23 , and a second confirmation module 25 .
  • Step 051 can be implemented by the first opening module 21, step 052 can be implemented by the second obtaining module 22, step 053 can be implemented by the second processing module 23, and step 055 can be implemented by the second confirming module 25.
  • the first opening module 21 can be used to turn on the infrared fill light 42 and the infrared camera 41 when it is confirmed that the camera optical element 411 is not broken.
  • the second obtaining module 22 is configured to acquire a second image according to the infrared light emitted by the infrared fill light 42.
  • the infrared fill light 42 can be turned off in time, thereby preventing the infrared laser from burning the human eye and improving the user's use.
  • the security of the computer device 100 improves the user experience.
  • 22 is only a schematic diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation of the computer device 100 to which the solution of the present application is applied, and a specific computer device. 100 may include more or fewer components than shown in the figures, or some components may be combined, or have different component arrangements.
  • the ISP processor 82 can also receive image data from the memory 51.
  • the sensor interface transmits raw image data to memory 51, and the raw image data in memory 51 is provided to ISP processor 82 for processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种光学元件破裂的检测方法、检测装置、计算机设备(100)和计算机可读存储介质。光学元件包括相机模组的相机光学元件(411)，检测方法包括：获取第一图像；处理第一图像以判断第一图像是否存在裂纹图案；在第一图像存在裂纹图案时确认相机光学元件(411)破裂。

Description

检测方法、检测装置、计算机设备和计算机可读存储介质
优先权信息
本申请请求2017年12月28日向中国国家知识产权局提交的、专利申请号为201711465117.7的专利申请的优先权和权益，并且通过参照将其全文并入此处。
技术领域
本申请涉及成像技术领域，特别涉及一种检测方法、检测装置、计算机设备和计算机可读存储介质。
背景技术
现有的手机通常安装有摄像头等带光学元件的器件。手机使用过程中，光学元件可能因外力因素而破裂。但目前手机不具备自行检测光学元件是否破裂的功能，手机的智能性较差。
发明内容
本申请的实施例提供了一种检测方法、检测装置、计算机设备和计算机可读存储介质。
本申请提供一种光学元件破裂的检测方法。所述光学元件包括相机模组的相机光学元件，所述检测方法包括：获取第一图像；处理所述第一图像以判断所述第一图像是否存在裂纹图案；和在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。
本申请提供一种光学元件破裂的检测装置。所述光学元件包括相机模组的相机光学元件，所述检测装置包括第一获取模块、第一处理模块和第一确认模块。所述第一获取模块用于获取第一图像。所述第一处理模块用于处理所述第一图像以判断所述第一图像是否存在裂纹图案。所述第一确认模块用于在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。
本申请提供一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述的检测方法。
本申请提供一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述的检测方法。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的检测方法的流程示意图。
图2是本申请某些实施方式的计算机设备的模块示意图。
图3是本申请某些实施方式的计算机设备的模块示意图。
图4是本申请某些实施方式的检测方法的流程示意图。
图5是本申请某些实施方式的计算机设备的模块示意图。
图6是本申请某些实施方式的检测方法的流程示意图。
图7是本申请某些实施方式的计算机设备的模块示意图。
图8是本申请某些实施方式的检测方法的流程示意图。
图9是本申请某些实施方式的计算机设备的模块示意图。
图10是本申请某些实施方式的检测方法的流程示意图。
图11是本申请某些实施方式的计算机设备的模块示意图。
图12是本申请某些实施方式的检测方法的流程示意图。
图13是本申请某些实施方式的计算机设备的模块示意图。
图14是本申请某些实施方式的检测方法的流程示意图。
图15是本申请某些实施方式的计算机设备的模块示意图。
图16是本申请某些实施方式的检测方法的流程示意图。
图17是本申请某些实施方式的计算机设备的模块示意图。
图18是本申请某些实施方式的检测方法的流程示意图。
图19是本申请某些实施方式的计算机设备的模块示意图。
图20是本申请某些实施方式的检测方法的流程示意图。
图21是本申请某些实施方式的计算机设备的模块示意图。
图22是本申请某些实施方式的计算机设备的模块示意图。
图23是本申请某些实施方式的图像处理电路的模块示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
请一并参阅图1、图2及图23，本申请提供一种光学元件破裂的检测方法。光学元件包括相机模组的相机光学元件411。检测方法包括：
01：获取第一图像；
02：处理第一图像以判断第一图像是否存在裂纹图案；和
04：在第一图像存在裂纹图案时确认相机光学元件411破裂。
请再参阅图2，本申请还提供一种光学元件破裂的检测装置10。光学元件包括相机模组的相机光学元件411。本申请实施方式的光学元件破裂的检测方法可以由本申请实施方式的光学元件破裂的检测装置10实现。检测装置10包括第一获取模块11、第一处理模块12和第一确认模块15。步骤01可以由第一获取模块11实现，步骤02可以由第一处理模块12实现，步骤03可以由第一确认模块15实现。也即是说，第一获取模块11可用于获取第一图像。第一处理模块12可用于处理第一图像以判断第一图像是否存在裂纹图案。第一确认模块15可用于在第一图像存在裂纹图案时确认相机光学元件411破裂。进一步地，第一确认模块15可用于在第一图像不存在裂纹图案时确认相机光学元件411未破裂。
请参阅图3，本申请还提供一种计算机设备100。计算机设备100包括存储器51及处理器52。存储器51中存储有计算机可读存储指令。计算机可读指令511被处理器52执行时，使得处理器52执行获取第一图像，处理第一图像以判断第一图像是否存在裂纹图案，以及在第一图像存在裂纹图案时确认相机光学元件411破裂的操作。
在本申请的具体实施例中，相机模组为红外摄像头41，步骤01中的第一图像是红外摄像头41摄取物体反射的环境光中的红外光线形成的。相机模组的相机光学元件411为红外摄像头41中的镜头组件，例如，滤光片、对焦镜片、防尘镜片等。
在某些实施方式中，计算机设备100可以是手机、平板电脑。笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。
以手机为例，可以理解，现有的手机通常安装有可见光摄像头、红外摄像头41、补光元件等带光学元件的器件。手机在使用过程中，光学元件可能因为外力因素，如手机摔落等而破裂。但目前的手机不具备自行检测光学元件是否破裂的功能，手机的智能性较差。
由于当红外摄像头41的相机光学元件411破裂时，红外摄像头41会拍摄到破裂的相机光学元件411上的裂纹图案，因此，本申请实施方式的光学元件破裂的检测方法、检测装置10和计算机设备100通过识别相机模组获取的第一图像中是否有裂纹图案来判断相机光学元件411是否破裂。如此，计算机设备100可以自行检测光学元件是否完好，提升了计算机设备100的智能性。
进一步地，在某些实施方式中，在确认相机光学元件411破裂时，检测装置10和计算机设备100中的提示模块(例如可以为扬声器、显示屏)可通过语音或文字的方式提示用户更换掉破裂的相机光学元件411。
请参阅图4，在某些实施方式中，步骤02处理第一图像以判断第一图像是否存在裂纹图案包括：
021：基于Haar-like矩形特征集构建多级裂纹图案分类器；
022：采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器；和
023：采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案。
请参阅图5，在某些实施方式中，第一处理模块12包括第一构建单元121、第一训练单元122和第一检测单元123。步骤021可以由第一构建单元121实现，步骤022可以由第一训练单元122实现，步骤023可以由第一检测单元123实现。也即是说，第一构建单元121可用于基于Haar-like矩形特征集构建多级裂纹图案分类器。第一训练单元122可用于采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器。第一检测单元123可用于采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行基于Haar-like矩形特征集构建多级裂纹图案分类器，采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器，以及采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案的操作。
具体地，首先，选取大量的正裂纹图案样本和负裂纹图案样本，其中，正裂纹图案样本为带有相机光学元件411的裂纹图案的样本，负裂纹图案样本为带有非相机光学元件411的裂纹图案的样本。其次，对正裂纹图案样本和负裂纹图案样本均进行分辨率归一化计算以减小图像大小，方便后续快速检测图像特征。随后，针对裂纹图案的形态特点，采用可以检测线特征、中心环绕特征、对角线特征和边缘特征的Haar-like矩形特征集来构建多级裂纹图案分类器。具体地，针对每一个Haar-like矩形特征计算器对应的矩阵特征值，随后，从多个的矩阵特征值中选取若干个矩阵特征值构成多个弱分类器，每个弱分类器中包括一个或多个的矩阵特征值。若干个弱分类器构成多个强分类器，每个强分类器中包括多个弱分类器。所有强分类器级联构成多级裂纹图案分类器。随后，采用大量分辨率归一化后的正裂纹图案样本和负裂纹图案样本对多级裂纹图案分类器进行训练，以修正每一个弱分类器对应的权值，使得最终输出的图像分类的结果的损失函数小于预设损失值。最后，即可使用训练完毕的多级裂纹图案分类器检测第一图像是否存在裂纹图案。多级裂纹图案分类器由多个强分类器级联而成，每个强分类器又由多个弱分类器级联而成，多级的结构可准确提取图像特征，提升图像分类的准确性。
请参阅图6，在某些实施方式中，第一图像包括多帧。步骤02处理第一图像以判断第一图像是否存在裂纹图案包括：
021：处理多帧第一图像以判断多帧第一图像是否均存在裂纹图案；
光学元件破裂的检测方法还包括：
031：比较任意两帧第一图像中的裂纹图案所在的裂纹位置是否一致；
032：在任意两帧第一图像中的所述裂纹位置一致时，确认相机光学元件411破裂。
请参阅图7，在某些实施方式中，检测装置10还包括第一比较模块13。步骤021可以由第一处理模块12实现，步骤031可以由第一比较模块13实现，步骤032可以由第一确认模块15实现。也即是说，第一处理模块12还可用于处理多帧第一图像以判断多帧第一图像是否均存在裂纹图案。第一比较模块13可用于比较任意两帧第一图像中的裂纹图案所在的裂纹位置是否一致。第一确认模块15还可用于在任意两帧第一图像中的裂纹位置一致时，确认相机光学元件411破裂。此时，当多帧第一图像均存在裂纹图案，但任意两帧第一图像中的裂纹位置不一致时，确认相机光学元件411未破裂。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行处理多帧第一图像以判断多帧第一图像是否均存在裂纹图案，比较任意两帧第一图像中的裂纹图案所在的裂纹位置是否一致，以及在任意两帧第一图像中的所述裂纹位置一致时，确认相机光学元件411破裂的操作。
具体地，红外摄像头41拍摄得到多帧第一图像后，处理器52可采用训练好的多级裂纹图案分类器对每一帧第一图像进行检测以判断每一帧第一图像中是否均存在裂纹图案。在检测到每一帧第一图像均存在裂纹图案时，处理器52根据识别到的每一个裂纹图案提取其在对应的第一图像中的裂纹位置。随后，处理器52对多帧的第一图像中的裂纹位置进行两两比较，在每个比较结果均显示对应的两帧第一图像中裂纹位置一致时，即认为相机光学元件411破裂。其中，两帧第一图像中的裂纹位置一致指的是两帧第一图像中的裂纹位置之间的距离差值小于预设的距离差值。可以理解，当红外摄像头41的相机光学元件411破裂时，红外摄像头41拍摄到的每一帧第一图像中，裂纹图案所处的位置均是不变的。因此，可通过裂纹位置进一步地对相机光学元件411是否破裂进行判断，从而可提升相机光学元件411 破裂检测的准确性。
请参阅图8，在某些实施方式中，光学元件还包括红外补光灯42的补光光学元件。光学元件破裂的检测方法还包括：
051：在确认相机光学元件411未破坏时，开启红外补光灯42和红外摄像头41；
052：根据红外补光灯42发出的红外光线获取第二图像；
053：处理第二图像以判断第二图像是否存在光纹图案；和
055：在第二图像存在光纹图案时确认补光光学元件破裂。
请参阅图9，在某些实施方式中，检测装置10还包括第一开启模块21、第二获取模块22、第二处理模块23、第二确认模块25。步骤051可以由第一开启模块21实现，步骤052可以由第二获取模块22实现，步骤053可以由第二处理模块23实现，步骤055可以由第二确认模块25实现。也即是说，第一开启模块21可用于在确认相机光学元件411未破坏时，开启红外补光灯42和红外摄像头41。第二获取模块22可用于根据红外补光灯42发出的红外光线获取第二图像。第二处理模块23可用于处理第二图像以判断第二图像是否存在光纹图案。第二确认模块25可用于在第二图像存在光纹图案时确认补光光学元件破裂。进一步地，第二确认模块25还可用于在第二图像不存在光纹图案时确认补光光学元件未破裂。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52执行：在确认相机光学元件411未破坏时，开启红外补光灯42和红外摄像头41，根据红外补光灯42发出的红外光线获取第二图像，处理第二图像以判断第二图像是否存在光纹图案，以及在第二图像存在光纹图案时确认补光光学元件破裂的操作。
本申请实施方式的光学元件破裂的检测方法进一步地可用于检测红外补光灯42的补光光学元件是否破裂。其中，红外补光灯42的补光光学元件为红外补光灯42中的透镜或灯罩等。由于当补光光学元件破裂时，补光光学元件发出的光不能均匀地发散到场景中，且由于补光光学元件的裂纹的存在，发散到场景中的红外光也会出现光纹。因此，在确认红外摄像头41的相机光学元件411未破裂时，可同时打开红外补光灯42和红外摄像头41。红外摄像头41可摄取红外补光灯42发出的光以拍摄得到第二图像。处理器52对第二图像进行处理以检测第二图像中是否存在光纹图案，并在第二图像中存在光纹图案时确认补光光学元件破裂。如此，一方面计算机设备100可以自行检测补光光学元件的完好性，提升计算机设备100的智能性；另一方面，通常红外补光灯42发出的光为红外激光，当补光光学元件破裂时，经裂纹处发出的红外激光容易灼伤人眼，因此，当计算机设备100检测到补光光学元件破裂时可及时关闭红外补光灯42，从而避免红外激光灼伤人眼的状况发生，提升用户使用计算机设备100的安全性，改善用户体验。
请参阅图10，在某些实施方式中，步骤053处理第二图像以判断第二图像是否存在光纹图案包括：
0531：基于Haar-like矩形特征集构建多级光纹图案分类器；
0532：采用正光纹图案样本和负光纹图案样本训练多级光纹图案分类器；和
0533：采用训练后的多级光纹图案分类器检测第二图像是否存在光纹图案。
请参阅图11，在某些实施方式中，第二处理模块23包括第二构建单元231、第二训练单元232和第二检测单元233。步骤0531可以由第二构建单元231实现，步骤0532可以由第二训练单元232实现，步骤0533可以由第二检测单元233实现。也即是说，第二构建单元231可用于基于Haar-like矩形特征集构建多级光纹图案分类器。第二训练单元232可用于采用正光纹图案样本和负光纹图案样本训练多级光纹图案分类器。第二检测单元233可用于采用训练后的多级光纹图案分类器检测第二图像是否存在光纹图案。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还执行基于Haar-like矩形特征集构建多级光纹图案分类器，采用正光纹图案样本和负光纹图案样本训练多级光纹图案分类器，以及采用训练后的多级光纹图案分类器检测第二图像是否存在光纹图案的操作。
具体地，首先，选取大量的正光纹图案样本和负光纹图案样本，其中，正光纹图案样本为带有光纹图案的样本，负光纹图案样本为带有非光纹图案的样本。其次，对正光纹图案样本和负光纹图案样本均进行分辨率归一化计算以减小图像大小，方便后续快速检测图像特征。随后，针对光纹图案的形态特点，采用可以检测线特征、中心环绕特征、对角线特征和边缘特征的Haar-like矩形特征集来构建多级光纹图 案分类器。具体地，针对每一个Haar-like矩形特征计算器对应的矩阵特征值，随后，从多个的矩阵特征值中选取若干个矩阵特征值构成多个弱分类器，每个弱分类器中包括一个或多个的矩阵特征值。若干个弱分类器构成多个强分类器，每个强分类器中包括多个弱分类器。所有强分类器级联构成多级光纹图案分类器。随后，采用大量分辨率归一化后的正光纹图案样本和负光纹图案样本对多级光纹图案分类器进行训练，以修正每一个弱分类器对应的权值，使得最终输出的图像分类的结果的损失函数小于预设损失值。最后，即可使用训练完毕的多级光纹图案分类器检测第二图像是否存在光纹图案。多级光纹图案分类器由多个强分类器级联而成，每个强分类器又由多个弱分类器级联而成，多级的结构可准确提取图像特征，提升图像分类的准确性。
请参阅图12，在某些实施方式中，第二图像包括多帧，步骤053处理第二图像以判断第二图像是否存在光纹图案包括：
0534：处理多帧第二图像以判断多帧第二图像是否均存在光纹图案；
光学元件破裂的检测方法还包括：
0541：比较任意两帧第二图像中的光纹图案所在的光纹位置是否一致；和
0542：在任意两帧第二图像中的光纹位置一致时，确认补光光学元件破裂。
请参阅图13，在某些实施方式中，检测装置10还包括第二比较模块24。步骤0534可以由第二处理模块23实现。步骤0541可以由第二比较模块24。步骤0542可以由第二确认模块25实现。也即是说，第二处理模块23还可用于处理多帧第二图像以判断多帧第二图像是否均存在光纹图案。第二比较模块24可用于比较任意两帧第二图像中的光纹图案所在的光纹位置是否一致。第二确认模块25还可用于在任意两帧第二图像中的光纹位置一致时，确认补光光学元件破裂。进一步地，第二确认模块25还可用于在任意两帧第二图像中的光纹位置不一致时，确认补光光学元件未破裂。
请再参阅图3，在某些实施方式中，计算机可读指令511被执行时，使得处理器52还可执行处理多帧第二图像以判断多帧第二图像是否均存在光纹图案，比较任意两帧第二图像中的光纹图案所在的光纹位置是否一致，以及在任意两帧第二图像中的光纹位置一致时，确认补光光学元件破裂的操作。
具体地，在确认红外摄像头41的相机光学元件411未破裂时，同时开启红外补光灯42和红外摄像头41。红外摄像头41摄取红外补光灯42发出的红外光以摄得到多帧第二图像后，处理器52可采用训练好的多级光纹图案分类器对每一帧第二图像进行检测以判断每一帧第二图像中是否均存在光纹图案。在检测到每一帧第二图像均存在光纹图案时，处理器52根据识别到的每一个光纹图案提取其在对应的第二图像中的光纹位置。随后，处理器52对多帧的第二图像中的裂光纹位置进行两两比较，在每个比较结果均显示对应的两帧第二图像中光纹位置一致时，即认为补光光学元件破裂。其中，两帧第二图像中的光纹位置一致指的是两帧第二图像中的光纹位置之间的距离差值小于预设的距离差值。可以理解，当红外补光灯42的补光光学元件破裂时，由于红外补光灯42和红外摄像头41之间的距离是固定的，因此，红外摄像头41拍摄到的每一帧第二图像中，裂纹图案所处的位置均是不变的。因此，可通过裂纹位置进一步地对红外补光灯42的补光光学元件是否破裂进行判断，从而可提升补光光学元件破裂检测的准确性。
请参阅图14，在某些实施方式中，光学元件还包括结构光投射器43的结构光光学元件，其中，结构光光学元件指的是结构光投射器43中的准直透镜、衍射元件等。光学元件破裂的检测方法还包括：
061：在确认相机光学元件411未破裂时，开启结构光投射器43和红外摄像头41；
062：根据结构光投射器43发出的红外光线获取第三图像；
063：处理第三图像以判断第三图像中是否存在深度异常信息；和
065：在第三图像中存在深度异常信息时确认结构光光学元件破裂。
请参阅图15，在某些实施方式中，检测装置10还包括第二开启模块31、第三获取模块32、第三处理模块33和第三确认模块35。步骤061可以由第二开启模块31实现，步骤062可以由第三获取模块32实现，步骤063可以由第三处理模块33实现，步骤065可以由第三确认模块35实现。也即是说，第二开启模块31可用于在确认相机光学元件411未破裂时，开启结构光投射器43和红外摄像头41。第三获取模块32可用于根据结构光投射器43发出的红外光线获取第三图像。第三处理模块33可用于处理第三图像以判断第三图像中是否存在深度异常信息。第三确认模块35可用于在第三图像中存在深度异常信息时确认结构光光学元件破裂。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行在确认相机光学元件411未破裂时，开启结构光投射器43和红外摄像头41，根据结构光投射器43发出的红外光线获取第三图像，处理第三图像以判断第三图像中是否存在深度异常信息，以及在第三图像中存在深度异常信息时确认结构光光学元件破裂的操作。
本申请实施方式的光学元件破裂的检测方法进一步地可用于检测结构光投射器43的结构光光学元件是否破裂。结构光投射器43的结构光光学元件可以为结构光投射器43中的准直透镜或衍射光学元件(diffractive optical elements，DOE)。由于当结构光光学元件破裂时，红外摄像头41根据拍摄得到的图像与预设参考图像计算当前场景的深度信息时，当前场景的深度信息中的某一部分深度信息会变得异常大。因此，在确认红外摄像头41的相机光学元件411未破裂时，可同时打开结构光投射器43和红外摄像头41。红外摄像头41可摄取结构光投射器43投射的红外光以拍摄得到第三图像。处理器52对第三图像进行处理以检测第三图像中是否存在深度异常信息，并在第三图像中存在深度异常信息时确认结构光光学元件破裂。如此，一方面计算机设备100可以自行检测结构光光学元件的完好性，提升计算机设备100的智能性；另一方面，通常结构光投射器43发出的光为红外激光，当结构光投射器43的结构光光学元件破裂时，结构光投射器43的红外激光容易灼伤人眼，因此，当计算机设备100检测到结构光光学元件破裂时可及时关闭结构光投射器43，从而避免红外激光灼伤人眼的状况发生，提升用户使用计算机设备100的安全性，改善用户体验。
请参阅图16，在某些实施方式中，步骤063处理第三图像以判断第三图像中是否存在深度异常信息包括：
0631：根据第三图像和预设参考图像计算第三图像中各个像素点的散点偏移量；
0632：根据散点偏移量计算第三图像中各个像素点的深度信息；
0633：计算相邻接的深度信息大于预设阈值的像素点的个数；和
0634：在相邻接的像素点的个数大于预设数量时确定第三图像中存在深度异常信息。
请参阅图17，在某些实施方式中，第三处理模块33包括第一计算单元331、第二计算单元332、第三计算单元333和确认单元334。步骤0631可以由第一计算单元331实现，步骤0632可以由第二计算单元332实现，步骤0633可以由第三计算单元333实现，步骤0634可以由确认单元334实现。也即是说，第一计算单元331可用于根据第三图像和预设参考图像计算第三图像中各个像素点的散点偏移量，第二计算单元332可用于根据散点偏移量计算第三图像中各个像素点的深度信息，第三计算单元333可用于计算相邻接的深度信息大于预设阈值的像素点的个数，确认单元334可用于在相邻接的像素点的个数大于预设数量时确定第三图像中存在深度异常信息。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52包括执行根据第三图像和预设参考图像计算第三图像中各个像素点的散点偏移量，根据散点偏移量计算第三图像中各个像素点的深度信息，计算相邻接的深度信息大于预设阈值的像素点的个数，以及在相邻接的像素点的个数大于预设数量时确定第三图像中存在深度异常信息的操作。
具体地，首先，处理器52从第三图像中提取多个输入图像块，其中，任意两个输入图像块的中心点相同、大小不同，处理器52再从预设参考图像中提取多个匹配搜索窗，其中，匹配搜索窗是以预设参考图像中与输入图像块的中心点位置相同的对应点为中心点，在其周围一定范围内提取的匹配块。随后，采用并行算法计算输入图像块与匹配搜索窗中与其同样大小的匹配块之间的对应像素的差的绝对值之和SAD，从而得到每一个输入图像块与所有匹配块之间SAD。随后，对于每一个输入图像块，从多个SAD中选出SAD值最小时SAD对应的匹配块作为该输入图像块的最佳匹配块。随后，处理器52将预设参考图像的中心点的坐标值减去最佳匹配块的中心点的坐标值以计算出对应该输入图像块的最佳偏移量，上述最佳偏移量即为对应的输入图像块的中心点所在像素点的散点偏移量，其中，散点偏移量的正负表示输入图像块的中心点的深度与预设参考图案的深度的前后关系，散点偏移量越大，表示该输入图像块的中心点与已知深度距离的预设参考图案的平面垂直距离越远。处理器52根据上述方法逐一计算第三图像中每个像素点的散点偏移量。最后，处理器52根据计算得到的第三图像中每个像素点的偏移量，结合预设参考图案的已知深度距离、结构光投射器43与红外摄像头41之间的基线距离，根据深度计算公式计算得到每个像素点的深度信息。处理器52根据计算得到的深度信息判断第三图像中是否存在相邻接的多个深度信息大于预设阈值的像素点，并在相邻接的深度信息大于预设阈值的像素点的 个数超过预设数量时确定第三图像中存在深度异常信息。如此，基于第三图像中深度异常信息的判断即可确定结构光投射器43的结构光光学元件是否破裂。
请参阅18，在某些实施方式中，第三图像包括多帧，步骤063处理第三图像以判断第三图像中是否存在深度异常信息包括：
0635：处理多帧第三图像以判断多帧第三图像中是否存在深度异常信息；
光学元件破裂的检测方法还包括：
0641：比较任意两帧第三图像中异常深度信息的位置信息是否一致；和
0642：在任意两帧第三图像中深度异常信息的位置信息一致时，确认结构光光学元件破裂。
请参阅图19，在某些实施方式中，检测装置10还包括第三比较模块34。步骤0635可以由第三处理模块33实现，步骤0641可以由第三比较模块34实现，步骤0642可以由第三确认模块35实现。也即是说，第三处理模块33可用于处理多帧第三图像以判断多帧第三图像中是否存在深度异常信息。第三比较模块34可用于比较任意两帧第三图像中异常深度信息的位置信息是否一致。第三确认模块35可用于在任意两帧第三图像中深度异常信息的位置信息一致时，确认结构光光学元件破裂。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行处理多帧第三图像以判断多帧第三图像中是否存在深度异常信息，比较任意两帧第三图像中异常深度信息的位置信息是否一致，以及在任意两帧第三图像中深度异常信息的位置信息一致时，确认结构光光学元件破裂的操作。
具体地，在确认红外摄像头41的相机光学元件411未破裂时，同时开启结构光投射器43和红外摄像头41。红外摄像头41摄取结构光投射器43投射的红外激光以摄取到多帧第三图像后，处理器52对每一帧第三图像进行检测以判断每一帧第三图像中是否均存在深度异常信息。在检测到每一帧第三图像均存在深度异常信息时，处理器52根据识别到的每个深度异常信息提取其在对应的第三图像中的位置信息。随后，处理器52对多帧的第三图像中的深度异常信息的位置信息进行两两比较，在每个比较结果均显示对应的两帧第三图像中深度异常信息的位置信息一致时，即认为结构光光学元件破裂。其中，两帧第三图像中的深度异常信息的位置信息一致指的是两帧第三图像中的深度异常信息的位置信息之间的距离差值小于预设的距离差值。可以理解，当结构光投射器43的结构光光学元件破裂时，由于结构光光学元件的裂纹固定，结构光投射器43和红外摄像头41之间的距离也是固定的，因此，处理器52根据红外摄像头41拍摄到的每一帧第三图像计算出的每一帧第三图像的深度异常信息的位置信息均是不变的。因此，可通过深度异常信息的位置信息进一步地对结构光投射器43的结构光光学元件是否破裂进行判断，从而可提升结构光光学元件破裂检测的准确性。
在某些实施方式中，在确认红外摄像头41的相机光学元件411未破裂时，可以先同时开启红外补光灯42和红外摄像头41，并根据红外摄像头41拍摄的多帧第二图像中是否均存在光纹图案以及任意两帧帧第二图像中的光纹图案位置是否一致来判断红外补光灯42的补光光学元件是否破裂，并在补光光学元件未破裂时，同时开启结构光投射器43、红外补光灯42和红外摄像头41，再根据红外摄像头41拍摄的多帧第三图像是否均存在深度异常信息以及任意两帧第三图像的深度异常信息对应的位置信息是否一致来判断结构光投射器43的结构光光学元件是否破裂。如此，在补光灯的补光光学元件未破裂时，红外补光灯42可以正常执行补光功能，红外摄像头41获取到的第三图像的亮度较高，有利于深度信息的计算获取，进一步地能提升结构光光学元件破裂检测的准确性。
请参阅图20，在某些实施方式中，光学元件破裂的检测方法还包括：
001：获取相机模组的运动速度；
002：判断运动速度是否大于预设速度值，并在运动速度大于预设运动速度值时进入步骤01获取第一图像。
请参阅图21，在某些实施方式中，检测装置10还包括第四获取模块16和第四处理模块17。步骤001可以由第四获取模块16实现，步骤002可以由第四处理模块17实现。也即是说，第四获取模块16可用于获取相机模组的运动速度，第四处理模块17可用于判断运动速度是否大于预设速度值，并在运动速度大于预设运动速度值时进入步骤01获取第一图像。
请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还执行获取相机模组的运动速度，判断运动速度是否大于预设速度值，并在运动速度大于预设运动速度值时 进入步骤01获取第一图像的操作。
其中，可以采用速度传感器检测相机模组的运动速度。当相机模组的运动速度较大时，表明此时计算机设备100可能出现摔落的情况，此时，开启红外摄像头41检测红外摄像头41的相机光学元件411是否破裂，并在相机光学元件411未破裂时，先同时开启红外补光灯42和红外摄像头41以检测红外补光灯42的补光光学元件是否破裂，再同时开启结构光投射器43和红外摄像头41以检测结构光投射器43的结构光光学元件是否破裂；或者，在相机光学元件411未破裂时，先同时开启结构光投射器43和红外摄像头41以检测结构光投射器43的结构光光学元件是否破裂，再同时开启红外补光灯42和红外摄像头41以检测红外补光灯42的补光光学元件是否破裂；或者，在相机光学元件411未破裂时，先同时开启红外补光灯42和红外摄像头41以检测红外补光灯42的补光光学元件是否破裂，并在补光光学元件未破裂时同时开启结构光投射器43、红外补光灯42和红外摄像头41以检测结构光投射器43的结构光光学元件是否破裂。如此，在计算机设备100的运动速度较大时才执行光学元件的破裂检测，而无需在每一次使用光学元件时均质性光学元件的破裂检测，减少计算机设备100的功耗。
本申请还提供一种非易失性计算机可读存储介质，计算机可读存储介质包含一个或多个计算机可执行指令。当计算机可执行指令被一个或多个处理器52执行时，使得处理器52执行上述任意一项实施方式所述的光学元件破裂的检测方法。
例如，当计算机可执行指令被一个或多个处理器52执行时，使得处理器52执行以下步骤的操作：
01：获取第一图像；
02：处理第一图像以判断第一图像是否存在裂纹图案；和
04：在第一图像存在裂纹图案时确认相机光学元件411破裂。
再例如，当计算机可执行指令被一个或多个处理器52执行时，使得处理器52执行以下步骤的操作：
021：基于Haar-like矩形特征集构建多级裂纹图案分类器；
022：采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器；和
023：采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案。
图22为一个实施例中的计算机设备100的内部模块示意图。如图22所示，该计算机设备100包括通过系统总线53连接的处理器52、存储器51(例如为非易失性存储介质)、内存储器54、显示屏55和输入装置56。其中，计算机设备100的存储器51存储有操作系统和计算机可读指令511(图3所示)。该计算机可读指令511可被处理器52执行，以实现上述任意一项实施方式所述的光学元件破裂的检测方法。该处理器52可用于提供计算和控制能力，制成整个计算机设备100的运行。计算机设备100的内存储器54为存储器51中的计算机可读指令511运行提供环境。计算机设备100的显示屏55可以是液晶显示屏或者电子墨水显示屏等，输入装置56可以是显示屏55上覆盖的触摸层，也可以是计算机设备100外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备100可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图22中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的计算机设备100的限定，具体的计算机设备100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
请参阅图23，本申请实施例的计算机设备100包括图像处理器电路80。图像处理电路80可以利用硬件和/或软件实现。可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图23为一个实施例中图像处理电路80的示意图。如图23所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图23所示，图像处理电路80包括ISP处理器82(ISP处理器可为处理器52或处理器52的一部分)和控制逻辑器83。红外摄像头41捕捉的图像数据首先由ISP处理器82处理，ISP处理器82对图像数据进行分析以捕捉可用于确定红外摄像头41的一个或多个控制参数的图像统计信息。红外摄像头41可包括相机光学元件411和图像传感器412，相机光学元件411包括一个或多个透镜。图像传感器412可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器82处理的一组原始图像数据。传感器81(如陀螺仪)可基于传感器接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器82。传感器接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其 它串行或并行照相机接口或上述接口的组合。
此外，图像传感器412也可将原始图像数据发送给传感器81，传感器81可基于传感器接口类型把原始图像数据提供给ISP处理器82，或者传感器将原始图像数据存储到存储器51中。
ISP处理器82按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器82可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器82还可从存储器51接收图像数据。例如，传感器接口将原始图像数据发送给存储器51，存储器51中的原始图像数据再提供给ISP处理器82以供处理。
当接收到来自图像传感器接口或来自传感器81接口或来自存储器51的原始图像数据时，ISP处理器82可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器62，以便在被显示之前进行另外的处理。ISP处理器82从存储器51接收处理数据，并对所述处理数据进行图像数据处理。ISP处理器82处理后的图像数据可输出给显示屏55，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器82的输出还可发送给存储器51，且显示屏55可从存储器51读取图像数据。在一个实施例中，存储器51可被配置为实现一个或多个帧缓冲器。此外，ISP处理器82的输出可发送给编码器/解码器84，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示屏55上之前解压缩。编码器/解码器84可由CPU或GPU或协处理器实现。
ISP处理器82确定的统计数据可发送给控制逻辑器单元83。例如，统计数据可包括自动曝光、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器统计信息。控制逻辑器83可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头的控制参数及ISP处理器82的控制参数。例如，红外摄像头41的控制参数可包括传感器81控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (31)

  1. 一种光学元件破裂的检测方法，其特征在于，所述光学元件包括相机模组的相机光学元件，所述检测方法包括：
    获取第一图像；
    处理所述第一图像以判断所述第一图像是否存在裂纹图案；和
    在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。
  2. 根据权利要求1所述的检测方法，其特征在于，所述相机模组为红外摄像头，所述第一图像是所述红外摄像头摄取物体反射的环境光中的红外光线形成的。
  3. 根据权利要求1所述的检测方法，其特征在于，所述处理所述第一图像以判断所述第一图像是否存在裂纹图案的步骤包括：
    基于Haar-like矩形特征集构建多级裂纹图案分类器；
    采用正裂纹图案样本和负裂纹图案样本训练所述多级裂纹图案分类器；和
    采用训练后的所述多级裂纹图案分类器检测所述第一图像是否存在裂纹图案。
  4. 根据权利要求1所述的检测方法，其特征在于，所述第一图像包括多帧，处理多帧所述第一图像以判断多帧所述第一图像是否均存在裂纹图案，在多帧所述第一图像均存在裂纹图案时，所述检测方法还包括：
    比较任意两帧所述第一图像中的所述裂纹图案所在的裂纹位置是否一致；和
    在任意两帧所述第一图像中的所述裂纹位置一致时，确认所述相机光学元件破裂。
  5. 根据权利要求2至4任意一项所述的检测方法，其特征在于，所述光学元件还包括红外补光灯的补光光学元件，所述检测方法还包括：
    在确认所述相机光学元件未破坏时，开启所述红外补光灯和所述红外摄像头；
    根据所述红外补光灯发出的红外光线获取第二图像；
    处理所述第二图像以判断所述第二图像是否存在光纹图案；和
    在所述第二图像存在所述光纹图案时确认所述补光光学元件破裂。
  6. 根据权利要求5所述的检测方法，其特征在于，所述处理所述第二图像以判断所述第二图像是否存在光纹图案的步骤包括：
    基于Haar-like矩形特征集构建多级光纹图案分类器；
    采用正光纹图案样本和负光纹图案样本训练所述多级光纹图案分类器；和
    采用训练后的所述多级光纹图案分类器检测所述第二图像是否存在光纹图案。
  7. 根据权利要求6所述的检测方法，其特征在于，所述第二图像包括多帧，处理多帧所述第二图像以判断多帧所述第二图像是否均存在光纹图案，在多帧所述第二图像均存在所述光纹图案时，所述检测方法还包括：
    比较任意两帧所述第二图像中的所述光纹图案所在的光纹位置是否一致；和
    在任意两帧所述第二图像中的所述光纹位置一致时，确认所述补光光学元件破裂。
  8. 根据权利要求2至4任意一项所述的检测方法，其特征在于，所述光学元件还包括结构光投射器的结构光光学元件，所述检测方法还包括：
    在确认所述相机光学元件未破裂时，开启所述结构光投射器和所述红外摄像头；
    根据所述结构光投射器发出的红外光线获取第三图像；
    处理所述第三图像以判断所述第三图像中是否存在深度异常信息；和
    在所述第三图像中存在深度异常信息时确认所述结构光光学元件破裂。
  9. 根据权利要求8所述的检测方法，其特征在于，所述处理所述第三图像以判断所述第三图像中是否存在深度异常信息的步骤包括：
    根据所述第三图像和预设参考图像计算所述第三图像中各个像素点的散点偏移量；
    根据所述散点偏移量计算所述第三图像中各个像素点的深度信息；
    计算相邻接的所述深度信息大于预设阈值的像素点的个数；和
    在所述相邻接的像素点的个数大于预设数量时确定所述第三图像中存在所述深度异常信息。
  10. 根据权利要求8所述的检测方法，其特征在于，所述第三图像包括多帧，处理多帧所述第三图像以判断多帧所述第三图像中是否存在所述深度异常信息，在多帧所述第三图像均存在所述深度异常信息时，所述检测方法还包括：
    比较任意两帧所述第三图像中所述异常深度信息所处的位置信息是否一致；和
    在任意两帧所述第三图像中所述深度异常信息所处的位置信息一致时，确认所述结构光光学元件破裂。
  11. 一种光学元件破裂的检测装置，其特征在于，所述光学元件包括相机模组的相机光学元件，所述检测装置包括：
    第一获取模块，所述第一获取模块用于获取第一图像；
    第一处理模块，所述第一处理模块用于处理所述第一图像以判断所述第一图像是否存在裂纹图案；和
    第一确认模块，所述第一确认模块用于在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。
  12. 根据权利要求11所述的检测装置，其特征在于，所述相机模组为红外摄像头，所述第一图像是所述红外摄像头摄取物体反射的环境光中的红外光线形成的。
  13. 根据权利要求11所述的检测装置，其特征在于，所述第一处理模块包括：
    第一构建单元，所述第一构建单元用于基于Haar-like矩形特征集构建多级裂纹图案分类器；
    第一训练单元，所述第一训练单元用于采用正裂纹图案样本和负裂纹图案样本训练所述多级裂纹图案分类器；和
    第一检测单元，所述第一检测单元用于采用训练后的所述多级裂纹图案分类器检测所述第一图像是否存在裂纹图案。
  14. 根据权利要求11所述的检测装置，其特征在于，所述第一图像包括多帧，处理多帧所述第一图像以判断多帧所述第一图像是否均存在裂纹图案，在多帧所述第一图像均存在裂纹图案时，所述检测装置还包括：
    第一比较模块，所述第一比较模块用于比较任意两帧所述第一图像中的所述裂纹图案所在的裂纹位置是否一致；
    所述第一确认模块还用于在任意两帧所述第一图像中的所述裂纹位置一致时，确认所述相机光学元件破裂。
  15. 根据权利要求12至14任意一项所述的检测装置，其特征在于，所述光学元件还包括红外补光灯的补光光学元件，所述检测装置还包括：
    第一开启模块，所述第一开启模块用于在确认所述相机光学元件未破坏时，开启所述红外补光灯和所述红外摄像头；
    第二获取模块，所述第二获取模块用于根据所述红外补光灯发出的红外光线获取第二图像；
    第二处理模块，所述第二处理模块用于处理所述第二图像以判断所述第二图像是否存在光纹图案；和
    第二确认模块，所述第二确认模块用于在所述第二图像存在所述光纹图案时确认所述补光光学元件破裂。
  16. 根据权利要求15所述的检测装置，其特征在于，所述第二处理模块包括：
    第二构建单元，所属第二构建单元用于基于Haar-like矩形特征集构建多级光纹图案分类器；
    第二训练单元，所述第二训练单元用于采用正光纹图案样本和负光纹图案样本训练所述多级光纹图案分类器；和
    第二检测单元，所述第二检测单元用于采用训练后的所述多级光纹图案分类器检测所述第二图像是否存在光纹图案。
  17. 根据权利要求16所述的检测装置，其特征在于，所述第二图像包括多帧，处理多帧所述第二图像以判断多帧所述第二图像是否均存在光纹图案，在多帧所述第二图像均存在所述光纹图案时，所述检测装置还包括：
    第二比较模块，所述第二比较模块用于比较任意两帧所述第二图像中的所述光纹图案所在的光纹位置是否一致；
    所述第二确认模块用于在任意两帧所述第二图像中的所述光纹位置一致时，确认所述补光光学元件破裂。
  18. 根据权利要求12至14任意一项所述的检测装置，其特征在于，所述光学元件还包括结构光投射器的结构光光学元件，所述检测装置还包括：
    第二开启模块，所述第二开启模块用于在确认所述相机光学元件未破裂时，开启所述结构光投射器和所述红外摄像头；
    第三获取模块，所述第三获取模块用于根据所述结构光投射器发出的红外光线获取第三图像；
    第三处理模块，所述第三处理模块用于处理所述第三图像以判断所述第三图像中是否存在深度异常信息；和
    第三确认模块，所述第三确认模块用于在所述第三图像中存在深度异常信息时确认所述结构光光学元件破裂。
  19. 根据权利要求18所述的检测装置，其特征在于，所述第三处理模块包括：
    第一计算单元，所述第一计算单元用于根据所述第三图像和预设参考图像计算所述第三图像中各个像素点的散点偏移量；
    第二计算单元，所述第二计算单元用于根据所述散点偏移量计算所述第三图像中各个像素点的深度信息；
    第三计算单元，所述第三计算单元用于计算相邻接的所述深度信息大于预设阈值的像素点的个数；和
    确认单元，所述确认单元用于在所述相邻接的像素点的个数大于预设数量时确定所述第三图像中存在所述深度异常信息。
  20. 根据权利要求18所述的检测装置，其特征在于，所述第三图像包括多帧，处理多帧所述第三图像以判断多帧所述第三图像中是否存在所述深度异常信息，在多帧所述第三图像均存在所述深度异常信息时，所述检测装置还包括：
    第三比较模块，所述第三比较模块用于比较任意两帧所述第三图像中所述异常深度信息所处的位置信息是否一致；和
    所述第三确认模块还用于在任意两帧所述第三图像中所述深度异常信息所处的位置信息一致时，确认所述结构光光学元件破裂。
  21. 一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下光学元件破裂检测的步骤：
    获取第一图像；
    处理所述第一图像以判断所述第一图像是否存在裂纹图案；和
    在所述第一图像存在裂纹图案时确认相机模组的相机光学元件破裂。
  22. 根据权利要求21所述的计算机设备，其特征在于，所述相机模组为红外摄像头，所述第一图像是所述红外摄像头摄取物体反射的环境光中的红外光线形成的。
  23. 根据权利要求21所述的计算机设备，其特征在于，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    基于Haar-like矩形特征集构建多级裂纹图案分类器；
    采用正裂纹图案样本和负裂纹图案样本训练所述多级裂纹图案分类器；和
    采用训练后的所述多级裂纹图案分类器检测所述第一图像是否存在裂纹图案。
  24. 根据权利要求21所述的计算机设备，其特征在于，所述第一图像包括多帧，处理多帧所述第一图像以判断多帧所述第一图像是否均存在裂纹图案，若多帧所述第一图像均存在裂纹图案，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    比较任意两帧所述第一图像中的所述裂纹图案所在的裂纹位置是否一致；和
    在任意两帧所述第一图像中的所述裂纹位置一致时，确认所述相机光学元件破裂。
  25. 根据权利要求22至24任意一项所述的计算机设备，其特征在于，所述光学元件还包括红外补光灯的补光光学元件，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    在确认所述相机光学元件未破坏时，开启所述红外补光灯和所述红外摄像头；
    根据所述红外补光灯发出的红外光线获取第二图像；
    处理所述第二图像以判断所述第二图像是否存在光纹图案；和
    在所述第二图像存在所述光纹图案时确认所述补光光学元件破裂。
  26. 根据权利要求25所述的计算机设备，其特征在于，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    基于Haar-like矩形特征集构建多级光纹图案分类器；
    采用正光纹图案样本和负光纹图案样本训练所述多级光纹图案分类器；和
    采用训练后的所述多级光纹图案分类器检测所述第二图像是否存在光纹图案。
  27. 根据权利要求26所述的计算机设备，其特征在于，所述第二图像包括多帧，处理多帧所述第二图像以判断多帧所述第二图像是否均存在光纹图案，若多帧所述第二图像均存在所述光纹图案，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    比较任意两帧所述第二图像中的所述光纹图案所在的光纹位置是否一致；和
    在任意两帧所述第二图像中的所述光纹位置一致时，确认所述补光光学元件破裂。
  28. 根据权利要求22至24任意一项所述的计算机设备，其特征在于，所述光学元件还包括结构光投射器的结构光光学元件，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    在确认所述相机光学元件未破裂时，开启所述结构光投射器和所述红外摄像头；
    根据所述结构光投射器发出的红外光线获取第三图像；
    处理所述第三图像以判断所述第三图像中是否存在深度异常信息；和
    在所述第三图像中存在深度异常信息时确认所述结构光光学元件破裂。
  29. 根据权利要求28所述的计算机设备，其特征在于，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    根据所述第三图像和预设参考图像计算所述第三图像中各个像素点的散点偏移量；
    根据所述散点偏移量计算所述第三图像中各个像素点的深度信息；
    计算相邻接的所述深度信息大于预设阈值的像素点的个数；和
    在所述相邻接的像素点的个数大于预设数量时确定所述第三图像中存在所述深度异常信息。
  30. 根据权利要求28所述的计算机设备，其特征在于，所述第三图像包括多帧，处理多帧所述第三图像以判断多帧所述第三图像中是否存在所述深度异常信息，若多帧所述第三图像均存在所述深度异常信息，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行以下步骤：
    比较任意两帧所述第三图像中所述异常深度信息所处的位置信息是否一致；和
    在任意两帧所述第三图像中所述深度异常信息所处的位置信息一致时，确认所述结构光光学元件破裂。
  31. 一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至10中任意一项所述的检测方法。
PCT/CN2018/123585 2017-12-28 2018-12-25 检测方法、检测装置、计算机设备和计算机可读存储介质 WO2019129004A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711465117.7 2017-12-28
CN201711465117.7A CN108198175B (zh) 2017-12-28 2017-12-28 检测方法、检测装置、计算机设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019129004A1 true WO2019129004A1 (zh) 2019-07-04

Family

ID=62585450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/123585 WO2019129004A1 (zh) 2017-12-28 2018-12-25 检测方法、检测装置、计算机设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108198175B (zh)
WO (1) WO2019129004A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287727A (zh) * 2019-07-24 2021-01-29 云从科技集团股份有限公司 一种结构光设备、检测模组及电子终端

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989710B (zh) * 2018-07-16 2020-09-04 维沃移动通信有限公司 一种红外补光模块失效检测方法、终端设备及计算机可读存储介质
CN109063761B (zh) * 2018-07-20 2020-11-03 北京旷视科技有限公司 扩散器脱落检测方法、装置及电子设备
CN110769246B (zh) * 2019-09-06 2023-04-11 华为技术有限公司 一种检测监控设备故障的方法、装置
CN112419228B (zh) * 2020-10-14 2022-04-05 高视科技(苏州)有限公司 盖板立体边缘缺陷的检测方法及装置
CN112991264B (zh) * 2021-02-05 2023-08-11 西安理工大学 一种单晶硅光伏电池裂纹缺陷的检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819163A (zh) * 2010-06-03 2010-09-01 成都精密光学工程研究中心 光学元件亚表面缺陷的检测装置及其方法
US20120104255A1 (en) * 2010-11-01 2012-05-03 Wang Ran Shi Method for inspecting a photovoltaic substrate
CN103399021A (zh) * 2013-08-15 2013-11-20 厦门大学 一种透明光学元件亚表面裂纹的检测方法
CN104132944A (zh) * 2014-07-11 2014-11-05 西安交通大学 一种检测球面光学元件亚表面损伤程度表征参数的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025901A (zh) * 2009-09-23 2011-04-20 国基电子（上海）有限公司 相机模组及其检测方法
WO2014005123A1 (en) * 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
CN203133000U (zh) * 2013-03-15 2013-08-14 安徽工程大学 基于图像的玻璃缺陷在线检测装置
CN104777172B (zh) * 2015-04-30 2018-10-09 重庆理工大学 一种光学镜头次品快速智能检测装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819163A (zh) * 2010-06-03 2010-09-01 成都精密光学工程研究中心 光学元件亚表面缺陷的检测装置及其方法
US20120104255A1 (en) * 2010-11-01 2012-05-03 Wang Ran Shi Method for inspecting a photovoltaic substrate
CN103399021A (zh) * 2013-08-15 2013-11-20 厦门大学 一种透明光学元件亚表面裂纹的检测方法
CN104132944A (zh) * 2014-07-11 2014-11-05 西安交通大学 一种检测球面光学元件亚表面损伤程度表征参数的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287727A (zh) * 2019-07-24 2021-01-29 云从科技集团股份有限公司 一种结构光设备、检测模组及电子终端

Also Published As

Publication number Publication date
CN108198175A (zh) 2018-06-22
CN108198175B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
WO2019129004A1 (zh) 检测方法、检测装置、计算机设备和计算机可读存储介质
US10733705B2 (en) Information processing device, learning processing method, learning device, and object recognition device
WO2019233263A1 (zh) 视频处理方法、电子设备、计算机可读存储介质
US20200412937A1 (en) Focusing method and device, electronic device and computer-readable storage medium
US20210133468A1 (en) Action Recognition Method, Electronic Device, and Storage Medium
US9852339B2 (en) Method for recognizing iris and electronic device thereof
US8849062B2 (en) Eye defect detection in international standards organization images
CN108304821B (zh) 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质
WO2020038087A1 (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
WO2022062346A1 (zh) 图像增强方法、装置及电子设备
US10855885B2 (en) Image processing apparatus, method therefor, and storage medium
CN109478227B (zh) 计算设备上的虹膜或其他身体部位识别
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
US11671701B2 (en) Electronic device for recommending composition and operating method thereof
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
JP2011165008A (ja) 画像認識装置および方法
US11233948B2 (en) Exposure control method and device, and electronic device
CN104090656A (zh) 智能设备视力保护方法与系统
US10163009B2 (en) Apparatus and method for recognizing iris
JP2015201096A (ja) 視線検出装置、視線検出プログラム及び視線検出方法
JP2014128003A (ja) 画像認識装置、その制御方法及びプログラム
CN108462831B (zh) 图像处理方法、装置、存储介质及电子设备
CN108259769B (zh) 图像处理方法、装置、存储介质及电子设备
KR102251307B1 (ko) 거리측정 기능을 갖는 열상 카메라 시스템
CN107392870B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18894927

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18894927

Country of ref document: EP

Kind code of ref document: A1