Patents
Search within
Search within the title, abstract, claims, or full patent document: You can restrict your search to a specific field using field names.
Use TI= to search in the title, AB= for the abstract, CL= for the claims, or TAC= for all three. For example, TI=(safety belt).
Search by Cooperative Patent Classifications (CPCs): These are commonly used to represent ideas in place of keywords, and can also be entered in a search term box. If you're searching forseat belts, you could also search for B60R22/00 to retrieve documents that mention safety belts or body harnesses. CPC=B60R22 will match documents with exactly this CPC, CPC=B60R22/low matches documents with this CPC or a child classification of this CPC.
Learn More
Title
Abstract
Claims
Full Document
Find patents
Keywords and boolean syntax (USPTO or EPO format): seat belt searches these two words, or their plurals and close synonyms. "seat belt" searches this exact phrase, in order. -seat -belt searches for documents not containing either word.
For searches using boolean logic, the default operator is AND with left associativity. Note: this means safety OR seat belt is searched as (safety OR seat) AND belt. Each word automatically includes plurals and close synonyms. Adjacent words that are implicitly ANDed together, such as (safety belt), are treated as a phrase when generating synonyms.
Learn More
Search by
Chemistry searches match terms (trade names, IUPAC names, etc. extracted from the entire document, and processed from .MOL files.)
Substructure (use SSS=) and similarity (use ~) searches are limited to one per search at the top-level AND condition. Exact searches can be used multiple times throughout the search query.
Searching by SMILES or InChi key requires no special syntax. To search by SMARTS, use SMARTS=.
To search for multiple molecules, select "Batch" in the "Type" menu. Enter multiple molecules separated by whitespace or by comma.
Learn More
Patent numbers
Search specific patents by importing a CSV or list of patent publication or application numbers.
故障检测方法及相关产品
WO2021036634A1
WIPO (PCT)
Worldwide applications
Application PCT/CN2020/104821 events
2020-07-27
2021-03-04
Description
translated from
本申请涉及视频监控技术领域，具体涉及一种故障检测方法及相关产品。
所有的机械和运动系统都会产生各种各样的振动，其中一些振动反映的是系统的正常运动状态，而另外一些则反映了系统的异常运动状态(例如，设备部故障、轴连接不平衡等)。因此，要预测性维护系统设备，振动检测都是重要的一环。现在振动检测大多采用加速度计设备。尽管比较精确和可靠，但是加速度计需要长的准备和安装时间，在测试时需要和被测系统物理接触(因此会改变被测系统的振动响应)，并且仅能测试很有限的离散点，因此，如何提升故障检测效率的问题亟待解决。
发明内容
本申请实施例提供了一种故障检测方法及相关产品，可以提升故障检测效率。
本申请实施例第一方面提供了一种故障检测方法，包括：
获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；
依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；
依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
本申请实施例第二方面提供了一种故障检测装置，包括:
获取单元，用于获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；
提取单元，用于依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；
显示单元，用于依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具有如下有益效果：
可以看出，通过本申请实施例故障检测方法及相关产品，获取针对目标对象的第一视频序列，第一视频序列为RGB视频图像，依据第一视频序列提取目标对象对应的至少一个振动参数集，依据至少一个振动参数集确定目标对象的目标故障信息，并在显示界面展示目标故障信息，如此，可以从视频图像中提取到振动参数，并依据振动参数分析出故障信息，能够快速识别出故障信息，提升了故障检测效率。
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种故障检测方法的实施例流程示意图；
图1B是本申请实施例提供的应用场景演示示意图；
图1C是本申请实施例提供的运动放大方法的演示示意图；
图2是本申请实施例提供的另一种故障检测方法的实施例流程示意图；
图3A是本申请实施例提供的一种故障检测装置的实施例结构示意图；
图3B是本申请实施例提供的另一种故障检测装置的实施例结构示意图；
图4是本申请实施例提供的一种电子设备的实施例结构示意图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、视频矩阵、监控平台、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述电子设备还可以为服务器。
请参阅图1A，为本申请实施例提供的一种故障检测方法的实施例流程示意图。本实施例中所描述的故障检测方法，包括以下步骤：
101、获取针对目标对象的第一视频序列，所述视频序列为RGB视频图像。
其中，目标对象可以为以下一种：机械设备(数控机床)、交通工具、通讯工具、医疗器械、建筑物、人、动物等等，在此不作限定。可以获取目标对象在一段时间内的第一视频序列，第一视频序列为RGB视频图像。
本申请实施例中，电子设备可以包括至少一个摄像头，摄像头可以为以下至少一种：红外摄像头或者可见光摄像头，可见光摄像头可以为普通摄像头或者光角摄像头等等，在此不作限定。当然，电子设备还可以包括超声波传感器，通过超声波传感器可以获取目标对象的第一视频序列。第一视频序列可以为针对整个目标对象的全景视频图像，或者，目标对象的指定部位的视频图像，或者，目标对象的内部运作图像。本申请实施例可以应用于图1B所示的场景中，第一视频序列可以由摄像头对目标对象进行拍摄得到一视频序列，由电子设备对该视频序列进行分析，得到振动参数，并在显示界面展示振动参数。
102、依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集。
其中，振动参数集可以包括以下至少一种振动参数：振动频率、振动幅度、振动次数、振动波形图、振动周期、振动范围等等，在此不作限定。
可选地，上述步骤102，依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集，可包括如下步骤：
21、将所述第一视频序列进行颜色空间变换，得到变换后的所述第一视频序列；
22、对变换后的所述第一视频序列进行分离，得到亮度分量信息和色度分量信息；
23、对所述亮度分量信息进行傅里叶变换，得到频域亮度分量信息；
24、对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量；
25、对所述放大处理后的所述频域亮度分量进行反傅里叶变换，得到时域亮度分量信息；
26、将所述时域亮度信息和所述色度分量信息进行合成，得到合成视频序列；
27、对所述合成视频序列进行所述颜色空间变换对应的反变换，得到第二视频序列；
28、依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集。
其中，上述颜色空间变换可以包括以下任一中：RGB转YCbCr颜色空间变换、RGB转YIQ颜色空间变换、RGB转HIS颜色空间变换、RGB转YUV颜色空间变换，在此不作限定。具体实现中，可以将第一视频序列进行颜色空间变换，得到变换后的第一视频序列，如此，能够便提取亮度分量，即对变换后的第一视频序列进行分离，得到亮度分量信息和色度分量信息，举例说明下，由摄像机拍摄含有振动的被测物体的一段视频，然后将该视频的序列帧由RGB颜色空间转换到YIQ颜色空间，分离视频帧的亮度分量信息和色度分量信息，后续的步骤都在YIQ视频的Y相也就是亮度信息进行运算，这样可减少算法运算量提高算法的运行速度。RGB和YIQ的转换关系为：
Y＝0.299*R+0.587*G+0.114*B；
I＝0.596*R–0.275*G–0.321*B；
Q＝0.212*R-0.523*G+0.311*B。
进一步地，可以对亮度分量信息进行傅里叶变换，得到频域亮度分量信息，对频域亮度分量信息进行运动放大处理，得到放大处理后的频域亮度分，上述运动放大处理可以采用如下至少一种方式：拉格朗日运动放大算法、欧拉运动放大算法、复数相位运动放大算法、RIESZ金字塔运动放大算法，在此不做限定，进一步地，对放大处理后的频域亮度分量进行反傅里叶变换，得到时域亮度分量信息，将时域亮度信息和色度分量信息进行合成，得到合成视频序列，对合成视频序列进行所述颜色空间变换对应的反变换，得到第二视频序列，依据第二视频序列确定目标对象对应的至少一个振动参数集，如此，由于将振动对应的特征进行放大处理，便于更好地从视频序列中提取出振动参数。
进一步可选地，上述步骤28，依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集，可包括如下步骤：
281、确定所述第二视频序列对应的帧序列间的交叉互功率谱；
282、对所述交叉互功率谱进行插值滤波处理，得到处理后的所述交叉互功率谱；
283、对处理后的所述交叉互功率谱进行反傅里叶变换，并逐相位比较，得到所述目标对象对应的至少一个振动参数集。
具体实现中，可以对视频运动放大处理后的帧序列采用相位相关算法计算帧序列间的交叉互功率谱，具体地，相位相关算法采用如下的公式计算交叉互功率谱。
其中，F
a为a帧图像的傅立叶变换，
为b帧图像的傅里叶变换的共轭信号，除式的下边为两个傅里叶变换的信号的相关积的模。R为本步骤的计算结果交叉互功率谱(包含频域噪音)。
进一步地，可以采用自适应滤波器组来重建运动信号，根据R的相关峰的位置自适应选择滤波器组进行滤波，滤波之后再进行反傅里叶变换，再进行相位比较(逐相位比较)，此时，可会采用滑窗的自适应匹配方法来估计和提取振动参数，得到滤除频域噪音后的交叉互功率谱R′，再对交叉互功率谱进行反傅立叶变换，逐相位比较，便可得到视频中像素的振动信息计算公式如下。
r＝F
-1{R′}
其中，F
-1表示对交叉互功率谱进行反傅里叶变换，R′为滤除频域噪音后的交叉互功率谱，得到r为视频中的像素对应的振动信息。
其中，可根据交叉互功率谱R的相关峰的位置自适应选择滤波器组进行滤波，得到滤波后的交叉互功率谱R'。
可选地，上述步骤282中，对所述交叉互功率谱进行插值滤波处理，得到处理后的所述交叉互功率谱，可包括以下步骤：
2821、获取所述交叉互功率谱对应的多个状态变化信号，状态变化信号为时域信号；
2822、从所述多个状态变化信号中提取预设长度的目标状态变化信号段，得到多个目标状态变化信号段，并获取所述多个目标状态变化信号段中每一目标状态变化信号段的目标频率，得到多个目标频率；
2823、根据所述多个状态变化信号中每一状态变化信号对应的目标频率设定对应的滑窗，得到多个滑窗，将所述多个状态变化信号中每一状态变化信号发送至对应的滑窗；
2824、将所述多个状态变化信号中不能通过对应的滑窗的状态变化信号作为非周期信号，得到至少一个非周期信号；
2825、去除所述多个状态变化信号中的所述至少一个非周期信号，得到；滤波后的交叉互功率谱。
其中，交叉互功率谱R为频域信号，其中包括一个或多个相关峰。将交叉互功率谱R进行反傅里叶变换之后即可得到各相关峰对应的状态变化信号。每个状态变化信号可以反应放大视频中的某个位置的状态变化情况，因此，可从所述多个状态变化信号中提取预设长度的目标状态变化信号段，得到多个目标状态变化信号段。状态变化信息包括振动数据和其他噪声信息，例如光照的变化也会导致视频画面中的状态变化，振动数据可以反应待振动物体的运行状况。待检测设备运行时自身的振动是周期性的，振动引起的状态变化也是周期性的。很多噪声信息虽然会导致放大视频中各像素点的状态变化，但是，噪声引起的状态变化常常不是周期性的，而且根据运行状况，呈周期性的振动才能用于反应设备运行状况，因为非周期性的振动常常是由外界环境导致的，而不是由设备自身引起的，这部分非周期性的信号也不能用于分析设备的运行状况。通过获取状态变化信号中的非周期信 号获取不是由自身振动引起的噪声信号。由于非周期信号常常是对分析设备运行状况作用不大或者没有作用甚至会有干扰的信号，那么可去除这部分非周期信号，以使得从放大视频中获取到的状态变化信号中，有用信息更多。
其中，在获取多个状态变化信号之后，可判断各状态变化信号是否为周期信号，具体地，可先提取预设长度的目标状态变化信号段，获取目标变化信号段的目标频率，然后将状态变化信号中的其他部分的频率与目标频率比对，如果状态变化信号中的其他部分的频率与目标频率不一致，则可认为该状态变化信号为非周期信号。预设长度可以由用户设定一个确定的值，也可以在信号处理过程中根据信号的长度自行适配，例如可将预设长度设定为状态变化信号长度的1/10。获得目标状态变换信号段的目标频率之后，根据目标频率设定滑窗的窗口大小，例如可将滑窗的窗口大小设定为与目标频率一致，这样只有频率与目标频率一致的信号才能通过滑窗，而与目标频率不一致的信号则不能通过滑窗。如果状态变化信号不能通过对应的滑窗，则说明该状态变化信号中存在频率与目标频率不一致的信号段，也即该状态变化信号为非周期信号。如此，通过滑窗的方式判断状态变化信号中的其他部分的频率与目标频率是否一致，可以方便快捷地得到结论，计算量更小。
进一步可选地，上述步骤24，对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量，可包括如下步骤：
2411、对所述频域亮度分量信息进行特征点提取，得到特征点集；
2412、对所述特征点集进行聚类，得到多类特征点；
2413、对所述频域亮度分量信息中的每一像素点进行光流场插值运算，得到稠密光流场；
2414、跟踪所述多类特征点中每一类特征点的运动轨迹，得到多个动作层，每一类特征点对应一个动作层；
2415、对所述多个动作层进行纹理填充，并将纹理填充后的所述多个动作层中的预设层进行放大处理，得到放大处理后的所述频域亮度分量。
其中，特征点提取可以为以下至少一种方式：harris角点检测、尺度不变特征提取(scale invariant feature transform，SIFT)、SURF特征提取算法等等，在此不作限定，具体实现中，可以对频域亮度分量信息进行特征点提取，得到特征点集，对特征点集进行聚类，得到多类特征点，对频域亮度分量信息中的每一像素点进行光流场插值运算，得到稠密光流场，跟踪多类特征点中每一类特征点的运动轨迹，得到多个动作层，每一类特征点对应一个动作层，对多个动作层进行纹理填充，并将纹理填充后的多个动作层中的预设层进行放大处理，得到放大处理后的频域亮度分量，预设层可以由用户自行设置或者系统默认。如此，可以实现将振动对应的特征进行放大，后续便于分析振动带来的影响。
可选地，在上述步骤241之前，还可以对频域亮度分量信息进行配准，得到配准图像，则在执行上述步骤241时，则可以对该配准图像进行特征点提取，得到特征点集，如此，可以防止由于相机晃动而产生的动作。
具体实现中，考虑到特征点的跟踪可能受到图像阴暗、遮挡等其他因素的影响，从而影响跟踪结果，运动层次分割的准确程度直接关系到最终的放大效果，而这个过程还可以结合人工干预，即人为选择一些运动层，如此，可以进一步提升跟踪精度。
进一步可选地，上述步骤24，对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量，可包括如下步骤：
2421、对所述频域亮度分量进行空域分解，得到分解后的所述频域亮度分量；
2422、对分解后的所述频域亮度分量进行时域滤波，滤波后的所述频域亮度分量；
2423、对所述频域亮度分量进行放大处理，得到放大后的所述频域亮度分量；
2424、对所述频域亮度分量进行所述空域分解对应的反变换，得到反变换后的所述放 大处理后的所述频域亮度分量。
其中，空域分解可以包括以下至少一种算法：快速傅里叶变换、轮廓波变换、非下采样轮廓波变换(Non-sampled contourlet transform，NSCT)、小波变换、脊波变换、剪切波变换等等，在此不作限定，举例说明下，空域分解具体可以为先FFT，再进行复数可操作金字塔空域分解。具体实现中，可以对频域亮度分量进行空域分解，得到分解后的频域亮度分量，对分解后的频域亮度分量进行时域滤波，滤波后的频域亮度分量，对频域亮度分量进行放大处理，得到放大后的频域亮度分量，对频域亮度分量进行空域分解对应的反变换，得到反变换后的放大处理后的所述频域亮度分量，能够将图像中的深层次细节加以放大，有助于精准提取图像中的关键特征点，在特征点受到图像阴暗、遮挡等影响的情况下，依旧可以实现较好跟踪特征点。
具体实现中，举例说明下，如图1C所示，将第一视频序列转化的YIQ色彩空间，保持I、Q通道不变，对Y通道进行空域分解(如FFT操作)，将FFT变换后的Y通道图像进行复数可操纵金子塔空域分解，将Y通道空域分解后的不同尺度的图像进行时域带通滤波，放大时域带通滤波后感兴趣的运动信息，对感兴趣的运动信息进行复数可操纵金字塔重建，得到放大后的Y通道图像，最后将重建的Y通道图像与原来的I、Q通道图像相加，再转化为RGB色彩空间，得到第二视频序列，如此，能够精准提取目标对象对应的振动参数，有助于提升故障检测精度。
103、依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
其中，本申请实施例中，故障信息可以包括以下至少一种：故障等级、故障部件、故障原因等等，在此不作限定。具体实现中，可以依据至少一个振动参数集确定目标对象的目标故障信息，并在显示界面展示该目标故障信息，例如，可以在显示界面展示故障区域的图像、振动视频、故障类别或者危险等级，以及，还可以基于用户需求输出维护方案等等，在此不作限定。
可选地，每一振动参数集对应所述目标对象的一个部件；上述步骤103，依据所述至少一个振动参数集确定所述目标对象的故障信息，可包括如下步骤：
31、将振动参数集i进行取均方差，得到目标均方差，所述振动参数集i为所述至少一个振动参数集中的任一振动参数集；
32、按照预设的均方差与故障信息之间的映射关系，确定所述目标均方差对应的所述目标故障信息。
其中，目标对象可以包括多个部件，部件为以下至少一种：轴承、螺丝、芯片、电路板、弹簧、显卡、发动车、方向盘等等，在此不作限定。还可以预先存储预设的均方差与故障信息之间的映射关系。具体实现中，可以将振动参数集i进行取均方差，得到目标均方差，振动参数集i为至少一个振动参数集中的任一振动参数集，按照预设的均方差与故障信息之间的映射关系，可以确定目标均方差对应的目标故障信息。
进一步可选地，上述步骤103之后，还可以包括如下步骤：
A1、将振动参数集i进行拟合，得到目标拟合函数，所述目标拟合函数包括横轴为时间，纵轴为与所述振动参数集i中的至少一个振动参数相关；
A2、依据所述目标拟合函数预估所述振动参数集i对应的部件的维护信息。
具体实现中，以振动参数集i为例，可以将振动参数集i进行拟合，如线性拟合或者非线性拟合，得到目标拟合函数，目标拟合函数的横轴为时间、纵轴为振动参数集i中的至少一个振动参数相关，如：纵轴可以为相位，或者，功率，又形如功率/频率等等，在此不作限定。具体实现中，可以将振动参数集i进行拟合，得到目标拟合函数，目标拟合函数包括横轴为时间，纵轴为与振动参数集i中的至少一个振动参数相关，依据目标拟合函数 预估振动参数集i对应的部件的维护信息，维修信息可以为：维修日期、维修方式、维修人员、维修费用等等，在此不作限定。
另外，通过目标拟合函数预估部件的耗损或者故障或者寿命情况，其预测结果可以是概率分布，可以理解为一个范围值，通过该概率分布可以直观的呈现在视频图像中，结合图像中各个部件的影像对应呈现。
上述步骤103，依据所述至少一个振动参数集确定所述目标对象的故障信息，可包括如下步骤：
将所述至少一个振动参数集输入到预设故障检测模型，得到所述目标对象的故障信息。
其中，预设故障检测模型可以由用户自行设置或者系统默认，该预设故障检测模型可以基于卷积神经网络模型得到。具体实现中，可以将至少一个振动参数集输入到预设故障检测模型，得到该目标对象的故障信息。
举例说明下，本申请实施例中，目标对象可以为机械设备，基于上述故障检测装置可以获取机械设备在工作状态下产生振动的视频序列，依据该视频序列提取振动参数，依据振动参数分析机械设备的故障信息。
举例说明下，本申请实施例中，目标对象可以为人，基于上述故障检测装置可以由超声波传感器获取用户关于心脏振动的视频序列，依据该视频序列提取振动参数，依据振动参数分析人的心脏功能，以及实现健康诊断，当然，还可以对孕妇进行检测，检测婴儿的成长情况。
可选地，上述步骤103之后，还可以包括如下步骤：
B1、依据所述至少一个振动参数集对所述目标对象进行位置标记，得到至少一个位置标记。
B2、在所述第一视频序列中展示所述至少一个位置标记。
其中，至少一个振动参数集包括大量的振动参数，每一振动参数均可以对应预设部位中的一个点，进而，每个点至少可以包括一个振动参数，基于此，可以依据至少一个振动参数集对目标对象进行位置标记，得到至少一个位置标记。当然，也可以将至少一个振动参数集映射在目标点，将目标对象划分为多个方格，将方格中振动参数数量大于预设数量的方格进行标记，得到至少一个位置标记，其中，上述预设数量可以由用户自行设置或者系统默认。
其中，具体实现中，可以展示至少一个位置标记中的任一位置标记在指定时间段的视频序列，指定时间段可以由用户自行设置或者系统默认。
可选地，上述步骤B2，在所述第一视频序列中展示所述至少一个位置标记，可以包括如下步骤：
B21、从所述至少一个振动参数集中提取针对位置标记i的目标振动参数，所述位置标记i为所述至少一个位置标记中的任一位置标记；
B22、对所述目标振动参数进行处理，得到目标特征值；
B23、按照预设的特征值与展示效果参数之间的映射关系，确定所述目标特征值对应的目标展示效果参数；
B24、依据所述目标展示效果参数在所述第一视频序列中展示所述位置标记i。
其中，上述展示效果参数可以为以下至少一种：显示亮度、显示颜色、显示色调、是否需要加显示框、是否需要加箭头等等，在此不作限定。电子设备中还可以预先存储预设的特征值与展示效果参数之间的映射关系，具体实现中，由于不同的振动参数对应不同的标记，每一标记可以取以一个点作为中心，一定范围内的振动参数作为该点的振动参数，进而，可以从至少一个振动参数集中提取针对位置标记i的目标振动参数，位置标记i为至少一个位置标记中的任一位置标记，对目标振动参数进行处理，得到目标特征值，按照预 设的特征值与展示效果参数之间的映射关系，确定目标特征值对应的目标展示效果参数，依据目标展示效果参数在第一视频序列中展示位置标记i，如此，可以针对振动差异，对不同的标记进行差异化显示，有助于用户快速且精准看到振动效果。
进一步可选地，上述步骤B22，对所述目标振动参数进行处理，得到目标特征值，可包括如下步骤：
B221、从所述目标振动参数中获取时域波形；
B222、对所述时域波形进行预处理，得到目标时域波形；
B223、将所述目标时域波形与预设时域波形进行比对；
B224、在所述目标时域波形与所述预设时域波形进行比对成功时，确定所述目标时域波形的多个极值点；
B225、依据所述多个极值点确定所述目标特征值。
其中，由于振动是一直振动，例如，设备在运动，则其部件也是在一直转动的，振动参数中可以包括大量振动数据，上述预处理可以包括以下至少一种：信号放大、降噪处理等等，在此不作限定。预设时域波形可以为故障状态对应的波形，预设时域波形可以由用户自行设置或者系统默认。具体实现中，可以从目标振动参数中获取时域波形，进而，对该目标时域波形进行预处理，得到目标时域波形，将目标时域波形与预设时域波形进行比对，在目标时域波形与所述预设时域波形进行比对成功时，确定目标时域波形的多个极值点，极值点可以包括极大值点或者极小值点，可以依据多个极值点确定目标特征值，反之，在目标时域波形与所述预设时域波形进行比对失败时，则可以说明目标对象运作正常，可以不进行振动展示，或者，提示用户设备运转正常。具体地，例如，将该多个极值点的均方差作为目标特征值，或者，可以将该多个极值点的数量作为目标特征值。
可选地，上述步骤B225，依据所述多个极值点确定所述目标特征值，可以包括如下步骤：
B2251、从所述多个极值点中选取绝对值大于预设阈值的极值点，得到多个目标极值点；
B2252、将所述多个目标极值点分为两类，第一类包括多个极大值点，第二类包括多个极小值点；
B2253、确定所述第一类中多个极大值点之间的第一均方差；
B2254、确定所述第二类中的多个极小值之间的第二均方差；
B2255、将所述第一均方差与所述第二均方差之间的比值的绝对值作为所述目标特征值。
其中，上述预设阈值可以由用户自行设置或者系统默认。具体实现中，可以从多个极值点中选取绝对值大于预设阈值的极值点，得到多个目标极值点，将多个目标极值点分为两类，第一类包括多个极大值点，第二类包括多个极小值点，确定第一类中多个极大值点之间的第一均方差，确定第二类中的多个极小值之间的第二均方差，将第一均方差与第二均方差之间的比值的绝对值作为目标特征值，如此，首先对极值点进行筛选，得到稳定的极值点，这些极值点更能分析目标对象的振动情况，另外，将这些极值点分为两类，极大值点和极小值点，通过该两类分别计算均方差，再将最终的比值的绝对值作为目标特征值，目标特征值由于充分把握了振幅在向上以及向下运动的分布情况，因此，这样的目标特征值能够精准反映振动趋势，有助于提升故障信息精度。
可以看出，通过本申请实施例故障检测方法，获取针对目标对象的第一视频序列，第一视频序列为RGB视频图像，依据第一视频序列提取目标对象对应的至少一个振动参数集，依据至少一个振动参数集确定目标对象的目标故障信息，并在显示界面展示目标故障信息，如此，可以从视频图像中提取到振动参数，并依据振动参数分析出故障信息，能够快速识 别出故障信息，提升了故障检测效率。
与上述一致地，请参阅图2，为本申请实施例提供的一种故障检测方法的实施例流程示意图。本实施例中所描述的故障检测方法，包括以下步骤：
201、获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；
202、依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；
203、将振动参数集i进行取均方差，得到目标均方差，所述振动参数集i为所述至少一个振动参数集中的任一振动参数集；
204、按照预设的均方差与故障信息之间的映射关系，确定所述目标均方差对应的目标故障信息。
205、将振动参数集i进行线性拟合，得到目标拟合函数，所述目标拟合函数包括横轴为时间，纵轴为与所述振动参数集i中的至少一个振动参数相关；
206、依据所述目标拟合函数预估所述振动参数集i对应的部件的维护信息。
其中，上述步骤201-步骤206所描述的故障检测方法可参考图1A所描述的故障检测方法的对应步骤。
可以看出，通过本申请实施例故障检测方法及相关产品，获取针对目标对象的第一视频序列，第一视频序列为RGB视频图像，依据第一视频序列提取目标对象对应的至少一个振动参数集，依据至少一个振动参数集确定目标对象的目标故障信息，并在显示界面展示目标故障信息，将振动参数集i进行取均方差，得到目标均方差，振动参数集i为至少一个振动参数集中的任一振动参数集，按照预设的均方差与故障信息之间的映射关系，确定目标均方差对应的目标故障信息，将振动参数集i进行线性拟合，得到目标拟合函数，目标拟合函数包括横轴为时间，纵轴为与振动参数集i中的至少一个振动参数相关，依据目标拟合函数预估振动参数集i对应的部件的维护信息如此，可以从视频图像中提取到振动参数，并依据振动参数分析出故障信息，能够快速识别出故障信息，提升了故障检测效率，还能够预估目标对象何时需要维护以及如何维护，提升了维护效率。
与上述一致地，以下为实施上述故障检测方法的装置，具体如下：
请参阅图3A，为本申请实施例提供的一种故障检测装置的实施例结构示意图。本实施例中所描述的故障检测装置，包括：获取单元301、提取单元302和显示单元303，具体如下：
获取单元301，用于获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；
提取单元302，用于依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；
显示单元303，用于依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
可以看出，通过本申请实施例故障检测装置，获取针对目标对象的第一视频序列，第一视频序列为RGB视频图像，依据第一视频序列提取目标对象对应的至少一个振动参数集，依据至少一个振动参数集确定目标对象的目标故障信息，并在显示界面展示目标故障信息，如此，可以从视频图像中提取到振动参数，并依据振动参数分析出故障信息，能够快速识别出故障信息，提升了故障检测效率。
可选地，在所述依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集方面，所述提取单元302具体用于：
将所述第一视频序列进行颜色空间变换，得到变换后的所述第一视频序列；
对变换后的所述第一视频序列进行分离，得到亮度分量信息和色度分量信息；
对所述亮度分量信息进行傅里叶变换，得到频域亮度分量信息；
对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量；
对所述放大处理后的所述频域亮度分量进行反傅里叶变换，得到时域亮度分量信息；
将所述时域亮度信息和所述色度分量信息进行合成，得到合成视频序列；
对所述合成视频序列进行所述颜色空间变换对应的反变换，得到第二视频序列；
依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集。
可选地，在所述依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集方面，所述提取单元302具体用于：
确定所述第二视频序列对应的帧序列间的交叉互功率谱；
对所述交叉互功率谱进行插值滤波处理，得到处理后的所述交叉互功率谱；
对处理后的所述交叉互功率谱进行反傅里叶变换，并逐相位比较，得到所述目标对象对应的至少一个振动参数集。
可选地，在所述对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量方面，所述提取单元302具体用于：
对所述频域亮度分量信息进行特征点提取，得到特征点集；
对所述特征点集进行聚类，得到多类特征点；
对所述频域亮度分量信息中的每一像素点进行光流场插值运算，得到稠密光流场；
跟踪所述多类特征点中每一类特征点的运动轨迹，得到多个动作层，每一类特征点对应一个动作层；
对所述多个动作层进行纹理填充，并将纹理填充后的所述多个动作层中的预设层进行放大处理，得到放大处理后的所述频域亮度分量。
可选地，每一振动参数集对应所述目标对象的一个部件；
在所述依据所述至少一个振动参数集确定所述目标对象的故障信息方面，所述显示单元303具体用于：
将振动参数集i进行取均方差，得到目标均方差，所述振动参数集i为所述至少一个振动参数集中的任一振动参数集；
按照预设的均方差与故障信息之间的映射关系，确定所述目标均方差对应的所述目标故障信息。
可选地，如图3B，图3B为图3A所描述的故障检测装置的又一变型结构，其与图3A相比较，还可以包括：拟合单元304和确定单元305，具体如下：
拟合单元304，用于将振动参数集i进行线性拟合，得到目标拟合函数，所述目标拟合函数包括横轴为时间，纵轴为与所述振动参数集i中的至少一个振动参数相关；
确定单元305，用于依据所述目标拟合函数预估所述振动参数集i对应的部件的维护信息。
可以理解的是，本实施例的故障检测装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
与上述一致地，请参阅图4，为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatile memory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：
上述处理器3000，用于：
获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；
依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；
依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
可以看出，通过本申请实施例的所描述的电子设备，获取针对目标对象的第一视频序列，第一视频序列为RGB视频图像，依据第一视频序列提取目标对象对应的至少一个振动参数集，依据至少一个振动参数集确定目标对象的目标故障信息，并在显示界面展示目标故障信息，如此，可以从视频图像中提取到振动参数，并依据振动参数分析出故障信息，能够快速识别出故障信息，提升了故障检测效率。
可选地，在所述依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集方面，上述处理器3000具体用于：
将所述第一视频序列进行颜色空间变换，得到变换后的所述第一视频序列；
对变换后的所述第一视频序列进行分离，得到亮度分量信息和色度分量信息；
对所述亮度分量信息进行傅里叶变换，得到频域亮度分量信息；
对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量；
对所述放大处理后的所述频域亮度分量进行反傅里叶变换，得到时域亮度分量信息；
将所述时域亮度信息和所述色度分量信息进行合成，得到合成视频序列；
对所述合成视频序列进行所述颜色空间变换对应的反变换，得到第二视频序列；
依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集。
可选地，在所述依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集方面，上述处理器3000具体用于：
确定所述第二视频序列对应的帧序列间的交叉互功率谱；
对所述交叉互功率谱进行插值滤波处理，得到处理后的所述交叉互功率谱；
对处理后的所述交叉互功率谱进行反傅里叶变换，并逐相位比较，得到所述目标对象对应的至少一个振动参数集。
可选地，在所述对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量方面，上述处理器3000具体用于：
对所述频域亮度分量信息进行特征点提取，得到特征点集；
对所述特征点集进行聚类，得到多类特征点；
对所述频域亮度分量信息中的每一像素点进行光流场插值运算，得到稠密光流场；
跟踪所述多类特征点中每一类特征点的运动轨迹，得到多个动作层，每一类特征点对应一个动作层；
对所述多个动作层进行纹理填充，并将纹理填充后的所述多个动作层中的预设层进行放大处理，得到放大处理后的所述频域亮度分量。
可选地，每一振动参数集对应所述目标对象的一个部件；
在所述依据所述至少一个振动参数集确定所述目标对象的故障信息方面，上述处理器3000具体用于：
将振动参数集i进行取均方差，得到目标均方差，所述振动参数集i为所述至少一个振动参数集中的任一振动参数集；
按照预设的均方差与故障信息之间的映射关系，确定所述目标均方差对应的所述目标 故障信息。
可选地，上述处理器3000还具体用于：
将振动参数集i进行线性拟合，得到目标拟合函数，所述目标拟合函数包括横轴为时间，纵轴为与所述振动参数集i中的至少一个振动参数相关；
依据所述目标拟合函数预估所述振动参数集i对应的部件的维护信息。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种故障检测方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例上述任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (15)
Hide Dependent
translated from
Claims (15)
Hide Dependent
translated from
- 一种故障检测方法，其特征在于，包括：获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
- 根据权利要求1所述的方法，其特征在于，所述依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集，包括：将所述第一视频序列进行颜色空间变换，得到变换后的所述第一视频序列；对变换后的所述第一视频序列进行分离，得到亮度分量信息和色度分量信息；对所述亮度分量信息进行傅里叶变换，得到频域亮度分量信息；对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量；对所述放大处理后的所述频域亮度分量进行反傅里叶变换，得到时域亮度分量信息；将所述时域亮度信息和所述色度分量信息进行合成，得到合成视频序列；对所述合成视频序列进行所述颜色空间变换对应的反变换，得到第二视频序列；依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集。
- 根据权利要求2所述的方法，其特征在于，所述依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集，包括：确定所述第二视频序列对应的帧序列间的交叉互功率谱；对所述交叉互功率谱进行插值滤波处理，得到处理后的所述交叉互功率谱；对处理后的所述交叉互功率谱进行反傅里叶变换，并逐相位比较，得到所述目标对象对应的至少一个振动参数集。
- 根据权利要求2或3所述的方法，其特征在于，所述对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量，包括：对所述频域亮度分量信息进行特征点提取，得到特征点集；对所述特征点集进行聚类，得到多类特征点；对所述频域亮度分量信息中的每一像素点进行光流场插值运算，得到稠密光流场；跟踪所述多类特征点中每一类特征点的运动轨迹，得到多个动作层，每一类特征点对应一个动作层；对所述多个动作层进行纹理填充，并将纹理填充后的所述多个动作层中的预设层进行放大处理，得到放大处理后的所述频域亮度分量。
- 根据权利1-4任一项所述的方法，其特征在于，每一振动参数集对应所述目标对象的一个部件；所述依据所述至少一个振动参数集确定所述目标对象的故障信息，包括：将振动参数集i进行取均方差，得到目标均方差，所述振动参数集i为所述至少一个振动参数集中的任一振动参数集；按照预设的均方差与故障信息之间的映射关系，确定所述目标均方差对应的所述目标故障信息。
- 根据权利要求5所述的方法，其特征在于，所述方法还包括：将振动参数集i进行线性拟合，得到目标拟合函数，所述目标拟合函数包括横轴为时间，纵轴为与所述振动参数集i中的至少一个振动参数相关；依据所述目标拟合函数预估所述振动参数集i对应的部件的维护信息。
- 一种故障检测装置，其特征在于，包括:获取单元，用于获取针对目标对象的第一视频序列，所述第一视频序列为RGB视频图像；提取单元，用于依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集；显示单元，用于依据所述至少一个振动参数集确定所述目标对象的目标故障信息，并在显示界面展示所述目标故障信息。
- 根据权利要求7所述的装置，其特征在于，在所述依据所述第一视频序列提取所述目标对象对应的至少一个振动参数集方面，所述提取单元具体用于：将所述第一视频序列进行颜色空间变换，得到变换后的所述第一视频序列；对变换后的所述第一视频序列进行分离，得到亮度分量信息和色度分量信息；对所述亮度分量信息进行傅里叶变换，得到频域亮度分量信息；对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量；对所述放大处理后的所述频域亮度分量进行反傅里叶变换，得到时域亮度分量信息；将所述时域亮度信息和所述色度分量信息进行合成，得到合成视频序列；对所述合成视频序列进行所述颜色空间变换对应的反变换，得到第二视频序列；依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集。
- 根据权利要求8所述的装置，其特征在于，在所述依据所述第二视频序列确定所述目标对象对应的至少一个振动参数集方面，所述提取单元具体用于：确定所述第二视频序列对应的帧序列间的交叉互功率谱；对所述交叉互功率谱进行插值滤波处理，得到处理后的所述交叉互功率谱；对处理后的所述交叉互功率谱进行反傅里叶变换，并逐相位比较，得到所述目标对象对应的至少一个振动参数集。
- 根据权利要求8或9所述的装置，其特征在于，在所述对所述频域亮度分量信息进行运动放大处理，得到放大处理后的所述频域亮度分量方面，所述提取单元具体用于：对所述频域亮度分量信息进行特征点提取，得到特征点集；对所述特征点集进行聚类，得到多类特征点；对所述频域亮度分量信息中的每一像素点进行光流场插值运算，得到稠密光流场；跟踪所述多类特征点中每一类特征点的运动轨迹，得到多个动作层，每一类特征点对应一个动作层；对所述多个动作层进行纹理填充，并将纹理填充后的所述多个动作层中的预设层进行放大处理，得到放大处理后的所述频域亮度分量。
- 根据权利7-10任一项所述的装置，其特征在于，每一振动参数集对应所述目标对象的一个部件；在所述依据所述至少一个振动参数集确定所述目标对象的故障信息方面，所述显示单元具体用于：将振动参数集i进行取均方差，得到目标均方差，所述振动参数集i为所述至少一个振 动参数集中的任一振动参数集；按照预设的均方差与故障信息之间的映射关系，确定所述目标均方差对应的所述目标故障信息。
- 根据权利要求11所述的装置，其特征在于，所述装置还包括：拟合单元和确定单元，其中，所述拟合单元，用于将振动参数集i进行线性拟合，得到目标拟合函数，所述目标拟合函数包括横轴为时间，纵轴为与所述振动参数集i中的至少一个振动参数相关；所述确定单元，用于依据所述目标拟合函数预估所述振动参数集i对应的部件的维护信息。
- 一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
- 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。
- 一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-6任一项所述的方法。