WO2021036672A1 - 智能振动增强现实测试方法及相关产品 - Google Patents

智能振动增强现实测试方法及相关产品 Download PDF

Info

Publication number
WO2021036672A1
WO2021036672A1 PCT/CN2020/105796 CN2020105796W WO2021036672A1 WO 2021036672 A1 WO2021036672 A1 WO 2021036672A1 CN 2020105796 W CN2020105796 W CN 2020105796W WO 2021036672 A1 WO2021036672 A1 WO 2021036672A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
target
video
processor
feature point
Prior art date
Application number
PCT/CN2020/105796
Other languages
English (en)
French (fr)
Inventor
高风波
Original Assignee
深圳市广宁股份有限公司
深圳市豪视智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市广宁股份有限公司, 深圳市豪视智能科技有限公司 filed Critical 深圳市广宁股份有限公司
Publication of WO2021036672A1 publication Critical patent/WO2021036672A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

一种智能振动增强现实测试方法,包括:摄像头(101)获取被检测物体的初始振动视频,被检测物体包括汽车天窗部件(201);处理器从初始振动视频中,确定出汽车天窗部件的目标特征点的振动信息,被检测物体包括至少一个振动特征点,目标特征点为至少一个振动特征点中的任一个(202);处理器根据振动信息,采用预设的振动放大方法,对初始振动视频进行振动放大处理,得到汽车天窗部件的目标振动视频(203);显示器展示目标振动视频(204)。还公开了振动增强现实测试装置、终端和计算机可读存储介质,能够减少测试分析时的成本。

Description

智能振动增强现实测试方法及相关产品
本申请要求于2019年08月31日提交中国专利局、申请号为201910819912.4、申请名称为“智能振动增强现实测试方法及相关产品”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及互联网技术领域,具体涉及一种智能振动增强现实测试方法及相关产品。
背景技术
互联网Internet属于传媒领域,又称国际网络,是网络与网络之间所串连成的庞大网络,这些网络以一组通用的协议相连,形成逻辑上的单一巨大国际网络。这种将计算机网络互相联接在一起的方法可称作“网络互联”,在这基础上发展出覆盖全世界的全球性互联网络称互联网,即是互相连接一起的网络结构。“互联网+”是创新2.0下的互联网发展的新业态,是知识社会创新2.0推动下的互联网形态演进及其催生的经济社会发展新形态。“互联网+”是互联网思维的进一步实践成果,推动经济形态不断地发生演变,从而带动社会经济实体的生命力,为改革、创新、发展提供广阔的网络平台。通俗的说,“互联网+”就是“互联网+各个传统行业”,但这并不是简单的两者相加,而是利用信息通信技术以及互联网平台,让互联网与传统行业进行深度融合,创造新的发展生态。它代表一种新的社会形态,即充分发挥互联网在社会资源配置中的优化和集成作用,将互联网的创新成果深度融合于经济、社会各域之中,提升全社会的创新力和生产力,形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。
传统的故障监测机制一般是采用本地化检测设备,如在专用房间布置激光多普勒测振仪LDVs,通过该设备进行本地化的振动检测,以及故障预测等,但是LDVs存在价格昂贵,使用环境受限(测试环境的温度、光照等环境影响会使测量结果严重变坏),测试区域小、难以实现远程监控等缺点,难以满足日益增多的各类场景中的智能化的振动检测需求。
振动是工程应用中非常常见的一个研究问题,据有关资料表明,有60%以上都是采用的振动检测的方法来进行设备的状态检测及故障诊断的。目前有许多针对振动信号的检测系统,采集方法基本上都是:通过将振动加速度信号传感器等安装在机械设备能够激发振动的部件上,且测试点的振动必须具有一定的代表性,能够准确的稳定的反映出激振力和发动机的振动幅度或频率等参数。经常传感器或仪器在制造、装配完毕之后,必须要对其设计的指标进行一系列的全面检测,以确定传感器或仪器实际使用性能的优劣,这整个过程是标定必经的过程。
由于振动的复杂性,加上测量现场复杂,现有的采用振动加速度信号传感器的方法进行振动采集,由于对设备进行检测时,需要安装很多组传感器,对于许多事先没有安装传感器的设备,采集这些数据需要现场专门布线,最后对采集的振动信息进行测试分析,导致了测试分析时的成本较高。
发明内容
本申请实施例提供一种智能振动增强现实测试方法及相关产品,能够减少测试分析时的成本。
具体的,本申请实施例所公开的振动检测方法中的数据传输流程可以基于互联网+技术,形成本地+云端或服务器的分布式智能化振动检测系统,一方面本地可以通过采集装置进行精确的原始影像采集和预处理,另一方面云端或服务器可以基于获取到的分布式数据,结合通过大数据技术统计分析得到的各 类专用故障检测模型,预测被检测目标的故障,实现互联网与传统故障监测行业的深度融合,提高故障监测的智能性和准确度,满足日益增多的各类场景中的智能化的振动检测需求。
本申请实施例的第一方面提供了一种振动增强现实测试方法,应用于测试装置,所述测试装置包括摄像头、显示器和处理器,所述摄像头、显示器和所述处理器耦合连接,所述方法包括:
所述摄像头获取被检测物体的初始振动视频,所述被检测物体包括汽车天窗部件;
所述处理器从所述初始振动视频中,确定出所述汽车天窗部件的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个;
所述处理器根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到所述汽车天窗部件的目标振动视频;
所述显示器展示所述目标振动视频。
本申请实施例的第二方面提供了一种振动增强现实测试装置,应用于测试装置,所述测试装置包括摄像头、显示器和处理器,所述摄像头、显示器和所述处理器耦合连接,所述振动增强现实测试装置包括获取单元、确定单元、放大单元和展示单元,其中,
所述获取单元,用于获取被检测物体的初始振动视频,所述被检测物体包括汽车天窗部件;
所述确定单元,用于从所述初始振动视频中,确定出所述汽车天窗部件的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个;
所述放大单元,用于根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到所述汽车天窗部件的目标振动视频;
所述展示单元,用于展示所述目标振动视频。
本申请实施例的第三方面提供一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,至少具有如下有益效果:
本申请实施例中,通过获取被检测物体的初始振动视频,从所述初始振动视频中,确定出所述被检测物体的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个,根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到目标振动视频,展示所述目标振动视频,因此,相对于现有方案中,采用振动加速度信号传感器的方法进行被检测物体的振动采集,由于对设备进行检测时,需要安装很多组传感器,能够仅通过对初始振动视频进行采集,并的对视频中被检测物体的振动信息进行提取,根据振动信息对初始振动视频进行放大处理,得到目标振动视频,目标视频中可以对目标物体的振动进行放大展示,从而能够根据振动信息,对振动视频中的振动进行放大处理并展示,能够一定程度减少振动信息测试分析时的成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供了一种振动增强现实测试系统的结构示意图;
图2A为本申请实施例提供了一种振动增强现实测试方法的流程示意图;
图2B为本申请实施例提供的一种图像帧分区策略的示意图;
图2C为本申请实施例提供了一种一个像素点的灰度值时域变化波形图的示意图;
图3为本申请实施例提供了另一种振动增强现实测试方法的流程示意图;
图4为本申请实施例提供了另一种振动增强现实测试方法的流程示意图;
图5为本申请实施例提供的一种终端的结构示意图;
图6为本申请实施例提供了一种振动增强现实测试装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子装置。
为了更好的理解本申请实施例提供的一种振动增强现实测试方法,下面首先对应用振动增强现实测试方法的振动增强现实测试系统进行简要介绍。请参阅图1,图1为本申请实施例提供了一种振动增强现实测试系统的结构示意图。如图1所示,展示系统包括摄像头101和展示子系统102,展示子系统102包括显示器和处理器,其中,摄像头101获取被检测物体的初始振动视频,摄像头101将初始振动视频发送给展示子系统102,展示子系统102从初始振动视频中,确定出该被检测物体的目标特征点的振动信息,被检测物体包括至少一个振动特征点,目标特征点为至少一个振动特征点中的任一个,展示子系统102根据振动信息,采用预设的振动放大方法,对初始振动视频进行振动放大处理,得到目标振动视频,展示子系统102展示该目标振动视频,因此,相对于现有方案中,采用振动加速度信号传感器的方 法进行被检测物体的振动采集,由于对设备进行检测时,需要安装很多组传感器,能够仅通过对初始振动视频进行采集,并的对视频中被检测物体的振动信息进行提取,根据振动信息对初始振动视频进行放大处理,得到目标振动视频,目标视频中可以对目标物体的振动进行放大展示,从而能够根据振动信息,对振动视频中的振动进行放大处理并展示,能够一定程度减少测试分析时的成本。
请参阅图2A,图2A为本申请实施例提供了一种振动增强现实测试方法的流程示意图。如图2A所示,测试方法应用于测试装置,测试装置包括摄像头、显示器和处理器,摄像头、显示器和处理器耦合连接,展示方法包括步骤201-204,具体如下:
201、摄像头获取被检测物体的初始振动视频,被检测物体包括汽车天窗部件。
其中,在获取被检测物体的初始振动视频时,可以通过摄像头进行拍摄得到。被检测物体具有周期性振动的设备,例如可以是:工业电动机、汽车发动机等。摄像头可以设置在与被检测物体具有一定距离的位置,一定距离为通过经验值或历史数据设定。摄像头在拍摄初始振动视频时,摄像头和被检测物体具有如下状态:
1)、被检测设备在筛查前已处在理想的工作环境下,以确保相对稳定的固有振动频率和检测环境;
2)、该初始振动视频是在光线没有直接照射被检测物体表面的环境下拍摄的;
3)、被检测设备和摄像头都不受其它微小振动的影响。
可选的,理想的工作环境可以理解为在通过经验值所设定的工作环境。其它微小振动例如可以是由于人为造成的振动,例如,将摄像头放置于桌面,人触碰到桌子而产生的振动。
可选的,初始振动视频为未经过放大处理的,直接通过摄像头获取到的视频,其中,被检测物体的一些微小振动不容易被观测到。初始振动视频包括多个视频帧。
202、处理器从初始振动视频中,确定出汽车天窗部件的目标特征点的振动信息,被检测物体包括至少一个振动特征点,目标特征点为至少一个振动特征点中的任一个。
可选的,目标特征点可以为:被检测物体的环境影像在视频采集过程中处于相对静止的点中的一个或多个点。环境影像例如可以是,被检测物体所处的环境的影像,例如背景影像等。
203、处理器根据振动信息,采用预设的振动放大方法,对初始振动视频进行振动放大处理,得到汽车天窗部件的目标振动视频。
其中,振动信息可以为目标特征点的振动频谱图。
可选的,对初始振动视频进行振动放大处理可以为:对初始振动视频中的目标特征点的振动波形的幅值进行放大处理,从而实现将目标特征点的振动进行放大的目的。其中,该放大处理为局部放大处理,当然也可以为整体放大处理,例如,视频中所有的点均为目标特征点,则呈现的效果便为整体放大效果。
204、显示器展示目标振动视频。
可选的,展示目标振动视频的方法可以为:通过电子装置的显示屏进行展示,可以采用实时展示的方式进行展示,可以将视频进行存储,在接收到展示指令时,进行展示。展示指令可以由用户发出的指令,用户可以通过点击电子装置中响应的展示指令生成按钮等发出展示指令,当然,还可以通过其它方式发出展示指令,例如,通过另外的电子装置发出展示指令,该电子装置将指令转发到存储有目标振动视频的电子装置。
本示例中,采用摄像头进行视频采集,并根据视频信息得到振动信息,最后将振动信息通过视频进行展示,相对于现有方案中,采用振动加速度信号传感器的方法进行被检测物体的振动采集,由于对设备进行检测时,需要安装很多组传感器,能够仅通过对初始振动视频进行采集,并的对视频中被检测物 体的振动信息进行提取,根据振动信息对初始振动视频进行放大处理,得到目标振动视频,目标视频中可以对目标物体的振动进行放大展示,从而能够根据振动信息,对振动视频中的振动进行放大处理并展示,能够一定程度减少振动信息获取以及展示时的成本。
一个可能的实施例中,初始振动视频中包括多个视频帧,目标视频帧中的目标特征点包括至少一个目标像素点,目标视频帧为该多个视频帧中的任一个,一种可能的从初始振动视频中,确定出被检测物体的目标特征点的振动信息,可包括步骤A1-A8,具体如下:
A1、处理器确定出汽车天窗部件的参考振动区域;
A2、处理器从多个视频帧中随机确定出至少一个参考视频帧;
A3、处理器根据至少一个参考视频帧,确定出参考特征点,参考特征点为被检测物体的环境影像在视频采集过程中处于相对静止的点;
A4、处理器根据参考特征点、初始振动视频和预设的特征点获取方法,从参考振动区域中确定出目标特征点,目标特征点包括至少一个像素点;
A5、处理器从多个视频帧中,获取至少一个目标像素点的亮度信息;
A6、处理器根据亮度信息,确定出至少一个目标像素点中的每个目标像素点的多个亮度变化因素;
A7、处理器采用预设的亮度因素确定方法,从每个目标像素点的多个亮度变化因素中确定出每个目标特征像素点的目标亮度变化因素;
A8、处理器根据每个目标特征像素点的目标亮度变化因素,确定出目标特征点的振动信息。
可选的,一种可能的确定出参考振动区域的方法包括:处理器获取汽车天窗部件的振动音频;处理器根据振动音频确定出汽车天窗部件的参考振动区域。其中,处理器获取天窗部件的振动音频的方法可以为通过音频采集器获取振动音频,在获取时其可以在天窗部件的周围进行移动,边移动边采集的方式进行采集振动音频,当然还可以是将音频采集器固定在车内的一个位置,通过固定的位置采集振动音频。根据振动音频确定参考振动区域的方法可以为:根据音频信息确声音的音频产生部位,将该音频产生部位的为圆心,预设半径的圆形区域作为参考振动区域。预设半径通过经验值或历史数据设定。根据音频信息确定声音的音频产生部位的方法可以根据音频的音量大小确定,靠近音频产生部位的音量较大,远离音频产生部位的音量较小。
可选的,另一种可能的确定参考振动区域的方法包括:处理器查询预设的天窗异响数据库,获取天窗异常的至少一个参考位置;处理器根据至少一个参考位置确定出汽车天窗部件的参考振动区域。其中,天窗异响数据库中包括天窗异常的至少一个参考位置,该参考位置为天窗部件容易产生异常声响的部位,为通过经验值或历史数据设定。从至少一个参考位置中确定出参考振动区域的方法可以为:可以根据天窗部件的振动音频进行确定,根据接收振动音频的方向确定出参考振动区域,此时,采集振动音频的音频采集器的位置为固定位置。根据接收振动音频的方向确定出参考振动区域的方法为:将位于该方向上的参考振动位置作为参考振动区域。
一种可能的根据参考特征点、目标视频、以及预设的运动特征点提取策略,提取振动物体的影像中稳定的多个运动特征点的方法可以为:
将目标视频帧中的至少一帧图像包括的每一帧图像进行矩形分区,并将分区根据N*N组合成多个基础分区;检测每一个基础分区中的边缘分区是否包含相对运动特征点,相对运动特征点为针对参考特征点进行相对运动的运动特征点;若不包含,则确定基础分区中不包含目标特征点;若包含,则确定相对运动特征点的运动距离是否处于预设范围,若是,则确定相对运动特征点为目标特征点。
具体地,对于目标视频来说,除了拍摄到待检测物体的振动画面,还包括一些相对静止的背景图像,例如拍摄电线的晃动时,周围的房屋;拍摄引擎振动时,室内建筑地面等。获取相对静止状态的物体上的点作为参考特征点,然后根据预设的运动特征点提取策略,提取振动物体的影像中目标特征点。
对于目标视频中的至少一帧图像来说,并不是每个区域都包含运动的点,如果对图像帧中的每个区域进行一一排查,获得稳定的运动特征点,需要耗费大量的时间。那么,可以采用适当的分区策略提取运动特征点以提升效率。请参阅图2B,图2B为本申请实施例提供的一种图像帧分区策略,如图2B所示,可以按照每一个像素对每一帧图像进行矩形分区,一个分区对应一个像素,如分区21,然后将分区根据N*N组合成多个基础分区,N为大于2的整数。例如当N=3时,获得基础分区22,然后检测每一个基础分区中的边缘分区是否包含相对运动特征点,如基础分区22中,检测黑色圆点标记的边缘分区,若其中不包含相对运动特征点,则确定基础分区22中不包含稳定的运动特征点。
若边缘分区中包含相对运动特征点,则确定相对运动特征点的运动距离是否处于预设范围,目标特征点表征振动物体做往复运动,那么其对应的运动距离处于一定的范围内。当运动特征点的运动距离超出了预设范围,则认为该运动特征点是剧烈运动的点,不能判定为目标特征点。预设范围的获取方法,可以根据经验值确定,也可以对所有相对运动特征点的运动距离进行聚类,获得一个包含数据量最多的类簇,然后根据收敛值确定运动距离的预设范围,若收敛值为0.9,那么运动距离中90%满足的数值范围即为预设范围。
本示例中,通过预先选取参考特征点,参考特征点为相对静止的点,然后根据参考特征点等确定出目标特征点,从而能够自动的获取目标特征点,同时,通过参考特征点的方式来确定出目标特征点,也能够提升获取目标特征点时的准确性。
另一种根据参考特征点、初始振动视频和预设的特征点获取方法,从参考振动区域中确定出目标特征点的方法包括步骤A41-A43,具体如下:
A41、根据汽车天窗部件的滑动行程将多个视频帧分成多个视频帧集合,每个视频帧集合包括至少一个视频帧,且每个视频帧集合对应汽车天窗的一段滑动轨迹,且不同视频帧集合对应的滑动轨迹的方向不同;
A42、针对每个视频帧集合进行跳帧检测,确定需要进行振动特征点筛选的视频帧集合;
A43、根据确定视频帧集合中的视频帧、参考特征点和采用预设的特征点获取方法,从参考振动区域中确定出目标特征点。
其中,汽车天窗部件的滑动行程可以理解为,将该汽车天窗部件进行开启和关闭的行程,开启和关闭时滑动轨迹的方向不同,在进行视频帧采集时,可以在预设时间段内采集该汽车天窗部件连续多次开启和关闭的过程的视频帧。预设时间段通过经验值或历史数据设定。
可选的,将多个视频帧分成多个视频帧集合的方法可以为:将在一次开启或关闭过程中滑动轨迹的方向相同,且滑动行程相同的视频帧归为一个视频帧集合。
可选的,针对每个视频帧集合进行跳帧检测确定需要进行振动特征点筛选的视频帧集合的方法可以为:判断同一段行程在开启或关闭时的视频帧集合的首位位置视频帧是否具有振动,若具有振动,则将该视频帧确定为需要进行振动特征点筛选的视频帧集合。其中,首位位置视频帧可以理解为对同一段行程进行视频拍摄时的第一个视频帧。判断首位位置视频帧是否具有振动是否具有振动可以理解为:判断视频帧是否相同,若相同,则可以确定为未振动,若不同,则确定为具有振动。
可选的,根据确定视频帧集合中的视频帧、参考特征点和采用预设的特征点获取方法,从参考振动 区域中确定出目标特征点的方法可以参照前述实施例中确定目标特征点的方法进行获取。
可选的,由于目标特征点为选取的特征点,则在其位置处,会由一个或多个目标像素点组合而成,目标特征点的位置在每个视频帧中可能会发生变化,则构成目标特征点的目标像素点也会发生变化。在获取至少一个目标像素点的亮度信息时,其可能会是不同的像素点的亮度信息,但是不同的视频帧中目标特征点的像素点之间具有对应关系,该对应关系,可以直接由目标特征点的进行确定。
可选的,亮度信息可以通过灰度值进行表示,不同的灰度值可以表征不同的亮度信息。
可选的,根据亮度信息,确定至少一个目标像素点的多个亮度变化因素的方法可以为:根据亮度信息,采用光流法确定出多个亮度变化因素,每个亮度变化因素可以通过波形进行表示,亮度变化因素可以为由振动而产生的变化因素,也可以是由光线变化、位置变化等而产生的变化因素。其中,光流法可以用于跟踪感兴趣的区域内的多个点,由于运动的两个分量(垂直和水平),可以在跟踪过程中被检测到,所以选择分量进行分析检测变的非常重要,我们都注意到水平运动主要是由于动平衡摇摆引起的。因此,本文忽略了水平分量。而垂直分量信号可通过巴特沃斯带通数字滤波器,这个滤波器的频带可以被选择为0.75到2hz,当然,还可以是其它的频带值,此处仅为举例说明,不作具体限定。本申请中提出了预测的被测设备的力学模型频率范围,是由使用快速傅里叶变换的频谱分析得到的。预设的被测设备的力学模型频率范围,主要用于预测机械设备振动的对应功率。
可选的,一种可能的采用预设的亮度因素确定方法,从每个目标像素点的多个亮度变化因素中确定出每个目标特征像素点的目标亮度变化因素的方法包括步骤A71-A72,具体如下:
A71、处理器采用主成分分解法,对至少一个目标像素点的亮度变化因素进行主特征分析,得到满足预设特征的参考亮度变化因素;
A72、处理器对参考亮度变化因素进行滤波,得到目标亮度变化因素。
其中,主成分分解法(Principal Component Analysis,PCA)为一种降维处理方法,可以从多个亮度变化因素中,选取出具体的由振动引起的亮度变化因素。预设特征为,由振动引起的亮度变化。
可选的,对参考亮度变化因素进行滤波,得到目标亮度变化因素时,采用的滤波方法可以为插值滤波法等。
本示例中,采用主成分分解法,进行降维处理,得到参考亮度变化因素,再对参考亮度变化因素进行滤波处理,得到目标亮度变化因素,因此,采用主成分分解法进行降维处理,能够快速的得到参考亮度变化因素,从而能够一定程度上提升确定目标亮度变化因素时的效率。
在一个可能的实施例中,振动信息包括振动频谱图,一种可能的根据振动信息,采用预设的振动放大方法,对初始振动视频进行振动放大处理,得到目标振动视频的方法包括步骤B1-B4,具体如下:
B1、处理器从振动频谱图中获取目标特征点的多个参考振动模态信息;
B2、处理器从多个参考振动模态信息中确定出至少一个目标振动模态信息;
B3、处理器获取至少一个目标振动模态信息的目标放大倍数;
B4、处理器采用目标放大倍数对至少一个振动模态信息的幅度进行放大处理,得到目标振动视频。
其中,从振动频谱图中获取多个参考振动模态信息的方法可以为:根据振动频谱图,确定出目标特征点的振动波形的多个谐波分量,将该多个谐波分量作为多个参考振动模态信息。其中,振动频谱图中可以直接反应出每个谐波分量的波形,则可以直接从频谱图中确定出多个谐波分量。当然也可以通过振动频谱,得到目标特征点的振动波形表达式,对振动波形表达式进行泰勒展开得到泰勒展式,进行泰勒展开后,则可以直接从泰勒展式中提取出不同幂次的参数式,不同幂次的参数式即为谐波分量的波形表 达式。
可选的,从多个参考振动模态信息中确定出至少一个目标振动模态信息时,可以根据需要放大的振动的具体需求进行确定,例如,需要对2次谐波分量进行放大,则可以将参考振动模态信息中的2次谐波分量作为目标振动模态信息,根据需要放大的振动的具体需求进行确定可以通过经验值或历史数据进行确定。
可选的,获取至少一个目标振动模态信息的目标放大倍数时,可以从数据库中提取与被检测物体相对应的目标放大倍数,不同的被检测物体,可以具有不同的放大倍数,其具体可以通过,被检测物体与放大倍数之间的映射关系确定,该映射关系为通过经验值或历史数据建立,且预先存储与电子装置中。
可选的,在进行放大处理时,可以对振动模态信息的振幅进行放大处理,从而达到对振动信息进行放大的效果。目标特征点放大后的振动,可以通过人眼进行观测,从而可以提升视频展示方法的实用性。
本示例中,通过提取目标特征点的多个振动模态信息,并从振动模态信息中确定出目标振动模态信息,并对其进行振幅放大处理,从而能够将微小的振动放大成人眼可以看到的振动,从而可以提升视频展示方法的实用性。
一个可能的实施例中,本申请的方案中,还可以对参考振动模态信息进行滤波处理,一种可能的滤波方法包括步骤C1-C4,具体如下:
C1、处理器根据多个参考振动模态信息的频段,确定出与多个参考振动模态信息相对应的初始滤波带宽;
C2、处理器根据多个参考振动模态信息在初始振动视频中的位置,确定出与多个参考振动模态信息相对应的带宽修正因子;
C3、处理器根据初始滤波带宽和带宽修正因子,确定出与多个参考振动模态信息相对应的目标滤波带宽;
C4、处理器采用目标滤波带宽,对多个参考振动模态信息进行滤波,得到滤波后的多个参考振动模态信息。
其中,初始振动视频对应的画面中,不同位置的状态变化情况不同,对应的参考振动模态信息的频率分布也不同。如果用相同的滤波带宽进行滤波,那么为了避免有用信号被过滤,需要将滤波带宽设为较大值,但是这样有会导致噪声信号无法被过滤。而本申请的滤波方法中,根据各参考振动模态信息对应的频段确定个参考振动模态信息对应的初始滤波带宽,参考振动模态信息对应的频段与初始滤波带宽正相关,参考振动模态信息对应的频段越大,对应的初始滤波带宽越宽,可使得滤波带宽更好地与各参考振动模态信息适配,既能够有效地过滤噪声信号,也有助于避免有用信号被过滤,从而可以使得过滤效果更好。
例如,可以将B*(1-a)作为初始滤波带宽,B为各参考振动模态信息对应的频段,a可以根据实际需求确定,当需要得到更好的去燥效果时,可将a设为较大值,当需要获取到更多的有用信号时,可将a设定为较小值。当然,在其他实施例中,初始滤波带宽的设定方法不限于上述举例,在此不做限定。
可选的,初始振动视频中不同位置的振动对摄像头的运行状况的作用大小不一样。那么可根据各参考振动模态信息在检测视频中对应的位置确定参考振动模态信息对应的带宽修正因子。利用带宽修正因子来调整初始滤波带宽,使得滤波带宽更合理。
例如,可根据参考振动模态信息在检测视频中对应的位置的振动对摄像头的运行状况的作用大小,将初始振动视频对应的画面分为多个区域,并为每个区域设定预设带宽修正因子,这样在确定带宽修正 因子时,可直接获取各参考振动模态信息在检测视频中对应的位置所在的区域对应的预设带宽修正因子,并将预设带宽修正因子作为参考振动模态信息对应的带宽修正因子。这样可以快速准确的获得带宽修正因子。
可选的,用户可根据待检测装置的结构,对初始振动视频对应的画面中的各个区域设定带宽加权系数,然后将预设带宽修正因子与带宽加权系数的乘积作为对应的区域的相关的带宽修正因子,这样使得得到的各个相关峰的滤波带宽更加合理。例如,摄像头中某些关键部位的振动相对其他部位更加能够反应摄像头的运行状况,那么可将该关键部位在初始振动视频的画面中对应的区域的带宽加权系数设定为较大值,使得滤波带宽更大,从而可以提取到更多的有用信息。
可选的,一种可能的根据初始滤波带宽和带宽修正因子,确定出与多个参考振动模态信息相对应的目标滤波带宽方法为:将宽带修正因子乘以初始滤波带宽,得到目标滤波带宽。
本示例中,通过上述方法得到的目标滤波带宽,综合考虑了相关峰在初始振动视频中对应的位置及参考振动模态信息对应的频段,使得滤波带宽与每个参考振动模态信息更加适配,从而有助于从各参考振动模态信息中提取出有用的状态变化信号。
一个可能的实施例中,还可以对振动信息进行分析,得到异常振动概率值;若异常振动概率值高于预设的异常振动概率值阈值,则发出告警信息。其中,对振动信息进行分析,得到振动姿态信息的方法可以为:将振动频谱图与预设的振动频谱图进行比对,得到振动频谱图与预设的振动频谱图之间的相似度;根据该相似度,确定出异常振动概率值。振动频谱图与预设的振动频谱图进行比对的方法可以为:对振动频谱图进行特征提取,得到特征数据;将该特征数据与预设的振动频谱的特征数据进行比对,得到相似度。进行特征提取时,可以采用特征提取算法进行提取,例如:方向梯度直方图、局部二值模式等算法。根据该相似度,确定出异常振动概率值的方法为,采用1减去该相似度得到的数值作为异常振动概率值。预设的异常振动概率值阈值可以通过经验值或历史数据设定。告警信息例如可以是:语音告警信息、震动告警信息等,此处仅为举例说明,不作具体限定。
在一个可能的实施例中,用户可以通过点击电子装置的显示屏的方式,来点击一个特征点,从而在该特征点处对振动信息进行展示,具体包括步骤D1-D3,如下所示:
D1、处理器接收用户输入的触控指令;
D2、处理器根据触控指令,从至少一个振动特征点中确定出需要进行振动信息展示的待展示特征点;
D3、处理器展示待展示特征点的振动信息。
其中,接收用户输入的触控指令可以为:用户点击目标视频的特定位置,从而通过点击的方式输入触控指令。特定位置可以为振动特征点所在的位置,也可以是视频中其它的位置,此处不作具体限定。
可选的,可以根据触控指令所触控的位置,来确定出待展示特征点。例如,触控位置与振动特征点的位置重合,则将该振动特征点作为待展示特征点。
可选的,展示待展示特征点的振动信息的方式可以为:在该待展示特征点的位置通过弹窗的方式展示振动信息,振动信息可以为振动波形图、振动频谱图、振动参数等。
在一个可能的实施例中,用户可以佩戴增强现实眼镜,对被检测物体进行振动数据测试,该方法包括步骤E1-E6,具体如下:
E1、处理器用户佩戴增强现实眼镜,开启振动数据测试模式,该增强现实眼镜对待检测物体进行视频采集,将采集的视频通过无线的方式发送到云端服务器;
E2、处理器云端服务器接收到该视频后,从该视频中确定出被检测物体的目标特征点的振动信息, 被检测物体包括至少一个振动特征点,目标特征点为至少一个振动特征点中的任一个;
E3、处理器将每个特征点的振动信息发送到该增强现实眼镜;
E4、处理器接收用户的触控指令;
E5、处理器根据触控指令确定出需要进行振动信息展示的振动特征点;
E6、处理器展示该振动特征点的振动信息。
其中,振动数据测试模式可以理解为,对被检测物体进行振动视频采集的状态,开启后,可以对被检测物体进行振动视频采集。
可选的,步骤E2可以参照前述步骤202的具体实现过程,步骤E4、E5可以参照上述步骤D1、D2的具体实现方式。
可选的,展示该振动特征点的振动信息的方法可以为:在该增强现实眼镜上进行展示,在展示时,若眼镜的位置发生改变,则采集到的特征点在眼镜中的展示位置也发生相应的变化,则展示信息的位置会跟随特征点的移动而移动。
可选的,在接收到每个特征点的振动信息后,可以直接对每个特征点的振动信息进行展示,展示于增强现实眼镜上。
可选的,为了提升增强现实眼镜与云端服务器之间进行通信时的安全性,可以通过如下方法提升安全性:
在进行数据传输前,建立安全通信通道,通过安全通信通道进行数据传输,一种可能的建立安全通信通道的方法涉及云端服务器、增强现实眼镜和代理设备,代理设备为可信的第三方设备,具体包括如下步骤:
S1、初始化:初始化阶段主要完成云端服务器、增强现实眼镜在代理设备的注册,主题的订阅以及系统参数的生成。云端服务器、增强现实眼镜向代理设备进行注册,只有通过注册的云端服务器和增强现实眼镜才能参与主题的发布与订阅,增强现实眼镜向代理设备订阅相关主题。代理设备生成系统公开参数(PK)及主密钥(MSK),将PK发送给已注册的云端服务器和增强现实眼镜。
S2、加密、发布:加密、发布阶段主要是云端服务器对要发布的主题对应的载荷进行加密,并发送给代理设备。首先云端服务器采用对称加密算法加密载荷,生成密文(CT),然后制定访问结构
Figure PCTCN2020105796-appb-000001
根据云端服务器生成的PK和
Figure PCTCN2020105796-appb-000002
加密对称密钥,最后将加密后的密钥和加密的载荷发送给代理设备。代理设备在接收到云端服务器发送的加密后的密钥与CT后,过滤并转发给该增强现实眼镜。
可选的,访问结构
Figure PCTCN2020105796-appb-000003
是一种访问树结构。访问树的每一个非叶子节点是一个门限,用K x表示,0<=K x<=num(x),num(x)表示其子节点数。当K x=num(x)时,非叶子节点代表与门;当K x=1时,非叶子节点代表或门;访问树的每一个叶子节点代表一种属性。属性集合满足一个访问树结构可以定义为:设T是以r为根节点的访问树,T x是以x为根节点的T的子树。如果T x(S)=1,则说明属性集合S满足访问结构T x。如果节点x是叶子节点,当且仅当叶子节点x关联的属性att(x)是属性集合S的元素时,T x(S)=1。若节点x是非叶子节点时,至少K x个子节点z满足T z(S)=1时,T x(S)=1。
S3、私钥生成:私钥生成阶段主要是代理设备为增强现实眼镜生成相应的密钥,用于解密其后收到的CT。增强现实眼镜向代理设备提供属性集合A i(属性可以是订阅端的特征,角色等信息),代理设备根据PK、属性集合A i以及主密钥MSK生成私钥SK,然后将生成的私钥发送到该增强现实眼镜。
可选的,属性集合A i为全局集合U={A 1,A 2,…,A n}的一个子集。属性集合A i表示增强现实眼镜i(第i个增强现实眼镜)的属性信息,可以是增强现实眼镜的特征、角色等,为增强现实眼镜的默认属 性,全局集合U表示所有增强现实眼镜属性信息的集合。
S4、解密:解密阶段主要是增强现实眼镜对加密载荷进行解密提取文明的过程。增强现实眼镜在接收到代理设备发送的加密后的密钥和CT后,根据PK以及SK解密加密后的密钥得到对称密钥。若其属性集合A i满足密文的访问结构
Figure PCTCN2020105796-appb-000004
则能成功解密密文,以此保障了通信过程的安全性。
通过构建安全通信通道,能够一定程度上提升增强现实眼镜与云端服务器之间通信的安全性,减少非法用户对合法增强现实眼镜与云端服务器之间传输的数据进行窃取的可能性,同时也减少了非法用户通过入侵系统、篡改系统,使得系统中的重要数据遭到窃取的情况的发生。
在一个可能的实施例中,在对振动信息进行展示后,还可以对振动数据进行分析,判别出振动的类型,例如正常振动或异常振动,振动数据包括振动波形图,该振动波形图可以通过振动频谱图变换得到,变换方法可以为傅里叶反变换法,异常分析方法可以包括步骤F1-F7,具体如下:
F1、处理器根据振动波形图,确定出至少一个振动极大值和至少一个振动极小值;
F2、处理器对至少一个振动极大值进行均值运算,得到目标振动极大值均值,对至少一个振动极小值进行均值运算,得到目标振动极小值均值;
F3、处理器若目标振动极大值均值处于预设的第一振动极值区间外,且目标振动极小值均值处于预设的第二振动极值区间外,则确定出振动数据为疑似异常振动数据,第一振动极值区间的最小值大于第二振动极值区间的最大值;
F4、处理器从至少一个振动极大值中确定出目标振动极大值,目标振动极大值为至少一个振动极大值中的最大值,从至少一个振动极小值中确定出目标振动极小值,目标振动极小值为至少一个振动极小值中的最小值;
F5、处理器将目标振动极大值与预设的振动极大值相减,得到第一差值,将目标振动极小值与预设的振动极小值相减,得到第二差值;
F6、处理器将第二差值的绝对值减去第一差值的绝对值,得到第三差值;
F7、处理器若第二差值的绝对值、第一差值均大于预设的第一差值阈值,且第三差值小于预设的第二差值阈值,则将疑似异常振动信息确定为异常振动信息,预设的第一差值阈值大于预设的第二差值阈值。
其中,根据振动波形,确定出振动极大值和振动极小值的方法可以为:通过微分的方法,确定出振动极大值和振动极小值。
可选的,第一振动极值区间、第二振动极值区间、预设的第一差值阈值和第二预设的差值阈值为通过经验值或历史数据设定。
本示例中,通过对振动波形图得到振动波形的极值,然后根据极值确定出振动数据为疑似异常振动数据,再根据目标振动极大值和目标振动极小值确定出该疑似异常振动数据为异常振动数据,通过两次异常数据的确定分析,能够一定程度上提升异常振动数据确定时的准确性。
在一个可能的实施例中,还可以获取天窗部件的受损信息,并对天窗部件的受损信息进行展示,该方法包括步骤G1-G4,具体如下:
G1、处理器根据参考振动区域,确定出汽车天窗部件的参考损坏区域;
G2、处理器根据目标特征点的振动信息,从参考损坏区域中确定出目标损坏区域;
G3、处理器采用预设的部件损坏确定方法,从目标损坏区域中确定出目标部件,目标部件为汽车天窗部件中已损坏的部件,以及目标部件的受损信息;
G4、显示器展示受损信息。
其中,可以对初始振动视频进行分析,从该参考振动区域中确定出汽车天窗部件的参考损坏区域。在确定参考损坏区域时,可以将该参考振动区域中,振动频率高于第一频率阈值的区域作为参考损坏区域,由于正常的汽车天窗部件在汽车遇到颠簸时,振动频率较低,则可以将将振动频率较高的区域作为参考损坏区域。也可以将参考振动区域中具有连接部件的区域作为参考损坏区域。连接部件例如可以为螺丝等。
可以根据振动信息进行确定,若振动信息的波形为异常振动波形,则可以将该目标特征点预设范围内的区域作为参考损坏区域,预设区域可以为该特征点为圆心,预设半径的圆形区域作为参考损坏区域。预设半径通过经验值或历史数据设定。
可选的,若目标特征点的振动频率高于第二频率阈值,则将该目标特征点所在的区域作为目标损坏区域。第一频率阈值小于第二频率阈值。
可选的,采用预设的部件损坏确定方法,从目标损坏区域中确定出目标部件的方法可以为:部件损坏确定模型确定出目标部件以及受损信息,部件损坏确定模型可以通过有监督学习方法或非监督学习方法训练而成。其在进行学习时的样本为:损坏区域、损坏部件和部件的受损信息。
本示例中,可以从参考振动区域中确定出参考损坏区域,从参考损坏区域中根据目标特征点的振动信息确定出目标损坏区域,最后确定出受损部件以及受损信息并进行展示,因此,可以对振动信息进行分析得到受损部件以及受损信息,并进行展示,可以直观的向用户展示该受损信息,提升用户进行受损信息排查时的效率。
在一个可能的实施例中,处理器可以从初始振动视频中的图像序列中筛选出,用于放大处理的至少一个图像序列,用于放大处理的图像序列中包括有振动特征点。初始振动视频中的图像序列也可以称为子带图像序列
可选的,一种可能的从初始振动视频中的图像序列中筛选出,用于放大处理的至少一个图像序列的方法包括:确定所述多个子带图像序列的前景图像和后景图像,所述前景图像包含所述被检测产品的发生往复运动的区域影像,所述后景图像为除所述被检测产品的影像之外的影像;确定所述前景图像在子带图像中的面积占比;根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量,并按照所述子分区数量划分所述前景图像为多个前景子分区;针对每个子带图像序列,执行以下操作(1)-(6)以得到所述每个子带图像序列的灰度值变化频率:(1)确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点;(2)根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图;(3)针对所述每个前景子分区执行如下(a)(b)(c)操作:(a)根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图,确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点;(b)若是,则标记所述当前处理的前景子分区为被选择的前景子分区;(c)若否,则标记所述当前处理的前景子分区为未被选择的前景子分区;(4)针对标记后的被选择的多个前景子分区,按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域;(5)确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点,以及确定每个参考像素点的灰度值变化频率;(6)加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率,得到所述当前处理的子带图像序列的灰度值变化频率;根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列。
其中,所述确定所述多个子带图像序列的前景图像和后景图像可以根据所述多个子带图像序列中每 个图像的像素点灰度值进行确定;还可以根据所述多个子带图像序列确定在所述初始振动视频中处于相对静止状态的参考特征点进行确定。其次,根据所述多个子带图像序列中的每个子带图像及每个子带图像的前景图像确定所述前景图像在子带图像的面积占比,以及根据所述面积占比和预设的计算公式计算得到每个前景图像的前景子分区数量,其中,所述前景图像的面积占比越大,所述前景子分区的数量越多。
具体实现中,得到所述多个前景子分区后,根据预设策略确定所述每个前景子分区的被测像素点,如图2C所示,图2C为一个像素点的灰度值时域变化波形图的示意图,其中,横轴为时间,纵轴为该像素点的灰度值,该图根据子带图像序列中每个子带图像的某个待测像素点的灰度值变化生成。
所述根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图,确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点,确定所述灰度值时域变化波形图存在周期性波动的波形时,确定该像素点的灰度值为周期性变化,则选择该像素点所在的前景子分区,并进行标记;将被标记的多个前景子分区根据区域关联性或图像色彩空间关联性进行拼接,得到振动参考区域。根据所述参考振动区域的像素点的灰度值变化确定所述参考振动区域中呈周期变化的多个像素点,根据公式计算每个参考像素点的灰度值变化频率,例如:H t1代表了t1时刻的某个像素点灰度值,H t2代表了t2时刻的该点的灰度值,该点的灰度值变化频率为
Figure PCTCN2020105796-appb-000005
对所述参考振动区域的多个像素点的灰度值变化频率进行加权计算,例如,所述参考振动区域的灰度值变化频率
Figure PCTCN2020105796-appb-000006
然后根据所述灰度值变化频率H确定所述当前处理的子带图像序列的灰度值变化频率;进而筛选得到符合预设参考振动频率的至少一个子带图像序列。或者在将至少一个子带图像序列中的不同时间跨度的所述灰度值变化频率H相加,得到多个不同的变化频率值,从所述多个不同的变化频率值中选择符合预设参考振动频率,确定符合预设参考振动频率的至少一个子带图像序列。
具体实现中,还可以进一步将被检测产品的初始振动视频分为多个子带图像序列,将多个图像序列分为多个图像分组,再确定处每个分组的像素点的灰度值,根据像素点的灰度值变化确定至少一个子带图像序列,进行放大处理。
可见,本示例中,振动检测设备能够基于子带图像序列中前景图像的面积占比确定检测像素点灰度值的图像区域,以提升对初始振动视频的处理效率,也避免了对更高分辨率图像进行放大的需要增加的运算量。
在一个可能的示例中,所述预设的子分区计算公式为:y=[5×2 x]其中,x为面积占比,y为子分区数量,x大于0且小于或等于1。
其中,所述预设公式的系数和底数可以根据所述子带图像的大小进行调整。
举例来说,当所述面积占比为50%时,所述分区数量为
Figure PCTCN2020105796-appb-000007
结果可以采取四舍五入取整数。
请参阅图3,图3为本申请实施例提供了另一种振动增强现实测试方法的流程示意图。如图3所示,该方法应用于测试装置,所述测试装置包括摄像头、显示器和处理器,所述摄像头、显示器和所述处理器耦合连接,振动增强现实测试方法包括步骤301-307,具体如下:
301、摄像头获取被检测物体的初始振动视频;
其中,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个,所述初始振动视频包括多个视频帧,目标视频帧中的目标特征点包括至少一个目标像素点,所述目标视频帧为所述多个视频帧中的任一个。
302、处理器从所述多个视频帧中,获取所述至少一个目标像素点的亮度信息;
303、处理器根据所述亮度信息,确定出所述至少一个目标像素点中的每个目标像素点的多个亮度变化因素;
304、处理器采用预设的亮度因素确定方法,从所述每个目标像素点的多个亮度变化因素中确定出每个目标特征像素点的目标亮度变化因素;
305、处理器根据每个目标特征像素点的目标亮度变化因素,确定出所述目标特征点的振动信息;
306、处理器根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到目标振动视频;
307、显示器展示所述目标振动视频。
本示例中,根据目标特征点的至少一个目标像素点的亮度信息,确定给出亮度变化因素,在根据亮度变化因素,得到振动信息,最后根据振动信息进行放大处理,得到目标视频,通过亮度信息来确定出振动信息,能够较为准确的确定出振动信息,从而可以一定程度上提升目标振动视频确定时的准确性。
请参阅图4,图4为本申请实施例提供了另一种振动增强现实测试方法的流程示意图。如图4所示,视频展示方法包括步骤401-407,具体如下:
401、摄像头获取被检测物体的初始振动视频;
402、处理器从所述初始振动视频中,确定出所述被检测物体的目标特征点的振动信息;
其中,所述振动信息包括振动频谱图,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个。
403、处理器从所述振动频谱图中获取所述目标特征点的多个参考振动模态信息;
404、处理器从所述多个参考振动模态信息中确定出至少一个目标振动模态信息;
405、处理器获取所述至少一个目标振动模态信息的目标放大倍数;
406、处理器采用所述目标放大倍数对所述至少一个振动模态信息的幅度进行放大处理,得到目标振动视频;
407、显示器展示所述目标振动视频。
本示例中,通过提取目标特征点的多个振动模态信息,并从振动模态信息中确定出目标振动模态信息,并对其进行振幅放大处理,从而能够将微小的振动放大成人眼可以看到的振动,从而可以提升视频展示方法的实用性。
与上述实施例一致的,请参阅图5,图5为本申请实施例提供的一种终端的结构示意图,如图所示,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,上述程序包括用于执行以下步骤的指令;
获取被检测物体的初始振动视频;
从所述初始振动视频中,确定出所述被检测物体的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个;
根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到目标 振动视频;
展示所述目标振动视频。
本示例中,通过获取被检测物体的初始振动视频,从所述初始振动视频中,确定出所述被检测物体的目标特征点的振动信息,根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到目标振动视频,展示所述目标振动视频,因此,相对于现有方案中,采用振动加速度信号传感器的方法进行被检测物体的振动采集,由于对设备进行检测时,需要安装很多组传感器,能够仅通过对初始振动视频进行采集,并的对视频中被检测物体的振动信息进行提取,根据振动信息对初始振动视频进行放大处理,得到目标振动视频,目标视频中可以对目标物体的振动进行放大展示,从而能够根据振动信息,对振动视频中的振动进行放大处理并展示,能够一定程度减少测试分析时的成本。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图6,图6为本申请实施例提供了一种振动增强现实测试装置的结构示意图。应用于测试装置,所述测试装置包括摄像头、显示器和处理器,所述摄像头、显示器和所述处理器耦合连接,所述振动增强现实测试装置包括获取单元601、确定单元602、放大单元603和展示单元604,其中,
所述获取单元601,用于获取被检测物体的初始振动视频,所述被检测物体包括汽车天窗部件;
所述确定单元602,用于从所述初始振动视频中,确定出所述汽车天窗部件的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个;
所述放大单元603,用于根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到所述汽车天窗部件的目标振动视频;
所述展示单元604,用于展示所述目标振动视频。
可选的,所述初始振动视频包括多个视频帧,目标视频帧中的目标特征点包括至少一个目标像素点,所述目标视频帧为所述多个视频帧中的任一个;
可选的,所述初始振动视频包括多个视频帧,在从所述初始振动视频中,确定出所述被检测物体的目标特征点的振动信息方面,确定单元602用于:
所述处理器确定出所述汽车天窗部件的参考振动区域;
所述处理器从所述多个视频帧中随机确定出至少一个参考视频帧;
所述处理器根据所述至少一个参考视频帧,确定出参考特征点,所述参考特征点为所述被检测物体的环境影像在视频采集过程中处于相对静止的点;
所述处理器根据所述参考特征点、所述初始振动视频和预设的特征点获取方法,从所述参考振动区 域中确定出所述目标特征点,所述目标特征点包括至少一个像素点;
所述处理器从所述多个视频帧中,获取所述至少一个目标像素点的亮度信息;
所述处理器根据所述亮度信息,确定出所述至少一个目标像素点中的每个目标像素点的多个亮度变化因素;
所述处理器采用预设的亮度因素确定方法,从所述每个目标像素点的多个亮度变化因素中确定出每个目标特征像素点的目标亮度变化因素;
所述处理器根据每个目标特征像素点的目标亮度变化因素,确定出所述目标特征点的振动信息。
可选的,所述初始振动视频包括所述汽车天窗在滑动过程中采集到的多个视频帧,在所述根据所述参考特征点、所述初始振动视频和预设的特征点获取方法,从所述参考振动区域中确定出所述目标特征点方面,所述确定单元602用于:
所述处理器根据所述汽车天窗部件的滑动行程将所述多个视频帧分成多个视频帧集合,每个视频帧集合包括至少一个视频帧,且每个视频帧集合对应所述汽车天窗的一段滑动轨迹,且不同视频帧集合对应的滑动轨迹的方向不同;
所述处理器针对所述每个视频帧集合进行跳帧检测,确定需要进行振动特征点筛选的视频帧集合;
所述处理器根据确定所述视频帧集合中的视频帧、所述参考特征点和采用预设的特征点获取方法,从所述参考振动区域中确定出所述目标特征点。
可选的,在所述确定出所述汽车天窗部件的参考振动区域方面,确定单元602用于:
所述处理器获取所述汽车天窗部件的振动音频;
所述处理器根据所述振动音频确定出所述汽车天窗部件的参考振动区域。
可选的,在所述确定出所述汽车天窗部件的参考振动区域方面,确定单元602用于:
所述处理器查询预设的天窗异响数据库,获取天窗异常的至少一个参考位置;
所述处理器根据所述至少一个参考位置确定出所述汽车天窗部件的参考振动区域。
可选的,振动增强现实测试装置还用于:
所述处理器根据所述参考振动区域,确定出所述汽车天窗部件的参考损坏区域;
所述处理器根据所述目标特征点的振动信息,从所述参考损坏区域中确定出目标损坏区域;
所述处理器采用预设的部件损坏确定方法,从所述目标损坏区域中确定出目标部件,所述目标部件为所述汽车天窗部件中已损坏的部件,以及所述目标部件的受损信息;
所述显示器展示所述受损信息。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种振动增强现实测试方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种振动增强现实测试方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

  1. 一种振动增强现实测试方法,其特征在于,应用于测试装置,所述测试装置包括摄像头、显示器和处理器,所述摄像头、显示器和所述处理器耦合连接,所述方法包括:
    所述摄像头获取被检测物体的初始振动视频,所述被检测物体包括汽车天窗部件;
    所述处理器从所述初始振动视频中,确定出所述汽车天窗部件的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个;
    所述处理器根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到所述汽车天窗部件的目标振动视频;
    所述显示器展示所述目标振动视频。
  2. 根据权利要求1所述的方法,其特征在于,所述初始振动视频包括多个视频帧,所述处理器从所述初始振动视频中,确定出所述被检测物体的目标特征点的振动信息,包括:
    所述处理器确定出所述汽车天窗部件的参考振动区域;
    所述处理器从所述多个视频帧中随机确定出至少一个参考视频帧;
    所述处理器根据所述至少一个参考视频帧,确定出参考特征点,所述参考特征点为所述被检测物体的环境影像在视频采集过程中处于相对静止的点;
    所述处理器根据所述参考特征点、所述初始振动视频和预设的特征点获取方法,从所述参考振动区域中确定出所述目标特征点,所述目标特征点包括至少一个像素点;
    所述处理器从所述多个视频帧中,获取所述至少一个目标像素点的亮度信息;
    所述处理器根据所述亮度信息,确定出所述至少一个目标像素点中的每个目标像素点的多个亮度变化因素;
    所述处理器采用预设的亮度因素确定方法,从所述每个目标像素点的多个亮度变化因素中确定出每个目标特征像素点的目标亮度变化因素;
    所述处理器根据每个目标特征像素点的目标亮度变化因素,确定出所述目标特征点的振动信息。
  3. 根据权利要求2所述的方法,其特征在于,所述初始振动视频包括所述汽车天窗在滑动过程中采集到的多个视频帧,所述处理器根据所述参考特征点、所述初始振动视频和预设的特征点获取方法,从所述参考振动区域中确定出所述目标特征点,包括:
    所述处理器根据所述汽车天窗部件的滑动行程将所述多个视频帧分成多个视频帧集合,每个视频帧集合包括至少一个视频帧,且每个视频帧集合对应所述汽车天窗的一段滑动轨迹,且不同视频帧集合对应的滑动轨迹的方向不同;
    所述处理器针对所述每个视频帧集合进行跳帧检测,确定需要进行振动特征点筛选的视频帧集合;
    所述处理器根据确定所述视频帧集合中的视频帧、所述参考特征点和采用预设的特征点获取方法,从所述参考振动区域中确定出所述目标特征点。
  4. 根据权利要求3所述的方法,其特征在于,所述处理器确定出所述汽车天窗部件的参考振动区域,包括:
    所述处理器获取所述汽车天窗部件的振动音频;
    所述处理器根据所述振动音频确定出所述汽车天窗部件的参考振动区域。
  5. 根据权利要求3所述的方法,其特征在于,所述处理器确定出所述汽车天窗部件的参考振动区 域,包括:
    所述处理器查询预设的天窗异响数据库,获取天窗异常的至少一个参考位置;
    所述处理器根据所述至少一个参考位置确定出所述汽车天窗部件的参考振动区域。
  6. 根据权利要求2至5任一项所述的方法,其特征在于,所述方法还包括:
    所述处理器根据所述参考振动区域,确定出所述汽车天窗部件的参考损坏区域;
    所述处理器根据所述目标特征点的振动信息,从所述参考损坏区域中确定出目标损坏区域;
    所述处理器采用预设的部件损坏确定方法,从所述目标损坏区域中确定出目标部件,所述目标部件为所述汽车天窗部件中已损坏的部件,以及所述目标部件的受损信息;
    所述显示器展示所述受损信息。
  7. 根据权利要求2或3所述的方法,其特征在于,所述处理器采用预设的亮度因素确定方法,从所述至少一个目标像素点的多个亮度变化因素中确定出每个目标特征像素点的目标亮度变化因素,包括:
    所述处理器采用主成分分解法,对所述至少一个目标像素点的亮度变化因素进行主特征分析,得到满足预设特征的参考亮度变化因素;
    所述处理器对所述参考亮度变化因素进行滤波,得到所述目标亮度变化因素。
  8. 一种振动增强现实测试装置,其特征在于,应用于测试装置,所述测试装置包括摄像头、显示器和处理器,所述摄像头、显示器和所述处理器耦合连接,所述振动增强现实测试装置包括获取单元、确定单元、放大单元和展示单元,其中,
    所述获取单元,用于获取被检测物体的初始振动视频,所述被检测物体包括汽车天窗部件;
    所述确定单元,用于从所述初始振动视频中,确定出所述汽车天窗部件的目标特征点的振动信息,所述被检测物体包括至少一个振动特征点,所述目标特征点为所述至少一个振动特征点中的任一个;
    所述放大单元,用于根据所述振动信息,采用预设的振动放大方法,对所述初始振动视频进行振动放大处理,得到所述汽车天窗部件的目标振动视频;
    所述展示单元,用于展示所述目标振动视频。
  9. 一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-6任一项所述的方法。
  10. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
PCT/CN2020/105796 2019-08-31 2020-07-30 智能振动增强现实测试方法及相关产品 WO2021036672A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910819912.4A CN110553714B (zh) 2019-08-31 2019-08-31 智能振动增强现实测试方法及相关产品
CN201910819912.4 2019-08-31

Publications (1)

Publication Number Publication Date
WO2021036672A1 true WO2021036672A1 (zh) 2021-03-04

Family

ID=68738775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/105796 WO2021036672A1 (zh) 2019-08-31 2020-07-30 智能振动增强现实测试方法及相关产品

Country Status (2)

Country Link
CN (1) CN110553714B (zh)
WO (1) WO2021036672A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675369B (zh) * 2019-04-26 2022-01-14 深圳市豪视智能科技有限公司 联轴器失配检测方法及相关设备
CN110553714B (zh) * 2019-08-31 2022-01-14 深圳市广宁股份有限公司 智能振动增强现实测试方法及相关产品
CN112161700B (zh) * 2020-09-18 2022-03-04 安徽江淮汽车集团股份有限公司 车窗玻璃升降噪声排查方法及装置
CN113467877B (zh) * 2021-07-07 2023-12-05 安徽容知日新科技股份有限公司 一种数据显示系统及方法
TWI804405B (zh) * 2022-08-04 2023-06-01 友達光電股份有限公司 振動偵測方法及振動偵測裝置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009103637A (ja) * 2007-10-25 2009-05-14 Hard Giken Kogyo Kk ノイズ聴診器
CN104048744A (zh) * 2014-07-08 2014-09-17 安徽常春藤光电智能科技有限公司 一种非接触式的基于影像的实时在线振动测量方法
CN104089697A (zh) * 2014-07-08 2014-10-08 安徽常春藤光电智能科技有限公司 一种基于线程池并发技术的实时在线的视觉振动测量方法
CN105424350A (zh) * 2015-12-19 2016-03-23 湖南科技大学 基于机器视觉的薄壁件模态测试方法及系统
CN108593087A (zh) * 2018-03-29 2018-09-28 湖南科技大学 一种薄壁件工作模态参数确定方法及系统
CN108731788A (zh) * 2018-05-22 2018-11-02 河海大学常州校区 一种高空作业臂低频振动视觉检测装置及方法
CN109341847A (zh) * 2018-09-25 2019-02-15 东莞青柳新材料有限公司 一种基于视觉的振动测量系统
CN109478059A (zh) * 2016-07-12 2019-03-15 三菱电机株式会社 诊断装置及诊断系统
CN110068388A (zh) * 2019-03-29 2019-07-30 南京航空航天大学 一种基于视觉和盲源分离的振动检测方法
CN110108348A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统
CN110553714A (zh) * 2019-08-31 2019-12-10 深圳市广宁股份有限公司 智能振动增强现实测试方法及相关产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3159919B2 (ja) * 1995-08-01 2001-04-23 キヤノン株式会社 カラーフィルタの製造装置及び製造方法及び着色むらの低減方法
JP4439852B2 (ja) * 1999-05-11 2010-03-24 株式会社半導体エネルギー研究所 密着型エリアセンサ
CN203552042U (zh) * 2013-11-13 2014-04-16 柳州职业技术学院 汽车异响故障自诊断系统
CN104215419B (zh) * 2014-09-18 2017-05-03 重庆长安汽车股份有限公司 汽车全景天窗遮阳帘的异响测试方法
CN105651377B (zh) * 2016-01-11 2018-12-07 衢州学院 一种基于视频数据挖掘的非接触式物体振动频率测量方法
CN205573881U (zh) * 2016-05-10 2016-09-14 张杰明 汽车智能保安系统
CN107222529B (zh) * 2017-05-22 2022-04-26 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
CN107068164B (zh) * 2017-05-25 2020-07-21 北京地平线信息技术有限公司 音频信号处理方法、装置和电子设备
CN108225537A (zh) * 2017-11-21 2018-06-29 华南农业大学 一种非接触式的基于高速摄影的微小物体振动测量方法
CN108492352B (zh) * 2018-03-22 2021-10-22 腾讯科技(深圳)有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN108960091B (zh) * 2018-06-20 2021-12-31 深圳市科迈爱康科技有限公司 监控系统、方法、可读存储介质及汽车
CN109062535B (zh) * 2018-07-23 2021-07-13 Oppo广东移动通信有限公司 发声控制方法、装置、电子装置及计算机可读介质
CN109520690A (zh) * 2018-10-30 2019-03-26 西安交通大学 一种基于视频的旋转机械转子模态振型全局测量装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009103637A (ja) * 2007-10-25 2009-05-14 Hard Giken Kogyo Kk ノイズ聴診器
CN104048744A (zh) * 2014-07-08 2014-09-17 安徽常春藤光电智能科技有限公司 一种非接触式的基于影像的实时在线振动测量方法
CN104089697A (zh) * 2014-07-08 2014-10-08 安徽常春藤光电智能科技有限公司 一种基于线程池并发技术的实时在线的视觉振动测量方法
CN105424350A (zh) * 2015-12-19 2016-03-23 湖南科技大学 基于机器视觉的薄壁件模态测试方法及系统
CN109478059A (zh) * 2016-07-12 2019-03-15 三菱电机株式会社 诊断装置及诊断系统
CN108593087A (zh) * 2018-03-29 2018-09-28 湖南科技大学 一种薄壁件工作模态参数确定方法及系统
CN108731788A (zh) * 2018-05-22 2018-11-02 河海大学常州校区 一种高空作业臂低频振动视觉检测装置及方法
CN109341847A (zh) * 2018-09-25 2019-02-15 东莞青柳新材料有限公司 一种基于视觉的振动测量系统
CN110068388A (zh) * 2019-03-29 2019-07-30 南京航空航天大学 一种基于视觉和盲源分离的振动检测方法
CN110108348A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统
CN110553714A (zh) * 2019-08-31 2019-12-10 深圳市广宁股份有限公司 智能振动增强现实测试方法及相关产品

Also Published As

Publication number Publication date
CN110553714B (zh) 2022-01-14
CN110553714A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
WO2021036672A1 (zh) 智能振动增强现实测试方法及相关产品
JP7265003B2 (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN111770427B (zh) 麦克风阵列的检测方法、装置、设备以及存储介质
CN112364439B (zh) 自动驾驶系统的仿真测试方法、装置以及存储介质
JP2021513170A (ja) モバイルネットワークにおけるトラフィックデータから監視されないなりすまし検出
CN109672853A (zh) 基于视频监控的预警方法、装置、设备及计算机存储介质
CN104023230B (zh) 一种基于梯度关联性的无参考图像质量评价方法
CN110491403A (zh) 音频信号的处理方法、装置、介质和音频交互设备
WO2021036663A1 (zh) 针对设备的固定螺丝异常的检测方法及相关产品
CN114297730B (zh) 对抗图像生成方法、装置及存储介质
CN109154938B (zh) 使用离散非踪迹定位数据将数字图中的实体分类
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN108964998B (zh) 一种网络实体行为奇异性检测方法及装置
WO2021036669A1 (zh) 智能振动检测方法及相关产品
Shah et al. Sherlock: A crowd-sourced system for automatic tagging of indoor floor plans
CN113052198A (zh) 一种数据处理方法、装置、设备及存储介质
CN105913427A (zh) 一种基于机器学习的噪声图像显著性检测方法
CN102890822A (zh) 具有物体位置侦测功能的装置及其侦测方法
CN110612503A (zh) 智能上下文子采样设备上系统
Park et al. Visualization and inference based on wavelet coefficients, SiZer and SiNos
JP2022126818A (ja) セキュリティ情報の処理方法、装置、電子機器、記憶媒体およびコンピュータプログラム
KR102275571B1 (ko) 스마트 단말 기반 소리 및 진동을 이용한 기기 진단 서비스 제공 방법
CN110417744B (zh) 网络访问的安全判定方法和装置
JP2019079157A (ja) 制御システム及び方式
CN105868620B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858224

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858224

Country of ref document: EP

Kind code of ref document: A1