WO2023098091A1 - 实体图像的聚类处理方法、装置、电子设备及存储介质 - Google Patents
实体图像的聚类处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- WO2023098091A1 WO2023098091A1 PCT/CN2022/105891 CN2022105891W WO2023098091A1 WO 2023098091 A1 WO2023098091 A1 WO 2023098091A1 CN 2022105891 W CN2022105891 W CN 2022105891W WO 2023098091 A1 WO2023098091 A1 WO 2023098091A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- entity
- images
- relationship
- image
- graph
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例公开了一种实体图像的聚类处理方法、装置、电子设备及存储介质。所述方法包括:将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;通过实体三元组中两个实体图像之间的实体关系将共用同一实体关系的任意两个实体三元组进行拓扑连接,构建至少一个实体关系图谱;依据至少一个实体关系图谱中实体图像之间的亲密度,从至少一个实体关系图谱中分割出至少一个关系子图谱。
Description
本申请要求在2021年12月02日提交中国专利局、申请号为202111458493.X的中国专利申请的优先权,以上申请的全部内容通过引用结合在本申请中。
本申请实施例涉及图像处理技术领域,例如涉及一种实体图像的聚类处理方法、装置、电子设备及存储介质。
随着视频监控行业的快速发展,人脸聚类得到了广泛应用。例如,将人像经过聚类算法或分类算法处理以对同一人的轨迹图片进行聚类建档,然后对每个人的人像档案进行徘徊预警、同行判断等数据分析。
相关技术中,人像聚类通常是计算人像中的人脸、人体和步态相似度,并分别与预置人脸权重值、人体权重值、步态权重值相乘然后求和,获得综合相似度,如果综合相似度超过阈值则聚为一类。但是,目前只有人脸识别较为准确,人体和步态识别与比对算法依然还在研究与实验阶段,如果只是基于图像中的人脸、人体以及步态进行聚类分析,会存在一定误差。
发明内容
本申请实施例中提供了一种实体图像的聚类处理方法、装置、电子设备及存储介质。
第一方面,本申请实施例中提供了一种实体图像的聚类处理方法,该方法包括:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
第二方面,本申请实施例中还提供了一种实体图像的聚类处理装置,包括:
图像配置模块,设置为将实体图像序列中疑似有相同实体的任意两个实体 图像配置一个实体关系,得到对应的实体三元组;
关系图谱生成模块,设置为将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
关系图谱处理模块,设置为依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
第三方面,本申请实施例中还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,设置为存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本申请任意实施例中提供的实体图像的聚类处理方法。
第四方面,本申请实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如本申请任意实施例中提供的实体图像的聚类处理方法。
上述申请内容仅是本申请实施例的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
通过阅读参照以下附图所作的对非限制性实施例所作的描述,本申请的其它特征、目的和优点将会变得更明显。附图仅用于示出实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本申请实施例中提供的一种实体图像的聚类处理方法的流程图;
图2是本申请实施例中提供的一个实体三元组关系图;
图3是本申请实施例中提供的一个实体关系图谱;
图4是本申请实施例中提供的一个剔除异常拓扑连接后的实体关系图谱;
图5是本申请实施例中提供的另一种实体图像的聚类处理方法的流程图;
图6是本申请实施例中提供的一个符合第二相似度条件的实体关系图谱;
图7是本申请实施例中提供的一个实体关系图谱的最终分割图;
图8是本申请实施例中提供的一种实体图像的聚类处理装置的结构框图;
图9是本申请实施例中提供的一种电子设备的结构示意图。
下面结合附图和实施例对本申请进行说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本申请实施例中提供的一种实体图像的聚类处理方法的流程图,本实施例可根据实体图像之间的相似度与亲密度对批量实体图像进行聚类。该方法可由实体图像的聚类处理装置来执行,该装置可由软件和/或硬件实现,并可集成于具有网络通信功能的电子设备中。如图1所示,本申请实施例中的实体图像的聚类处理方法,可包括以下步骤:
S110、将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组。
实体可以是指通过监控设备进行拍摄的拍摄对象,例如实体可以是人、动物、植物、房屋和汽车等。实体图像可以是指通过监控设备拍摄的包含有实体对象的图像,例如,实体图像可以是人像图像、动物图像、植物图像、房屋图像和汽车图像等,多个实体图像组成一组实体图像序列。以人像图像为例,人像图像中可以包括人脸、人体以及步态等信息。
在本实施例中,疑似有相同实体用于表征两个实体图像中包含有同一个实体的可能,疑似有相同实体可以包括两个实体图像中具有同一个实体和存在一定可能性具有同一个实体;换句话说,通过疑似有相同实体可以表示存在同一个实体的可能性,但是不能百分之百的确定两者一定存在同一个实体。
本实施例中提到的实体关系可以是指实体图像之间的图像联系,例如可以采用实体图像之间的图像间相似度等表示。例如,在从实体图像序列中筛选出一组疑似具有相同实体的任意两个实体图像后,可以在这两个实体图像之间配置一个实体关系,将配置了实体关系的两个实体图像作为一个实体三元组。以 此类推,重复上述疑似有相同实体的任意两个实体图像的筛选以及实体关系的配置过程得到至少两个实体三元组。其中,每一个实体三元组表征了疑似具有相同实体的两个实体图像之间的实体关系组合。
在一实施例中,将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组,可包括步骤A1-A2:
步骤A1、确定实体图像序列中任意两个实体图像之间的图像间相似度。
步骤A2、将图像间相似度符合第一相似度条件的两个实体图像作为疑似有相同实体的两个实体图像,向两个实体图像配置一个实体关系,得到对应的实体三元组。
其中,第一相似度条件用于筛除不包含相同实体的两个实体图像。
在本实施例中,确定实体图像序列中任意两个实体图像之间的图像间相似度,可以包括:提取实体图像序列中至少一个实体图像中的每个实体图像的特征向量;以及对所述至少一个实体图像中的每个实体图像的特征向量进行两两交叉比对,计算任意两个实体图像特征向量之间的图像特征相似度,得到特征相似度矩阵;其中,特征相似度矩阵中每个元素为两个实体图像之间的相似度。例如,根据监控设备采集到的人脸图像集合,利用视觉识别算法得到人脸特征向量集合C={c
1,c
2,…,c
i,…},其中i为大于0的自然数。
其中,确定图像间相似度的方法有很多,常见的图像相似度比对方法包括直方图法、图像模板匹配、PSNR(Peak Signal to Noise Ratio,峰值信噪比)、SSIM(structural similarity,结构相似性)、感知哈希算法以及尺度不变特征转换算法等。
在本实施例中,第一相似度条件可以通过设置第一相似度阈值s
1实现,通过第一相似度阈值s
1可以实现人像聚类的初步筛选。其中,对s
1的大小不做具体限定,可根据实际应用需求进行灵活设置。第一相似度条件可以是指图像间相似度大于第一相似度阈值s
1,用于筛除不包含相同实体的两个实体图像。
在得到实体图像序列中任意两个实体图像之间的图像间相似度后,可将两 个实体图像之间的图像间相似度依次与第一相似度条件指示的第一相似度阈值s
1进行比较。通过相似度比较可以将低于第一相似度阈值的两个实体图像明确判断为不是同一个实体的实体图像;而图像间相似度高于第一相似度阈值的两个实体图像则无法明确确定,仅仅只能确定疑似是同一个实体的两个实体图像,可对两个实体图像进行进一步判断。
若相似度矩阵中某个元素大于第一相似度阈值s
1,即图像间相似度符合第一相似度条件时,将该元素对应的两个实体图像作为疑似有相同实体的两个实体图像,并通过配置一个实体关系形成一个实体三元组T(c
i,c
j,s
ij)。若相似度矩阵中不存在元素大于第一相似度阈值s
1,即图像间相似度均不符合第一相似度条件时,说明采集到的实体图像序列均不属于相同实体,无法对实体图像进行聚类,故直接将该组实体图像序列舍弃。
如图2所示的一个实体三元组关系图,其中c
i和c
j作为定点,表示疑似有相同实体的两个实体图像,s
ij作为边,表示两个实体图像间的实体关系,每一个实体三元组T(c
i,c
j,s
ij)可以形成一个以相似度关系连接的具有两个顶点的实体三元组关系图。对于相似度矩阵中的每个元素均实施上述相似度比较过程,当符合第一相似度条件时,将该元素对应的两个实体图像作为疑似有相同实体的两个实体图像,并向两个实体图像配置一个实体关系,最终可得到至少两个实体三元组,即可对应得到至少两个实体三元组关系图。
S120、将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱。
在本实施例中,将利用第一相似度阈值s
1筛选得到的实体三元组关系图通过边进行连接,以此构建实体关系图谱。例如,通过将实体图像映射成图谱节点,以及将任意两个图谱节点对应实体关系映射为两个图谱节点之间的拓扑连接,从而构建出至少一个实体关系图谱。如图3所示为本申请实施例中提供的一个实体关系图谱,其中,c
i表示一个图谱节点,c
j表示另一个图谱节点,s
ij表示两个图谱节点之间的拓扑连接。例如,c
1和c
9为两个不同的图谱节点,s
19为c
1和c
9之间的拓扑连接。
在一示例中,为了便于理解共用同一实体关系的任意两个实体三元组,以图3为例,“c
1-s
19-c
9”为一个实体三元组,“c
1-s
15-c
5”为另一个实体三元组,这2个实体三元组在图谱节点c
1处交汇。此示例性说明中,共用同一实体关系可理解为共用图谱节点c
1,但共同同一实体关系的方式不限于此类关系类型。
S130、依据至少一个实体关系图谱中实体图像之间的亲密度,从至少一个 实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
在本实施例中,实体图像之间的亲密度可以表示实体图像之间紧密联系的程度,实体图像之间的亲密度可以是采用一个数值表示。其中,亲密度值越大,表示实体图像之间的联系越紧密,两个实体图像中具有同一个实体的概率越大;相反的,亲密度值越小,表示两个实体图像之间的联系越疏远,两个实体图像具有同一个实体的概率越小。因此,可以依据实体关系图谱中实体图像之间的亲密度,量化判断实体关系图谱中各实体图像具有相同实体的可能性,通过将实体关系图谱中亲密度不足的实体图像,从实体关系图谱中分割出去,从而将实体关系图谱分割成至少一个关系子图谱,并且每个关系子图谱的实体图像对应同一个实体。
根据本申请实施例中提供的实体图像的聚类处理方法,通过设置第一相似度阈值对实体图像进行初步筛选,得到疑似有相同实体的实体图像,进而通过计算实体图像之间的亲密度对疑似有相同实体的实体图像进行了进一步筛选,在初步筛选构建实体图像基础上将亲密度不足的实体图像剔除,实现了将不同实体对应的实体图像进行聚类分析,提高了聚类分割的准确率,提高了实体图像之间的聚类效果。
在上述实施例的基础上,在一实施例中,本实施例中提供的构建至少一个实体关系图谱的过程,还可包括以下步骤B1-B2:
步骤B1、确定实体关系图谱中拓扑连接的两个实体图像之间的时空符合度。
其中,时空符合度通过两个实体图像的实际采集时间差与理论采集时间差之间比值确定。
步骤B2、将构建的实体关系图谱中,时空符合度不满足预设时空符合度条件的两个实体图像之间的拓扑连接删除。
在一实施例中,确定实体关系图谱中通过拓扑连接的两个实体图像之间的时空符合度,可以包括:确定实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差;确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度;将实体的理论出行路线空间距离与理论出行速度之间的比值作为两个实体图像的理论采集时间差;将实际采集时间差与理论采集时间差之间的比值,确定为拓扑连接的两个实体图像的时空符合度。时空符合度是用于表征两个实体图像的实际采集时间差值与理论采集时间差值之间的差异度。
在本实施例中,人在出行时可以采用不同种类的交通方式,例如可以是步 行、骑自行车、乘电瓶车,也可以是乘坐公交车或者地铁,且每种出行方式都有一个合理的行驶速度。当判断人的出行方式时,可以通过视觉识别算法进行解析,也可以通过采集设备标签进行分析,例如“地铁口”、“公交站”等标签。
其中,ps表示时空符合度,t
i表示人像图片c
i采集时间,t
j表示人像图片c
j采集时间,s表示根据路网数据计算出的c
i和c
j的空间距离,v是根据出行方式与空间距离推测出的c
i和c
j两点出行速度,t
i-t
j表示两个实体图像的实际采集时间差值,s/v表示两个实体图像的理论采集时间差值。
在利用公式计算时空符合度时,首先确定实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差t
i-t
j,然后确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度v,并将实体的理论出行路线空间距离s与理论出行速度v之间的比值s/v作为两个实体图像的理论采集时间差,进而将实际采集时间差与理论采集时间差之间的比值确定为拓扑连接的两个实体图像的时空符合度。
在一示例中,路网指在一定区域内,由各种道路组成的相互联络、交织成网状分布的道路系统,可提供给各类交通工具以计算出最优通行轨迹。
在一类应用场景中,可主要根据路网和交通工具推算合理的通行轨迹,对于不符合该通行轨迹的目标进行删除,以提高聚类的准确率。
在一实施例中,可以通过设定一个阈值p,剔除实体关系图谱中的异常拓扑连接。剔除异常拓扑连接可以用于将实体关系图谱中被误判为具有同一个实体关系的两个实体图像所对应的图谱节点之间的拓扑连接进行删除。此处对阈值p的大小不做具体限定,可以根据实际应用需求进行灵活设定。将计算得到的时空符合度ps与阈值p进行比较,若ps超过p(时空符合度不满足预设时空符合度条件的一个示例),例如ps是p的200%,则可以判定对应的拓扑连接为异常拓扑连接;若ps低于p(时空符合度不满足预设时空符合度条件的一个示例), 例如ps是p的50%,则同样可以判定对应的拓扑连接为异常拓扑连接。
通过删除异常拓扑连接,最终可以将实体关系图谱分割成多个关系子图谱,并且每个关系子图谱的实体图像对应同一个实体。如图4所示为本申请实施例中提供的一个剔除异常拓扑连接后的实体关系图谱。示例性的,依据时空符合度ps与阈值p的比较结果判断出s
29和s
79属于异常拓扑连接,因此将s
29和s
79删除,从而得到两个关系子图谱,即c
2的实体图像对应一个实体,而其余图谱节点所构成的关系子图谱的实体图像对应另一个实体。
采用上述方式,利用实体关系图谱中拓扑连接的两个实体图像之间的时空符合度排除异常拓扑连接,若时空符合度不满足预设时空符合度条件,将对应的两个实体图像之间的拓扑连接删除,通过删除异常拓扑连接,提高了实体图像的聚类准确性,从而提高了实体图像的聚类效果。
图5是本申请实施例中提供的另一种实体图像的聚类处理方法的流程图,本申请实施例在上述实施例的基础上进行优化,本申请实施例可以与上述一个或者多个实施例结合。如图5所示,本申请实施例中的实体图像的聚类处理方法可以包括:
S510、将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组。
S520、将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱。
其中,S510和S520的具体实施过程可参见S110和S120中的详细描述。
S530、响应于至少一个实体关系图谱中存在图像间相似度符合第二相似度条件的两个目标实体图像,确定每个目标实体图像与至少一个实体关系图谱中剩余实体图像的亲密度。
其中,第二相似度条件用于识别实体关系图谱中是否存在包含同一类实体的两个实体图像。
在本实施例中,通过设置第二相似度阈值s
2,并依据实体关系图谱中图像间相似度与第二相似度阈值s
2的关系判断是否需要进行亲密度计算。第二相似度条件是指图像间相似度超过第二相似度阈值s
2,用于识别实体关系图谱中是否存在包含同一个实体的两个实体图像。
若实体关系图谱中的各图像间相似度均未超过s
2,即不符合第二相似度条件时,可以判断出关系图谱中不存在具有相同实体的实体图像,因而不再对实体关系图谱进行亲密度计算;若实体关系图谱中存在两个实体图像间相似度大于s
2 的拓扑连接,即符合第二相似度条件时,则对实体关系图谱进行亲密度计算。将符合第二相似度条件的两个实体图像作为目标实体图像,确定目标实体图像与实体关系图谱中剩余实体图像的亲密度。
如图6所示为本申请实施例中提供的一个符合第二相似度条件的实体关系图谱。示例性的,c
1和c
9的图像间相似度大于第二相似度阈值s
2,即符合第二相似度条件,则可以判断c
1和c
9是对同一个实体采集的实体图像,并将c
1和c
9作为目标实体图像。而关于c
3、c
5、c
7和c
1、c
9是否为同一个实体的实体图像,利用第二相似度条件无法明确判断,可对亲密度进行计算。
S540、依据每个目标实体图像与剩余实体图像的亲密度,将至少一个实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像进行分割和/或将至少一个实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像进行保留。
在本实施例中,依据目标实体图像与剩余实体图像的亲密度,将实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像分割出来,而将实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像仍然保留。例如,可以设置亲密度阈值R
s,通过将计算出的目标实体图像与剩余实体图像之间的亲密度与亲密度阈值R
s进行比较,并依据比较结果将亲密度小于预设亲密度阈值R
s的剩余实体图像从实体关系图谱中分割出来。如图7所示为本申请实施例中提供一个实体关系图谱的最终分割图。示例性的,经过计算,c
2和c
7的亲密度小于亲密度阈值R
s,则将亲密度低于R
s的c
2和c
7从实体关系图谱中删除,最终可以得到三个关系子图谱,分别为c
2、c
7以及由剩余图谱节点构成的关系子图谱,且三个关系子图谱分别包含一个实体。
S550、依据剩余实体图像在至少一个实体关系图谱中的分割和/或保留情况,从至少一个实体关系图谱中分割出至少一个关系子图谱。
本申请实施例中提供了另一种实体图像的聚类处理方法,通过设置第二相似度阈值对实体关系图谱中对应的实体图像进行筛选,并依据实体图像之间的亲密度对疑似有相同实体的实体图像进行了进一步筛选,从中将实际具有不相同实体的实体图像剔除,实现了对实体图像的聚类分析,并提高了聚类分割的准确率,提高了实体图像之间的聚类效果。
在一实施例中,确定目标实体图像与实体关系图谱中剩余实体图像的亲密度,可包括以下步骤C1-C3:
步骤C1、确定至少一个实体关系图谱中从每个目标实体图像到达一个剩余实体图像的至少一条拓扑连接路径以及每条拓扑连接路径所经过的实体关系。
步骤C2、将每条拓扑连接路径所经过的实体关系对应的两个实体图像之间的相似度以及每条拓扑连接路径所经过的实体关系对应的权重进行加权,得到所述每条拓扑连接路径下每个目标实体图像与剩余实体图像之间的亲密度。
步骤C3、依据至少一条拓扑连接路径下目标实体图像与所述目标实体图像对应的剩余实体图像之间的亲密度确定每个目标实体图像与至少一个实体关系图谱中一个剩余实体图像的亲密度。
其中,R表示亲密度,i表示两个实体图像间路径的度,例如c
1到c
9经过拓扑连接s
19为1度,c
1到c
3经过拓扑连接s
19和s
39为2度。Score
i表示第i度的拓扑连接所占的权重,s
i表示两个图谱节点间的相似度。以计算c
1和c
7的亲密度为例,首先需要找到c
1到c
7的拓扑连接路径以及拓扑连接路径所经过的实体关系。从c
1到c
7共有四条路径,分别如下:路径1:s
15→s
35→s
73;路径2:s
15→s
59→s
39→s
73;路径3:s
19→s
39→s
73;路径4:s
19→s
59→s
35→s
73。
设置路径中每个度的权重,此处对每个度的权重不做具体限定,但是需要满足度与权重成反比关系,即度越大时所对应的权重越小。示例性的,将路径每个度的权重设置如表1所示:
表1路径每个度的权重
度 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
权重 | 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | 1 |
根据路径及路径每个度的权重,计算四条路径的亲密度分别如下:
R
1=10*s
15+9*s
35+8*s
73
R
2=10*s
15+9*s
59+8*s
39+7*s
73
R
3=10*s
19+9*s
39+8*s
73
R
4=10*s
19+9*s
59+8*s
35+7*s
73
其中,R
i表示第i条路径的亲密度。利用不同路径的亲密度通过加权求和计算c
1到c
7的亲密度。此处对于选取哪几条路径以及所选路径在求和时所占权重不做限定,可以根据实际情况进行选择。例如,当路径的度较大时,说明路径需要经过较多的拓扑连接,路径的度所对应的权重很小,此时可以考虑在计算亲密度时直接将该路径舍去,即度较大的路径不参与最终的亲密度计算。
示例性的,选取从c
1到c
7的全部路径,对各路径下的亲密度直接求和得到c
1和c
7的亲密度,如下所示:R=R
1+R
2+R
3+R
4。按照上述的亲密度计算过程,依次计算c
1到c
3、c
1到c
5、c
9到c
3、c
9到c
5、c
9到c
7的亲密度,从而得到目标实体图像c
1和c
9与剩余实体图像c
3、c
5和c
7之间的亲密度。
采用上述方式,通过设置实体关系图谱中两个实体图像间路径每个度的权重,计算从目标实体图像到一个剩余实体图像在至少一条拓扑路径下的实体图像亲密度,并通过将至少一条拓扑路径的亲密度进行加权计算得到从目标实体图像到一个剩余实体图像的亲密度,在计算时可以根据实际需求将度较大的路径舍弃,从而能够通过减小运算量提高运算速度,缩短运算时间,提高运算效率。
图8是本申请实施例中提供的一种实体图像的聚类处理装置的结构框图,本实施例可根据实体图像之间的相似度与亲密度对实体图像进行聚类。该装置可由软件和/或硬件实现,并可集成于具有网络通信功能的电子设备中。如图8所示,本申请实施例中的实体图像的聚类处理装置,可以包括以下:图像配置模块810、关系图谱生成模块820和关系图谱处理模块830。其中:
图像配置模块810,设置为将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
关系图谱生成模块820,设置为将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
关系图谱处理模块830,设置为依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
在上述实施例的基础上,在一实施例中,图像配置模块810设置为:
确定实体图像序列中任意两个实体图像之间的图像间相似度;
将图像间相似度符合第一相似度条件的两个实体图像作为疑似有相同实体的两个实体图像,向所述疑似有相同实体的两个实体图像配置一个实体关系,得到对应的实体三元组;
其中,所述第一相似度条件用于筛除不包含相同实体的两个实体图像。
在上述实施例的基础上,在一实施例中,确定实体图像序列中任意两个实体图像之间的图像间相似度,包括:
提取实体图像序列中至少一个实体图像中的每个实体图像的特征向量;
对所述至少一个实体图像中的每个实体图像的特征向量进行两两交叉比对,计算任意两个实体图像特征向量之间的图像特征相似度,得到特征相似度矩阵;
其中,所述特征相似度矩阵中每个元素为两个实体图像之间的相似度。
在上述实施例的基础上,在一实施例中,关系图谱生成模块820设置为:
确定构建的实体关系图谱中拓扑连接的两个实体图像之间的时空符合度;所述时空符合度通过两个实体图像的实际采集时间差与理论采集时间差之间比值确定;
将构建的实体关系图谱中,时空符合度不满足预设时空符合度条件的两个实体图像之间的拓扑连接删除。
在上述实施例的基础上,在一实施例中,确定构建的实体关系图谱中通过拓扑连接的两个实体图像之间的时空符合度,包括:
确定构建的实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差;
确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度;
将实体的理论出行路线空间距离与理论出行速度之间的比值作为两个实体图像的理论采集时间差;
将所述实际采集时间差与所述理论采集时间差之间的比值,确定为拓扑连接的两个实体图像的时空符合度。
在上述实施例的基础上,在一实施例中,关系图谱处理模块830包括:
响应于若所述至少一个实体关系图谱中存在图像间相似度符合第二相似度条件的两个目标实体图像,确定每个目标实体图像与所述至少一个实体关系图谱中剩余实体图像的亲密度;
依据每个目标实体图像与剩余实体图像的亲密度,将所述至少一个实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像进行分割和/或将所述至少一个实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像进行保留;
依据剩余实体图像在所述至少一个实体关系图谱中的分割和/或保留情况,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;
其中,所述第二相似度条件用于识别实体关系图谱中是否存在包含相同实体的两个实体图像。
在上述实施例的基础上,在一实施例中,确定每个目标实体图像与所述至少一个实体关系图谱中剩余实体图像的亲密度,包括:
确定所述至少一个实体关系图谱中从每个目标实体图像到达一个剩余实体图像的至少一条拓扑连接路径以及每条拓扑连接路径所经过的实体关系;
将每条拓扑连接路径所经过的实体关系对应的两个实体图像之间的相似度以及每条拓扑连接路径所经过的实体关系对应的权重进行加权,得到所述每条拓扑连接路径下每个目标实体图像与剩余实体图像之间的亲密度;
依据所述至少一条拓扑连接路径下目标实体图像与所述目标实体图像对应的剩余实体图像之间的亲密度确定每个目标实体图像与所述至少一个实体关系图谱中一个剩余实体图像的亲密度。
本申请实施例中所提供的实体图像的聚类处理装置可执行上述本申请任意实施例中所提供的实体图像的聚类处理方法,具备执行该实体图像的聚类处理方法相应的功能和有益效果,详细过程参见前述实施例中实体图像的聚类处理方法的相关操作。
图9是本申请实施例中提供的一种电子设备的结构示意图。如图9所示结构,本申请实施例中提供的电子设备包括:一个或多个处理装置(例如一个或多个处理器910)和存储装置920;该电子设备中的处理器910可以是一个或多个,图9中以一个处理器910为例;存储装置920用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器910执行,使得所述一个或多个处理器910实现如本申请实施例中任一项所述的实体图像的聚类处理方法。
该电子设备还可以包括:输入装置930和输出装置940。
该电子设备中的处理器910、存储装置920(例如,存储器)、输入装置930和输出装置940可以通过总线或其他方式连接,图9中以通过总线连接为例。
该电子设备中的存储装置920作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本申请实施例中所提供的实体图像的聚类处理方法对应的程序指令/模块。处理器910通过运行存储在存储装置920中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中实体图像的聚类处理方法。
存储装置920可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储装置920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置920可进一步包括相对于处理 器910远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
并且,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器910执行时,程序进行如下操作:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
本领域技术人员可以理解,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器910执行时,程序还可以进行本申请任意实施例中所提供的实体图像的聚类处理方法中的相关操作。
本申请实施例中提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时用于执行实体图像的聚类处理方法,该方法包括:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
在一实施例中,该程序被处理器执行时还可以用于执行本申请任意实施例中所提供的实体图像的聚类处理方法。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM(Compact Disc Read-Only Memory)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
存储介质可以是非暂态(non-transitory)存储介质。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN,Local Area Network)或广域网(WAN,Wide Area Network)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
上述仅为本申请的一些实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (10)
- 一种实体图像的聚类处理方法,所述方法包括:将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;将共用同一实体关系的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
- 根据权利要求1所述的方法,其中,将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组,包括:确定实体图像序列中任意两个实体图像之间的图像间相似度;将图像间相似度符合第一相似度条件的两个实体图像作为疑似有相同实体的两个实体图像,向所述疑似有相同实体的两个实体图像配置一个实体关系,得到对应的实体三元组;其中,所述第一相似度条件用于筛除不包含相同实体的两个实体图像。
- 根据权利要求2所述的方法,其中,确定实体图像序列中任意两个实体图像之间的图像间相似度,包括:提取实体图像序列中至少一个实体图像中的每个实体图像的特征向量;对所述至少一个实体图像中的每个实体图像的特征向量进行两两交叉比对,计算任意两个实体图像特征向量之间的图像特征相似度,得到特征相似度矩阵;其中,所述特征相似度矩阵中每个元素为两个实体图像之间的相似度。
- 根据权利要求1所述的方法,还包括:确定构建的实体关系图谱中拓扑连接的两个实体图像之间的时空符合度;所述时空符合度通过两个实体图像的实际采集时间差与理论采集时间差之间比值确定;将构建的实体关系图谱中,时空符合度不满足预设时空符合度条件的两个实体图像之间的拓扑连接删除。
- 根据权利要求4所述的方法,其中,确定构建的实体关系图谱中通过拓扑连接的两个实体图像之间的时空符合度,包括:确定构建的实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差;确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度;将实体的理论出行路线空间距离与理论出行速度之间的比值作为两个实体图像的理论采集时间差;将所述实际采集时间差与所述理论采集时间差之间的比值,确定为拓扑连接的两个实体图像的时空符合度。
- 根据权利要求1所述的方法,其中,依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱,包括:响应于所述至少一个实体关系图谱中存在图像间相似度符合第二相似度条件的两个目标实体图像,确定每个目标实体图像与所述至少一个实体关系图谱中剩余实体图像的亲密度;依据每个目标实体图像与剩余实体图像的亲密度,将所述至少一个实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像进行分割和/或将所述至少一个实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像进行保留;依据剩余实体图像在所述至少一个实体关系图谱中的分割和/或保留情况,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,所述第二相似度条件用于识别实体关系图谱中是否存在包含相同实体的两个实体图像。
- 根据权利要求6所述的方法,其中,确定每个目标实体图像与所述至少一个实体关系图谱中剩余实体图像的亲密度,包括:确定所述至少一个实体关系图谱中从每个目标实体图像到达一个剩余实体图像的至少一条拓扑连接路径以及每条拓扑连接路径所经过的实体关系;将每条拓扑连接路径所经过的实体关系对应的两个实体图像之间的相似度以及每条拓扑连接路径所经过的实体关系对应的权重进行加权,得到所述每条拓扑连接路径下每个目标实体图像与剩余实体图像之间的亲密度;依据所述至少一条拓扑连接路径下目标实体图像与所述目标实体图像对应的剩余实体图像之间的亲密度确定每个目标实体图像与所述至少一个实体关系图谱中一个剩余实体图像的亲密度。
- 一种实体图像的聚类处理装置,所述装置包括:图像配置模块,设置为将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;关系图谱生成模块,设置为将共用同一实体关系的任意两个实体三元组, 通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;关系图谱处理模块,设置为依据所述至少一个实体关系图谱中实体图像之间的亲密度,从所述至少一个实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
- 一种电子设备,包括:一个或多个处理装置;存储装置,设置为存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现权利要求1-7中任一所述的实体图像的聚类处理方法。
- 一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理装置执行时实现权利要求1-7中任一所述的实体图像的聚类处理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458493.X | 2021-12-02 | ||
CN202111458493.XA CN116229128A (zh) | 2021-12-02 | 2021-12-02 | 实体图像的聚类处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023098091A1 true WO2023098091A1 (zh) | 2023-06-08 |
Family
ID=86577269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2022/105891 WO2023098091A1 (zh) | 2021-12-02 | 2022-07-15 | 实体图像的聚类处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116229128A (zh) |
WO (1) | WO2023098091A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935083B (zh) * | 2023-09-12 | 2023-12-12 | 深圳须弥云图空间科技有限公司 | 一种图像聚类方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109753570A (zh) * | 2019-01-11 | 2019-05-14 | 中山大学 | 一种基于Horn逻辑与图神经网络的场景图谱向量化方法 |
CN109800317A (zh) * | 2018-03-19 | 2019-05-24 | 中山大学 | 一种基于图像场景图谱对齐的图像查询回答方法 |
US20200073932A1 (en) * | 2018-08-30 | 2020-03-05 | Intelligent Fusion Technology, Inc | Method and system for pattern discovery and real-time anomaly detection based on knowledge graph |
CN111743574A (zh) * | 2020-07-12 | 2020-10-09 | 西北工业大学 | 乳腺癌超声影像高置信实体关系的知识图谱构建方法 |
CN112966122A (zh) * | 2021-03-03 | 2021-06-15 | 平安科技(深圳)有限公司 | 语料意图识别方法、装置、存储介质及计算机设备 |
-
2021
- 2021-12-02 CN CN202111458493.XA patent/CN116229128A/zh active Pending
-
2022
- 2022-07-15 WO PCT/CN2022/105891 patent/WO2023098091A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800317A (zh) * | 2018-03-19 | 2019-05-24 | 中山大学 | 一种基于图像场景图谱对齐的图像查询回答方法 |
US20200073932A1 (en) * | 2018-08-30 | 2020-03-05 | Intelligent Fusion Technology, Inc | Method and system for pattern discovery and real-time anomaly detection based on knowledge graph |
CN109753570A (zh) * | 2019-01-11 | 2019-05-14 | 中山大学 | 一种基于Horn逻辑与图神经网络的场景图谱向量化方法 |
CN111743574A (zh) * | 2020-07-12 | 2020-10-09 | 西北工业大学 | 乳腺癌超声影像高置信实体关系的知识图谱构建方法 |
CN112966122A (zh) * | 2021-03-03 | 2021-06-15 | 平安科技(深圳)有限公司 | 语料意图识别方法、装置、存储介质及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116229128A (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210248378A1 (en) | Spatiotemporal action detection method | |
Lee et al. | Directional-DBSCAN: Parking-slot detection using a clustering method in around-view monitoring system | |
CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN113052184B (zh) | 一种基于两阶段局部特征对齐的目标检测方法 | |
CN110188763B (zh) | 一种基于改进图模型的图像显著性检测方法 | |
CN109214246B (zh) | 基于全局方向信息的指纹检索方法 | |
CN111931764A (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
CN113037783B (zh) | 一种异常行为检测方法及系统 | |
WO2023098091A1 (zh) | 实体图像的聚类处理方法、装置、电子设备及存储介质 | |
CN113095263A (zh) | 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置 | |
CN111445442B (zh) | 基于神经网络的人群计数方法、装置、服务器及存储介质 | |
Alqahtani et al. | CMRS: a classifier matrix recognition system for traffic management and analysis in a smart city environment | |
Bello-Salau et al. | An examination of different vision based approaches for road anomaly detection | |
CN110619280B (zh) | 一种基于深度联合判别学习的车辆重识别方法及装置 | |
Kumar et al. | Improved YOLOv4 approach: a real time occluded vehicle detection | |
CN110636248A (zh) | 目标跟踪方法与装置 | |
US10706499B2 (en) | Image processing using an artificial neural network | |
CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
CN115272882A (zh) | 一种基于遥感影像的离散建筑物检测方法及系统 | |
WO2021017289A1 (zh) | 在视频中定位对象的方法、装置、计算机设备及存储介质 | |
CN112949731A (zh) | 基于多专家模型的目标检测方法、装置、存储介质及设备 | |
Maithil et al. | Semantic Segmentation of Urban Area Satellite Imagery Using DensePlusU-Net | |
CN112001211A (zh) | 对象检测方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22899911 Country of ref document: EP Kind code of ref document: A1 |