WO2020173258A1 - 图像识别系统及其方法 - Google Patents

Abstract

本申请提供了一种图像识别系统、一种图像识别方法、一种电子设备以及一种非暂时性计算机可读介质，所述图像识别系统可以包括：信息录入模块，被配置为录入被检对象的信息，并且识别被检对象的信息是否为异常信息；检测模块，被配置为检测被检对象和/或其行李是否携带违禁品；增强现实(AR)模块，被配置为在被检对象的信息异常的情况和被检对象和/或其行李携带违禁品的情况中的至少一种情况下，从信息录入模块和/或检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在AR模块中标出被检对象和/或违禁品；以及存储模块，被配置为存储信息录入模块、检测模块和AR模块操作过程中产生的信息。

Description

图像识别系统及其方法 相关申请的交叉引用

本申请要求于 2019年 2月 28日递交的题为“图像识别系统及其 方法” 的中国专利申请 No.201910154670.1 的优先权， 其通过引用整 体并入本文中。 技术领域

本发明涉及安检技术领域， 并且更具体地涉及一种图像识别系 统、 一种图像识别方法、 一种电子设备以及一种非暂时性计算机可读 介质。 背景技术

太赫兹能够对旅客进行远距离动态实时成像， 实现非干预、 非配 合式安检， 毫米波能够对人体进行清晰、 高分辨率成像， 实现对人体 进行精细安检。基于这些优点， 太赫兹 /毫米波技术在安检领域中广泛 应用。 但是， 现有的安检系统中， 安检结果通过显示器显示， 需要安 检人员在显示器前实时查看所显示的各项安检信息， 即使被检对象未 携带危险物品也需要对其安检信息进行实时查看。 由此造成安检人员 的工作强度大， 容易产生疲劳， 容易造成安检疏漏。

此外， 当安检人员根据显示器中显示的信息发现被检对象身上携 带有违禁品时， 安检人员从显示器赶到现场进行处理， 会导致工作效 率低， 甚至会由于处理不及时而导致嫌疑人逃跑等。 发明内容

为了解决现有问题中存在的技术问题， 在本申请的第一方面中， 提供了一种图像识别系统， 可以包括： 信息录入模块， 被配置为录入 被检对象的信息，并且识别所述被检对象的信息是否为异常信息； 检 测模块， 被配置为检测所述被检对象和 /或其行李是否携带违禁品； 增 强现实（AR）模块， 被配置为在被检对象的信息异常的情况和被检对 象和 /或其行李携带违禁品的情况中的至少一种情况下，从所述信息录 入模块和 /或所述检测模块中获取被检对象的信息和 /或违禁品的信 息， 发出警报并且在所述 AR模块中标出被检对象和 /或违禁品； 以及 存储模块，被配置为存储所述信息录入模块、所述检测模块和所述 AR 模块操作过程中产生的信息。

根据第一方面， 所述检测模块可以包括检测通道、 第一检测装置 和第二检测装置，其中，所述第一检测装置位于所述检测通道的前部， 所述第二检测装置位于所述检测通道的后部， 所述第一检测装置和所 述第二检测装置均包括第一图像获取装置以及第二图像获取装置， 所 述第一图像获取装置用于获取被检对象的透视图， 所述第二图像获取 装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像； 所述检测模块被配置为基于所述透视图和所述彩色图像检测所述被检 对象和 /或其行李是否携带违禁品。

根据第一方面， 所述检测模块还可以被配置为： 通过所述第一检 测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对 所述第二图像获取装置的全局坐标系， 以获取每个被检对象在所述全 局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐标系下的 空间位置。

根据第一方面， 所述检测模块还可以包括辅助图像获取装置， 其 位于所述检测通道的中间部位处， 用于获取关于被检对象的深度信息 和关于被检对象的彩色图像。

根据第一方面， 所述检测模块还可以被配置为： 通过所述第二图 像获取装置以及所述辅助图像获取装置建立针对所述辅助图像获取装 置和所述第二图像获取装置的全局坐标系， 以获取每个被检对象在所 述全局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐标系 下的空间位置。

根据第一方面，所述 AR模块还可以被配置为：基于每个被检对象 在所述全局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐 标系下的空间位置，根据所述 AR模块与所述全局坐标系之间的转换关 系， 获得每个被检对象和 /或所携带的违禁品在所述 AR模块视角下的 空间位置信息， 以在所述 AR模块上标出被检对象和 /或违禁品。

在本申请的第二方面中， 提供了一种图像识别方法， 所述方法可 以包括： 利用信息录入模块录入被检对象的信息， 并且识别所述被检 对象的信息是否为异常信息； 利用检测模块检测所述被检对象和 /或 其行李是否携带违禁品；在被检对象的信息异常的情况和被检对象和 / 或其行李携带违禁品的情况中的至少一种情况下，利用增强现实 (AR) 模块从所述信息录入模块和 /或所述检测模块中获取被检对象的信息 和 /或违禁品的信息， 发出警报并且在所述 AR模块中标出被检对象和 / 或违禁品； 以及利用存储模块存储所述图像识别方法执行过程中产生 的信息。

根据第二方面，所述利用检测模块检测所述被检对象和 /或其行李 是否携带违禁品可以包括： 利用所述检测模块的第一检测装置和第二 检测装置中包括的第一图像获取装置获取被检对象的透视图， 其中， 所述第一检测装置位于所述检测模块中的检测通道的前部， 所述第二 检测装置位于所述检测通道的后部； 利用所述检测模块的第一检测装 置和第二检测装置中包括的第二图像获取装置获取关于被检对象的深 度信息和彩色图像； 以及基于所述透视图和所述彩色图像检测所述被 检对象和 /或其行李是否携带违禁品。

根据第二方面，所述在所述 AR模块中标出被检对象和 /或违禁品 可以包括： 通过所述第一检测装置和所述第二检测装置中包括的所述 第二图像获取装置建立针对所述第二图像获取装置的全局坐标系， 以 获取每个被检对象在所述全局坐标系下的空间位置和 /或所携带的违 禁品在所述全局坐标系下的空间位置； 以及基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。

根据第二方面，所述在所述 AR模块中标出被检对象和 /或违禁品 可以包括： 通过设置在所述检测通道中部的辅助图像获取装置和所述 第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建 立针对所述辅助图像获取装置和所述第二图像获取装置的全局坐标 系， 以获取每个被检对象在所述全局坐标系下的空间位置和 /或所携带 的违禁品在所述全局坐标系下的空间位置， 其中， 所述辅助图像获取 装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像； 以及基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。

根据第二方面， 所述在所述 AR模块中标出被检对象和 /或违禁品 还可以包括： 基于每个被检对象在所述全局坐标系下的空间位置和 / 或所携带的违禁品在所述全局坐标系下的空间位置，根据所述 AR模块 与所述全局坐标系之间的转换关系，获得每个被检对象和 /或所携带的 违禁品在所述 AR模块视角下的空间位置信息， 以在所述 AR模块上标 出被检对象和 /或违禁品。

在本申请的第三方面中， 提供了一种电子设备， 包括： 一个或多 个处理器； 以及存储器， 用于存储一个或多个程序， 其中， 当所述一 个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现根据第二方面所述的方法。

在本申请的第四方面中， 提供了一种非暂时性计算机可读介质， 包括记录在其上且能够由处理器运行的计算机程序产品， 所述计算机 程序产品包括用于实现根据第二方面所述的方法的程序代码指令。

基于本申请提供的各个方面， 安检人员可以通过 AR设备实时观 察到每个旅客是否携带违禁品的提示， 或其它检测信息， 由此， 安检 人员不需要固定在显示屏前查看检测信息， 可以实现在灵活移动的过 程中通过 AR设备得知每个旅客的检测信息， 并且可以在发生突发情 况时， 机动快速地处理突发情况， 提高安检的效率。 附图说明

图 1中示出了根据本发明实施例的图像识别系统的示意性框图。 图 2示出了根据本发明实施例的图像识别系统中的检测模块的示 例性框图。

图 3中示出了根据本发明实施例的不同视角下的违禁品形状的变 换。

图 4中示出了根据本发明实施例的图像识别方法的流程图。 图 5中示出了检测对象身上是否携带违禁品的操作的示例性详细 流程图。

图 6中示出了根据本发明实施例的在 AR上视觉地标出被检对象 的操作的示例性流程图。 具体实施方式

下面将详细描述本发明的具体实施例， 应当注意， 这里描述的实 施例只用于举例说明， 并不用于限制本发明。 在以下描述中， 为了提 供对本发明的透彻理解， 阐述了大量特定细节。 然而， 对于本领域普 通技术人员显而易见的是： 不必采用这些特定细节来实行本发明。 在 其他实例中， 为了避免混淆本发明， 未具体描述公知的电路、 材料或 方法。

在整个说明书中， 对“一个实施例”、 “实施例”、 “一个示例”或“示 例”的提及意味着： 结合该实施例或示例描述的特定特征、 结构或特性 被包含在本发明至少一个实施例中。 因此， 在整个说明书的各个地方 出现的短语“在一个实施例中”、 “在实施例中”、 “一个示例”或“示例” 不一定都指同一实施例或示例。 此外， 可以以任何适当的组合和 /或子 组合将特定的特征、 结构或特性组合在一个或多个实施例或示例中。

应当理解， 当称元件“耦接到”或“连接到”另一元件时， 它可以是 直接稱接或连接到另一元件或者可以存在中间元件。 相反， 当称元件 “直接耦接到”或“直接连接到”另一元件时， 不存在中间元件。

此外， 这里使用的术语“和 /或”包括一个或多个相关列出的项目的 任何和所有组合。

将理解的是， 与术语相应的单数形式的名词可包括一个或更多个 事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或 B”、 “A和 B中的至少一个”、 “A或 B中的至少一个”、 “A、 B或 C’’、 “A、 B和 C中的至少一个’’以及“A、 B或 C中的至少一个’’的短语中的每一 个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项 的所有可能组合。 如这里所使用的， 诸如“第 1”和“第 2”或者“第一”和 “第二”的术语可用于将相应部件与另一部件进行简单区分， 并且不在 其它方面 （例如， 重要性或顺序） 限制所述部件。

如这里所使用的， 术语“模块”可包括以硬件、 软件或固件实现的 单元， 并可与其他术语 （例如， “逻辑”、 “逻辑块”、 “部分”或“电路”） 可互换地使用。 模块可以是被适配为执行一个或更多个功能的单个集 成部件或者是该单个集成部件的最小单元或部分。例如， 根据实施例， 可以以专用集成电路 （ASIC） 的形式来实现模块。

应该理解的是， 本公开的各种实施例以及其中使用的术语并不意 图将在此阐述的技术特征限制于具体实施例， 而是包括针对相应实施 例的各种改变、 等同形式或替换形式。 除非本文另有明确定义， 否则 所有术语将给出其最广泛的可能解释， 包括说明书中暗示的含义以及 本领域技术人员理解的和 /或字典、 论文等中定义的含义。

此外， 本领域普通技术人员应当理解， 在此提供的附图都是为了 说明的目的， 并且附图不一定是按比例绘制的。 对于附图的描述， 相 似的参考标号可用来指代相似或相关的元件。 以下将参考附图对本公 开进行示例性描述。

为了解决安检人员必须固定于某一位置处查看安检信息的问题， 本申请在安检领域中应用增强现实技术 （AR） 技术， 通过 AR装置实 时呈现安检信息。 为了便于说明和描述， 以下以 AR眼镜为例进行说 明。

图 1中示出了根据本发明实施例的图像识别系统 100的示意性框 图。 如图所述， 图像识别系统 100可以包括信息录入模块 101、 检测 模块 102、 AR模块 103、 以及存储模块 104。

信息录入模块 101分别与检测模块 102、AR模块 103 以及存储模 块 104连接。 连接可以是有线连接或者无线连接。

信息录入模块 101可以被配置为采集被检对象的信息。 被检对象 的信息可以是关于被检对象的各种信息， 例如， 被检人员的图像、 被 检人员的姓名、 年龄、 性别、 身份证号、 身高、 家庭住址、 工作单位、 学历、 被检人员的票面信息、 乘车目的地等等。

信息录入模块 101可以应用于安检系统中的人脸识别闸机处， 以 在被检对象进行安检之处登记被检对象的信息。 信息录入模块 101还可以被配置为将登记被检对象的基本信息， 并且将所登记的基本信息与公安系统中犯罪嫌疑人的身份信息进行比 对， 以识别被检对象是否是犯罪嫌疑人。

信息录入模块 101还可以被配置为向检测模块 102、 AR模块 103 以及存储模块 104发送所登记的被检对象的基本信息， 并且将该基本 信息存储在存储模块 104中。

检测模块 102可以被配置为对被检对象以及被检对象所携带的行 李进行检测， 并且向 AR模块 103和存储模块 104发送检测结果。

具体地， 参见图 2对被检模块 102进行描述。 图 2示出了根据本 发明实施例的检测模块 102的示例性框图。

检测模块 102可以包括检测通道 1021、 第一检测装置 1022、 以 及第二检测装置 1023。

根据实施例， 检测通道 1021 可以包括适用于对诸如人、 动物之 类的被检对象进行检测的第一检测通道 1021’、 以及适用于对属于被 检对象的行李进行安检的第二检测通道 1021”。

根据实施例， 第二检测通道 1021”可以包括拍摄装置。 拍摄装置 可以设置在第二检测通道 1021”的前端 （即， 行李进入第二检测通道 1021”的一端）， 对被检对象以及属于被检对象的一个或多个行李进行 拍摄， 并且将被检对象与被检对象的行李相关联地存储在存储模块 104中。

根据实施例， 第一检测装置 1022和第二检测装置 1023可以设置 为第一检测通道 1021’的前部 （即， 被检对象进入第一检测通道的一 端） 和后部 （即， 被检对象离开第一检测通道的一端）。

根据实施例， 第一检测装置 1022和第二检测装置 1023可以被配 置为分别对进入第一检测通道 1021’中的被检对象进行检测， 以检测 其是否携带嫌疑物。

根据实施例， 第一检测装置 1022和第二检测装置 1023可以是相 同的类型的， 或者是不同类型的。

根据实施例， 第一检测装置 1022 可以包括第一图像采集装置和 第二图像采集装置。第二检测装置 1023可以包括第三图像采集装置和 第四图像采集装置。

根据实施例， 第一图像采集装置和第二图像采集装置中的一个图 像采集装置可以与第三图像采集装置和第四图像采集装置中的一个图 像采集装置是相同的， 而第一图像采集装置和第二图像采集装置中的 另一个图像采集装置可以与第三图像采集装置和第四图像采集装置中 的另一个图像采集装置是相同的。

根据实施例， 第一图像采集装置可以被配置为获得被检对象的透 视图像， 并且第二图像采集装置可以被配置为获得被检对象的具有深 度信息的彩色图像。

备选地， 第二图像采集装置可以被配置为获得被检对象的透视图 像， 并且第一图像采集装置可以被配置为获得被检对象的具有深度信 息的彩色图像。

根据实施例， 第三图像采集装置可以被配置为获得被检对象的透 视图像， 并且第四图像采集装置可以被配置为获得被检对象的具有深 度信息的彩色图像。

备选地， 第四图像采集装置可以被配置为获得被检对象的透视图 像， 并且第三图像采集装置可以被配置为获得被检对象的具有深度信 息的彩色图像。

例如， 第一图像采集装置和第三图像采集装置可以是太赫兹相 机。 第二图像采集装置和第四图像采集装置可以是深度相机。 太赫兹 相机可以用于获得被检对象的正面透视图像和背面透视图像。 深度相 机可以用于获得检测场景和被检对象的彩色图像以及被检对象距离深 度相机的空间距离。

对于第一检测装置 1022 检测被检对象是否携带嫌疑物， 第一检 测装置 1022可以被配置为:基于彩色图像中的被检对象的图像来获取 透视图像中的被检对象的人体掩膜； 在检测到透视图像中被检对象的 人体掩膜上显示有违禁品的情况下， 则将违禁品的图像对应地标记在 彩色图像中的被检对象上。

根据实施例， 获取透视图像中的被检对象的人体掩膜可以通过以 下操作来实现： 将透视图像中的像素与彩色图像中的像素进行对齐， 获得太赫兹相机和深度相机之间的变换参数； 利用彩色图像中的深度 信息 （例如， 人体骨架） 和目标分割检测框架 （例如， 掩膜 RCNN） 来提取彩色图像的人体掩膜； 基于变化参数和所提取的彩色图像的人 体掩膜， 提取由太赫兹相机获得的透视图像中的人体掩膜。

在一个示例中， 例如可以根据仿射变换模型， 利用旋转、 平移和 缩放将透视图像和彩色图像对齐。

对于被检对象的携带的违禁品， 在一个示例中， 在太赫兹相机所 获得的透视图中， 违禁品所呈现的颜色比其他区域的颜色更深。

对于被检对象的携带的违禁品， 在一个示例中， 例如可以通过将 预先训练好的模型 （例如， 目标检测框架） 与透视图中颜色较深区域 的形状进行比对来大致推断出颜色深的区域是否是违禁品。

对于被检对象的携带的违禁品， 在一个示例中， 可以例如通过预 先训练好的模型来大致推断出违禁品的类型 （例如， 刀具、 枪支等）。

根据实施例， 将违禁品的图像对应地标记在彩色图像中的被检对 象上的操作可以通过以下操作来实现： 通过太赫兹相机和深度相机间 的变换参数， 将由太赫兹相机获得的透视图像中的人体掩膜中违禁品 位置映射到彩色图像中人体掩膜的对应区域上。

在一个示例中， 还可以在透视图中的人体掩膜上显示违禁品种类 等信息。

由于第一检测装置 1022和第二检测装置 1023分别位于第一检测 通道 1021’的前端和后端， 因此第一检测装置 1022获得的被检对象的 背面透视图和第二检测装置 1023 获得的正面透视图可以会由于视角 不同、 参数不同等原因而无法完全匹配。 因此， 需要通过第一检测装 置 1022和第二检测装置 1023中的深度相机来获得每个被检对象的空 间位置关系。

具体地， 可以例如将第一检测装置 1022 中的深度相机作为基准 相机，利用多模式融合技术将第二检测装置 1023中的深度相机进行外 部参数标定， 从而建立全局坐标系， 然后将深度相机获得的图像进行 信息融合， 从而获得每个被检对象的空间位置关系。

进一步地， 在知道被检对象的空间位置关系的情况下， 可以利用 太赫兹相机和深度相机之间的变换参数， 得到太赫兹相机所获得的透 视图像中的人体掩膜中的每个像素在全局坐标系下的位置， 从而将每 个旅客的正面透视图和背面透视图相匹配， 以确定正面透视图下的违 禁品的图像和背面透视图下的违禁品的图像是相同图像还是不同图 像。

进一步地， 在经由太赫兹相机获得的透视图中呈现有违禁品的情 况下， 可以基于违禁品的像素在全局坐标系下的位置， 获得违禁品在 全局坐标系上的位置信息。

在一个示例中， 当第一检测通道 1021’中同时存在多个被检对象 时，第一检测装置 1022可能无法获得被检对象的背面透视图，或者第 二检测装置 1023可能无法获得被检对象的正面透视图，甚至由于被检 对象的前后均有其它被检对象的情况下，第一检测装置 1022和第二检 测装置 1023均不能获得被检对象的背面透视图和正面透视图。 因此， 为了解决该问题， 检测模块 102可以包括辅助检测装置。

辅助检测装置中可以包括太赫兹相机和深度相机。

根据实施例， 辅助检测装置可以位于第一检测通道 1021’的中间 部位处。

根据实施例， 辅助检测装置的数量可以为一个或多个。

在一个示例中， 为获得每个被检对象的空间位置关系， 可以例如 将第一检测装置 1022中的深度相机作为基准相机，利用多模式融合技 术将第二检测装置 1023中的深度相机、辅助检测装置中的深度相机进 行外部参数标定， 从而建立全局坐标系， 然后将各个深度相机获得的 图像进行信息融合， 从而获得每个被检对象的空间位置关系。

备选地， 为获得每个被检对象的空间位置关系， 可以例如将第二 检测装置 1023中的深度相机作为基准相机，利用多模式融合技术将第 一检测装置 1022中的深度相机、辅助检测装置中的深度相机进行外部 参数标定， 从而建立全局坐标系， 然后将各个深度相机获得的图像进 行信息融合， 从而获得每个被检对象的空间位置关系。

备选地， 为获得每个被检对象的空间位置关系， 可以例如将辅助 检测装置中的深度相机作为基准相机， 利用多模式融合技术将第一检 测装置 1022中的深度相机、 第二检测装置 1023中的深度相机、 以及 其它辅助检测装置中的深度相机进行外部参数标定， 从而建立全局坐 标系， 然后将各个深度相机获得的图像进行信息融合， 从而获得每个 被检对象的空间位置关系。

再次返回图 1， AR模块 103可以包括显示装置。 在一个示例中， 在 AR模块 103是 AR眼镜的情况下， 显示装置可以是 AR眼镜上的 镜片。

AR模块 103可以被配置为从信息录入模块 101和检测模块 102 接收异常检测结果， 并且向安检人员呈现该异常检测结果。

根据实施例， 异常检测结果可以是在信息录入模块 101中检测到 与公安系统中犯罪嫌疑人的身份信息相匹配的犯罪嫌疑人的信息。

根据实施例， 异常检测结果可以是在检测模块 102中检测到的被 检对象身上携带有违禁品或者属于被检对象的行李中携带有违禁品的 信息。

在没有异常检测的情况下， AR 模块中呈现的为与现实世界一样 的场景。

在一个示例中， 当被检对象携带有违禁品时， AR模块 103可以 从检测模块 102接收被检对象的信息 （例如， 图像、 姓名、 身高等）、 被检对象在全局坐标系下的空间位置信息、 被检对象携带的违禁品的 空间位置信息（例如，违禁品在被检对象身上何处）、违禁品的信息等， 并且向安检人员呈现所接收的信息， 以便安检人员准确找到携带违禁 品的被检对象。

在一个示例中， 当被检对象所携带的行李中藏有违禁品时， AR 模块 103可以从检测模块 102接收行李的信息（例如，行李的图像等）、 违禁品在行李中的位置信息等， 然后从存储单元 104中匹配出与藏有 违禁品的行李相匹配的被检对象， 然后向安检人员精确地指示出被检 对象。

对于相同违禁品， 由于检测模块 102中的第一检测装置和第二检 测装置的视角可能与 AR模块 103 的视角不同， 因此， AR模块 103 可以被配置为基于从检测模块 102接收到的违禁品的信息 （例如， 违 禁品在全局坐标系中的空间位置）、 AR模块与全局坐标系的动态实时 转换关系， 对违禁品的形状进行转换。 例如， 可以利用 AR模块中包 括的软件或硬件 （例如， 视觉里程计或陀螺仪） 等实时记录 AR眼镜 的实时位置， 然后基于该实时位置建立 AR模块与全局坐标系之间的 刚体转换关系。

图 3中示出了根据本发明实施例的不同视角下的违禁品形状的变 换。 如图所示， 在第一检测装置和第二检测装置的视角下， 违禁品的 形状为矩形， 但是在 AR模块的视角下， 违禁品则为菱形。

在一个示例中， 图像识别系统 100还可以包括毫米波检测装置， 以便对被检对象进行精细检测， 以精确识别被检对象携带的违禁品为 何物。

图 4中示出了根据本发明实施例的图像识别方法 40的流程图。 在步骤 401中， 登记被检对象的信息。 被检对象的信息可以例如 是被检对象的姓名、 性别、 身高等。

在步骤 402中， 基于所登记的被检对象的信息来确定被检对象是 否为嫌疑人。 例如， 可以通过将所登记的被检对象的信息与公安系统 中嫌疑人的信息进行比对， 来确定被检对象是否是嫌疑人。

在被检对象是嫌疑人的情况下 （步骤 402处的“是”）， 处理进行 到步骤 407， 向 AR模块发送被检对象的信息， 然后在步骤 408处， AR基于所接收的被检对象的信息视觉地标识出被检对象。

在被检对象不是嫌疑人的情况下 （步骤 402处的“否”）， 处理进 行到步骤 403和步骤 405。 在步骤 403处， 检测行李中是否存在违禁 品。 在行李中存在违禁品的情况下 （步骤 403处的 “是”）， 处理进行 到步骤 404处。 在步骤 404处， 基于行李及其所属的被检对象之间的 关系， 匹配出行李所属的被检对象。 然后， 在步骤 407处， 向 AR模 块发送所匹配出的被检对象的信息 （例如， 被检对象的空间位置等） 和 /或违禁品的信息。 然后， 在步骤 408处， AR模块基于所接收的被 检对象的信息和 /或违禁品的信息视觉地标出被检对象和 /或违禁品。 至此， 处理结束。

在步骤 408处标出被检对象时， 可以同时呈现被检对象的信息。 在步骤 405处， 检测被检对象身上是否携带违禁品。 在被检对象 携带违禁品的情况下 （步骤 405处的“是”）， 处理依次执行步骤 407、 408处的操作， 向 AR发送被检对象的信息 （例如， 被检对象的位置 信息、 被检对象的基本信息（例如， 图像、 姓名等））和所携带的违禁 品的信息（例如， 违禁品的位置信息、 违禁品的形状、 类型等）， 然后 视觉地标出被检对象和违禁品。

在被检对象未携带违禁品 （即， 步骤 405 处的 “否”） 且被检对 象的行李中没有违禁品 （即， 步骤 403处的“否”） 的情况下， 处理进 行到步骤 406处， 允许被检对象携带其行李通过。

图 5中示出了检测对象身上是否携带违禁品的操作 405的示例性 详细流程图。

在步骤 4051 处， 例如通过太赫兹相机和深度相机获得被检对象 的透视图像和具有深度信息的彩色图像。

在步骤 4052 处， 从彩色图像中提取被检对象的人体掩膜， 然后 基于彩色图像的人体掩膜， 从透视图像中提取人体掩膜。 例如， 根据 仿射变换模型， 利用旋转、 平移和缩放将透视图像和彩色图像对齐， 得到太赫兹相机和深度相机之间的变换参数。 然后利用彩色图像中的 深度信息（例如，人体骨架）和目标分割检测框架（例如，掩膜 RCNN） 提取彩色图像的人体掩膜。 然后， 根据太赫兹相机和深度相机间的变 换参数， 基于彩色图像的人体掩膜轮廓信息， 提取出透视图像中的人 体掩膜。

在步骤 4053 处， 基于预先训练好的模型， 识别透视图像中的人 体掩膜中存在的颜色较深的图块是否为违禁品。 例如， 通过目标检测 框架 （例如： YOLOv3） 检测颜色较深的图块是否是违禁品。

在颜色较深的图块为违禁品的情况下， 在步骤 4054 处， 将透视 图中的违禁品的位置对应地映射到彩色图像中。

在颜色较深的图块不是违禁品的情况下， 处理进行到如上所述的 步骤 406处。

图 6中示出了根据本发明实施例的在 AR上视觉地标出被检对象 的操作 408的示例性流程图。 在步骤 4081 处， 通过每个深度相机获得被检对象相对于每个深 度相机的空间位置。

在步骤 4082 处， 以深度相机中的一个深度相机为基准相机， 将 其他深度相机进行外部参数标定， 从而建立全局坐标系。

在步骤 4083处， 将各个深度相机获得的图像信息进行信息融合， 从而获得每个被检对象的空间位置关系。

在步骤 4084 处， 基于太赫兹相机和深度相机之间的变换参数， 得到透视图像下的每个像素在全局坐标系下的空间位置。

在步骤 4085 处， 基于每个像素的空间位置， 将针对被检对象的 正面透视图和背面透视图进行匹配， 以确定正面透视图下的违禁品的 图像和背面透视图下的违禁品的图像是相同图像还是不同图像。

在步骤 4086 处， 将被检对象的位置和违禁品的位置发送给 AR 模块， 以在全局坐标系下标识出被检对象以及违禁品在被检对象身上 何处。

由于安检人员佩戴 /携带 /穿戴着 AR模块随处移动， 因此， 对于 相同的违禁品， AR 模块的视角下违禁品的形状可以变化。 因此， 可 选地， 在步骤 4087处， AR模块可以根据其与全局坐标系之间的转换 关系， 将透视图中的违禁品的形状进行变化， 形成 AR模块视角下的 图形形状。

尽管以上各个框图中示出了多个组件， 但是本领域技术人员应当 理解， 可以在缺少一个或多个组件或将某些组件组合的情况下实现本 发明的实施例。

尽管以上根据附图中所示的顺序对各个步骤进行了描述， 但是本 领域技术人员应当理解， 所述各个步骤可以按照不同的顺序执行， 或 者可以在没有上述步骤中的一个或多个步骤的情况下实现本发明的实 施例。

根据前述内容可以理解， 一个或多个系统或设备的电子组件可以 包括但不限于至少一个处理单元、 存储器、 以及将包括存储器在内的 各个组件耦接到处理单元的通信总线或通信装置。 系统或设备可以包 括或可以访问各种设备可读介质。系统存储器可以包括易失性和 /或非 易失性存储器形式的设备可读存储介质 （比如， 只读存储器 （ROM） 和 /或随机存取存储器 （RAM））。 通过示例而非限制的方式， 系统存 储器还可以包括操作系统、 应用程序、 其它程序模块和程序数据。

实施例可以实现为系统、 方法或程序产品。 因此， 实施例可以采 用全硬件实施例或者包括软件 （包括固件、 常驻软件、 微代码等） 的 实施例的形式， 它们在本文中可以统称为“电路”、 “模块”或“系统”。 此外， 实施例可以采取在其上体现有设备可读程序代码的至少一个设 备可读介质中体现的程序产品的形式。

可以使用设备可读存储介质的组合。 在本文档的上下文中， 设备 可读存储介质 （“存储介质”） 可以是任何有形的非信号介质， 其可以 包含或存储由配置为由指令执行系统、 装置或设备使用或与其结合使 用的程序代码组成的程序。 出于本公开的目的， 存储介质或设备应被 解释为非暂时性的， 即不包括信号或传播介质。

本公开出于说明和描述的目的得以呈现， 但是并非旨在穷举或限 制。 许多修改和变化对于本领域普通技术人员将是明显的。 选择和描 述实施例以便说明原理和实际应用， 并且使得本领域普通技术人员能 够理解具有适合于所预期的特定用途的各种修改的本公开的各种实施 例。

Claims

权 利 要 求 书

1.一种图像识别系统， 包括：

信息录入模块， 被配置为录入被检对象的信息， 并且识别所述被 检对象的信息是否为异常信息；

检测模块，被配置为检测所述被检对象和 /或其行李是否携带违禁 品；

增强现实（AR）模块， 被配置为在被检对象的信息异常的情况和 被检对象和 /或其行李携带违禁品的情况中的至少一种情况下，从所述 信息录入模块和 /或所述检测模块中获取被检对象的信息和 /或违禁品 的信息， 发出警报并且在所述 AR模块中标出被检对象和 /或违禁品； 以及

存储模块， 被配置为存储所述信息录入模块、 所述检测模块和所 述 AR模块操作过程中产生的信息。

2. 根据权利要求 1所述的图像识别系统，所述检测模块包括检测 通道、 第一检测装置和第二检测装置， 其中，

所述第一检测装置位于所述检测通道的前部， 所述第二检测装置 位于所述检测通道的后部， 所述第一检测装置和所述第二检测装置均 包括第一图像获取装置以及第二图像获取装置， 所述第一图像获取装 置用于获取被检对象的透视图， 所述第二图像获取装置用于获取关于 被检对象的深度信息和关于被检对象的彩色图像；

所述检测模块被配置为基于所述透视图和所述彩色图像检测所 述被检对象和 /或其行李是否携带违禁品。

3. 根据权利要求 2所述的图像识别系统，所述检测模块还被配置 为： 通过所述第一检测装置和所述第二检测装置中包括的所述第二图 像获取装置建立针对所述第二图像获取装置的全局坐标系， 以获取每 个被检对象在所述全局坐标系下的空间位置和 /或所携带的违禁品在 所述全局坐标系下的空间位置。

4. 根据权利要求 2所述的图像识别系统，所述检测模块还包括辅 助图像获取装置， 其位于所述检测通道的中间部位处， 用于获取关于 被检对象的深度信息和关于被检对象的彩色图像。

5. 根据权利要求 4所述的图像识别系统，所述检测模块还被配置 为： 通过所述第一检测装置和所述第二检测装置中包括的所述第二图 像获取装置以及所述辅助图像获取装置建立针对所述辅助图像获取装 置和所述第二图像获取装置的全局坐标系， 以获取每个被检对象在所 述全局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐标系 下的空间位置。

6. 根据权利要求 3或 5所述的图像识别系统， 所述 AR模块还被配 置为：基于每个被检对象在所述全局坐标系下的空间位置和 /或所携带 的违禁品在所述全局坐标系下的空间位置，根据所述 AR模块与所述全 局坐标系之间的转换关系，获得每个被检对象和 /或所携带的违禁品在 所述 AR模块视角下的空间位置信息， 以在所述 AR模块上标出被检对 象和 /或违禁品。

7.—种图像识别方法， 包括：

利用信息录入模块录入被检对象的信息， 并且识别所述被检对象 的信息是否为异常信息；

利用检测模块检测所述被检对象和 /或其行李是否携带违禁品； 在被检对象的信息异常的情况和被检对象和 /或其行李携带违禁 品的情况中的至少一种情况下， 利用增强现实（AR）模块从所述信息 录入模块和 /或所述检测模块中获取被检对象的信息和 /或违禁品的信 息， 发出警报并且在所述 AR模块中标出被检对象和 /或违禁品； 以及 利用存储模块存储所述图像识别方法执行过程中产生的信息。

8. 根据权利要求 7所述的图像识别方法，所述利用检测模块检测 所述被检对象和 /或其行李是否携带违禁品包括：

利用所述检测模块的第一检测装置和第二检测装置中包括的第 一图像获取装置获取被检对象的透视图， 其中， 所述第一检测装置位 于所述检测模块中的检测通道的前部， 所述第二检测装置位于所述检 测通道的后部；

利用所述检测模块的第一检测装置和第二检测装置中包括的第 二图像获取装置获取关于被检对象的深度信息和彩色图像； 以及 基于所述透视图和所述彩色图像检测所述被检对象和 /或其行李 是否携带违禁品。

9. 根据权利要求 8所述的图像识别方法， 所述在所述 AR模块中 标出被检对象和 /或违禁品包括：

通过所述第一检测装置和所述第二检测装置中包括的所述第二 图像获取装置建立针对所述第二图像获取装置的全局坐标系， 以获取 每个被检对象在所述全局坐标系下的空间位置和 /或所携带的违禁品 在所述全局坐标系下的空间位置； 以及

基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。

10. 根据权利要求 8所述的图像识别方法， 所述在所述 AR模块 中标出被检对象和 /或违禁品包括：

通过设置在所述检测通道中部的辅助图像获取装置和所述第一 检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针 对所述辅助图像获取装置和所述第二图像获取装置的全局坐标系， 以 获取每个被检对象在所述全局坐标系下的空间位置和 /或所携带的违 禁品在所述全局坐标系下的空间位置， 其中， 所述辅助图像获取装置 用于获取关于被检对象的深度信息和关于被检对象的彩色图像； 以及 基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。

11. 根据权利要求 9或 10所述的图像识别方法， 所述在所述 AR模 块中标出被检对象和 /或违禁品还包括：

基于每个被检对象在所述全局坐标系下的空间位置和 /或所携带 的违禁品在所述全局坐标系下的空间位置，根据所述 AR模块与所述全 局坐标系之间的转换关系，获得每个被检对象和 /或所携带的违禁品在 所述 AR模块视角下的空间位置信息， 以在所述 AR模块上标出被检对 象和 /或违禁品。

12. 一种电子设备， 包括：

一个或多个处理器； 以及

存储器， 用于存储一个或多个程序，

其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器实现根据权利要求 7至 11中任一项所述的 方法。

13. —种非暂时性计算机可读介质，包括记录在其上且能够由处 理器运行的计算机程序产品， 所述计算机程序产品包括用于实现根据 权利要求 7至 11中任一项所述的方法的程序代码指令。