WO2021043073A1 - 基于图像识别的城市宠物活动轨迹监测方法及相关设备 - Google Patents

基于图像识别的城市宠物活动轨迹监测方法及相关设备 Download PDF

Info

Publication number
WO2021043073A1
WO2021043073A1 PCT/CN2020/111879 CN2020111879W WO2021043073A1 WO 2021043073 A1 WO2021043073 A1 WO 2021043073A1 CN 2020111879 W CN2020111879 W CN 2020111879W WO 2021043073 A1 WO2021043073 A1 WO 2021043073A1
Authority
WO
WIPO (PCT)
Prior art keywords
pet
image
feature vector
optical flow
target
Prior art date
Application number
PCT/CN2020/111879
Other languages
English (en)
French (fr)
Inventor
金晨
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021043073A1 publication Critical patent/WO2021043073A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，提供一种基于图像识别的城市宠物活动轨迹监测方法、装置、终端及存储介质，包括：获取预设图像采集设备采集的宠物图像；识别宠物图像中的宠物类别；当宠物类别为目标类别时，识别宠物图像中的宠物姿态；根据宠物姿态对应的特征提取算法提取宠物图像中的特征向量；采用光流算法对特征向量进行修正得到目标特征向量；比对目标特征向量与预设数据库中的特征向量是否一致；当比对一致时，关联存储宠物图像的标识信息与预设图像采集设备的采集信息；获取具有相同标识信息的宠物图像对应的采集信息；根据采集信息确定宠物的活动轨迹。本申请可应用于智慧城市领域中，能够对城市中的宠物的活动轨迹进行监测。

Description

基于图像识别的城市宠物活动轨迹监测方法及相关设备
本申请要求于2019年09月03日提交中国专利局、申请号为201910829497.0，发明名称为“基于图像识别的城市宠物活动轨迹监测方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于图像识别的城市宠物活动轨迹监测方法、装置、终端及存储介质。
背景技术
近年来，随着人们生活水平的提高，城区居民饲养宠物日渐增多，人类在享受宠物带来的物质和精神满足时，也应当善待动物，促进人与动物之间的和谐共处，也契合构建智慧城市的理念。
现有技术中，对城市宠物的活动轨迹的跟踪，主要是通过视频监控进行分析来识别移动目标，从而将目标的移动过程记录下来，便于跟踪与分析。但是，发明人意识到，宠物大多是猫和狗，这些宠物比较好动，跑动速度比较快，而使用视频监控分析多个摄像头采集到的数据，对得到的静态画面采用相同的方式提取画面中的特征向量，但未考虑宠物的姿态问题，因而基于提取得到的特征向量进行比对，导致宠物识别效果差，识别效率低，给目标跟踪与分析带了很大的困难，进而影响了后期对宠物活动轨迹的跟踪与分析。
因此，有必要提供一种新的方案，对城市宠物的活动区域进行监测。
发明内容
鉴于以上内容，有必要提出一种基于图像识别的城市宠物活动轨迹监测方法、装置、终端及存储介质，能够对城市中的宠物的活动轨迹进行监测。
本申请的第一方面提供一种基于图像识别的城市宠物活动轨迹监测方法，所述方法包括：
获取预设图像采集设备采集的宠物图像；
识别所述宠物图像中的宠物类别；
当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
采用光流算法对所述特征向量进行修正得到目标特征向量；
比对所述目标特征向量与预设数据库中的特征向量是否一致；
当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
获取具有相同标识信息的宠物图像对应的采集信息；
根据所述采集信息确定所述宠物的活动轨迹。
本申请的第二方面提供一种基于图像识别的城市宠物活动轨迹监测装置，所述装置包括：
图像获取模块，用于获取预设图像采集设备采集的宠物图像；
类别识别模块，用于识别所述宠物图像中的宠物类别；
姿态识别模块，用于当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
特征提取模块，用于根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
特征修正模块，用于采用光流算法对所述特征向量进行修正得到目标特征向量；
特征比对模块，用于比对所述目标特征向量与预设数据库中的特征向量是否一致；
关联存储模块，用于当确定所述目标特征向量与所述预设数据库中的特征向量一致时， 关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
信息获取模块，用于获取具有相同标识信息的宠物图像对应的采集信息；
轨迹确定模块，用于根据所述采集信息确定所述宠物的活动轨迹。
本申请的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机可读指令时实现以下步骤：
获取预设图像采集设备采集的宠物图像；
识别所述宠物图像中的宠物类别；
当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
采用光流算法对所述特征向量进行修正得到目标特征向量；
比对所述目标特征向量与预设数据库中的特征向量是否一致；
当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
获取具有相同标识信息的宠物图像对应的采集信息；
根据所述采集信息确定所述宠物的活动轨迹。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
获取预设图像采集设备采集的宠物图像；
识别所述宠物图像中的宠物类别；
当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
采用光流算法对所述特征向量进行修正得到目标特征向量；
比对所述目标特征向量与预设数据库中的特征向量是否一致；
当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
获取具有相同标识信息的宠物图像对应的采集信息；
根据所述采集信息确定所述宠物的活动轨迹。
综上所述，本申请所述的基于图像识别的城市宠物活动轨迹监测方法、装置、终端及存储介质，可应用于智慧宠物的管理中，从而促进智慧城市的发展。本申请通过识别宠物类别和姿态，基于姿态提取特征向量，提取的特征向量具有针对性和较强的表征能力，有助于提高比对的识别率；此外，采用光流法对特征向量进行修正，去除了非目标对象的干扰，得到的目标特征向量进一步提高了特征的表达能力，有助于进一步提高比对的识别率；最后，基于得到的标识信息和采集信息确定宠物的活动区域，具有较多的实用价值和经济价值。再者，通过Fast RCNN不仅能够识别宠物图像中的宠物类别，还能用检测框框选出宠物图像中宠物的位置，并基于检测框对应的区域进行姿态识别和特征提取，由于检测框对应的区域的像素少，能够有效的提高姿态识别和特征提取的速度，更进一步的提高了比对的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例一提供的基于图像识别的城市宠物活动轨迹监测方法的流程图。
图2是本申请实施例二提供的基于图像识别的城市宠物活动轨迹监测装置的结构图。
图3是本申请实施例三提供的终端的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
实施例一
图1是本申请实施例一提供的基于图像识别的城市宠物活动轨迹监测方法的流程图。
在本实施例中，对于需要进行基于图像识别的城市宠物活动轨迹监测的终端，可以直接在终端上集成本申请的方法所提供的基于图像识别的城市宠物活动轨迹监测的功能，或者以软件开发工具包(Software Development Kit，SKD)的形式运行在终端中。
如图1所示，所述基于图像识别的城市宠物活动轨迹监测方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，获取预设图像采集设备采集的宠物图像。
本实施例中，可以根据相关政策规定或者实际的场景需求，预先设置多个图像采集设备，以采集宠物的图像。所述预先设置多个图像采集设备包括预先设置所述多个图像采集设备的位置及图像采集设备的高度。
示例性的，假设公园禁止宠物进入，那么可以在公园的出入口或者开阔的地方安装图像采集设备。当确定了图像采集设备的安装位置，再确定图像采集设备的安装高度，使得图像采集设备采集的宠物图像无遮挡，便于提高宠物图像的识别精度。
本实施例中，还可以为每一个图像采集设备对应设置一个唯一的设备标识号，用于表示高清数字图像采集设备的身份。所述图像采集设备可以是高清数字图像采集设备。
S12，识别所述宠物图像中的宠物类别。
本实施例中，可以使用基于深度学习的目标检测算法，比如，Faster R-CNN目标检测算法，识别出所述宠物图像中的宠物类别。
其中，输入至所述Faster R-CNN目标检测算法中的是所述宠物图像，所述Faster R-CNN目标检测算法输出的是所述宠物图像中的宠物类别及用检测框框出的宠物的位置。所述Faster R-CNN目标检测算法为现有技术，本申请在此不做详细赘述。
S13，当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态。
本实施例中，可以根据实际情况预先设定感兴趣的宠物类别作为目标类别，例如，重点关注城市中的流浪狗。
在使用Faster R-CNN目标检测算法识别得到宠物图像的宠物类别之后，可以判断该宠物类别是否为目标类别。若该宠物类别为目标类别，则继续识别所述宠物图像中的宠物姿态；若该宠物类别不为目标类别，则可以不做任何处理或者根据实际需求执行其他步骤，具体不做任何限制。
在一个可选的实施例中，所述识别所述宠物图像中的宠物姿态包括：
将所述宠物图像输入预先训练好的宠物姿态识别模型中；
获取所述宠物姿态识别模型输出的识别结果；
根据所述识别结果确定所述宠物图像中的宠物姿态。
本实施例中，所述宠物姿态识别模型是预先训练好的，其训练过程可以包括：预先获取多个不同姿态的宠物图像；将多个不同姿态的宠物图像及姿态类别分为第一比例的训练集和 第二比例的测试集，其中，第一比例远大于第二比例；将所述训练集输入预先设置的深度神经网络中进行有监督的学习和训练，得到宠物姿态识别模型；将所述测试集输入所述宠物姿态识别模型中进行测试，得到测试通过率；当所述测试通过率大于或者等于预设通过率阈值，结束所述宠物姿态识别模型的训练，当所述测试通过率小于所述预设通过率阈值，则重新划分训练集和测试集，并基于新的训练集学习和训练宠物姿态识别模型，基于新的测试集测试新训练得到的宠物姿态识别模型的通过率。由于宠物姿态识别模型并不是本申请的重点，因此关于训练宠物姿态识别模型的具体过程，本文在此不再详细阐述。所述宠物姿态识别模型的训练过程可以在离线执行，当需要识别所述宠物图像中的宠物姿态时，可以在线输入所述宠物图像至所述宠物姿态识别模型中，通过所述宠物姿态识别模型输出所述宠物图像中的宠物姿态。
应当理解的是，如果预先获取的是不同正面、侧面及背面的宠物图像，基于不同正面、侧面及背面的宠物图像训练得到的姿态识别模型，输入所述宠物图像之后，所述姿态识别模型的识别结果为正面、侧面及背面中的一种。如果预先获取的是不同站立、下蹲、爬着、仰卧、行走及打滚的宠物图像，基于不同站立、下蹲、爬着、仰卧、行走及打滚的宠物图像训练得到的姿态识别模型，输入所述宠物图像之后，所述姿态识别模型的识别结果为站立、下蹲、爬着、仰卧、行走及打滚中的一种。
在一个可选的实施例中，所述将所述宠物图像输入预先训练好的宠物姿态识别模型中包括：
获取Faster R-CNN目标检测算法检测出的所述宠物图像中的检测框；
从所述宠物图像中裁剪出所述检测框对应的区域；
将所裁剪出的区域作为输入图像输入预先训练好的宠物姿态识别模型中。
本实施例中，由于Faster R-CNN目标检测算法不仅能够识别出所述宠物图像中的宠物类别，还能将所述宠物图像中宠物所在的区域用检测框框选出来，而检测框框选的区域的像素数量远小于整幅宠物图像的像素数量，且检测框框选的区域几乎只包含了宠物这一目标对象，而无其他非目标对象，因此将检测框框选的区域裁剪出来作为宠物姿态识别模型的输入图像，不仅有助于提高宠物姿态识别模型识别宠物姿态的效率，而且去掉了检测框所对应的区域中的非目标对象的干扰，有助于能提高宠物姿态识别模型识别宠物姿态的精度。
S14，根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量。
本实施例中，由于宠物的姿态各种各样，采用同一种特征提取算法提取不同姿态下的宠物图像的特征向量是不准确的，后续进行特征向量比对时，误差较大，识别率较低。因而，为了提高后续对特征向量进行比对的效率和准确率，可以预先设置宠物姿态与特征提取算法之间的对应关系，不同的宠物姿态对应不同的特征提取算法。例如，正面姿态对应第一特征提取算法，所述第一特征提取算法专用于提取具有正面姿态的宠物的图像的特征向量；侧面姿态对应第二特征提取算法，所述第二特征提取算法专用于提取具有侧面姿态的宠物的图像的特征向量；背面姿态对应第三特征提取算法，所述第三特征提取算法专用于提取具有背面姿态的宠物的图像的特征向量。或者，行走姿态对应第四特征提取算法，第四特征提取算法专用于提取具有行走姿态的宠物的图像的特征向量。本文在此不进行枚举。所述不同宠物姿态对应的特征提取算法均可以采用深度神经网络训练得到，具体的训练过程依据所需要提取的特征向量区别学习与训练，由于本文的重点并非特征提取算法的训练过程，因此不再阐述。
在一个可选的实施例中，所述根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量包括：
根据预设宠物姿态与特征提取算法之间的对应关系，匹配出所述宠物姿态对应的特征提取算法；
采用所匹配出的特征提取算法提取所裁剪出的区域中的特征向量。
所述特征向量可以为皮毛颜色、花纹等，或者为鼻子、眼睛、嘴巴等特征点。
匹配出了宠物姿态对应的特征提取算法之后，可以提取从所述宠物图像中所裁剪出的区 域中的特征向量，如此可以减少特征提取的计算量，提高特征提取的效率。
S15，采用光流算法对所述特征向量进行修正得到目标特征向量。
由于在较短的时间内，同一宠物在不同帧之间的运动速度有限，即同一个图像采集设备采集的多帧宠物图像之间亮度不会发生改变，且宠物的位置不会发生剧烈变化，相邻帧之间的位移非常小，仅存在平移变换或者拉伸压缩变换等，因而多帧宠物图像之间具有较强的关联性，该多帧图像在像素上的表征能力大致相当，局部区域差异不大。故而可以采用光流算法对同一个图像采集设备采集的多帧宠物图像的特征向量进行修正，将相邻多帧的宠物图像进行相关联。
在一个可选的实施例中，所述采用光流算法对所述特征向量进行修正包括：
采用光流算法计算相邻两帧特征向量的光流场；
对所述光流场进行阈值分割；
筛选出所述光流场中大于所述阈值的目标光流场；
提取所述相邻两帧特征向量中对应所述目标光流场的候选特征向量；
对相邻两帧候选特征向量进行平均得到目标特征向量。
本实施例中，光流算法是计算光流场的，在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。优选为特征点光流场，具有计算量小、快速灵活的特点。通过光流算法计算出了相邻两帧特征向量中的每个点的光流矢量，而发生运动的物体的光流矢量与背景光流矢量之间存在差异，使用阀值分割可以将光流场分成两个部分，即区分出运动的物体与背景。优选地，所述阀值的选取可以使用最大类间方差法(大津算法)来确定。
由于宠物图像中的检测框对应的区域内，可能除了宠物之外，还存在其他物体，通过光流算法对相邻两帧特征向量进行修正之后，得到的目标特征向量更能代表宠物图像中的宠物特征。后续在基于目标特征向量进行比对和搜索时，能够提高比对和搜索的精确度。
在一个可选的实施例中，在所述对所述光流场进行阈值分割之后，所述方法还包括：
根据形态学运算对阈值分割后的光流场进行滤波；
连通滤波后的光流场得到最终的光流场。
本实施例中，光流场经过阈值分割后，会存在一些孤立的点或者凹区域，影响了运动目标的提取。可先利用形态学滤波中的开运算，去除那些光流值与结构元素不相吻合的凹区域，同时保留那些相吻合的凹区域。然后，利用形态学滤波中的闭运算，填充凹区域，如此运动目标所对应的区域成为一个可以连成一体的区域，便于计算得到目标特征向量。
S16，比对所述目标特征向量与预设数据库中的特征向量是否一致。
本实施例中，预先存储了一个数据库，所述数据库中记录了不同宠物的不同姿态下的特征向量及每个宠物的标识信息。其中，所述标识信息可以是指标识号或者宠物名称。
将目标特征向量与预设数据库中的每一个特征向量逐一进行比对，计算所述目标特征向量与所述预设数据库中的特征向量之间的相似度。当所述相似度大于或者等于预设相似度阈值时，确定所述目标特征向量与预设数据库中的特征向量一致；当所述相似度小于所述预设相似度阈值时，确定所述目标特征向量与预设数据库中的特征向量不一致。
可以通过计算所述目标特征向量与所述预设数据库中的特征向量之间的余弦夹角，作为所述目标特征向量与所述预设数据库中的特征向量之间的相似度。
S17，当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息。
本实施例中，当确定目标特征向量与预设数据库中的特征向量一致，表明预设数据库中存在与所述宠物图像相同的图像，则将预设图像采集设备的采集信息及宠物的标识信息进行关联存储，为后期统计分析提供数据来源。
所述采集信息是指所述图像采集设备采集所述宠物图像时的信息，可以包括：图像采集 设备的地理位置，图像采集设备的设备标识号，采集所述宠物图像时的时间(下文简称为采集时间)。所述地理位置可以用经纬度坐标表示，所述设备标识号可以用ID+数字表示，所述采集时间可以用年-月-日-时-分-秒表示。所述采集信息和标识信息可以关联存储于所述预设数据库中，还可以关联存储于另一个预设的数据库中。
示例性的，假设在某个时间T，位于某个地理位置L的图像采集设备C拍摄到了一只小狗，通过上述步骤S11-S17比对出这只小狗的标识信息为ID，则可以组成一条记录(ID，T，L，C)进行关联存储。关联存储能够便于后续根据任意一个参数关联获取得到其他多个参数信息。例如，可以根据设备标识号这个参数，关联获取得到具有相同设备标识号的宠物图像、标识信息、图像采集设备的地理位置、采集所述宠物图像时的时间等多个参数。
在一个可选的实施例中，当确定所述目标特征向量与所述预设数据库中的特征向量不一致时，所述方法还包括：
根据所述目标特征向量生成一个标识信息；
关联存储所述宠物图像、所述目标特征向量及所述标识信息。
本实施例中，当确定目标特征向量与预设数据库中的特征向量不一致，表明预设数据库中不存在与所述宠物图像相同的图像，认为所述宠物图像中的宠物为新类别的宠物。此时可以计算所述宠物图像中的所述目标特征向量的哈希值，作为所述宠物图像的标识信息，并将宠物图像及对应的目标特征向量和所述标识信息进行关联存储在所述预设数据库中或者其他数据库中，增加数据库的数据量，大数据量的数据库更便于后续比对分析。
S18，获取具有相同标识信息的宠物图像对应的采集信息。
本实施例中，可以从所述预设数据库中获取标识信息，然后将具有相同的标识信息的宠物图像集中在一起，进一步获取集中在一起的所述宠物图像的采集信息。
S19，根据所述采集信息确定所述宠物的活动轨迹。
本实施例中，可以根据数据库中记录的采集信息和标识信息，得到宠物的活动轨迹，根据所述活动轨迹确定所述宠物的活动区域。
示例性的，假如需要获取某只小狗的活动轨迹，只需要获取该只小狗的图像，根据上述步骤S11-S19，从预设数据库中确定出该只小狗的标识信息，即可将所有具有该标识信息的采集信息提取出来，并进而根据提取出的采集信息确定这只小狗的活动轨迹。具体的，根据采集信息中的图像采集设备的位置及机号、对应的采集时间确定出这只小狗在何时出现在了何地。又如，可以针对某一个特定的地点进行查询，即可得到这个地点出现了哪些宠物，出现宠物的数量和时间等。
还可以以地图的形式显示宠物的活动轨迹。
需要说明的是，上述基于图像识别的城市宠物活动区域监测方法，不仅可以应用于寻找丢失的宠物，还可以应用于对流浪动物的救助、禁止宠物进入特定地区的执法依据等。
综上，本申请所述的基于图像识别的城市宠物活动区域监测方法，可应用于智慧宠物的管理中，从而促进智慧城市的发展。本申请通过识别宠物类别和姿态，基于姿态提取特征向量，提取的特征向量具有针对性和较强的表征能力，有助于提高比对的识别率；此外，采用光流法对特征向量进行修正，去除了非目标对象的干扰，得到的目标特征向量进一步提高了特征的表达能力，有助于进一步提高比对的识别率；最后，基于得到的标识信息和采集信息确定宠物的活动区域，具有较多的实用价值和经济价值。再者，通过Fast RCNN不仅能够识别宠物图像中的宠物类别，还能用检测框框选出宠物图像中宠物的位置，并基于检测框对应的区域进行姿态识别和特征提取，由于检测框对应的区域的像素少，能够有效的提高姿态识别和特征提取的速度，更进一步的提高了比对的效率。
实施例二
图2是本申请实施例二提供的基于图像识别的城市宠物活动轨迹监测装置的结构图。
在一些实施例中，所述基于图像识别的城市宠物活动轨迹监测装置20可以包括多个由计 算机可读指令段所组成的功能模块。所述基于图像识别的城市宠物活动轨迹监测装置20中的各个程序段的计算机可读指令可以存储于终端的存储器中，并由所述至少一个处理器所执行，以基于图像识别执行(详见图1描述)对城市宠物活动轨迹的监测。
本实施例中，所述基于图像识别的城市宠物活动轨迹监测装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：图像获取模块201、类别识别模块202、姿态识别模块203、特征提取模块204、特征修正模块205、滤波连通模块206、特征比对模块207、关联存储模块208、信息获取模块209及轨迹确定模块210。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
图像获取模块201，用于获取预设图像采集设备采集的宠物图像。
本实施例中，可以根据相关政策规定或者实际的场景需求，预先设置多个图像采集设备，以采集宠物的图像。所述预先设置多个图像采集设备包括预先设置所述多个图像采集设备的位置及图像采集设备的高度。
示例性的，假设公园禁止宠物进入，那么可以在公园的出入口或者开阔的地方安装图像采集设备。当确定了图像采集设备的安装位置，再确定图像采集设备的安装高度，使得图像采集设备采集的宠物图像无遮挡，便于提高宠物图像的识别精度。
本实施例中，还可以为每一个图像采集设备对应设置一个唯一的设备标识号，用于表示高清数字图像采集设备的身份。所述图像采集设备可以是高清数字图像采集设备。
类别识别模块202，用于识别所述宠物图像中的宠物类别。
本实施例中，可以使用基于深度学习的目标检测算法，比如，Faster R-CNN目标检测算法，识别出所述宠物图像中的宠物类别。
其中，输入至所述Faster R-CNN目标检测算法中的是所述宠物图像，所述Faster R-CNN目标检测算法输出的是所述宠物图像中的宠物类别及用检测框框出的宠物的位置。所述Faster R-CNN目标检测算法为现有技术，本申请在此不做详细赘述。
姿态识别模块203，用于当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态。
本实施例中，可以根据实际情况预先设定感兴趣的宠物类别作为目标类别，例如，重点关注城市中的流浪狗。
在使用Faster R-CNN目标检测算法识别得到宠物图像的宠物类别之后，可以判断该宠物类别是否为目标类别。若该宠物类别为目标类别，则继续识别所述宠物图像中的宠物姿态；若该宠物类别不为目标类别，则可以不做任何处理或者根据实际需求执行其他步骤，具体不做任何限制。
在一个可选的实施例中，所述姿态识别模块203识别所述宠物图像中的宠物姿态包括：
将所述宠物图像输入预先训练好的宠物姿态识别模型中；
获取所述宠物姿态识别模型输出的识别结果；
根据所述识别结果确定所述宠物图像中的宠物姿态。
本实施例中，所述宠物姿态识别模型是预先训练好的，其训练过程可以包括：预先获取多个不同姿态的宠物图像；将多个不同姿态的宠物图像及姿态类别分为第一比例的训练集和第二比例的测试集，其中，第一比例远大于第二比例；将所述训练集输入预先设置的深度神经网络中进行有监督的学习和训练，得到宠物姿态识别模型；将所述测试集输入所述宠物姿态识别模型中进行测试，得到测试通过率；当所述测试通过率大于或者等于预设通过率阈值，结束所述宠物姿态识别模型的训练，当所述测试通过率小于所述预设通过率阈值，则重新划分训练集和测试集，并基于新的训练集学习和训练宠物姿态识别模型，基于新的测试集测试新训练得到的宠物姿态识别模型的通过率。由于宠物姿态识别模型并不是本申请的重点，因此关于训练宠物姿态识别模型的具体过程，本文在此不再详细阐述。所述宠物姿态识别模型的训练过程可以在离线执行，当需要识别所述宠物图像中的宠物姿态时，可以在线输入所述 宠物图像至所述宠物姿态识别模型中，通过所述宠物姿态识别模型输出所述宠物图像中的宠物姿态。
应当理解的是，如果预先获取的是不同正面、侧面及背面的宠物图像，基于不同正面、侧面及背面的宠物图像训练得到的姿态识别模型，输入所述宠物图像之后，所述姿态识别模型的识别结果为正面、侧面及背面中的一种。如果预先获取的是不同站立、下蹲、爬着、仰卧、行走及打滚的宠物图像，基于不同站立、下蹲、爬着、仰卧、行走及打滚的宠物图像训练得到的姿态识别模型，输入所述宠物图像之后，所述姿态识别模型的识别结果为站立、下蹲、爬着、仰卧、行走及打滚中的一种。
在一个可选的实施例中，所述将所述宠物图像输入预先训练好的宠物姿态识别模型中包括：
获取Faster R-CNN目标检测算法检测出的所述宠物图像中的检测框；
从所述宠物图像中裁剪出所述检测框对应的区域；
将所裁剪出的区域作为输入图像输入预先训练好的宠物姿态识别模型中。
本实施例中，由于Faster R-CNN目标检测算法不仅能够识别出所述宠物图像中的宠物类别，还能将所述宠物图像中宠物所在的区域用检测框框选出来，而检测框框选的区域的像素数量远小于整幅宠物图像的像素数量，且检测框框选的区域几乎只包含了宠物这一目标对象，而无其他非目标对象，因此将检测框框选的区域裁剪出来作为宠物姿态识别模型的输入图像，不仅有助于提高宠物姿态识别模型识别宠物姿态的效率，而且去掉了检测框所对应的区域中的非目标对象的干扰，有助于能提高宠物姿态识别模型识别宠物姿态的精度。
特征提取模块204，用于根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量。
本实施例中，由于宠物的姿态各种各样，采用同一种特征提取算法提取不同姿态下的宠物图像的特征向量是不准确的，后续进行特征向量比对时，误差较大，识别率较低。因而，为了提高后续对特征向量进行比对的效率和准确率，可以预先设置宠物姿态与特征提取算法之间的对应关系，不同的宠物姿态对应不同的特征提取算法。例如，正面姿态对应第一特征提取算法，所述第一特征提取算法专用于提取具有正面姿态的宠物的图像的特征向量；侧面姿态对应第二特征提取算法，所述第二特征提取算法专用于提取具有侧面姿态的宠物的图像的特征向量；背面姿态对应第三特征提取算法，所述第三特征提取算法专用于提取具有背面姿态的宠物的图像的特征向量。或者，行走姿态对应第四特征提取算法，第四特征提取算法专用于提取具有行走姿态的宠物的图像的特征向量。本文在此不进行枚举。所述不同宠物姿态对应的特征提取算法均可以采用深度神经网络训练得到，具体的训练过程依据所需要提取的特征向量区别学习与训练，由于本文的重点并非特征提取算法的训练过程，因此不再阐述。
在一个可选的实施例中，所述特征提取模块204根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量包括：
根据预设宠物姿态与特征提取算法之间的对应关系，匹配出所述宠物姿态对应的特征提取算法；
采用所匹配出的特征提取算法提取所裁剪出的区域中的特征向量。
所述特征向量可以为皮毛颜色、花纹等，或者为鼻子、眼睛、嘴巴等特征点。
匹配出了宠物姿态对应的特征提取算法之后，可以提取从所述宠物图像中所裁剪出的区域中的特征向量，如此可以减少特征提取的计算量，提高特征提取的效率。
特征修正模块205，用于采用光流算法对所述特征向量进行修正得到目标特征向量。
由于在较短的时间内，同一宠物在不同帧之间的运动速度有限，即同一个图像采集设备采集的多帧宠物图像之间亮度不会发生改变，且宠物的位置不会发生剧烈变化，相邻帧之间的位移非常小，仅存在平移变换或者拉伸压缩变换等，因而多帧宠物图像之间具有较强的关联性，该多帧图像在像素上的表征能力大致相当，局部区域差异不大。故而可以采用光流算法对同一个图像采集设备采集的多帧宠物图像的特征向量进行修正，将相邻多帧的宠物图像 进行相关联。
在一个可选的实施例中，所述特征修正模块205采用光流算法对所述特征向量进行修正包括：
采用光流算法计算相邻两帧特征向量的光流场；
对所述光流场进行阈值分割；
筛选出所述光流场中大于所述阈值的目标光流场；
提取所述相邻两帧特征向量中对应所述目标光流场的候选特征向量；
对相邻两帧候选特征向量进行平均得到目标特征向量。
本实施例中，光流算法是计算光流场的，在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。优选为特征点光流场，具有计算量小、快速灵活的特点。通过光流算法计算出了相邻两帧特征向量中的每个点的光流矢量，而发生运动的物体的光流矢量与背景光流矢量之间存在差异，使用阀值分割可以将光流场分成两个部分，即区分出运动的物体与背景。优选地，所述阀值的选取可以使用最大类间方差法(大津算法)来确定。
由于宠物图像中的检测框对应的区域内，可能除了宠物之外，还存在其他物体，通过光流算法对相邻两帧特征向量进行修正之后，得到的目标特征向量更能代表宠物图像中的宠物特征。后续在基于目标特征向量进行比对和搜索时，能够提高比对和搜索的精确度。
在一个可选的实施例中，在所述对所述光流场进行阈值分割之后，所述基于图像识别的城市宠物活动轨迹监测装置20还包括：滤波连通模块206，用于：
根据形态学运算对阈值分割后的光流场进行滤波；
连通滤波后的光流场得到最终的光流场。
本实施例中，光流场经过阈值分割后，会存在一些孤立的点或者凹区域，影响了运动目标的提取。可先利用形态学滤波中的开运算，去除那些光流值与结构元素不相吻合的凹区域，同时保留那些相吻合的凹区域。然后，利用形态学滤波中的闭运算，填充凹区域，如此运动目标所对应的区域成为一个可以连成一体的区域，便于计算得到目标特征向量。
特征比对模块207，用于比对所述目标特征向量与预设数据库中的特征向量是否一致。
本实施例中，预先存储了一个数据库，所述数据库中记录了不同宠物的不同姿态下的特征向量及每个宠物的标识信息。其中，所述标识信息可以是指标识号或者宠物名称。
将目标特征向量与预设数据库中的每一个特征向量逐一进行比对，计算所述目标特征向量与所述预设数据库中的特征向量之间的相似度。当所述相似度大于或者等于预设相似度阈值时，确定所述目标特征向量与预设数据库中的特征向量一致；当所述相似度小于所述预设相似度阈值时，确定所述目标特征向量与预设数据库中的特征向量不一致。
可以通过计算所述目标特征向量与所述预设数据库中的特征向量之间的余弦夹角，作为所述目标特征向量与所述预设数据库中的特征向量之间的相似度。
关联存储模块208，用于当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息。
本实施例中，当确定目标特征向量与预设数据库中的特征向量一致，表明预设数据库中存在与所述宠物图像相同的图像，则将预设图像采集设备的采集信息及宠物的标识信息进行关联存储，为后期统计分析提供数据来源。
所述采集信息是指所述图像采集设备采集所述宠物图像时的信息，可以包括：图像采集设备的地理位置，图像采集设备的设备标识号，采集所述宠物图像时的时间(下文简称为采集时间)。所述地理位置可以用经纬度坐标表示，所述设备标识号可以用ID+数字表示，所述采集时间可以用年-月-日-时-分-秒表示。所述采集信息和标识信息可以关联存储于所述预设数据库中，还可以关联存储于另一个预设的数据库中。
示例性的，假设在某个时间T，位于某个地理位置L的图像采集设备C拍摄到了一只小 狗，通过上述模块201-208比对出这只小狗的标识信息为ID，则可以组成一条记录(ID，T，L，C)进行关联存储。关联存储能够便于后续根据任意一个参数关联获取得到其他多个参数信息。例如，可以根据设备标识号这个参数，关联获取得到具有相同设备标识号的宠物图像、标识信息、图像采集设备的地理位置、采集所述宠物图像时的时间等多个参数。
在一个可选的实施例中，当确定所述目标特征向量与所述预设数据库中的特征向量不一致时，所述关联存储模块208，还用于：
根据所述目标特征向量生成一个标识信息；
关联存储所述宠物图像、所述目标特征向量及所述标识信息。
本实施例中，当确定目标特征向量与预设数据库中的特征向量不一致，表明预设数据库中不存在与所述宠物图像相同的图像，认为所述宠物图像中的宠物为新类别的宠物。此时可以计算所述宠物图像中的所述目标特征向量的哈希值，作为所述宠物图像的标识信息，并将宠物图像及对应的目标特征向量和所述标识信息进行关联存储在所述预设数据库中或者其他数据库中，增加数据库的数据量，大数据量的数据库更便于后续比对分析。
信息获取模块209，用于获取具有相同标识信息的宠物图像对应的采集信息。
本实施例中，可以从所述预设数据库中获取标识信息，然后将具有相同的标识信息的宠物图像集中在一起，进一步获取集中在一起的所述宠物图像的采集信息。
轨迹确定模块210，用于根据所述采集信息确定所述宠物的活动轨迹。
本实施例中，可以根据数据库中记录的采集信息和标识信息，得到宠物的活动轨迹，根据所述活动轨迹确定所述宠物的活动区域。
示例性的，假如需要获取某只小狗的活动轨迹，只需要获取该只小狗的图像，根据上述模块201-210，从预设数据库中确定出该只小狗的标识信息，即可将所有具有该标识信息的采集信息提取出来，并进而根据提取出的采集信息确定这只小狗的活动轨迹。具体的，根据采集信息中的图像采集设备的位置及机号、对应的采集时间确定出这只小狗在何时出现在了何地。又如，可以针对某一个特定的地点进行查询，即可得到这个地点出现了哪些宠物，出现宠物的数量和时间等。
还可以以地图的形式显示宠物的活动轨迹。
需要说明的是，上述基于图像识别的城市宠物活动区域监测方法，不仅可以应用于寻找丢失的宠物，还可以应用于对流浪动物的救助、禁止宠物进入特定地区的执法依据等。
综上，本申请所述的基于图像识别的城市宠物活动区域监测装置，可应用于智慧宠物的管理中，从而促进智慧城市的发展。本申请通过识别宠物类别和姿态，基于姿态提取特征向量，提取的特征向量具有针对性和较强的表征能力，有助于提高比对的识别率；此外，采用光流法对特征向量进行修正，去除了非目标对象的干扰，得到的目标特征向量进一步提高了特征的表达能力，有助于进一步提高比对的识别率；最后，基于得到的标识信息和采集信息确定宠物的活动区域，具有较多的实用价值和经济价值。再者，通过Fast RCNN不仅能够识别宠物图像中的宠物类别，还能用检测框框选出宠物图像中宠物的位置，并基于检测框对应的区域进行姿态识别和特征提取，由于检测框对应的区域的像素少，能够有效的提高姿态识别和特征提取的速度，更进一步的提高了比对的效率。
实施例三
参阅图3所示，为本申请实施例三提供的终端的结构示意图。在本申请较佳实施例中，所述终端3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的终端的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述终端3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数 字处理器及嵌入式设备等。所述终端3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述终端3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储计算机可读指令和各种数据，例如安装在所述终端3中的基于图像识别的城市宠物活动轨迹监测装置，并在终端3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括易失性和非易失性存储器，例如随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性的。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述终端3的控制核心(Control Unit)，利用各种接口和线路连接整个终端3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行终端3的各种功能和处理数据。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述终端3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述终端3的操作装置以及安装的各类应用程序、计算机可读指令等，例如，上述的各个模块。
所述存储器31中存储有计算机可读指令，且所述至少一个处理器32可调用所述存储器31中存储的计算机可读指令以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的计算机可读指令，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能。
在本申请的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以实现本申请所述的方法中的全部或者部分步骤。
具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的 方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种基于图像识别的城市宠物活动轨迹监测方法，其中，所述方法包括：
    获取预设图像采集设备采集的宠物图像；
    识别所述宠物图像中的宠物类别；
    当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
    根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
    采用光流算法对所述特征向量进行修正得到目标特征向量；
    比对所述目标特征向量与预设数据库中的特征向量是否一致；
    当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
    获取具有相同标识信息的宠物图像对应的采集信息；
    根据所述采集信息确定所述宠物的活动轨迹。
  2. 如权利要求1所述的基于图像识别的城市宠物活动轨迹监测方法，其中，所述采用光流算法对所述特征向量进行修正包括：
    采用光流算法计算相邻两帧特征向量的光流场；
    对所述光流场进行阈值分割；
    筛选出所述光流场中大于所述阈值的目标光流场；
    提取所述相邻两帧特征向量中对应所述目标光流场的候选特征向量；
    对相邻两帧候选特征向量进行平均得到目标特征向量。
  3. 如权利要求2所述的基于图像识别的城市宠物活动轨迹监测方法，其中，在所述对所述光流场进行阈值分割之后，所述方法还包括：
    根据形态学运算对阈值分割后的光流场进行滤波；
    连通滤波后的光流场得到最终的光流场。
  4. 如权利要求1至3中任意一项所述的基于图像识别的城市宠物活动轨迹监测方法，其中，所述识别所述宠物图像中的宠物姿态包括：
    将所述宠物图像输入预先训练好的宠物姿态识别模型中；
    获取所述宠物姿态识别模型输出的识别结果；
    根据所述识别结果确定所述宠物图像中的宠物姿态。
  5. 如权利要求4所述的基于图像识别的城市宠物活动轨迹监测方法，其中，所述将所述宠物图像输入预先训练好的宠物姿态识别模型中包括：
    获取Faster R-CNN目标检测算法检测出的所述宠物图像中的检测框；
    从所述宠物图像中裁剪出所述检测框对应的区域；
    将所裁剪出的区域作为输入图像输入预先训练好的宠物姿态识别模型中。
  6. 如权利要求5所述的基于图像识别的城市宠物活动轨迹监测方法，其中，所述根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量包括：
    根据预设宠物姿态与特征提取算法之间的对应关系，匹配出所述宠物姿态对应的特征提取算法；
    采用所匹配出的特征提取算法提取所裁剪出的区域中的特征向量。
  7. 如权利要求1至3中任意一项所述的基于图像识别的城市宠物活动轨迹监测方法，其中，当确定所述目标特征向量与所述预设数据库中的特征向量不一致时，所述方法还包括：
    根据所述目标特征向量生成一个标识信息；
    关联存储所述宠物图像、所述目标特征向量及所述标识信息。
  8. 一种基于图像识别的城市宠物活动轨迹监测装置，其中，所述装置包括：
    图像获取模块，用于获取预设图像采集设备采集的宠物图像；
    类别识别模块，用于识别所述宠物图像中的宠物类别；
    姿态识别模块，用于当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
    特征提取模块，用于根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
    特征修正模块，用于采用光流算法对所述特征向量进行修正得到目标特征向量；
    特征比对模块，用于比对所述目标特征向量与预设数据库中的特征向量是否一致；
    关联存储模块，用于当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
    信息获取模块，用于获取具有相同标识信息的宠物图像对应的采集信息；
    轨迹确定模块，用于根据所述采集信息确定所述宠物的活动轨迹。
  9. 一种终端，其中，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机可读指令以实现以下步骤：
    获取预设图像采集设备采集的宠物图像；
    识别所述宠物图像中的宠物类别；
    当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
    根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
    采用光流算法对所述特征向量进行修正得到目标特征向量；
    比对所述目标特征向量与预设数据库中的特征向量是否一致；
    当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
    获取具有相同标识信息的宠物图像对应的采集信息；
    根据所述采集信息确定所述宠物的活动轨迹。
  10. 如权利要求9所述的终端，其中，所述处理器执行所述计算机可读指令以实现采用光流算法对所述特征向量进行修正时，具体包括：
    采用光流算法计算相邻两帧特征向量的光流场；
    对所述光流场进行阈值分割；
    筛选出所述光流场中大于所述阈值的目标光流场；
    提取所述相邻两帧特征向量中对应所述目标光流场的候选特征向量；
    对相邻两帧候选特征向量进行平均得到目标特征向量。
  11. 如权利要求10所述的终端，其中，在所述对所述光流场进行阈值分割之后，所述处理器执行所述计算机可读指令还用以实现以下步骤：
    根据形态学运算对阈值分割后的光流场进行滤波；
    连通滤波后的光流场得到最终的光流场。
  12. 如权利要求9至11中任意一项所述的终端，其中，所述处理器执行所述计算机可读指令以实现识别所述宠物图像中的宠物姿态时，具体包括：
    将所述宠物图像输入预先训练好的宠物姿态识别模型中；
    获取所述宠物姿态识别模型输出的识别结果；
    根据所述识别结果确定所述宠物图像中的宠物姿态。
  13. 如权利要求12所述的终端，其中，所述处理器执行所述计算机可读指令以实现将所述宠物图像输入预先训练好的宠物姿态识别模型中时，具体包括：
    获取Faster R-CNN目标检测算法检测出的所述宠物图像中的检测框；
    从所述宠物图像中裁剪出所述检测框对应的区域；
    将所裁剪出的区域作为输入图像输入预先训练好的宠物姿态识别模型中。
  14. 如权利要求13所述的终端，其中，所述处理器执行所述计算机可读指令以实现根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量时，具体包括：
    根据预设宠物姿态与特征提取算法之间的对应关系，匹配出所述宠物姿态对应的特征提取算法；
    采用所匹配出的特征提取算法提取所裁剪出的区域中的特征向量。
  15. 如权利要求9至11中任意一项所述的终端，其中，当确定所述目标特征向量与所述预设数据库中的特征向量不一致时，所述处理器执行所述计算机可读指令还用以实现以下步骤：
    根据所述目标特征向量生成一个标识信息；
    关联存储所述宠物图像、所述目标特征向量及所述标识信息。
  16. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读指令被处理器执行时实现以下步骤：
    获取预设图像采集设备采集的宠物图像；
    识别所述宠物图像中的宠物类别；
    当所述宠物类别为目标类别时，识别所述宠物图像中的宠物姿态；
    根据所述宠物姿态对应的特征提取算法提取所述宠物图像中的特征向量；
    采用光流算法对所述特征向量进行修正得到目标特征向量；
    比对所述目标特征向量与预设数据库中的特征向量是否一致；
    当确定所述目标特征向量与所述预设数据库中的特征向量一致时，关联存储所述宠物图像的标识信息与所述预设图像采集设备的采集信息；
    获取具有相同标识信息的宠物图像对应的采集信息；
    根据所述采集信息确定所述宠物的活动轨迹。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现采用光流算法对所述特征向量进行修正时，具体包括：
    采用光流算法计算相邻两帧特征向量的光流场；
    对所述光流场进行阈值分割；
    筛选出所述光流场中大于所述阈值的目标光流场；
    提取所述相邻两帧特征向量中对应所述目标光流场的候选特征向量；
    对相邻两帧候选特征向量进行平均得到目标特征向量。
  18. 如权利要求17所述的计算机可读存储介质，其中，在所述对所述光流场进行阈值分割之后，所述计算机可读指令被所述处理器执行还用以实现以下步骤：
    根据形态学运算对阈值分割后的光流场进行滤波；
    连通滤波后的光流场得到最终的光流场。
  19. 如权利要求16至18中任意一项所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现识别所述宠物图像中的宠物姿态时，具体包括：
    将所述宠物图像输入预先训练好的宠物姿态识别模型中；
    获取所述宠物姿态识别模型输出的识别结果；
    根据所述识别结果确定所述宠物图像中的宠物姿态。
  20. 如权利要求19所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现将所述宠物图像输入预先训练好的宠物姿态识别模型中时，具体包括：
    获取Faster R-CNN目标检测算法检测出的所述宠物图像中的检测框；
    从所述宠物图像中裁剪出所述检测框对应的区域；
    将所裁剪出的区域作为输入图像输入预先训练好的宠物姿态识别模型中。
PCT/CN2020/111879 2019-09-03 2020-08-27 基于图像识别的城市宠物活动轨迹监测方法及相关设备 WO2021043073A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910829497.0A CN110751022B (zh) 2019-09-03 2019-09-03 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN201910829497.0 2019-09-03

Publications (1)

Publication Number Publication Date
WO2021043073A1 true WO2021043073A1 (zh) 2021-03-11

Family

ID=69276151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111879 WO2021043073A1 (zh) 2019-09-03 2020-08-27 基于图像识别的城市宠物活动轨迹监测方法及相关设备

Country Status (2)

Country Link
CN (1) CN110751022B (zh)
WO (1) WO2021043073A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949606A (zh) * 2021-04-14 2021-06-11 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置
CN113033459A (zh) * 2021-04-09 2021-06-25 平安国际智慧城市科技股份有限公司 图像识别方法、装置、计算机设备及存储介质
CN113271440A (zh) * 2021-05-20 2021-08-17 浙江宇视科技有限公司 移动目标的行动轨迹获得方法、装置、设备及存储介质
CN113313023A (zh) * 2021-05-28 2021-08-27 的卢技术有限公司 一种智能感知车内有宠物时保障行车安全的方法及系统
CN113379928A (zh) * 2021-04-23 2021-09-10 智蓝创意科技(苏州)有限公司 基于nx软件的宠物梳建模方法、系统、装置及展示终端
CN113888580A (zh) * 2021-09-18 2022-01-04 成都华安视讯科技有限公司 一种宠物智能跟踪拍摄记录方法
CN114092610A (zh) * 2021-11-22 2022-02-25 哈尔滨工业大学（深圳） 一种基于生成对抗网络的人物视频生成方法
CN116012368A (zh) * 2023-02-16 2023-04-25 江西惜能照明有限公司 基于智慧灯杆的安防监测方法、系统、存储介质及计算机
CN116129157A (zh) * 2023-04-13 2023-05-16 深圳市夜行人科技有限公司 一种基于极微光的警戒摄像机智能图像处理方法及系统
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN112949606B (zh) * 2021-04-14 2024-05-10 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751022B (zh) * 2019-09-03 2023-08-22 平安科技（深圳）有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN111680543B (zh) * 2020-04-23 2023-08-29 北京迈格威科技有限公司 动作识别方法、装置及电子设备
CN111667249B (zh) * 2020-06-15 2024-03-01 费霁丽 一种宠物寄养管理方法、系统、存储介质及终端设备
CN111753697A (zh) * 2020-06-17 2020-10-09 新疆爱华盈通信息技术有限公司 智能宠物管理系统及其管理方法
CN111598062B (zh) * 2020-07-21 2020-10-27 深圳市天和荣科技有限公司 一种宠物识别方法、系统、可读存储介质及计算机设备
CN112420207A (zh) * 2020-11-04 2021-02-26 广州粤创富科技有限公司 一种社区宠物防疫方法、装置及存储介质
CN112508021A (zh) * 2020-12-23 2021-03-16 河南应用技术职业学院 一种基于人工智能图像识别的特征提取方法及装置
CN112529020A (zh) * 2020-12-24 2021-03-19 携程旅游信息技术（上海）有限公司 基于神经网络的动物识别方法、系统、设备及存储介质
CN115546830A (zh) * 2022-09-30 2022-12-30 星宠王国(北京)科技有限公司 一种丢失犬只寻找方法、装置及设备
CN116756667B (zh) * 2023-08-18 2023-12-12 北京九叁有方物联网科技有限公司 一种具有行为识别功能的宠物穿戴式设备及其识别方法
CN116886877B (zh) * 2023-09-07 2023-11-14 北京博数智源人工智能科技有限公司 一种园区安全监测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
US20180107881A1 (en) * 2011-05-18 2018-04-19 International Business Machines Corporation Anomalous event retriever
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108253962A (zh) * 2017-12-18 2018-07-06 中北智杰科技（北京）有限公司 一种低照度环境下新能源无人驾驶汽车定位方法
CN109063607A (zh) * 2018-07-17 2018-12-21 北京迈格威科技有限公司 用于重识别的损失函数确定的方法及装置
CN110751022A (zh) * 2019-09-03 2020-02-04 平安科技（深圳）有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
EP3207708B1 (en) * 2015-07-31 2021-10-13 SZ DJI Technology Co., Ltd. Method and system of modifying search areas
CN106682572B (zh) * 2016-10-12 2020-09-08 纳恩博（北京）科技有限公司 目标跟踪方法、系统和第一电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180107881A1 (en) * 2011-05-18 2018-04-19 International Business Machines Corporation Anomalous event retriever
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108253962A (zh) * 2017-12-18 2018-07-06 中北智杰科技（北京）有限公司 一种低照度环境下新能源无人驾驶汽车定位方法
CN109063607A (zh) * 2018-07-17 2018-12-21 北京迈格威科技有限公司 用于重识别的损失函数确定的方法及装置
CN110751022A (zh) * 2019-09-03 2020-02-04 平安科技（深圳）有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033459A (zh) * 2021-04-09 2021-06-25 平安国际智慧城市科技股份有限公司 图像识别方法、装置、计算机设备及存储介质
CN112949606A (zh) * 2021-04-14 2021-06-11 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置
CN112949606B (zh) * 2021-04-14 2024-05-10 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置
CN113379928A (zh) * 2021-04-23 2021-09-10 智蓝创意科技(苏州)有限公司 基于nx软件的宠物梳建模方法、系统、装置及展示终端
CN113271440B (zh) * 2021-05-20 2023-06-20 浙江宇视科技有限公司 移动目标的行动轨迹获得方法、装置、设备及存储介质
CN113271440A (zh) * 2021-05-20 2021-08-17 浙江宇视科技有限公司 移动目标的行动轨迹获得方法、装置、设备及存储介质
CN113313023A (zh) * 2021-05-28 2021-08-27 的卢技术有限公司 一种智能感知车内有宠物时保障行车安全的方法及系统
CN113888580A (zh) * 2021-09-18 2022-01-04 成都华安视讯科技有限公司 一种宠物智能跟踪拍摄记录方法
CN114092610A (zh) * 2021-11-22 2022-02-25 哈尔滨工业大学（深圳） 一种基于生成对抗网络的人物视频生成方法
CN114092610B (zh) * 2021-11-22 2023-04-07 哈尔滨工业大学（深圳） 一种基于生成对抗网络的人物视频生成方法
CN116012368B (zh) * 2023-02-16 2023-06-13 江西惜能照明有限公司 基于智慧灯杆的安防监测方法、系统、存储介质及计算机
CN116012368A (zh) * 2023-02-16 2023-04-25 江西惜能照明有限公司 基于智慧灯杆的安防监测方法、系统、存储介质及计算机
CN116129157A (zh) * 2023-04-13 2023-05-16 深圳市夜行人科技有限公司 一种基于极微光的警戒摄像机智能图像处理方法及系统
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116721095B (zh) * 2023-08-04 2023-11-03 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置

Also Published As

Publication number Publication date
CN110751022A (zh) 2020-02-04
CN110751022B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
WO2021043073A1 (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
WO2021043074A1 (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN102831439B (zh) 手势跟踪方法及系统
US7515734B2 (en) Device, system and method for determining compliance with a positioning instruction by a figure in an image
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
WO2020252974A1 (zh) 一种针对运动状态下的多目标对象追踪方法和装置
Patruno et al. People re-identification using skeleton standard posture and color descriptors from RGB-D data
JP2016072964A (ja) 被写体再識別のためのシステム及び方法
US10824935B2 (en) System and method for detecting anomalies in video using a similarity function trained by machine learning
CN109598229A (zh) 基于动作识别的监控系统及其方法
Liu et al. Video analytic system for detecting cow structure
TWI798815B (zh) 目標重識別方法、裝置及電腦可讀存儲介質
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
US20220189193A1 (en) Method for real-time counting of pedestrians for statistical purposes coupled with facial recognition function and apparatus applying method
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
JP2014016968A (ja) 人物検索装置及びデータ収集装置
Zheng et al. Cows' legs tracking and lameness detection in dairy cattle using video analysis and Siamese neural networks
Noe et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model
CN114581990A (zh) 一种跑步智能测试方法以及装置
CN111914657B (zh) 一种宠物行为检测方法、装置、电子设备及存储介质
WO2023093241A1 (zh) 行人重识别方法及装置、存储介质
TWI728655B (zh) 應用於動物的卷積神經網路偵測方法及系統
CN114639117A (zh) 一种跨境特定行人追踪的方法和装置
CN113627255A (zh) 一种小鼠行为量化分析方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20860756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20860756

Country of ref document: EP

Kind code of ref document: A1