WO2017012277A1 - 一种图像中目标的检索方法和装置 - Google Patents

一种图像中目标的检索方法和装置 Download PDF

Info

Publication number
WO2017012277A1
WO2017012277A1 PCT/CN2015/099592 CN2015099592W WO2017012277A1 WO 2017012277 A1 WO2017012277 A1 WO 2017012277A1 CN 2015099592 W CN2015099592 W CN 2015099592W WO 2017012277 A1 WO2017012277 A1 WO 2017012277A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
feature
local feature
classification
Prior art date
Application number
PCT/CN2015/099592
Other languages
English (en)
French (fr)
Inventor
郭阶添
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Priority to US15/746,073 priority Critical patent/US10678847B2/en
Priority to EP15898833.7A priority patent/EP3327583B1/en
Publication of WO2017012277A1 publication Critical patent/WO2017012277A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种图像中目标的检索方法和装置。该检索方法，包括：对待检索图像进行目标定位（S101）；将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码（S102）；查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像（S103）。通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。

Description

一种图像中目标的检索方法和装置
本申请要求于2015年7月22日提交中国专利局、申请号为201510435106.9发明名称为“一种图像中目标的检索方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图形图像领域，尤其涉及一种图像中目标的检索方法和装置。
背景技术
现有技术中对图片进行检索时，从技术而言一般是处理目标的灰度图像，提取图像局部描述(SIFT,SURF),采用视觉词袋(BOW)，汉明嵌入，局部敏感哈希等方法，计算目标图像之间的特征的距离或者相似度，这种方法忽略了同样重要的颜色，形状，纹理，目标类型等全局的特征，导致检索的结果颜色，形状，纹理，目标类型与查询的目标差异较大。
从检索思路而言，监控场景中不区分目标的类型逐一进行对比，处理缺乏针对性，且浪费资源。具体来说，由于没有对待检索图像以及图像数据库中图像依据目标类型进行分类，导致现有技术对图片进行检索时需要将待检索图像包含的目标与图像数据库中的每一图像包含的目标逐一进行比对，然而监控场景中不同类型的目标其实是具有较大的差异性的，但是现有技术中对图片进行检索时并没有利用这种差异性，所以说现有技术中不区分目标类型逐一进行比对是缺乏针对性的，因此利用这种逐一比对的方式进行图像中目标进行检索的效率不高。
发明内容
本申请提供了一种图像中目标的检索方法和装置，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
为达此目的，本申请采用以下技术方案：
一方面采用一种图像中目标的检索方法，包括：
对待检索图像进行目标定位；
将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
通过树形分类索引结构，查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
另一方面采用一种图像中目标的检索装置，包括：
目标获取单元，用于对待检索图像进行目标定位；
分类编码单元，用于将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
比对单元，用于通过树形分类索引结构，查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
为了实现上述目的，本申请实施例还提供了一种存储介质，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行上述的一种图像中目标的检索方法。
为了实现上述目的，本申请实施例还提供了一种应用程序，所述应用程序用于在运行时执行一种图像中目标的检索方法。
为了实现上述目的，本申请实施例还提供了一种图像检索设备，包括：处理器、通信接口、存储器和通信总线；其中，
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：
对待检索图像进行目标定位；
将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
本申请的有益效果为：通过对待检索图像进行目标定位，将目标进行分类和局部特征提取，并生成目标的局部特征编码，通过树形分类索引结构，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案，下面对实施例和现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请具体实施方式中提供的一种图像中目标的检索方法的第一实施例的方法流程图。
图2是本申请具体实施方式中提供的一种图像中目标的检索方法的第二实施例的方法流程图。
图3是本申请具体实施方式中提供的一种图像中目标的检索方法的第三实施例的方法流程图。
图4是本申请具体实施方式中提供的一种图像中目标的检索装置的第一实施例的结构方框图。
图5是本申请具体实施方式中提供的一种图像中目标的检索装置的第二实施例的结构方框图。
图6是本申请具体实施方式中提供的一种图像中目标的检索方法的第三实施例的结构方框图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本 申请保护的范围。
请参考图1，其是本申请具体实施方式中提供的一种图像中目标的检索方法的第一实施例的方法流程图。如图所示，该检索方法，包括：
步骤S101：对待检索图像进行目标定位。
对目标进行定位和获取目标区域图像，通过LBP(Local Binary Patterns)、HOG(Histogram of Oriented Gradient，方向梯度直方图)、DPM(Deformable Parts Model，一种目标检测算法)目标检测方法结合显著性检测方法实现，前述的算子在现有技术中已有实现，在此不做进一步说明。
步骤S102：将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码。
在现有技术中，在目标中对特定目标进行检索时，所有的目标都处于同一集合中，相当于只有一级分类，每个分类就是一个目标，在本方案中，在每个目标上方再设置至少一级分类，例如人、汽车、自行车等。
步骤S103：查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
因为已经对目标进行了分类，在检索过程中，直接确认检索目标的分类，然后在目标的对应分类中进行检索即可，减少了检索的运算量，并且在同一分类中进行检索，通过相同类别的模型进行检索即可。
综上所述，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
请参考图2，其是本申请具体实施方式中提供的一种图像中目标的检索方法的第二实施例的方法流程图。如图所示，该检索方法，包括：
步骤S201：对待检索图像进行目标定位。
步骤S202：训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类。
对输入的目标图像识别目标类型，使用机器学习中深度学习分类算法进 行训练，得到深度学习分类器，深度学习分类器识别出目标的大类：例如人、汽车、自行车、电瓶车；对于每个大类中，还可进一步进行分类，例如车辆的品牌分类，人的衣服类型分类和性别分类。
实际应用中，对待检索图像中的目标的分类可以是利用预先已经训练好的基于深度学习算法的分类器来完成。
步骤S203：将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征。
步骤S204：基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。
步骤S205：查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
在检索过程中，可能会检索出多个图像相似度都比较高的目标，此时根据图像相似度进行排名，以供人工判断。
综上所述，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
实际应用中，在深度学习分类器预先建立的情况下，图2所示方法实施例可以简化为以下步骤：
(1)对待检索图像进行目标定位；
(2)利用预先建立的深度学习分类器将所述目标进行至少两级分类；
(3)将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征；
(4)基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制 码串；
(5)查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
请参考图3，其是本申请具体实施方式中提供的一种图像中目标的检索方法的第三实施例的方法流程图。如图所示，该检索方法，包括：
步骤S301：对待检索图像进行目标定位。
步骤S302：提取所述目标的基础特征，所述基础特征包括颜色特征、纹理特征和轮廓特征。
对输入的每一幅目标区域图像提取颜色特征，颜色特征的提取方法为利用深度学习方法训练得到图像RGB像素值到14种主颜色(黑，蓝，棕，灰，绿，青，橙，粉红，紫色,紫红，红，白，银白，黄)之间的卷积神经网络，训练的方式与目标类型网络训练方式相同。每一个图像RGB三元组都会按概率映射到14个主颜色上，得到一个置信度直方图，将目标区域的所有置信度直方图求平均：
Figure PCTCN2015099592-appb-000001
轮廓形状(包括但不限于矩形度，圆形度，不变矩，轮廓的傅立叶描述子)。
步骤S303：从所述目标的目标区域图像中抽取a×b小尺寸图像样本xs，对每个小尺寸图像样本计算出对应的值fs＝σ(W(1)xs+b(1))，对所有的fs做卷积，得到k×(r-a+1)×(c-b+1)个卷积特征的矩阵。
启发于生物学里面的视觉系统结构，即视觉皮层的神经元仅接受局部信息，只响应某些特定区域的刺激，方案拟采用部分连通网络的架构。即对隐含单元和输入单元间的连接加以限制：每个隐含单元仅仅只能连接输入单元的一部分。例如，每个隐含单元仅仅连接输入图像的一小片相邻区域。
假设给定了r×c的大尺寸图像，将其定义为xl。首先通过从大尺寸图像中抽取的a×b的小尺寸图像样本xs。训练稀疏自编码，计算f＝σ(W(1)xs+b(1))(σ是一个sigmod型函数)得到了k个特征，其中W(1)和b(1)是可视层单元和隐含单元之间的权重和偏差值。对于每一个a×b大小的小图像xs计算出对应的值fs＝σ(W(1)xs+b(1))对这些fs值做卷积，就可以得到k×(r-a+1)×(c-b+1)个卷积后 的特征的矩阵。
步骤S304：将所述卷积特征划分到多个不相交区域上，通过所述不相交区域的平均或最大特征来获取池化后的卷积特征。
在通过卷积获得了特征之后，我们将利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如softmax分类器，但这样做面临计算量的挑战。例如：对于一个96*96像素的图像，假设我们已经学习得到了400个定义在8*8输入上的特征，每一个特征和图像卷积都会得到一个(96–8+1)*(96-8+1)＝7921维的卷积特征，由于有400个特征，所以每个样例(example)都会得到一个892*400＝3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合(over-fitting)。
为了解决这个问题，考虑卷积是为了利用图像具有的“静态性”属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化(pooling)，有时也称为平均池化或者最大池化(取决于计算池化的方法)。
如果人们选择图像中的连续范围作为池化区域，并且只是池化相同(重复)的隐藏单元产生的特征，那么，这些池化单元就具有平移不变性(translationinvariant)。这就意味着即使图像经历了一个小的平移之后，依然会产生相同的(池化的)特征。在很多任务中(例如物体检测)，我们都更希望得到具有平移不变性的特征，因为即使图像经过了平移，样例(图像)的标记仍然保持不变。
形式上，在获取到我们前面讨论过的卷积特征后，我们要确定池化区域的大小(假定为m×n)，来池化我们的卷积特征。那么，我们把卷积特征划分到数个大小为m×n的不相交区域上，然后用这些区域的平均(或最大)特征来获取池化后的卷积特征。这些池化后的特征便可以用来做分类。
步骤S305：基于所述池化后的卷积特征，通过反向传播算法和Softmax 回归训练出深度学习分类器。
反向传播算法的思路如下：给定一个样例x×y，我们首先进行“前向传导”运算，计算出网络中所有的激活值，包括hW,b(x)的输出值。之后，针对第l层的每一个节点i，我们计算出其“残差”
Figure PCTCN2015099592-appb-000002
该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点，我们可以直接算出网络产生的激活值与实际值之间的差距，我们将这个差距定义为
Figure PCTCN2015099592-appb-000003
(第nl层表示输出层)。对于隐藏单元，我们将基于节点(第l+1层节点)残差的加权平均值计算
Figure PCTCN2015099592-appb-000004
这些节点以
Figure PCTCN2015099592-appb-000005
作为输入。
综上所述，反向传播算法的具体步骤为：
进行前馈传导计算，利用前向传导公式，得到L2,L3...直到输出层
Figure PCTCN2015099592-appb-000006
的激活值。
对输出层(第nl层)，计算：
Figure PCTCN2015099592-appb-000007
对于l＝nl-1,nl-2,nl-3,...,2的各层，计算：
δ(l)＝((W(l))Tδ(l+1))·f'(z(l))
计算最终需要的偏导数值：
Figure PCTCN2015099592-appb-000008
Figure PCTCN2015099592-appb-000009
计算网络各参数梯度：
计算
Figure PCTCN2015099592-appb-000010
计算
Figure PCTCN2015099592-appb-000011
更新网络参数：
Figure PCTCN2015099592-appb-000012
Figure PCTCN2015099592-appb-000013
Softmax回归模型模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签y可以取两个以上的值。
对于给定的测试输入x，将利用假设函数针对每一个类别j估算出概率值 p(y＝j|x)。也就是说，我们想估计x的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个k维的向量(向量元素的和为1)来表示这k个估计的概率值。具体地说，假设函数hθ(x)形式如下：
Figure PCTCN2015099592-appb-000014
其中
Figure PCTCN2015099592-appb-000015
是模型的参数。
最终获得如下所示的代价函数：
Figure PCTCN2015099592-appb-000016
上述目标函数无封闭解，但可以用梯度下降法迭代求得局部最优：
Figure PCTCN2015099592-appb-000017
因此，模型参数可以用下公式更新：
Figure PCTCN2015099592-appb-000018
需要说明的是，步骤S303至步骤S305描述的是深度分类器的训练过程，可以理解为模型建立的过程，实际应用中该分类器的训练可以在对待检索图像进行图像检索之前预先完成的，本申请中的方案只需要在图像检索过程中运用该分类器进行预测并获得预测结果即可。
步骤S306：深度学习分类器将所述目标进行至少两级分类。
其中σ是sigmod型函数，W(1)和b(1)是小尺寸图像样本中可视层单元和隐含单元之间的权重和偏差值，k为fs计算得到的特征的个数，所述目标的目标区域图像的大小为r×c。
其中，所述图像数据库中同一分类的图像地址保存到同一个表形成树形分类索引结构；所述树形分类索引结构的根节点存储一级分类索引表地址，上级分类索引表中存储下级分类索引表地址，末级分类索引表中存储图像地址。
每一级根据分类结果，将相同类型的图像的地址保存到同一个表，形成 树形分类索引结构。
根节点保存行人，机动车，非机动车一级索引表，表中分别存储男女，车辆品牌，自行车，电瓶车等二级索引表地址，二级索引表中又存储三级索引表地址，三级索引表则保存图像地址。
对于查询图像，首先用上述的组合分类器对目标的类型进行识别，只在树形分类索引中叶子节点的所有图像中检索，无需对所有图像进行检索，节约了检索时间。
需要说明的是，步骤S306是对待检索图像中目标的目标类型进行分类的步骤，实际应用中，对待检索图像中目标的目标类型的分类可以是利用基于深度学习算法训练获得的分类器来进行分类的，这个分类器可以是在对待检索图像进行图像检索之前预先训练得到的。
步骤S307：将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征。
当提取局部特征时，自动将特征提取区域分块，每一块将生成相应的特征。最后将所有区块对应的特征组合成最终的特征。
步骤S308：生成d×d的高斯分布随机数矩阵S；对S使用SVD分解算法S＝UΛU-1得到正交投影矩阵U；取U的前db行形成最终的正交投影矩阵p。
步骤S309：将局部特征的特征描述符分配到与其距离最小的词袋。
步骤S310：使用正交投影矩阵p对所述特征描述符进行投影计算。
步骤S311：在每一个词袋中心的每一维投影分量中,对属于这个词袋的特征集合进行排序，获取排序结果的中值作为二进制码串生成第一阈值。
步骤S312：生成每个所述目标的局部特征编码，所述局部特征编码的计算如下：
Figure PCTCN2015099592-appb-000019
其中bi(x)表示当前第i维二进制局部特征编码，zi表示当前第i维局部特征值，τq(x),i表示当前第i维局部特征阈值。
上述步骤S308至步骤S312描述的是对获得的图像的局部特征进行编码 压缩的具体步骤，需要说明的是，对于图像数据库中的图像的局部特征的编码压缩可以预先完成。
步骤S313：查找数据库图像中与所述目标分类相同的疑似图像。
步骤S314：滤除所述疑似图像中与目标的基础特征的相似度低于第二阈值的图像。
目标的基础特征(包括颜色特征、纹理特征和轮廓特征)均为归一化后的向量形式，两张图像间的相似度计算公式采用点乘的方式进行:
Figure PCTCN2015099592-appb-000020
检索时，图像上一层特征的相似度小于指定阈值如0.2，那么直接返回相似度0，下一层不再进行特征提取和相似度判断；即如果颜色特征的相似度低于第二阈值，那么不再对该目标进行纹理特征、轮廓特征的后续对比，这种操作方式节约了特征提取和相似度比对的时间，由粗到精的过程，保证了相似度的图像能够保留到最后，而不相似的图像逐层进行筛除，进而节约了检索时间。
需要说明的是，上述提及的第二阈值可以是针对基础特征中的颜色特征、纹理特征和轮廓特征设定的一个阈值。实际应用中，也可以针对这三个特征分别设定一个阈值，得到三个阈值，这三个阈值的数值可以相同的，当然还可以是不同的，本领域内的技术人员需要根据实际应用中的具体情况进行合理的设置。
步骤S315：将剩余的疑似图像与目标进行局部特征码对比，获得对比的相似度大于相似度第一阈值的疑似图像子集。
步骤S316：将所述疑似图像子集中的图像按相似度从高到低进行排序输出。
综上所述，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
实际应用中，在深度学习分类器预先建立的情况下，图3所示方法实施 例可以简化为以下步骤：
(1)对待检索图像进行目标定位；
(2)提取所述目标的基础特征，所述基础特征包括颜色特征、纹理特征和轮廓特征；
(3)利用预先建立的深度学习分类器将所述目标进行至少两级分类；
(4)将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征；
(5)生成d×d的高斯分布随机数矩阵S；对S使用SVD分解算法S＝UΛU-1得到正交投影矩阵U；取U的前db行形成最终的正交投影矩阵p；
(6)将局部特征的特征描述符分配到与其距离最小的词袋；
(7)使用正交投影矩阵p对所述特征描述符进行投影计算；
(8)在每一个词袋中心的每一维投影分量中,对属于这个词袋的特征集合进行排序，获取排序结果的中值作为二进制码串生成第一阈值；
(9)生成每个所述目标的局部特征编码，所述局部特征编码的计算如下：
Figure PCTCN2015099592-appb-000021
其中bi(x)表示当前第i维二进制局部特征编码，zi表示当前第i维局部特征值，τq(x),i表示当前第i维局部特征阈值；
(10)查找数据库图像中与所述目标分类相同的疑似图像；
(11)滤除所述疑似图像中与目标的基础特征的相似度低于第二阈值的图像；
(12)将剩余的疑似图像与目标进行局部特征码对比，获得对比的相似度大于第一阈值的疑似图像子集；
(13)将所述疑似图像子集中的图像按相似度从高到低进行排序输出。
以下是本申请具体实施方式中提供的一种图像中目标的检索装置的实施例，检索装置的实施例基于前述的检索方法的实施例实现，在检索装置中未尽的描述，请参考前述的检索方法的实施例。
请参考图4，其是本申请具体实施方式中提供的一种图像中目标的检索装 置的第一实施例的结构方框图。如图所示，该检索装置，包括：
目标获取单元10，用于对待检索图像进行目标定位；
分类编码单元20，用于将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
比对单元30，用于查找图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
综上所述，上述各功能组件的协同工作，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
请参考图5，其是本申请具体实施方式中提供的一种图像中目标的检索装置的第二实施例的结构方框图。如图所示，该检索装置，包括：
目标获取单元10，用于对待检索图像进行目标定位；
分类编码单元20，用于将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
比对单元30，用于查找图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
其中，所述分类编码单元20，包括：
训练分类模块210，用于训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类；
局部特征生成模块220，用于将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征；
编码生成模块230，用于基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。
综上所述，上述各功能组件的协同工作，通过对待检索图像进行目标定 位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
请参考图6，其是本申请具体实施方式中提供的一种图像中目标的检索装置的第三实施例的结构方框图。如图所示，该检索装置，包括：
目标获取单元10，用于对待检索图像进行目标定位；
分类编码单元20，用于将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
比对单元30，用于查找图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
其中，所述所述分类编码单元20，包括：
训练分类模块210，用于训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类；
局部特征生成模块220，用于将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征；
编码生成模块230，用于基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。
所述训练分类模块210，包括：
卷积子模块211，用于从所述目标的目标区域图像中抽取a×b小尺寸图像样本xs，对每个小尺寸图像样本计算出对应的值fs＝σ(W(1)xs+b(1))，对所有的fs做卷积，得到k×(r-a+1)×(c-b+1)个卷积特征的矩阵；
池化子模块212，用于将所述卷积特征划分到多个不相交区域上，通过所述不相交区域的平均或最大特征来获取池化后的卷积特征；
分类器生成子模块213，用于基于所述池化后的卷积特征，通过反向传播算法和Softmax回归训练出深度学习分类器；
分类子模块214，用于所述深度学习分类器将所述目标进行至少两级分类；
其中σ是sigmod型函数，W(1)和b(1)是小尺寸图像样本中可视层单元和隐含单元之间的权重和偏差值，k为fs计算得到的特征的个数，所述目标区域图像的大小为r×c。
其中，所述图像数据库中同一分类的图像地址保存到同一个表形成树形分类索引结构；所述树形分类索引结构的根节点存储一级分类索引表地址，上级分类索引表中存储下级分类索引表地址，末级分类索引表中存储图像地址。
其中，所述编码生成模块230，包括：
矩阵生成子模块231，用于生成d×d的高斯分布随机数矩阵S；对S使用SVD分解算法S＝UΛU-1得到正交投影矩阵U；取U的前db行形成最终的正交投影矩阵p；
词袋分配子模块232，用于将所述局部特征的特征描述符分配到与其距离最小的词袋；
特征投影子模块233，用于使用正交投影矩阵p对所述特征描述符进行投影计算；
中值计算子模块234，用于在每一个词袋中心的每一维投影分量中,对属于这个词袋的特征集合进行排序，获取排序结果的中值作为二进制码串生成第一阈值；
编码子模块235，用于生成每个所述目标的局部特征编码，所述局部特征编码的计算如下：
Figure PCTCN2015099592-appb-000022
其中bi(x)表示当前第i维二进制局部特征编码，zi表示当前第i维局部特征值，τq(x),i表示当前第i维局部特征阈值。
其中，还包括：
基础特征提取单元40，用于提取所述目标的基础特征，所述基础特征包括颜色特征、纹理特征和轮廓特征；
所述比对单元30，包括：
查找模块310，用于查找图像数据库中与所述目标分类相同的疑似图像；
滤除模块320，用于滤除所述疑似图像中与目标的基础特征的相似度低于第二阈值的图像；
筛选模块330，用于将剩余的疑似图像与目标进行局部特征码对比，获得对比的相似度大于第一阈值的疑似图像子集；
排序模块340，用于将所述疑似图像子集中的图像按相似度从高到低进行排序输出。
综上所述，上述各功能组件的协同工作，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。
为了实现上述目的，本申请实施例还提供了一种存储介质，其中，该存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例所述的一种图像中目标的检索方法。
其中，本申请所述的一种图像中目标的检索方法，包括：
对待检索图像进行目标定位；
将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
为了实现上述目的，本申请实施例还提供了一种应用程序，其中，该应用程序用于在运行时执行本申请实施例所述的一种图像中目标的检索方法。
其中，本申请所述的一种图像中目标的检索方法，包括：
对待检索图像进行目标定位；
将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码 进行比对，输出相似度大于第一阈值的疑似图像。
为了实现上述目的，本申请实施例还提供了一种图像中目标的检索设备，包括：
处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述处理器可以是一个中央处理器(Central Processing Unit，CPU),或者是专用集成电路(Application specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路；
所述存储器存储可执行程序代码，所述存储器可以包含高速RAM存储器，也可以包含非易失性存储器(non-volatile memory),例如至少一个磁盘存储器；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：
对待检索图像进行目标定位；
将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
上述各步骤的具体实现参见前述实施例中的相应步骤的实现方式，在此不再赘述。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (17)

  1. 一种图像中目标的检索方法，其特征在于，包括：
    对待检索图像进行目标定位；
    将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
    通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
  2. 根据权利要求1所述的图像中目标的检索方法，其特征在于，所述将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码，包括：
    训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类；
    将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成为所述目标的局部特征；
    基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。
  3. 根据权利要求2所述的图像中目标的检索方法，其特征在于，所述训练生成深度学习分类器的步骤中，所述深度学习分类器将所述目标进行至少两级分类，包括：
    从所述目标的目标区域图像中抽取a×b小尺寸图像样本xs，对每个小尺寸图像样本计算出对应的值fs＝σ(W(1)xs+b(1))，对所有的fs做卷积，得到k×(r-a+1)×(c-b+1)个卷积特征的矩阵；
    将所述卷积特征划分到多个不相交区域上，通过所述不相交区域的平均或最大特征来获取池化后的卷积特征；
    基于所述池化后的卷积特征，通过反向传播算法和Softmax回归训练出深度学习分类器；
    所述深度学习分类器将所述目标进行至少两级分类；
    其中σ是sigmod型函数，W(1)和b(1)是小尺寸图像样本中可视层单元和隐含单元之间的权重和偏差值，k为fs计算得到的特征的个数，所述目标区域图像的大小为r×c。
  4. 根据权利要求1所述的图像中目标的检索方法，其特征在于，
    所述图像数据库中同一分类的图像地址保存到同一个表，以形成所述树形分类索引结构；
    所述树形分类索引结构的根节点存储一级分类索引表地址，上级分类索引表中存储下级分类索引表地址，末级分类索引表中存储图像地址。
  5. 根据权利要求2所述的图像中目标的检索方法，其特征在于，所述基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码的步骤，包括：
    生成d×d的高斯分布随机数矩阵S；
    对S使用SVD分解算法S＝UΛU-1得到正交投影矩阵U；
    取U的前db行形成最终的正交投影矩阵p；
    将局部特征的特征描述符分配到与其距离最小的词袋；
    使用正交投影矩阵p对所述特征描述符进行投影计算；
    在每一个词袋中心的每一维投影分量中,对属于这个词袋的特征集合进行排序，获取排序结果的中值作为二进制码串生成第一阈值；
    生成每个所述目标的局部特征编码，所述局部特征编码的计算如下：
    Figure PCTCN2015099592-appb-100001
    其中bi(x)表示当前第i维二进制局部特征编码，zi表示当前第i维局部特征值，τq(x),i表示当前第i维局部特征阈值。
  6. 根据权利要求1所述的图像中目标的检索方法，其特征在于，所述将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码的步骤之前，还包括：
    提取所述目标的基础特征的步骤，所述基础特征包括颜色特征、纹理特征和轮廓特征。
  7. 根据权利要求1所述的图像中目标的检索方法，其特征在于，所述将 疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像的步骤，进一步包括：
    查找图像数据库中与所述目标分类相同的疑似图像；
    滤除所述疑似图像中与目标的基础特征的相似度低于第二阈值的图像；
    将剩余的疑似图像与目标进行局部特征码对比，获得对比的相似度大于第一阈值的疑似图像子集；
    将所述疑似图像子集中的图像按相似度从高到低进行排序输出。
  8. 一种图像中目标的检索装置，其特征在于，包括：
    目标获取单元，用于对待检索图像进行目标定位；
    分类编码单元，用于将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；
    比对单元，用于通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
  9. 根据权利要求8所述的图像中目标的检索装置，其特征在于，所述分类编码单元包括：
    训练分类模块，用于训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类；
    局部特征生成模块，用于将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征；
    编码生成模块，用于基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。
  10. 根据权利要求9所述的图像中目标的检索装置，其特征在于，所述训练分类模块，包括：
    卷积子模块，用于从所述目标的目标区域图像中抽取a×b小尺寸图像样本xs，对每个小尺寸图像样本计算出对应的值fs＝σ(W(1)xs+b(1))，对所有的fs做卷积，得到k×(r-a+1)×(c-b+1)个卷积特征的矩阵；
    池化子模块，用于将所述卷积特征划分到多个不相交区域上，通过所述不相交区域的平均或最大特征来获取池化后的卷积特征；
    分类器生成子模块，用于基于所述池化后的卷积特征，通过反向传播算法和Softmax回归训练出深度学习分类器；
    分类子模块，用于所述深度学习分类器将所述目标进行至少两级分类；
    其中σ是sigmod型函数，W(1)和b(1)是小尺寸图像样本中可视层单元和隐含单元之间的权重和偏差值，k为fs计算得到的特征的个数，所述目标区域图像的大小为r×c。
  11. 根据权利要求8所述的图像中目标的检索装置，其特征在于，
    所述图像数据库中同一分类的图像地址保存到同一个表，以形成所述树形分类索引结构；
    所述树形分类索引结构的根节点存储一级分类索引表地址，上级分类索引表中存储下级分类索引表地址，末级分类索引表中存储图像地址。
  12. 根据权利要求9所述的图像中目标的检索装置，其特征在于，所述编码生成模块，包括：
    矩阵生成子模块，用于生成d×d的高斯分布随机数矩阵S，对S使用SVD分解算法S＝UΛU-1得到正交投影矩阵U，取U的前db行形成最终的正交投影矩阵p；
    词袋分配子模块，用于将所述局部特征的特征描述符分配到与其距离最小的词袋；
    特征投影子模块，用于使用正交投影矩阵p对所述特征描述符进行投影计算；
    中值计算子模块，用于在每一个词袋中心的每一维投影分量中,对属于这个词袋的特征集合进行排序，获取排序结果的中值作为二进制码串生成第一阈值；
    编码子模块，用于生成每个所述目标的局部特征编码，所述局部特征编码的计算如下：
    Figure PCTCN2015099592-appb-100002
    其中bi(x)表示当前第i维二进制局部特征编码，zi表示当前第i维局部特征值，τq(x),i表示当前第i维局部特征阈值。
  13. 根据权利要求8所述的图像中目标的检索装置，其特征在于，还包括基础特征提取单元，用于提取所述目标的基础特征，所述基础特征包括颜色特征、纹理特征和轮廓特征。
  14. 根据权利要求8所述的图像中目标的检索装置，其特征在于，所述比对单元，还包括：
    查找模块，用于查找图像数据库中与所述目标分类相同的疑似图像；
    滤除模块，用于滤除所述疑似图像中与目标的基础特征的相似度低于第二阈值的图像；
    筛选模块，用于将剩余的疑似图像与目标进行局部特征码对比，获得对比的相似度大于第一阈值的疑似图像子集；
    排序模块，用于将所述疑似图像子集中的图像按相似度从高到低进行排序输出。
  15. 一种存储介质，其特征在于，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行权利要求1至7任一项所述的一种图像中目标的检索方法。
  16. 一种应用程序，其特征在于，所述应用程序用于在运行时执行权利要求1至7任一项所述的一种图像中目标的检索方法。
  17. 一种图像检索设备，其特征在于，包括：处理器、通信接口、存储器和通信总线；其中，
    所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
    所述存储器存储可执行程序代码；
    所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：
    对待检索图像进行目标定位；
    将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编 码；
    通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于第一阈值的疑似图像。
PCT/CN2015/099592 2015-07-22 2015-12-29 一种图像中目标的检索方法和装置 WO2017012277A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/746,073 US10678847B2 (en) 2015-07-22 2015-12-29 Method and device for searching a target in an image
EP15898833.7A EP3327583B1 (en) 2015-07-22 2015-12-29 Method and device for searching a target in an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510435106.9A CN106354735A (zh) 2015-07-22 2015-07-22 一种图像中目标的检索方法和装置
CN201510435106.9 2015-07-22

Publications (1)

Publication Number Publication Date
WO2017012277A1 true WO2017012277A1 (zh) 2017-01-26

Family

ID=57833813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/099592 WO2017012277A1 (zh) 2015-07-22 2015-12-29 一种图像中目标的检索方法和装置

Country Status (4)

Country Link
US (1) US10678847B2 (zh)
EP (1) EP3327583B1 (zh)
CN (1) CN106354735A (zh)
WO (1) WO2017012277A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969173A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 目标分类方法及装置
CN113536005A (zh) * 2021-09-17 2021-10-22 网娱互动科技(北京)股份有限公司 一种相似图片或字体查找方法和系统

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354307B (zh) * 2015-11-06 2021-01-15 腾讯科技（深圳）有限公司 一种图像内容识别方法及装置
US20170132511A1 (en) * 2015-11-10 2017-05-11 Facebook, Inc. Systems and methods for utilizing compressed convolutional neural networks to perform media content processing
CN106933867B (zh) * 2015-12-30 2020-02-21 杭州华为企业通信技术有限公司 一种图像查询方法和装置
US10699184B2 (en) * 2016-12-29 2020-06-30 Facebook, Inc. Updating predictions for a deep-learning model
CN106909924B (zh) * 2017-02-18 2020-08-28 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN106997385A (zh) * 2017-03-09 2017-08-01 杭州电子科技大学 一种基于双倍比特量化及加权的最近邻搜索方法
CN107247730A (zh) * 2017-05-04 2017-10-13 北京奇艺世纪科技有限公司 图片搜索方法及装置
CN107291855A (zh) * 2017-06-09 2017-10-24 中国电子科技集团公司第五十四研究所 一种基于显著对象的图像检索方法及系统
CN108229289B (zh) * 2017-06-27 2021-02-05 北京市商汤科技开发有限公司 目标检索方法、装置和电子设备
CN108288208B (zh) 2017-08-11 2020-08-28 腾讯科技（深圳）有限公司 基于图像内容的展示对象确定方法、装置、介质及设备
CN107958108B (zh) * 2017-11-17 2021-08-03 广东核电合营有限公司 焊缝生成方法、装置、存储介质和计算机设备
CN107885861A (zh) * 2017-11-21 2018-04-06 桂林爱家购股份有限公司 一种图像检索系统和方法
WO2019100348A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 图像检索方法和装置以及图像库的生成方法和装置
CN107944017B (zh) * 2017-12-11 2021-06-25 浙江捷尚视觉科技股份有限公司 一种视频中非机动车的检索方法
CN109993032B (zh) * 2017-12-29 2021-09-17 杭州海康威视数字技术股份有限公司 一种共享单车目标识别方法、装置及相机
CN110012302B (zh) * 2018-01-05 2021-09-14 阿里巴巴集团控股有限公司 一种网络直播监测方法及装置、数据处理方法
US11334612B2 (en) * 2018-02-06 2022-05-17 Microsoft Technology Licensing, Llc Multilevel representation learning for computer content quality
CN108491528B (zh) * 2018-03-28 2021-09-21 苏州大学 一种图像检索方法、系统及装置
CN108491543A (zh) * 2018-03-30 2018-09-04 广州汇智通信技术有限公司 图像检索方法、图像存储方法及图像检索系统
CN110110120B (zh) * 2018-06-11 2021-05-25 北方工业大学 一种基于深度学习的图像检索方法和装置
KR101963404B1 (ko) * 2018-06-14 2019-03-28 가천대학교 산학협력단 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
CN109271545B (zh) * 2018-08-02 2022-06-03 深圳市商汤科技有限公司 一种特征检索方法及装置、存储介质和计算机设备
CN108958636A (zh) * 2018-08-06 2018-12-07 深圳市国华光电科技有限公司 一种智能字帖装置及字帖书写检测方法
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
CN110874699B (zh) * 2018-08-31 2024-02-09 杭州海康机器人股份有限公司 记录物品的物流信息方法、装置及系统
CN109145140A (zh) * 2018-09-08 2019-01-04 中山大学 一种基于手绘轮廓图匹配的图像检索方法及系统
CN109308324A (zh) * 2018-09-08 2019-02-05 中山大学 一种基于手绘风格推荐的图像检索方法及系统
CN109376289B (zh) * 2018-10-17 2020-06-30 北京云测信息技术有限公司 一种应用搜索结果中确定目标应用排位的确定方法及装置
CN109522434B (zh) * 2018-10-24 2021-08-03 武汉大学 基于深度学习图像检索的社交图像地理定位方法及系统
CN109544651B (zh) * 2018-11-20 2020-03-24 深圳市墨者安全科技有限公司 用于图像对比的数据压缩方法、图像对比方法及装置
CN109635695B (zh) * 2018-11-28 2022-11-08 西安理工大学 基于三元组卷积神经网络的行人再识别方法
CN109492772B (zh) * 2018-11-28 2020-06-23 北京百度网讯科技有限公司 生成信息的方法和装置
CN111242152A (zh) * 2018-11-29 2020-06-05 北京易讯理想科技有限公司 基于目标提取的图像检索方法
CN109614512B (zh) * 2018-11-29 2022-02-22 亿嘉和科技股份有限公司 一种基于深度学习的电力设备检索方法
CN111382635B (zh) * 2018-12-29 2023-10-13 杭州海康威视数字技术股份有限公司 一种商品类别识别方法、装置及电子设备
CN110033023B (zh) * 2019-03-11 2021-06-15 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
DE102019106625A1 (de) * 2019-03-15 2020-09-17 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Ermitteln einer Gefahrenquelle auf einer Fahrbahn
CN110084250B (zh) * 2019-04-26 2024-03-12 北京金山数字娱乐科技有限公司 一种图像描述的方法及系统
CN110119460A (zh) * 2019-05-16 2019-08-13 广东三维家信息科技有限公司 图像检索方法、装置及电子设备
CN110134803B (zh) * 2019-05-17 2020-12-11 哈尔滨工程大学 基于哈希学习的图像数据快速检索方法
CN110321801B (zh) * 2019-06-10 2021-08-03 浙江大学 一种基于自编码网络的换衣行人重识别方法及系统
CN110598749A (zh) * 2019-08-13 2019-12-20 广东数鼎科技有限公司 一种基于卷积神经网络ai算法的图像识车实现系统
CN110580503A (zh) * 2019-08-22 2019-12-17 江苏和正特种装备有限公司 一种基于ai的双光谱目标自动识别方法
CN110688501B (zh) * 2019-08-28 2022-04-05 宁波大学 一种基于深度学习的全卷积网络的哈希检索方法
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN111242951A (zh) * 2020-01-08 2020-06-05 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111507267B (zh) * 2020-04-17 2023-05-26 北京百度网讯科技有限公司 文档朝向检测方法、装置、设备以及存储介质
CN111651779B (zh) * 2020-05-29 2022-03-18 广西师范大学 一种在区块链中进行加密图像检索的隐私保护方法
CN113760415A (zh) * 2020-06-04 2021-12-07 Oppo广东移动通信有限公司 表盘生成方法、装置、电子设备和计算机可读存储介质
CN112052350B (zh) * 2020-08-25 2024-03-01 腾讯科技（深圳）有限公司 一种图片检索方法、装置、设备和计算机可读存储介质
US11244156B1 (en) * 2020-10-29 2022-02-08 A9.Com, Inc. Locality-sensitive hashing to clean and normalize text logs
CN112507921B (zh) * 2020-12-16 2024-03-19 平安银行股份有限公司 基于目标区域的图形搜索方法、系统、电子装置及存储介质
CN113688261B (zh) * 2021-08-25 2023-10-13 山东极视角科技股份有限公司 图像数据清理方法、装置、电子设备及可读存储介质
CN113449135B (zh) * 2021-08-31 2021-11-19 阿里巴巴达摩院(杭州)科技有限公司 图像生成系统与方法
CN114529751A (zh) * 2021-12-28 2022-05-24 国网四川省电力公司眉山供电公司 一种电力场景智能识别样本数据的自动筛选方法
CN114967728B (zh) * 2022-02-25 2023-03-31 珠海紫燕无人飞行器有限公司 一种无人机集群协同搜索方法
CN114781548A (zh) * 2022-05-18 2022-07-22 平安科技（深圳）有限公司 图像场景分类方法、装置、设备及存储介质
CN114676279B (zh) * 2022-05-25 2022-09-02 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN115457351B (zh) * 2022-07-22 2023-10-20 中国人民解放军战略支援部队航天工程大学 一种多源信息融合不确定性判别方法
CN115131590B (zh) * 2022-09-01 2022-12-06 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1331451A (zh) * 2000-06-23 2002-01-16 株式会社Ntt都科摩 信息检索系统
CN103258190A (zh) * 2013-05-13 2013-08-21 苏州福丰科技有限公司 一种用于移动终端的人脸识别方法
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN103714122A (zh) * 2013-12-06 2014-04-09 安徽大学 一种基于局部分块二进制编码特征的图像检索方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381605B1 (en) * 1999-05-29 2002-04-30 Oracle Corporation Heirarchical indexing of multi-attribute data by sorting, dividing and storing subsets
JP5018404B2 (ja) * 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム
KR101582142B1 (ko) * 2008-06-06 2016-01-05 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
US8429173B1 (en) * 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
CN102368237B (zh) * 2010-10-18 2013-03-27 中国科学技术大学 图像检索方法、装置及系统
JP2014123220A (ja) * 2012-12-20 2014-07-03 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置
CN106462940A (zh) * 2014-10-09 2017-02-22 微软技术许可有限责任公司 图像中通用对象检测

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1331451A (zh) * 2000-06-23 2002-01-16 株式会社Ntt都科摩 信息检索系统
CN103258190A (zh) * 2013-05-13 2013-08-21 苏州福丰科技有限公司 一种用于移动终端的人脸识别方法
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN103714122A (zh) * 2013-12-06 2014-04-09 安徽大学 一种基于局部分块二进制编码特征的图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3327583A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969173A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 目标分类方法及装置
CN110969173B (zh) * 2018-09-28 2023-10-24 杭州海康威视数字技术股份有限公司 目标分类方法及装置
CN113536005A (zh) * 2021-09-17 2021-10-22 网娱互动科技(北京)股份有限公司 一种相似图片或字体查找方法和系统
CN113536005B (zh) * 2021-09-17 2021-12-24 网娱互动科技(北京)股份有限公司 一种相似图片或字体查找方法和系统

Also Published As

Publication number Publication date
EP3327583A4 (en) 2019-02-06
EP3327583B1 (en) 2023-03-01
US20180210896A1 (en) 2018-07-26
EP3327583A1 (en) 2018-05-30
CN106354735A (zh) 2017-01-25
US10678847B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
WO2017012277A1 (zh) 一种图像中目标的检索方法和装置
Latif et al. Content-based image retrieval and feature extraction: a comprehensive review
Mancini et al. Best sources forward: domain generalization through source-specific nets
CN106682233B (zh) 一种基于深度学习与局部特征融合的哈希图像检索方法
Yang et al. Supervised learning of semantics-preserving hash via deep convolutional neural networks
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN107679250B (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN107330451B (zh) 基于深度卷积神经网络的服装属性检索方法
CN106126581B (zh) 基于深度学习的手绘草图图像检索方法
Wang et al. Clothes search in consumer photos via color matching and attribute learning
Kang et al. Convolutional neural networks for document image classification
Lin et al. Rapid clothing retrieval via deep learning of binary codes and hierarchical search
CN108038122B (zh) 一种商标图像检索的方法
Bui et al. Using grayscale images for object recognition with convolutional-recursive neural network
Kong et al. Double-bit quantization for hashing
Lin et al. Spec hashing: Similarity preserving algorithm for entropy-based coding
Ibrahim et al. Cluster representation of the structural description of images for effective classification
Varga et al. Fast content-based image retrieval using convolutional neural network and hash function
Zhong et al. A comparative study of image classification algorithms for Foraminifera identification
Rian et al. Content-based image retrieval using convolutional neural networks
Spampinato et al. Fine-grained object recognition in underwater visual data
Mehmood et al. Effect of complementary visual words versus complementary features on clustering for effective content-based image search
Aslam et al. Image classification based on mid-level feature fusion
Naveena et al. Image retrieval using combination of color, texture and shape descriptor
Guan et al. Deep learning with MCA-based instance selection and bootstrapping for imbalanced data classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15898833

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15746073

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015898833

Country of ref document: EP