WO2017067398A1

WO2017067398A1 - 一种基于用户填写验证码来进行图片识别的方法及装置

Info

Publication number: WO2017067398A1
Application number: PCT/CN2016/101731
Authority: WO
Inventors: 王曜
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2015-10-20
Filing date: 2016-10-11
Publication date: 2017-04-27
Anticipated expiration: 2018-04-20
Also published as: CN106599671A; CN106599671B

Abstract

一种基于用户填写验证码来进行图片识别的方法及装置，该方法包括：向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片（S1）；接收用户对验证码图片识别后输入的用户识别名词，记录一条待识别图片对应的识别记录，该识别记录包括该待识别图片的图片ID及用户输入的用户识别名词（S2）；根据已知图片及其图片名词判断用户输入的用户识别名词是否与已知图片匹配，并根据与已知图片的匹配次数，为识别记录设置加权分数（S3）；最后根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词（S4）。所述装置包括验证码图片发送模块、接收模块、加权模块和识别模块。所述方法及装置，加快了图片识别处理速度，增加了机器学习经验，有效提高对海量图片的识别处理能力。

Description

一种基于用户填写验证码来进行图片识别的方法及装置

本申请要求2015年10月20日递交的申请号为201510683529.2、发明名称为“一种基于用户填写验证码来进行图片识别的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于用户填写验证码来进行图片识别的方法及装置。

背景技术

互联网的发展始终在“创新与改变”中跨越前行，从联系平台到浏览平台，到交互平台，到工作平台，互联网正逐步深入人们的生活。随着互联网的不断发展，逐步进入大数据时代，城市数据、企业数据、医疗数据、网站数据成为我们虚拟与现实生活的重要组成部分。

互联网应用的后台服务器在对大数据进行机器学习的过程中，往往会遇到机器无法准确识别图片的情况，需要大量人力进行标注和纠正。而对于海量的互联网数据，对无法机器学习的图片进行人工处理，是极其繁重和枯燥的工作。

发明内容

本发明的目的是提供一种基于用户填写验证码来进行图片识别的方法，将待识别图片作为验证码图片，通过用户身份验证过程中对该验证码图片的识别，来确定该待识别图片的图片名词，巧妙借助用户的识别，对大量待识别图片进行了识别，节省了人力物力。

为了实现上述目的，本发明技术方案如下：

一种基于用户填写验证码来进行图片识别的方法，所述方法包括：

向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片；

接收用户对验证码图片识别后输入的用户识别名词，记录一条待识别图片对应的识别记录，该识别记录包括该待识别图片的图片ID及用户输入的用户识别名词；

根据已知图片及其图片名词判断用户输入的用户识别名词是否与已知图片匹配，并根据与已知图片的匹配次数，为识别记录设置加权分数；

根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词。

进一步地，所述接收用户对验证码图片识别后输入的用户识别名词之后，还包括：

记录用户本次登录成功与否的结果；

所述方法还包括步骤：

根据用户连续登录成功的次数，为识别记录设置额外加权分数；

所述识别记录的加权分数还包括所述额外加权分数。

进一步地，所述根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词之前，还包括：

删除加权分数小于等于设定阈值的识别记录。

进一步地，所述方法还包括步骤：

根据用户历史信用评分，对所述加权分数进行修正，修正公式如下：

F＝round((F₀+Y+Z)/3，2)

其中F为修正后的加权分数，F₀为修正前的加权分数，Y为用户历史信用评分，Z为基础分。

本发明所述根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词，包括：

获取待识别图片对应的所有识别记录中加权分数排名靠前的M条识别记录，将相同用户识别名词的识别记录进行合并，得到合并的识别记录，合并的识别记录包括该待识别图片的图片ID、对应的用户识别名词、相同用户识别名词次数及加权平均分数；

根据合并的识别记录，筛选出相同用户识别名词次数最大的合并的识别记录的用户识别名词作为待识别图片的图片名词，当有两条以上相同用户识别名词次数最大的合并的识别记录时，以加权平均分数大的合并的识别记录的用户识别名词作为待识别图片的图片名词，当两条以上相同用户识别名词次数最大的合并的加权平均分数相同时，提交给人工识别。

进一步地，所述待识别图片对应有为其设置的显示次数，所述向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片，还包括步骤：

验证所述待识别图片提交作为验证码图片的次数是否达到所述显示次数，当达到所述显示次数时，不再提交该图片作为验证码图片。

本发明还提出了一种基于用户填写验证码来进行图片识别的装置，所述装置包括：

验证码图片发送模块，用于向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片；

接收模块，用于接收用户对验证码图片识别后输入的用户识别名词，记录一条待识别图片对应的识别记录，该识别记录包括该待识别图片的图片ID及用户输入的用户识别名词；

加权模块，用于根据已知图片及其图片名词判断用户输入的用户识别名词是否与已知图片匹配，并根据与已知图片的匹配次数，为识别记录设置加权分数；

识别模块，用于根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词。

进一步地，所述接收模块还用于记录用户本次登录成功与否的结果；

则，所述加权模块还根据用户连续登录成功的次数，为识别记录设置额外加权分数；所述识别记录的加权分数还包括所述额外加权分数。

进一步地，所述加权模块还用于删除加权分数小于等于设定阈值的识别记录。

进一步地，所述加权模块还用于根据用户历史信用评分，对所述加权分数进行修正，修正公式如下：

F＝round((F₀+Y+Z)/3，2)

进一步地，所述识别模块根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词，执行如下操作：

进一步地，所述待识别图片对应有为其设置的显示次数，所述验证码图片发送模块还用于验证所述待识别图片提交作为验证码图片的次数是否达到所述显示次数，当达到所述显示次数时，不再提交该图片作为验证码图片。

本发明提出的一种基于用户填写验证码来进行图片识别的方法及装置，将待识别图片作为验证码图片，通过用户身份验证过程中对该验证码图片的识别，来确定该待识别图片的图片名词，巧妙借助用户的识别，对大量待识别图片进行了识别，节省了人力物力。通过本发明的方法和装置，加快了图片识别处理速度，增加了机器学习经验，有效提高对海量图片的识别处理能力。

附图说明

图1为本发明基于用户填写验证码来进行图片识别的方法流程图；

图2为本发明基于用户填写验证码来进行图片识别的装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明的总体思路是利用用户登录时的验证过程中，需要输入验证码的这一环节，将待识别的图片夹杂在验证图片中发送给用户，用户需要选择图片进行验证，就可以根据用户对待识别的图片的选择来进行分析，识别出待识别的图片。

本实施例为此设置了四个数据表：数据表A，数据表B，数据表C，和数据表D，其中：

数据表A用来存储机器无法识别的图片，也是需要通过本发明进行识别的待识别图片；

数据表B用来存储已知的图片及对应的名称；

数据表C用来存储识别记录；

数据表D用来存储对待识别图片的最终识别结果。

本实施例在用户登录时，向用户发送4张图片作为验证码，其中3张来自数据表B，1张来自数据表A。需要说明的是，用于作为验证码的图片的具体数量不限，但是仅包括一张待识别图片，本实施例以4张为例来进行说明。

要求用户对图片进行识别，返回4张图片的用户识别名词。接收到用户返回的用户识别名词后，验证用户的答案，如果用户填对了三张来自数据表B的图片名词，就认为其可以通过验证。

基于上述验证过程，本实施例一种基于用户填写验证码来进行图片识别的方法，如图1所示，包括：

步骤S1、向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片。

当用户登录时，需要对其进行身份验证，身份验证通过图片验证码的形式，则需要向用户发送作为验证码的图片。例如假设验证码图片的总数为4张，则从数据表B中取三个已知图片，以及从数据表A中取一张待识别图片，作为验证码图片发送给用户。

本发明所要做的事情就是识别出该待识别图片对应的图片名词，所述图片名词可以是图片中包含的物体的名称。本实施例以4张图片作为验证码图片为例，在实际使用中可以提供更多的验证码图片，其中包括至少一张待识别图片以及多张已知的图片，并根据已知图片的识别结果进行身份验证，所包括的待识别图片的多少对身份验证不影响。

步骤S2、接收用户对验证码图片识别后输入的用户识别名词，记录一条待识别图片对应的识别记录，该识别记录包括该待识别图片的图片ID((identification，身份标识)及用户输入的用户识别名词。

本实施例要求用户对验证码图片进行识别，返回4张图片的用户识别名词。用户收到验证码图片后，一一输入各个图片的用户识别名词，本实施例将用户输入的图片名词称为用户识别名词。

在接收到返回的4张图片的用户识别名词后，与已知的图片名词进行对比，如果用户填对了三张来自数据表B的已知图片的图片名词时，就认为其可以通过验证。

例如从数据表B中选取的三张已知图片分别为电风扇、电视机和洗衣机，而从数据表A中选取的一张图片为待识别图片，四张图片打乱次序发送给用户作为验证码图片。假设电风扇排在第一，待识别图片排在第二，电视机排在第三，洗衣机排在第四。

则根据用户返回的用户识别名词，其中对应三张已知图片的图片名词，用户返回的用户识别名词都与已知的图片名词一致，即第一张图片返回的是电风扇，第三张图片返回的是电视机，第四张图片返回的是洗衣机，则判断验证通过。显然待识别图片不会影响判断结果，但是用户还是会返回对应的用户识别名词，能够根据用户返回的用户识别名词进行分析完成对待识别图片的识别，给出其识别的图片名词。

然而虽然用户给出了对于待识别图片的用户识别名词，也并不能就此确定该用户给出的用户识别名词就是该待识别图片的真正图片名词，为此需要进一步进行分析。

为了便于对用户返回的对应待识别图片的用户识别名词进行分析，本实施例记录一条识别记录到数据表C，该识别记录包括该待识别图片的图片ID及用户输入的用户识别名词。

本实施例还记录用户本次登录成功与否的结果，以便于后续步骤进行加权计算。

步骤S3、根据已知图片及其图片名词判断用户输入的用户识别名词是否与已知图片匹配，并根据与已知图片的匹配次数，为识别记录设置加权分数。

为了对用户返回的对应待识别图片的用户识别名词进行分析，本实施例根据已知图片判断用户输入的用户识别名词正确数量，为识别记录设置加权分数，即加权分数与用户正确地返回已知图片的用户识别名词有关。

例如：本实施例有三张已知图片，按下表为识别记录设置加权f₁：

正确数量	加权分数
0	-1
1	1
2	2
3	5

表1

表1是计算加权分数的一种数据示意表。

即三张都识别错误，加权分数为-1；一张识别正确，加权分数为1；两张识别正确，加权分数为2；三张都识别正确，加权分数为5。可见如果用户验证通过，则本次验证对应的识别记录的加权分数为5。在每次验证时，不论是否验证通过，都记录一条识别记录到数据表C。

容易理解的是，对应每条识别记录的加权分数，可以以表1得到的加权分数为识别记录的加权分数，还可以进一步加入其他因数，如用户历史信用、用户连续登录成功次数等，来进一步提高识别记录加权分数的可信度。

例如，根据记录的用户本次登录成功与否的结果，可以得知用户连续登录成功的次数，则可以根据用户连续登录成功的次数，为识别记录设置额外加权分数。具体的额外加权分数f₂可以根据下表来计算：

连续登录次数	额外加权分数
连续5次失败	-1
没有连续成功	2
连续十次	5

表2

表2是计算加权分数的另一种数据示意表。

至此，当考虑用户连续登录次数时，识别记录的加权分数还包括该额外加权分数，计算公式如下：

F＝f₁+f₂

需要说明的是，当识别记录的加权分数F小于等于设定的阈值(例如-1)时，该识别记录已经不可信，不需要再参与后续的计算，因此本实施例的方法还包括：

筛选掉加权分数F小于等于设定阈值的识别记录。

进一步，本实施例还引入用户历史信用评分来对加权分数F进行修正，计算公式如下：

F＝round((F₀+Y+Z)/3，2)

其中，Y为用户历史信用评分，Z为基础分，F为修正后的加权分数，F₀为修正前的加权分数。可见通过对F₀、Y、Z求平均后，经四舍五入取小数点后两位可得修正后的加权分数F。采用修正后的加权分数F来进行后续步骤的计算，得到的结果更加可信。

步骤S4、根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词。

随着待识别图片被多个用户识别后，数据表C中对应该待识别图片的识别记录越来越多，可以对待识别图片对应的所有已记录的识别记录及其加权分数进行分析，找到待识别图片的准确图片名词。

简单地，可以直接选取已记录的识别记录中加权分数最大的识别记录中的用户识别名词作为该待识别图片的图片名词。

优选地，本实施例采用的方案如下：

以下进行详细说明：

根据步骤S1-S3步骤的计算，不难得到对待识别图片的识别记录及其对应的加权分数，假设对于一个待识别图片的多条识别记录如下表，表中F按照大小顺序排列：

图片ID	用户识别名词	F₀	Y	F
111	冰箱	F_0-1	Y₁	F₁
111	微波炉	F_0-2	Y₂	F₂
111	保险箱	F_0-3	Y₃	F₃
111	冰箱	F_0-4	Y₄	F₄
111	微波炉	F_0-5	Y₅	F₅
111	烤箱	F_0-6	Y₆	F₆
111	空调	F_0-7	Y₇	F₇
111	木柜	F_0-8	Y₈	F₈
111	洗衣机	F_0-9	Y₉	F₉
111	海尔	F_0-10	Y₁₀	F₁₀
…	…	…	…	…

表3

表3是一个示例中待识别图片的多条识别记录示意表。

其中F₀为修正前的加权分数，F为修正后的加权分数，Y为用户历史评分。

取该待识别图片111的前M个(M＝10)条识别记录，将相同的用户识别名词对应的识别记录进行合并，得到如下的合并的识别记录：

表4

表4是一个示例中合并后的待识别图片的识别记录示意表。

其中，平均加权分数P₁＝round((F₁+F₃)/2，2)，P₂＝round((F₂+F₅)/2，2)，即加权平均分数为相同的用户识别名词对应的识别记录的加权分数的平均。

对合并的识别记录按照每条合并的识别记录对应的相同用户识别名词次数进行排序，获取排名第一的合并的识别记录对应的用户识别名词作为待识别图片的图片名词；当有两条以上合并的识别记录的相同用户识别名词次数相同时，取加权平均分数大的合并的识别记录的用户识别名词作为待识别图片的图片名词；当两条以上合并的识别记录的相同用户识别名词次数相同，且加权平均分数还是相同，则推送给运维人员，进行人工识别。

最后将识别结果写入数据表D，作为后续机器学习或者其他业务使用。

需要说明的是，当一个待识别图片经过多次用户识别后，根据本发明的方法已经能确定地进行了识别，则不需要再次将其提交给用户进行识别，因此本发明为每个待识别图片设置了显示次数，当一个待识别图片作为验证码图片提交显示的次数达到该显示次数时，不再提交该待识别图片，将其从数据表A中删除。

与上述方法对应地，本实施例一种基于用户填写验证码来进行图片识别的装置如图2所述，该装置包括：

与上述方法对应地，接收模块还用于记录用户本次登录成功与否的结果；

则，加权模块还根据用户连续登录成功的次数，为识别记录设置额外加权分数；所述识别记录的加权分数还包括所述额外加权分数。

与上述方法对应地，加权模块还用于删除加权分数小于等于设定阈值的识别记录。

与上述方法对应地，加权模块还用于根据用户历史信用评分，对所述加权分数进行修正，修正公式如下：

F＝round((F₀+Y+Z)/3，2)

与上述方法对应地，识别模块根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词，执行如下操作：

同样，待识别图片对应有为其设置的显示次数，验证码图片发送模块还用于验证所述待识别图片提交作为验证码图片的次数是否达到所述显示次数，当达到所述显示次数时，不再提交该图片作为验证码图片。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

一种基于用户填写验证码来进行图片识别的方法，其特征在于，所述方法包括：

向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片；

接收用户对验证码图片识别后输入的用户识别名词，记录一条待识别图片对应的识别记录，该识别记录包括该待识别图片的图片ID及用户输入的用户识别名词；

根据已知图片及其图片名词判断用户输入的用户识别名词是否与已知图片匹配，并根据与已知图片的匹配次数，为识别记录设置加权分数；

根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词。
根据权利要求1所述的基于用户填写验证码来进行图片识别的方法，其特征在于，所述接收用户对验证码图片识别后输入的用户识别名词之后，还包括：

记录用户本次登录成功与否的结果；

所述方法还包括步骤：

根据用户连续登录成功的次数，为识别记录设置额外加权分数；

所述识别记录的加权分数还包括所述额外加权分数。
根据权利要求1或2所述的基于用户填写验证码来进行图片识别的方法，其特征在于，所述根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词之前，还包括：

删除加权分数小于等于设定阈值的识别记录。
根据权利要求3所述的基于用户填写验证码来进行图片识别的方法，其特征在于，所述方法还包括步骤：

根据用户历史信用评分，对所述加权分数进行修正，修正公式如下：

F＝round((F₀+Y+Z)/3，2)

其中F为修正后的加权分数，F₀为修正前的加权分数，Y为用户历史信用评分，Z为基础分。
根据权利要求1所述的基于用户填写验证码来进行图片识别的方法，其特征在于，所述根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词，包括：

获取待识别图片对应的所有识别记录中加权分数排名靠前的M条识别记录，将相同用户识别名词的识别记录进行合并，得到合并的识别记录，合并的识别记录包括该待识别图片的图片ID、对应的用户识别名词、相同用户识别名词次数及加权平均分数；

根据合并的识别记录，筛选出相同用户识别名词次数最大的合并的识别记录的用户识别名词作为待识别图片的图片名词，当有两条以上相同用户识别名词次数最大的合并的识别记录时，以加权平均分数大的合并的识别记录的用户识别名词作为待识别图片的图片名词，当两条以上相同用户识别名词次数最大的合并的加权平均分数相同时，提交给人工识别。
根据权利要求1所述的基于用户填写验证码来进行图片识别的方法，其特征在于，所述待识别图片对应有为其设置的显示次数，所述向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片，还包括步骤：

验证所述待识别图片提交作为验证码图片的次数是否达到所述显示次数，当达到所述显示次数时，不再提交该图片作为验证码图片。
一种基于用户填写验证码来进行图片识别的装置，其特征在于，所述装置包括：

验证码图片发送模块，用于向用户发送包括至少一张待识别图片和多张已知图片作为验证码图片；

接收模块，用于接收用户对验证码图片识别后输入的用户识别名词，记录一条待识别图片对应的识别记录，该识别记录包括该待识别图片的图片ID及用户输入的用户识别名词；

加权模块，用于根据已知图片及其图片名词判断用户输入的用户识别名词是否与已知图片匹配，并根据与已知图片的匹配次数，为识别记录设置加权分数；

识别模块，用于根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词。
根据权利要求7所述的基于用户填写验证码来进行图片识别的装置，其特征在于，所述接收模块还用于记录用户本次登录成功与否的结果；

则所述加权模块还根据用户连续登录成功的次数，为识别记录设置额外加权分数；所述识别记录的加权分数还包括所述额外加权分数。
根据权利要求7或8所述的基于用户填写验证码来进行图片识别的装置，其特征在于，所述加权模块还用于删除加权分数小于等于设定阈值的识别记录。
根据权利要求9所述的基于用户填写验证码来进行图片识别的装置，其特征在于，所述加权模块还用于根据用户历史信用评分，对所述加权分数进行修正，修正公式如下：

F＝round((F₀+Y+Z)/3，2)

其中F为修正后的加权分数，F₀为修正前的加权分数，Y为用户历史信用评分，Z为基础分。
根据权利要求7所述的基于用户填写验证码来进行图片识别的装置，其特征在于，所述识别模块根据待识别图片对应的所有已记录的识别记录及其加权分数，识别出待识别图片的图片名词，执行如下操作：

获取待识别图片对应的所有识别记录中加权分数排名靠前的M条识别记录，将相同用户识别名词的识别记录进行合并，得到合并的识别记录，合并的识别记录包括该待识别图片的图片ID、对应的用户识别名词、相同用户识别名词次数及加权平均分数；

根据合并的识别记录，筛选出相同用户识别名词次数最大的合并的识别记录的用户识别名词作为待识别图片的图片名词，当有两条以上相同用户识别名词次数最大的合并的识别记录时，以加权平均分数大的合并的识别记录的用户识别名词作为待识别图片的图片名词，当两条以上相同用户识别名词次数最大的合并的加权平均分数相同时，提交给人工识别。
根据权利要求7所述的基于用户填写验证码来进行图片识别的装置，其特征在于，所述待识别图片对应有为其设置的显示次数，所述验证码图片发送模块还用于验证所述待识别图片提交作为验证码图片的次数是否达到所述显示次数，当达到所述显示次数时，不再提交该图片作为验证码图片。