WO2020098422A1 - 编码图案的处理方法和装置、存储介质、电子装置 - Google Patents

编码图案的处理方法和装置、存储介质、电子装置 Download PDF

Info

Publication number
WO2020098422A1
WO2020098422A1 PCT/CN2019/110282 CN2019110282W WO2020098422A1 WO 2020098422 A1 WO2020098422 A1 WO 2020098422A1 CN 2019110282 W CN2019110282 W CN 2019110282W WO 2020098422 A1 WO2020098422 A1 WO 2020098422A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
encoding
coding
training
model
Prior art date
Application number
PCT/CN2019/110282
Other languages
English (en)
French (fr)
Inventor
苗捷
冉辰
许典平
贾晓义
姜媚
林榆耿
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to EP19885234.5A priority Critical patent/EP3882822A4/en
Priority to JP2020562183A priority patent/JP7045483B2/ja
Publication of WO2020098422A1 publication Critical patent/WO2020098422A1/zh
Priority to US17/080,633 priority patent/US11507766B2/en
Priority to US17/968,732 priority patent/US11790198B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1482—Methods for optical code recognition the method including quality enhancement steps using fuzzy logic or natural solvers, such as neural networks, genetic algorithms and simulated annealing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种编码图案的处理方法、装置、存储介质和电子装置，所述方法包括：获取待识别的第一编码图案，第一编码图案是对编码信息进行编码后得到的图案（S202）；通过目标模型提高第一编码图案的分辨率，得到第二编码图案，目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的（S204）；向终端的编码识别模块提供第二编码图案（S206）。所述方法解决了不能准确识别编码图案的技术问题。

Description

编码图案的处理方法和装置、存储介质、电子装置
本申请要求于2018年11月14日提交中国专利局、申请号为201811363056.8、申请名称为“编码图案的处理方法和装置、存储介质、电子装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理领域，具体而言，涉及编码图案的处理。
背景技术
目前，二维码因其具有的信息存储量大、保密性高、成本低等特点，在工商业、交通运输、金融、医疗等领域逐渐应用推广。而近年来，移动通信领域蓬勃发展起来的移动终端二维码业务，使移动终端用户进入信息随手可得的时代。
二维码是相对于一维码而言的，它根据某种特定的几何图形，将数据符号信息按一定规律记录在平面分布的黑白相间的图形内。在实际应用中，例如用二维码上网时，首先要利用移动终端自带的摄像头拍摄下二维码的图片，然后从二维码图片中设别出其中包含的网址信息，从而才能访问与该网址相应的网站。
发明内容
本申请实施例提供了一种编码图案的处理方法和装置、存储介质、电子装置，以至少解决相关技术中不能准确识别编码图案的技术问题。
根据本申请实施例的一个方面，提供了一种编码图案的处理方法，包括：获取待终端识别的第一编码图案，其中，第一编码图案是对编码信息进行编码后得到的图案；通过目标模型提高第一编码图案的分辨率，得到第二编码图案，其中，目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式；向终端的编码识别模块提供第二编码图案。
根据本申请实施例的另一方面，还提供了一种编码图案的处理装置，包括：第一获取单元，用于获取待终端识别的第一编码图案，其中，第一编码图案是对编码信息进行编码后得到的图案；处理单元，用于通过目标模型提高第一编 码图案的分辨率，得到第二编码图案，其中，目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式；交互单元，用于向终端的编码识别模块提供第二编码图案。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
根据本申请实施例的另一方面，还提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述的方法。
在本申请实施例中，在获取到待识别的第一编码图案时，通过目标模型提高第一编码图案的分辨率，得到第二编码图案，向终端的编码识别模块提供分辨率更高的第二编码图案，可以解决相关技术中不能准确识别编码图案的技术问题，进而达到提高对编码图案的识别准确率的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的编码图案的处理方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的编码图案的处理方法的流程图；
图3是根据本申请实施例的一种可选的有编码图案的海报的示意图；
图4是根据本申请实施例的一种可选的编码图案的处理模型的示意图；
图5是根据本申请实施例的一种可选的编码图案的示意图；
图6是根据本申请实施例的一种可选的编码图案的示意图；
图7是根据本申请实施例的一种可选的编码图案的处理模型的示意图；
图8是根据本申请实施例的一种可选的编码图案的处理模型的示意图；
图9是根据本申请实施例的一种可选的编码图案的处理装置的示意图；
以及
图10是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
二维码：二维码又称二维条码，常见的二维码为QR Code，QR的英文全称为Quick Response，是用某种特定的几何图形按一定规律在平面(二维方向上)分布的黑白相间的图形记录数据符号信息的一种编码方式，它比传统的条形码(Bar Code)能存更多的信息，也能表示更多的数据类型。
一维条码(或称一维码或者条形码)：指条码条和空的排列规则，常用的一维码的码制包括：EAN码、39码、交叉25码、UPC码、128码、93码，ISBN码，及库德巴码(Codabar)等。
小程序(Mini Program)，是一种不需要下载安装即可使用的应用，小程序可以依赖于母程序运行，该母程序包括但不局限于即时通讯应用、社交应用、支付应用，用户可在母程序中通过扫一扫或搜一下等操作来打开小程序。
根据本申请实施例的一方面，提供了一种编码图案的处理方法的方法实施例。
可选地，在本实施例中，上述编码图案的处理方法可以应用于如图1所示的由服务器101和终端103所构成的硬件环境中。如图1所示，服务器101通过网络与终端103进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务、即时通讯服务等)，可在服务器上或独立于服务器设置数据库105，用于为服务器101提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端103并不限定于PC、手机、平板电脑等。
本申请的方法可以应用于社交、即时通讯、支付等需要进行数字编码信息传递的场景，该场景的硬件环境可以参考图1，编码图案可以是服务器向终端提供的，也可以是一个终端向另一个终端提供的，本申请的优化编码图案的方法可以由终端执行，即本申请实施例的编码图案的处理方法可以由终端103来执行，图2是根据本申请实施例的一种可选的编码图案的处理方法的流程图，如图2所示，该方法可以包括以下步骤：
S202，终端获取待识别(即待进行编码信息识别)的第一编码图案，第一编码图案是对编码信息进行编码后得到的图案。
上述的编码图案是指利用图案编码技术来对编码信息进行编码，第一编码图案中不同的图案可用于表示不同的编码信息，常见的编码图案有二维码、一维码、小程序码等。
上述的编码信息为用于向终端传播的数字信息，如网址、付款信息、宣传信息、即时通讯帐号、社交群等。
S204，终端通过目标模型提高第一编码图案的分辨率，得到第二编码图案，目标模型是利用第三编码图案作为输入并利用预定的第四编码图案作为输出进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式。
上述的目标模型可以为神经网络模型，由于模型是使用低分辨率的第三编码图案为输入、高分辨率的第四编码图案为预计输出进行训练得到的，相当于使得模型学会了将低分辨率的编码图案还原为高分辨率的编码图案的能力，S204即利用训练好的模型进行超分还原，此处的超分是图像超分辨率的缩写，即由低分辨率图像恢复出高分辨率图像。
S206，终端向编码识别模块提供第二编码图案。
上述的编码识别模块可为终端上的编码识别引擎，如二维码识别引擎、小程序码识别引擎等。
上述实施例以本申请的编码图案的处理方法由服务器101来执行为例进行说明，本申请的优化编码图案的方案也可以由终端执行，即本申请的编码图案的处理方法也可以由终端103来执行，还可以是由服务器101和终端103共同执行。其中，终端103执行本申请实施例的编码图案的处理方法时，可以是由安装在终端103上的客户端来执行。
通过上述S202至S206，在获取到待识别的第一编码图案时，通过目标模型提高第一编码图案的分辨率，得到第二编码图案，向终端的编码识别模块提供分辨率更高的第二编码图案，可以解决相关技术中不能准确识别编码图案的技术问题，进而达到提高对编码图案的识别准确率的技术效果。
当前的二维码识别技术，对输入的图像质量要求比较高，对于模糊，分辨率过小的图片，识别率均不太理想，而在即时通讯、社交等场景中，有大量的海报图片会在图片下方打一个小的二维码(相当于第一编码图案)，如图3所示，由于二维码分辨率太低会影响对该二维码的识别；在聊天时，同一二维码图片通常因为多次的转发而会被压缩，甚至多次压缩，导致小分辨率和模糊的问题同时出现，在这种场景下，识别二维码的变得更加困难。
在面临上述问题时，可以采用本申请的技术方案解决，在S202提供的技术方案中，可以将海报图片下方的二维码、多次压缩后的二维码等作为第一编码图案提供给终端，此时终端获取待进行编码信息识别的第一编码图案，第一编码图案是对编码信息进行编码后得到的图案。
可选地，获取待终端识别的第一编码图案包括以下之一：获取待终端识别的二维码编码图案；获取待终端识别的小程序编码图案；获取待终端识别的一维码编码图案。
可选地，由于编码图案中心区域的LOGO(LOGO的中文是徽标或者商标，是LOGOtype的缩写，起到对徽标拥有公司的识别和推广的作用)往往不太规则，容易对训练造成干扰，且对训练对编码图案特征的提取并无好处，在训练之前可以删除编码图案中心区域的LOGO，避免LOGO对训练的干扰。
在S204提供的技术方案中，终端通过目标模型提高第一编码图案的分辨 率，得到第二编码图案。
上述的目标模型为学习到进行编码图案的图像超分辨率处理和提高清晰度的模型，在S204中可以是使用预先训练好的目标模型，也可以是在使用时再进行训练。进行模型训练的大概思想是利用低分辨率的第三编码图案作为输入并利用高分辨率的第四编码图案作为预计输出，训练过程中，模型通过调整参数的取值使得实际输出的编码图案与第四编码图案相同或者基本相同，从而完成模型训练。一种可选的训练方式如下：
S11，在通过目标模型提高第一编码图案的分辨率之前，获取多组训练图像，每组训练图像包括一张第三编码图案和一张第四编码图案，第四编码图案是预先准备好的训练数据，如利用编码图案生成软件自动生成、从互联网中收集得到，同一组训练图像中的两张编码图案所携带的编码信息相同或者基本相同。
S12，使用多组训练图像中的训练图像对原始模型进行训练，以初始化原始模型中的参数。
可选地，如图4所示，使用多组训练图像中的训练图像对原始模型进行训练，以初始化原始模型中的参数包括：将第三编码图案中像素点的灰度值作为原始模型的输入(如3*3的全连接层)，将第四编码图案作为原始模型的预计输出，以通过激活函数LReLU(全称为：LeakyRectified Linear Unit)初始化原始模型中的参数，原始模型包括多个卷积层，多个卷积层的第一个卷积层(如卷积层1)的输入为第三编码图案中像素点的灰度值，多个卷积层中的第i个卷积层的输出为第i-1个卷积层的输出与第i个卷积层对第i-1个卷积层的输出的卷积操作得到的结果之和，如卷积层2的输入包括卷积层1的输出和输入，整数i的取值为2至N，N为多个卷积层的层数，原始模型中的参数包括多个卷积层进行卷积操作所使用的参数，多个卷积层中任意一个卷积层输出的一个类型的特征是该卷积层中的一个卷积核进行卷积操作得到的。
上述的特征是指模型识别出的特征，例如，对于二维码中左下角的方块，对于二维码中的方块，在转发的过程中，边界会逐步模糊，可以采用最邻近插值的方式恢复边界，使得图像更为清晰，对于菱形、三角形等形状特征，也可采用最优方式来使得边界更为清晰。
对于卷积层而言，输入的信息可以为像素点的灰度值所组成的矩阵或其他卷积层输出的特征值矩阵，输出为特征值矩阵，模型中的参数即用于将输入映射至输出的函数中的参数。
S13，在经过若干轮的训练之后，可以将用于测试的第五编码图案作为训练后的原始模型的输入，并判断原始模型输出的编码图像与验证用的第六编码图案是否相匹配，即判断二者的图像相似度是否达到指定的阈值(如99％)。
S14，在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案相匹配的情况下，将训练后的原始模型作为目标模型，第五编码图案是对第六编码图案的分辨率进行降低处理后得到的，第五编码图案与第三编码图案采用相同的编码方式。
S15，在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案不匹配的情况下，回到S12，继续使用多组训练图像中的训练图像对原始模型进行训练，以调整原始模型中的参数，直至将第五编码图案作为训练后的原始模型的输入时原始模型输出的编码图像与第六编码图案相匹配。
需要说明的是，不同编码格式或编码方式的图像具有不同的特征，因此，为了适应不同编码格式的编码图案，可以根据需要采用相应编码格式的训练图像进行训练，例如，待识别的为二维码图案，那么相应的就可以使用二维码图案进行训练。
可选地，对于编码图案而言，其产生模糊的场景往往是多种多样，但是申请人发现大部分模型集中固定的几种场景(记为目标场景，一个场景可视为一种图像退化类型)上，为了提高训练的效率和图像超分辨率处理的准确率，多组训练图像主要包括这几种目标场景中产生模糊的第三编码图案和原始的第四编码图案，以针对性地对模型进行训练，以使其具备这几种常用场景下对模糊图案进行准确图像超分辨率处理的目的。
通常情况下，相比于低分辨率图像，高分辨率图像能够提供更丰富的细节，呈现出良好的视觉效果，对于二维码识别这种以图像作为输入的后续流程，也有助于提高系统的整体表现，然而，受成像设备、存储空间和网络资源、使用场景等的限制，常常只能获得较低分辨率的编码图像。于是，便可利用本申请 的技术方案进行超分辨率操作，一种可选的方式便是通过上述训练得到的模型实现。
在训练好模型时候，即可使用上述模型进行图像超分辨率处理，可通过目标模型提高第一编码图案的分辨率，得到图像超分辨率处理后的第二编码图案，图像超分辨率处理具体包括以下两个步骤：
步骤21，通过目标模型将第一编码图案的分辨率提高至目标分辨率，得到目标编码图案。
步骤22，通过目标模型对目标编码图案中子图案的边缘进行修正，得到第二编码图案。
可选地，通过目标模型对目标编码图案中子图案的边缘进行修正，得到第二编码图案包括对目标编码图案中的每个子图案进行如下处理：通过目标模型识别出子图案的特征信息(feature)，例如识别出该子图案的形状；通过目标模型获取与子图案的特征信息匹配的修正信息，该修正信息用于表示采用何种修正方式来对边缘进行修正，以使其更为清晰；通过目标模型按照与子图案的特征信息匹配的修正信息对子图案的边缘进行修正，如对于方块，可以采用最邻近插值的方式恢复边界，使得图像更为清晰。
可选地，通过目标模型识别出子图案的特征信息包括：通过目标模型的多个卷积层识别出子图案的特征信息，多个卷积层串行连接(即这多个卷积层可以排成一列或者一行，并且前一卷积层的输出作为后一卷积层的输入)，多个卷积层中任意一个卷积层的输出用于作为串行连接在该卷积层之后至少一个卷积层的输入，例如之后每一个卷积层的输入。换言之，本申请采用在网络中利用密集连接的方式，这种方式可以减少损失，将网络浅层特征与深层特征连接，来保证层与层之间最大程度的信息传输，同时也能够减少训练时间，减少梯度消失(vanishing-gradient)带来的问题。
通过上述步骤，减轻了梯度消失带来的问题，加强了特征信息的传递，能够更有效地利用特征信息，还能减少其中的参数数量。
上述图像超分辨率处理是以低分辨率图像(如第一编码图案)作为输入，重建为高分辨率的图像(如第二编码图案)输出，考虑到双线性(bilinear)插值以及双三次(Bicubic)插值无法适应多样的图像内容，感知能力较差，难以 重建出图像的高频信息，输出图像过于模糊，应用于压缩图像时，甚至会放大人工效应干扰，故本申请采用基于像素插值的图像超分辨率算法具有计算简单、速度快的优势，具备较好的应用场景，如采用最近邻(nearest)插值。
在S206提供的技术方案中，终端向编码识别模块提供第二编码图案，以便于终端利用图像超分辨率处理后的第二编码图案准确识别出所承载的编码信息。
本申请根据扫码图像的特点，设计了适用于移动端的图像超分辨率处理网络，实现了快速高效的码图像重建，并改善图像质量，大大提高了扫码算法的识别成功率，图5展示了本申请的图像还原的重建效果，其中，501为被压缩图，503为相关技术中的还原方案(如Bicubic)得到的，505为采用本申请的技术方案得到的。
作为一种可选的实施例，下面结合具体的实施方式详述本申请的技术方案。
本申请提供了一种通过高度还原压缩图片中的二维码，来提高二维码识别性能的方法，该方法的提出主要是为了解决在图片被压缩后，二维码过于模糊而难以识别的问题。如图6所示，在即时通讯的长按识别二维码场景中，许多码图像经过截图、朋友圈和聊天多次压缩转发，质量严重受损，分辨率下降，边缘变得模糊不清，这给识别带来了很大的困难。具体来说，这主要体现在以下两个方面：
其一是图像分辨率小，例如一些嵌入在海报或远距离拍摄的二维码，其分辨率远小于通常情况下的码图像，如图3所示；其二是图像质量较低，长按识别的码图像，有很多是经过了多次的压缩和转发，存在严重的人工效应(如振铃效应)干扰，如图6所示，以上严重影响了相关技术中的二维码识别算法。一旦遇到这些低质量的码图像，传统算法往往很难给出令人满意的结果。
针对这些问题，本申请在识别流程中引入了超分辨率策略，在提高扫码图像分辨率的同时，改善图像质量，以提高识别率。本申请的技术方案可作为二维码识别引擎的一部分，该算法精简高效，支持二维码、小程序码、一维码、PDF417等多种主流码格式。在真实场景下的测试表明，这一策略大大提高了扫码引擎对低质量图像的鲁棒性和识别成功率，使其能够适用于更加广泛和复 杂的场景。
本申请基于深度学习设计的图像超分辨率处理算法，对特征图进行了充分的重利用，在减小计算量的同时保持良好的重建效果。同时，根据二维码图像的特点，采用了专门的损失函数，以提高后续识别的成功率。
在网络结构设计中，为了精简模型体积，加快运算速度，可压缩神经网络的深度和宽度，这样虽然会带来一些精度的损失，但是本申请采用在网络中利用密集连接的方式，这种方式可以减少损失，将网络浅层特征与深层特征连接，来保证层与层之间最大程度的信息传输。
本申请采用了更精简的瓶颈结构，使3*3的卷积核在低于增长率的特征维度下进行，进一步减小了模型的体积和计算量。图7展示了二者的区别(为了简洁，忽略了激活函数和批量标准化(Batch Normalization，BN)，批量标准化是一种训练优化方法，Normalization是数据标准化，Batch可以理解为批量，加起来就是批量标准化。在模型中，Batch就是训练网络所设定的图片数量(batch_size)，去掉了BN层。另外，针对参数量和运算量均较大的左边3*3卷积核，将其改为逐层(depthwise)卷积，即在网络的上采样与重建模块，本申请采用了类似的基于depthwise的瓶颈结构实现上采样与重建，最后在输出前增加了一个1*1卷积核，用于特征通道的组合与升维，模块中卷积层后面使用LReLU作为激活函数。
在模型训练阶段，本申请采用了残差学习，如图8所示，使用原始的低分辨率二维码图像作为输入，基本网络即卷积层构成的网络，在网络最后的重建层使用反卷积上采样到目标分辨率，这样整个计算过程在低分辨率空间中进行，减小了运算量。
在模型训练的过程中，根据二维码图像及识别流程的特点，本申请尝试了以下损失函数：边界损失，为了使模型能够尽可能准确地重建出清晰的边缘，本申请使用sobel算子提取出图像的边缘信息，作为损失函数的权重，以加大这些位置预测偏差的代价；二值模式限制损失，本申请采用二值模式限制损失函数加大对错误计算的灰色像素的惩罚，在L2Loss的基础上，使用Sigmoid函数的一阶导数作为权重。但是这些损失函数应用在本申请的技术方案中时效果均不够好。
考虑到在超分辨率过程中，主要的任务是估计出图像的高频信息。为加快收敛，本申请使用计算量很小的最邻近插值直接将输入图像放大至目标尺寸，与网络输出相加，得到最终输出。通过这种方式，使网络只需学习残差，实践证明，残差学习不仅可以加快收敛，也提高了重建准确度。
可选地，本申请还可对训练数据做额外的处理，比如，二维码中心区域的LOGO信息对识别没有帮助，可直接将其擦除，为了在图像超分辨率放大的同时提高图像质量，本申请还可在训练数据集中引入了多种图像退化类型，以增强模型的鲁棒性和泛化能力。
如表1所示，大模型识别率高但消耗资源多，小模型与之相反。为了进一步提升小模型的效果，本申请使用不经压缩的大模型来引导小模型的训练，直接令小模型拟合大模型的预测结果。模型蒸馏在测试过程中不会带来额外开销，对速度和模型体积均不会产生影响，但可有效提高模型准确度。
表1
方案 成功率 耗时 体积
MDSR 52.40％ 大于1秒 1M
FSRCNN 53.26％ 79.23毫秒 82K
Mobilenet 59.89％ 25.47毫秒 52K
本申请 60.31％ 6.39毫秒 13K
本申请提供了一套简单高效的网络结构，使得超分辨算法可以快速运行在移动设备上，单帧耗时小于10ms。图4展示了该算法完整的网络结构。
采用本申请的技术方案，可以实现扫码图像的图像超分辨率的还原，实现对分辨率较小的码图像进行图像超分辨率的还原，得到高分辨率输出，保证编码区域边缘锐利，清晰可辨；实现图像质量的增强，对于多次压缩转发后的码进行图像质量增强，减小人工效应对后续识别流程造成的干扰；模型体积较小，且计算速度快，经过量化压缩后的网络模型仅有13K，远小于当前学术界常用的主流图像超分辨率模型(如多尺度超分辨率架构MDSR、加速的深度CNN超分辨率的网络FSRCNN等)。本申请中提出的通过高度还原压缩图片中的二维 码来提高二维码识别性能的方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述编码图案的处理方法的编码图案的处理装置。图9是根据本申请实施例的一种可选的编码图案的处理装置的示意图，如图9所示，该装置可以包括：第一获取单元901、处理单元903以及交互单元905。
第一获取单元901，用于获取待识别的第一编码图案，其中，第一编码图案是对编码信息进行编码后得到的图案；
处理单元903，用于通过目标模型提高第一编码图案的分辨率，得到第二编码图案，其中，目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式；
交互单元905，用于向终端的编码识别模块提供第二编码图案。
需要说明的是，该实施例中的第一获取单元901可以用于执行本申请实施例中的S202，该实施例中的处理单元903可以用于执行本申请实施例中的S204，该实施例中的交互单元905可以用于执行本申请实施例中的S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相 同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，在获取到待识别的第一编码图案时，通过目标模型提高第一编码图案的分辨率，得到第二编码图案，向终端的编码识别模块提供分辨率更高的第二编码图案，可以解决相关技术中不能准确识别编码图案的技术问题，进而达到提高对编码图案的识别准确率的技术效果。
可选地，处理单元包括：超分模块，用于通过目标模型将第一编码图案的分辨率提高至目标分辨率，得到目标编码图案；修正模块，用于通过目标模型对目标编码图案中子图案的边缘进行修正，得到第二编码图案。
可选地，修正模块还用于对目标编码图案中子图案进行如下处理：通过目标模型识别子图案的特征信息；通过目标模型获取与子图案的特征信息匹配的修正信息；通过目标模型按照与子图案的特征信息匹配的修正信息对子图案的边缘进行修正。
可选地，修正模块还用于：通过目标模型的多个卷积层识别子图案的特征信息，其中，多个卷积层串行连接，多个卷积层中任意一个卷积层的输出用于作为串行连接在该卷积层之后的至少一个卷积层的输入。
可选地，本申请的装置还可包括：第二获取单元，用于通过目标模型提高第一编码图案的分辨率之前，获取多组训练图像，其中，每组训练图像包括一张第三编码图案和一张第四编码图案；第一训练单元，用于使用多组训练图像中的训练图像对原始模型进行训练；确定单元，用于在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案相匹配的情况下，将训练后的原始模型作为目标模型，其中，第五编码图案是对第六编码图案的分辨率进行降低处理后得到的，第五编码图案与第三编码图案采用相同的编码方式；第二训练单元，用于在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案不匹配的情况下，继续使用多组训练图像中的训练图像对原始模型进行训练，以调整原始模型中的参数，直至将第五编码图案作为训练后的原始模型的输入时原始模型输出的编码图像与第六编码图案相匹配。
可选地，第一训练单元还可用于：将第三编码图案中像素点的灰度值作为原始模型的输入，将第四编码图案作为原始模型的预计输出，以初始化原始模型中的参数，其中，原始模型包括多个卷积层，多个卷积层的第一个卷积层的输入为第三编码图案中像素点的灰度值，多个卷积层中的第i个卷积层的输出为第i-1个卷积层的输出与第i个卷积层对第i-1个卷积层的输出的卷积操作得到的结果之和，整数i的取值为2至N，N为多个卷积层的层数，原始模型中的参数包括多个卷积层进行卷积操作所使用的参数，多个卷积层中任意一个卷积层输出的一个类型的特征是该卷积层中的一个卷积核进行卷积操作得到的。
可选地，第一获取单元在获取待终端识别的第一编码图案时，可获取待终端识别的二维码编码图案；获取待终端识别的小程序编码图案；获取待终端识别的一维码编码图案。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的另一个方面，还提供了一种用于实施上述编码图案的处理方法的服务器或终端。
图10是根据本申请实施例的一种终端的结构框图，如图10所示，该终端可以包括：一个或多个(图10中仅示出一个)处理器1001、存储器1003、以及传输装置1005，如图10所示，该终端还可以包括输入输出设备1007。
其中，存储器1003可用于存储软件程序以及模块，如本申请实施例中的编码图案的处理方法和装置对应的程序指令/模块，处理器1001通过运行存储在存储器1003内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的编码图案的处理方法。存储器1003可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1003可进一步包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1005用于经由一个网络接收或者发送数据，还可以用于处 理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1005包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1005为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器1003用于存储应用程序。
处理器1001可以通过传输装置1005调用存储器1003存储的应用程序，以执行下述步骤：
获取待终端识别的第一编码图案，其中，第一编码图案是对编码信息进行编码后得到的图案；
通过目标模型提高第一编码图案的分辨率，得到第二编码图案，其中，目标模型是利用第三编码图案作为输入并利用第四编码图案作为输出进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式；
向终端的编码识别模块提供第二编码图案。
处理器1001还用于执行下述步骤：
获取多组训练图像，其中，每组训练图像包括一张第三编码图案和一张第四编码图案；
使用多组训练图像中的训练图像对原始模型进行训练，以初始化原始模型中的参数；
在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案相匹配的情况下，将训练后的原始模型作为目标模型，其中，第五编码图案是对第六编码图案的分辨率进行降低处理后得到的，第五编码图案与第三编码图案采用相同的编码方式；
在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案不匹配的情况下，继续使用多组训练图像中的训练图像对原始模型进行训练，以调整原始模型中的参数，直至将第五编码图案作为训练后的原始模型的输入时原始模型输出的编码图像与第六编码图案相匹配。
采用本申请实施例，通过“获取待终端识别的第一编码图案，其中，第一 编码图案是对编码信息进行编码后得到的图案；通过目标模型提高第一编码图案的分辨率，得到第二编码图案，其中，目标模型是利用第三编码图案作为输入并利用第四编码图案作为输出进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式；向终端的编码识别模块提供第二编码图案”，在获取到待识别的第一编码图案时，通过目标模型提高第一编码图案的分辨率，得到第二编码图案，向终端的编码识别模块提供分辨率更高的第二编码图案，可以解决相关技术中不能准确识别编码图案的技术问题，进而达到提高对编码图案的识别准确率的技术效果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图10所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，终端还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行编码图案的处理方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取待终端识别的第一编码图案，其中，第一编码图案是对编码信息进行 编码后得到的图案；
通过目标模型提高第一编码图案的分辨率，得到第二编码图案，其中，目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的，第三编码图案是对第四编码图案的分辨率进行降低处理后得到的，第三编码图案与第一编码图案采用相同的编码方式；
向终端的编码识别模块提供第二编码图案。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
获取多组训练图像，其中，每组训练图像包括一张第三编码图案和一张第四编码图案；
使用多组训练图像中的训练图像对原始模型进行训练，以初始化原始模型中的参数；
在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案相匹配的情况下，将训练后的原始模型作为目标模型，其中，第五编码图案是对第六编码图案的分辨率进行降低处理后得到的，第五编码图案与第三编码图案采用相同的编码方式；
在将第五编码图案作为训练后的原始模型的输入，且原始模型输出的编码图像与第六编码图案不匹配的情况下，继续使用多组训练图像中的训练图像对原始模型进行训练，以调整原始模型中的参数，直至将第五编码图案作为训练后的原始模型的输入时原始模型输出的编码图像与第六编码图案相匹配。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样 的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (16)

  1. 一种编码图案的处理方法，其特征在于，包括：
    电子设备获取待终端识别的第一编码图案，其中，所述第一编码图案是对编码信息进行编码后得到的图案；
    所述电子设备通过目标模型提高所述第一编码图案的分辨率，得到第二编码图案，其中，所述目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的，所述第三编码图案是对所述第四编码图案的分辨率进行降低处理后得到的，所述第三编码图案与所述第一编码图案采用相同的编码方式；
    所述电子设备向所述终端的编码识别模块提供所述第二编码图案。
  2. 根据权利要求1所述的方法，其特征在于，所述电子设备通过目标模型提高所述第一编码图案的分辨率，得到第二编码图案包括：
    所述电子设备通过所述目标模型将所述第一编码图案的分辨率提高至目标分辨率，得到目标编码图案；
    所述电子设备通过所述目标模型对所述目标编码图案中子图案的边缘进行修正，得到所述第二编码图案。
  3. 根据权利要求2所述的方法，其特征在于，所述电子设备通过所述目标模型对所述目标编码图案中子图案的边缘进行修正，得到所述第二编码图案包括对所述目标编码图案中的子图案进行如下处理：
    所述电子设备通过所述目标模型识别所述子图案的特征信息；
    所述电子设备通过所述目标模型获取与所述子图案的特征信息匹配的修正信息；
    所述电子设备通过所述目标模型按照与所述子图案的特征信息匹配的修正信息对所述子图案的边缘进行修正。
  4. 根据权利要求3所述的方法，其特征在于，所述电子设备通过所述目标模型识别所述子图案的特征信息包括：
    所述电子设备通过所述目标模型的多个卷积层识别出所述子图案的特征信息，其中，所述多个卷积层串行连接，所述多个卷积层中任意一个卷积层的输出用于作为串行连接在该卷积层之后的至少一个卷积层的输入。
  5. 根据权利要求1至4中任意一项所述的方法，其特征在于，所述目标模 型通过如下方式进行训练：
    所述电子设备获取多组训练图像，其中，每组所述训练图像包括一张所述第三编码图案和一张所述第四编码图案；
    所述电子设备使用所述多组训练图像中的训练图像对原始模型进行训练；
    所述电子设备在将第五编码图案作为训练后的所述原始模型的输入，且所述原始模型输出的编码图像与第六编码图案相匹配的情况下，将训练后的所述原始模型作为所述目标模型，其中，所述第五编码图案是对所述第六编码图案的分辨率进行降低处理后得到的，所述第五编码图案与所述第三编码图案采用相同的编码方式；
    所述电子设备在将所述第五编码图案作为训练后的所述原始模型的输入，且所述原始模型输出的编码图像与所述第六编码图案不匹配的情况下，继续执行所述使用所述多组训练图像中的训练图像对原始模型进行训练的步骤。
  6. 根据权利要求5所述的方法，其特征在于，所述电子设备使用所述多组训练图像中的训练图像对原始模型进行训练包括：
    所述电子设备将所述第三编码图案中像素点的灰度值作为所述原始模型的输入，将所述第四编码图案作为所述原始模型的预计输出，其中，所述原始模型包括多个卷积层，所述多个卷积层的第一个卷积层的输入为所述第三编码图案中像素点的灰度值，所述多个卷积层中的第i个卷积层的输出包括第i-1个卷积层的输出和第i个卷积层对第i-1个卷积层的输出的卷积操作得到的结果，整数i的取值为2至N，N为所述多个卷积层的层数，所述原始模型中的参数包括所述多个卷积层进行卷积操作所使用的参数，所述多个卷积层中任意一个卷积层输出的一个类型的特征是该卷积层中的一个卷积核进行卷积操作得到的。
  7. 根据权利要求1至4中任意一项所述的方法，其特征在于，所述第一编码图案包括以下之一：
    二维码编码图案；
    小程序编码图案；
    一维码编码图案。
  8. 一种编码图案的处理装置，其特征在于，包括：
    第一获取单元，用于获取待终端识别的第一编码图案，其中，所述第一编码图案是对编码信息进行编码后得到的图案；
    处理单元，用于通过目标模型提高所述第一编码图案的分辨率，得到第二编码图案，其中，所述目标模型是利用第三编码图案和预定的第四编码图案进行训练得到的，所述第三编码图案是对所述第四编码图案的分辨率进行降低处理后得到的，所述第三编码图案与所述第一编码图案采用相同的编码方式；
    交互单元，用于向所述终端的编码识别模块提供所述第二编码图案。
  9. 根据权利要求8所述的装置，其特征在于，所述处理单元包括：
    超分模块，用于通过所述目标模型将所述第一编码图案的分辨率提高至目标分辨率，得到目标编码图案；
    修正模块，用于通过所述目标模型对所述目标编码图案中子图案的边缘进行修正，得到所述第二编码图案。
  10. 根据权利要求9所述的装置，其特征在于，所述修正模块还用于对所述目标编码图案中的子图案进行如下处理：
    通过所述目标模型识别所述子图案的特征信息；
    通过所述目标模型获取与所述子图案的特征信息匹配的修正信息；
    通过所述目标模型按照与所述子图案的特征信息匹配的修正信息对所述子图案的边缘进行修正。
  11. 根据权利要求10所述的装置，其特征在于，所述修正模块还用于：
    通过所述目标模型的多个卷积层识别所述子图案的特征信息，其中，所述多个卷积层串行连接，所述多个卷积层中任意一个卷积层的输出用于作为串行连接在该卷积层之后的至少一个卷积层的输入。
  12. 根据权利要求8至11中任意一项所述的装置，其特征在于，所述装置还包括：
    第二获取单元，用于通过目标模型提高所述第一编码图案的分辨率之前，获取多组训练图像，其中，每组所述训练图像包括一张所述第三编码图案和一张所述第四编码图案；
    第一训练单元，用于使用所述多组训练图像中的训练图像对原始模型进行训练；
    确定单元，用于在将第五编码图案作为训练后的所述原始模型的输入，且所述原始模型输出的编码图像与第六编码图案相匹配的情况下，将训练后的所述原始模型作为所述目标模型，其中，所述第五编码图案是对所述第六编码图案的分辨率进行降低处理后得到的，所述第五编码图案与所述第三编码图案采用相同的编码方式；
    第二训练单元，用于在将所述第五编码图案作为训练后的所述原始模型的输入，且所述原始模型输出的编码图像与所述第六编码图案不匹配的情况下，触发所述第一训练单元。
  13. 根据权利要求12所述的装置，其特征在于，所述第一训练单元还用于：
    将所述第三编码图案中像素点的灰度值作为所述原始模型的输入，将所述第四编码图案作为所述原始模型的预计输出，其中，所述原始模型包括多个卷积层，所述多个卷积层的第一个卷积层的输入为所述第三编码图案中像素点的灰度值，所述多个卷积层中的第i个卷积层的输出包括第i-1个卷积层的输出和第i个卷积层对第i-1个卷积层的输出的卷积操作得到的结果，整数i的取值为2至N，N为所述多个卷积层的层数，所述原始模型中的参数包括所述多个卷积层进行卷积操作所使用的参数，所述多个卷积层中任意一个卷积层输出的一个类型的特征是该卷积层中的一个卷积核进行卷积操作得到的。
  14. 一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
  15. 一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
  16. 一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行权利要求1至7任一项中所述的方法。
PCT/CN2019/110282 2018-11-14 2019-10-10 编码图案的处理方法和装置、存储介质、电子装置 WO2020098422A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19885234.5A EP3882822A4 (en) 2018-11-14 2019-10-10 CODED PATTERN PROCESSING PROCESS AND DEVICE, INFORMATION MEDIA AND ELECTRONIC DEVICE
JP2020562183A JP7045483B2 (ja) 2018-11-14 2019-10-10 コーディングパターン処理方法及び装置、電子装置、並びにコンピュータプログラム
US17/080,633 US11507766B2 (en) 2018-11-14 2020-10-26 Method and apparatus for processing encoded pattern, storage medium, and electronic apparatus
US17/968,732 US11790198B2 (en) 2018-11-14 2022-10-18 Method and apparatus for processing encoded pattern, storage medium, and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811363056.8 2018-11-14
CN201811363056.8A CN110147864B (zh) 2018-11-14 2018-11-14 编码图案的处理方法和装置、存储介质、电子装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/080,633 Continuation US11507766B2 (en) 2018-11-14 2020-10-26 Method and apparatus for processing encoded pattern, storage medium, and electronic apparatus

Publications (1)

Publication Number Publication Date
WO2020098422A1 true WO2020098422A1 (zh) 2020-05-22

Family

ID=67588452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/110282 WO2020098422A1 (zh) 2018-11-14 2019-10-10 编码图案的处理方法和装置、存储介质、电子装置

Country Status (5)

Country Link
US (2) US11507766B2 (zh)
EP (1) EP3882822A4 (zh)
JP (1) JP7045483B2 (zh)
CN (1) CN110147864B (zh)
WO (1) WO2020098422A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561815A (zh) * 2020-12-11 2021-03-26 浙江大华技术股份有限公司 一种图像处理方法、装置、存储介质及电子装置
WO2022218438A1 (en) * 2021-04-16 2022-10-20 Shanghai United Imaging Healthcare Co., Ltd. Calibration methods and systems for imaging field

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147864B (zh) 2018-11-14 2022-02-22 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置
CN110782395B (zh) * 2019-10-28 2024-02-09 西安电子科技大学 图像处理方法及装置、电子设备和计算机可读存储介质
CN113141532B (zh) * 2020-01-20 2024-04-05 海信视像科技股份有限公司 图形识别码的识别方法和显示设备
CN112069853A (zh) * 2020-09-16 2020-12-11 福州大学 基于深度学习的二维条码图像超分辨方法
CN112364675B (zh) * 2020-10-28 2022-11-01 三维码（厦门）网络科技有限公司 一种基于三维码和图像识别的离线识读方法及装置
CN113469937A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于管廊视频和二维码检测的管廊异常位置定位方法及系统
CN113660486A (zh) * 2021-07-28 2021-11-16 阿里巴巴（中国）有限公司 图像编码、解码、重建、分析方法、系统及电子设备
CN113538606B (zh) * 2021-08-17 2022-07-22 数坤(北京)网络科技股份有限公司 图像关联方法、装置、计算机可读存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205782A (zh) * 2015-09-06 2015-12-30 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN108022212A (zh) * 2017-11-24 2018-05-11 腾讯科技（深圳）有限公司 高分辨率图片生成方法、生成装置及存储介质
US20180232857A1 (en) * 2015-11-04 2018-08-16 Peking University Shenzhen Graduate School Method and device for super-resolution image reconstruction based on dictionary matching
CN110147864A (zh) * 2018-11-14 2019-08-20 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4232042B2 (ja) * 2005-01-07 2009-03-04 セイコーエプソン株式会社 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
US7617949B2 (en) * 2005-12-16 2009-11-17 Kevin Brown Flow volume limiting device
JP2007281672A (ja) * 2006-04-04 2007-10-25 Fuji Xerox Co Ltd 画像読取装置および画像読取プログラム
JP4830652B2 (ja) * 2006-06-12 2011-12-07 日産自動車株式会社 画像処理装置及び画像処理方法
US7628330B2 (en) * 2006-09-29 2009-12-08 Konica Minolta Systems Laboratory, Inc. Barcode and decreased-resolution reproduction of a document image
JP4553000B2 (ja) * 2007-11-26 2010-09-29 富士ゼロックス株式会社 画像形成装置、画像形成システムおよび画像形成プログラム
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
US20100053166A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Information processing apparatus, and super-resolution achievement method and program
CN101901329A (zh) * 2009-05-25 2010-12-01 汉王科技股份有限公司 一种低分辨率条形码的识别方法和设备
JP5736652B2 (ja) * 2010-03-09 2015-06-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
JP5679791B2 (ja) * 2010-12-14 2015-03-04 キヤノン株式会社 画像投影装置及びその制御方法、プログラム
US9667823B2 (en) * 2011-05-12 2017-05-30 Moon J. Kim Time-varying barcode in an active display
KR101860569B1 (ko) * 2011-09-08 2018-07-03 삼성전자주식회사 문자 및 바코드를 동시에 인식하는 문자 및 바코드 인식 장치 및 그 제어 방법
US8551677B2 (en) * 2011-09-23 2013-10-08 Globalfoundries Inc. Lithographic CD correction by second exposure
US8574795B2 (en) * 2011-09-23 2013-11-05 Globalfoundries Inc. Lithographic CD correction by second exposure
US20130153662A1 (en) * 2011-12-19 2013-06-20 MindTree Limited Barcode Photo-image Processing System
US8915440B2 (en) * 2011-12-23 2014-12-23 Konica Minolta Laboratory U.S.A., Inc. Four dimensional (4D) color barcode for high capacity data encoding and decoding
CN102693409B (zh) * 2012-05-18 2014-04-09 四川大学 一种快速的图像中二维码码制类型识别方法
CN103516952B (zh) * 2012-06-21 2016-12-28 精工爱普生株式会社 图像处理装置、图像处理系统以及打印方法
US10057498B1 (en) * 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
US10453046B2 (en) * 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
US9619665B2 (en) * 2014-07-22 2017-04-11 Cheng-Han KO Method and system for adding dynamic labels to a file and encrypting the file
CN106157244A (zh) * 2016-06-08 2016-11-23 南京航空航天大学 一种基于稀疏表示的QR Code图像超分辨重建方法
CN106790762B (zh) 2017-01-11 2022-05-24 腾讯科技（深圳）有限公司 域名解析方法和装置
CN108629402A (zh) * 2017-03-20 2018-10-09 上海荆虹电子科技有限公司 用于图像处理的方法和装置
US10666929B2 (en) * 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
CN108259997B (zh) * 2018-04-02 2019-08-23 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN109325491B (zh) * 2018-08-16 2023-01-03 腾讯科技（深圳）有限公司 识别码识别方法、装置、计算机设备和存储介质
CN110852951B (zh) * 2019-11-08 2023-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205782A (zh) * 2015-09-06 2015-12-30 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
US20180232857A1 (en) * 2015-11-04 2018-08-16 Peking University Shenzhen Graduate School Method and device for super-resolution image reconstruction based on dictionary matching
CN108022212A (zh) * 2017-11-24 2018-05-11 腾讯科技（深圳）有限公司 高分辨率图片生成方法、生成装置及存储介质
CN110147864A (zh) * 2018-11-14 2019-08-20 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561815A (zh) * 2020-12-11 2021-03-26 浙江大华技术股份有限公司 一种图像处理方法、装置、存储介质及电子装置
CN112561815B (zh) * 2020-12-11 2024-03-05 浙江大华技术股份有限公司 一种图像处理方法、装置、存储介质及电子装置
WO2022218438A1 (en) * 2021-04-16 2022-10-20 Shanghai United Imaging Healthcare Co., Ltd. Calibration methods and systems for imaging field

Also Published As

Publication number Publication date
JP2021521558A (ja) 2021-08-26
EP3882822A1 (en) 2021-09-22
US11507766B2 (en) 2022-11-22
EP3882822A4 (en) 2022-01-05
US11790198B2 (en) 2023-10-17
US20210042488A1 (en) 2021-02-11
JP7045483B2 (ja) 2022-03-31
US20230048075A1 (en) 2023-02-16
CN110147864A (zh) 2019-08-20
CN110147864B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
WO2020098422A1 (zh) 编码图案的处理方法和装置、存储介质、电子装置
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
US20190294931A1 (en) Systems and Methods for Generative Ensemble Networks
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
Kim et al. Multiple level feature-based universal blind image quality assessment model
CN111340820B (zh) 图像分割方法、装置、电子设备及存储介质
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
US11887277B2 (en) Removing compression artifacts from digital images and videos utilizing generative machine-learning models
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN111935484B (zh) 一种视频帧压缩编码方法及装置
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN114359009B (zh) 基于视觉感知的鲁棒图像的水印嵌入方法、水印嵌入网络构建方法、系统及存储介质
US11423597B2 (en) Method and system for removing scene text from images
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
KR20230086998A (ko) 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램
KR20230086999A (ko) 가상 인물 콘텐츠 생성 프로그램을 기록한 기록매체
KR20230086996A (ko) 노이즈 추가 프로세스를 수행하는 컴퓨터 프로그램
CN117597702A (zh) 缩放无关的水印提取
CN112669240B (zh) 高清图像修复方法、装置、电子设备和存储介质
CN112669240A (zh) 高清图像修复方法、装置、电子设备和存储介质
CN116704513B (zh) 文本质量检测方法、装置、计算机设备和存储介质
CN116433501B (zh) 图像处理方法及装置
Kuan-Ting et al. An image-guided network for depth edge enhancement
CN118052714A (zh) 一种分辨率重建模型的训练方法和相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885234

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562183

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019885234

Country of ref document: EP

Effective date: 20210614