WO2019062017A1 - 基于神经网络的商品识别方法、装置、自助收银台 - Google Patents

基于神经网络的商品识别方法、装置、自助收银台 Download PDF

Info

Publication number
WO2019062017A1
WO2019062017A1 PCT/CN2018/077651 CN2018077651W WO2019062017A1 WO 2019062017 A1 WO2019062017 A1 WO 2019062017A1 CN 2018077651 W CN2018077651 W CN 2018077651W WO 2019062017 A1 WO2019062017 A1 WO 2019062017A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
commodity
information
image
product
Prior art date
Application number
PCT/CN2018/077651
Other languages
English (en)
French (fr)
Inventor
陈子林
王良旗
Original Assignee
缤果可为（北京）科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 缤果可为（北京）科技有限公司 filed Critical 缤果可为（北京）科技有限公司
Publication of WO2019062017A1 publication Critical patent/WO2019062017A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F2009/041—Accessories for check-out counters, e.g. dividers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于神经网络的商品识别方法、装置、自助收银台，该方法包括：获得含有待检测商品的图像；将含有待检测商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出待检测商品信息。该方法通过普通摄像头获取商品图像，利用基于神经网络的图像识别算法获取商品信息，无需要借助第三方标识，用户只需将选购商品放至摄像头下获取图像后即可实现识别，使用成本低廉，识别准确性高。

Description

基于神经网络的商品识别方法、装置、自助收银台 技术领域
本发明涉及一种基于神经网络的商品识别方法、装置、自助收银台，属于深度学习神经网络和图像识别领域。
背景技术
现有自助结算场景下商品机器识别主要分为两种：
第一种是基于RFID电子标签((Radio Frequency Identification，又称无线射频识别)识别结算方式。首先在数据库中为每个具有唯一ID的电子标签指定商品对应关系，然后将该电子标签张贴到所有在售的该类商品上。结算时通过读卡器读出电子标签唯一ID，据此ID在数据库中查询该商品的信息，从而完成“识别”商品，并进行结算。此结算方式主要识别对象为RFID电子标签而非商品。需要使用大量的标签，增加使用和纠错成本。识别商品时，读卡器还容易受电磁干扰。
第二种是用户自助将商品上的条码放在扫码器下，通过机器扫码实现商品“识别”。此方法需要用户亲自扫描，容易出现各类扫描误操作，而增加使用成本。比如一件商品多次扫码导致重复计数，商品条码变形后，难以正确扫描等。同时该方法还存在防盗效果差的问题。
发明内容
为解决上述技术问题，本发明提供了一种基于深度学习的基于神经网络的商品识别方法，该方法通过普通摄像头获取商品图像，利用基于神经网络的图像识别算法获取商品信息，无需要借助第三方标识，用户只需将选购商品放至摄像头下获取图像后即可实现识别，使用成本低廉，识别准确性高。
基于神经网络的商品识别方法，包括：
获得含有待检测商品的图像；
将含有待检测商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出待检测商品信息；获得含有待检测商品的图像至少为二维图像；获得含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：
(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像 输入第一神经网络，第一神经网络输出第N商品信息；
(b1)判断第N商品信息是否包含在第一商品信息中：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选地，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；第一图像为待检测商品的正面图像。
可选地，步骤(a1)中还包括称量待检测商品重量的步骤，得到实际称量的商品总重量；步骤(b1)为：(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
可选地，神经网络识别系统包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：
(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b3)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。
可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品数量是否小于等于第一商品信息中的商品数量。
可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品的数量是否小于等于第一商品信息中的商品数量。
可选地，步骤(b1)和步骤(b3)为判断第N商品信息是否与第一商品信息一致；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执 行后续步骤。
可选的，所述基于神经网络的商品识别方法中：
(d3)为：所述步骤(c3)中判断结果为否时，识别所述第一商品信息与所述第N商品信息中差异商品；
(e3)为：获取步骤(d3)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络；
可选地，步骤(b1)和步骤(b3)中第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。
可选地，步骤(b2)和步骤(c3)中预设阈值为0.1g至10kg中的至少一个数值。
可选地，步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量。
可选地，步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
可选地，步骤(b2)和步骤(c3)中反馈提示包括堆叠提示、错误报告中的至少一种。
可选地，含有待检测商品的图像中待检测商品的数量≥1。
可选地，含有待检测商品的图像中待检测商品的数量为1～1000。
可选地，含有待检测商品的图像中待检测商品的种类≥1。
可选地，待检测商品的种类为1～1000。
可选地，基于神经网络的识别系统包括基于区域卷积神经网络的第二神经网络，基于神经网络的识别系统由包括以下步骤的方法得到：
获得每件待检测商品多角度图像的第一图像集；
使用第一图像集训练第二神经网络，得到第一神经网络。
可选地，训练第二神经网络的方法为监督学习方法。
可选地，训练第二神经网络的方法为：
采用监督学习，使用第一图像集训练第二神经网络，得到第三神经网络；
获得待检测商品图像的第二图像集；
用第二图像集训练第三神经网络，得到第一神经网络。可选的，用第二图像集训练所述第三神经网络的过程为无监督学习。
可选地，第二图像集包括经基于神经网络的识别系统输出待检测商品信息的待检测商品的图像。
可选地，第二神经网络对待检测商品的识别准确率为80％以上。
可选地，基于神经网络的商品识别方法，包括步骤：
(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b1)判断第N商品信息是否包含在第一商品信息中。
优选的，所述基于神经网络的商品识别方法，包括步骤：
(c1)步骤(b1)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；
(d1)获取步骤(c1)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。
可选地，基于神经网络的商品识别方法，包括步骤：
(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b3)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
(d3)步骤(c3)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；
(e3)获取步骤(d3)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。
可选的，所述基于神经网络的商品识别方法，包括步骤：
(d3)收集所述步骤(c3)中判断结果为否时，识别所述第一商品信息中的商品；
(e3)获取步骤(d3)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络
可选地，基于神经网络的商品识别方法，包括步骤：
(a2)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；
(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
(c2)收集步骤(b2)中判断结果为否时，识别第一商品信息中的商品；
(d2)获取步骤(c2)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。
可选的，所述基于神经网络的商品识别方法，包括步骤：
(c2)收集所述步骤(b2)中判断结果为否时，识别所述第一商品信息中的商品；
(d2)获取步骤(c2)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络。
可选地，基于神经网络的商品识别方法，包括步骤：
(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b3)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
(d3)收集步骤(c3)中判断结果为否时，识别第一商品信息中的商品；
(e3)获取步骤(d3)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。
根据本发明的又一方面，提供一种基于神经网络的商品识别装置，包括：
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出待检测商品信息和反馈提示；
摄像单元与识别信息单元相连接，识别信息单元与识别判断单元相连接，识别判断单元与显示单元相连接。
可选地，识别信息单元和识别判断单元，用于按前述任一项基于神经网络的商品识别方法进行商品识别和判断。
可选地，基于神经网络的商品识别装置包括载物台，载物台含有重量传感器，用于测量载物台上商品总重量；
重量传感器与识别单元电连接，将载物台上商品的总重量输入识别单元。
根据本发明的又一方面，提供一种自助收银台，自助收银台采用上述任一基于神经网络的商品识别方法进行商品识别。
根据本发明的又一方面，提供一种自助收银台，自助收银台采用上述任一基于神经网络的商品识别装置。
本发明的有益效果包括但不限于：
(1)本发明所提供的基于神经网络的商品识别方法，充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。无需使用现有条码或RFID电子标签进行识别，降低了使用成本。
(2)本发明所提供的基于神经网络的商品识别方法，通过深度学习的可持续性学习，随着使用频率的增加不断提高该方法的识别准确性。
(3)本发明所提供的基于神经网络的商品识别方法，通过普通摄像头抓取商品画面，可实现批量商品的快速检测，大幅降低了商品识别的成本和速度。
(4)本发明所提供的基于神经网络的商品识别方法，可实现自助结算场景下，低成本、高效率的完成商品识别和结算。
(5)本发明所提供的基于神经网络的商品识别装置，通过神经网络识别和多图像比对，实现对识别结果的校正，并利用识别结果所得图像集对神经网络系统进行训练，不断提高其识别准确性。
(6)本发明所提供的自助收银台，可实现用户自主结算，结算效率高，结算结果准确。
附图说明
图1是本发明第一优选实施例中基于神经网络的商品识别方法流程示意框图；
图2是本发明第二优选实施例中基于神经网络的商品识别方法流程示意框图；
图3是本发明第三优选实施例中基于神经网络的商品识别方法流程示意框图；
图4是本发明第四优选实施例中基于神经网络的商品识别方法流程示意框图；
图5是本发明第五优选实施例中基于神经网络的商品识别方法流程示意框图；
图6是本发明第六优选实施例中基于神经网络的商品识别装置结构示意框图；
图7是本发明第七优选实施例中基于神经网络的商品识别方法流程示意框图；
图8是本发明提供基于神经网络的商品识别方法应用于自助收银台的无人便利店的时序示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
参见图1，本发明提供的基于神经网络的商品识别方法，包括：
获得含有待检测商品的图像；
将含有待检测商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出待检测商品信息；
获得含有待检测商品的图像至少为二维图像；
获得含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：
(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b1)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
本发明提供的基于神经网络的商品识别方法主要用于无人值守环境下，自助获取结算商品信息后进行自助购物。该方法充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。当无法获取准确的商品信息是，可以通过反馈提示提示用户，待结算商品是否无法被准确识别的状态，从而仅需通过调整待识别商品即可纠正识别错误，无需反复扫码或多次尝试。此处的反馈提示包括堆叠提示、错误报告中的至少一种。该方法可以用于处理的商品种类和数量不限，例如可以为含有待检测商品的图像中待检测商品的数量≥1。含有待检测商品的图像中待检测商品的数量为1～1000。含有待检测商品的图像中待检测商品的种类≥1。待检测商品的种类为1～1000。判断的商品信息包括商品种类或每种商品的数量。 判断商品种类和/或商品数量是否一致。本发明提供的基于神经网络的商品识别方法，用于无人值守环境下的结算时，仅需使用普通具有网络联网功能的摄像头即可实现对商品的准确识别。完全无需使用RFID标签，成本降低。同时还能避免误操作等导致无法结算的问题。
优选的，第一图像为待检测商品的正面图像。以此作为主要图像进行识别，能提高识别的准确率。
优选的，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4。通过获取多角度图像，能提高神经网络的识别准确性。有利于提高后续识别结果的准确性。
参见图2，优选的，步骤(a1)中还包括称量待检测商品重量的步骤，得到实际称量的商品总重量；步骤(b1)为(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。同时对于所获取的商品信息，还可通过对商品信息中所包含的商品重量进行分析，对所得结果进行校正，从而提高图像识别结果的准确性。
参见图3，优选的，基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；(b3)判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤；(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
通过连用种类和商品信息作为校正参数，能更好对所得结果进行纠正，提高商品的识别准确度。此处的预设阈值可以为0.1g至10kg中的至少一个数值。预设阈值还可以为第一商品信息中重量最小的商品重量。预设阈值还可以为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
优选的，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。
优选的，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品的数量是否小于等于第一商品信息中的商品数量。
优选的，步骤(b1)和步骤(b3)为判断第N商品信息是否与第一商品信息一致；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤。
优选的，步骤(b1)和步骤(b3)中第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。
优选的，基于神经网络的识别系统包括基于区域卷积神经网络的第二神经网络，基于神经网络的识别系统由包括以下步骤的方法得到：获得每件待检测商品多角度图像的第一图像集；使用第一图像集训练第二神经网络，得到第一神经网络。通过使用第二神经网络，能将所得结果用于训练第一神经网络，从而实现深度学习化的自动系统纠错，随着识别商品数量的提高，该神经识别系统的识别准确性自动升高。按现有方法进行即可。以待检测商品的多角度图像进行训练，能提高基于神经网络的识别系统在应对商品被遮挡时的识别准确性。
优选的，训练第二神经网络的方法为监督学习方法。
优选的，训练第二神经网络的方法为：采用监督学习，使用第一图像集训练第二神经网络，得到第三神经网络；获得待检测商品图像的第二图像集；用第二图像集训练第三神经网络，得到第一神经网络。
优选的，第二图像集包括经基于神经网络的识别系统输出的待检测商品信息的待检测商品的图像。
优选的，第二神经网络对待检测商品的识别准确率为80％以上。优选的，第二图像集训练第三神经网络的过程为无监督学习。按现有方法进行即可。
参见图4，优选的，基于神经网络的商品识别方法，包括步骤：
(c1)或(d3)步骤(b1)或(c3)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；
(d1)或(e3)获取步骤(c1)或(d3)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。
通过收集判断结果为否时，第N商品信息中存在的差异商品并获取其图像集，通过以该差异图像集训练第一神经网络，能进一步提高该系统的纠错能力。同时该操作也可以用于如图3所示的方法中。
参见图5，优选的，基于神经网络的商品识别方法，包括步骤：
(c2)或(d3)收集步骤(b2)或(c3)中判断结果为否时，识别第一商品信息中的商品；
(d2)或(e3)获取步骤(c2)或(d3)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。
该步骤也可以用于如图3所示的方法，在此不累述。当检测结果为否时，通过对多次无法识别情况下的第一商品信息进行收集，并将其用于训练第一神经网络，从而提高第一神经网络对无法识别情况的识别能力。
参见图6，本发明提供的基于神经网络的商品识别方法，使用时，待检测商品放置于载物台上，N个摄像头围绕待检测商品环绕设置。通过N个摄像头获取待检测商品各个角度的图像，分别记为P1、P2.....PN。N个摄像头中，位于载物台正上方的摄像头为主摄像头，记为第一摄像头，该摄像头所获取的图像即为第一图像P1。
将P1、P2......PN上传到本地识别服务器或云端识别服务器，对各张图片进行识别，识别出的商品信息分别记为R1、R2....RN，商品信息中包括商品的类别信息和数量信息，其中，主摄像头的识别结果R1为第一商品信息，其他摄像头的识别结果R2......RN分别为第二商品信息......第N商品信息；
以两个摄像头为例，判断R2(第二商品信息)是否包含在R1(第一商品信息)中；
如果判断结果为是，则将R1作为待检测商品信息输出；
如判断结果为否，则计算R1中商品的总重量，其与实际称量的商品总重量相减所得结果的绝对值作为差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将R1作为待检测商品信息输出，输出商品信息包含商品的类别、数量和价格的商品信息列表；
如判断结果为否，则显示堆叠提示或错误报告信息。
参见图7，本发明的另一方面还提供了一种基于神经网络的商品识别装置包括：
摄像单元100，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元210，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元220，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元300，用于输出待检测商品信息和反馈提示；
摄像单元100与识别信息单元210相连接，识别信息单元210与识别判断单元220相连接，识别判断单元220与显示单元300相连接。上述各单元的实现可以通过在现有各种器件 上设置相应程序实现。
优选的，识别信息单元210和识别判断单元220，用于按如上所述基于神经网络的商品识别方法进行商品识别和判断。
可选地，摄像单元100包括两个普通网络摄像头，两个可调整任意角度的固定器，一台可运行图片上传的持续的计算机，一个高精度重量传感器。主要工作流程为：计算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像上传到远程服务器，远程服务器将识别结果返回。此方案成本极低，工作计算机也只需要最基础配置即可。
可选地，摄像单元100包括2-4个固定镜头高清摄像头，相应数量的可调节角度固定器，一个高精度重量传感器，一台带显存2G以上显卡的计算机。主要工作流程为，算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像在本地识别。
可选地，基于神经网络的商品识别装置可批量检测(低成本方案)，采用多个普通摄像头，从不同角度获得待检测商品的图像。
多个不同角度的摄像头可以解决商品在同一个2D图片中因为摆放角度和物品高度差异产生的遮挡问题。基本上3个摄像头可以实现无死角获取待识别所需信息，合适的摄像头机位情况下，2个摄像头也可以达到较理想效果。
优选的，可选地，摄像单元100包括第一摄像头和第二摄像头；
第一摄像头和第二摄像头分别从不同角度获取商品图像。
可选地，基于神经网络的商品识别装置包括载物台，载物台含有重量传感器，用于测量载物台上商品总重量；
重量传感器与识别单元电连接，将载物台上商品的总重量输入识别单元。
在商品图像识别过程中，待结算商品常因堆叠或极端拍摄角度，导致物体被遮挡或大部分被遮挡，而无法得到足够的细节用准确识别商品。为了准确判断商品内有无堆叠情况，本发明结合重量传感器对图像识别结果进行校正，获取识别结果中的物品重量与识别装置内的重量传感器实际称重，如果不一致，则反馈商品处于堆叠状态。
本发明的又一方面还提供了一种自助收银台，自助收银台采用前述的基于神经网络的商品识别方法进行商品识别。此处的自助既可以是无人值守状态，也可以为在防损员的监督下使用。仅需作到顾客进行结算操作即可。通过采用前述基于神经网络的商品识别方法，顾客能高效、准确的完成计算过程，整个设备成本较低，无需使用电子标签。
本发明的又一方面还提供了一种自助收银台，自助收银台采用前述的基于神经网络的商品识别装置。此处的自助既可以是无人值守状态，也可以为在防损员的监督下使用。仅需作 到顾客进行结算操作即可。
图8示出了本发明通过的基于神经网络的商品识别装置用于自助收银台的无人便利店的一种实施方式的时序示意图。也可以作为本发明提供的自助收银台的实施实例。如图8所示，使用了包含任一前述基于神经网络的商品识别方法的基于神经网络的商品识别装置，顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品放置于自助收银台(也是基于神经网络的商品识别装置中的载物台)上；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头拍摄载物台上的商品，获得商品图片，并将商品图片Base64编码POST到图像识别服务器，进行图像识别；
图像识别的结果(包括所有商品品名、价格、总重量)的信息与载物台实际称量得到的总重量比对，得到差分数据；
当差分数据小于等于预设阈值时，判断为[实际称重与范围重量一致]，则向订单处理接口请求生成订单；
当差分数据大于预设阈值时，判断为[实际称重与范围重量不一致]，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至差分数据小于等于预设阈值，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (26)

  1. 一种基于神经网络的商品识别方法，其特征在于，包括：
    获得含有待检测商品的图像；
    将所述含有待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
    所述获得含有待检测商品的图像至少为二维图像；
    所述获得含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
    所述基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；所述基于神经网络的商品识别方法包括步骤：
    (a1)将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
    (b1)判断所述第N商品信息是否包含在所述第一商品信息中；
    如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
    如判断结果为否，则输出反馈提示。
  2. 根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；
    所述第一图像为所述待检测商品的正面图像。
  3. 根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述步骤(a1)中还包括称量所述待检测商品重量的步骤，得到实际称量的商品总重量；
    所述步骤(b1)为：(b2)计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
    如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
    如判断结果为否，则输出反馈提示。
  4. 根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；所述基于神经网络的商品识别方法包括步骤：
    (a3)将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
    (b3)判断所述第N商品信息是否包含在所述第一商品信息中；
    如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
    如判断结果为否，则执行后续步骤；
    (c3)计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
    如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
    如判断结果为否，则输出反馈提示。
  5. 根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中。
  6. 根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
  7. 根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品的数量是否小于等于所述第一商品信息中的商品数量。
  8. 根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)为判断所述第N商品信息是否与所述第一商品信息一致；
    如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
    如判断结果为否，则执行后续步骤。
  9. 根据权利要求8所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致。
  10. 根据权利要求3或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b2)和所述步骤(c3)中预设阈值为0.1g至10kg中的至少一个数值。
  11. 根据权利要求3或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b2)和所述步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量。
  12. 根据权利要求3或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
  13. 根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，基于神经网络的识别系统包括基于区域卷积神经网络的第二神经网络，所述基于神经网络的识别系统由包括以下步骤的方法得到：
    获得每件所述待检测商品多角度图像的第一图像集；
    使用所述第一图像集训练所述第二神经网络，得到第一神经网络。
  14. 根据权利要求13所述的基于神经网络的商品识别方法，其特征在于，所述训练所述第二神经网络的方法为监督学习方法。
  15. 根据权利要求13所述的基于神经网络的商品识别方法，其特征在于，所述训练所述第二神经网络的方法为：
    采用监督学习，使用第一图像集训练所述第二神经网络，得到第三神经网络；
    获得所述待检测商品图像的第二图像集；
    用第二图像集训练所述第三神经网络，得到第一神经网络。
  16. 根据权利要求15所述的基于神经网络的商品识别方法，其特征在于，所述第二图像集包括经基于神经网络的识别系统输出的所述待检测商品信息的所述待检测商品的图像。
  17. 根据权利要求15所述的基于神经网络的商品识别方法，其特征在于，所述用第二图像集训练所述第三神经网络的过程为无监督学习。
  18. 根据
    Figure PCTCN2018077651-appb-100001
    权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的商品识别方法，包括步骤：
    (c1)所述步骤(b1)中判断结果为否时，识别所述第一商品信息与所述第N商品信息中差异商品；
    (d1)获取步骤(c1)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络。
  19. 根据权利要求4所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的商品识别方法中：
    (d3)为：所述步骤(c3)中判断结果为否时，识别所述第一商品信息与所述第N商品信息中差异商品；
    (e3)为：获取步骤(d3)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络。
  20. 根据权利要求3所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的商品识别方法，包括步骤：
    (c2)收集所述步骤(b2)中判断结果为否时，识别所述第一商品信息中的商品；
    (d2)获取步骤(c2)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络。
  21. 根据权利要求4所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的商品识别方法，包括步骤：
    (d3)收集所述步骤(c3)中判断结果为否时，识别所述第一商品信息中的商品；
    (e3)获取步骤(d3)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络。
  22. 一种基于神经网络的商品识别装置，其特征在于，包括：
    摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
    识别信息单元，用于将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
    识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
    显示单元，用于输出所述待检测商品信息和所述反馈提示；
    所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接。
  23. 根据权利要求22所述的基于神经网络的商品识别装置，其特征在于，所述识别信息单元和所述识别判断单元，用于按权利要求1～21中任一项所述基于神经网络的商品识别方法进行商品识别和判断。
  24. 根据权利要求22所述的基于神经网络的商品识别装置，其特征在于，所述基于神经网络的商品识别装置包括载物台，所述载物台含有重量传感器，用于测量所述载物台上商品的总重量；
    所述重量传感器与所述识别信息单元数据连接。
  25. 一种自助收银台，其特征在于，所述自助收银台采用权利要求1至21任一项所述的基于神经网络的商品识别方法进行商品识别。
  26. 一种自助收银台，其特征在于，所述自助收银台采用权利要求22至24任一项所述 的基于神经网络的商品识别装置。
PCT/CN2018/077651 2017-09-27 2018-02-28 基于神经网络的商品识别方法、装置、自助收银台 WO2019062017A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201710891007 2017-09-27
CN201710891007.0 2017-09-27
CN201810135196.3 2018-02-09
CN201810135196.3A CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台

Publications (1)

Publication Number Publication Date
WO2019062017A1 true WO2019062017A1 (zh) 2019-04-04

Family

ID=62775868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/077651 WO2019062017A1 (zh) 2017-09-27 2018-02-28 基于神经网络的商品识别方法、装置、自助收银台

Country Status (2)

Country Link
CN (6) CN108269369A (zh)
WO (1) WO2019062017A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942050A (zh) * 2019-12-20 2020-03-31 华南理工大学 一种基于图像处理的自动售卖机商品识别系统
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN111368613A (zh) * 2019-05-22 2020-07-03 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类系统、方法、装置以及存储介质
CN114399619A (zh) * 2022-01-14 2022-04-26 南京苏胜天信息科技有限公司 一种机器视觉图像识别系统及其处理方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN109472205B (zh) * 2018-10-09 2021-07-30 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
EP3867886A1 (en) 2018-10-17 2021-08-25 Supersmart Ltd. Imaging used to reconcile cart weight discrepancy
CN111220251A (zh) * 2018-11-26 2020-06-02 重庆小雨点小额贷款有限公司 一种养殖产品的数量确定方法、装置、终端及存储介质
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和系统
CN109684950A (zh) * 2018-12-12 2019-04-26 联想(北京)有限公司 一种处理方法及电子设备
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付系统及自助结账方法
CN109711473A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 物品识别方法、设备和系统
CN109741144B (zh) * 2019-01-04 2021-08-10 南京旷云科技有限公司 商品核验方法、装置、主机及设备
CN109859418A (zh) * 2019-01-23 2019-06-07 王强 一种无人商场的购物结算方法
CN109840503B (zh) * 2019-01-31 2021-02-26 深兰科技（上海）有限公司 一种确定种类信息的方法及装置
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊系统
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
US11429800B2 (en) 2020-05-13 2022-08-30 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Object recognition system and related device
CN111724546A (zh) * 2020-05-20 2020-09-29 安徽谊品弘科技有限公司 一种生鲜超市智能收银台
CN112132105A (zh) * 2020-10-09 2020-12-25 深圳市智百威科技发展有限公司 一种基于商品视觉智能识别的收银方法
CN114550385A (zh) * 2020-11-26 2022-05-27 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、系统及存储介质
CN112700312A (zh) * 2021-03-24 2021-04-23 浙江口碑网络技术有限公司 物品对象的结算方法、服务器、客户端及系统
JP2022149539A (ja) * 2021-03-25 2022-10-07 東芝テック株式会社 情報処理装置、プログラム、および行動分析システム
CN113627393B (zh) * 2021-09-09 2024-03-29 河北工业大学 基于双重神经网络的商品识别方法及智能售货系统
CN114267139A (zh) * 2021-12-13 2022-04-01 湖南省金河计算机科技有限公司 一种基于物联网的智能pos机系统及其控制方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
US20160307072A1 (en) * 2015-04-17 2016-10-20 Nec Laboratories America, Inc. Fine-grained Image Classification by Exploring Bipartite-Graph Labels
US20160342863A1 (en) * 2013-08-14 2016-11-24 Ricoh Co., Ltd. Hybrid Detection Recognition System
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
CN101477729A (zh) * 2008-12-30 2009-07-08 于忠清 自助售饭系统以及该系统的信息处理方法
CN101552911B (zh) * 2009-04-14 2012-09-26 重庆市海普软件产业有限公司 远程户外监控装置及自动监测控制方法
US8615476B2 (en) * 2009-04-15 2013-12-24 University Of Southern California Protecting military perimeters from approaching human and vehicle using biologically realistic neural network
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别系统及方法
JP5554796B2 (ja) * 2011-09-06 2014-07-23 東芝テック株式会社 情報処理装置およびプログラム
CN103093208B (zh) * 2013-01-23 2016-04-13 中国科学技术大学 一种果蔬识别的方法及系统
CN104282094A (zh) * 2013-07-02 2015-01-14 张�杰 一种超市自动化收银装置
CN103424404A (zh) * 2013-08-01 2013-12-04 谢绍鹏 物品的品质检测方法与系统
CN103617681A (zh) * 2013-11-11 2014-03-05 青岛中科英泰商用系统有限公司 具有提醒功能和多种防损措施的超市自助结算方法和设备
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
JP6254895B2 (ja) * 2014-04-18 2017-12-27 東芝テック株式会社 読取装置及び商品販売データ処理装置
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错系统及方法
CN104240411A (zh) * 2014-07-23 2014-12-24 南京工程学院 一种超市散装商品智能购物装置
JP6451274B2 (ja) * 2014-12-10 2019-01-16 カシオ計算機株式会社 商品処理システム、商品処理方法及びプログラム
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置
CN106874296B (zh) * 2015-12-14 2021-06-04 阿里巴巴集团控股有限公司 一种商品的风格识别方法及装置
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN106169135A (zh) * 2016-02-01 2016-11-30 唐超(北京)科技有限公司 自助结账防损校验方法及系统
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
CN106203533B (zh) * 2016-07-26 2019-09-20 厦门大学 基于混合训练的深度学习人脸验证方法
CN106384087A (zh) * 2016-09-05 2017-02-08 大连理工大学 一种基于多层网络人体特征的身份识别方法
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统
JP6165950B1 (ja) * 2016-09-20 2017-07-19 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN106886795B (zh) * 2017-02-17 2021-01-15 北京一维弦科技有限责任公司 基于图像中的显著物体的物体识别方法
CN106960214B (zh) * 2017-02-17 2020-11-20 北京一维弦科技有限责任公司 基于图像的物体识别方法
CN107329925A (zh) * 2017-06-29 2017-11-07 卜涛 一种智能电子秤、应用其的超市计价系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160342863A1 (en) * 2013-08-14 2016-11-24 Ricoh Co., Ltd. Hybrid Detection Recognition System
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
US20160307072A1 (en) * 2015-04-17 2016-10-20 Nec Laboratories America, Inc. Fine-grained Image Classification by Exploring Bipartite-Graph Labels
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368613A (zh) * 2019-05-22 2020-07-03 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
CN111368613B (zh) * 2019-05-22 2023-04-25 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN110942050A (zh) * 2019-12-20 2020-03-31 华南理工大学 一种基于图像处理的自动售卖机商品识别系统
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类系统、方法、装置以及存储介质
CN114399619A (zh) * 2022-01-14 2022-04-26 南京苏胜天信息科技有限公司 一种机器视觉图像识别系统及其处理方法

Also Published As

Publication number Publication date
CN108320404B (zh) 2020-04-03
CN109559454A (zh) 2019-04-02
CN109559457A (zh) 2019-04-02
CN109559457B (zh) 2021-09-21
CN109559454B (zh) 2021-09-21
CN109559458B (zh) 2021-09-21
CN109559458A (zh) 2019-04-02
CN108269369A (zh) 2018-07-10
CN209132890U (zh) 2019-07-19
CN108320404A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
WO2019062017A1 (zh) 基于神经网络的商品识别方法、装置、自助收银台
WO2019062018A1 (zh) 商品自动结算方法、装置、自助收银台
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
WO2019062812A1 (zh) 用于自动结算的人机交互装置及其应用
WO2019144690A1 (zh) 基于影像监测的货品感知系统及货品感知方法
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
US8448859B2 (en) System and method for preventing cashier and customer fraud at retail checkout
US7646887B2 (en) Optical flow for object recognition
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
WO2020042966A1 (zh) 漏扫识别方法、装置、自助收银终端及系统
US10372998B2 (en) Object recognition for bottom of basket detection
US11488126B2 (en) Cashier fraud detecting system and method and product image selection generation for artificial neural network learning related applications
US20220067568A1 (en) Computer vision transaction monitoring
JP7264401B2 (ja) 会計方法、装置及びシステム
JP2015095028A (ja) Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
Shekokar et al. Shop and Go: An innovative approach towards shopping using Deep Learning and Computer Vision
US20190378389A1 (en) System and Method of Detecting a Potential Cashier Fraud
Pietrini et al. Embedded Vision System for Real-Time Shelves Rows Detection for Planogram Compliance Check
CN111931674B (zh) 物品识别管理方法、装置、服务器及可读存储介质
JP2018113067A (ja) Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
TWI710968B (zh) 商品影像辨識與數量監控系統
US20220414587A1 (en) Determining dimensions of an item using point cloud information
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置
JP2021128798A (ja) 情報処理装置、システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18861981

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.08.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18861981

Country of ref document: EP

Kind code of ref document: A1