WO2020037728A1 - 商品信息确定方法、系统、存储介质和无人售货系统 - Google Patents

商品信息确定方法、系统、存储介质和无人售货系统 Download PDF

Info

Publication number
WO2020037728A1
WO2020037728A1 PCT/CN2018/104843 CN2018104843W WO2020037728A1 WO 2020037728 A1 WO2020037728 A1 WO 2020037728A1 CN 2018104843 W CN2018104843 W CN 2018104843W WO 2020037728 A1 WO2020037728 A1 WO 2020037728A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
product
information
commodity
terminal device
Prior art date
Application number
PCT/CN2018/104843
Other languages
English (en)
French (fr)
Inventor
黄鼎隆
斯科特·马修·罗伯特
傅恺
王海涵
Original Assignee
深圳码隆科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳码隆科技有限公司 filed Critical 深圳码隆科技有限公司
Publication of WO2020037728A1 publication Critical patent/WO2020037728A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Definitions

  • the present disclosure relates to the technical field of unmanned sales, and in particular, to a method, system, storage medium, and unmanned sales system for determining commodity information.
  • Selling goods with no one is a type of commercial automation. It is not limited by time and place. It can save manpower and facilitate transactions. It is a new form of commercial retail. It is also called a 24-hour unmanned smart supermarket.
  • the purpose of the present disclosure includes, for example, providing a method, a system, a storage medium, and an unmanned sales system for determining product information, confirming the final product information by comparing the product image with the shelf image, and providing the accuracy of product identification .
  • an embodiment of the present disclosure provides a method for determining commodity information, including:
  • the embodiment of the present disclosure provides a first possible implementation manner of the first aspect, wherein the identifying the image to obtain the product identification information includes:
  • an embodiment of the present disclosure provides a second possible implementation manner of the first aspect, wherein the obtaining an image of a commodity sent by the first terminal device includes:
  • the images carrying the same product identifier are integrated to obtain an image of the product.
  • the embodiment of the present disclosure provides a third possible implementation manner of the first aspect, wherein the sales status image includes a current product shelf image and a previous product shelf image, and the receiving second terminal device
  • the sales status image sent includes:
  • the embodiment of the present disclosure provides a fourth possible implementation manner of the first aspect, wherein the identifying the image to obtain the product information and image characteristics of the product includes:
  • An image feature of the commodity in the image is determined according to a pre-trained commodity image recognition model.
  • the embodiment of the present disclosure provides a fifth possible implementation manner of the first aspect, wherein the generating commodity information according to the text includes:
  • the embodiment of the present disclosure provides a sixth possible implementation manner of the first aspect, and the preset template includes: a product name, a product type, a production date, a production place, and an ingredient list.
  • the embodiment of the present disclosure provides a seventh possible implementation manner of the first aspect, where the method further includes:
  • the commodity image recognition model is trained based on the image of the commodity.
  • the embodiment of the present disclosure provides an eighth possible implementation manner of the first aspect, wherein the determining the commodity information according to the commodity identification information and the sales situation image, and Updating the commodity information to the first terminal device includes:
  • an embodiment of the present disclosure further provides a product information determination system, including:
  • An image acquisition module configured to acquire an image of a commodity sent by a first terminal device
  • An image recognition module configured to identify the image to obtain commodity identification information, wherein the commodity identification information includes commodity information and image characteristics;
  • An image receiving module configured to receive an image of a sales situation sent by the second terminal device
  • a determining module configured to determine the product information according to the product identification information and the sales status image, and update the product information to the first terminal device, so that the first terminal device is Product information is settled.
  • the embodiment of the present disclosure provides a first possible implementation manner of the second aspect, and the image recognition module is further configured to recognize the image and obtain product information and image characteristics of the product; The product information and the image features are synthesized to obtain product identification information.
  • the image acquisition module is further configured to acquire multiple 360-degree images of the commodity sent by the first terminal device, where , Multiple images of the same kind of the product carry the same product identifier; the images carrying the same product identifier are integrated to obtain an image of the product.
  • the embodiment of the present disclosure provides a third possible implementation manner of the second aspect
  • the sales status image includes a current product shelf image and a previous product shelf image
  • the image receiving module is further configured to Receiving a current product shelf image and a previous product shelf image sent by a second terminal device, where the second terminal device captures a product shelf image when the weight of the product on the shelf changes, and displays the current product shelf The image is compared with the previous product shelf image to obtain the sales situation image.
  • the image recognition module is further configured to identify an image block containing text in the image; and identify the image.
  • the text contained in the block generates product information based on the text; and determines an image feature of the product in the image according to a pre-trained product image recognition model.
  • the image recognition module is further configured to extract from the text contained in the image block according to a preset template. Corresponding text is filled into the preset template to generate the commodity information.
  • the embodiment of the present disclosure provides a sixth possible implementation manner of the second aspect, and the device further includes: an image training module configured to train the commodity image recognition model based on the commodity image.
  • the embodiment of the present disclosure provides a seventh possible implementation manner of the second aspect, and the determining module is further configured to identify image features in the sales status image; and the sales status image The image features in the image are compared with the image features in the product identification information. When the comparison result is within a preset error range, the product information in the product identification information is updated to the first terminal device. .
  • an embodiment of the present disclosure further provides a computer-readable storage medium having a computer-executable non-volatile program code that causes the computer to execute the method for determining commodity information as described above.
  • an embodiment of the present disclosure further provides an unmanned sales system, including a hardware device, a first terminal, a second terminal, and an unmanned sales shelf, as described above, for the method for determining product information, the first terminal and The second terminals are respectively connected to the hardware devices, and the second terminals are disposed on the unmanned shelves.
  • Embodiments of the present disclosure provide a method, a system, a storage medium, and an unmanned sales system for determining commodity information, including obtaining an image of a commodity sent by a first terminal device; identifying the image to obtain commodity identification information, where the commodity identification information includes Commodity information and image characteristics; receiving a sales status image sent by a second terminal device; determining commodity information according to the product identification information and the sales status image, and updating the commodity information to the first terminal device, so that the first terminal device The information is used for settlement, identifying the product identification information in the product image, and obtaining the sales status image. By comparing the product image and the shelf image, the final product information is confirmed and the accuracy of the product identification is provided;
  • FIG. 1 is a flowchart of a method for determining commodity information according to an embodiment of the present disclosure
  • FIG. 2 is a functional module diagram of a commodity information determination system according to an embodiment of the present disclosure.
  • a method, a system, a storage medium, and an unmanned sales system for determining product information provided by the embodiments of the present disclosure can confirm the final product information by comparing the product image and the shelf image, and provide the accuracy of product identification.
  • FIG. 1 is a flowchart of a method for determining commodity information according to an embodiment of the present disclosure.
  • the method for determining product information includes the following steps:
  • Step S110 Acquire an image of a commodity sent by the first terminal device
  • Step S120 identify the image to obtain product identification information, where the product identification information includes product information and image characteristics;
  • Step S130 Receive a sales status image sent by the second terminal device
  • Step S140 Determine the commodity information according to the commodity identification information and the sales status image, and update the commodity information to the first terminal device, so that the first terminal device performs settlement according to the commodity information.
  • the product identification information in the product image is identified, and the sales status image is obtained at the same time.
  • the final product information is confirmed, and the accuracy of the product identification is provided;
  • step S120 in the above embodiment includes:
  • Step S210 identify the image, obtain the product information and image characteristics of the product
  • Step S220 Combining the commodity information and the image features to obtain commodity identification information.
  • step S110 in the above embodiment includes:
  • Step S310 Acquire multiple 360-degree images of the product sent by the first terminal device, where multiple images of the same type of product carry the same product identifier;
  • step S320 the images carrying the same product identifier are integrated to obtain an image of the product.
  • Step S130 may also be implemented by the following steps, including:
  • Step S410 Receive the current product shelf image and the previous product shelf image sent by the second terminal device, where the second terminal device captures the product shelf image when the weight of the product on the shelf changes.
  • step S420 the current product shelf image is compared with the previous product shelf image to obtain an image of the sales situation.
  • the second terminal device takes a picture when the weight changes, that is, the current product shelf image and the previous product shelf image are taken when the product on the shelf has a weight difference, and the current product is captured.
  • the shelf image is compared with the previous product shelf image to obtain an image of the sales status, even if the weight of the shelf changes.
  • step S210 includes:
  • Step S510 identifying an image block containing text in the image
  • Step S520 identify the characters contained in the image block, and generate product information according to the characters
  • Step S530 Determine the image features of the commodities in the image according to a pre-trained commodity image recognition model.
  • the image block containing the text is recognized from the product image, and then the text is recognized from the image block to generate the product information from the text.
  • the Image features are recognized from the product image, and then the text is recognized from the image block to generate the product information from the text.
  • generating the product information from the text in step S520 includes:
  • step S610 according to the preset template, the corresponding text is extracted from the text contained in the image block and filled into the preset template to generate product information.
  • the preset template includes items such as product name, product type, production date, place of origin, and ingredient list, and the recognized text is filled into corresponding items in the template according to the items in the preset template to generate product information;
  • the above method further includes:
  • step S150 a commodity image recognition model is trained based on the commodity image.
  • a commodity image recognition model is trained based on multiple omnidirectionally merged commodity images as samples;
  • step S140 includes:
  • Step S710 identifying image features in the sales status image
  • Step S720 Compare the image features in the sales status image with the image features in the product identification information. When the comparison result is within a preset error range, update the product information in the product identification information to the first terminal device. .
  • an embodiment of the present disclosure further provides a product information determination system, including:
  • An image acquisition module configured to acquire an image of a commodity sent by a first terminal device
  • An image recognition module configured to recognize an image and obtain product identification information, where the product identification information includes product information and image characteristics;
  • An image receiving module configured to receive an image of a sales situation sent by the second terminal device
  • the determining module is configured to determine the commodity information according to the commodity identification information and the sales status image, and update the commodity information to the first terminal device, so that the first terminal device performs settlement according to the commodity information.
  • the image recognition module is further configured to recognize the image, obtain product information and image features of the product, and combine the product information and the image feature to obtain product identification information.
  • the image acquisition module is further configured to acquire multiple images of the product in 360 degrees from the first terminal device, where multiple images of the same kind of products carry the same product identifier;
  • the image of the product identification is integrated to obtain the image of the product.
  • the sales status image includes a current product shelf image and a previous product shelf image
  • the image receiving module is further configured to receive a current product shelf image and a previous product shelf image sent by a second terminal device, wherein the first When the terminal device perceives a change in the weight of the product on the shelf, it captures a product shelf image; compares the current product shelf image with the previous product shelf image to obtain the sales status image.
  • the image recognition module is further configured to identify an image block containing text in the image; identify the text contained in the image block, and generate product information based on the text; and based on a pre-trained product image
  • the recognition model determines image features of the goods in the image.
  • the image recognition module is further configured to extract corresponding text from the text contained in the image block according to a preset template and fill it into the preset template to generate the product information.
  • the device further includes an image training module configured to train the commodity image recognition model based on the commodity image.
  • the determination module is further configured to identify image features in the sales status image; compare the image features in the sales status image with the image features in the product identification information, and when the comparison result is in the When the preset error range is within, the commodity information in the commodity identification information is updated to the first terminal device.
  • an embodiment of the present disclosure further provides an unmanned sales system, including a hardware device, a first terminal device, a second terminal device, and an unmanned sales shelf, as described above, for the method for determining product information, the first terminal device, and The second terminal devices are respectively connected to the hardware devices, and the second terminal devices are arranged on unmanned shelves.
  • the first terminal device includes a device such as a visual recognition type unmanned vending machine and a visual recognition type unmanned vending settlement machine
  • the second terminal device includes a device having a shooting function such as a video camera, a camera, etc .;
  • the unmanned sales system provided by the embodiment of the present disclosure has the same technical characteristics as the method for determining product information provided by the foregoing embodiment, so it can also solve the same technical problems and achieve the same technical effect.
  • the computer program product of the method and system for determining commodity information provided by the embodiments of the present disclosure includes a computer-readable storage medium storing program code, and the program code includes instructions that can be configured to execute the method described in the foregoing method embodiments. For specific implementation, refer to the method embodiments, and details are not described herein again.
  • the terms “installation”, “connected”, and “connected” should be understood in a broad sense unless otherwise specified and limited. For example, they may be fixed connections or detachable connections. , Or integrally connected; it can be mechanical or electrical; it can be directly connected, or it can be indirectly connected through an intermediate medium, or it can be the internal communication of two elements.
  • the specific meanings of the above terms in the present disclosure may be understood on a case-by-case basis.
  • the functions are implemented in the form of software functional units and sold or used as independent products, they can be stored in a computer-readable storage medium.
  • the technical solution of the present disclosure is essentially a part that contributes to the existing technology or a part of the technical solution may be embodied in the form of a software product.
  • the computer software product is stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to perform all or part of the steps of the method described in various embodiments of the present disclosure.
  • the foregoing storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks and other media that can store program codes .
  • An embodiment of the present disclosure further provides an electronic device including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • the processor executes the computer program, the steps of the method for determining the commodity information provided in the foregoing embodiment are implemented. .
  • An embodiment of the present disclosure further provides a computer-readable storage medium.
  • a computer program is stored on the computer-readable storage medium.
  • the steps of the method for determining product information of the foregoing embodiment are performed.
  • Embodiments of the present disclosure provide a method, a system, a storage medium, and an unmanned sales system for determining product information.
  • the product information is determined according to the product identification information and the sales status image, and the product information is updated to the first terminal device.
  • the first terminal device performs settlement according to the commodity information, recognizes the commodity identification information in the commodity image, and simultaneously obtains the sales status image. By comparing the commodity image and the shelf image, the final commodity information is confirmed, and the accuracy of the commodity identification is provided.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种商品信息确定方法、系统、存储介质和无人售货系统，涉及无人售货技术领域，包括获取第一终端设备发送的商品的图像（S110）；识别图像，得到商品识别信息，其中，商品识别信息包括商品信息和图像特征（S120）；接收第二终端设备发送的售货状况图像（S130）；根据商品识别信息和售货状况图像确定商品信息，并将商品信息更新至第一终端设备，以使第一终端设备根据商品信息进行结算（S140），通过商品图像和货架图像的比对，确认最终商品信息，提供商品识别的准确性。

Description

商品信息确定方法、系统、存储介质和无人售货系统
相关申请的交叉引用
本公开要求于2018年08月21日提交中国专利局的申请号为201810959045.X名称为“商品信息确定方法、系统和无人售货系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及无人售货技术领域，尤其是涉及一种商品信息确定方法、系统、存储介质和无人售货系统。
背景技术
随无人售货是商业自动化的一种，它不受时间、地点的限制，能节省人力、方便交易，是一种全新的商业零售形式，又被称为24小时无人智能超市。
现有的无人售货超市对售货商品信息的识别方法较为繁琐，且识别结果存在较大误差，并不准确。
发明内容
有鉴于此，本公开的目的包括，例如，提供商品信息确定方法、系统、存储介质和无人售货系统，通过商品图像和货架图像的比对，确认最终商品信息，提供商品识别的准确性。
第一方面，本公开实施例提供了一种商品信息确定方法，包括：
获取第一终端设备发送的商品的图像；
识别所述图像，得到商品识别信息，其中，所述商品识别信息包括商品信息和图像特征；
接收第二终端设备发送的售货状况图像；
根据所述商品识别信息和所述售货状况图像确定所述商品信息，并将所述商品信息更新至所述第一终端设备，以使所述第一终端设备根据所述商品信息进行结算。
结合第一方面，本公开实施例提供了第一方面的第一种可能的实施方式，其中，所述识别所述图像，得到商品识别信息包括：
识别所述图像，获得所述商品的商品信息和与图像特征；
将所述商品信息和所述图像特征进行合成，得到商品识别信息。
结合第一方面，本公开实施例提供了第一方面的第二种可能的实施方式，其中，所述获取第一终端设备发送的商品的图像包括：
获取第一终端设备发送的所述商品360度全方位的多张图像，其中，同一种类的所述 商品的多张图像携带有相同的商品标识；
将携带有相同的所述商品标识的图像进行整合，得到所述商品的图像。
结合第一方面，本公开实施例提供了第一方面的第三种可能的实施方式，其中，所述售货状态图像包括当前商品货架图像和前一商品货架图像，所述接收第二终端设备发送的售货状况图像包括：
接收第二终端设备发送的当前商品货架图像和前一商品货架图像，其中，所述第二终端设备在感知到货架上商品重量发生变化的情况下，拍摄商品货架图像；
将所述当前商品货架图像和所述前一商品货架图像进行比对，得到所述售货状况图像。
结合第一方面，本公开实施例提供了第一方面的第四种可能的实施方式，其中，所述识别所述图像，获得所述商品的商品信息和与图像特征包括：
识别出所述图像中包含文字的图像区块；
识别出所述图像区块中包含的所述文字，根据所述文字生成商品信息；
根据预先训练的商品图像识别模型确定所述图像中所述商品的图像特征。
结合第一方面，本公开实施例提供了第一方面的第五种可能的实施方式，其中，所述根据所述文字生成商品信息包括：
根据预设模板从所述图像区块包含的所述文字中，提取相应的文字填写到所述预设模板中，生成所述商品信息。
结合第一方面，本公开实施例提供了第一方面的第六种可能的实施方式，所述预设模板包括：商品名称、商品类型、生产日期、产地、配料表。
结合第一方面，本公开实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：
根据所述商品的图像训练出所述商品图像识别模型。
结合第一方面，本公开实施例提供了第一方面的第八种可能的实施方式，其中，所述根据所述商品识别信息和所述售货状况图像确定所述商品信息，并将所述商品信息更新至所述第一终端设备包括：
识别所述售货状态图像中的图像特征；
将所述售货状态图像中的图像特征与所述商品识别信息中的图像特征进行比对，当比对结果在预设误差范围内时，将所述商品识别信息中的所述商品信息更新至所述第一终端设备。
第二方面，本公开实施例还提供一种商品信息确定系统，包括：
图像获取模块，配置成获取第一终端设备发送的商品的图像；
图像识别模块，配置成识别所述图像，得到商品识别信息，其中，所述商品识别信息 包括商品信息和图像特征；
图像接收模块，配置成接收第二终端设备发送的售货状况图像；
确定模块，配置成根据所述商品识别信息和所述售货状况图像确定所述商品信息，并将所述商品信息更新至所述第一终端设备，以使所述第一终端设备根据所述商品信息进行结算。
结合第二方面，本公开实施例提供了第二方面的第一种可能的实施方式，所述图像识别模块，还配置成识别所述图像，获得所述商品的商品信息和与图像特征；将所述商品信息和所述图像特征进行合成，得到商品识别信息。
结合第二方面，本公开实施例提供了第二方面的第二种可能的实施方式，图像获取模块，还配置成获取第一终端设备发送的所述商品360度全方位的多张图像，其中，同一种类的所述商品的多张图像携带有相同的商品标识；将携带有相同的所述商品标识的图像进行整合，得到所述商品的图像。
结合第二方面，本公开实施例提供了第二方面的第三种可能的实施方式，所述售货状态图像包括当前商品货架图像和前一商品货架图像，所述图像接收模块，还配置成接收第二终端设备发送的当前商品货架图像和前一商品货架图像，其中，所述第二终端设备在感知到货架上商品重量发生变化的情况下，拍摄商品货架图像；将所述当前商品货架图像和所述前一商品货架图像进行比对，得到所述售货状况图像。
结合第二方面，本公开实施例提供了第二方面的第四种可能的实施方式，所述图像识别模块，还配置成识别出所述图像中包含文字的图像区块；识别出所述图像区块中包含的所述文字，根据所述文字生成商品信息；根据预先训练的商品图像识别模型确定所述图像中所述商品的图像特征。
结合第二方面，本公开实施例提供了第二方面的第五种可能的实施方式，所述图像识别模块，还配置成根据预设模板从所述图像区块包含的所述文字中，提取相应的文字填写到所述预设模板中，生成所述商品信息。
结合第二方面，本公开实施例提供了第二方面的第六种可能的实施方式，所述装置还包括：图像训练模块，配置成根据所述商品的图像训练出所述商品图像识别模型。
结合第二方面，本公开实施例提供了第二方面的第七种可能的实施方式，所述确定模块，还配置成识别所述售货状态图像中的图像特征；将所述售货状态图像中的图像特征与所述商品识别信息中的图像特征进行比对，当比对结果在预设误差范围内时，将所述商品识别信息中的所述商品信息更新至所述第一终端设备。
第三方面，本公开实施例还提供一种具有计算机可执行的非易失程序代码的计算机可读储存介质，所述程序代码使所述计算机执行如上所述的商品信息确定方法。
第四方面，本公开实施例还提供一种无人售货系统，包括如上所述的商品信息确定方法的硬件设备、第一终端、第二终端和无人售货架，所述第一终端和所述第二终端分别与所述硬件设备相连接，所述第二终端设置在所述无人售货架上。
本公开实施例提供了一种商品信息确定方法、系统、存储介质和无人售货系统，包括获取第一终端设备发送的商品的图像；识别图像，得到商品识别信息，其中，商品识别信息包括商品信息和图像特征；接收第二终端设备发送的售货状况图像；根据商品识别信息和售货状况图像确定商品信息，并将商品信息更新至第一终端设备，以使第一终端设备根据商品信息进行结算，识别商品图像中的商品识别信息，同时获取售货状况图像，通过商品图像和货架图像的比对，确认最终商品信息，提供商品识别的准确性；
本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的商品信息确定方法流程图；
图2为本公开实施例提供的商品信息确定系统功能模块图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
现有的无人售货超市对售货商品信息的识别方法较为繁琐，且识别结果存在较大误差，并不准确。
基于此，本公开实施例提供的一种商品信息确定方法、系统、存储介质和无人售货系统，可以通过商品图像和货架图像的比对，确认最终商品信息，提供商品识别的准确性。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种商品信息确定方法进 行详细介绍；
图1为本公开实施例提供的商品信息确定方法流程图。
参照图1，商品信息确定方法包括以下步骤：
步骤S110，获取第一终端设备发送的商品的图像；
步骤S120，识别图像，得到商品识别信息，其中，商品识别信息包括商品信息和图像特征；
步骤S130，接收第二终端设备发送的售货状况图像；
步骤S140，根据商品识别信息和售货状况图像确定商品信息，并将商品信息更新至第一终端设备，以使第一终端设备根据商品信息进行结算。
具体地，识别商品图像中的商品识别信息，同时获取售货状况图像，通过商品图像和货架图像的比对，确认最终商品信息，提供商品识别的准确性；
进一步的，上述实施例中的步骤S120包括：
步骤S210，识别图像，获得商品的商品信息和与图像特征；
步骤S220，将商品信息和图像特征进行合成，得到商品识别信息。
这里，通过识别商品图像中的商品信息和图像特征，并将上述两种商品信息和图像特征进行合成，得到商品识别信息，与单纯从商品图像中提取商品识别信息相比，提高识别结果的可靠性；
进一步的，上述实施例中的步骤S110包括：
步骤S310，获取第一终端设备发送的商品360度全方位的多张图像，其中，同一种类的商品的多张图像携带有相同的商品标识；
步骤S320，将携带有相同的商品标识的图像进行整合，得到商品的图像。
其中，为了进一步增加商品识别信息结果的精确度，获取商品全方位的多张图像，并将各个方位的多张图像合并得到商品图像，再从合并后的商品图像中识别图像特征和商品信息；
进一步的，售货状态图像包括当前商品货架图像和前一商品货架图像，步骤S130还可用以下步骤实现，包括：
步骤S410，接收第二终端设备发送的当前商品货架图像和前一商品货架图像，其中，第二终端设备在感知到货架上商品重量发生变化的情况下，拍摄商品货架图像；
步骤S420，将当前商品货架图像和前一商品货架图像进行比对，得到售货状况图像。
需要说明的是，第二终端设备在重量发生变化的情况下进行拍摄，即当前商品货架图像和前一商品货架图像是在货架上商品具有重量的差异的情况下，进行拍摄的，将当前商品货架图像和前一商品货架图像进行比对，得到售货状态图像，即使货架的重量发生变化 的商品的图像；
进一步的，步骤S210包括：
步骤S510，识别出图像中包含文字的图像区块；
步骤S520，识别出图像区块中包含的文字，根据文字生成商品信息；
步骤S530，根据预先训练的商品图像识别模型确定图像中商品的图像特征。
其中，这里，从商品图像中识别出包含有文字的图像区块，再从图像区块中识别文字，将文字生成商品信息，与此同时，根据预先训练的商品图像识别模型确定商品图像中的图像特征；
进一步的，上述实施例中，步骤S520的根据文字生成商品信息包括：
步骤S610，根据预设模板从图像区块包含的文字中，提取相应的文字填写到预设模板中，生成商品信息。
其中，预设模板中包括商品名称、商品类型、生产日期、产地、配料表等项目，按照预设模板中的项目将识别的文字填写到模板的相应项目中，生成商品信息；
进一步的，上述方法还包括：
步骤S150，根据商品的图像训练出商品图像识别模型。
这里，根据多张全方位合并的商品图像作为样本，训练出商品图像识别模型；
进一步的，步骤S140包括：
步骤S710，识别售货状态图像中的图像特征；
步骤S720，将售货状态图像中的图像特征与商品识别信息中的图像特征进行比对，当比对结果在预设误差范围内时，将商品识别信息中的商品信息更新至第一终端设备。
这里，通过上述实施例中的图像识别方法获取售货状态图像中的图像特征，在此不再赘述；
进一步的，如图2所示，本公开实施例还提供一种商品信息确定系统，包括：
图像获取模块，配置成获取第一终端设备发送的商品的图像；
图像识别模块，配置成识别图像，得到商品识别信息，其中，商品识别信息包括商品信息和图像特征；
图像接收模块，配置成接收第二终端设备发送的售货状况图像；
确定模块，配置成根据商品识别信息和售货状况图像确定商品信息，并将商品信息更新至第一终端设备，以使第一终端设备根据商品信息进行结算。
所述图像识别模块，还配置成识别所述图像，获得所述商品的商品信息和与图像特征；将所述商品信息和所述图像特征进行合成，得到商品识别信息。
图像获取模块，还配置成获取第一终端设备发送的所述商品360度全方位的多张图像， 其中，同一种类的所述商品的多张图像携带有相同的商品标识；将携带有相同的所述商品标识的图像进行整合，得到所述商品的图像。
所述售货状态图像包括当前商品货架图像和前一商品货架图像，所述图像接收模块，还配置成接收第二终端设备发送的当前商品货架图像和前一商品货架图像，其中，所述第二终端设备在感知到货架上商品重量发生变化的情况下，拍摄商品货架图像；将所述当前商品货架图像和所述前一商品货架图像进行比对，得到所述售货状况图像。
所述图像识别模块，还配置成识别出所述图像中包含文字的图像区块；识别出所述图像区块中包含的所述文字，根据所述文字生成商品信息；根据预先训练的商品图像识别模型确定所述图像中所述商品的图像特征。
所述图像识别模块，还配置成根据预设模板从所述图像区块包含的所述文字中，提取相应的文字填写到所述预设模板中，生成所述商品信息。
所述装置还包括：图像训练模块，配置成根据所述商品的图像训练出所述商品图像识别模型。
所述确定模块，还配置成识别所述售货状态图像中的图像特征；将所述售货状态图像中的图像特征与所述商品识别信息中的图像特征进行比对，当比对结果在预设误差范围内时，将所述商品识别信息中的所述商品信息更新至所述第一终端设备。
进一步的，本公开实施例还提供一种无人售货系统，包括如上所述的商品信息确定方法的硬件设备、第一终端设备、第二终端设备和无人售货架，第一终端设备和第二终端设备分别与硬件设备相连接，第二终端设备设置在无人售货架上。
这里，第一终端设备包括视觉识别式无人售货机、视觉识别式无人售货结算机等设备，第二终端设备包括具有拍摄摄像功能的设备，如摄像机、照相机等；
本公开实施例提供的无人售货系统，与上述实施例提供的商品信息确定方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本公开实施例所提供的商品信息确定方法、系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可配置成执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本公开实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上 述术语在本公开中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”、“第三”仅配置成描述目的，而不能理解为指示或暗示相对重要性。
本公开实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的商品信息确定方法的步骤。
本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的商品信息确定方法的步骤。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
工业实用性
本公开实施例提供了一种商品信息确定方法、系统、存储介质和无人售货系统，根据商品识别信息和售货状况图像确定商品信息，并将商品信息更新至第一终端设备，以使第一终端设备根据商品信息进行结算，识别商品图像中的商品识别信息，同时获取售货状况图像，通过商品图像和货架图像的比对，确认最终商品信息，提供商品识别的准确性。

Claims (19)

  1. 一种商品信息确定方法，其特征在于，包括：
    获取第一终端设备发送的商品的图像；
    识别所述图像，得到商品识别信息，其中，所述商品识别信息包括商品信息和图像特征；
    接收第二终端设备发送的售货状况图像；
    根据所述商品识别信息和所述售货状况图像确定所述商品信息，并将所述商品信息更新至所述第一终端设备，以使所述第一终端设备根据所述商品信息进行结算。
  2. 根据权利要求1所述的商品信息确定方法，其特征在于，所述识别所述图像，得到商品识别信息包括：
    识别所述图像，获得所述商品的商品信息和与图像特征；
    将所述商品信息和所述图像特征进行合成，得到商品识别信息。
  3. 根据权利要求1-2中任一项所述的商品信息确定方法，其特征在于，所述获取第一终端设备发送的商品的图像包括：
    获取第一终端设备发送的所述商品360度全方位的多张图像，其中，同一种类的所述商品的多张图像携带有相同的商品标识；
    将携带有相同的所述商品标识的图像进行整合，得到所述商品的图像。
  4. 根据权利要求1-3中任一项所述的商品信息确定方法，其特征在于，所述售货状态图像包括当前商品货架图像和前一商品货架图像，所述接收第二终端设备发送的售货状况图像包括：
    接收第二终端设备发送的当前商品货架图像和前一商品货架图像，其中，所述第二终端设备在感知到货架上商品重量发生变化的情况下，拍摄商品货架图像；
    将所述当前商品货架图像和所述前一商品货架图像进行比对，得到所述售货状况图像。
  5. 根据权利要求2-4中任一项所述的商品信息确定方法，其特征在于，所述识别所述图像，获得所述商品的商品信息和与图像特征包括：
    识别出所述图像中包含文字的图像区块；
    识别出所述图像区块中包含的所述文字，根据所述文字生成商品信息；
    根据预先训练的商品图像识别模型确定所述图像中所述商品的图像特征。
  6. 根据权利要求5所述的商品信息确定方法，其特征在于，所述根据所述文字生成商品信息包括：
    根据预设模板从所述图像区块包含的所述文字中，提取相应的文字填写到所述预设模板中，生成所述商品信息。
  7. 根据权利要求6所述的商品信息确定方法，其特征在于，
    所述预设模板包括：商品名称、商品类型、生产日期、产地和配料表中的至少一个。
  8. 根据权利要求5-7中任一项所述的商品信息确定方法，其特征在于，所述方法还包括：
    根据所述商品的图像训练出所述商品图像识别模型。
  9. 根据权利要求1-8中任一项所述的商品信息确定方法，其特征在于，所述根据所述商品识别信息和所述售货状况图像确定所述商品信息，并将所述商品信息更新至所述第一终端设备包括：
    识别所述售货状态图像中的图像特征；
    将所述售货状态图像中的图像特征与所述商品识别信息中的图像特征进行比对，当比对结果在预设误差范围内时，将所述商品识别信息中的所述商品信息更新至所述第一终端设备。
  10. 一种商品信息确定系统，其特征在于，包括：
    图像获取模块，配置成获取第一终端设备发送的商品的图像；
    图像识别模块，配置成识别所述图像，得到商品识别信息，其中，所述商品识别信息包括商品信息和图像特征；
    图像接收模块，配置成接收第二终端设备发送的售货状况图像；
    确定模块，配置成根据所述商品识别信息和所述售货状况图像确定所述商品信息，并将所述商品信息更新至所述第一终端设备，以使所述第一终端设备根据所述商品信息进行结算。
  11. 根据权利要求10所述的商品信息确定装置，其特征在于，
    所述图像识别模块，还配置成识别所述图像，获得所述商品的商品信息和与图像特征；将所述商品信息和所述图像特征进行合成，得到商品识别信息。
  12. 根据权利要求10-11中任一项所述的商品信息确定装置，其特征在于，
    图像获取模块，还配置成获取第一终端设备发送的所述商品360度全方位的多张图像，其中，同一种类的所述商品的多张图像携带有相同的商品标识；将携带有相同的所述商品标识的图像进行整合，得到所述商品的图像。
  13. 根据权利要求10-12中任一项所述的商品信息确定装置，其特征在于，所述售货状态图像包括当前商品货架图像和前一商品货架图像，
    所述图像接收模块，还配置成接收第二终端设备发送的当前商品货架图像和前一商品货架图像，其中，所述第二终端设备在感知到货架上商品重量发生变化的情况下，拍摄商品货架图像；将所述当前商品货架图像和所述前一商品货架图像进行比对，得到所述售货 状况图像。
  14. 根据权利要求11-13中任一项所述的商品信息确定装置，其特征在于，
    所述图像识别模块，还配置成识别出所述图像中包含文字的图像区块；识别出所述图像区块中包含的所述文字，根据所述文字生成商品信息；根据预先训练的商品图像识别模型确定所述图像中所述商品的图像特征。
  15. 根据权利要求14所述的商品信息确定装置，其特征在于，
    所述图像识别模块，还配置成根据预设模板从所述图像区块包含的所述文字中，提取相应的文字填写到所述预设模板中，生成所述商品信息。
  16. 根据权利要求14或15所述的商品信息确定装置，其特征在于，所述装置还包括：
    图像训练模块，配置成根据所述商品的图像训练出所述商品图像识别模型。
  17. 根据权利要求10-16中任一项所述的商品信息确定装置，其特征在于，
    所述确定模块，还配置成识别所述售货状态图像中的图像特征；将所述售货状态图像中的图像特征与所述商品识别信息中的图像特征进行比对，当比对结果在预设误差范围内时，将所述商品识别信息中的所述商品信息更新至所述第一终端设备。
  18. 一种具有计算机可执行的非易失程序代码的计算机可读储存介质，其特征在于，所述程序代码使所述计算机执行如权利要求1-9任一权项所述的商品信息确定方法。第三方面，本公开实施例还提供。
  19. 一种无人售货系统，其特征在于，包括应用如权利要求1-9中任一项所述的商品信息确定方法的硬件设备、第一终端、第二终端和无人售货架，所述第一终端和所述第二终端分别与所述硬件设备相连接，所述第二终端设置在所述无人售货架上。
PCT/CN2018/104843 2018-08-21 2018-09-10 商品信息确定方法、系统、存储介质和无人售货系统 WO2020037728A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810959045.XA CN108986357A (zh) 2018-08-21 2018-08-21 商品信息确定方法、系统和无人售货系统
CN201810959045.X 2018-08-21

Publications (1)

Publication Number Publication Date
WO2020037728A1 true WO2020037728A1 (zh) 2020-02-27

Family

ID=64554275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/104843 WO2020037728A1 (zh) 2018-08-21 2018-09-10 商品信息确定方法、系统、存储介质和无人售货系统

Country Status (2)

Country Link
CN (1) CN108986357A (zh)
WO (1) WO2020037728A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462932A (zh) * 2022-01-12 2022-05-10 合肥美的智能科技有限公司 库存统计方法、无人售货柜、终端设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245594A (zh) * 2019-06-04 2019-09-17 天津大学 一种用于收银系统的商品识别方法
CN110516628A (zh) * 2019-08-29 2019-11-29 上海扩博智能技术有限公司 货架空缺位置商品信息获取方法、系统、设备及存储介质
CN111428698A (zh) * 2020-06-10 2020-07-17 北京云迹科技有限公司 一种模型样本采集方法、更新方法、电子设备及存储介质
CN111985875A (zh) * 2020-08-25 2020-11-24 北京意锐新创科技有限公司 自动贩卖机销售信息的获取方法及装置、自动贩卖机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171172A (zh) * 2017-12-27 2018-06-15 惠州Tcl家电集团有限公司 自助购物方法、自助售卖机及计算机可读存储介质
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108389316A (zh) * 2018-03-02 2018-08-10 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
CN106909946A (zh) * 2017-03-02 2017-06-30 深圳明创自控技术有限公司 一种多模态融合的商品分类系统
CN107358276B (zh) * 2017-07-04 2021-07-09 深圳正品创想科技有限公司 无人售货柜的商品扫描方法及其系统
CN209132890U (zh) * 2017-09-27 2019-07-19 中山市宾哥网络科技有限公司 结算箱
CN107886655A (zh) * 2017-09-28 2018-04-06 陈维龙 应付账单的生成方法、应付账单与已付账单的匹配方法
CN107958252A (zh) * 2017-11-23 2018-04-24 深圳码隆科技有限公司 一种商品识别方法和设备
CN107862775B (zh) * 2017-11-29 2020-07-10 深圳易伙科技有限责任公司 一种基于人工智能的超市商品防盗预警系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171172A (zh) * 2017-12-27 2018-06-15 惠州Tcl家电集团有限公司 自助购物方法、自助售卖机及计算机可读存储介质
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108389316A (zh) * 2018-03-02 2018-08-10 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462932A (zh) * 2022-01-12 2022-05-10 合肥美的智能科技有限公司 库存统计方法、无人售货柜、终端设备及存储介质

Also Published As

Publication number Publication date
CN108986357A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
WO2020037728A1 (zh) 商品信息确定方法、系统、存储介质和无人售货系统
EP3910608B1 (en) Article identification method and system, and electronic device
US9911213B2 (en) Panoramic image stitching using objects
US20140247997A1 (en) Information processing system, information processing method, and computer program product
WO2020037762A1 (zh) 商品信息识别方法和系统
US9171195B1 (en) Recognizing three-dimensional objects
US20170178061A1 (en) Planogram Generation
CN102214343A (zh) 数字销售点分析器
JP7167437B2 (ja) 物品特定装置
US20200301572A1 (en) System for designing and configuring a home improvement installation
CN109147174A (zh) 一种无人售货方法、服务器及无人售货柜
US20200311659A1 (en) Information processing apparatus, information processing method, and program
US20220083960A1 (en) Radio Frequency Identification Scanning Using the Internet of Things
US10891561B2 (en) Image processing for item recognition
TWI712903B (zh) 商品資訊查詢方法和系統
CN111126384A (zh) 基于特征融合的商品分类系统及分类方法
JPWO2016031203A1 (ja) 表示制御装置、および表示制御方法
CN113112335A (zh) 店铺的商品信息处理方法、装置及计算机设备
CN115205589B (zh) 对象识别方法、装置、电子设备及存储介质
US20220237579A1 (en) Commodity recognition system, method, and non-transitory computer readable medium
CN111984815A (zh) 用于人脸识别的底库更新方法、装置、介质和设备
CN113034789B (zh) 服务器装置、控制装置、存储介质、移动店铺以及信息处理系统的工作方法
CN112200711B (zh) 一种水印分类模型的训练方法及系统
CN109857880B (zh) 一种基于模型的数据处理方法、装置及电子设备
WO2021199114A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18930669

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18930669

Country of ref document: EP

Kind code of ref document: A1