WO2019119525A1 - 基于图像识别的餐厅自动结账方法 - Google Patents

基于图像识别的餐厅自动结账方法 Download PDF

Info

Publication number
WO2019119525A1
WO2019119525A1 PCT/CN2018/000076 CN2018000076W WO2019119525A1 WO 2019119525 A1 WO2019119525 A1 WO 2019119525A1 CN 2018000076 W CN2018000076 W CN 2018000076W WO 2019119525 A1 WO2019119525 A1 WO 2019119525A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
current
dinner plate
cognitive
planar image
Prior art date
Application number
PCT/CN2018/000076
Other languages
English (en)
French (fr)
Inventor
董霄剑
曾洪庆
姚明
钱超超
Original Assignee
陕西伟景机器人科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 陕西伟景机器人科技有限公司 filed Critical 陕西伟景机器人科技有限公司
Publication of WO2019119525A1 publication Critical patent/WO2019119525A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the invention belongs to the field of machine vision technology, and in particular relates to a restaurant automatic checkout method based on image recognition.
  • the object of the present invention is to overcome the above-mentioned drawbacks mentioned in the prior art, and to provide an image recognition-based restaurant automatic checkout method with high recognition accuracy and high speed.
  • a restaurant automatic checkout method based on image recognition comprising the following steps:
  • the above restaurant automatic checkout method further includes:
  • the above restaurant automatic checkout method further includes:
  • the feature information of the dinner plate includes at least one of a color, a shape, and a size.
  • the capturing the current plate image by the first binocular camera, and acquiring the feature information of each plate in the current plate image includes:
  • At least one of a color, a shape, and a size of each of the dishes is output according to a pre-calibrated information relationship between the coordinates and the image pixels.
  • processing the first planar image and the second planar image by using a binocular vision processing algorithm to establish a three-dimensional coordinate space of the current dinner plate comprises:
  • S3 confirm one or more specific cognitive features corresponding to the cognitive attribute according to the cognitive attribute of the dinner plate;
  • step S6 determining whether the recognition degree of the three-dimensional coordinate space satisfies the accuracy and the error requirement; if satisfied, according to the relationship between the coordinates and the picture pixel, converting the pixel value of each side of the dinner plate into the true length information, Outputting geometric size information of the target object; if not, proceeding to step S7;
  • step S7 Returning to step S2, the generalized cognitive feature is re-determined, and steps S3-S6 are continued.
  • step S4 further includes acquiring a point cloud map of the current dinner plate.
  • the generalized cognitive feature includes one or more of texture, contour, and color; the specific cognitive feature is included in the generalized cognitive feature; and the specific type of the cognitive attribute Includes geometry for colors, outlines, surface textures, and outlines.
  • the method for determining the generalized cognitive feature before the parallax calculation in the step S2 includes: a graphic type, a geometric length of a line constituting the graphic, a color of a different feature area constituting the graphic, a connection relationship of the lines constituting the graphic, The geometric relationship between this graphic and other generalized graphics, and the length proportional relationship of the contours of the constituent graphics.
  • the present invention is directed to a canteen or restaurant that uses different shapes, sizes, and colors of dishes to hold different price dishes, and can realize automatic image shooting of a customer's order plate, which can automatically recognize and automatically calculate the plate image.
  • the total price of the dishes included in the plate, and the pre-adapted customer account information is identified based on the current customer's facial image, and the unit price, quantity, total price, and settlement account are presented on the display device, so that the most accurate, Efficient feature recognition technology to identify and locate the target object has a very broad application prospect.
  • FIG. 1 is a schematic diagram of a usage scenario of a restaurant automatic checkout method based on image recognition according to an embodiment of the present invention.
  • an image recognition-based restaurant automatic checkout method includes the following steps:
  • the characteristic information of each tray is compared with the correspondence between the pre-stored tray characteristic information and the meal or price, and the corresponding dish variety or price is determined, and the total meal price of the current user is summarized.
  • the above restaurant automatic checkout method further includes:
  • the above restaurant automatic checkout method further includes:
  • the feature information of the dinner plate includes at least one of a color, a shape, and a size.
  • the capturing the current plate image by the first binocular camera, and acquiring the feature information of each plate in the current plate image includes:
  • At least one of a color, a shape, and a size of each of the dishes is output according to a pre-calibrated information relationship between the coordinates and the image pixels.
  • processing the first planar image and the second planar image by using a binocular vision processing algorithm to establish a three-dimensional coordinate space of the current dinner plate comprises:
  • S2 performing intelligent recognition on the preprocessed first planar image and the second planar image, determining a generalized cognitive feature before the parallax calculation, and establishing a matching relationship between the first planar image and the second planar image To identify the cognitive attributes of the plate;
  • S3 confirm one or more specific cognitive features corresponding to the cognitive attribute according to the cognitive attribute of the dinner plate;
  • the above automatic checkout method further includes the following steps:
  • step S6 determining whether the recognition degree of the three-dimensional coordinate space satisfies the accuracy and the error requirement; if satisfied, according to the relationship between the coordinates and the picture pixel, converting the pixel value of each side of the dinner plate into the true length information, Outputting geometric size information of the target object; if not, proceeding to step S7;
  • step S7 Returning to step S2, the generalized cognitive feature is re-determined, and steps S3-S6 are continued.
  • step S4 further includes acquiring a point cloud map of the current dinner plate.
  • the generalized cognitive feature includes one or more of texture, contour, and color; the specific cognitive feature is included in the generalized cognitive feature; and the specific type of the cognitive attribute Includes geometry for colors, outlines, surface textures, and outlines.
  • the preprocessing in the step S1 includes filtering, noise reduction, white balance, distortion processing, and radiation variation.
  • the method for determining the generalized cognitive feature before the parallax calculation in the step S2 includes: a graphic type, a geometric length of a line constituting the graphic, a color of a different feature area constituting the graphic, a connection relationship of the lines constituting the graphic, The geometric relationship between this graphic and other generalized graphics, and the length proportional relationship of the contours of the constituent graphics.
  • the biggest innovation of the present invention is that a combination of generalized cognitive features and specific cognitive features is used to identify and locate the target object.
  • the generalized cognitive features include one or more of texture, contour, color; and the specific cognitive features are included within the generalized cognitive features.
  • the specific categories of cognitive attributes include color, outline, surface texture, and geometry of the outline.
  • the specific cognitive feature is an image-based deep learning cognitive feature that identifies a specific category of the target object.
  • the categories herein may include specific objects of various shapes.
  • the present invention is directed to a canteen or restaurant that uses different shapes, sizes, and colors of dishes to hold different price dishes, and can realize automatic image shooting of a customer's order plate, which can automatically recognize and automatically calculate the plate image.
  • the total price of the dishes contained in the plate can display the unit price, quantity and total price on the display device, so that the most accurate and efficient feature recognition technology can be used to identify and locate the target object, which has a very broad application prospect.
  • modules in the devices in the embodiments may be distributed in the devices of the embodiments according to the embodiments, or may be correspondingly changed in one or more devices different from the embodiment.
  • the modules of the above embodiments may be combined into one module, or may be further split into multiple sub-modules.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像识别的餐厅自动结账方法，包括以下步骤：通过第一单目摄像头或第一双目摄像头（20）采集当前餐盘图像，获取当前餐盘图像中每个餐盘的特征信息；将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。该方法针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅，可实现客户点餐餐盘的自动图像拍摄，可对餐盘图像自动识别并自动计算餐盘所含菜品的总价，可将单价、数量及总价呈现在显示装置上。

Description

基于图像识别的餐厅自动结账方法 技术领域
本发明属于机器视觉技术领域，特别涉及一种基于图像识别的餐厅自动结账方法。
背景技术
随着机器识别技术的发展，目前很多领域都应用到了机器视觉认知。传统的机器识别包括机器臂定位、智能车辆导航、规避障碍物、甚至人脸识别、指纹识别等等。然而，所有目前的机器识别系统都存在一个不可避免的缺陷，就是识别速度慢，误差率较高。
当前，随着人民生活水平日益提高，饮食消费观念也逐步改变，外出就餐更趋经常化，选择性增强，对消费质量要求不断提高，市场消费大众性和基本需求性特点表现的更加充分。由于传统的人工计费方式费时费力，不便于管理，结账速度慢，出错概率高又容易造成人群的拥堵。
发明内容
本发明的目的就是克服现有技术中提到的上述弊端，提供一种识别准确率高、速度快的基于图像识别的餐厅自动结账方法。
为达上述目的，本发明采取以下技术方案：
一种基于图像识别的餐厅自动结账方法，包括以下步骤：
通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；
将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。
进一步地，上述餐厅自动结账方法还包括：
通过第二单目摄像头或第二双目摄像头采集当前用户面部图像；
将所述当前用户面部图像与预先存储的用户图像进行比对，确定当前用户的账户信息。
进一步地，上述餐厅自动结账方法还包括：
将当前用户的用餐总价和账户信息显示在屏幕上，接受用户确认。
进一步地，所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。
进一步地，当采用第一双目摄像头获取当前餐盘图像时，所述通过第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息包括：
通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像；
利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间；
根据坐标与图像像素之间的预先标定信息关系，输出每个餐盘的颜色、形状、尺寸中的至少一项。
进一步地，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间包括：
S1：对所述第一平面图像和第二平面图像进行预处理；
S2：对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认餐盘的认知属性；
S3：根据餐盘的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；
S4：根据双目立体成像原理进行视差计算；
S5：结合所述特定认知特征和点云图，建立当前餐盘的三维坐标空间；
进一步地，上述结账方法还包括以下步骤：
S6：判断所述三维坐标空间的识别度是否满足精度和误差要求；如满足，根据坐标与图片像素之间的关系，将图片中每个餐盘边长的像素值转换为真实的长度信息，输出所述目标物体的几何尺寸信息；如不满足，转至步骤S7；
S7：返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。
进一步地，所述步骤S4中还包括获取所述当前餐盘的点云图。
进一步地，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。
进一步地，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。
进一步地，所述步骤S2中确定视差计算前的泛化认知特征的方法包括：图 形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。
本发明相对于现有技术，最大的创新点在于，采用了泛化认知特征和特定认知特征相结合的方式来对目标物体进行识别定位的技术手段。首先，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；而所述特定认知特征包含在所述泛化认知特征之内。所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。所述特定认知特征则是基于图像的深度学习认知特征，辨认出目标物体的具体类别。这里的类别可以包括各种不同形状的具体物体。
综上所述，本发明针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅，可实现客户点餐餐盘的自动图像拍摄，可对餐盘图像自动识别并自动计算餐盘所含菜品的总价，以及根据当前顾客的面部图像识别出预先预先绑定的顾客账户信息，并将单价、数量、总价以及结算账户呈现在显示装置上，因而可以用最准确、高效的特征识别技术来对目标物体进行识别定位，具有非常广阔的应用前景。
附图说明
图1为本发明一具体实施里的基于图像识别的餐厅自动结账方法使用场景示意图。
附图标记说明：显示器10、第一单目摄像头或第一双目摄像头20、第二单目摄像头或第二双目摄像头30。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明一个实施例的基于图像识别的餐厅自动结账方法，包括以下步骤：
通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前 餐盘图像中每个餐盘的特征信息；
将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。
进一步地，上述餐厅自动结账方法还包括：
通过第二单目摄像头或第二双目摄像头采集当前用户面部图像；
将所述当前用户面部图像与预先存储的用户图像进行比对，确定当前用户的账户信息。
进一步地，上述餐厅自动结账方法还包括：
将当前用户的用餐总价和账户信息显示在屏幕上，接受用户确认。
进一步地，所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。
进一步地，当采用第一双目摄像头获取当前餐盘图像时，所述通过第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息包括：
通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像；
利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间；
根据坐标与图像像素之间的预先标定信息关系，输出每个餐盘的颜色、形状、尺寸中的至少一项。
进一步地，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间包括：
S1：对所述第一平面图像和第二平面图像进行预处理；
S2：对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认餐盘的认知属性；
S3：根据餐盘的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；
S4：根据双目立体成像原理进行视差计算；
S5：结合所述特定认知特征和点云图，建立当前餐盘的三维坐标空间；
进一步地，上述自动结账方法还包括以下步骤：
S6：判断所述三维坐标空间的识别度是否满足精度和误差要求；如满足，根据坐标与图片像素之间的关系，将图片中每个餐盘边长的像素值转换为真实的长度信息，输出所述目标物体的几何尺寸信息；如不满足，转至步骤S7；
S7：返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。
进一步地，所述步骤S4中还包括获取所述当前餐盘的点云图。
进一步地，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。
进一步地，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。
进一步地，所述步骤S2中确定视差计算前的泛化认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。
本发明相对于现有技术，最大的创新点在于，采用了泛化认知特征和特定认知特征相结合的方式来对目标物体进行识别定位的技术手段。首先，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；而所述特定认知特征包含在所述泛化认知特征之内。所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。所述特定认知特征则是基于图像的深度学习认知特征，辨认出目标物体的具体类别。这里的类别可以包括各种不同形状的具体物体。
综上所述，本发明针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅，可实现客户点餐餐盘的自动图像拍摄，可对餐盘图像自动识别并自动计算餐盘所含菜品的总价，可将单价、数量及总价呈现在显示装置上，因而可以用最准确、高效的特征识别技术来对目标物体进行识别定位，具有非常广阔的应用前景。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中 部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

  1. 一种基于图像识别的餐厅自动结账方法，其特征在于，包括以下步骤：
    通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；
    将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。
  2. 根据权利要求1所述的餐厅自动结账方法，其特征在于，还包括：
    通过第二单目摄像头或第二双目摄像头采集当前用户面部图像；
    将所述当前用户面部图像与预先存储的用户图像进行比对，确定当前用户的账户信息。
  3. 根据权利要求2所述的餐厅自动结账方法，其特征在于，还包括：
    将当前用户的用餐总价和账户信息显示在屏幕上，接受用户确认。
  4. 根据权利要求1所述的餐厅自动结账方法，其特征在于，所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。
  5. 根据权利要求1所述的餐厅自动结账方法，其特征在于，当采用第一双目摄像头获取当前餐盘图像时，所述通过第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息包括：
    通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像；
    利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间；
    根据坐标与图像像素之间的预先标定信息关系，输出每个餐盘的颜色、形状、尺寸中的至少一项。
  6. 根据权利要求5所述的基餐厅自动结账方法，其特征在于，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间包括：
    S1：对所述第一平面图像和第二平面图像进行预处理；
    S2：对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系， 以辨认餐盘的认知属性；
    S3：根据餐盘的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；
    S4：根据双目立体成像原理进行视差计算；
    S5：结合所述特定认知特征和点云图，建立当前餐盘的三维坐标空间；
  7. 根据权利要求6所述的餐厅自动结账方法，其特征在于，还包括以下步骤：
    S6：判断所述三维坐标空间的识别度是否满足精度和误差要求；如满足，根据坐标与图片像素之间的关系，将图片中每个餐盘边长的像素值转换为真实的长度信息，输出所述目标物体的几何尺寸信息；如不满足，转至步骤S7；
    S7：返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。
  8. 根据权利要求6所述的餐厅自动结账方法，其特征在于，所述步骤S4中还包括获取所述当前餐盘的点云图。
  9. 根据权利要求6所述的餐厅自动结账方法，其特征在于，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。
  10. 根据权利要求6所述的餐厅自动结账方法，其特征在于，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。
PCT/CN2018/000076 2017-12-21 2018-02-24 基于图像识别的餐厅自动结账方法 WO2019119525A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711396798.6A CN107992871B (zh) 2017-12-21 2017-12-21 基于图像识别的餐厅自动结账方法
CN201711396798.6 2017-12-21

Publications (1)

Publication Number Publication Date
WO2019119525A1 true WO2019119525A1 (zh) 2019-06-27

Family

ID=62038104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/000076 WO2019119525A1 (zh) 2017-12-21 2018-02-24 基于图像识别的餐厅自动结账方法

Country Status (2)

Country Link
CN (1) CN107992871B (zh)
WO (1) WO2019119525A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795184A (zh) * 2019-09-25 2020-02-14 口碑(上海)信息技术有限公司 信息处理方法及菜单页面的展示方法、装置及系统
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统
CN111383138A (zh) * 2020-03-06 2020-07-07 腾讯科技（深圳）有限公司 餐饮数据处理方法、装置、计算机设备和存储介质
CN112102114A (zh) * 2020-09-17 2020-12-18 中国建设银行股份有限公司 一种社区养老智能餐厅方法、装置及系统
CN112101494A (zh) * 2020-08-28 2020-12-18 广州铁路职业技术学院（广州铁路机械学校） 一种高铁车厢专用id箱式存储的订取餐系统
CN112750052A (zh) * 2019-10-30 2021-05-04 深圳云天励飞技术有限公司 一种食堂场景内的追踪结算方法及系统、相关设备
CN112927103A (zh) * 2021-04-01 2021-06-08 张冰锐 一种用于快餐行业的作业方法
CN113259560A (zh) * 2021-05-12 2021-08-13 广州市大唐智讯电子技术有限公司 一种菜品识别无人收银机的图像采集装置
CN114550388A (zh) * 2022-02-09 2022-05-27 深圳进化动力数码科技有限公司 一种智能菜品快速识别后自动结算设备及其识别方法
CN114627279A (zh) * 2022-05-17 2022-06-14 山东微亮联动网络科技有限公司 一种快餐菜品定位方法
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146455B (zh) * 2018-07-27 2021-07-30 安徽豆智智能装备制造有限公司 一种基于图像识别的自助点餐结算系统的点餐方法
CN111080493B (zh) * 2018-10-18 2023-09-05 杭州海康威视数字技术股份有限公司 一种菜品信息识别方法、装置及菜品自助结算系统
CN109615358B (zh) * 2018-11-01 2020-11-03 北京伟景智能科技有限公司 一种基于深度学习图像识别的餐厅自动结算方法及系统
US11562338B2 (en) * 2018-12-28 2023-01-24 Datalogic Ip Tech S.R.L. Automated point of sale systems and methods
CN109377420A (zh) * 2019-01-16 2019-02-22 深兰人工智能芯片研究院（江苏）有限公司 一种点餐校验方法、设备及系统
CN111597862A (zh) * 2019-02-21 2020-08-28 杭州海康威视数字技术股份有限公司 一种菜品类别识别方法、装置及电子设备
CN109978722A (zh) * 2019-04-01 2019-07-05 唐山哈船科技有限公司 一种用于邮轮付费餐厅的顾客选餐数据采集共享系统
CN111046713B (zh) * 2019-04-17 2020-11-13 南京梵鼎信息技术有限公司 自动化对象辨识装置
CN110263648A (zh) * 2019-05-21 2019-09-20 深圳市梵高控股有限公司 食物的结算方法、装置和计算机可读存储介质
CN110415463A (zh) * 2019-07-25 2019-11-05 腾讯科技（深圳）有限公司 一种支付方法及终端
CN110889784A (zh) * 2019-11-20 2020-03-17 西安同瑞恒达电子科技有限公司 无人自助餐厅系统
CN111724548B (zh) * 2020-04-21 2023-11-14 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算系统与结算方法
CN112101928A (zh) * 2020-08-31 2020-12-18 佛山科学技术学院 一种自助餐厅的自动结算方法及系统
CN112353259B (zh) * 2020-10-29 2022-02-15 华帝股份有限公司 基于图像识别和温度感应的烹饪方法
CN114283541A (zh) * 2022-01-24 2022-04-05 广东天地和实业控股集团有限公司 一种学生食堂智慧点餐方法、系统、电子设备及存储介质
CN115346110A (zh) * 2022-10-20 2022-11-15 浪潮通信信息系统有限公司 餐盘识别方法、系统、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200870A (ja) * 1993-12-28 1995-08-04 Sharp Corp 立体視用３次元画像生成装置
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104657920A (zh) * 2015-03-23 2015-05-27 浙江大学 基于机器视觉的食堂点菜系统
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463167B (zh) * 2014-11-20 2017-08-25 中国科学院上海微系统与信息技术研究所 一种餐厅自动结算方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200870A (ja) * 1993-12-28 1995-08-04 Sharp Corp 立体視用３次元画像生成装置
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104657920A (zh) * 2015-03-23 2015-05-27 浙江大学 基于机器视觉的食堂点菜系统
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795184B (zh) * 2019-09-25 2023-12-22 口碑(上海)信息技术有限公司 信息处理方法及菜单页面的展示方法、装置及系统
CN110795184A (zh) * 2019-09-25 2020-02-14 口碑(上海)信息技术有限公司 信息处理方法及菜单页面的展示方法、装置及系统
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统
CN112750052A (zh) * 2019-10-30 2021-05-04 深圳云天励飞技术有限公司 一种食堂场景内的追踪结算方法及系统、相关设备
CN111383138A (zh) * 2020-03-06 2020-07-07 腾讯科技（深圳）有限公司 餐饮数据处理方法、装置、计算机设备和存储介质
CN112101494A (zh) * 2020-08-28 2020-12-18 广州铁路职业技术学院（广州铁路机械学校） 一种高铁车厢专用id箱式存储的订取餐系统
CN112102114A (zh) * 2020-09-17 2020-12-18 中国建设银行股份有限公司 一种社区养老智能餐厅方法、装置及系统
CN112927103A (zh) * 2021-04-01 2021-06-08 张冰锐 一种用于快餐行业的作业方法
CN113259560A (zh) * 2021-05-12 2021-08-13 广州市大唐智讯电子技术有限公司 一种菜品识别无人收银机的图像采集装置
CN114550388A (zh) * 2022-02-09 2022-05-27 深圳进化动力数码科技有限公司 一种智能菜品快速识别后自动结算设备及其识别方法
CN114550388B (zh) * 2022-02-09 2024-02-23 深圳进化动力数码科技有限公司 一种智能菜品快速识别后自动结算设备及其识别方法
CN114627279A (zh) * 2022-05-17 2022-06-14 山东微亮联动网络科技有限公司 一种快餐菜品定位方法
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Also Published As

Publication number Publication date
CN107992871A (zh) 2018-05-04
CN107992871B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
WO2019119525A1 (zh) 基于图像识别的餐厅自动结账方法
TWI746674B (zh) 識別圖像中物件的類型預測方法、裝置及電子設備
WO2018126654A1 (zh) 显示系统和用于显示面板的驱动方法
US11375922B2 (en) Body measurement device and method for controlling the same
Whelan et al. Reconstructing scenes with mirror and glass surfaces.
CN105023249B (zh) 基于光场的高光图像修复方法及装置
CN103679173B (zh) 图像显著区域检测方法
CN107992820A (zh) 基于双目视觉的货柜自助售货方法
US20120069007A1 (en) Method for Enhancing Depth Maps
CN109215085B (zh) 一种利用计算机视觉与图像识别的物品统计方法
US20210125398A1 (en) Method and system for estimating the geometry of a scene
CN112037440A (zh) 一种基于机器学习的智能结算系统及结算方法
US10909709B2 (en) Body measurement device and method for controlling the same
US20210256747A1 (en) Body measurement device and method for controlling the same
CN112085804A (zh) 一种基于神经网络的物体位姿识别方法
CN110097540A (zh) 多边形工件的视觉检测方法及装置
Asif et al. A model-free approach for the segmentation of unknown objects
CN115886737A (zh) 一种便携式的头发粗细检测识别方法
Domhof et al. Multimodal joint visual attention model for natural human-robot interaction in domestic environments
Chakravorty et al. Automatic image registration in infrared-visible videos using polygon vertices
LU100348B1 (en) Method and system for head pose estimation
CN113062421A (zh) 一种健康检测的智能马桶及其健康检测方法
TWI764422B (zh) 可調整投影位置的資料呈現方法及其系統
Barnea et al. Depth based object detection from partial pose estimation of symmetric objects
TWI764318B (zh) 使用色彩空間轉換的影像辨識系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18890405

Country of ref document: EP

Kind code of ref document: A1