RU2724797C1 - Cash register system and method for identification of courses on tray - Google Patents
Cash register system and method for identification of courses on tray Download PDFInfo
- Publication number
- RU2724797C1 RU2724797C1 RU2020102390A RU2020102390A RU2724797C1 RU 2724797 C1 RU2724797 C1 RU 2724797C1 RU 2020102390 A RU2020102390 A RU 2020102390A RU 2020102390 A RU2020102390 A RU 2020102390A RU 2724797 C1 RU2724797 C1 RU 2724797C1
- Authority
- RU
- Russia
- Prior art keywords
- dishes
- image
- tray
- dish
- module
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Abstract
Description
Настоящее изобретение относится к области использования искусственных нейронных сетей в компьютерном зрении, а более конкретно к системам и способам обработки видеоданных, полученных от видеокамер, для автоматической идентификации блюд на подносе и последующего автоматического подсчета стоимости обеда покупателя на предприятии общественного питания.The present invention relates to the use of artificial neural networks in computer vision, and more particularly to systems and methods for processing video data received from video cameras for the automatic identification of dishes on a tray and subsequent automatic calculation of the cost of a customer’s lunch at a catering facility.
УРОВЕНЬ ТЕХНИКИBACKGROUND
Кассовые системы - это программно-аппаратные комплексы, обеспечивающие продажи товаров (в данном случае продажу блюд) с использованием, как наличных, так и безналичных денежных средств. Товар должен быть зарегистрирован, и эта информация должна быть занесена в торговую систему и отражена в чеке.Cash systems are software and hardware systems that ensure the sale of goods (in this case, the sale of dishes) using both cash and non-cash funds. The goods must be registered, and this information must be entered in the trading system and reflected in the check.
Рассматривая предприятия общественного питания, такие как столовые или кафе, часто возникает проблема, связанная с большим потоком людей в обеденные часы. Кассиры стараются как можно скорее производить подсчет стоимости товаров/блюд на подносе покупателей, но все равно данная процедура занимает очень много времени, при том что обеденный перерыв у потребителей ограничен по времени и мало кому хочется проводить по пол часа и более в очереди. Для решения подобный проблем на кассе, а именно для сокращения времени оплаты и увеличения проходимости людей, а также для повышения точности подсчета стоимости обеда и исключения ошибок, связанных с человеческим фактором, в настоящее время распространено использовать автоматизированные видеосистемы, помогающие кассиру справляться со своей задачей быстрее, а иногда и заменяющие кассира полностью.When looking at catering establishments, such as cafeterias or cafes, a problem often arises related to the large flow of people during lunch hours. Cashiers try to calculate the cost of goods / dishes on a tray of buyers as soon as possible, but still this procedure takes a lot of time, despite the fact that consumers have a lunch break and there are few who want to spend half an hour or more in line. To solve such problems at the checkout, namely, to reduce the time of payment and increase the patency of people, as well as to increase the accuracy of calculating the cost of lunch and eliminate errors related to the human factor, it is now common to use automated video systems to help the cashier cope with his task faster , and sometimes replacing the cashier completely.
Из уровня техники известно решение, раскрытое в патенте US 9734426 В2, G06K 9/00, опубл. 15.08.2017, в котором описан помощник по распознаванию пищи, воплощенный в одном или нескольких машиночитаемых носителях данных, причем помощник по распознаванию пищи содержит инструкции, выполняемые одним или несколькими процессорами, вынуждающие персональное мобильное электронное устройство: получать цифровое изображение; выполнять один или более алгоритмов обнаружения признаков, используя, по меньшей мере, два разных масштаба разрешения изображения, чтобы определить одну или несколько значимых областей изображения, при этом не полагаясь на то, чтобы пользователь сам указывал одну или несколько значимых областей, причем одна или несколько значимых областей представляют собой изображения пищи; выполнять идентификацию пищи, присутствующей на изображении с использованием семантических техник мышления, путем сравнения характеристики одной или нескольких значимых областей с характеристиками известной пищи; а также с помощью устройства вывода персонального мобильного электронного устройства выводить наименование идентифицированного продукта питания на экран.The prior art solution is disclosed in patent US 9734426 B2, G06K 9/00, publ. 08/15/2017, which describes a food recognition assistant embodied in one or more computer-readable storage media, the food recognition assistant containing instructions executed by one or more processors, forcing a personal mobile electronic device to: receive a digital image; perform one or more feature detection algorithms using at least two different image resolution scales to determine one or more significant areas of the image, without relying on the user to indicate one or more significant areas, one or more significant areas are food images; perform identification of food present in the image using semantic thinking techniques by comparing the characteristics of one or more significant areas with the characteristics of known food; and also using the output device of a personal mobile electronic device to display the name of the identified food product on the screen.
Данное решение хоть и характеризует идентификацию пищи, однако существенно отличается от заявляемого решения как минимум принципом идентификации и предшествующими идентификации операциями по обработке изображений. Кроме того, данное решение характеризует мобильное устройство, которое из-за своей узкой специализации не подходит для использования в качестве кассовых систем. Оно позволяет только идентифицировать продукты питания, однако не осуществляет идентификацию нескольких блюд на одном подносе, что не позволяет рассчитать общую стоимость обеда.This solution, although it characterizes the identification of food, however, differs significantly from the proposed solution at least by the principle of identification and previous identification operations on image processing. In addition, this solution characterizes a mobile device, which, due to its narrow specialization, is not suitable for use as cash register systems. It allows you to only identify food, but does not identify several dishes on one tray, which does not allow you to calculate the total cost of lunch.
Из уровня техники также известно решение, раскрытое в заявке US 2010/0173269 A1, G09B 19/00, опубл. 08.07.2010, в котором раскрыты способ и система для анализа по меньшей мере одного продукта питания на тарелке. Множество изображений тарелки с пищей принимается устройством захвата изображения. Далее устройством распознавания принимается описание по меньшей мере одного продукта питания на тарелке, причем описание представляет собой, по меньшей мере, одно из голосового описания и текстового описания. По меньшей мере один процессор извлекает список продуктов питания из описания, классифицирует и сегментирует, по меньшей мере, один элемент питания из списка, используя признаки цвета и текстуры, полученные из множества изображений, и оценивает объем классифицированного и сегментированного по меньшей мере одного продукта питания. Процессор также сконфигурирован для оценки калорийности по меньшей мере одного пищевого продукта.The prior art also knows the solution disclosed in the application US 2010/0173269 A1, G09B 19/00, publ. 07/08/2010, which discloses a method and system for analyzing at least one food product on a plate. A plurality of food plate images are received by the image pickup device. Further, the recognition device receives a description of at least one food product on a plate, the description being at least one of a voice description and a text description. At least one processor extracts a list of food products from the description, classifies and segments at least one battery item from the list using color and texture attributes obtained from a plurality of images, and estimates the volume of the classified and segmented at least one food product. The processor is also configured to evaluate the caloric value of at least one food product.
Данное решение сконфигурировано главным образом для помощи пользователю в определении веса и калорийности потребляемой пищи. В известном решении производится распознавание пищи, а также получение дополнительной информации от пользователя, для упрощения сопоставления изображения продукта питания с имеющимися в базе данных. Такое решение также не применимо для кассовых систем и существенно отличается от заявляемого решения.This solution is mainly configured to assist the user in determining the weight and calorie content of food consumed. In the known solution, food recognition is performed, as well as obtaining additional information from the user, to simplify the comparison of the image of the food product with those available in the database. This solution is also not applicable to cash systems and is significantly different from the proposed solution.
Что касается именно кассовых систем, то в Китае имеется очень много идей и разработок на этот счет. Например, уже давно используются системы, основанные на считывании RFID - меток, которые предварительно размещены на посуде (см. CN 104715540 А). Однако это очень сложные решения, поскольку все блюда должны располагаться на своей посуде, а вся посуда в свою очередь должна быть оснащена такими метками. Сложность реализации повышает вероятность ошибки при использовании такого способа для подсчета стоимости обеда.As regards cash register systems, in China there are a lot of ideas and developments in this regard. For example, systems based on reading RFID tags that have been previously placed on dishes have been used for a long time (see CN 104715540 A). However, these are very difficult decisions, since all dishes should be placed on their dishes, and all dishes, in turn, should be equipped with such marks. The complexity of the implementation increases the likelihood of error when using this method to calculate the cost of lunch.
Также в Китае совсем недавно стали использоваться специализированные терминалы, которые способны распознавать еду на подносе и далее выводить общую стоимость обеда. Более того, такие терминалы также способны распознавать личность покупателя и автоматически списывать средства с его личного счета. Однако такое решение дорогостоящее как минимум потому, что предприятию общественного питания нужно приобрести программное обеспечение и сами терминалы, производство которых не является дешевым. Кроме того, такие терминалы требуют специализированного обслуживания. Следует отметить, что подобные решения описаны только как идеи, без конкретных подробностей реализации (нет запатентованных решений), поэтому их невозможно сравнить с заявляемым нами решением.Also in China, specialized terminals have recently begun to be used, which are able to recognize food on a tray and further display the total cost of a meal. Moreover, such terminals are also capable of recognizing the identity of the buyer and automatically debiting funds from his personal account. However, such a solution is expensive at least because the catering company needs to purchase the software and the terminals themselves, the production of which is not cheap. In addition, such terminals require specialized service. It should be noted that such solutions are described only as ideas, without specific implementation details (there are no patented solutions), therefore they cannot be compared with the solution we are proposing.
Заявляемое же решение существенно отличается от описанных выше известных из уровня техники решений. Как минимум тем, что для его реализации не требуется приобретать какие-либо специализированные терминалы или дополнительные дорогостоящие и сложные в обслуживании устройства. В настоящее время уже практически не осталось кафе, ресторанов или столовых, которые не оборудованы стандартными камерами видеонаблюдения, которые используются для обеспечения безопасности на кассе и в зале. Следовательно, любое предприятие общественного питания уже оборудовано видеосистемой, а именно камерами и средствами обработки изображений, которые можно использовать и для идентификации блюд и подсчета стоимости посредством использования специализированного программного обеспечения.The claimed solution differs significantly from the solutions described above from the prior art. At least by the fact that its implementation does not require the purchase of any specialized terminals or additional expensive and difficult to maintain devices. Currently, there are almost no cafes, restaurants or canteens that are not equipped with standard CCTV cameras, which are used to ensure security at the checkout and in the hall. Therefore, any catering company is already equipped with a video system, namely cameras and image processing tools, which can also be used to identify dishes and calculate cost by using specialized software.
Под видеосистемами в контексте данной заявки подразумеваются программно-аппаратные средства, использующие методы компьютерного зрения для автоматизированного сбора данных на основании анализа потокового видео (видеоанализа). Такие видеосистемы опираются на алгоритмы обработки изображений, в том числе на алгоритмы распознавания, сегментации, классификации и идентификации изображений, позволяющие анализировать видео без прямого участия человека. Современные видеосистемы позволяют автоматически анализировать видеоданные с камер и сопоставлять указанные данные с данными, имеющимися в базе данных.Under the video systems in the context of this application refers to software and hardware tools that use computer vision for automated data collection based on the analysis of streaming video (video analysis). Such video systems rely on image processing algorithms, including recognition, segmentation, classification and image identification algorithms that allow you to analyze video without direct human involvement. Modern video systems allow you to automatically analyze video data from cameras and compare the specified data with the data available in the database.
Таким образом, заявляемое нами решение основано на использовании уже имеющихся стандартных средств видеонаблюдения. Такой подход позволяет сократить расходы предприятия общественного питания на оборудование, при этом значительно увеличить проходимость людей на кассе, что способствует повышению дохода. Развитие данной технологии и качественная наладка системы позволит со временем полностью отказаться от кассиров или как минимум от их большого количества.Thus, the solution we are declaring is based on the use of existing standard video surveillance tools. This approach reduces the cost of catering for equipment, while significantly increasing the patency of people at the checkout, which contributes to an increase in income. The development of this technology and high-quality adjustment of the system will over time completely abandon cashiers or at least a large number of them.
Наиболее близким по технической сущности к заявляемому решению является известное из уровня техники решение, раскрытое в патенте Китая CN 103034839 В, G06K 9/00, опубл. 03.08.2016, в котором раскрыта платежная система для столовой, основанная на технологии распознавания изображений, содержащая: камеру, датчик давления, сетевое устройство (хост), устройство для считывания кредитных карт и дисплей. Камера, датчик давления, устройство для считывания кредитных карт и дисплей подключены к хосту. После того, как датчик давления активируется, датчик давления отправляет информацию о текущем давлении хосту. После получения информации о текущем давлении хост оценивает изменение давления в течение предварительно установленного времени. Если информация о давлении датчика изменилась и не равна нулю, то в этом случае камера запускается для сбора общей информации об изображении текущей сцены и всех блюд на нем, после чего захваченные общие данные изображения отправляются на хост. После того, как хост получает полные данные изображения, он берет блюдо из образца базы данных «Образец блюда», анализирует общие данные изображения, сравнивает общие данные изображения с данными образца блюда в базе данных и когда сходство между изображением блюда в общих данных изображения и данными образца блюда превышает 80%, считается, что текущее блюдо и образец блюда - это одно и то же блюдо. Принимающая сторона получает соответствующую информацию блюда из успешно подобранного образца блюда из базы данных и выводит на экран информацию о блюде и о его количестве, а также сохраняет информацию о блюде и его количестве в базе данных потребления. Когда все блюда в общем изображении идентифицированы, рассчитывается и выводится общая цена блюда, и хост предоставляет возможность потребителю оплатить сумму заказа через терминал для кредитных карт.The closest in technical essence to the claimed solution is the solution known from the prior art, disclosed in Chinese patent CN 103034839 B, G06K 9/00, publ. 08/03/2016, which disclosed a payment system for the dining room, based on image recognition technology, comprising: a camera, a pressure sensor, a network device (host), a credit card reader and a display. The camera, pressure sensor, credit card reader and display are connected to the host. After the pressure sensor is activated, the pressure sensor sends information about the current pressure to the host. After receiving information about the current pressure, the host evaluates the change in pressure over a preset time. If the information on the pressure of the sensor has changed and is not equal to zero, then in this case the camera starts to collect general information about the image of the current scene and all the dishes on it, after which the captured general image data is sent to the host. After the host receives the full image data, it takes the dish from the sample dish database, analyzes the general image data, compares the general image data with the dish sample data in the database and when the similarities between the image of the dish in the general image data and data the sample of the dish exceeds 80%, it is considered that the current dish and the sample of the dish are one and the same dish. The receiving party receives the relevant dish information from a successfully selected dish sample from the database and displays information about the dish and its quantity, and also saves information about the dish and its quantity in the consumption database. When all dishes in the general image are identified, the total price of the dish is calculated and displayed, and the host provides the consumer with the opportunity to pay the order amount through the credit card terminal.
Известное из уровня техники решение использует сложные техники анализа, обработки, распознавания и масштабирования изображений для последующей идентификации блюд и пополнения базы данных образцов. Кроме того, данное решение использует датчик давления, который запускает работу системы распознавания, что существенно отличается от заявляемого решения, для реализации которого нет необходимости в дополнительных датчиках и терминалах.The prior art solution uses sophisticated techniques for analyzing, processing, recognizing and scaling images for subsequent identification of dishes and replenishing the sample database. In addition, this solution uses a pressure sensor that starts the recognition system, which differs significantly from the proposed solution, for the implementation of which there is no need for additional sensors and terminals.
Наше решение главным образом направлено на упрощение, ускорение и повышение точности процесса идентификации, а соответственно на ускорение процесса обслуживания покупателей на кассе. В настоящее время в современных видеосистемах для распознавания и идентификации изображений все чаще применяются искусственные нейронные сети.Our solution is mainly aimed at simplifying, accelerating and improving the accuracy of the identification process, and accordingly, at accelerating the process of customer service at the checkout. Currently, in modern video systems, artificial neural networks are increasingly used for image recognition and identification.
Искусственная нейронная сеть (ИНС) - это математическая модель, а также ее аппаратное и/или программное воплощение, построенное по принципу организации и функционирования биологических нейронных сетей (сетей нервных клеток живых организмов). Одним из главных преимуществ ИНС является возможность их обучения, в процессе которого ИНС способна самостоятельно выявлять сложные зависимости между входными и выходными данными.An artificial neural network (ANN) is a mathematical model, as well as its hardware and / or software implementation, built on the principle of organization and functioning of biological neural networks (networks of nerve cells of living organisms). One of the main advantages of the ANN is the possibility of their training, during which the ANN is able to independently detect complex relationships between input and output data.
Именно использование одной или даже нескольких ИНС для обработки изображений и дальнейшего подсчета стоимости обеда потребителя, а также использование стандартных средств видеонаблюдения и обработки видеоданных делает заявляемое решение экономически выгодным и более простым для осуществления на любом предприятии общественного питания.It is the use of one or even several ANNs for image processing and further calculation of the cost of a consumer’s lunch, as well as the use of standard video surveillance and video processing tools that make the claimed solution economically advantageous and simpler for implementation at any catering establishment.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.The claimed technical solution is aimed at eliminating the disadvantages inherent in the prior art and the development of already known solutions.
Техническим результатом заявленной группы изобретений является повышение скорости и точности идентификации всех блюд на подносе за счет использования по меньшей мере одной искусственной нейронной сети, для последующего автоматического расчета общей стоимости обеда покупателя.The technical result of the claimed group of inventions is to increase the speed and accuracy of identification of all dishes on a tray through the use of at least one artificial neural network, for subsequent automatic calculation of the total cost of a customer’s lunch.
Заявленный технический результат достигается за счет того, что кассовая система предприятия общественного питания для идентификации блюд на подносе содержит: память, сконфигурированную для хранения базы данных блюд, которая включает в себя по меньшей мере выборку эталонных изображений блюд и соответствующую каждому блюду стоимость; по меньшей мере одно устройство захвата изображений, сконфигурированное для получения видеоданных из области, в которой располагается поднос, содержащий все взятые покупателем блюда; и по меньшей мере, одно устройство обработки данных, содержащее: модуль получения видеоданных, сконфигурированный для получения видеоданных от устройства захвата изображений в режиме реального времени; модуль анализа изображений, сконфигурированный для анализа видеоданных с целью обнаружения в кадре подноса с едой, после чего полученное изображение упомянутого подноса передается в модуль обнаружения отдельных предметов; модуль обнаружения отдельных предметов, сконфигурированный по меньшей мере для определения на полученном изображении подноса отдельных предметов посуды; модуль идентификации блюд, сконфигурированный для идентификации с использованием искусственной нейронной сети всех блюд на каждом из полученных изображений отдельных предметов посуды, причем идентификация осуществляется путем сравнения изображения каждого блюда с по меньшей мере одним эталонным изображением блюда, содержащимся в базе данных блюд; модуль расчета стоимости, сконфигурированный для получения из базы данных блюд стоимости каждого идентифицированного блюда и подсчета общей стоимости всех блюд, располагающихся на подносе; модуль отображения, выполненный с возможностью отображения полученной общей стоимости на экране.The claimed technical result is achieved due to the fact that the cash system of a catering company for identifying dishes on a tray contains: a memory configured to store a database of dishes, which includes at least a sample of reference images of dishes and the cost corresponding to each dish; at least one image capture device configured to receive video data from an area in which a tray containing all dishes taken by a customer is located; and at least one data processing device, comprising: a video data receiving module, configured to receive video data from a real-time image capturing device; an image analysis module configured to analyze video data in order to detect a food tray in the frame, after which the resulting image of the tray is transmitted to the individual object detection module; a module for detecting individual objects, configured at least to determine on the resulting image a tray of individual items of utensils; a dish identification module configured to identify all dishes on each of the obtained images of individual dishes using an artificial neural network, the identification being carried out by comparing the image of each dish with at least one reference image of the dish contained in the database of dishes; cost calculation module, configured to receive from the database of dishes the cost of each identified dish and calculate the total cost of all dishes located on the tray; a display module, configured to display the resulting total cost on the screen.
Указанный технический результат также достигается за счет способа идентификации блюд на подносе, выполняемого кассовой системой, содержащей, по меньшей мере одно устройство обработки данных, по меньшей мере одно устройство захвата изображений и память, хранящую базу данных блюд, причем способ содержит этапы, на которых: получают видеоданные от устройства захвата изображений в режиме реального времени, причем упомянутое устройство захвата изображений получает видеоданные из области, в которой располагается поднос, содержащий все взятые покупателем блюда; выполняют анализ полученных видеоданных с целью обнаружения в кадре подноса с едой и получения изображения упомянутого подноса; определяют на полученном изображении подноса с едой отдельные предметы посуды; выполняют идентификацию с использованием искусственной нейронной сети всех блюд на каждом из полученных изображений отдельных предметов посуды, причем идентификация осуществляется путем сравнения изображения каждого блюда с по меньшей мере одним эталонным изображением блюда, содержащимся в базе данных блюд; получают из базы данных блюд стоимость каждого идентифицированного блюда и подсчитывают общую стоимость всех блюд, располагающихся на подносе; отображают полученную общую стоимость на экране.The specified technical result is also achieved due to the method of identifying dishes on a tray, performed by the cash register system, containing at least one data processing device, at least one image capturing device and a memory storing the food database, the method comprising the steps of: receiving video data from the real-time image capturing apparatus, said image capturing apparatus receiving video data from the region in which the tray containing all dishes taken by the customer is located; analyze the obtained video data in order to detect a tray of food in the frame and obtain an image of said tray; on the received image of the tray with food, separate items of utensils are determined; perform identification using an artificial neural network of all dishes on each of the obtained images of individual dishes, and identification is carried out by comparing the image of each dish with at least one reference image of the dish contained in the database of dishes; receive from the database of dishes the cost of each identified dish and calculate the total cost of all dishes located on a tray; display the resulting total value on the screen.
В одном частном варианте заявленного решения модуль анализа изображений анализирует видеоданные в режиме реального времени для выявления события попадания подноса в предварительно заданную область на кадре, после чего модуль анализа изображений передает полученное по меньшей мере одно изображение подноса с едой в модуль обнаружения отдельных предметов.In one particular embodiment of the claimed solution, the image analysis module analyzes real-time video data to detect the event that the tray hit the predefined area on the frame, after which the image analysis module transfers the received at least one image of the food tray to the individual item detection module.
В другом частном варианте заявленного решения модуль обнаружения отдельных предметов сконфигурирован с возможностью сегментации изображения для определения отдельных предметов посуды, причем упомянутая сегментация выполняется по цвету и/или форме и/или текстуре с использованием отдельной искусственной нейронной сети.In another particular embodiment of the claimed solution, the module for detecting individual objects is configured to segment the image to determine individual items of utensils, said segmentation being performed by color and / or shape and / or texture using a separate artificial neural network.
Еще в одном частном варианте заявленного решения все блюда в базе данных блюд разделены на классы.In another particular embodiment of the claimed solution, all dishes in the database of dishes are divided into classes.
В другом частном варианте заявленного решения модуль обнаружения отдельных предметов дополнительно сконфигурирован с возможностью классификации изображений отдельных предметов посуды по классам блюд, причем для упомянутой классификации предусмотрена отдельная искусственная нейронная сеть.In another particular embodiment of the claimed solution, the module for detecting individual objects is additionally configured to classify images of individual items of dishes according to the classes of dishes, and for this classification a separate artificial neural network is provided.
Еще в одном частном варианте заявленного решения для каждого класса блюд имеется своя искусственная нейронная сеть, используемая для идентификации блюд в модуле идентификации блюд.In another particular embodiment of the claimed solution, each class of dishes has its own artificial neural network used to identify dishes in the dish identification module.
А еще в одном частном варианте заявленного решения модуль идентификации блюд сконфигурирован с возможностью идентификации отдельных блюд как на разных тарелках, так и на одной тарелке.And in another particular embodiment of the claimed solution, the dish identification module is configured to identify individual dishes on different plates as well as on one plate.
В другом частном варианте заявленного решения при классификации изображения отдельного предмета посуды как второго блюда в модуле обнаружения отдельных предметов, данное изображение далее дополнительно сегментируется для последующей идентификации отдельных блюд на одной тарелке в модуле идентификации блюд.In another particular embodiment of the claimed solution, when classifying an image of an individual dish item as a second dish in the module for detecting individual objects, this image is further segmented for subsequent identification of individual dishes on one plate in the module for identifying dishes.
Еще в одном частном варианте заявленного решения данные о каждом блюде включают в себя по меньшей мере: наименование, стоимость, вес и выборку эталонных изображений.In another particular embodiment of the claimed solution, the data for each dish includes at least: name, cost, weight and sample reference images.
В другом частном варианте заявленного решения кассовая система дополнительно сконфигурирована для автоматического пополнения выборки эталонных изображений блюд для обучения по меньшей мере одной искусственной нейронной сети, причем упомянутая выборка содержит множество изображений блюд.In another particular embodiment of the claimed solution, the cash register system is further configured to automatically replenish the sample selection of reference images of dishes for training at least one artificial neural network, said sample containing a plurality of image of dishes.
Еще в одном частном варианте заявленного решения пополнение выборки эталонных изображений блюд и обучение по меньшей мере одной искусственной нейронной сети являются постоянными процессами, поскольку набор блюд и их внешний вид меняются со временем.In another particular embodiment of the claimed solution, replenishment of the sample of reference images of dishes and training of at least one artificial neural network are constant processes, since the set of dishes and their appearance change over time.
В другом частном варианте заявленного решения выборка эталонных изображений каждого блюда содержит N последних загруженных изображений для этого блюда, где N является положительным целым числом, предварительно заданным пользователем.In another particular embodiment of the claimed solution, the selection of the reference images of each dish contains N last downloaded images for this dish, where N is a positive integer predefined by the user.
Еще в одном частном варианте заявленного решения кассовая система дополнительно содержит платежный терминал для предоставления покупателю возможности совершать оплату, при этом модуль отображения дополнительно сконфигурирован для вывода полученной общей стоимости на платежный терминал.In another particular embodiment of the claimed solution, the cash system further comprises a payment terminal to enable a customer to make a payment, while the display module is further configured to display the received total cost to the payment terminal.
А в другом частном варианте заявленного решения модуль отображения дополнительно сконфигурирован с возможностью отображения главного эталонного изображения каждого идентифицированного на подносе блюда и соответствующей ему стоимости на экране для проверки покупателем перед оплатой.And in another particular embodiment of the claimed solution, the display module is further configured to display the main reference image of each dish identified on the tray and the corresponding value on the screen for verification by the buyer before payment.
Помимо указанного выше, данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов идентификации блюд на подносе по любому.In addition to the above, this technical result is also achieved due to a computer-readable data carrier containing instructions executed by the computer processor for implementing methods for identifying dishes on a tray according to any.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
Фиг. 1 - блок-схема кассовой системы предприятия общественного питания для идентификации блюд на подносе.FIG. 1 is a block diagram of a checkout system cash register system for identifying dishes on a tray.
Фиг. 2 - блок-схема способа идентификации блюд на подносе.FIG. 2 is a flow chart of a method for identifying dishes on a tray.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.Below will be a description of exemplary embodiments of the claimed group of inventions. However, the claimed group of inventions is not limited to only these options for implementation. It will be apparent to those skilled in the art that other embodiments may fall under the scope of the claimed group of inventions described in the claims.
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде кассовых систем и способов, реализуемых различными компьютерными средствами, а также в виде считываемого компьютером носителя данных, хранящего исполняемые процессором компьютера инструкции.The claimed technical solution in its various embodiments can be made in the form of cash systems and methods implemented by various computer means, as well as in the form of a computer-readable data carrier that stores instructions executed by the computer processor.
На фиг. 1 представлена блок-схема кассовой системы предприятия общественного питания для идентификации блюд на подносе. Кассовая система в общем случае включает в себя: память (10), сконфигурированную для хранения базы данных блюд (DB); по меньшей мере одно устройство захвата изображений (20, …, 2n); и по меньшей мере, одно устройство обработки данных (30, …, 3m), содержащее: модуль получения видеоданных (40), модуль анализа изображений (50), модуль обнаружения отдельных предметов (60), модуль идентификации блюд (70), модуль расчета стоимости (80) и модуль отображения (90).In FIG. 1 is a block diagram of a checkout system cash register system for identifying dishes on a tray. A cash system in the general case includes: memory (10) configured to store a food database (DB); at least one image capture device (20, ..., 2n); and at least one data processing device (30, ..., 3m), comprising: a video data acquisition module (40), an image analysis module (50), an individual item detection module (60), a dish identification module (70), a calculation module cost (80) and display module (90).
В данном контексте под кассовыми системами понимаются любые вычислительные системы, построенные на базе программно-аппаратных взаимосвязанных технических средств.In this context, cash systems are understood as any computing systems built on the basis of hardware-software interconnected hardware.
Под устройством захвата изображений в контексте данной заявки подразумевается видеокамера.Under the image capture device in the context of this application refers to a video camera.
В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных.The data processing device may be a processor, microprocessor, computer (electronic computer), PLC (programmable logic controller) or integrated circuit configured to execute certain commands (instructions, programs) for data processing.
В роли устройства памяти, сконфигурированного для хранения данных, могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, сервер, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические накопители информации и т.д.The role of a memory device configured to store data may include, but is not limited to, hard disks (HDDs), flash memory, a server, ROM (read only memory), solid state drives (SSDs), optical information storage devices, etc. .
В контексте данной заявки память хранит базу данных блюд (DB), которая включает в себя, по меньшей мере, выборку эталонных изображений блюд и соответствующую каждому блюду стоимость.In the context of this application, the memory stores a database of dishes (DB), which includes at least a sample of reference images of dishes and the cost corresponding to each dish.
Следует отметить, что в указанную кассовую систему предприятия общественного питания могут входить и любые другие известные в данном уровне техники устройства, например, такие как датчики, устройства ввода/вывода, устройства считывания штрих-кодов, дополнительные устройства отображения и т.п.It should be noted that any other devices known in the art can be included in the specified cash system of a catering company, for example, sensors, input / output devices, barcode readers, additional display devices, etc.
Далее будет подробно описан пример работы вышеупомянутой кассовой системы предприятия общественного питания для идентификации блюд на подносе. Все нижеописанные этапы работы системы также применимы и к реализации заявляемого способа идентификации блюд на подносе, который будет рассмотрен более подробно ниже.Next will be described in detail the example of the aforementioned cash register system of a catering establishment for identifying dishes on a tray. All the stages of the system described below are also applicable to the implementation of the proposed method for identifying dishes on a tray, which will be discussed in more detail below.
Рассмотрим принцип работы кассовой системы предприятия общественного питания. Предположим, покупатель/потребитель пришел в столовую, чтобы пообедать. Покупатель взял поднос и прошел в раздаточный пункт, где набрал себе необходимое количество блюд для обеда. После этого покупатель подошел к кассе со своим подносом, поставил его в зону видимости устройства захвата изображений (а также в зону видимости кассира или администратора системы) для расчета общей стоимости обеда и последующей его оплаты.Consider the principle of the cash system of a catering company. Suppose a buyer / consumer comes to the dining room for lunch. The buyer took the tray and went to the distribution point, where he scored the necessary number of dishes for lunch. After that, the buyer went to the checkout counter with his tray, put it in the visibility range of the image capture device (as well as in the visibility range of the cashier or system administrator) to calculate the total cost of the meal and its subsequent payment.
Устройство захвата изображений, в данном случае видеокамера, расположена таким образом, чтобы непрерывно в режиме реального времени получать видеоданные из области, в которой располагается поднос, содержащий все взятые покупателем блюда. Следует отметить, что кассовая система может включать в себя несколько дополнительных видеокамер, например, для более точного распознавания объема и веса блюд или для контроля и обеспечения безопасности других зон в радиусе кассы.The image capture device, in this case a video camera, is positioned so as to continuously receive real-time video data from the area in which the tray containing all the dishes taken by the buyer is located. It should be noted that the cash register system may include several additional video cameras, for example, to more accurately recognize the volume and weight of dishes or to control and ensure the security of other areas within the cash register.
Далее основную работу выполняет по меньшей мере одно устройство обработки данных, например, такое как процессор компьютера. Упомянутое устройство обработки данных включает в себя отдельные программные или аппаратные модули/блоки, каждый из которых сконфигурирован для выполнения определенной задачи. В описываемом решении, как представлено на фиг. 1, устройство обработки данных содержит такие модули как: модуль получения видеоданных (40), модуль анализа изображений (50), модуль обнаружения отдельных предметов (60), модуль идентификации блюд (70), модуль расчета стоимости (80) и модуль отображения (90). Далее будет подробно описана работа каждого модуля.Further, at least one data processing device, for example, such as a computer processor, performs the main work. Said data processing device includes separate software or hardware modules / blocks, each of which is configured to perform a specific task. In the described solution, as shown in FIG. 1, the data processing device contains such modules as: a video data acquisition module (40), an image analysis module (50), an individual item detection module (60), a dish identification module (70), a cost calculation module (80) and a display module (90 ) Next, the operation of each module will be described in detail.
Модуль получения видеоданных (40) непрерывно получает все видеоданные, поступающие от по меньшей мере одного устройства захвата изображений в режиме реального времени. Затем все получаемые видеоданные анализируются модулем анализа изображений (50) для выявления/обнаружения кадров, отображающих/характеризующих поднос с едой. Более конкретно, как указано в частном варианте исполнения системы, модуль анализа изображений анализирует видеоданные для выявления события попадания подноса в предварительно заданную область на кадре. Упомянутая область заранее настраивается пользователем системы из расчета необходимого расстояния от камеры до подноса с едой, которого будет достаточно для распознавания и идентификации блюд. После того, как обнаружен кадр с подносом, полученное по меньшей мере одно изображение/кадр упомянутого подноса автоматически передается в модуль обнаружения отдельных предметов.The video data acquisition module (40) continuously receives all video data coming from at least one real-time image capturing device. Then, all the received video data is analyzed by the image analysis module (50) to identify / detect frames displaying / characterizing the food tray. More specifically, as indicated in a particular embodiment of the system, the image analysis module analyzes the video data to detect the event of a tray falling into a predefined area on the frame. The mentioned area is pre-configured by the user of the system based on the necessary distance from the camera to the food tray, which will be sufficient for recognition and identification of dishes. After a frame with a tray is detected, the obtained at least one image / frame of the said tray is automatically transmitted to the individual object detection module.
Модуль обнаружения отдельных предметов (60) сконфигурирован для определения на полученном изображении подноса с едой отдельных предметов посуды. Для этого упомянутый модуль с использованием отдельной (своей) искусственной нейронной сети выполняет сегментацию полученного изображения подноса. Следует отметить, что сегментация выполняется по цвету и/или форме и/или текстуре. Пользователь системы может задать любой вид сегментации, или же сегментация может выполняться последовательно каждым из перечисленных способов. Например, сначала по форме посуды, потом по текстуре посуды (для более лучшего различения посуды и подноса), а затем по цвету (такой вариант наиболее актуален, если в столовой используется однотонная посуда). Таким образов происходит детектирование и выделение на изображении отдельных предметов, таких как тарелки (большие и маленькие), кружки, стаканы, чашки, супницы, салатники, бутылки, банки и т.д. После чего изображение подноса разделяется на несколько изображений, каждое из которых характеризует отдельный предмет посуды.The module for detecting individual objects (60) is configured to determine on the resulting image a tray with food of individual objects. To do this, the said module using a separate (own) artificial neural network performs segmentation of the received image of the tray. It should be noted that segmentation is performed by color and / or shape and / or texture. The system user can specify any type of segmentation, or segmentation can be performed sequentially by each of the above methods. For example, first by the shape of the dishes, then by the texture of the dishes (to better distinguish between dishes and a tray), and then by color (this option is most relevant if the dining room uses plain dishes). Such images are detected and selected on the image of individual objects, such as plates (large and small), mugs, glasses, cups, tureens, salad bowls, bottles, cans, etc. After that, the image of the tray is divided into several images, each of which characterizes a separate item of dishes.
Далее каждое полученное изображение отдельного предмета на рассматриваемом подносе передается в модуль идентификации блюд (70). Упомянутый модуль выполняет идентификацию всех блюд на каждом из полученных изображений отдельных предметов посуды с использованием своей по меньшей мере одной искусственной нейронной сети. Идентификация осуществляется путем сравнения изображения каждого блюда с по меньшей мере, одним эталонным изображением блюда, содержащимся в базе данных блюд. При этом если изображение блюда совпадает в достаточной степени хотя бы с одним изображением из базы данных блюд, то система сразу же прекращает процесс идентификации. Такой подход позволяет не тратить впустую имеющиеся вычислительные ресурсы системы и ускоряет процесс сравнения.Next, each received image of an individual object on the tray in question is transmitted to the dish identification module (70). The mentioned module performs identification of all dishes on each of the obtained images of individual items of utensils using its at least one artificial neural network. Identification is carried out by comparing the image of each dish with at least one reference image of the dish contained in the database of dishes. Moreover, if the image of the dish sufficiently matches at least one image from the database of dishes, the system immediately stops the identification process. This approach allows you not to waste the available computing resources of the system and speeds up the comparison process.
А принцип идентификации следующий: искусственная нейронная сеть получает изображение предмета посуды с едой, после чего выдает некоторый вектор чисел - дескриптор изображения. База данных блюд хранит выборку эталонных изображения всех блюд, включающую соответствующий каждому изображению дескриптор. Для сравнения изображений ИНС использует именно эти дескрипторы. Причем ИНС обучена так, что чем меньше угол между этими векторами чисел в пространстве, тем больше вероятность совпадения изображений блюд. В качестве метрики для сравнения используется косинус угла между векторами чисел (векторами из базы данных и полученным вектором изображения блюда). Соответственно, чем ближе косинус угла между векторами к единице, тем больше вероятность, что блюдо является одним и тем же на сравниваемой паре изображений. Пользователь при настройке системы может задать диапазон значений, при котором система будет принимать решение о совпадении блюд. Следует отметить, что искусственная нейронная сеть сравнивает последовательно полученное изображение со всеми имеющимися в базе данными изображениями до тех пор, пока не получит достаточного совпадения.And the principle of identification is as follows: an artificial neural network receives an image of a dishware item with food, after which it produces a certain vector of numbers - an image descriptor. The database of dishes stores a sample of reference images of all dishes, including a descriptor corresponding to each image. ANN uses these descriptors to compare images. Moreover, the ANN is trained so that the smaller the angle between these vectors of numbers in space, the greater the likelihood of coincidence of the images of dishes. As a metric for comparison, the cosine of the angle between the vectors of numbers (the vectors from the database and the resulting vector image of the dish) is used. Accordingly, the closer the cosine of the angle between the vectors to unity, the greater the likelihood that the dish is the same on the compared pair of images. When setting up the system, the user can specify a range of values at which the system will decide on the coincidence of dishes. It should be noted that an artificial neural network compares a sequentially obtained image with all the images available in the database until it receives a sufficient match.
Следует отметить, что для повышения точности работы системы и улучшения и ускорения идентификации блюд перед непосредственной идентификацией в некоторых реализациях заявляемого решения может осуществляться классификация изображений. Для этого в модуле обнаружения отдельных предметов (60) предусмотрена отдельная ИНС, сконфигурированная для распределения полученных изображений отдельных предметов посуды с блюдами по классам блюд. Например, таким как: первое блюдо, второе блюдо, десерт, салат, напиток (в кружке или стакане, или чашке), бутылка (или банка) и т.д., в зависимости от ассортимента на каждом отдельном предприятии общественного питания. Каждому классу блюд присуща своя ИНС для идентификации. Чем больше разновидностей блюд на предприятии, тем более актуально использование нескольких ИНС.It should be noted that to improve the accuracy of the system and improve and speed up the identification of dishes before direct identification in some implementations of the proposed solution, classification of images can be carried out. To do this, a separate ANN is provided in the module for detecting individual objects (60), configured to distribute the received images of individual items of dishes with dishes according to the classes of dishes. For example, such as: the first dish, the second dish, dessert, salad, a drink (in a mug or glass, or a cup), a bottle (or a can), etc., depending on the assortment at each individual catering facility. Each class of dishes has its own ANN for identification. The more varieties of dishes in the enterprise, the more relevant is the use of several ANNs.
При этом в базе данных блюд все файлы блюд также разделены на классы. Как уже было отмечено выше, для каждого класса блюд может быть использована своя искусственная нейронная сеть, которая используется в дальнейшем для идентификации блюд в модуле идентификации блюд (70). Следует отметить, что данные о каждом блюде в базе данных блюд включают в себя по меньшей мере: наименование, стоимость, вес и выборку эталонных изображений. При этом каждое изображение в выборке эталонных изображений блюд включает в себя дескриптор, характеризующий вектор чисел данного изображения.At the same time, in the food database, all food files are also divided into classes. As noted above, for each class of dishes, its own artificial neural network can be used, which is then used to identify dishes in the dish identification module (70). It should be noted that the data on each dish in the database of dishes includes at least: name, cost, weight and sample reference images. Moreover, each image in the sample of reference images of dishes includes a descriptor characterizing the vector of numbers of this image.
Кассовая система также сконфигурирована для автоматического пополнения выборки эталонных изображений блюд и для обучения по меньшей мере одной используемой искусственной нейронной сети. При этом процессы пополнения выборки эталонных изображений блюд, обучения искусственной нейронной сети и непосредственного подсчета общей стоимости обеда в режиме реального времени могут выполняться параллельно, по меньшей мере, одним устройством обработки данных. То есть после того, как устройство обработки данных получило изображение подноса с едой, это изображение используется параллельно и для идентификации, и для пополнения выборки эталонных изображений блюд. При этом каждое новое изображение блюда добавляется в эталонную выборку изображений блюд только после завершения процесса идентификации.The cash register system is also configured to automatically replenish a sample of reference images of dishes and to train at least one used artificial neural network. At the same time, the processes of replenishing the sample of reference images of dishes, training an artificial neural network and directly calculating the total cost of lunch in real time can be performed in parallel with at least one data processing device. That is, after the data processing device has received an image of a food tray, this image is used in parallel to identify and replenish the selection of reference images of dishes. At the same time, each new dish image is added to the reference sample of dish images only after the identification process is completed.
Обучение искусственной нейронной сети в контексте заявляемого решения выполняется на основании пополняемой базы данных товаров. Пользователь кассовой системы может задать определенное время, в которое будет выполняться обучение искусственной нейронной сети. Например, один раз в день. При этом упомянутое обучение может выполняться, например, устройством обработки данных кассовой системы или же облачным сервисом кассовой системы или любым другим вычислительным устройством.The training of an artificial neural network in the context of the proposed solution is carried out on the basis of a replenished database of goods. The user of the cash system can set a specific time at which the training of the artificial neural network will be performed. For example, once a day. Moreover, the said training can be performed, for example, by a data processing device of a cash system or a cloud service of a cash system or any other computing device.
Следует обратить внимание, что выборка эталонных изображений содержит множество изображений блюд. Пользователь системы может при настройке ее работы задать конкретное число изображений, которое должно содержаться в выборке (для поддержания актуальности данных в базе данных). Таким образом, выборка эталонных изображений каждого блюда содержит только N последних загруженных изображений для этого блюда, где N является положительным целым числом, предварительно заданным пользователем.It should be noted that the selection of reference images contains many images of dishes. When configuring its operation, the user of the system can specify a specific number of images that should be contained in the sample (to maintain the relevance of the data in the database). Thus, the selection of the reference images of each dish contains only N of the last downloaded images for this dish, where N is a positive integer predefined by the user.
Предположим, пользователь задал N=25. После идентификации конкретного блюда устройство обработки данных анализирует выборку эталонных изображений этого блюда. Если количество изображений в выборке изображений для считанного товара равно 25, то устройство обработки данных удаляет самое давнее (старое) изображение и сохраняет новое, только полученное изображение блюда в выборку. Таким образом удается поддерживать актуальность информации о блюдах. Это необходимо, поскольку набор блюд и их внешний вид меняются со временем. В связи с чем пополнение выборки эталонных изображений блюд и обучение по меньшей мере одной искусственной нейронной сети являются постоянными процессами.Suppose the user sets N = 25. After identifying a particular dish, the data processing device analyzes a sample of reference images of that dish. If the number of images in the sample image for the read goods is 25, the data processing device deletes the oldest (oldest) image and saves the new, only received image of the dish in the sample. Thus, it is possible to maintain the relevance of information about dishes. This is necessary because the set of dishes and their appearance change over time. In this connection, the replenishment of the selection of reference images of dishes and the training of at least one artificial neural network are constant processes.
Кроме того, в отдельном частном варианте исполнения кассовой системы, модуль идентификации блюд (70) может быть сконфигурирован для идентификации отдельных блюд не только на разных тарелках (когда на одной тарелке размещено только одно блюдо, например, суп или салат или компот), но и на одной тарелке. Чаще всего такое решение актуально именно для вторых блюд или же для десерта. Для примера рассмотрим ситуацию, когда на тарелке второго блюда есть макароны, котлета и хлеб. Все эти три отдельных элемента обладают своей стоимостью и соответственно являются отдельными блюдами. Таким образом, если на этапе классификации изображения отдельного предмета посуды определено, что на изображении представлено второе блюдо, то модуль обнаружения отдельных предметов (60) выполняет дополнительную сегментацию/разделение данного изображения второго блюда на части для получения отдельных изображений каждой части тарелки с различными блюдами для дальнейшей идентификации блюд на каждом полученном изображении каждой части тарелки в модуле идентификации блюд (70). Следует отметить, что в данном случае приоритет имеет сегментация по текстуре и по цвету, хотя также применима и сегментация по форме.In addition, in a separate private embodiment of the cash register system, the food identification module (70) can be configured to identify individual dishes not only on different plates (when only one dish is placed on one plate, for example, soup or salad or compote), but also on one plate. Most often, this solution is relevant specifically for second courses or for dessert. For example, consider the situation when there is pasta, cutlet and bread on a plate of the second dish. All these three separate elements have their own value and, accordingly, are separate dishes. Thus, if it is determined at the stage of classifying the image of an individual dishware that the second dish is represented on the image, the individual objects detection module (60) performs additional segmentation / separation of this image of the second dish into parts to obtain separate images of each part of the plate with different dishes further identification of dishes on each received image of each part of the plate in the dish identification module (70). It should be noted that in this case, segmentation by texture and color has priority, although segmentation by shape is also applicable.
После идентификации всех блюд, представленных на подносе покупателя, в работу вступает модуль расчета стоимости (80), сконфигурированный для получения из базы данных блюд стоимости каждого идентифицированного блюда. После чего упомянутый модуль осуществляет подсчет/расчет общей стоимости всех блюд, располагающихся на подносе путем суммирования цены каждого из представленных и идентифицированных на подносе блюд.After identifying all the dishes presented on the customer’s tray, the cost calculation module (80) comes into operation, configured to receive the cost of each identified dish from the database of dishes. After that, the mentioned module calculates / calculates the total cost of all dishes located on the tray by summing the prices of each of the dishes presented and identified on the tray.
Далее полученная общая стоимость передается в модуль отображения (90) для отображения полученной общей стоимости на экране устройства обработки данных кассовой системы или же на отдельном устройстве отображения (дисплее). При этом модуль отображения может быть в отдельных своих реализациях дополнительно сконфигурирован с возможностью отображения главного эталонного изображения каждого идентифицированного на подносе блюда и соответствующей ему стоимости на экране для предоставления покупателю возможности проверить все данные перед оплатой обеда. Главное изображение в выборке может задавать пользователь системы или же нейронная сеть сама может выбирать лучшее изображение из имеющихся в настоящий момент в выборке эталонных изображений блюда. Кроме того, может быть задано постоянное главное изображение блюда, хранящееся отдельно от выборки изображений блюда и не меняющееся со временем.Next, the received total cost is transmitted to the display module (90) to display the received total cost on the screen of the data processing device of the cash system or on a separate display device (display). At the same time, the display module can be additionally configured in its individual implementations with the ability to display the main reference image of each dish identified on the tray and the corresponding value on the screen to enable the buyer to verify all the data before paying for lunch. The main image in the sample can be set by the user of the system, or the neural network itself can select the best image from the reference images of the dish currently available in the sample. In addition, a permanent main image of the dish can be set, stored separately from the sample image of the dish and not changing over time.
При несовпадении данных, представленных на экране, с блюдами на подносе покупатель может обратиться к кассиру или администратору, для решения проблемы и для повторной идентификации и подсчета общей стоимости обеда. Следует отметить, что такие ситуации крайне редки, но нельзя исключать малейшую вероятность ошибки. После успешного подсчета общей стоимости обеда покупатель оплачивает счет наличными или безналичными средствами и получает чек от кассира или непосредственно из платежного терминала.If the data displayed on the screen do not match the dishes on the tray, the buyer can contact the cashier or administrator to solve the problem and to re-identify and calculate the total cost of the meal. It should be noted that such situations are extremely rare, but the slightest probability of error cannot be ruled out. After successfully calculating the total cost of lunch, the buyer pays the bill in cash or non-cash and receives a check from the cashier or directly from the payment terminal.
Кроме того, как сейчас принято на множестве предприятий общественного питания, в меню часто присутствуют комплексные обеды (действующие в определенные часы). Для такого случая модуль подсчета общей стоимости (80) может также обладать своей ИНС, сконфигурированной для сопоставления названий идентифицированных блюд с названиями блюд, входящих в комплексный обед. Если все блюда на подносе соответствуют категории комплексного обеда, то модуль расчета общей стоимости автоматически выдает установленную стоимость. В этом случае на экране может просто высветиться надпись: «Комплексный обед» и его стоимость, что упрощает проверку покупателем, поскольку он знает, что взял блюда комплексного обеда. Следует отметить, что данная ИНС настроена на работу только в определенно заданные часы, заданные заранее пользователем системы.In addition, as is now common practice in many catering establishments, the menu often contains set meals (valid at certain hours). For this case, the module for calculating the total cost (80) may also have its own ANN, configured to compare the names of the identified dishes with the names of dishes included in the complex lunch. If all the dishes on the tray correspond to the category of complex lunch, then the module for calculating the total cost automatically issues the set cost. In this case, the inscription “Complex lunch” and its cost can simply be displayed on the screen, which simplifies the check by the buyer, since he knows that he took the dishes of the complex lunch. It should be noted that this ANN is configured to work only at specific hours set in advance by the system user.
В отдельных реализациях кассовая система дополнительно содержит платежный терминал (не показан на фиг. 1) для предоставления покупателю возможности совершать оплату, при этом модуль отображения (90) устройства обработки данных дополнительно сконфигурирован для вывода полученной общей стоимости на платежный терминал. В таком случае, по факту, кассовая система может сама выполнить все необходимые операции автоматически, а, следовательно, кассир на таком предприятии общественного питания не требуется. То есть сама кассовая система выступает в качестве «автоматического кассира». Такое решение способствует повышению точности и скорости обслуживания покупателей. Но, как отмечено ранее, нельзя исключать вероятность ошибки, так что человек для контроля работы системы все-таки требуется. При этом заявляемое решение экономически выгодно особенно для большого предприятия общественного питания, поскольку кассовая система реализована стандартными средствами видеонаблюдения и для ее обслуживания и контроля нужен только один человек, а не несколько кассиров, чья вероятность ошибки тоже присутствует.In some implementations, the cash system further comprises a payment terminal (not shown in FIG. 1) to enable a customer to make a payment, while the display module (90) of the data processing device is further configured to output the resulting total cost to the payment terminal. In this case, in fact, the cash system can itself perform all the necessary operations automatically, and, therefore, the cashier at such a catering enterprise is not required. That is, the cash system itself acts as an “automatic cashier”. This solution improves the accuracy and speed of customer service. But, as noted earlier, the probability of error cannot be ruled out, so a person is nevertheless required to control the operation of the system. At the same time, the claimed solution is economically advantageous especially for a large catering enterprise, since the cash register system is implemented using standard video surveillance tools and only one person is needed for its maintenance and control, and not several cashiers, whose probability of error is also present.
Далее будет описан пример конкретной реализации способа идентификации блюд на подносе. На фиг. 2 представлена блок-схема одного из вариантов реализации способа идентификации блюд на подносе.Next, an example of a specific implementation of a method for identifying dishes on a tray will be described. In FIG. 2 is a flow chart of one embodiment of a method for identifying dishes on a tray.
Указанный способ выполняется уже описанной выше кассовой системой, содержащей, по меньшей мере одно устройство обработки данных, по меньшей мере одно устройство захвата изображений и память, хранящую базу данных блюд. Способ содержит этапы, на которых:The above method is performed by the cash register system described above, comprising at least one data processing device, at least one image capturing device and a memory storing a food database. The method comprises the steps of:
(100) получают видеоданные от устройства захвата изображений в режиме реального времени, причем упомянутое устройство захвата изображений получает видеоданные из области, в которой располагается поднос, содержащий все взятые покупателем блюда;(100) receiving video data from a real-time image capturing apparatus, said image capturing apparatus receiving video data from an area in which a tray containing all dishes taken by a customer is located;
(200) выполняют анализ полученных видеоданных с целью обнаружения в кадре подноса с едой и получения изображения упомянутого подноса;(200) perform an analysis of the obtained video data in order to detect a tray of food in the frame and obtain an image of the tray;
(300) определяют на полученном изображении подноса с едой отдельные предметы посуды;(300) determine the individual items of utensils on the resulting image of the food tray;
(400) выполняют идентификацию с использованием искусственной нейронной сети всех блюд на каждом из полученных изображений отдельных предметов посуды, причем идентификация осуществляется путем сравнения изображения каждого блюда с по меньшей мере, одним эталонным изображением блюда, содержащимся в базе данных блюд;(400) perform identification using an artificial neural network of all dishes on each of the obtained images of individual dishes, and identification is carried out by comparing the image of each dish with at least one reference image of the dish contained in the database of dishes;
(500) получают из базы данных блюд стоимость каждого идентифицированного блюда и(500) receive from the database of dishes the cost of each identified dish and
(600) подсчитывают общую стоимость всех блюд, располагающихся на подносе; а также(600) calculate the total cost of all dishes on the tray; and
(700) отображают полученную общую стоимость на экране.(700) display the resulting total value on the screen.
Следует еще раз отметить, что данный способ может быть реализован посредством использования охарактеризованной ранее кассовой системы и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации кассовой системы предприятия общественного питания для идентификации блюд на подносе.It should be noted once again that this method can be implemented using the previously described cash register system and, therefore, can be expanded and refined with all of the same particular execution options that have already been described above for the implementation of the cash system of a catering establishment for identifying dishes on a tray .
Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.In addition, embodiments of the present group of inventions may be implemented using software, hardware, software logic, or a combination thereof. In this embodiment, program logic, software, or a set of instructions are stored on one or more of various conventional computer-readable storage media.
В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) компьютерной системой, например, такой как компьютер. При этом носитель данных может являться энергонезависимым машиночитаемым носителем данных.In the context of this description, a “computer-readable storage medium” may be any medium or means that may contain, store, transmit, distribute or transport instructions (commands) for their use (execution) by a computer system, such as a computer. Moreover, the storage medium may be a non-volatile computer-readable storage medium.
При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.If necessary, at least part of the various operations described in the description of this solution can be performed in a different order than that presented and / or simultaneously with each other.
Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.Although this technical solution has been described in detail in order to illustrate the currently most necessary and preferred embodiments, it should be understood that the present invention is not limited to the disclosed embodiments, and furthermore, it is intended to modify and various other combinations of features from the described embodiments. For example, it should be understood that the present invention contemplates that, to the extent possible, one or more features of any embodiment may be combined with another one or more features of any other embodiment.
Claims (43)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020102390A RU2724797C1 (en) | 2020-01-22 | 2020-01-22 | Cash register system and method for identification of courses on tray |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020102390A RU2724797C1 (en) | 2020-01-22 | 2020-01-22 | Cash register system and method for identification of courses on tray |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2724797C1 true RU2724797C1 (en) | 2020-06-25 |
Family
ID=71135935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020102390A RU2724797C1 (en) | 2020-01-22 | 2020-01-22 | Cash register system and method for identification of courses on tray |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2724797C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393230A (en) * | 2021-07-07 | 2021-09-14 | 苏州交驰人工智能研究院有限公司 | Dish settlement method, device, equipment, medium and system in restaurant |
| CN116189358A (en) * | 2023-02-24 | 2023-05-30 | 南京市商朝时代电子有限公司 | Intelligent cash register system with dish visual recognition function and cash register |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9524450B2 (en) * | 2015-03-04 | 2016-12-20 | Accenture Global Services Limited | Digital image processing using convolutional neural networks |
| US20170351936A1 (en) * | 2014-12-17 | 2017-12-07 | Nokia Technologies Oy | Object detection with neural network |
| CN108034839A (en) * | 2017-12-12 | 2018-05-15 | 福州大学 | The method of lepidolite suspension roasting defluorinate |
| RU2672171C1 (en) * | 2017-10-27 | 2018-11-12 | Игорь Валентинович Михайлов | Recommendations preparation method based on the user abilities computerized assessment |
-
2020
- 2020-01-22 RU RU2020102390A patent/RU2724797C1/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170351936A1 (en) * | 2014-12-17 | 2017-12-07 | Nokia Technologies Oy | Object detection with neural network |
| US9524450B2 (en) * | 2015-03-04 | 2016-12-20 | Accenture Global Services Limited | Digital image processing using convolutional neural networks |
| RU2672171C1 (en) * | 2017-10-27 | 2018-11-12 | Игорь Валентинович Михайлов | Recommendations preparation method based on the user abilities computerized assessment |
| CN108034839A (en) * | 2017-12-12 | 2018-05-15 | 福州大学 | The method of lepidolite suspension roasting defluorinate |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393230A (en) * | 2021-07-07 | 2021-09-14 | 苏州交驰人工智能研究院有限公司 | Dish settlement method, device, equipment, medium and system in restaurant |
| CN116189358A (en) * | 2023-02-24 | 2023-05-30 | 南京市商朝时代电子有限公司 | Intelligent cash register system with dish visual recognition function and cash register |
| CN116189358B (en) * | 2023-02-24 | 2023-12-12 | 南京市商朝时代电子有限公司 | Intelligent cash register system with dish visual recognition function and cash register |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108922026B (en) | Replenishment management method and device for vending machine and user terminal | |
| US11151427B2 (en) | Method and apparatus for checkout based on image identification technique of convolutional neural network | |
| CN111626681B (en) | Image recognition system for inventory management | |
| RU2739542C1 (en) | Automatic registration system for a sales outlet | |
| CN109214806A (en) | Self-help settlement method, apparatus and storage medium | |
| CN107767590A (en) | Automatic identification commercialization bar code electronic scale and Automatic identification method | |
| CN111080493B (en) | Dish information identification method and device and dish self-service settlement system | |
| CN103034839A (en) | Canteen payment system and method based on image recognition technology | |
| WO2020215952A1 (en) | Object recognition method and system | |
| RU2695056C1 (en) | System and method for detecting potential fraud on the part of a cashier, as well as a method of forming a sampling of images of goods for training an artificial neural network | |
| RU2724797C1 (en) | Cash register system and method for identification of courses on tray | |
| US20180039841A1 (en) | Object Recognition for Bottom of Basket Detection | |
| CN107730321A (en) | A kind of identification pricing system based on canteen characteristics of image | |
| EP2570967A1 (en) | Semi-automatic check-out system and method | |
| CN110826481A (en) | Data processing method, commodity identification method, server and storage medium | |
| US11562338B2 (en) | Automated point of sale systems and methods | |
| CN113888254A (en) | Shelf commodity management method and electronic equipment | |
| US20220222844A1 (en) | Method, device, and program for measuring food | |
| CN109858448A (en) | Item identification method and equipment under a kind of public safety | |
| JP2016177433A (en) | Commodity registration device and commodity registration method | |
| CN111415328B (en) | Method and device for determining article analysis data and electronic equipment | |
| CN114358881A (en) | Self-service settlement method, device and system | |
| CN113516469B (en) | Unmanned supermarket vending system and vending method based on deep learning and eye tracking | |
| CN116524646B (en) | Vending cabinet and out-of-stock linkage recommendation processing method, vending cabinet system and storage medium | |
| CN115936794A (en) | Agricultural product transaction automatic weighing method and system based on image recognition |