WO2023062558A1 - Intelligent self-checkout terminal - Google Patents

Intelligent self-checkout terminal Download PDF

Info

Publication number
WO2023062558A1
WO2023062558A1 PCT/IB2022/059776 IB2022059776W WO2023062558A1 WO 2023062558 A1 WO2023062558 A1 WO 2023062558A1 IB 2022059776 W IB2022059776 W IB 2022059776W WO 2023062558 A1 WO2023062558 A1 WO 2023062558A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
movement
class
attribute
presentation
Prior art date
Application number
PCT/IB2022/059776
Other languages
French (fr)
Inventor
Mehdi AFRAITE-SEUGNET
Original Assignee
Mo-Ka
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mo-Ka filed Critical Mo-Ka
Publication of WO2023062558A1 publication Critical patent/WO2023062558A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles

Definitions

  • the present invention relates to cashing systems, and more particularly to automatic cashing terminals.
  • automated payment terminals means the devices or terminals, commonly called self-service checkouts, automatic checkouts or even, in English, “self-service checkouts”, generally placed at an exit from a point of sale allowing the customer to scan their own purchases.
  • these automatic payment terminals comprise optical readers, commonly called “scanners”, able to read a barcode associated with each article.
  • scanners can be manipulated by hand by the customer (barcode scanner) or incorporated into the cash counter.
  • the automated reading of barcodes is at the heart of the collection procedure, which is entirely based on the identifiers collected by the scanners.
  • the presence of more than one barcode on the item (such as a promotional barcode and an initial barcode or the barcode of an element of a pack and the barcode of the pack), or a total or partial absence of a barcode on the item (due, for example, to a stain, a scratch, a deformation, or a crumpling of the packaging) disrupt the procedure of collection with all the resulting inconveniences.
  • Another disadvantage of the existing automatic payment terminals to be scanned is that they increase the risk of unknown shrinkage (theft), in particular via fraudulent acts consisting in modifying the barcodes of articles or, more generally, via a change voluntary barcodes or labels. Verification by the automatic payment terminal of a correspondence between an expected weight of the scanned article and a measured weight can be foiled by reducing the weight of the article deposited on the scale to the weight associated with the scanned barcode.
  • An object of the present invention is to remedy the aforementioned drawbacks.
  • Another object of the present invention is to accompany and assist the customer when going through the automatic checkout.
  • Another object of the present invention is to avoid shrinkage and unintentional errors during a collection procedure.
  • Another object of the present invention is to reduce the customer's automatic checkout time.
  • an automatic payment terminal comprising - a first image sensor having a first field of vision covering at least partially a presentation space intended to receive an item to be recorded by the automatic payment terminal; - a processing unit capable of - detecting in a plurality of successive images at least partially acquired by the first image sensor a moving object in the presentation space; - identify, in said object, a hand and an article, the article being gripped by the hand during at least part of the movement of the object; - determining a first attribute of the identified article; - recognizing with a first confidence index said article on the basis of at least said first attribute; - determining a second attribute of the gripping posture of the article and classifying this gripping posture in a first plurality of predefined classes on the basis of at least said second attribute and/or determining a third attribute of the movement of the article when this article is grasped by the hand and classifying this movement in a second plurality of predefined classes on the basis of at least said third attribute; - generating
  • the second attribute is chosen from a list comprising the number of fingers of the hand which take part in gripping the article, the surfaces of the hand which take part in gripping the article;
  • the first plurality of classes comprises a first class in which the palm of the hand participates in gripping the article;
  • the third attribute is chosen from a list comprising the speed of the movement of the article, the trajectory of the movement of the article, a rotational movement of the article;
  • the second plurality of classes comprises a second class in which the speed of the movement is greater than a predefined threshold speed, and/or a third class in which the trajectory of the movement is substantially at the limit of the presentation space, and/ or a fourth class in which the motion includes rotational motion;
  • the generated message includes, when the class of the gripping posture is the first class, an alert intended for a checkout staff;
  • - the message generated includes, when the class of movement of the article is the fourth class, an indication relating to a predefined presentation of the
  • the figure schematically illustrates a first perspective view of an automatic payment terminal according to various embodiments
  • the figure schematically illustrates a second perspective view of the automatic payment terminal according to various embodiments
  • the figure schematically illustrates a third perspective view of the payment terminal according to various embodiments
  • the figure schematically illustrates the operation of the automatic payment terminal according to various embodiments.
  • an automatic payment terminal 10 able to manage collection operations in a point of sale.
  • a point of sale means, here, any place of physical self-service retail sale, regardless of its size or its field of activity, where a customer can freely compose his shopping basket, before going to the automatic payment terminal 10 to pay for purchases.
  • Collection operations means any activity relating to a collection procedure such as the identification and registration of items, informing the customer of the registered items, assisting the customer in the procedure of collection, management of one or more payment methods, invoicing, printing or communication of a receipt, management of customer loyalty, and/or management of commercial advantages.
  • the automatic collection terminal 10 comprises a processing unit 1 connected to a plurality of cash register peripherals or, more generally, to information input and/or output devices used during a collection procedure.
  • the processing unit 1 is, in one embodiment, a microcomputer, a server or, in general, calculation means arranged inside a piece of furniture 2 of the terminal 10 for automatic payment.
  • the input and/or output devices fitted to the automatic payment terminal 10 include, for example, a possibly touch-sensitive screen 3 , a keyboard, a payment device such as an electronic payment terminal 4 and/or an automatic coin mechanism , a receipt printer, a loudspeaker, semaphores, one or more scales 5 - 7 .
  • the automatic payment terminal 10 comprises a side scale 6 integrated into a side basket support 8 and/or a central scale 5 integrated into the upper face of the cabinet 2 .
  • the automatic payment terminal 10 also comprises an additional scale 7 making it possible to obtain a price for one or more categories of articles such as fruits and vegetables.
  • the automatic payment terminal 10 also comprises one or more image sensors 11 - 14 .
  • These image sensors 11 - 14 are, for example, 2D cameras or 3D cameras such as time-of-flight cameras, stereoscopic cameras, or structured light cameras.
  • 3D cameras provide an estimation of the shape and/or the volume of the captured object, without resorting to multi-view processing.
  • each of the image sensors 11 - 14 is arranged so that its field of vision 21 - 24 at least partially covers a space 9 (or a volume) of presentation intended to receive at least one article to be recorded by the terminal 10 d automatic collection.
  • the upper face of the cabinet 2 is, in one embodiment, included in the base of the space 9 of presentation.
  • this object is at least partially in the field of vision 21 - 24 of at least one of the image sensors 11 - 14 .
  • the presentation space 9 is included in intersections of the fields of vision 21 - 24 of the image sensors 11 - 14 so that an object present therein is included in the fields of vision 21 - 24 of at least two sensors 11 - 14 image.
  • At least one of the image sensors 11 - 14 has a substantially vertical shooting axis. In other words, at least one of the image sensors 11 - 14 is arranged above the presentation space 9 .
  • This image sensor 11 - 12 is, for example, fixed to the lower edge of the screen 3 overhanging the presentation space 9 so that it is sufficiently discreet and does not pick up an image of the customer's face.
  • the automatic payment terminal 10 comprises image sensors 13 - 14 on either side of the presentation space 9 .
  • These image sensors 13 - 14 are, for example, fixed to edges of the upper face of the cabinet 2 .
  • the image sensors 13 - 14 are advantageously arranged in the side edges of the upper face of the cabinet 2 so as not to cover the space facing the automatic payment terminal 10 where the customer is expected.
  • the image sensors 11 - 14 are, in one embodiment, arranged so that their optical axes (or shooting axes) are substantially concurrent at the center of the presentation space 9 .
  • the image sensors 11 - 14 are arranged so that the intersection of their fields of vision 21 - 24 covers a space 9 of presentation or a visual envelope of 40, 50 or 60 cm3 of visibility in 3D above. top of the piece of furniture 2 and a surface of 80, 90 or 100 cm2 of 2D visibility on the upper face of the piece of furniture 2 .
  • Each of the image sensors 11 - 14 is capable of acquiring a plurality of successive images, in particular a sequence of video images or a video stream, of at least part of the presentation space 9 .
  • the images acquired are, in one embodiment, 3D images provided by 3D image sensors 11 - 14 or obtained from multi-view 2D images acquired simultaneously by a combination of image sensors 11 - 14 .
  • one or more lighting devices 15 - 18 fixed to the edges of the upper face of the cabinet 2 and/or to the lower edge of the screen 3 can be considered.
  • a substantially uniform lighting facilitates the segmentation of the acquired images and, consequently, the identification of the objects present in the space 9 of presentation.
  • the processing unit 1 is capable of detecting (isolating or extracting) from a plurality of successive images at least partially acquired by an image sensor 11 - 14 an object 30 - 31 moving in the presentation space 9 .
  • the segmentation of the content of the images acquired by the static image sensors 11 - 14 into a background and a foreground comprising a moving object 30 - 31 can be obtained by any known method of the state of the art allowing detection of moving objects.
  • neural networks convolutional better known by the acronym CNN for “Convolutional Neural Networks”
  • CNN Convolutional Neural Networks
  • convolutional neural networks based on regions known as, according to English terminology, R-CNN for “Region-based Convolutional Neural Networks “”
  • convolutional neural networks based on fast regions known as, according to Anglo-Saxon terminology, Fast R-CNN for “Fast Region-based Convolutional Neural Networks”
  • convolutional neural networks based on faster regions Faster RCNN
  • These successive images can be 2D images acquired by any one of the image sensors 11 - 14 or 3D images provided by a 3D image sensor 11 - 14 or obtained by combining multi-view 2D images acquired simultaneously .
  • the image sensors 11 - 14 are, in one embodiment, oriented so as to have a substantially static background.
  • the upper face of the cabinet 2 of the automatic payment terminal 10 is preferably of uniform color.
  • An article 32-33 already present in the presentation space 9 is integrated into the background of the object 30-31 detected in motion.
  • the processing unit 1 identifies, in the object 30 - 31 in motion detected, a hand 30 (or, more generally, a gripping means) and an article 31 offered for sale by the point of sale.
  • the detected hand 30 can be a right hand, a left hand, or both hands.
  • the article 31 identified in the detected moving object 30 - 31 is gripped by the hand 30 during at least part of the movement of this object 30 - 31 in the presentation space 9 .
  • the gripping of the article 30 designates, here, the grip of the latter, to present it to the terminal 10 of automatic collection.
  • a sliding observation window of a predefined duration or comprising a predefined number of successive images acquired by at least one of the image sensors 11 - 14 makes it possible to follow the object 30 - 31 in motion detected.
  • this moving object 30 - 31 is not taken into consideration.
  • the condition according to which the article 31 is in prehension by the hand 30 during at least part of the movement of the object 30 - 31 detected in a plurality of successive images makes it possible to filter (i.e. not to take considered) image sequences where only the hand 30 or only an article 31 is detected in motion (for example, the movement of the hand 30 from the presentation space to the basket 36 to retrieve another article 34 - 35 to be recorded or the movement of an article 32 - 33 already recorded).
  • At least one attribute of the identified article 31 is determined by the processing unit 1 .
  • This attribute is any parameter, descriptor, or characteristic of the article 31 identified.
  • This attribute can, in fact, be a text (in particular, distinctive key words of Article 31 ), a drawing, a symbol, a logo, a barcode (one-dimensional or two-dimensional such as a code matrix or a quick response code better known as the English name QR code), a color and/or a plurality of colors, a dimension, a shape, and/or a volume.
  • Attributes are, in one embodiment, determined by means of optical character recognition visible on the article 31 (better known by the Anglo-Saxon terminologies “Optical Character Recognition” or OCR).
  • a semantic analysis advantageously makes it possible to correct or complete missing data in a textual attribute (for example, to correct "fromge” to "fromage”), by using for example the N-gram model.
  • the use of a plurality of attributes also makes it possible to exploit incomplete data, such as a drawing, a text, or a barcode determined only partially from the acquired images.
  • a plurality of attributes including at least one barcode are associated with the most wished and/or most expensive items at the point of sale. These attributes can be determined from any one of the images of the plurality of successive images having allowed the detection of the moving object 30 - 31 , when the article 31 is gripped by the hand 30 or when it is placed in the space 9 of presentation.
  • a plurality of attributes of the article 31 are determined so as to form an attribute vector.
  • the determined attribute or attributes is/are supplied as input to a recognition module of the processing unit 1 capable of estimating, with a coefficient, a score or a confidence index, the article 31 on the basis of at least this or these attributes.
  • the recognition module (CNN, R-CNN, Fast R-CNN, Faster R-CNN, or equivalent models) is, in one embodiment, based on machine learning trained with previously captured images of the section 31 . The higher the number of attributes, the higher the confidence index.
  • the weight of the article 31 determined by a variation of the weight measured by the side scale 6 and/or by the central scale 5 can be used as an additional verification attribute in addition to the visual attributes determined from acquired images. Recognizing Section 31 based on more than one attribute (eg, barcode and text or design) advantageously helps to combat shrinkage and unintentional errors.
  • the processing unit 1 When an attribute is sufficiently discriminating (such as the barcode), a single attribute can be used by the processing unit 1 to recognize the article 31 .
  • the processing unit 1 is, in one embodiment, capable of detecting an outline on the article 31 around this barcode.
  • This contour detection function advantageously makes it possible to check whether this barcode is printed directly on the article 31 or on a label glued/affixed thereto (the edges of this label form a contour around the barcode determined). Fraudulent manipulation of the barcodes can thus be detected.
  • At least one attribute of the gripping posture of the article 31 by the hand 30 is determined by the processing unit 1 .
  • This attribute is, for example, the number of fingers and/or the surfaces of the hand which participate in gripping the article 31 to present it to the automatic payment terminal 10 and/or the shape of the hand 30 ( closed hand or open hand).
  • Different gripping postures can, in fact, be adopted to present the article 31 such as bidigital postures, tridigital postures, quadridigital postures, postures involving the five fingers, or postures involving the palm of the hand.
  • the gripping posture of the article 31 adopted by the customer is classified by the processing unit 1 into a plurality of predefined classes on the basis of at least one attribute of this posture.
  • At least two classes of gripping postures are defined, namely a first class in which only the fingers participate in gripping the article 31 (i.e. the palm does not participate in the gripping). gripping), and a second class in which the palm of the hand 30 participates in gripping the article 31 .
  • the gripping posture is classified in the first class when only the fingers are in contact with the article, and in the second class when the palm of the hand 30 is in contact with the article 31 .
  • the gripping posture of this expected article 31 is a precision posture where only the fingers are spontaneously solicited to present it to the terminal 10 of collection automatic (ie without the palm of the hand 30 participating in this gripping). It is, in fact, considered that the gripping posture of article 31 depends on the client's motivation, in other words on his goal of the gripping posture adopted.
  • a gripping posture involving the palm of the hand 30 is interpreted by the processing unit 1 as being likely to want to conceal part of the article 31 comprising an attribute relevant for the recognition of this article 31 (such as the code -bars, a text or a distinctive design of this article 31 ).
  • a machine learning model (like CNN, R-CNN, Fast R-CNN, Faster R-CNN, or equivalents) regularly trained with grip postures adopted during Article 31 and other flight situations adopted during the correct recordings of this article 31 makes it possible, advantageously, to suitably classify and, therefore, interpret the gripping posture which is submitted to it.
  • Section 31 attributes may, in some embodiments, influence the classification (or interpretation) of a gripping posture as natural/spontaneous or intentional (to hide one or more relevant Section 31 attributes ).
  • At least one attribute of the movement of the article 31 when it is gripped in the presentation space 9 is determined by the processing unit 1 .
  • These attributes include, for example, the trajectory of the movement, the speed of the movement, and/or a rotational movement (even partial) of the article 31 .
  • These attributes aim to allow the classification or, more generally, an interpretation of the movement followed by the article 31 during its presentation at the automatic payment terminal 10 in a plurality of predefined classes (or categories).
  • the movement of article 31 is, for example, classified - in a first class when its speed (in particular, the average speed) is greater than a predefined threshold speed, this first class of movements not facilitating the recognition of article 31 or being considered/interpreted as doubtful movements (for example , rapid removal of an item 32 - 33 from the presentation space before the collection procedure is closed); - in a second class when the trajectory of the movement of the article 31 is substantially at the limit of the presentation space 9 (in particular, when the article 31 is partially outside the presentation space or, equivalently , when a part of this article 31 is not included in any of the fields of vision 21 - 24 ), this second class of movements not favoring the determination of attributes of the article 31 and, consequently, also its recognition ; - in a third class when it includes one or more rotational movements of the article 31 , this class of movements designating or, more generally, interpreted as being manipulations of the customer encountering difficulties in presenting / orienting the article 31 properly to save it.
  • a classification or a recognition/identification of the movement of Article 31 can be obtained by a measure of similarity between the signature of this movement and signatures predefined by a machine learning model or equivalent (multilayer neural networks or models of Hidden Markovs for example) trained with predefined scenarios (in particular, previously captured scenarios of theft and/or difficulty in recording Article 31 ).
  • a machine learning model or equivalent multilayer neural networks or models of Hidden Markovs for example
  • classification of a gripping posture of Article 31 or of a movement of Article 31 is understood to mean all operations making it possible to identify, recognize or interpret a gripping posture or a movement of the Article 31 based on attributes and pre-established knowledge (eg, rules, functions, or patterns).
  • the processing unit 1 processing is configured to generate a message associated with the class of the gripping posture of this article 31 and/or the class of the movement of this article 31 .
  • a predefined threshold value for example, 96%, 97%, 98% or 99%
  • This message includes, for example, - an indication relating to a presentation of article 31 allowing its recognition with a higher index of confidence when the class of the posture of prehension is the class in which the palm takes part in the prehension of article 31 and/or the class of the movement of the article 31 is the class in which the movement of the article 31 includes a rotational movement, and/or the class of the movement of the article 31 is the class in which the trajectory of the movement of the article 31 is substantially at the limit of the space 9 of presentation.
  • This indication is sent to the client; - an alert when the class of the gripping posture is the class in which the palm participates in the gripping of the article 31 , and/or the class of the movement of the article 31 is the class in which the speed of the movement of section 31 is greater than the predefined threshold speed.
  • This alert is, in one embodiment, issued to a cashier staff requiring their intervention or their attention.
  • the processing unit 1 updates the list of recorded articles. This update includes adding item 31 to the list when it is filed in the presentation space 9 or removing this item 31 from the list when it is removed from the presentation space 9 .
  • a customer places his basket 36 on the side support 8 and successively presents his items 31-35 to the automatic payment terminal 10 by depositing them on the upper face of the cabinet 2 .
  • This upper face of the cabinet 2 is included in the space 9 of presentation.
  • the processing unit 1 takes care of the segmentation of the images acquired by the image sensors 11 - 14 in order to detect therein an object 30 - 31 in motion.
  • An article 31 and a hand 30 are identified in this object 30-31 by the processing unit 1 , the article 31 being gripped by the hand 30 during at least part of the movement of the object 30-31 .
  • Characteristics i.e.
  • attributes of the article 31 , of the gripping posture of the article 31 by the hand 30 , and/or of the movement of the article 31 when it is gripped by the hand 30 are, respectively, supplied as input to corresponding classification modules.
  • a message associated with the determined class of the gripping posture and/or of the movement of the article 31 is generated by the processing unit 1 at intended for the customer and/or a cashier.
  • the customer completes the collection procedure by paying for his purchases and bagging his articles 31 - 35 .
  • a receipt, or more generally a physical or dematerialized proof of his purchase is subsequently issued to him.
  • the automatic payment terminal 10 operates in a network with other nodes of a network of entities. These entities may be self-checkout kiosks, shopping assistance devices integrated into portable shopping carts or wheeled shopping carts, reading or price information devices, or any other connected object. These interconnected entities can exist in the same point of sale or in distant points of sale.
  • the automatic collection terminal 10 places the computing resources of its processing unit 1 , when they are available (off-peak periods or periods of inactivity of the processing unit 1 ), available to the other entities. This results, advantageously, in optimal use of the calculation resources of the terminal 10 for automatic collection. A sharing of computing resources between several terminals 10 of automatic collection also makes it possible to improve their performance.
  • the automatic payment terminal 10 contributes to the supply, preferably after validation by an operator, of a database of 2D and/or 3D images of the article 31 , or of gripping postures adopted to present this article 31 , and/or movements followed by this article 31 during its presentation in order to improve, respectively, the classification models of this article 31 , the classification models of the gripping postures of this article 31 , and /or movement classification models followed by this article 31 when it is presented.
  • the embodiments described above allow a visual interpretation of the movements of the customer's hand during his presentation of the items at the automatic collection terminal 10 in order to assist him in the collection procedure, to speed up his passage at checkout, and reduce shrinkage and unintentional errors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a self-checkout terminal (10) comprising: - an image sensor (13) having a field of view at least partially covering a presentation space intended to receive an item to be registered; and - a processing unit capable of: - detecting, in a plurality of successive images, a moving object; - identifying, in said object, a hand (30) and an item (31); - recognising, with a confidence index, said item (31); - classifying the posture for gripping the item (31) into a first plurality of classes and/or classifying the movement of the item (31) into a second plurality of predefined classes; and - generating, when the item is recognised with a confidence index lower than a threshold value, a message associated with the class of the gripping posture and/or with the class of the movement of the item (31).

Description

Borne d’encaissement automatique intelligenteIntelligent automatic payment terminal
La présente invention a trait aux systèmes d'encaissement, et plus particulièrement aux bornes d'encaissement automatique.The present invention relates to cashing systems, and more particularly to automatic cashing terminals.
On entend par bornes d'encaissement automatique les dispositifs ou terminaux, couramment appelés caisses en libre-service, caisses automatiques ou encore, en anglais, « self-service checkouts», généralement disposés à une sortie d'un point de vente permettant au client de scanner lui-même ses achats.The term “automatic payment terminals” means the devices or terminals, commonly called self-service checkouts, automatic checkouts or even, in English, “self-service checkouts”, generally placed at an exit from a point of sale allowing the customer to scan their own purchases.
Pour identifier les articles qui lui sont successivement présentés par le client, ces bornes d'encaissement automatique comprennent des lecteurs optiques, communément appelés « scanners », aptes à lire un code-barres associé à chaque article. Ces scanners peuvent être manipulables à la main par le client (douchette code-barres) ou incorporés au comptoir de caisse. La lecture automatisée des codes-barres est au cœur de la procédure d'encaissement qui se base entièrement sur les identifiants recueillis par les scanners.To identify the articles which are successively presented to him by the customer, these automatic payment terminals comprise optical readers, commonly called “scanners”, able to read a barcode associated with each article. These scanners can be manipulated by hand by the customer (barcode scanner) or incorporated into the cash counter. The automated reading of barcodes is at the heart of the collection procedure, which is entirely based on the identifiers collected by the scanners.
Cependant, un inconvénient majeur des bornes d'encaissement automatique basées sur des scanners est que les articles doivent être manipulés avec des gestes précis pour présenter correctement le code-barres au scanner. Le client doit donc observer l'article pour y chercher l'emplacement du code-barres qui change d'un article à un autre, ensuite tourner son regard vers le scanner pour bien lui présenter l'emplacement du code-barres. De ce fait, le client est souvent amené à tourner, retourner, voire passer plusieurs fois le même article devant le scanner avant qu'il ne soit effectivement enregistré. Outre qu'elles sont consommatrices de temps, ces manipulations peuvent être pénibles et engendrer une tension nerveuse chez le client.However, a major drawback of scanner-based self-checkout kiosks is that items must be handled with precise gestures to properly present the barcode to the scanner. The customer must therefore observe the item to look for the location of the barcode, which changes from one item to another, then turn their gaze towards the scanner to show them the location of the barcode. As a result, the customer is often required to turn, turn over, or even pass the same article several times in front of the scanner before it is actually registered. In addition to being time-consuming, these manipulations can be painful and cause nervous tension in the client.
En cas d'échec répété du client à enregistrer un article, un personnel de caisse doit intervenir pour saisir manuellement les chiffres du code-barres. Ceci augmente encore le temps de passage en caisse du client et, par conséquent, aussi la file d'attente, ainsi qu'il nécessite la disponibilité d'un personnel de caisse. If the customer repeatedly fails to register an item, a cashier must intervene to manually enter the barcode digits. This further increases the customer's checkout time and, consequently, also the queue, as well as requiring the availability of a checkout staff.
Par ailleurs, la présence de plus d'un code-barres sur l'article (tel qu'un code-barres promotionnel et un code-barres initial ou le code-barres d'un élément d'un pack et le code-barres du pack), ou une absence totale ou partielle d'un code-barres sur l'article (à cause, par exemple, d'une tache, une rature, une déformation, ou un froissement de l'emballage) perturbent la procédure d'encaissement avec tous les inconvénients qui en découlent.In addition, the presence of more than one barcode on the item (such as a promotional barcode and an initial barcode or the barcode of an element of a pack and the barcode of the pack), or a total or partial absence of a barcode on the item (due, for example, to a stain, a scratch, a deformation, or a crumpling of the packaging) disrupt the procedure of collection with all the resulting inconveniences.
Un autre inconvénient des bornes d’encaissement automatique à scanner existantes est qu'elles augmentent le risque de la démarque inconnue (le vol), notamment via des agissements frauduleux consistant à modifier les codes-barres des articles ou, plus généralement, via un changement volontaire des codes-barres ou des étiquettes. Une vérification par la borne d'encaissement automatique d'une correspondance entre un poids attendu de l'article scanné et un poids mesuré peut être déjouée en ramenant le poids de l'article déposé sur la balance au poids associé au code-barres scanné. Another disadvantage of the existing automatic payment terminals to be scanned is that they increase the risk of unknown shrinkage (theft), in particular via fraudulent acts consisting in modifying the barcodes of articles or, more generally, via a change voluntary barcodes or labels. Verification by the automatic payment terminal of a correspondence between an expected weight of the scanned article and a measured weight can be foiled by reducing the weight of the article deposited on the scale to the weight associated with the scanned barcode.
Le recours à un personnel ou un(e) assistant(e) de caisse pour s'assurer que les clients présentent effectivement les articles à acheter et ne commettent pas d'erreurs volontaires ou involontaires n'est pas suffisamment efficace. Etant donné le nombre de clients souvent à des stades différents de la procédure d'encaissement à superviser simultanément, le personnel de caisse se limite dans la pratique à surveiller le son émis par la borne d'encaissement automatique indiquant l'enregistrement d'un article, sans prêter suffisamment attention à la désignation ou le prix de l'article enregistré. Ainsi, le changement du code-barres d'un premier article par celui d'un deuxième article ayant sensiblement le même poids passe souvent inaperçu par le personnel de caisse. La démarque inconnue est encore facilitée lorsque le client est en connivence avec la personne supervisant les bornes d'encaissement automatique.Relying on staff or a cashier to ensure that customers actually present the items to be purchased and do not make intentional or unintentional errors is not effective enough. Given the number of customers often at different stages of the cashing procedure to be supervised simultaneously, the cashier staff is limited in practice to monitoring the sound emitted by the automatic cashing terminal indicating the recording of an item , without paying sufficient attention to the designation or price of the registered item. Thus, changing the barcode of a first item to that of a second item having substantially the same weight often goes unnoticed by the checkout staff. Shrinkage is further facilitated when the customer is in collusion with the person supervising the automatic payment terminals.
Un objet de la présente invention est de remédier aux inconvénients précités.An object of the present invention is to remedy the aforementioned drawbacks.
Un autre objet de la présente invention est d'accompagner et assister le client lors de son passage en caisse automatique.Another object of the present invention is to accompany and assist the customer when going through the automatic checkout.
Un autre objet de la présente invention est d'éviter la démarque inconnue et les erreurs involontaires lors d'une procédure d'encaissement.Another object of the present invention is to avoid shrinkage and unintentional errors during a collection procedure.
Un autre objet de la présente invention est de réduire le temps de passage en caisse automatique du client.Another object of the present invention is to reduce the customer's automatic checkout time.
A cet effet, il est proposé, en premier lieu, une borne d'encaissement automatique comprenant
- un premier capteur d'image ayant un premier champ de vision couvrant au moins partiellement un espace de présentation destiné à recevoir un article à enregistrer par la borne d'encaissement automatique;
- une unité de traitement apte à
- détecter dans une pluralité d'images successives au moins partiellement acquises par le premier capteur d'image un objet en mouvement dans l'espace de présentation ;
- identifier, dans ledit objet, une main et un article, l'article étant en préhension par la main pendant au moins une partie du mouvement de l'objet ;
- déterminer un premier attribut de l'article identifié;
- reconnaitre avec un premier indice de confiance ledit article sur la base d'au moins ledit premier attribut;
- déterminer un deuxième attribut de la posture de préhension de l'article et classer cette posture de préhension dans une première pluralité de classes prédéfinies sur la base d'au moins ledit deuxième attribut et/ou déterminer un troisième attribut du mouvement de l'article lorsque cet article est en préhension par la main et classer ce mouvement dans une deuxième pluralité de classes prédéfinies sur la base d'au moins ledit troisième attribut;
- générer, lorsque l'article est reconnu avec un indice de confiance inférieur à une valeur seuil prédéfinie, un message associé à la classe de la posture de préhension et/ou à la classe du mouvement de l'article.To this end, it is proposed, first, an automatic payment terminal comprising
- a first image sensor having a first field of vision covering at least partially a presentation space intended to receive an item to be recorded by the automatic payment terminal;
- a processing unit capable of
- detecting in a plurality of successive images at least partially acquired by the first image sensor a moving object in the presentation space;
- identify, in said object, a hand and an article, the article being gripped by the hand during at least part of the movement of the object;
- determining a first attribute of the identified article;
- recognizing with a first confidence index said article on the basis of at least said first attribute;
- determining a second attribute of the gripping posture of the article and classifying this gripping posture in a first plurality of predefined classes on the basis of at least said second attribute and/or determining a third attribute of the movement of the article when this article is grasped by the hand and classifying this movement in a second plurality of predefined classes on the basis of at least said third attribute;
- generating, when the article is recognized with a confidence index lower than a predefined threshold value, a message associated with the class of the gripping posture and/or with the class of the movement of the article.
Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le deuxième attribut est choisi parmi une liste comprenant le nombre de doigts de la main qui participent à la préhension de l'article, les surfaces de la main qui participent à la préhension de l'article ;
- la première pluralité de classes comprend une première classe dans laquelle la paume de la main participe à la préhension de l'article ;
- le troisième attribut est choisi parmi une liste comprenant la vitesse du mouvement de l'article, la trajectoire du mouvement de l'article, un mouvement de rotation de l'article ;
- la deuxième pluralité de classes comprend une deuxième classe dans laquelle la vitesse du mouvement est supérieure à une vitesse seuil prédéfinie, et/ou une troisième classe dans laquelle la trajectoire du mouvement est sensiblement à la limite de l'espace de présentation, et/ou une quatrième classe dans laquelle le mouvement comprend un mouvement de rotation ;
- le message généré comprend, lorsque la classe de la posture de préhension est la première classe, une alerte à destination d'un personnel de caisse ;
- le message généré comprend, lorsque la classe du mouvement de l'article est la quatrième classe, une indication relative à une présentation prédéfinie de l'article, cette présentation permettant une reconnaissance de l'article avec un deuxième indice de confiance supérieur au premier indice de confiance ;
- le premier attribut est choisi parmi une liste comprenant un code-barres, une couleur, un texte, un dessin, un symbole, un logo, une dimension, une forme, un volume ;
- l'unité de traitement est, en outre, apte à détecter un contour sur l'article autour du code-barres ;
- la borne d’encaissement automatique comprend, en outre, un deuxième capteur d'image ayant un deuxième champ de vision couvrant au moins partiellement l'espace de présentation, un troisième capteur d'image ayant un troisième champ de vision couvrant au moins partiellement l'espace de présentation, le premier capteur d'image étant disposé au-dessus de l'espace de présentation, le deuxième et le troisième capteur étant disposés de part et d'autre de l'espace de présentation.Various additional features may be provided, alone or in combination:
- the second attribute is chosen from a list comprising the number of fingers of the hand which take part in gripping the article, the surfaces of the hand which take part in gripping the article;
- the first plurality of classes comprises a first class in which the palm of the hand participates in gripping the article;
- the third attribute is chosen from a list comprising the speed of the movement of the article, the trajectory of the movement of the article, a rotational movement of the article;
- the second plurality of classes comprises a second class in which the speed of the movement is greater than a predefined threshold speed, and/or a third class in which the trajectory of the movement is substantially at the limit of the presentation space, and/ or a fourth class in which the motion includes rotational motion;
- the generated message includes, when the class of the gripping posture is the first class, an alert intended for a checkout staff;
- the message generated includes, when the class of movement of the article is the fourth class, an indication relating to a predefined presentation of the article, this presentation allowing recognition of the article with a second confidence index greater than the first confidence index ;
- the first attribute is chosen from a list comprising a barcode, a color, a text, a design, a symbol, a logo, a dimension, a shape, a volume;
- the processing unit is, moreover, capable of detecting an outline on the article around the barcode;
- the automatic payment terminal further comprises a second image sensor having a second field of vision covering at least partially the presentation space, a third image sensor having a third field of vision covering at least partially the presentation space, the first image sensor being placed above the presentation space, the second and the third sensor being placed on either side of the presentation space.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation, laquelle est faite en référence aux dessins annexés dans lesquels :Other characteristics and advantages of the invention will appear more clearly and concretely on reading the following description of embodiments, which is made with reference to the appended drawings in which:
la figure illustre schématiquement une première vue en perspective d'une borne d'encaissement automatique selon divers modes de réalisation;the figure schematically illustrates a first perspective view of an automatic payment terminal according to various embodiments;
la figure illustre schématiquement une deuxième vue en perspective de la borne d'encaissement automatique selon divers modes de réalisation;the figure schematically illustrates a second perspective view of the automatic payment terminal according to various embodiments;
la figure illustre schématiquement une troisième vue en perspective de la borne d'encaissement selon divers modes de réalisation;the figure schematically illustrates a third perspective view of the payment terminal according to various embodiments;
la figure illustre schématiquement le fonctionnement de la borne d'encaissement automatique selon divers modes de réalisation.the figure schematically illustrates the operation of the automatic payment terminal according to various embodiments.
En se référant aux figures annexées, il est affiché une borne 10 d'encaissement automatique apte à gérer des opérations d'encaissement dans un point de vente. Un point de vente désigne, ici, tout lieu de vente physique au détail en libre-service, indépendamment de sa taille ou de son domaine d’activité, où un client peut librement composer son panier d’achat, avant de se rendre à la borne 10 d'encaissement automatique pour régler ses achats. On entend par "opérations d'encaissement" toute activité se rapportant à une procédure d'encaissement telle que l'identification et l'enregistrement d'articles, l'information du client des articles enregistrés, l'assistance du client dans la procédure d'encaissement, la gestion d'un ou plusieurs modes de paiement, la facturation, l’impression ou la communication d'un ticket de caisse, la gestion de la fidélité client, et/ou la gestion des avantages commerciaux.Referring to the appended figures, there is displayed an automatic payment terminal 10 able to manage collection operations in a point of sale. A point of sale means, here, any place of physical self-service retail sale, regardless of its size or its field of activity, where a customer can freely compose his shopping basket, before going to the automatic payment terminal 10 to pay for purchases. "Collection operations" means any activity relating to a collection procedure such as the identification and registration of items, informing the customer of the registered items, assisting the customer in the procedure of collection, management of one or more payment methods, invoicing, printing or communication of a receipt, management of customer loyalty, and/or management of commercial advantages.
La borne 10 d'encaissement automatique comprend une unité 1 de traitement connectée à une pluralité de périphériques de caisse ou, plus généralement, à des dispositifs d'entrée et/ou de sortie d'informations utilisés lors d'une procédure d'encaissement. L'unité 1 de traitement est, dans un mode de réalisation, un micro-ordinateur, un serveur ou, de façon générale, des moyens de calcul disposés à l'intérieur d'un meuble 2 de la borne 10 d'encaissement automatique.The automatic collection terminal 10 comprises a processing unit 1 connected to a plurality of cash register peripherals or, more generally, to information input and/or output devices used during a collection procedure. The processing unit 1 is, in one embodiment, a microcomputer, a server or, in general, calculation means arranged inside a piece of furniture 2 of the terminal 10 for automatic payment.
Les dispositifs d'entrée et/ou de sortie équipant la borne 10 d'encaissement automatique comprennent, par exemple, un écran 3 éventuellement tactile, un clavier, un dispositif monétique tel qu'un terminal 4 de paiement électronique et/ou un monnayeur automatique, une imprimante de tickets de caisse, un haut-parleur, des sémaphores, une ou plusieurs balances 5-7. Dans un mode de réalisation, la borne 10 d'encaissement automatique comprend une balance 6 latérale intégrée à un support 8 latéral de panier et/ou une balance 5 centrale intégrée à la face supérieure du meuble 2. Dans un autre mode de réalisation, la borne 10 d'encaissement automatique comprend, en outre, une balance 7 additionnelle permettant d'obtenir un prix pour une ou plusieurs catégories d'articles tel que les fruits et légumes.The input and/or output devices fitted to the automatic payment terminal 10 include, for example, a possibly touch-sensitive screen 3 , a keyboard, a payment device such as an electronic payment terminal 4 and/or an automatic coin mechanism , a receipt printer, a loudspeaker, semaphores, one or more scales 5 - 7 . In one embodiment, the automatic payment terminal 10 comprises a side scale 6 integrated into a side basket support 8 and/or a central scale 5 integrated into the upper face of the cabinet 2 . In another embodiment, the automatic payment terminal 10 also comprises an additional scale 7 making it possible to obtain a price for one or more categories of articles such as fruits and vegetables.
La borne 10 d'encaissement automatique comprend, par ailleurs, un ou plusieurs capteurs 11-14 d'image. Ces capteurs 11-14 d'image sont, par exemple, des caméras 2D ou des caméras 3D telles que des caméras à temps de vol, des caméras stéréoscopiques, ou des caméras à lumière structurée. Avantageusement, des caméras 3D fournissent une estimation de forme et/ou le volume de l'objet capté, sans recourir à un traitement multi-vues.The automatic payment terminal 10 also comprises one or more image sensors 11 - 14 . These image sensors 11 - 14 are, for example, 2D cameras or 3D cameras such as time-of-flight cameras, stereoscopic cameras, or structured light cameras. Advantageously, 3D cameras provide an estimation of the shape and/or the volume of the captured object, without resorting to multi-view processing.
En reportant à la , chacun des capteurs 11-14 d'image est disposé de sorte que son champ de vision 21-24 couvre au moins partiellement un espace 9 (ou un volume) de présentation destiné à recevoir au moins un article à enregistrer par la borne 10 d'encaissement automatique. La face supérieure du meuble 2 est, dans un mode de réalisation, comprise dans la base de l'espace 9 de présentation. Lorsqu'un objet est introduit dans l'espace 9 de présentation, cet objet se trouve au moins partiellement dans le champ de vision 21-24 d'au moins un des capteurs 11-14 d'image. Dans un mode de réalisation, l'espace 9 de présentation est compris dans des intersections des champs de vision 21-24 des capteurs 11-14 d'image de sorte qu'un objet qui y est présent soit compris dans les champs de vision 21-24 d'au moins deux capteurs 11-14 d'image.By referring to the , each of the image sensors 11 - 14 is arranged so that its field of vision 21 - 24 at least partially covers a space 9 (or a volume) of presentation intended to receive at least one article to be recorded by the terminal 10 d automatic collection. The upper face of the cabinet 2 is, in one embodiment, included in the base of the space 9 of presentation. When an object is introduced into the presentation space 9 , this object is at least partially in the field of vision 21 - 24 of at least one of the image sensors 11 - 14 . In one embodiment, the presentation space 9 is included in intersections of the fields of vision 21 - 24 of the image sensors 11 - 14 so that an object present therein is included in the fields of vision 21 - 24 of at least two sensors 11 - 14 image.
Dans un mode de réalisation, au moins un des capteurs 11-14 d'image a un axe de prise de vue sensiblement vertical. Autrement dit, au moins un des capteurs 11-14 d'image est disposé au-dessus de l'espace 9 de présentation. Ce capteur 11-12 d'image est, par exemple, fixé au bord inférieur de l'écran 3 surplombant l'espace 9 de présentation de sorte qu'il soit suffisamment discret et ne capte pas d'image du visage du client.In one embodiment, at least one of the image sensors 11 - 14 has a substantially vertical shooting axis. In other words, at least one of the image sensors 11 - 14 is arranged above the presentation space 9 . This image sensor 11 - 12 is, for example, fixed to the lower edge of the screen 3 overhanging the presentation space 9 so that it is sufficiently discreet and does not pick up an image of the customer's face.
Dans un autre mode de réalisation, la borne 10 d'encaissement automatique comprend des capteurs 13-14 d'image de part et d'autre de l'espace 9 de présentation. Ces capteurs 13-14 d'image sont, par exemple, fixés à des rebords de la face supérieure du meuble 2. Les capteurs 13-14 d'images sont, avantageusement, disposés dans des rebords latéraux de la face supérieure du meuble 2 de façon à ne pas couvrir l'espace face à la borne 10 d'encaissement automatique où est attendu le client. Les capteurs 11-14 d'image sont, dans un mode de réalisation, disposés de sorte que leurs axes optiques (ou axes de prise de vue) soient sensiblement concourants au centre de l'espace 9 de présentation.In another embodiment, the automatic payment terminal 10 comprises image sensors 13 - 14 on either side of the presentation space 9 . These image sensors 13 - 14 are, for example, fixed to edges of the upper face of the cabinet 2 . The image sensors 13 - 14 are advantageously arranged in the side edges of the upper face of the cabinet 2 so as not to cover the space facing the automatic payment terminal 10 where the customer is expected. The image sensors 11 - 14 are, in one embodiment, arranged so that their optical axes (or shooting axes) are substantially concurrent at the center of the presentation space 9 .
Par exemple, les capteurs 11-14 d'image sont agencés de sorte que l'intersection de leurs champs de vision 21-24 couvre un espace 9 de présentation ou une enveloppe visuelle de 40, 50 ou 60 cm3 de visibilité en 3D au-dessus du meuble 2 et une surface de 80, 90 ou 100 cm2 de visibilité en 2D sur la face supérieure du meuble 2.For example, the image sensors 11 - 14 are arranged so that the intersection of their fields of vision 21 - 24 covers a space 9 of presentation or a visual envelope of 40, 50 or 60 cm3 of visibility in 3D above. top of the piece of furniture 2 and a surface of 80, 90 or 100 cm2 of 2D visibility on the upper face of the piece of furniture 2 .
Chacun des capteurs 11-14 d'image est apte à acquérir une pluralité d'images successives, notamment une séquence d'images vidéo ou un flux vidéo, d'au moins une partie de l'espace 9 de présentation. Les images acquises sont, dans un mode de réalisation, des images 3D fournies par des capteurs 11-14 d'image 3D ou obtenues à partir d'images 2D multi-vues acquises simultanément par une combinaison des capteurs 11-14 d'image. Afin de maîtriser la luminosité dans l'espace 9 de présentation et éviter les ombres, un ou plusieurs dispositifs 15-18 d'éclairage fixés à des rebords de la face supérieure du meuble 2 et/ou au bord inférieur de l'écran 3 peuvent être envisagés. Un éclairage sensiblement uniforme facilite la segmentation des images acquises et, par conséquent, l'identification des objets présents dans l'espace 9 de présentation.Each of the image sensors 11 - 14 is capable of acquiring a plurality of successive images, in particular a sequence of video images or a video stream, of at least part of the presentation space 9 . The images acquired are, in one embodiment, 3D images provided by 3D image sensors 11 - 14 or obtained from multi-view 2D images acquired simultaneously by a combination of image sensors 11 - 14 . In order to control the brightness in the presentation space 9 and avoid shadows, one or more lighting devices 15 - 18 fixed to the edges of the upper face of the cabinet 2 and/or to the lower edge of the screen 3 can be considered. A substantially uniform lighting facilitates the segmentation of the acquired images and, consequently, the identification of the objects present in the space 9 of presentation.
L'unité 1 de traitement est apte à détecter (isoler ou extraire) dans une pluralité d'images successives au moins partiellement acquises par un capteur 11-14 d'image un objet 30-31 en mouvement dans l'espace 9 de présentation. La segmentation du contenu des images acquises par les capteurs 11-14 d'image statiques en un arrière-plan et un premier plan comprenant un objet 30-31 en mouvement peut être obtenue par toute méthode connue de l'état de l'art permettant la détection d'objets mobiles. Ces méthodes comprennent, par exemples, les méthodes de soustraction de fond, les méthodes de recherche de contours en mouvement, ou des méthodes basées sur l'apprentissage automatique profond (dit, en anglais, « deep learning») telles que les réseaux de neurones convolutifs (plus connus sous l'acronyme CNN de l'anglais « Convolutional Neural Networks »), les réseaux de neurones convolutifs basés sur des régions (dit, selon une terminologie anglo-saxonne, R-CNN pour « Region-based Convolutional Neural Networks »), des réseaux de neurones convolutifs basés des régions rapides (dit, selon une terminologie anglo-saxonne, Fast R-CNN pour « Fast Region-based Convolutional Neural Networks »), des réseaux de neurones convolutifs basés des régions plus rapides (Faster RCNN), ou tout autre modèle équivalent. Ces images successives peuvent être des images 2D acquises par l'un quelconque des capteurs 11-14 d'image ou des images 3D fournies par un capteur 11-14 d'image 3D ou obtenues par combinaison d'images 2D multi-vues acquises simultanément. Afin de faciliter la détection d'un objet 30-31 en mouvement dans l'espace 9 de présentation, les capteurs 11-14 d'image sont, dans un mode de réalisation, orientés de façon à avoir un arrière-plan sensiblement statique. La face supérieure du meuble 2 de la borne 10 d'encaissement automatique est, de préférence, de couleur uniforme. Un article 32-33 déjà présent dans l'espace 9 de présentation est intégré à l'arrière-plan de l'objet 30-31 détecté en mouvement.The processing unit 1 is capable of detecting (isolating or extracting) from a plurality of successive images at least partially acquired by an image sensor 11 - 14 an object 30 - 31 moving in the presentation space 9 . The segmentation of the content of the images acquired by the static image sensors 11 - 14 into a background and a foreground comprising a moving object 30 - 31 can be obtained by any known method of the state of the art allowing detection of moving objects. These methods include, for example, background subtraction methods, moving edge search methods, or deep machine learning-based methods such as neural networks convolutional (better known by the acronym CNN for “Convolutional Neural Networks”), convolutional neural networks based on regions (known as, according to English terminology, R-CNN for “Region-based Convolutional Neural Networks “), convolutional neural networks based on fast regions (known as, according to Anglo-Saxon terminology, Fast R-CNN for “Fast Region-based Convolutional Neural Networks”), convolutional neural networks based on faster regions (Faster RCNN), or any other equivalent model. These successive images can be 2D images acquired by any one of the image sensors 11 - 14 or 3D images provided by a 3D image sensor 11 - 14 or obtained by combining multi-view 2D images acquired simultaneously . In order to facilitate the detection of a moving object 30 - 31 in the presentation space 9 , the image sensors 11 - 14 are, in one embodiment, oriented so as to have a substantially static background. The upper face of the cabinet 2 of the automatic payment terminal 10 is preferably of uniform color. An article 32-33 already present in the presentation space 9 is integrated into the background of the object 30-31 detected in motion.
L'unité 1 de traitement identifie, dans l'objet 30-31 en mouvement détecté, une main 30 (ou, plus généralement, un moyen de préhension) et un article 31 proposé à la vente par le point de vente. La main 30 détectée peut être une main droite, une main gauche, ou les deux mains. L'article 31 identifié dans l'objet 30-31 en mouvement détecté est en préhension par la main 30 pendant au moins une partie du mouvement de cet objet 30-31 dans l'espace 9 de présentation. La préhension de l'article 30 désigne, ici, la prise en main de celui-ci, pour le présenter à la borne 10 d'encaissement automatique. Une fenêtre d'observation glissante d'une durée prédéfinie ou comprenant un nombre prédéfini d'images successives acquises par au moins un des capteurs 11-14 d'image permet de suivre l'objet 30-31 en mouvement détecté. Lorsque seule la main 30 ou seul un article 31 est détecté en mouvement dans cette fenêtre d'observation, cet objet 30-31 en mouvement n'est pas pris en considération. La condition selon laquelle l'article 31 est en préhension par la main 30 pendant au moins une partie du mouvement de l'objet 30-31 détecté dans une pluralité d'images successives permet de filtrer (c.à.d. ne pas prendre en considération) les séquences d'images où seule la main 30 ou seul un article 31 est détecté en mouvement (par exemple, le mouvement de la main 30 depuis l'espace de présentation vers le panier 36 pour récupérer un autre article 34-35 à enregistrer ou le mouvement d'un article 32-33 déjà enregistré).The processing unit 1 identifies, in the object 30 - 31 in motion detected, a hand 30 (or, more generally, a gripping means) and an article 31 offered for sale by the point of sale. The detected hand 30 can be a right hand, a left hand, or both hands. The article 31 identified in the detected moving object 30 - 31 is gripped by the hand 30 during at least part of the movement of this object 30 - 31 in the presentation space 9 . The gripping of the article 30 designates, here, the grip of the latter, to present it to the terminal 10 of automatic collection. A sliding observation window of a predefined duration or comprising a predefined number of successive images acquired by at least one of the image sensors 11 - 14 makes it possible to follow the object 30 - 31 in motion detected. When only the hand 30 or only an article 31 is detected moving in this observation window, this moving object 30 - 31 is not taken into consideration. The condition according to which the article 31 is in prehension by the hand 30 during at least part of the movement of the object 30 - 31 detected in a plurality of successive images makes it possible to filter (i.e. not to take considered) image sequences where only the hand 30 or only an article 31 is detected in motion (for example, the movement of the hand 30 from the presentation space to the basket 36 to retrieve another article 34 - 35 to be recorded or the movement of an article 32 - 33 already recorded).
Au moins un attribut de l'article 31 identifié est déterminé par l'unité 1 de traitement. Cet attribut est tout paramètre, descripteur, ou caractéristique (dit, en anglais, « feature ») de l'article 31 identifié. Cet attribut peut, en effet, être un texte (notamment, des mots clés distinctifs de l'article 31), un dessin, un symbole, un logo, un code-barres (à une dimension ou à deux dimensions tel qu'un code matriciel ou un code à réponse rapide plus connu sous le nom anglais QR code), une couleur et/ou une pluralité de couleurs, une dimension, une forme, et/ou un volume. Des attributs sont, dans un mode de réalisation, déterminés au moyen d'une reconnaissance optique de caractères visibles sur l'article 31 (plus connue sous les terminologies anglo-saxonnes "Optical Character Recognition" ou OCR). Une analyse sémantique permet, avantageusement, de corriger ou de compléter une donnée manquante dans un attribut textuel (par exemple, corriger "fromge" en "fromage"), en utilisant par exemple le modèle des N-grammes. L'utilisation d'une pluralité d'attributs permet, également, d'exploiter des données incomplètes, tel qu'un dessin, un texte, ou un code-barres déterminés que partiellement à partir des images acquises.At least one attribute of the identified article 31 is determined by the processing unit 1 . This attribute is any parameter, descriptor, or characteristic of the article 31 identified. This attribute can, in fact, be a text (in particular, distinctive key words of Article 31 ), a drawing, a symbol, a logo, a barcode (one-dimensional or two-dimensional such as a code matrix or a quick response code better known as the English name QR code), a color and/or a plurality of colors, a dimension, a shape, and/or a volume. Attributes are, in one embodiment, determined by means of optical character recognition visible on the article 31 (better known by the Anglo-Saxon terminologies “Optical Character Recognition” or OCR). A semantic analysis advantageously makes it possible to correct or complete missing data in a textual attribute (for example, to correct "fromge" to "fromage"), by using for example the N-gram model. The use of a plurality of attributes also makes it possible to exploit incomplete data, such as a drawing, a text, or a barcode determined only partially from the acquired images.
Dans un mode de réalisation, une pluralité d'attributs comprenant au moins un code-barres est associée aux articles les plus convoités et/ou les plus chers dans le point de vente. Ces attributs peuvent être déterminés à partir de l'une quelconque des images de la pluralité d'images successives ayant permis la détection de l'objet 30-31 en mouvement, lorsque l'article 31 est en préhension par la main 30 ou lorsqu'il est posé dans l'espace 9 de présentation.In one embodiment, a plurality of attributes including at least one barcode are associated with the most coveted and/or most expensive items at the point of sale. These attributes can be determined from any one of the images of the plurality of successive images having allowed the detection of the moving object 30 - 31 , when the article 31 is gripped by the hand 30 or when it is placed in the space 9 of presentation.
De préférence, une pluralité d'attributs de l'article 31 sont déterminés de sorte à former un vecteur d'attributs. Le ou les attributs déterminés est/sont fourni(s) en entrée d'un module de reconnaissance de l'unité 1 de traitement apte à estimer, avec un coefficient, un score ou un indice de confiance, l'article 31 sur la base d'au moins cet ou ces attributs. Le module de reconnaissance (des modèles de type CNN, R-CNN, Fast R-CNN, Faster R-CNN, ou équivalents) est, dans un mode de réalisation, basé sur un apprentissage automatique entraîné avec des images précédemment capturées de l'article 31. Plus le nombre d'attributs est élevé, plus important est l'indice de confiance. Dans un mode de réalisation, le poids de l'article 31 déterminé par une variation du poids mesuré par la balance 6 latérale et/ou par la balance 5 centrale peut être utilisé comme un attribut additionnel de vérification en plus des attributs visuels déterminés à partir des images acquises. La reconnaissance de l'article 31 sur la base de plus d'un attribut (par exemple, un code-barres et un texte ou un dessin) permet avantageusement de lutter contre la démarque inconnue et les erreurs involontaires.Preferably, a plurality of attributes of the article 31 are determined so as to form an attribute vector. The determined attribute or attributes is/are supplied as input to a recognition module of the processing unit 1 capable of estimating, with a coefficient, a score or a confidence index, the article 31 on the basis of at least this or these attributes. The recognition module (CNN, R-CNN, Fast R-CNN, Faster R-CNN, or equivalent models) is, in one embodiment, based on machine learning trained with previously captured images of the section 31 . The higher the number of attributes, the higher the confidence index. In one embodiment, the weight of the article 31 determined by a variation of the weight measured by the side scale 6 and/or by the central scale 5 can be used as an additional verification attribute in addition to the visual attributes determined from acquired images. Recognizing Section 31 based on more than one attribute (eg, barcode and text or design) advantageously helps to combat shrinkage and unintentional errors.
Lorsqu'un attribut est suffisamment discriminant (tel que le code-barres), un seul attribut peut être utilisé par l'unité 1 de traitement pour reconnaitre l'article 31. Lorsque le code-barres figure parmi les attributs déterminés, l'unité 1 de traitement est, dans un mode de réalisation, apte à détecter un contour sur l'article 31 autour de ce code-barres. Cette fonction de détection de contour permet, avantageusement, de vérifier si ce code-barres est imprimé directement sur l'article 31 ou sur une étiquette collée/apposée sur celui-ci (les bords de cette étiquette forment un contour autour du code-barres déterminé). Une manipulation frauduleuse des codes-barres peut ainsi être détectée.When an attribute is sufficiently discriminating (such as the barcode), a single attribute can be used by the processing unit 1 to recognize the article 31 . When the barcode is among the determined attributes, the processing unit 1 is, in one embodiment, capable of detecting an outline on the article 31 around this barcode. This contour detection function advantageously makes it possible to check whether this barcode is printed directly on the article 31 or on a label glued/affixed thereto (the edges of this label form a contour around the barcode determined). Fraudulent manipulation of the barcodes can thus be detected.
Par ailleurs, au moins un attribut de la posture de préhension de l'article 31 par la main 30 est déterminé par l'unité 1 de traitement. Cet attribut est, par exemple, le nombre de doigts et/ou les surfaces de la main qui participent à la préhension de l'article 31 pour le présenter à la borne 10 d'encaissement automatique et/ou la forme de la main 30 (main fermée ou main ouverte). Différentes postures de préhension peuvent, en effet, être adoptées pour présenter l'article 31 telles que des postures bidigitales, des postures tridigitales, des postures quadridigitales, des postures faisant intervenir les cinq doigts, ou des postures faisant intervenir la paume de la main. La posture de préhension de l'article 31 adoptée par le client est classée par l'unité 1 de traitement dans une pluralité de classes prédéfinies sur la base d'au moins un attribut de cette posture.Furthermore, at least one attribute of the gripping posture of the article 31 by the hand 30 is determined by the processing unit 1 . This attribute is, for example, the number of fingers and/or the surfaces of the hand which participate in gripping the article 31 to present it to the automatic payment terminal 10 and/or the shape of the hand 30 ( closed hand or open hand). Different gripping postures can, in fact, be adopted to present the article 31 such as bidigital postures, tridigital postures, quadridigital postures, postures involving the five fingers, or postures involving the palm of the hand. The gripping posture of the article 31 adopted by the customer is classified by the processing unit 1 into a plurality of predefined classes on the basis of at least one attribute of this posture.
Dans un mode de réalisation, au moins deux classes de postures de préhension sont définies, à savoir une première classe dans laquelle seuls les doigts participent à la préhension de l'article 31 (c.à.d. la paume ne participe pas à la préhension), et une deuxième classe dans laquelle la paume de la main 30 participe à la préhension de l'article 31. Ainsi, en se basant sur les surfaces de la main 30 participant à la prise de l'article 31, la posture de préhension est classée dans la première classe lorsque seuls les doigts sont en contact avec l'article, et dans la deuxième classe lorsque la paume de la main 30 est en contact avec l'article 31.In one embodiment, at least two classes of gripping postures are defined, namely a first class in which only the fingers participate in gripping the article 31 (i.e. the palm does not participate in the gripping). gripping), and a second class in which the palm of the hand 30 participates in gripping the article 31 . Thus, based on the surfaces of the hand 30 involved in gripping the article 31 , the gripping posture is classified in the first class when only the fingers are in contact with the article, and in the second class when the palm of the hand 30 is in contact with the article 31 .
Lorsque la forme, la taille et/ou le poids de l'article 31 le permettent, la posture de préhension de cet article 31 attendue est une posture de précision où seuls les doigts sont spontanément sollicités pour le présenter à la borne 10 d'encaissement automatique (c.à.d. sans que la paume de la main 30 ne participe à cette préhension). Il est, en effet, considéré que la posture de préhension de l'article 31 dépend de la motivation du client, autrement dit de son but de la posture de préhension adoptée. Une posture de préhension faisant intervenir la paume de la main 30 est interprétée par l'unité 1 de traitement comme étant susceptible de vouloir dissimuler une partie de l'article 31 comprenant un attribut pertinent pour la reconnaissance de cet article 31 (tel que le code-barres, un texte ou un dessin distinctif de cet article 31). Un modèle d'apprentissage automatique (de type CNN, R-CNN, Fast R-CNN, Faster R-CNN, ou équivalents) régulièrement entraîné avec des postures de préhension adoptées lors des situations de vol de l'article 31 et d'autres adoptés lors des enregistrements corrects de cet article 31 permet, avantageusement, de convenablement classer et, donc, interpréter la posture de préhension qui lui est soumise.When the shape, the size and/or the weight of the article 31 allow it, the gripping posture of this expected article 31 is a precision posture where only the fingers are spontaneously solicited to present it to the terminal 10 of collection automatic (ie without the palm of the hand 30 participating in this gripping). It is, in fact, considered that the gripping posture of article 31 depends on the client's motivation, in other words on his goal of the gripping posture adopted. A gripping posture involving the palm of the hand 30 is interpreted by the processing unit 1 as being likely to want to conceal part of the article 31 comprising an attribute relevant for the recognition of this article 31 (such as the code -bars, a text or a distinctive design of this article 31 ). A machine learning model (like CNN, R-CNN, Fast R-CNN, Faster R-CNN, or equivalents) regularly trained with grip postures adopted during Article 31 and other flight situations adopted during the correct recordings of this article 31 makes it possible, advantageously, to suitably classify and, therefore, interpret the gripping posture which is submitted to it.
La forme (sphérique, cubique, ou cylindrique par exemple), les dimensions et/ou le poids de l'article 31 sont utilisés (ou pris en considération) par l'unité 1 de traitement dans la classification de la posture de préhension. Des attributs de l'article 31 peuvent, dans certains modes de réalisation, influencer la classification (ou l’interprétation) d'une posture de préhension comme étant naturelle/spontanée ou intentionnelle (pour cacher un ou plusieurs attributs pertinents de l'article 31).The shape (spherical, cubic, or cylindrical for example), the dimensions and/or the weight of the article 31 are used (or taken into consideration) by the processing unit 1 in the classification of the grip posture. Section 31 attributes may, in some embodiments, influence the classification (or interpretation) of a gripping posture as natural/spontaneous or intentional (to hide one or more relevant Section 31 attributes ).
Dans un autre mode de réalisation, au moins un attribut du mouvement de l'article 31 lorsqu'il est en préhension dans l'espace 9 de présentation est déterminé par l'unité 1 de traitement. Ces attributs comprennent, par exemple, la trajectoire du mouvement, la vitesse du mouvement, et/ou un mouvement de rotation (même partielle) de l'article 31. Ces attributs visent à permettre la classification ou, plus généralement, une interprétation du mouvement suivi par l'article 31 lors de sa présentation à la borne 10 d'encaissement automatique dans une pluralité de classes (ou de catégories) prédéfinies. Le mouvement de l'article 31 est, par exemple, classé
- dans une première classe lorsque sa vitesse (notamment, la vitesse moyenne) est supérieure à une vitesse seuil prédéfinie, cette première classe de mouvements ne facilitant pas la reconnaissance de l'article 31 ou étant considérés/interprétés comme des mouvements douteux (par exemple, un retrait rapide d'un article 32-33 de l'espace de présentation avant la clôture de la procédure d'encaissement);
- dans une deuxième classe lorsque la trajectoire du mouvement de l'article 31 est sensiblement à la limite de l'espace 9 de présentation (notamment, lorsque l'article 31 est partiellement en dehors de l'espace de présentation ou, de manière équivalente, lorsqu’une partie de cet article 31 n’est comprise dans aucun des champs de vision 21-24), cette deuxième classe de mouvements ne favorisant pas la détermination d'attributs de l'article 31 et, par conséquent, aussi sa reconnaissance;
- dans une troisième classe lorsqu'il comprend un ou plusieurs mouvements de rotation de l'article 31, cette classe de mouvements désignant ou, plus généralement, interprétés comme étant des manipulations du client rencontrant des difficultés à présenter/orienter convenablement l'article 31 pour l'enregistrer.In another embodiment, at least one attribute of the movement of the article 31 when it is gripped in the presentation space 9 is determined by the processing unit 1 . These attributes include, for example, the trajectory of the movement, the speed of the movement, and/or a rotational movement (even partial) of the article 31 . These attributes aim to allow the classification or, more generally, an interpretation of the movement followed by the article 31 during its presentation at the automatic payment terminal 10 in a plurality of predefined classes (or categories). The movement of article 31 is, for example, classified
- in a first class when its speed (in particular, the average speed) is greater than a predefined threshold speed, this first class of movements not facilitating the recognition of article 31 or being considered/interpreted as doubtful movements (for example , rapid removal of an item 32 - 33 from the presentation space before the collection procedure is closed);
- in a second class when the trajectory of the movement of the article 31 is substantially at the limit of the presentation space 9 (in particular, when the article 31 is partially outside the presentation space or, equivalently , when a part of this article 31 is not included in any of the fields of vision 21 - 24 ), this second class of movements not favoring the determination of attributes of the article 31 and, consequently, also its recognition ;
- in a third class when it includes one or more rotational movements of the article 31 , this class of movements designating or, more generally, interpreted as being manipulations of the customer encountering difficulties in presenting / orienting the article 31 properly to save it.
Une classification ou une reconnaissance/identification du mouvement de l'article 31 peut être obtenue par une mesure de similitude entre la signature de ce mouvement et des signatures prédéfinies par un modèle d'apprentissage automatique ou équivalents (des réseaux de neurones multicouches ou des modèles de Markov Cachés par exemple) entrainés avec des scénarios prédéfinis (notamment, des scénarios précédemment capturés de vol et/ou de difficulté à enregistrer l'article 31). A classification or a recognition/identification of the movement of Article 31 can be obtained by a measure of similarity between the signature of this movement and signatures predefined by a machine learning model or equivalent (multilayer neural networks or models of Hidden Markovs for example) trained with predefined scenarios (in particular, previously captured scenarios of theft and/or difficulty in recording Article 31 ).
On entend ici par classification d'une posture de préhension de l’article 31 ou d’un mouvement de l’article 31 toutes opérations permettant d’identifier, de reconnaitre ou d’interpréter une posture de préhension ou un mouvement de l’article 31 sur la base d’attributs et de connaissances préétablies (par exemple, des règles, des fonctions, ou des modèles).Here, classification of a gripping posture of Article 31 or of a movement of Article 31 is understood to mean all operations making it possible to identify, recognize or interpret a gripping posture or a movement of the Article 31 based on attributes and pre-established knowledge (eg, rules, functions, or patterns).
Lorsque l'indice de confiance avec lequel l'article 31 est reconnu par l'unité 1 de traitement est inférieur à une valeur seuil prédéfinie (par exemple, 96%, 97%, 98% ou 99%), l'unité 1 de traitement est configurée pour générer un message associé à la classe de la posture de préhension de cet article 31 et/ou à la classe du mouvement de cet article 31. Ce message (sonore et/ou visuelle) comprend, par exemple,
- une indication relative à une présentation de l'article 31 permettant sa reconnaissance avec un indice de confiance supérieur lorsque la classe de la posture de préhension est la classe dans laquelle la paume participe à la préhension de l'article 31 et/ou la classe du mouvement de l'article 31 est la classe dans laquelle le mouvement de l'article 31 comprend un mouvement de rotation, et/ou la classe du mouvement de l'article 31 est la classe dans laquelle la trajectoire du mouvement de l'article 31 est sensiblement à la limite de l'espace 9 de présentation. Cette indication est émise à destination du client;
- une alerte lorsque la classe de la posture de préhension est la classe dans laquelle la paume participe à la préhension de l'article 31, et/ou la classe du mouvement de l'article 31 est la classe dans laquelle la vitesse du mouvement de l'article 31 est supérieure à la vitesse seuil prédéfinie. Cette alerte est, dans un mode de réalisation, émise à destination d'un personnel de caisse requérant son intervention ou son attention.When the confidence index with which the article 31 is recognized by the processing unit 1 is lower than a predefined threshold value (for example, 96%, 97%, 98% or 99%), the processing unit 1 processing is configured to generate a message associated with the class of the gripping posture of this article 31 and/or the class of the movement of this article 31 . This message (audio and/or visual) includes, for example,
- an indication relating to a presentation of article 31 allowing its recognition with a higher index of confidence when the class of the posture of prehension is the class in which the palm takes part in the prehension of article 31 and/or the class of the movement of the article 31 is the class in which the movement of the article 31 includes a rotational movement, and/or the class of the movement of the article 31 is the class in which the trajectory of the movement of the article 31 is substantially at the limit of the space 9 of presentation. This indication is sent to the client;
- an alert when the class of the gripping posture is the class in which the palm participates in the gripping of the article 31 , and/or the class of the movement of the article 31 is the class in which the speed of the movement of section 31 is greater than the predefined threshold speed. This alert is, in one embodiment, issued to a cashier staff requiring their intervention or their attention.
Lorsque l'indice de confiance avec lequel l'article 31 est reconnu est supérieur ou égal à la valeur seuil prédéfinie, l'unité 1 de traitement met à jour la liste des articles enregistrés. Cette mise à jour comprend l'ajout de l'article 31 à la liste lorsqu'il est déposé dans l'espace 9 de présentation ou le retrait de cet article 31 de la liste lorsqu'il est retiré de l'espace 9 de présentation.When the confidence index with which the article 31 is recognized is greater than or equal to the predefined threshold value, the processing unit 1 updates the list of recorded articles. This update includes adding item 31 to the list when it is filed in the presentation space 9 or removing this item 31 from the list when it is removed from the presentation space 9 .
Dans un mode de réalisation, un client pose son panier 36 sur le support 8 latéral et présente successivement ses articles 31-35 à la borne 10 d'encaissement automatique en les déposant sur la face supérieure du meuble 2. Cette face supérieure du meuble 2 est comprise dans l'espace 9 de présentation. L'unité 1 de traitement se charge de la segmentation des images acquises par les capteurs 11-14 d'image pour y détecter un objet 30-31 en mouvement. Un article 31 et une main 30 sont identifiés dans cet objet 30-31 par l'unité 1 de traitement, l'article 31 étant en préhension par la main 30 pendant au moins une partie du mouvement de l'objet 30-31. Des caractéristiques (c.à.d. des attributs) de l'article 31, de la posture de préhension de l'article 31 par la main 30, et/ou du mouvement de l'article 31 lorsqu'il est en préhension par la main 30 sont, respectivement, fournies en entrée de modules de classification correspondants. Lorsque l'article est reconnu avec un indice de confiance inférieur à une valeur seuil prédéfini, un message associé à la classe déterminée de la posture de préhension et/ou du mouvement de l'article 31 est généré par l'unité 1 de traitement à destination du client et/ou d'un personnel de caisse. Lorsque l'ensemble des articles 31-35 du client sont reconnus avec un indice de confiance supérieur à la valeur seuil, le client termine la procédure d'encaissement en réglant ses achats et ensachant ses articles 31-35. Un ticket de caisse, ou plus généralement une preuve matérielle ou dématérialisée de son achat lui est subséquemment émise.In one embodiment, a customer places his basket 36 on the side support 8 and successively presents his items 31-35 to the automatic payment terminal 10 by depositing them on the upper face of the cabinet 2 . This upper face of the cabinet 2 is included in the space 9 of presentation. The processing unit 1 takes care of the segmentation of the images acquired by the image sensors 11 - 14 in order to detect therein an object 30 - 31 in motion. An article 31 and a hand 30 are identified in this object 30-31 by the processing unit 1 , the article 31 being gripped by the hand 30 during at least part of the movement of the object 30-31 . Characteristics (i.e. attributes) of the article 31 , of the gripping posture of the article 31 by the hand 30 , and/or of the movement of the article 31 when it is gripped by the hand 30 are, respectively, supplied as input to corresponding classification modules. When the article is recognized with a confidence index lower than a predefined threshold value, a message associated with the determined class of the gripping posture and/or of the movement of the article 31 is generated by the processing unit 1 at intended for the customer and/or a cashier. When all of the customer's articles 31 - 35 are recognized with a confidence index greater than the threshold value, the customer completes the collection procedure by paying for his purchases and bagging his articles 31 - 35 . A receipt, or more generally a physical or dematerialized proof of his purchase is subsequently issued to him.
Dans un autre mode de réalisation, la borne 10 d'encaissement automatique opère en réseau avec d'autres nœuds d'un réseau d'entités. Ces entités peuvent être des bornes d'encaissement automatiques, des dispositifs d'assistance à l'achat intégrés à des paniers portatifs ou à des chariots libre-service à roulettes, des dispositifs de relevé ou d'information sur le prix, ou tout autre objet connecté. Ces entités interconnectées peuvent exister dans un même point de vente ou dans des points de vente distants. La borne 10 d'encaissement automatique met les ressources de calcul de son unité 1 de traitement, lorsqu'elles sont disponibles (périodes creuses ou d'inactivité de l'unité 1 de traitement), à disposition des autres entités. Il en résulte, avantageusement, une utilisation optimale des ressources de calcul de la borne 10 d'encaissement automatique. Un partage des ressources de calcul entre plusieurs bornes 10 d'encaissement automatique permet également d'améliorer leurs performances.In another embodiment, the automatic payment terminal 10 operates in a network with other nodes of a network of entities. These entities may be self-checkout kiosks, shopping assistance devices integrated into portable shopping carts or wheeled shopping carts, reading or price information devices, or any other connected object. These interconnected entities can exist in the same point of sale or in distant points of sale. The automatic collection terminal 10 places the computing resources of its processing unit 1 , when they are available (off-peak periods or periods of inactivity of the processing unit 1 ), available to the other entities. This results, advantageously, in optimal use of the calculation resources of the terminal 10 for automatic collection. A sharing of computing resources between several terminals 10 of automatic collection also makes it possible to improve their performance.
En outre, la borne 10 d'encaissement automatique contribue à l'alimentation, de préférence après validation par un opérateur, d'une base de données d'images 2D et/ou 3D de l'article 31, ou de postures de préhension adoptées pour présenter cet article 31, et/ou de mouvements suivis par cet article 31 lors de sa présentation afin d'améliorer, respectivement, les modèles de classification de cet article 31, les modèles de classification des postures de préhension de cet article 31, et/ou des modèles de classification des mouvements suivis par cet article 31 lors de sa présentation. Il en résulte, avantageusement, des modèles de classification (d’identification ou de reconnaissance) évolutifs. Le client participe ainsi à la production de données à forte valeur ajoutée pour le point de vente.In addition, the automatic payment terminal 10 contributes to the supply, preferably after validation by an operator, of a database of 2D and/or 3D images of the article 31 , or of gripping postures adopted to present this article 31 , and/or movements followed by this article 31 during its presentation in order to improve, respectively, the classification models of this article 31 , the classification models of the gripping postures of this article 31 , and /or movement classification models followed by this article 31 when it is presented. This results, advantageously, in evolutionary classification (identification or recognition) models. The customer thus participates in the production of high value-added data for the point of sale.
Avantageusement, les modes de réalisation décrits ci-dessus permettent une interprétation visuelle des mouvements de la main du client lors de sa présentation des articles à la borne 10 d'encaissement automatique afin de l'assister dans la procédure d'encaissement, accélérer son passage en caisse, et réduire la démarque inconnue et les erreurs involontaires.Advantageously, the embodiments described above allow a visual interpretation of the movements of the customer's hand during his presentation of the items at the automatic collection terminal 10 in order to assist him in the collection procedure, to speed up his passage at checkout, and reduce shrinkage and unintentional errors.
Bien que la borne d'encaissement automatique soit décrite ci-dessus relativement à des modes de réalisation et à des variantes, l’homme du métier comprendra que ces modes de réalisation et variantes ne sont pas limitatifs et peuvent être combinés entre eux et/ou avec tout autre mode de réalisation équivalent.Although the automatic payment terminal is described above with respect to embodiments and variants, those skilled in the art will understand that these embodiments and variants are not limiting and can be combined with each other and/or with any other equivalent embodiment.

Claims (10)

  1. Borne (10) d'encaissement automatique comprenant
    - un premier capteur (11-14) d'image ayant un premier champ (21-24) de vision couvrant au moins partiellement un espace (9) de présentation destiné à recevoir un article (31) à enregistrer par la borne (10) d’encaissement automatique;
    - une unité (1) de traitement apte à
    - détecter dans une pluralité d'images successives au moins partiellement acquises par le premier capteur (21-24) d'image un objet (30-31) en mouvement dans l'espace (9) de présentation ;
    - identifier, dans ledit objet (30-31), une main (30) et un article (31), l'article (31) étant en préhension par la main (30) pendant au moins une partie du mouvement de l'objet (30-31);
    - déterminer un premier attribut de l'article (31) identifié;
    - reconnaitre avec un premier indice de confiance ledit article (31) sur la base d'au moins ledit premier attribut;
    - déterminer un deuxième attribut de la posture de préhension de l'article (31) et classer cette posture de préhension dans une première pluralité de classes prédéfinies sur la base d'au moins ledit deuxième attribut et/ou déterminer un troisième attribut du mouvement de l'article (31) lorsque cet article (31) est en préhension par la main (30) et classer ce mouvement dans une deuxième pluralité de classes prédéfinies sur la base d'au moins ledit troisième attribut;
    - générer, lorsque l'article (31) est reconnu avec un indice de confiance inférieur à une valeur seuil prédéfinie, un message associé à la classe de la posture de préhension et/ou à la classe du mouvement de l'article (31).    Automatic payment terminal ( 10 ) comprising
    - a first image sensor ( 11 - 14 ) having a first field ( 21 - 24 ) of vision at least partially covering a presentation space ( 9 ) intended to receive an article ( 31 ) to be recorded by the terminal ( 10 ) automatic collection;
    - a processing unit ( 1 ) capable of
    - detecting in a plurality of successive images at least partially acquired by the first image sensor ( 21-24 ) an object ( 30-31 ) moving in the presentation space ( 9 ) ;
    - identify, in said object ( 30 - 31 ), a hand ( 30 ) and an article ( 31 ), the article ( 31 ) being gripped by the hand ( 30 ) during at least part of the movement of the object ( 30 - 31 );
    - determining a first attribute of the item ( 31 ) identified;
    - recognizing with a first confidence index said article ( 31 ) on the basis of at least said first attribute;
    - determining a second attribute of the gripping posture of the article ( 31 ) and classifying this gripping posture in a first plurality of predefined classes on the basis of at least said second attribute and/or determining a third attribute of the movement of the article ( 31 ) when this article ( 31 ) is gripped by the hand ( 30 ) and classifying this movement into a second plurality of predefined classes on the basis of at least said third attribute;
    - generating, when the article ( 31 ) is recognized with a confidence index lower than a predefined threshold value, a message associated with the class of the grip posture and/or the class of the movement of the article ( 31 ) .
  2. Borne (10) d'encaissement automatique selon la revendication précédente, caractérisée en ce que le deuxième attribut est choisi parmi une liste comprenant le nombre de doigts de la main (30) qui participent à la préhension de l'article (31), les surfaces de la main (30) qui participent à la préhension de l'article (31).Automatic payment terminal ( 10 ) according to the preceding claim, characterized in that the second attribute is chosen from a list comprising the number of fingers of the hand ( 30 ) which take part in gripping the article ( 31 ), the surfaces of the hand ( 30 ) which assist in gripping the article ( 31 ).
  3. Borne (10) d'encaissement automatique selon la revendication précédente, caractérisée en ce que la première pluralité de classes comprend une première classe dans laquelle la paume de la main (30) participe à la préhension de l'article (31).Automatic payment terminal ( 10 ) according to the preceding claim, characterized in that the first plurality of classes comprises a first class in which the palm of the hand ( 30 ) takes part in gripping the article ( 31 ).
  4. Borne (10) d'encaissement automatique selon l'une quelconque des revendications précédentes, caractérisée en ce que le troisième attribut est choisi parmi une liste comprenant la vitesse du mouvement de l'article (31), la trajectoire du mouvement de l'article (31), un mouvement de rotation de l'article (31).Automatic payment terminal ( 10 ) according to any one of the preceding claims, characterized in that the third attribute is chosen from a list comprising the speed of movement of the article ( 31 ), the trajectory of the movement of the article ( 31 ), a rotational movement of the article ( 31 ).
  5. Borne (10) d'encaissement automatique selon la revendication précédente, caractérisée en ce que la deuxième pluralité de classes comprend une deuxième classe dans laquelle la vitesse du mouvement est supérieure à une vitesse seuil prédéfinie, et/ou une troisième classe dans laquelle la trajectoire du mouvement est sensiblement à la limite de l'espace (9) de présentation, et/ou une quatrième classe dans laquelle le mouvement comprend un mouvement de rotation.Automatic payment terminal ( 10 ) according to the preceding claim, characterized in that the second plurality of classes comprises a second class in which the speed of the movement is greater than a predefined threshold speed, and/or a third class in which the trajectory of the movement is substantially at the limit of the space ( 9 ) of presentation, and/or a fourth class in which the movement comprises a rotational movement.
  6. Borne (10) d'encaissement automatique selon la revendication 3, caractérisée en ce que le message généré comprend, lorsque la classe de la posture de préhension est la première classe, une alerte à destination d'un personnel de caisse.Automatic payment terminal ( 10 ) according to Claim 3, characterized in that the message generated comprises, when the class of the grip posture is the first class, an alert intended for a cashier.
  7. Borne (10) d'encaissement automatique selon la revendication 5, caractérisée en ce que le message généré comprend, lorsque la classe du mouvement de l'article (31) est la quatrième classe, une indication relative à une présentation prédéfinie de l'article (31), cette présentation permettant une reconnaissance de l'article (31) avec un deuxième indice de confiance supérieur au premier indice de confiance.Automatic payment terminal ( 10 ) according to claim 5, characterized in that the message generated comprises, when the class of movement of the article ( 31 ) is the fourth class, an indication relating to a predefined presentation of the article ( 31 ), this presentation allowing recognition of the article ( 31 ) with a second confidence index greater than the first confidence index.
  8. Borne (10) d'encaissement automatique selon l'une quelconque des revendications précédentes, caractérisée en ce que le premier attribut est choisi parmi une liste comprenant un code-barres, une couleur, un texte, un dessin, un symbole, un logo, une dimension, une forme, un volume.Automatic payment terminal ( 10 ) according to any one of the preceding claims, characterized in that the first attribute is chosen from a list comprising a barcode, a color, a text, a drawing, a symbol, a logo, a dimension, a shape, a volume.
  9. Borne (10) d'encaissement automatique selon la revendication précédente, caractérisée en ce que l'unité (1) de traitement est, en outre, apte à détecter un contour sur l'article (31) autour du code-barres.Terminal ( 10 ) for automatic collection according to the preceding claim, characterized in that the processing unit ( 1 ) is, moreover, capable of detecting an outline on the article ( 31 ) around the barcode.
  10. Borne (10) d'encaissement automatique selon l'une quelconque des revendications précédentes, caractérisée en ce qu’elle comprend, en outre, un deuxième capteur (13) d'image ayant un deuxième champ (23) de vision couvrant au moins partiellement l'espace (9) de présentation, un troisième capteur (14) d'image ayant un troisième champ (24) de vision couvrant au moins partiellement l'espace (9) de présentation, le premier capteur (11-12) d'image étant disposé au-dessus de l'espace (9) de présentation, le deuxième et le troisième capteur (13-14) étant disposés de part et d'autre de l'espace (9) de présentation.Automatic payment terminal ( 10 ) according to any one of the preceding claims, characterized in that it further comprises a second image sensor ( 13 ) having a second field ( 23 ) of vision covering at least partially the presentation space ( 9 ), a third image sensor ( 14 ) having a third field ( 24 ) of vision at least partially covering the presentation space ( 9 ), the first sensor ( 11 - 12 ) of image being arranged above the space ( 9 ) for presentation, the second and the third sensor ( 13 - 14 ) being arranged on either side of the space ( 9 ) for presentation.
PCT/IB2022/059776 2021-10-13 2022-10-12 Intelligent self-checkout terminal WO2023062558A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2110825 2021-10-13
FR2110825A FR3128048A1 (en) 2021-10-13 2021-10-13 Intelligent automatic payment terminal

Publications (1)

Publication Number Publication Date
WO2023062558A1 true WO2023062558A1 (en) 2023-04-20

Family

ID=78828030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2022/059776 WO2023062558A1 (en) 2021-10-13 2022-10-12 Intelligent self-checkout terminal

Country Status (2)

Country Link
FR (1) FR3128048A1 (en)
WO (1) WO2023062558A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060043189A1 (en) * 2004-08-31 2006-03-02 Sachin Agrawal Method and apparatus for determining the vertices of a character in a two-dimensional barcode symbol
US20120206337A1 (en) * 2000-10-03 2012-08-16 Qualcomm Incorporated Multiple camera control system
WO2019032307A1 (en) * 2017-08-07 2019-02-14 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US20200020112A1 (en) * 2018-07-16 2020-01-16 Accel Robotics Corporation Projected image item tracking system
WO2020222236A1 (en) * 2019-04-30 2020-11-05 Tracxone Ltd System and methods for customer action verification in a shopping cart and point of sale
FR3104304A1 (en) * 2019-12-05 2021-06-11 Knap Fraud detection system and method
US20210216785A1 (en) * 2020-01-10 2021-07-15 Everseen Limited System and method for detecting scan and non-scan events in a self check out process

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206337A1 (en) * 2000-10-03 2012-08-16 Qualcomm Incorporated Multiple camera control system
US20060043189A1 (en) * 2004-08-31 2006-03-02 Sachin Agrawal Method and apparatus for determining the vertices of a character in a two-dimensional barcode symbol
WO2019032307A1 (en) * 2017-08-07 2019-02-14 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US20200020112A1 (en) * 2018-07-16 2020-01-16 Accel Robotics Corporation Projected image item tracking system
WO2020222236A1 (en) * 2019-04-30 2020-11-05 Tracxone Ltd System and methods for customer action verification in a shopping cart and point of sale
FR3104304A1 (en) * 2019-12-05 2021-06-11 Knap Fraud detection system and method
US20210216785A1 (en) * 2020-01-10 2021-07-15 Everseen Limited System and method for detecting scan and non-scan events in a self check out process

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAI MINJIE ET AL: "An Ego-Vision System for Hand Grasp Analysis", IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 47, no. 4, 1 August 2017 (2017-08-01), pages 524 - 535, XP011656554, ISSN: 2168-2291, [retrieved on 20170713], DOI: 10.1109/THMS.2017.2681423 *
XIAOCHEN LIU ET AL: "Grab: Fast and Accurate Sensor Processing for Cashier-Free Shopping", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 January 2020 (2020-01-04), XP081572231 *

Also Published As

Publication number Publication date
FR3128048A1 (en) 2023-04-14

Similar Documents

Publication Publication Date Title
US10242267B2 (en) Systems and methods for false alarm reduction during event detection
CN107767590A (en) Automatic identification commercialization bar code electronic scale and Automatic identification method
US9412050B2 (en) Produce recognition method
US7962365B2 (en) Using detailed process information at a point of sale
CN109508974B (en) Shopping checkout system and method based on feature fusion
EP3746967B1 (en) Methods and systems of purchasing assistance at a physical point of sale
CN108780596A (en) Information processing system
WO2004002638A1 (en) Identification tag for postal objects by image signature and associated mail handling machine
US12002245B2 (en) Method and system for item identification
CN105608808A (en) Information processing apparatus, store system and method
US10068405B2 (en) Coin recognition system and method
JP2020071811A (en) Information processing device, information processing system, learning device, learned estimation model, and method for collecting data for learning
Gothai et al. Design features of grocery product recognition using deep learning
JP2022105052A (en) Information processing system, customer identification apparatus, information processing method and program
US10963896B2 (en) Sales data processing apparatus, server and method for acquiring attribute information
US20200019776A1 (en) Currency verification and transaction validation system
WO2023062558A1 (en) Intelligent self-checkout terminal
JP2020071852A (en) Information processing device, information processing system, learning device, learned estimation model, and method for collecting data for learning
JP7402898B2 (en) Apparatus and method for forming at least one ground truth database for an object recognition system
Behjat et al. Fast and low-cost mechatronic recognition system for Persian banknotes
EP3940614A1 (en) Autonomous shop for self-service retail sales
US20240169735A1 (en) System and method for preventing shrinkage in a retail environment using real time camera feeds
US20220270061A1 (en) System and method for indicating payment method availability on a smart shopping bin
US20240020857A1 (en) System and method for identifying a second item based on an association with a first item
Pettersson et al. Multimodal fine-grained grocery product recognition using image and OCR text

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22802249

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022802249

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022802249

Country of ref document: EP

Effective date: 20240513