WO2021002587A1 - 매장 내 자동 결제 방법, 시스템 및 프로그램 - Google Patents

매장 내 자동 결제 방법, 시스템 및 프로그램 Download PDF

Info

Publication number
WO2021002587A1
WO2021002587A1 PCT/KR2020/006103 KR2020006103W WO2021002587A1 WO 2021002587 A1 WO2021002587 A1 WO 2021002587A1 KR 2020006103 W KR2020006103 W KR 2020006103W WO 2021002587 A1 WO2021002587 A1 WO 2021002587A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
mobile terminal
user
store
image
Prior art date
Application number
PCT/KR2020/006103
Other languages
English (en)
French (fr)
Inventor
이필규
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200052170A external-priority patent/KR102336264B1/ko
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to US17/047,868 priority Critical patent/US20230162267A1/en
Publication of WO2021002587A1 publication Critical patent/WO2021002587A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to an automatic payment method, system, and program in a store, and is a technology applied to an unmanned store operation service that can be applied to the visually impaired.
  • the unmanned store system represented by AmazonGo, is a system that allows people to purchase products in stores without requiring people. When a consumer holds the product he wants to purchase at a smart store, it is automatically checked, and when he leaves the store with it, payment is automatically made.
  • FIG. 1 is a conceptual diagram of a method of operating a conventional unmanned store such as Amazon Go.
  • such an in-store automatic payment system is made through about 200 cameras fixedly installed in the camera trust 30 of the store. More specifically, when the fixed cameras 31 to 36 installed in the store take an image of the user and transmit it to the cloud service server 10, the server 10 analyzes the image to confirm the product the user wants to purchase.
  • the accuracy of automatic payment of goods is closely related to the number of camera devices.
  • the current unmanned store system has the disadvantage that the number of people who can enter the unmanned store is limited.
  • E-Mart 24 in Korea is also piloting an unmanned store service. Since 39 cameras are installed in a store of 15 pyeong, there is a problem that the efficiency is not high because installation and operation costs are quite high.
  • the existing unmanned store system is very lacking in consideration for the visually impaired or the elderly who have difficulty finding the way. Therefore, the technology that guides socially disadvantaged people such as blind people to places where products are safely located in the unmanned store system is a necessary technology in the process of developing into a welfare state.
  • the present invention has been conceived to solve the above problem, and not only reduces the burden of excessively collecting images from numerous information input devices (eg, fixed cameras) installed in the past by utilizing egocentric images, but also computer calculation It is intended to provide an in-store automatic payment method and system that can reduce capacity overhead, reduce payment delay time, and significantly reduce installation and operation costs of unmanned store systems.
  • In-store automatic payment method is performed using a system including at least one of an information processing device, an information input device, an information output device, and a mobile terminal,
  • At least one of the plurality of devices detecting a product to be purchased from the egocentric image
  • At least one of the plurality of devices may include registering the product to be purchased in a user's selection product list when the reliability is greater than or equal to a preset threshold.
  • At least one of the plurality of devices may include registering the purchase target product in a selected product list based on the reliability.
  • the information processing device further comprises the step of determining whether the user's hand position is a preset position by tracking the user's hand position from the collected image, and if the user's hand position is a preset position, the purchase target product Is registered in the selected product list, and the preset position is a distance at which the user's hand can easily pick up the product.
  • the information processing apparatus further comprises the step of determining a purchase intention of the user by receiving the image captured by the fixed camera,
  • the step of determining the purchase intention of the user may be determined by recognizing the state of the hand and the motion of the hand, the state of the person, and the motion of the person from the image.
  • the device-focused navigation according to an embodiment of the present invention may be characterized in guiding the mobile terminal to an optimal position for recognizing a purchase target product through reinforcement learning.
  • At least one of the plurality of devices may further include applying a collaborative filtering method of an object detector and a fast adaptive learning method. Including, it is possible to increase the reliability of object detection for the product to be purchased.
  • the providing of the device focus navigation according to an embodiment of the present invention includes third location information of the mobile terminal based on the second location information of the product detected by the information processing device or the mobile terminal in the egocentric image.
  • the information processing apparatus or the mobile terminal may further include comparing third location information of the mobile terminal with second location information of the product to provide a device focus navigation to the mobile terminal.
  • the step of determining the purchase intention of the user may be determined by recognizing the state of the hand and the motion of the hand, the state of the person, and the motion of the person from the image.
  • the device-focused navigation according to an embodiment of the present invention may be characterized in guiding the mobile terminal to an optimal position for recognizing a product to be purchased through an optimization algorithm such as reinforcement learning.
  • the device focus navigation according to an embodiment of the present invention may be performed through an object detection algorithm and a reinforcement learning algorithm.
  • the in-store automatic payment program is a program stored in a computer-readable recording medium combined with a processor, and the processor performs a series of processes of the in-store automatic payment method according to an embodiment of the present invention. To perform.
  • the in-store automatic payment method and the system according to an embodiment of the present invention can drastically reduce the number of information input devices such as fixed cameras installed in existing unmanned stores.
  • the present invention can significantly reduce the number of fixed cameras, thereby reducing the burden of excessively collecting images and overhead of computer computing power, reducing the payment delay time, and further reducing the installation cost and operating cost of the unmanned store system. .
  • the in-store automatic payment method and the system according to an embodiment of the present invention can provide a service of the same quality as the existing one even if a relatively small number of fixed cameras are used than the'Amazon Go'. .
  • the automatic payment method and system in a store may assist the socially disadvantaged, such as the visually impaired and the elderly, to conveniently purchase products in the store.
  • FIG. 1 is a conceptual diagram of a method of operating a conventional unmanned store.
  • FIG. 2 shows an environment in which an automatic payment method and system in a store according to an embodiment of the present invention is used.
  • FIG. 3 is a block diagram of an automatic payment system in a store according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of an automatic payment method in a store according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of an automatic payment method in a store according to another embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating device focus navigation according to an embodiment of the present invention.
  • FIG. 7 shows a learning network that performs device focused navigation according to an embodiment of the present invention.
  • FIG 8 illustrates an output direction according to device focus navigation according to an embodiment of the present invention.
  • FIG. 9 shows a scenario according to device focus navigation according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a method of determining a purchase intention of a user according to an embodiment of the present invention.
  • 11 is a conceptual diagram of fast adaptive learning for ensuring high reliability prediction of device-focused navigation according to an embodiment of the present invention.
  • FIG. 12 is a flowchart of a method for ensuring prediction with high reliability of device focus navigation according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
  • the term and/or includes a combination of a plurality of related items or any of a plurality of related items.
  • first and second are used herein for discrimination purposes only, and do not mean representing or expecting sequences or priorities in any way.
  • egocentric' means'person-centered' and is a term mainly used when modifying digital content.
  • the egocentric image refers to an image of a first-person view captured by a mobile terminal.
  • a mobile terminal is a wearable device such as a smart watch or smart glass, or a smart phone, and may mean a device held by a user.
  • the egocentric image is a first-person view image captured by the mobile terminal and refers to an image captured at an optimal position for recognizing a product that a user intends to purchase.
  • a service product or service mark means a logo for a beauty salon. Therefore, the present invention can be applied not only to the purchase of goods or articles, but also to stores receiving services.
  • reliability refers to the reliability of detection and refers to the probability that the product is in the product area detected by the object detection algorithm.
  • detection is a computer technology related to computer vision and image processing, which refers to the detection of instances of semantic objects of a particular class (eg, humans, buildings, vehicles) from digital images and videos.
  • EER Exected Error Reduction
  • an information processing device is a device that performs image information processing or product information processing on a captured image, and may include, for example, a central server of the system.
  • the information processing device is a central server. It will be described with reference to Examples.
  • the information input device may include a device that receives external information such as a camera, and the information output device may include a voice signal, vibration, display, LED, haptic device, and the like.
  • the information input device is described using a camera as an embodiment.
  • FIG. 2 is a block diagram of an in-store automatic payment method and an environment in which the system is used according to an embodiment of the present invention
  • FIG. 3 is a block diagram of an in-store automatic payment system according to an embodiment of the present invention.
  • an in-store automatic payment system may include a central server 100, a mobile terminal 200, and a fixed camera 300.
  • a plurality of fixed cameras 300 are installed at each store, a user carries a mobile terminal 200, and one central server 100 is installed to provide the plurality of fixed cameras.
  • An image may be received from 300, an egocentric image and user information may be received from the mobile terminal 200, and navigation information may be transmitted to the mobile terminal 200.
  • the in-store automatic payment method and the system according to an embodiment of the present invention can enable the user's intention to be accurately transmitted to the central server 100 by implementing an egocentric environment using the user's mobile terminal 200. .
  • the method and system according to an embodiment of the present invention enable accurate first-person-centered action and object recognition of a user through an ego-centric image, so that the purchase intention of the user at an unmanned store is directed to the central server 100. It can be delivered exactly.
  • the in-store automatic payment system may further include another data input device as needed.
  • a weight sensor in order to reinforce a means for recognizing a product or finding an optimal location for egocentric image capture, a weight sensor, an infrared sensor, or a touch sensor may be further installed.
  • In-store automatic payment system may include a central server 100, a mobile terminal 200 and a fixed camera 300, the central server 100 is the overall automatic payment system in the store It can be in charge of operation and can support automatic payment for the user's in-store purchases.
  • the mobile terminal 200 may provide a user with a movement path and device focus navigation in a store, and may capture an egocentric image.
  • Providing a moving route is a kind of indoor navigation service
  • device focused navigation may refer to a service that guides a user's mobile terminal to an exact point where a product to be purchased by the user is located on a shelf.
  • the mobile terminal 200 may be a portable communication device such as a smartphone owned by the user, a computer, a portable multimedia device, a portable medical device, a camera, a smart watch, a wearable device such as Google Glass. It may also be a terminal provided to a user at an unmanned store, especially at the store entrance.
  • the mobile terminal 200 receives information from the central server 100 through a program in the form of an application installed in the terminal, provides a moving path to the user, and provides a smart store where a product to be purchased is located. It guides you to the front and can provide device focus navigation to the user.
  • the fixed camera 300 may be installed in a store to capture an image in the store.
  • the number of fixed cameras according to an embodiment of the present invention is considerably smaller than that of Amazon Go, which requires about 200 fixed cameras, so that fixed and operating costs can be greatly reduced.
  • the fixed camera 300 according to an embodiment of the present invention may use a CCTV (closed circuit television).
  • the fixed camera 300 includes a lens, an image sensor, an image signal processor, or a flash.
  • the user's purchase intention may be determined based on the information provided by the fixed camera 300, and the product may be placed in the user's selection product list according to the determined purchase intention. I can.
  • FIG. 3 The block diagram of FIG. 3 is for illustrating an automatic payment system 1000 in a store, and the present invention is not limited thereto. Therefore, the in-store automatic payment system 1000 may be modified in other forms.
  • the central server 100 may include an input module 101, a communication module 103, a memory 105, and a processor 107.
  • the central server 100 may further include other components.
  • each component included in the central server 100 will be described in more detail.
  • the input module 101 may input commands or data used for other parts included in the central server 100.
  • the input module 101 includes an input unit, a sensor unit, and an interface unit.
  • a microphone, mouse, or keyboard is used as the input unit.
  • the operator may directly input commands or data to the input module 101 through the input unit.
  • the sensor unit detects the surrounding environment and generates data.
  • the interface unit receives image data from the fixed camera 300 through interaction with the fixed camera 300.
  • the interface unit for example, Bluetooth communication, BLE (Bluetooth Low Energy) communication, near field communication (NFC), WLAN communication, Zigbee communication, Infrared Data Association (IrDA) communication, WFD Data can be received from the fixed camera 300 using communication technologies such as (Wi-Fi Direct) communication, ultra-wideband (UWB) communication, WIFI communication, and RFID (Radio Frequency Identification) communication.
  • BLE Bluetooth Low Energy
  • NFC near field communication
  • WLAN communication Zigbee communication
  • IrDA Infrared Data Association
  • WFD Data can be received from the fixed camera 300 using communication technologies such as (Wi-Fi Direct) communication, ultra-wideband (UWB) communication, WIFI communication, and RFID (Radio Frequency Identification) communication.
  • the communication module 103 performs communication between the central server 100 and an external device (not shown).
  • the communication module 103 creates a communication channel between the central server 100 and an external device.
  • the central server 100 can communicate with an external device through a communication channel.
  • the communication module 103 may be wired or wireless. When the communication module 103 is wireless, it may communicate with an external device through a long-distance communication network or a local area communication network.
  • the memory 105 functions as a distributed data input unit. That is, the memory 105 stores data including images acquired from the fixed camera 300 or the mobile terminal 200 and map information in the store. In addition, the memory 105 stores an in-store automatic payment program according to an embodiment of the present invention. In addition, data input from a mobile camera, a weight sensor, a touch sensor, or an infrared sensor may be stored. As the memory 105, a volatile memory or a non-volatile memory is used. Using the memory 105, the in-store layout is stored and used for product guidance of the user.
  • the processor 107 executes an in-store automatic payment program stored in the memory 105 according to an embodiment of the present invention. According to the execution of the program, parts included in the central server 100 may be controlled and data processing or calculation may be performed. Further, the processor 107 is connected to the fixed camera 300 through the input module 101. The processor 107 may communicate with the mobile terminal 200 in the store through the communication module 103. The processor 107 selects a moving route to a destination of the mobile terminal 200 in the store, that is, a store where a product to be purchased by the user is located, based on the in-store map of the memory 105.
  • the processor 107 provides map information according to the movement route to the mobile terminal 200, and when the user comes to the store where the product is located, it also provides the user with device focus navigation.
  • the processor 107 acquires an in-store image using the fixed camera 300 and monitors it to detect an obstacle on the moving path of the mobile terminal 200. Since there are various products and other users in the store, there are many obstacles. Accordingly, in order to safely guide a user looking at only the mobile terminal 200 to a place where the product to be purchased is located, the processor 107 provides information on the obstacle through the mobile terminal 200.
  • the mobile terminal 200 includes a camera unit 201, an input unit 203, an output unit 205, a communication unit 207, a memory 208, and a processor 209. do.
  • the mobile terminal 200 may further include other components. Hereinafter, each component included in the mobile terminal 200 will be described in more detail.
  • the camera unit 201 uses the camera unit 201 to photographs surrounding images while moving.
  • the camera unit 201 includes a lens, an image sensor, an image signal processor, or a flash.
  • the camera unit 201 may be used in a form worn on the user's body.
  • An egocentric camera is used as the camera unit 201. Since egocentric cameras can replace multiple fixed cameras, the number of fixed cameras used can be greatly reduced. Since the fixed camera 300 is fixed in the store, the cover area is limited and there is a blind spot, whereas the mobile terminal 200 including the camera unit 201 and the sensor unit 210 is moved by the user in an ego-centric environment.
  • a preferred product may be more accurately recommended by analyzing a user's purchase pattern, etc. through action data collected by the mobile terminal 200.
  • ASSL Active Semi-Supervised Learning
  • algorithm technology is used to minimize its operating costs compared to other technologies.
  • the input unit 203 may input commands or data used for parts other than the input unit 203 included in the mobile terminal 200.
  • the input unit 203 uses a microphone, mouse or keyboard. The operator can directly input commands or data through the input unit 203.
  • the input unit 203 may be a microphone, a keyboard or a keypad.
  • the output unit 205 provides information to the outside of the mobile terminal 200.
  • the output unit 205 includes a display portion or an audio portion.
  • the display provides information visually.
  • the display unit may be a display as an example.
  • the audio unit provides information audibly.
  • the display unit may be a touch circuit set to sense a touch or a sensor circuit set to measure the strength of a force generated by the touch.
  • the mobile terminal 200 may exchange operation commands or data with an external device (not shown) such as the central server 100 through the communication unit 207.
  • the communication unit 207 establishes a communication channel between the mobile terminal 200 and an external device.
  • the communication unit 207 is connected to the memory 205 or the processor 207.
  • the communication unit 207 may be wired or wireless. Wireless can be a long-distance or local area network.
  • the memory 208 may store various data used for each component of the mobile terminal 200.
  • the memory 208 stores in-store map information or stores an in-store automatic payment program in the form of an app.
  • the memory 208 may be a volatile or nonvolatile memory.
  • the processor 209 executes a program stored in the memory 208.
  • the processor 209 may control parts included in the mobile terminal 200, process data, or perform an operation.
  • the processor 209 communicates with the central server 100 through a communication unit 207 in the store.
  • the processor 209 may determine a moving path to the purchased product and map information corresponding thereto through the central server 100.
  • the processor 209 may provide an in-store navigation service and a device focus navigation service using the moving route and map information.
  • the processor 209 provides a user interface (UI) related to the in-store navigation service through the output unit 205.
  • the processor 209 can monitor the image captured through the camera unit 201 while providing the in-store navigation service to detect obstacles on the moving path and generate an alarm for the obstacle through the output unit 205. have.
  • UI user interface
  • FIG. 4 is a flowchart of an automatic payment method in a store according to an embodiment of the present invention.
  • the automatic payment method in a store captures an ego-centric image using a mobile terminal that a user carries when moving from the store, detects and recognizes a product from the ego-centric image, and uses the mobile terminal. It is characterized in that the product is registered in the selected product list by guiding it to a position where the optimum reliability can be calculated.
  • the automatic payment method in a store includes the steps of collecting an egocentric image by a mobile terminal (S110); Detecting a product to be purchased from the egocentric image (S120); Calculating whether the predicted reliability exceeds a preset threshold (S130); If the reliability is lower than a threshold, providing a device focus navigation to move the mobile terminal to a position where the reliability can be optimal (S140); It may include determining the user's purchase intention (S150), and when the reliability is greater than or equal to a threshold value and the purchase intention is determined, registering the product in the user's selection product list (S160). In this case, the mobile terminal may notify the user through the information output device so that the user can recognize the registration of the selected product list.
  • the information output device may include voice, signal, vibration, display, LED, and haptics.
  • the mobile terminal collecting the image is a wearable device
  • the user's hand can easily pick up the product by tracking the user's hand position. It may further include determining whether it is located in a distance.
  • Device focus navigation according to an embodiment of the present invention to guide the movement of the mobile terminal to a position with optimum product reliability when a user shoots an egocentric image using a mobile terminal on a shelf on which a product is placed It can be referred to as this.
  • the device focus navigation in this case may be referred to as hand navigation.
  • an in-store automatic payment system and method for providing device-focused navigation can significantly reduce the number of fixed cameras compared to a conventional unmanned store system.
  • product recognition is difficult because the quality of the captured product image is not excellent.
  • the conventional technology'Amazon Go' has installed hundreds of fixed cameras on the ceiling to increase the accuracy of product recognition.
  • the present invention by guiding a mobile terminal possessed by a user to move to a position having an optimum product reliability, image quality of a product to be purchased can be improved. Accordingly, since the present invention performs product detection through a mobile terminal carried by a user, it is not necessary to install numerous fixed cameras in a store, and thus it is possible to drastically reduce the cost of installing and maintaining an unmanned store system. In addition, since the amount of image and sensor information to be processed is reduced, the present invention can significantly reduce the payment delay time compared to the conventional method, and provides an easy product selection tool for the socially disadvantaged, such as the perceptually handicapped or the elderly with poor perception ability. Can be.
  • FIG. 5 is a flowchart of an automatic payment method in a store according to another embodiment of the present invention.
  • FIG. 4 describes an embodiment in which a user directly moves to a shelf to purchase a product
  • FIG. 5 including an embodiment in which a product recommended by an app or a product previously selected by the user is purchased.
  • the overall order of the in-store automatic payment method according to the embodiment illustrated in FIG. 5 may include the following steps.
  • the user's unique ID is activated through the user's mobile terminal (S210).
  • the user ID may be recorded on an app installed in the mobile terminal. That is, the system according to the present invention recognizes the unique identifier assigned to the user when the user enters an unmanned store.
  • the central server may obtain information on a product to be purchased based on the unique ID (S220).
  • the product to be purchased may be a product recommended by the app based on the user's unique ID or a product that is directly input by the user and stored in a wish list.
  • the mobile terminal may receive an indoor map of the store from the central server, and receive first location information and a moving route of a product to be purchased on the indoor map (S230).
  • the first location information may include a store number, a store floor number, and a section number of the store on the indoor map of the store where the product to be purchased is located.
  • the system according to the present invention can provide indoor navigation to a mobile terminal (S240).
  • Indoor navigation according to an embodiment of the present invention is a service that informs the user of the moving route through the mobile terminal so that the user can follow the first location of the product to be purchased. It is displayed on a screen or recognized by the visually impaired for the visually impaired. It can be output as possible voice, vibration, haptics, signals, etc.
  • Indoor navigation may notify a user of an obstacle on a moving path. Accordingly, obstacles can be avoided while the user follows to the first position where the product to be purchased is located. For example, obstacles may be other users or stacked products. Since the user looks and moves only at the terminal on which the indoor navigation is displayed, it can easily collide with an obstacle. Therefore, it is necessary to avoid obstacles by the interaction between the central server and the user terminal.
  • the central server acquires in-store images through fixed cameras installed in the store and detects obstacles from these images. If the central server determines the moving path in the previous step (S230), the obstacle may not exist on the moving path and the obstacle may move to the current position on the moving path.
  • the processor of the central server can detect obstacles on the moving path even in such cases.
  • the mobile terminal possessed by the user also detects an obstacle in the step (S240) of providing the indoor navigation. That is, the mobile terminal detects an obstacle by monitoring the moving path through the camera unit 201 (shown in FIG. 3) while providing the in-store navigation service. If the mobile terminal detects an obstacle, the mobile terminal displays a warning in step S240 of providing the indoor navigation. If the relevant action is taken after the warning is displayed, the mobile terminal captures the in-store video again. Due to the effective interaction process between the central server and the mobile terminal, it is possible to prevent a user from colliding with an obstacle.
  • Indoor navigation not only detects obstacles in the store, for example, other users, predicts and warns of a collision risk, but also actively uses a mobile terminal to determine the number of fixed cameras installed in the store. It can be greatly reduced. Users who shop in a store are likely to collide with each other because they only see their mobile terminals and move. Therefore, obstacles, such as other users, are displayed through the mobile terminal to warn of such danger, and the problem is blocked in advance. In particular, such indoor navigation can help people who have difficulty finding a moving route, such as the handicapped or the elderly.
  • An egocentric image refers to an image photographed about a product located at a store using a user's mobile terminal.
  • the system detects a product from the captured egocentric image (S260), and determines whether the reliability of the product on the image is greater than or equal to a threshold (S262).
  • a threshold S262
  • the step of determining whether the predicted reliability exceeds a preset threshold S262 is, when the mobile terminal collecting the image is a wearable device, the user's hand can easily pick up the product by tracking the user's hand position. It may further include determining whether it is located in a distance.
  • the system according to an embodiment of the present invention provides a device focus navigation to move the mobile terminal to a position where the reliability can be optimal when the reliability is lower than the threshold (S270), and the reliability is greater than or equal to the threshold.
  • the reliability can be optimal when the reliability is lower than the threshold (S270), and the reliability is greater than or equal to the threshold.
  • the system checks whether there are more products to be purchased by the user (S292), and if there are more products to purchase, the system moves to the step of providing the indoor navigation (S240) or taking an egocentric image (S250). To perform the above-described steps again.
  • the steps described in FIG. 4 are performed starting from the step S250 of photographing an egocentric image.
  • the steps described in FIG. 5 are performed from the step of providing indoor navigation (S240).
  • the steps (S280, S290) of determining the user's purchase intention and registering the product in the user's selection product list according to an embodiment of the present invention may further include the following processes.
  • a plurality of distributed data input devices such as a weight sensor, an infrared sensor, or a touch sensor detects that a user enters the item registration conversion area using the collected data.
  • the item registration conversion area is an area in which the product selected by the user is deleted from the display item list of the store and registered in the user's selected product list, and may mean up to a predetermined length in front of the store.
  • the product is registered in the selected product list, and Delete the product from the list.
  • the method of registering a product in the user's selection product list is to show the detailed information of the detected product to the user when the user selects an image photographed on the mobile terminal, and select the product when the user confirms that the product is correct. It may further include the step of registering in the product list.
  • a method of automatically paying for a product registered in a shopping cart by receiving user exit information may include the following processes.
  • the central server detects that the user arrives at the unmanned counter area after completing shopping at the store using at least one distributed data input device, and includes weight, shape, color, texture, or size of the product in the unmanned counter area. Recognize features.
  • the central server compares the recognized feature information with product information registered in the selected product list of the user ID, and automatically executes payment for the product registered in the selected product list if the comparison content matches.
  • FIG. 6 is a conceptual diagram illustrating device focus navigation according to an embodiment of the present invention.
  • the central server or the processor of the mobile terminal acquires position coordinates (referred to as second position information) in the image of the product detected from the egocentric image, and the position coordinate information Acquiring location coordinate information (referred to as third location information) in the image of the mobile terminal based on,
  • the central server or the processor of the mobile terminal may include comparing the third location information of the mobile terminal with the second location information of the product and providing a device focus navigation to the mobile terminal.
  • the device focus navigation guides the user to the right/left/up/down/angle of a mobile terminal accurately to a location of a product on a display stand on which the product to be purchased is placed. That is, the device focus navigation means that the camera unit of the mobile terminal guides the product to be purchased to be positioned at a distance where the product to be purchased can be detected with optimal reliability and the user's hand can easily pick up the product to be purchased.
  • information (b) in the form of a map showing the location of the shelf and the product in detail is displayed on the mobile terminal.
  • a processor analyzes an egocentric image to calculate a location 62b of a product to be purchased and a location 61b of a camera unit on the store map b.
  • the location 61b of the camera unit on the store map b can be identified as the location of the product recognized in front of the camera unit, and means the location of the user.
  • the processor compares and matches the position of the product recognized on the front of the camera unit with the product displayed on the store map b. For example, when a yellow beverage from the actual stand (a) is captured by the camera unit, the processor matches the product displayed on the stand map (b), and as a result, indicates that the current position of the camera unit is in front of number 5 (61b). Can be seen, and the location information 61b of the user can be calculated.
  • the processor may calculate a direction and a distance in which the camera unit should move to the location 62b where the product to be purchased is located by using the calculated location information value of the user, and provide it to the user. For example, up, down, left and right directions, diagonal directions, etc. may be presented, and a moving distance may be presented by calculating a distance on a map and an actual distance ratio.
  • the central server or the processor of the mobile terminal re-acquires the egocentric image to calculate the reliability.
  • the processor When the reliability is less than or equal to the threshold, the processor performs device focus navigation again. When the reliability exceeds a preset threshold, a corresponding product may be added to the selected product list.
  • FIG. 7 shows a learning network that performs device focus navigation according to an embodiment of the present invention
  • FIG. 8 shows an output direction according to device focus navigation according to an embodiment of the present invention
  • FIG. 9 is an embodiment of the present invention. It shows a scenario according to device focus navigation according to an embodiment. A specific algorithm for performing device focus navigation will be described with reference to FIGS. 7 to 9.
  • Device-focused navigation is characterized by guiding the mobile terminal to an optimal position for recognizing a product to be purchased through an optimization algorithm such as reinforcement learning, and using an object detection algorithm and a navigation algorithm.
  • an egocentric image is input to the processor (S71). Then, after the feature is extracted from the egocentric image (S73), Q value approximation is performed (S75). Then, the direction in which the mobile terminal should move is output (S77).
  • Device focus navigation is to change a viewpoint so that a target object (eg, a product) is detected above a specific performance by instructing an appropriate series of actions.
  • the agent of the reinforcement learning algorithm must act to maximize the expected value of the rewards it will receive in the future.
  • the goal of reinforcement learning is to find a policy that allows the agent to take a set of actions to achieve that goal. Since there is no state conversion probability function and the reward function depends on data, that is, the problem to be solved in an embodiment of the present invention can be defined as a reinforcement learning problem in a model-free state, and is solved by using deep Q-learning. Can be.
  • the deep Q network is one of the reinforcement learning methods, and the existing Q-learning performed the action of giving the largest Q value for the state taken by the agent by configuring the calculated Q value as a Q-table.
  • the Q value is approximated using a neural network. It receives an image as an input through the deep Q network and calculates and outputs the action that the agent will perform.
  • the network used at this time is largely divided into two parts. It is divided into a convolutional network that receives an image and extracts features, and a network that outputs an approximate Q value for an action by operating as an approximation function of the Q function using the extracted features.
  • the agent selects the action with the largest Q value among the approximated Q values through the learned network.
  • the Marcov decision problem is defined by a total of four elements (S, A, P, R).
  • S is the set of states
  • A is the set of actions that the agent can do
  • P is the probability function that can be converted between states
  • R is the transition from the existing state to another state when the agent takes an action, and feedback on it. It is a function of the reward received as a
  • P is determined by the Q value, which is the result of the deep Q network, not the state transformation random variable.
  • Agents have to make decisions at every point in time. This is called an action in MDP.
  • an agent takes an action, the state that the agent took in the environment is changed to a new state, and as a result of the action, the agent is converted to a new state, and a reward or penalty is received accordingly.
  • DQN digital to analog
  • Many studies that have applied DQN have achieved great results in games and Go, but a different direction should be suggested for application to the real world. Actions moving in the real world are continuous, but this specification assumes that actions are discrete. The moving direction represents direction information that allows you to find a viewpoint to detect a target object well.
  • the direction of movement indicates the direction in which the camera moves when one acts, and assuming that the pitch and roll are almost unchanged when a person moves a mobile phone to shoot, the collected information is 4 out of 6 degrees of freedom (DoF).
  • DoF degrees of freedom
  • the x, y, z coordinates of the front (S88), the back (S84), left (S82), right (S87), upper (S81), and lower (S85), and clockwise rotation (S83), half A 4 DoF using a total of 4 values of the yaw value of the clockwise rotation (S86) is used (see Fig. 8).
  • Movement distance refers to the distance traveled in the direction of movement when taking an action.
  • the moving distance is expressed as ⁇ short, medium, long ⁇ , and each length is defined by experiment.
  • the user in order to guide the camera to an optimal viewpoint, the user provides a moving direction and a moving distance.
  • movement direction and movement distance are defined as actions.
  • the movement of the camera is measured in units of 0.5cm, 1cm, and 2cm, and rotation based on the direction of progress is +5°, +10°, and Measure in units of +15°, and measure counterclockwise in units of -5°, -10° and -15°.
  • the action for camera movement Is collected as follows.
  • the device focus navigation is ⁇ forward, short ⁇ (d1), ⁇ right, short ⁇ (d2), You can guide in the following order: ⁇ advance, long ⁇ (d3), ⁇ right, middle ⁇ (d4), ⁇ counterclockwise 10° ⁇ , ⁇ advance, middle ⁇ .
  • FIG. 10 is a flowchart of a method of determining a purchase intention of a user according to an embodiment of the present invention.
  • a gesture of reaching out a hand from an image captured by a mobile terminal or a fixed camera is recognized (S300). Then, an egocentric image is acquired by the user's mobile terminal (S310).
  • the processor detects the product to be purchased by analyzing the image acquired from the egocentric image (S320), and when recognizing the hand pulling operation (S330), it recognizes the purchase intention and registers the product in the selected product list (S340). .
  • 11 is a conceptual diagram of fast adaptive learning for ensuring high reliability prediction of device-focused navigation according to an embodiment of the present invention.
  • a loss measurement function is defined so that a new label can be estimated.
  • a method of selecting an appropriate boundary for the current model can be developed taking into account both the worst case or the best case. Based on this, an expected error is measured and an objective function for optimizing learning efficiency is defined, and data that minimizes this objective function can be selected. Based on this method, the ASSL algorithm can be extended, taking into account all unlabeled data when calculating the objective function.
  • the retraining method of the existing deep learning model requires a lot of computation because it examines all unlabeled data and all possible labels. To minimize this, a method of performing fast adaptive ASSL learning in small bin units will be proposed.
  • FIG. 12 is a flowchart of a method for ensuring prediction with high reliability of device focus navigation according to an embodiment of the present invention.
  • an object detector that advances the reliability prediction of product object detection combining Forward Learning and Rollback Learning by breaking away from Forward Batch Learning, which is generally used for solving the uncertainty of the object classification problem.
  • collaborative filtering including uncertainty filtering, diversity filtering, and confidence filtering is applied to the training data as follows to extract data with more valid labels probabilistically.
  • Rank(x) represents the descending order of f(x), and f(x) is the performance of the current CNN detector model for data x.
  • the step of collecting images of the product to be purchased and learning the detector model quickly and adaptively using the collected data is by combining the EER learning process and Bin-based ASSL. Conduct.
  • the combined process includes a rollback removal step of examining and removing suspicious data among the labeled data; It consists of a process of performing rollback bean-based ASSL through forward reselection-based learning or rollback relabeling-based learning. The technical content of this combining process is described below.
  • the high-reliability sampling strategy is To select a sample from, use the following measurement equation.
  • the distance measurement equation of the current deep feature space Add to
  • step i empty Is expressed as follows.
  • the first term represents the label information of the current model and the second term is Unlabeled datapool of model Is the sum of the expected entropy.
  • Equation.(2) After applying collaborative sampling, iteratively applies Equation.(2) to the empty data set Can be determined. But It still requires a lot of computational overhead to construct a model for each data sample in. Hence the expression. (2) a pseudo-labeled set as follows: Is approximated by constructing a model for the selected sample.
  • Unlabeled data Is the sum of the expected entropy for Label Phosphorus sample And add it to LD Represented by
  • a confidence score is currently assigned to a pseudo sample by the CNN detector.
  • the labeled data D 0 is initially used to initialize the CNN detector model f 0 and the EER model g 0 .
  • Acc 0 is calculated by f 0 using valid data.
  • Each for each bin CNN detector model using Make Acc 1 is In other words, it represents the maximum accuracy among the bin scores calculated by Acc 1 . In other words, If the performance improves (i.e. Acc 1 ⁇ Acc 0 ), And To the next step.
  • the step of adaptive learning of the detector model is divided into the following three cases. Case 1) Case 2) and Case 3) Where Acc is ⁇ is the permissible limit for exploration potential.
  • the rollback learning processor uses the following equation Find the sample to be removed from
  • the calculation of the model for each relabeled candidate takes into account the computational overhead, as follows: From the viewpoint of the relabeled candidate pool, the relabel rollback learning process is performed as follows.
  • Equation. (3) By reselection using EER forward learning process based on equation Update.
  • the rollback process in Case 2 can greatly reduce the Oracle labeling step. Is at time t And Set of training data used to learn Used to make. This process is repeated until convergence.
  • rollback bean-based SSL generates two models f and g and an enlarged labeled data set LD.
  • the combination of EER-based rollback learning and bean-based SSL creates a fast and adaptive object detector even from noisy streaming samples in a dynamically changing environment.
  • the automatic payment method and system in a store may be applied to unmanned stores/convenience stores, but is not limited thereto, and may also be applied to service products such as food courts, cafes, restaurants, beauty salons, and indoor game rooms. .
  • the automatic payment time may be set collectively or at a time desired by the user or at a specific point more than once.

Abstract

본 발명은 무인 점포 서비스에 적용되는 매장 내 자동 결제 방법 및 그 시스템에 관한 것으로, 에고센트릭 영상을 활용하여 기존에 설치되는 수 많은 고정 카메라로부터 과도하게 영상을 수집하는 부담을 줄일 뿐만 아니라, 컴퓨터 계산능력 오버헤드를 줄이고, 무인 점포 시스템의 설치비 및 운영비를 획기적으로 줄일 수 있다. 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은, 이동 단말기가 에고센트릭 영상을 수집하는 단계; 상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계; 상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계; 상기 복수의 장치들 중 적어도 하나 이상의 장치는 상기 신뢰도가 기 설정된 임계치 이상인 경우, 상기 구매 대상 상품을 사용자의 선택 상품 리스트에 등록하는 단계를 포함할 수 있다.

Description

매장 내 자동 결제 방법, 시스템 및 프로그램
본 발명은 매장 내 자동 결제 방법, 시스템 및 프로그램에 관한 것으로, 시각장애인에게도 적용될 수 있는 무인 점포 운영 서비스에 적용되는 기술이다.
최근 들어 글로벌 유통업체들이 무인 점포 서비스를 제공하고 있다. 아직은 대부분의 유통업체가 소규모 무인 점포를 운영하는 시험적인 단계이지만, 중국의 빙고박스는 과감하게 무인 점포를 상용화하고 프렌차이즈 사업을 진행하고 있다. 빙고박스는 2018년도에 약 500여개의 점포를 운영하였고, 미국의 아마존사는 '아마존고'라는 무인 점포 시스템을 운영 중에 있으며, 2021년까지 3000개의 점포를 확장하려는 계획을 갖고 있다. 아마존고는 50평의 매장에서 총 200개의 카메라를 설치하고, QR코드를 통해 출입관리를 한다.
아마존고(AmazonGo)로 대표되는 무인 점포 시스템은 사람 없이도 매장에서 상품을 구매할 수 있는 시스템이다. 소비자가 구매하고자 하는 상품을 스마트 매대에서 파지하면 자동으로 체크되고 이를 들고 매장을 나가면 자동으로 결제된다.
도 1은 아마존고와 같은 종래의 무인 점포를 운용하는 방법의 개념도이다.
도 1에 도시된 바와 같이, 이러한 매장 내 자동 결제 시스템은 매장의 카메라 트러스트(30)에 고정 설치된 약 200대의 카메라들을 통해 이루어진다. 보다 구체적으로, 매장 내 설치된 고정 카메라(31 내지 36)가 사용자에 대한 영상을 촬영하여 클라우드 서비스 서버(10)에 전송하면, 서버(10)가 영상을 분석하여 사용자가 구매하려는 상품을 확인한다.
즉, 도 1에 따른 결제 시스템에서는 상품의 자동 결제 정확도는 카메라 장치들의 수와 밀접하게 관련된다. 그 결과, 많은 카메라들이 매장내에 설치되어야 하므로, 설치비 및 운영비가 많이 든다. 그리고 현재의 무인 점포 시스템은 무인 점포 내에 입장 가능한 인원이 제한되어 있는 단점이 있다.
최근 우리나라도 이마트 24가 무인 점포 서비스를 시범 운영하고 있는데, 15평의 매장에 39대의 카메라를 설치하여, 설치비 및 운영비가 상당히 많이 들기 때문에 효율성이 높지 않은 문제점이 있다.
또한 기존 무인 점포 시스템은 길을 찾는데 어려움이 있는 시각장애인 또는 노약자에 대한 배려가 매우 부족하다. 이에 무인 점포 시스템에서 시각 장애인과 같은 사회적 약자를 안전하게 상품이 위치한 곳까지 안내하는 기술은 복지국가로 발전하는 과정에 필요한 기술이다.
[선행기술문헌]
[특허문헌]
KR 등록특허 제10-0988754호
KR 등록 특허 제10-2019-0093788호
US 등록특허 제10176456호
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 에고센트릭 영상을 활용하여 기존에 설치되는 수 많은 정보입력장치(예컨대, 고정 카메라)로부터 과도하게 영상을 수집하는 부담을 줄일 뿐만 아니라, 컴퓨터 계산 능력 오버헤드를 줄이고, 결제 지연시간을 줄이고, 무인 점포 시스템의 설치비 및 운영비를 획기적으로 줄일 수 있는 매장 내 자동 결제 방법 및 그 시스템을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은 정보처리장치, 정보입력장치, 정보출력장치 및 이동 단말기 중 적어도 어느 하나 이상을 포함하는 시스템을 이용하여 수행되는 것으로,
이동 단말기가 에고센트릭 영상을 수집하는 단계;
상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계;
상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;
상기 복수의 장치들 중 적어도 하나 이상의 장치는 상기 신뢰도가 기 설정된 임계치 이상인 경우, 상기 구매 대상 상품을 사용자의 선택 상품 리스트에 등록하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 매장 내 자동 결제 방법은,
상기 정보처리장치가 상기 이동 단말기, 사용자 앱 또는 사용자의 고유 ID에 기초하여 구매 대상 상품 정보를 결정하는 단계;
상기 이동 단말기가 상기 정보처리장치로부터 매장 실내 지도, 상기 지도 상에서 상기 구매 대상 상품이 위치한 제1 위치 정보를 수신하는 단계;
상기 정보처리장치가 상기 복수의 장치들 중 적어도 하나 이상의 장치를 이용하여 상기 이동 단말기에 실내 내비게이션을 제공하는 단계;
상기 이동 단말기가 에고센트릭 영상을 수집하는 단계;
상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 상기 구매 대상 상품을 검출하는 단계;
상기 복수의 장치들 중 적어도 하나 이상의 장치가 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;
상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 신뢰도에 기초하여, 상기 구매 대상 상품을 선택 상품 리스트에 등록하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따라 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계는,
상기 정보처리장치가 상기 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은,
상기 정보처리장치가 수집된 영상으로부터 사용자의 손 위치를 추적하여 사용자의 손 위치가 기 설정된 위치인 경우인지 판단하는 단계를 더 포함하고, 사용자의 손 위치가 기 설정된 위치인 경우, 상기 구매 대상 상품을 선택 상품 리스트에 등록하고, 상기 기 설정된 위치는 사용자의 손이 상품을 용이하게 집을 수 있는 거리이다.
본 발명의 일 실시예에 따른 일 실시예에 따른 매장내 자동 결제 방법은,
상기 정보처리장치가 상기 고정 카메라에서 촬영한 영상을 수신하여 사용자의 구매의사를 판단하는 단계를 더 포함하고,
상기 사용자의 구매의사를 판단하는 단계는, 영상으로부터 손의 상태 및 손의 동작, 사람의 상태 및 사람의 동작을 인식함으로써 판단할 수 있다.
본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 강화 학습을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 상기 신뢰도를 산출하는 단계는, 복수의 장치들 중 적어도 하나 이상의 장치가 객체 검출기의 협업 필터링 방법과 고속 적응적 학습 방법을 적용하는 단계를 더 포함하여, 상기 구매 대상 상품에 대한 객체 검출의 신뢰도를 높일 수 있다.
본 발명의 일 실시예에 따라 디바이스 초점 내비게이션을 제공하는 단계는 상기 정보처리 장치 또는 상기 이동 단말기가 상기 에고센트릭 영상에서 검출된 상품의 제2 위치 정보에 기초하여 상기 이동 단말기의 제3 위치 정보를 수신하는 단계 ;
상기 정보처리장치 또는 상기 이동 단말기가 상기 이동 단말기의 제3 위치 정보와 상기 상품의 제2 위치 정보를 비교하여 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은,
상기 정보처리장치가 상기 정보입력장치 또는 상기 이동단말기로부터 수집한 영상을 이용하여 사용자의 구매의사를 판단하는 단계를 더 포함하고,
상기 사용자의 구매의사를 판단하는 단계는, 영상으로부터 손의 상태 및 손의 동작, 사람의 상태 및 사람의 동작을 인식함으로써 판단할 수 있다.
본 발명의 일 실시예에 따른 상기 디바이스 초점 내비게이션은 강화 학습과 같은 최적화 알고리즘을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 상기 디바이스 초점 내비게이션은 물체 검출 알고리즘과 강화학습 알고리즘을 통해 수행될 수 있다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 프로그램은 프로세서와 결합되어 컴퓨터로 판독가능한 기록 매체에 저장된 프로그램으로, 상기 프로세서는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 일련의 과정을 수행하는 것이다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 그 시스템은 기존의 운영 중인 무인 점포에 설치되는 고정 카메라와 같은 정보입력장치의 수를 획기적으로 줄일 수 있다.
따라서 본 발명은 고정 카메라의 수를 획기적으로 줄임으로써 과도하게 영상을 수집하는 부담과 컴퓨터 계산능력 오버헤드를 줄이고, 결제지연시간을 줄이며, 나아가, 무인 점포 시스템의 설치비 및 운영비를 획기적으로 줄일 수 있다.
예컨대 종래의 무인 점포 시스템인 '아마존 고'는, 현재 약 200여 대의 카메라를 사용하고 있으며, 수많은 카메라를 사용하는 만큼 설치 및 운영 비용이 높으며, 복잡한 컴퓨테이션이 요구되기 때문에 사용자가 매장을 떠난 후 10분 내지 15분 정도 결제시간이 지연되는 단점이 있고, 기존에 소수의 카메라를 사용하여 운영 중인 무인 점포 시스템은 완전 자동화가 불가능한 문제점을 가지고 있다.
반면, 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 그 시스템은 '아마존 고'보다 상대적으로 매우 적은 수의 고정된 카메라를 사용하더라도 기존에 제공되는 것과 동등한 품질의 서비스를 제공할 수 있다.
나아가 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템은 시각장애인과 노약자 등 사회적 약자가 매장 내에서 편리하게 상품을 구매할 수 있도록 보조할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 무인 점포를 운용하는 방법의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템이 사용되는 환경을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 수행하는 학습 네트워크를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 출력 방향을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 시나리오를 나타낸다.
도 10은 본 발명의 일 실시예에 따라 사용자의 구매 의사를 판단하는 방법의 순서도를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 고속 적응적 학습의 개념도이다.
도 12는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
명세서 전체에서, '에고센트릭'은 '개인 중심'이라는 뜻을 의미하는데 디지털 콘텐츠를 수식할 때 주로 사용되는 용어이다. 예컨대, 에고센트릭 영상은 이동 단말기에서 촬영된 1인칭 시점의 영상을 일컫는 것을 의미한다.
그리고 명세서 전체에서, 이동 단말기는 스마트 워치나 스마트 글라스와 같은 웨어러블 디바이스 또는 스마트 폰으로, 사용자가 소지하고 있는 디바이스를 의미할 수 있다. 따라서, 상기 에고센트릭 영상은 상기 이동 단말기에서 촬영된 1인칭 시점 영상으로 사용자가 구매하려는 상품을 인식하기 위한 최적 위치에서 촬영된 영상을 일컫는다.
본 발명의 명세서 전체에서 "상품"이라 함은, 물건 또는 물품 뿐만 아니라 서비스 상품 또는 서비스표를 포함한다. 예컨대, 서비스 상품 또는 서비스표는 미용실 로고 등을 의미한다. 따라서, 본 발명은 물건 또는 물품의 구매에만 적용되는 것이 아니라, 서비스를 받는 매장에서도 적용될 수 있다.
명세서 및 청구범위 전체에서, 신뢰도란 검출 신뢰도를 뜻하며 물체 검출 알고리즘에 의해 검출된 상품 영역 안에 해당 상품이 있을 확률을 의미한다.
명세서 및 청구범위 전체에서, 검출(객체 탐지)이란 컴퓨터 비전과 이미지 처리와 관련된 컴퓨터 기술로서, 디지털 이미지와 비디오로부터 특정한 클래스의 시맨틱 객체 인스턴스(예: 인간, 건물, 자동차) 감지를 나타낸다.
명세서 및 청구범위 전체에서 EER(Expected Error Reduction)이란, 모델의 일반화 오류를 줄이기 위한 데이터 포인트를 레이블하는 능동학습의 쿼리 전략을 의미한다.
명세서 및 청구범위 전체에서 정보처리장치는 촬영된 영상에 대한 영상 정보처리나 상품 정보 처리 등을 수행하는 장치로, 예컨대, 시스템의 중앙 서버를 포함할 수 있으며, 본 명세서에서 정보처리장치는 중앙 서버를 실시예로 하여 설명된다.
명세서 및 청구범위 전체에서 정보입력장치는 카메라와 같은 외부 정보를 수신하는 장치를 포함할 수 있으며, 정보출력장치는 음성 신호, 진동, 디스플레이, LED, 햅틱 장치 등을 포함할 수 있다. 본 명세서에서 정보입력장치는 카메라를 실시예로 하여 설명된다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템이 사용되는 환경을 나타내고, 도 3은 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템의 블록도이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템은 중앙 서버(100), 이동 단말기(200) 및 고정 카메라(300)를 포함할 수 있다.
도 2에 도시된 무인 점포 환경에서는 복수의 고정 카메라(300)가 각 매대에 설치되고, 사용자는 이동 단말기(200)를 휴대하고 있으며, 중앙 서버(100)는 1대가 설치되어 상기 복수의 고정 카메라(300)로부터 영상을 수신하고 상기 이동 단말기(200)로부터 에고센트릭 영상 및 사용자 정보를 수신하며 내비게이션 정보를 상기 이동 단말기(200)로 전송할 수 있다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 그 시스템은 사용자의 이동 단말기(200)를 활용하여 에고센트릭 환경을 구현함으로써, 사용자 의사가 중앙 서버(100)로 정확히 전송되도록 할 수 있다.
즉, 본 발명의 일 실시예에 따른 방법 및 시스템은 에고 센트릭 영상을 통한 사용자의 1인칭 중심의 정확한 액션 및 객체 인식을 가능하게 하여, 무인 점포에서 사용자의 구매의사가 중앙 서버(100)로 정확히 전달될 수 있다.
도 1에 도시된 바와 같이 현재의 무인 점포에 설치된 카메라(31 내지 36)는 트러스트(30)에 고정되어 있기 때문에, 카메라가 커버 가능한 영역이 제한적이지만, 도 2에 도시된 본 발명의 일 실시예에 따른 에고센트릭 결제 환경에서는 이동 단말기(200)가 사용자가 매장 내에서 이동함에 따라 직접 이동하면서, 에고센트릭 영상을 촬영하기 때문에, 무인 점포 시스템에서 필요한 카메라 개수와 결제 지연 시간을 종래 방식에 비하여 획기적으로 줄일 수 있다.
한편, 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템은 필요에 따라 다른 데이터 입력 장치를 더 포함할 수 있다. 예를 들면, 상품을 인식하거나 에고센트릭 영상 촬영의 최적 위치를 찾는 수단을 강화하기 위하여, 무게 센서, 적외선 센서 또는 터치 센서 등이 더 설치될 수 있다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템은 중앙 서버(100), 이동 단말기(200) 및 고정 카메라(300)를 포함할 수 있는데, 중앙 서버(100)는 매장 내 자동 결제 시스템의 전체적인 운영을 담당할 수 있으며, 사용자의 매장 내 구매 상품에 대한 자동 결제를 지원할 수 있다.
본 발명의 일 실시예에 따른 이동 단말기(200)는 사용자에게 매장내에서의 이동 경로 및 디바이스 초점 내비게이션을 제공할 수 있으며, 에고센트릭 영상을 촬영할 수 있다. 이동 경로 제공은 일종의 실내 내비게이션 서비스이고, 디바이스 초점 내비게이션은 사용자가 구매하려는 상품이 선반에 위치한 정확한 지점으로 사용자의 이동단말기를 가이드하는 서비스를 지칭할 수 있다.
본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 관하여는 도 6 내지 도 9을 참조하여 후술한다.
본 발명의 일 실시예에 따른 이동 단말기(200)는 사용자가 소유하는 스마트폰 등의 휴대용 통신 기기, 컴퓨터, 휴대용 멀티미디어, 휴대용 의료 기기, 카메라, 스마트 워치, 구글 글라스 등의 웨어러블 기기 일 수 있다. 또한 무인 점포에서 특히 매장 입구에서 사용자에게 제공되는 단말기일 수도 있다.
본 발명의 일 실시예에 따른 이동 단말기(200)는 단말기에 설치된 앱(application) 형태의 프로그램을 통해 중앙 서버(100)로부터 정보를 제공받아 사용자에게 이동 경로를 제공하고, 구매할 제품이 위치한 스마트 매대 앞까지 안내하며, 디바이스 초점 내비게이션을 사용자에게 제공할 수 있다.
본 발명의 일 실시예에 따른 고정 카메라(300)는 매장 내에 설치되어 매장내 영상을 촬영할 수 있다. 본 발명의 일 실시예에 따른 고정 카메라의 수는 약 200대의 고정 카메라가 필요한 아마존고에 비해 현저히 적어, 고정비 및 운영비를 크게 절감할 수 있다. 본 발명의 일 실시예에 따른 고정 카메라(300)는 CCTV(closed circuit television)를 사용할 수 있다. 고정 카메라(300)는 렌즈, 이미지 센서, 이미지 시그널 프로세서 또는 플래시를 포함한다. 사용자가 스마트 매대에서 구매할 상품을 파지하는 경우, 고정 카메라(300)에서 제공하는 정보에 의해 사용자의 구매의사가 판단될 수 있고, 상기 판단된 구매의사에 따라 해당 상품을 사용자의 선택 상품 리스트에 넣을 수 있다.
도 3을 참조하여 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템의 세부 구성을 보다 구체적으로 설명한다.
도 3의 블록도는 매장 내 자동 결제 시스템(1000)을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서 매장 내 자동 결제 시스템(1000)을 다른 형태로도 변형될 수 있다.
도 3에 도시한 바와 같이, 중앙 서버(100)는 입력 모듈(101), 통신 모듈(103), 메모리(105) 및 프로세서(107)를 포함할 수 있다. 이외에, 중앙 서버(100)는 다른 부품을 더 포함할 수 있다. 이하에서는 중앙 서버(100)에 포함된 각 부품들을 좀더 상세하게 설명한다.
입력 모듈(101)은 중앙 서버(100)에 포함된 다른 부품들에 사용되는 명령 또는 데이터를 입력할 수 있다. 입력 모듈(101)은 입력부, 센서부 및 인터페이스부를 포함한다. 입력부로는 마이크로폰, 마우스 또는 키보드를 사용한다. 운영자는 입력부를 통해 입력 모듈(101)에 직접적으로 명령 또는 데이터를 입력할 수 있다. 센서부는 주변 환경을 감지하여 데이터를 생성한다. 인터페이스부는 고정 카메라(300)와의 상호 작용으로 영상 데이터를 고정 카메라(300)로부터 수신한다. 인터페이스부는 예를 들어 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신 등의 통신 기술을 이용하여 고정 카메라(300)로부터 데이터를 수신할 수 있다.
한편, 통신 모듈(103)은 중앙 서버(100)와 외부 장치(미도시)와의 통신을 수행한다. 통신 모듈(103)은 중앙 서버(100)와 외부 장치와의 통신 채널을 생성한다. 그 결과, 중앙 서버(100)는 통신 채널을 통하여 외부 장치와 통신할 수 있다. 통신 모듈(103)은 유선 또는 무선 모두 가능하다. 통신 모듈(103)이 무선인 경우, 원거리 통신망 또는 근거리 통신망을 통해 외부 장치와 통신할 수 있다.
메모리(105)는 분산 데이터 입력부로서 기능한다. 즉, 메모리(105)는 고정 카메라(300) 또는 이동 단말기(200)에서 취득되는 영상을 포함하는 데이터와 매장내 지도 정보를 저장한다. 또한 메모리(105)는 본 발명의 일 실시예에 따른 매장 내 자동 결제 프로그램을 저장한다. 이외에, 이동 카메라, 무게 센서, 터치 센서 또는 적외선 센서 등으로부터 입력되는 데이터를 저장할 수도 있다. 메모리(105)로서 휘발성 메모리 또는 비휘발성 메모리를 사용한다. 메모리(105)를 이용해 매장내 배치도를 저장해 사용자의 상품 안내에 사용한다.
프로세서(107)는 메모리(105)에 저장된 본 발명의 일 실시예에 따른 매장 내 자동 결제 프로그램을 실행한다. 프로그램 실행에 따라 중앙 서버(100)에 포함된 부품들을 제어하고 데이터 처리 또는 연산을 수행할 수 있다. 또한, 프로세서(107)는 입력 모듈(101)을 통하여 고정 카메라(300)와 연결된다. 프로세서(107)는 통신 모듈(103)을 통하여 매장내의 이동 단말기(200)과 통신할 수 있다. 프로세서(107)는 메모리(105)의 매장내 지도에 기반하여 매장내에서 이동 단말기(200)의 목적지, 즉 사용자가 구매하려는 상품이 위치한 매대까지의 이동 경로를 선정한다. 그리고 프로세서(107)는 이동 경로에 따른 지도 정보를 이동 단말기(200)에 제공하고, 사용자가 상품이 위치한 매대까지 오면, 사용자에게 디바이스 초점 내비게이션도 제공한다. 프로세서(107)는 고정 카메라(300)를 이용하여 매장내 영상을 획득하고, 이를 모니터링해 이동 단말기(200)의 이동 경로상에서의 장애물을 검출한다. 매장내에는 다양한 제품들과 다른 사용자들이 위치하므로, 많은 장애물들이 존재한다. 따라서 구매하려는 제품이 위치한 곳까지 이동 단말기(200)만 쳐다보는 사용자를 안전하게 안내하기 위해 프로세서(107)가 이동 단말기(200)을 통해 장애물에 대한 정보를 제공한다.
그리고 본 발명의 일 실시예에 따른 이동 단말기(200)는 카메라 유닛(201), 입력 유닛(203), 출력 유닛(205), 통신 유닛(207), 메모리(208) 및 프로세서(209)를 포함한다. 이외에, 이동 단말기(200)는 다른 부품들을 더 포함할 수 있다. 이하에서는 이동 단말기(200)에 포함된 각 부품들을 좀더 상세하게 설명한다.
카메라 유닛(201)을 이용하여 사용자는 이동하는 중에 주위의 영상을 촬영한다. 이를 위해 카메라 유닛(201)은 렌즈, 이미지 센서, 이미지 시그널 프로세서 또는 플래시를 포함한다. 카메라 유닛(201)은 사용자의 몸에 착용되는 형태로 사용될 수 있다. 카메라 유닛(201)으로서 에고센트릭 카메라를 사용한다. 에고센트릭 카메라는 다수의 고정 카메라들을 대체할 수 있으므로, 사용되는 고정 카메라들의 수를 크게 줄일 수 있다. 고정 카메라(300)는 매장 내에 고정되어 있으므로, 커버 영역이 제한되고 사각이 존재하는 반면, 에고 센트릭 환경하에서는 카메라 유닛(201)과 센서 유닛(210)을 포함하는 이동 단말기(200)가 사용자 이동에 따라 직접 이동함으로써 사각지대를 줄일 뿐만 아니라 이를 통한 액션 인식을 통해 사용자의 구매 의사를 보다 정확히 판단할 수 있을 뿐만 아니라 도난 행위를 방지할 수 있다. 또한, 에고센트릭 환경하에서는 이동 단말기(200)가 수집한 액션 데이터를 통해 사용자의 구매 패턴 등을 분석하여 선호하는 제품을 좀더 정확히 추천할 수도 있다. 매장내 자동 결제 시스템(은 ASSL(Active Semi-Supervised Learning) 알고리즘 기술을 이용하여 다른 기술에 비해 그 운영 비용을 최소화할 수 있다.
입력 유닛(203)을 통해서는 이동 단말기(200) 내에서 사용될 명령이나 데이터가 입력된다. 입력 유닛(203)은 이동 단말기(200)에 포함된 입력 유닛(203) 이외의 부품들에 사용되는 명령 또는 데이터를 입력할 수 있다. 입력 유닛(203)은 마이크로폰, 마우스 또는 키보드를 사용한다. 운영자는 입력 유닛(203)을 통해 명령 또는 데이터를 직접 입력할 수 있다. 입력 유닛(203)은 마이크로폰, 키보드 또는 키패드일 수 있다.
출력 유닛(205)은 이동 단말기(200)의 외부로 정보를 제공한다. 출력 유닛(205)은 표시부 또는 오디오부를 포함한다. 표시부는 정보를 시각적으로 제공한다. 표시부는 디스플레이를 그 예로 들 수 있다. 오디오부는 정보를 청각적으로 제공한다. 표시부는 터치를 감지하도록 설정된 터치 회로 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로일 수 있다.
이동 단말기(200)는 통신 유닛(207)을 통해 중앙 서버(100) 등의 외부 장치(미도시)와 작동 명령 또는 데이터를 주고 받을 수 있다. 통신 유닛(207)은 이동 단말기(200)와 외부 장치 사이에 통신 채널을 형성한다. 통신 유닛(207)은 메모리(205) 또는 프로세서(207)와 연결된다. 통신 유닛(207)은 유선 또는 무선일 수 있다. 무선은 원거리 또는 근거리 통신망일 수 있다.
메모리(208)는 이동 단말기(200)의 각 부품들에 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(208)는 매장 내 지도 정보를 저장하거나, 앱 형태의 매장 내 자동 결제 프로그램을 저장한다. 메모리(208)은 휘발성 또는 비휘발성 메모리일 수 있다.
프로세서(209)는 메모리(208)에 저장된 프로그램을 실행한다. 프로세서(209)는 이동 단말기(200)에 포함된 부품들을 제어하거나 데이터를 처리하거나 연산을 수행할 수 있다. 프로세서(209)는 매장내에서 통신 유닛(207)을 통해 중앙 서버(100)와 통신한다. 프로세서(209)는 중앙 서버(100)를 통해 구매 제품까지의 이동 경로와 이에 대응하는 지도 정보를 파악할 수 있다. 그리고 프로세서(209)은 이동 경로와 지도 정보를 이용해 매장내 내비게이션 서비스 및 디바이스 초점 내비게이션 서비스를 제공할 수 있다. 프로세서(209)는 출력 유닛(205)을 통해 매장내 내비게이션 서비스와 관련된 UI(user interface)를 제공한다. 프로세서(209)는 매장내 내비게이션 서비스를 제공하면서 카메라 유닛(201)을 통해 촬영되는 영상을 모니터링할 수 있어서 이동 경로 상에서 장애물을 검출하고, 출력 유닛(205)을 통해 장애물에 대한 알람을 발생시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.
본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은 사용자가 매장에서 이동할 때 가지고 다니는 이동 단말기를 이용하여 에고센트릭 영상을 촬영하고, 에고 센트릭 영상으로부터 상품을 검출 인식하여, 상기 이동 단말기를 최적의 신뢰도를 산출할 수 있는 위치로 가이드함으로써, 선택 상품 리스트에 상품을 등록시키는 것을 특징으로 한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은 이동 단말기가 에고센트릭 영상을 수집하는 단계(S110); 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계(S120); 상기 예측된 신뢰도가 기 설정된 임계치를 넘는지 산출하는 단계(S130); 상기 신뢰도가 임계치보다 낮으면 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기를 이동시키도록 디바이스 초점 내비게이션을 제공하는 단계(S140); 사용자의 구매 의사를 판단하는 단계(S150) 및 상기 신뢰도가 임계치 이상이고, 구매의사가 판단되는 경우, 상기 상품을 사용자의 선택 상품 리스트에 등록하는 단계(S160)를 포함할 수 있다. 이 경우 사용자가 선택 상품 리스트 등록을 인지할 수 있도록 이동단말기는 사용자에게 정보출력장치을 통하여 통보할 수 있다. 정보출력 장치는, 음성, 신호, 진동, 디스플레이, LED, 햅틱을 포함할 수 있다.
한편, 예측된 신뢰도가 기 설정된 임계치를 넘는지 산출하는 단계(S130)는, 영상을 수집하는 이동 단말기가 웨어러블 디바이스인 경우, 사용자의 손 위치를 추적하여 사용자의 손이 상품을 용이하게 집을 수 있는 거리에 위치한 경우인지 판단하는 단계를 더 포함할 수 있다.
상품이 배치된 선반대에서 사용자가 이동 단말기를 이용해 에고센트릭 영상을 촬영할 때, 이동 단말기의 위치를 상품 신뢰도가 최적인 위치로 이동시키도록 가이드하는 것을 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션이라 지칭할 수 있다.
이동 단말기가 스마트폰인 경우, 사용자가 손으로 스마트폰을 잡고 있기 때문에, 이러한 경우에서 디바이스 초점 내비게이션은 핸드 내비게이션이라 지칭될 수도 있다.
본 발명의 일 실시예에 따라 디바이스 초점 내비게이션을 제공하는 매장 내 자동 결제 시스템 및 그 방법은 종래 무인 점포 시스템에 비하여 고정 카메라의 수를 획기적으로 줄일 수 있다. 촬영된 상품 이미지의 품질이 뛰어나지 않아 상품의 인식이 잘 안 될 가능성이 높은데, 이를 보완하기 위해서 종래의 기술인 '아마존 고' 는 천장에 수 백대의 고정 카메라를 설치하여 상품 인식의 정확성을 높이고 있다.
반면, 본 발명은 사용자가 소지하는 이동 단말기를 상품 신뢰도가 최적인 위치로 이동시키도록 가이드함으로써, 구매하는 상품의 이미지 품질을 높일 수 있다. 따라서, 본 발명은 사용자가 소지하는 이동 단말기를 통해 상품 검출을 수행하기 때문에, 매장에 수많은 고정 카메라를 설치할 필요가 없어 무인 점포 시스템 설치비 및 유지비를 획기적으로 줄일 수 있다. 또한, 처리해야되는 영상 및 센서 정보가 줄어들기 때문에 본 발명은 종래의 방법보다 결제지연 시간을 획기적으로 줄일 수 있고, 지각 장애인이나 지각능력이 떨어지는 고령자 등 사회약자에 용이한 상품선택의 도구로 제공될 수 있다.
본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 도 6 내지 도 9를 참조하여 후술한다.
도 5는 본 발명의 다른 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.
도 4에서 선술한 실시예는 사용자가 직접 선반대에 이동하여 상품을 구매하는 실시예를 설명하였고, 도 5에서는 앱에서 추천된 상품 또는 사용자가 앱에서 미리 선택한 상품을 구매하는 실시예를 포함하여 설명한다.
도 5에서 설명되는 실시예에 따른 매장 내 자동 결제 방법의 전체적인 순서는 다음의 단계를 포함할 수 있다.
우선, 사용자가 매장 입구를 통과하면 사용자의 이동 단말기를 통해 사용자 고유 ID가 활성화된다(S210). 상기 사용자 고유 ID는 이동 단말기에 설치된 앱 상에 기록된 것일 수 있다. 즉, 본 발명에 따른 시스템은 사용자가 무인 점포에 입장하면 사용자에 부여된 고유식별자를 인식한다.
그리고 본 발명의 일 실시예에 따른 중앙 서버가 상기 고유 ID 에 기초하여 구매 대상 상품 정보를 획득할 수 있다(S220). 구매 대상 상품은 사용자의 고유 ID에 기초하여 앱에서 추천된 상품이거나 사용자가 직접 입력하여 위시 리스트 등에 저장된 상품이 될 수 있다.
그리고 이동 단말기가 중앙 서버로부터 매장 실내 지도를 수신하고 상기 실내 지도 상에서 구매 대상 상품의 제1 위치 정보 및 이동 경로를 수신할 수 있다(S230).
본 발명의 일 실시예에 따른 제1 위치 정보는 매장 실내 지도에서 상기 구매 대상 상품이 위치한 매대의 번호 및 매대의 층 번호, 매대의 섹션 번호 등을 포함할 수 있다.
본 발명에 따른 시스템은 이동 단말기에 실내 내비게이션을 제공할 수 있다(S240). 본 발명의 일 실시예에 따른 실내 내비게이션은 구매 대상 상품의 제1 위치로 사용자가 따라 갈 수 있도록 이동 경로를 이동 단말기를 통해 사용자에게 알리는 서비스인데, 화면으로 표시되거나 시각 장애인을 위해서는 시각장애인이 인지할 수 있는 음성, 진동, 햅틱, 신호 등으로 출력될 수 있다.
본 발명의 일 실시예에 따른 실내 내비게이션은 이동 경로 상에 장애물도 사용자에게 알릴 수 있다. 따라서 사용자가 구매 대상 상품이 위치한 상기 제1 위치로 따라가는 중에 장애물을 회피할 수 있다. 예를 들면, 장애물은 타사용자 또는 쌓아놓은 상품들을 들 수 있다. 사용자가 실내 내비게이션이 표시된 단말기만 쳐다보고 이동하므로, 장애물에 쉽게 충돌할 수 있다. 따라서 중앙 서버와 사용자 단말기의 상호 작용에 의해 장애물 회피가 필요하다.
중앙 서버는 매장에 설치된 고정 카메라를 통하여 매장내 영상을 취득하고 이 영상으로부터 장애물을 감지한다. 만약, 중앙 서버가 이전 단계(S230)에서 이동 경로를 결정할 때 장애물이 이동 경로상에 존재하지 않다가 장애물이 이동 경로 상의 현재 위치로 이동할 수도 있다. 중앙 서버의 프로세서는 이러한 케이스에서도 이동 경로 상의 장애물을 감지할 수 있다.
한편, 사용자가 가지고 있는 이동 단말기도 실내 내비게이션 제공 단계(S240)에서 장애물을 감지한다. 즉, 이동 단말기는 매장 내 내비게이션 서비스를 제공하면서 카메라 유닛(201)(도 3에 도시)을 통하여 이동 경로를 모니터링해 장애물을 감지한다. 만약 이동 단말기가 장애물을 감지한 경우, 실내 내비게이션 제공 단계(S240)에서 이동 단말기는 경고를 표시한다. 경고 표시 후에 관련 조치가 이루어진 경우, 이동 단말기는 다시 매장내 영상을 촬영한다. 이러한 중앙 서버와 이동 단말기의 효과적인 상호 작용 프로세스로 인하여 사용자가 장애물과 충돌하는 불상사를 미연에 방지할 수 있다.
본 발명의 일 실시예에 따른 실내 내비게이션은 매장 내의 장애물, 예를 들면 다른 사용자들을 탐지하고 충돌 위험을 미리 예측하여 경고할 수 있을 뿐만 아니라 이동 단말기를 적극적으로 이용해 매장 내에 설치되는 고정 카메라들의 수를 크게 줄일 수 있다. 매장 내에서 쇼핑하는 사용자들은 전부 이동 단말기만 보고 이동하기 때문에 상호 충돌할 가능성이 높다. 따라서 이동 단말기를 통해 장애물, 예를 들면 타사용자들을 표시하여 이러한 위험성을 경고하여 그 문제점을 사전에 차단한다. 특히, 이러한 실내 내비게이션은 장애인 또는 노약자처럼 이동 경로를 찾기가 어려운 분들을 도울 수 있다.
사용자가 상기 실내 내비게이션을 따라 상품이 위치한 곳까지 도달하면, 사용자는 이동 단말기를 이용하여 에고센트릭 영상을 촬영한다(S250). 본 발명의 일 실시예에 따른 에고센트릭 영상은 사용자의 이동 단말기를 이용하여 매대에 위치한 상품에 대하여 촬영하는 영상을 의미한다.
본 발명의 일 실시예에 따른 시스템은 촬영한 에고센트릭 영상에서 상품을 검출하여(S260) 이미지 상에서 상품에 대한 신뢰도가 임계치 이상인지 판단한다(S262). 한편, 예측된 신뢰도가 기 설정된 임계치를 넘는지 판단하는 단계(S262)는, 영상을 수집하는 이동 단말기가 웨어러블 디바이스인 경우, 사용자의 손 위치를 추적하여 사용자의 손이 상품을 용이하게 집을 수 있는 거리에 위치한 경우인지 판단하는 단계를 더 포함할 수 있다.
그리고 본 발명의 일 실시예에 따른 시스템은 상기 신뢰도가 임계치보다 낮으면 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기를 이동시키도록 디바이스 초점 내비게이션을 제공하고(S270)하고, 상기 신뢰도가 임계치 이상이면 사용자의 구매 의사를 판단하여(S280) 상기 상품을 사용자의 선택 상품 리스트에 등록할 수 있다(S290).
본 발명의 일 실시예에 다른 시스템은 사용자가 구매할 상품이 더 있는지 확인하여(S292), 구매할 상품이 더 있으면 상기 실내 내비게이션 제공 단계(S240) 또는 에고센트릭 영상을 촬영하는 단계(S250)로 이동 하여 상술한 단계들을 다시 수행한다.
사용자가 직접 매대에 이동하여(S298) 즉석에서 구매할 상품을 결정하는 경우(S298-1)에는 에고센트릭 영상을 촬영하는 단계(S250)부터 시작하여 도 4에 선술한 단계들을 수행한다. 사용자가 앱상의 추천 리스트나 위시 리스트에 있는 상품을 더 구매하는 경우(S298-2)에는 실내 내비게이션 제공하는 단계(S240)부터 도 5에 선술한 단계들을 수행한다.
한편, 본 발명의 일 실시예에 따라 사용자의 구매 의사를 판단하여 상기 상품을 사용자의 선택 상품 리스트에 등록하는 단계(S280, S290)는 아래의 과정들을 더 포함할 수 있다.
무게 센서, 적외선 센서 또는 터치 센서 등의 복수의 분산 데이터 입력 장치가 수집된 데이터를 이용하여 사용자가 품목등록 전환 영역에 들어온 것을 감지한다. 품목등록 전환 영역이란, 사용자가 매대에서 고른 상품을 매대의 진열품목 리스트에서 삭제하고 사용자의 선택 상품 리스트에 등록시키는 영역으로, 매대 앞 소정의 길이까지를 의미할 수 있다.
그리고 고정 카메라, 이동 단말기의 카메라 유닛, 무게 센서, 터치 센서 또는 적외선 센서들로부터 수신하는 데이터를 이용하여 사용자가 상품을 집고 드는 행동이 인식되면 상기 상품을 선택 상품 리스트에 등록하고, 매대의 진열품목 리스트에서 상기 상품을 삭제한다.
한편, 상품을 사용자의 선택 상품 리스트에 등록하는 방법은 사용자가 이동 단말기에서 촬영된 이미지를 선택했을 때, 검출된 상품의 세부정보를 사용자에게 보여주고 사용자가 해당 상품이 맞는지 확인하면 상기 상품을 선택 상품 리스트에 등록하는 단계를 더 포함할 수 있다.
그리고 본 발명의 일 실시예에 따라 사용자 퇴장 정보를 수신하여(S294) 장바구니에 등록된 상품을 자동으로 결제하는 방법(S296)은 다음의 과정들을 포함할 수 있다.
중앙 서버는 적어도 하나 이상의 분산 데이터 입력장치를 이용하여 사용자가 매장에서 쇼핑을 마치고 무인 카운터 영역에 도착하는 것을 감지하고, 상기 무인 카운터 영역에 있는 상품의 무게, 모양, 색깔, 텍스쳐, 또는 크기와 같은 특징들을 인식한다.
중앙 서버는 상기 인식된 특징 정보를 사용자 ID의 선택 상품 리스트에 등록된 상품 정보와 비교하여, 비교 내용이 일치하면 상기 선택 상품 리스트에 등록된 상품에 대한 결제를 자동으로 실행한다.
도 6은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 나타내는 개념도이다.
디바이스 초점 내비게이션을 제공하는 단계는, 상기 중앙 서버 또는 상기 이동 단말기의 프로세서가 에고센트릭 영상에서 검출된 상품의 영상 내에서의 위치 좌표(제2 위치 정보라 지칭함)를 획득하고, 상기 위치 좌표 정보에 기초하여 이동 단말기의 영상 내에서의 위치 좌표 정보(제3 위치 정보라 지칭함)를 획득하는 단계를 포함하고,
그리고 중앙 서버 또는 이동 단말기의 프로세서는 이동 단말기의 상기 제3 위치 정보와 상기 상품의 제2 위치 정보를 비교하여 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 사용자에게 상기 구매 대상 상품이 배치된 진열대 상에서의 상품 위치로 정확하게 이동 단말기를 좌우/상하/각도 등을 안내하는 것이다. 즉, 디바이스 초점 내비게이션은 이동 단말기의 카메라 유닛이 구매 대상 상품이 최적의 신뢰도로 검출될 수 있고 사용자의 손이 구매 대상 상품을 용이하게 집을 수 있는 거리에 위치시키기 위해 가이드 하는 것을 의미한다.
도 6을 참조하여, 촬영된 에고센트릭 영상을 이용하여 디바이스 초점 내비게이션을 제공하는 방법을 설명한다.
사용자가 실제 매대의 선반을 향하여 에고센트릭 영상(a)을 촬영하면, 선반과 상품의 위치를 세밀하게 표시한 맵 형태의 정보(b)가 이동 단말기에 표시된다.
실제 매대(a)에서 사용자의 위치(61a)와 구매 대상 상품의 위치(62a)가 서로 이격되어 있다. 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 프로세서가 에고센트릭 영상을 분석하여 매대 맵(b) 상에서 구매 대상 상품의 위치(62b)와 카메라 유닛의 위치(61b)를 산출한다. 매대 맵(b) 상에서 카메라 유닛의 위치(61b)는 카메라 유닛의 정면에 인식된 상품의 위치로 파악될 수 있으며, 사용자의 위치를 의미한다.
프로세서는 카메라 유닛의 정면에 인식된 상품과 매대 맵(b) 상에 표시된 상품의 위치를 비교하고 매칭한다. 예를 들어, 실제 매대(a)의 노란 음료가 카메라 유닛에 포착된 경우, 프로세서는 매대 맵(b) 상에 표시된 상품과 매칭한 결과, 현재 카메라 유닛의 위치가 5번(61b) 앞 인 것을 알 수 있고, 상기 사용자의 위치 정보(61b)를 산출할 수 있다.
프로세서는 상기 산출된 사용자의 위치 정보 값을 이용하여 구매 대상 상품이 있는 위치(62b)까지 카메라 유닛이 이동해야하는 방향과 거리를 산출하여, 사용자에게 제공할 수 있다. 예컨대 위, 아래, 좌우, 대각선 방향 등이 제시될 수 있고, 맵 상의 거리와 실제 거리 비율을 계산하여 이동 거리도 제시될 수 있다.
상기 디바이스 초점 내비게이션에 따라 카메라 유닛이 유도된 위치로 이동하면, 중앙 서버 또는 이동 단말기의 프로세서는 에고센트릭 영상을 다시 획득하여 신뢰도를 산출한다.
상기 신뢰도가 임계치 이하인 경우, 프로세서는 다시 디바이스 초점 내비게이션을 실시한다. 상기 신뢰도가 기 설정된 임계치를 넘어서면 해당 상품을 선택 상품 리스트에 추가할 수 있다.
도 7은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 수행하는 학습 네트워크를 나타내고, 도 8은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 출력 방향을 나타내며, 도 9는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 시나리오를 나타낸다. 도 7 내지 도 9를 참조하여 디바이스 초점 내비게이션을 수행하는 구체적인 알고리즘에 대하여 설명한다.
디바이스 초점 내비게이션은 강화 학습과 같은 최적화 알고리즘을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하고, 물체 검출 알고리즘 및 내비게이션 알고리즘을 이용하는 것을 특징으로 한다. 도 7을 참조하면, 에고센트릭 영상이 프로세서에 입력된다(S71). 그리고 상기 에고센트릭 영상으로부터 특징이 추출된 (S73) 다음, Q값 근사가 수행된다(S75). 그리고 이동 단말기가 이동해야 할 방향을 출력한다(S77).
본 발명의 일 실시예에서 사용된 강화 학습에 대하여 구체적으로 설명한다.
본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 적절한 일련의 행동들을 지시해 특정 성능 이상으로 목표 객체(예컨대, 상품)가 검출되도록 시점을 변경하게 하는 것이다. 이러한 목적을 달성하기 위해서 강화 학습 알고리즘의 에이전트는 앞으로 받을 보상의 기댓값이 최대가 되도록 행동을 해야 한다. 에이전트가 그 목표를 달성할 수 있는 일련의 행동을 취하도록 하는 정책을 찾는 것이 강화 학습의 목표이다. 상태 변환 확률 함수가 없고 포상 함수가 데이터에 의존하기에 즉, 본 발명의 일 실시예에서 해결하고자 하는 과제는 Model-free 상태인 강화 학습 문제로 정의할 수 있으며, 심층 Q-학습을 이용하여 해결될 수 있다.
심층 Q 네트워크는 강화 학습 방법 중 하나로서, 기존 Q-학습은 계산된 Q 값을 Q-table로 구성하여 에이전트가 취해있는 상태에 대해 가장 큰 Q 값을 주는 행동을 하였지만, 심층 Q 네트워크는 심층 인공 신경망을 이용하여 Q 값을 근사한다. 심층 Q 네트워크를 통해 이미지를 입력으로 받아 에이전트가 하게 될 행동을 확률적으로 계산하여 출력한다. 이때 쓰이는 네트워크는 크게 두 부분으로 나눠진다. 이미지를 입력 받아 특징을 추출하는 합성곱 네트워크와 추출된 특징을 이용하여 Q 함수의 근사함수로 작동하여 행동에 대한 근사된 Q 값을 출력하는 네트워크로 구분된다. 에이전트는 학습된 네트워크를 통해 근사된 Q 값 중 가장 큰 Q 값을 가지는 행동을 선택하게 된다.
강화 학습을 이용 하여 객체 검출을 하기 위해서는, 객체 검출을 마르코브 결정 문제로 정의해야 한다. 마르코브 결정 문제는 (S, A, P, R) 총 4가지 요소로 정의된다. S는 상태의 집합, A는 에이전트가 할 수 있는 행동들의 집합, P는 상태 간 변환될 수 있는 확률함수, R은 에이전트가 행동을 취했을 때 기존의 상태에서 다른 상태로 변환이 되는데, 그에 대한 피드백으로 받는 포상에 대한 함수이다. 본 명세서에서는, 어떤 상태에서 다른 상태로 변환되는 것, 즉 P는 상태 변환 확률변수가 아닌 심층 Q 네트워크의 결과값인 Q 값에 의해 결정된다. 상세한 정의는 도 8을 참조하여 아래와 같이 설명된다.
<행동의 정의>
에이전트는 매 시점마다 결정을 내려야 한다. 이는 MDP에서 행동이라 한다. 에이전트가 행동을 취하게 되면 에이전트가 환경에서 취하던 상태는 새로운 상태로 바뀌게 되며 그 행동의 결과로 에이전트는 새로운 상태로 변환되며, 그에 따른 보상 혹은 패널티를 받게 된다. DQN을 응용한 많은 연구들은 게임이나 바둑 등에서 큰 성과를 이루었지만, 실제 세계에 적용하는데 있어 다른 방향이 제시되어야 한다. 실제 세계에서 움직이는 행동은 연속적이지만 본 명세서에서는 행동을 이산적이라 가정한다. 이동방향은 목표 객체를 잘 검출하기 위한 시점(Viewpoint)을 찾아가도록 하는 방향정보를 나타낸다. 이동방향은 한 번 행동 할 때 카메라가 움직이는 방향을 나타내며 사람이 휴대한 핸드폰을 촬영을 위해 움직일 때 pitch와 roll은 거의 변화가 없다가 가정하여서, 수집된 정보는 6 DoF(Degrees of freedom) 중 4 DoF를 사용한다. 따라서 본 명세서에서는 전(S88), 후(S84), 좌(S82), 우(S87), 상(S81), 하(S85)의 x, y, z 좌표와, 시계방향회전(S83), 반시계방향회전(S86)의 yaw 값의 총 4개 값을 사용하는 4 DoF 사용한다(도 8 참고). 이동거리는 한 번 행동을 취할 때 이동방향 쪽으로 이동하는 거리를 나타낸다. 이동거리는 {짧게, 중간, 길게}로 표현하며, 각각의 길이는 실험에 의해 정의한다. 본 명세서에서는 사용자가 카메라를 최적의 시점으로 유도하기위해 이동방향과 이동거리를 제공하도록 한다. MDP에서 이동방향과 이동거리를 행동으로 정의한다.
목표 객체(80)를 검출인식하는 과정에서 최적의 위치산정을 위하여 카메라의 이동은 0.5cm, 1cm, 2cm 단위로 측정하고, 진행방향을 기준으로 회전은 시계방향은 +5° , +10° , +15° 단위로 측정하고, 반시계방향은 -5° , -10° , -15° 단위로 측정한다.
본 발명의 일 실시예에서는 카메라 이동을 위해 행동
Figure PCTKR2020006103-appb-I000001
은 다음과 같이 수집한다.
Figure PCTKR2020006103-appb-I000002
Figure PCTKR2020006103-appb-I000003
은 안드로이드 폰의 accelerometer 센서값 S를 기준으로 다음과 같이 정의하였다.
Figure PCTKR2020006103-appb-I000004
Figure PCTKR2020006103-appb-I000005
와
Figure PCTKR2020006103-appb-I000006
는 실험에 의해 결정된다.
도 9를 참조하여 최적의 객체 검출 시점을 찾아가는 시나리오를 설명하면 다음과 같다.
카메라가 출발점(91)에 있고, 목표 객체가 (90)위치에 있을 때, 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 {전진, short} (d1), {우측, short}(d2), {전진, long}(d3),{우측, middle}(d4), {반시계방향 10° }, {전진, middle} 순서로 가이드할 수 있다.
도 10은 본 발명의 일 실시예에 따라 사용자의 구매 의사를 판단하는 방법의 순서도를 나타낸다.
도 10을 참조하여, 도 4 및 도 5에서 서술한 사용자의 구매의사를 판단하는 방법을 설명한다.
이동 단말기 또는 고정 카메라가 촬영한 영상에서 손 내밀기 동작을 인식한다(S300). 그리고 사용자의 이동 단말기로 에고센트릭 영상을 획득한다(S310). 프로세서는 에고센트릭 영상으로부터 획득한 이미지를 분석하여 구매 대상 상품을 검출하고(S320), 손 당기기 동작을 인식(S330)하면, 구매의사로 인식하여 상기 상품을 선택 상품 리스트에 등록한다(S340).
도 11은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 고속 적응적 학습의 개념도이다.
레이블이 지정되지 않은 데이터 세트의 실제 레이블을 사전에 알 수가 없기 때문에, 손실 측정 함수가 정의되여 새로운 레이블이 추정될 수 있다. 최악의 경우, 또는 최상의 경우를 모두 고려하여 현재 모델의 적정 boundary를 선택하는 방법이 개발될 수 있다. 이를 바탕으로 예상되는 오류가 측정되고 학습 효율을 최적화하기 위한 목적 함수가 정의되어, 이 목적 함수를 최소화하는 데이터가 선택될 수 있다. 이 방법을 바탕으로 ASSL 알고리즘은, 목적 함수를 계산할 때 레이블이 지정되지 않은 모든 데이터를 고려하여, 확장될 수 있다. 기존의 딥러닝 모델의 재학습 방법은 레이블이 지정되지 않은 모든 데이터와 가능한 모든 레이블을 검토하기 때문에 많은 계산이 필요하다. 이를 최소화하기 위해 소규모 Bin 단위의 고속 적응적 ASSL 학습을 수행하는 방법이 제안될 것이다.
도 12는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 방법의 순서도이다.
도 11에서 상술한 적응적 학습 알고리즘을 기반으로, 객체 분류 문제의 불확실성 해결을 위해서 일반적으로 사용하는 Forward Batch Learning에서 탈피하여 Forward Learning과 Rollback Learning을 결합하는 상품 객체 검출의 신뢰도 예측을 고도화 하는 객체 검출기는 협업 필터링 방법과 고속 적응적 학습 방법으로 구성할 수 있다.
검출기의 정확성을 최적화하기 위해 학습 데이터에 대해 Uncertainty filtering, Diversity filtering과 Confidence filtering을 포함하는 협업 필터링을 다음과 같이 적용하여 확률적으로 보다 많은 유효한 레이블이 있는 데이터를 추출한다.
1. Uncertainty criteria를 정하고 불확실성이 높은 데이터를 샘플링 하는 단계로 다음과 같이 수식으로 표현된다.
Figure PCTKR2020006103-appb-I000007
Figure PCTKR2020006103-appb-I000008
는 전체 데이터셋이며,
Figure PCTKR2020006103-appb-I000009
는 가능한 레이블 종류이다.
2. Diversity criteria를 정하고 상기 데이터로부터 추출한 특징간에 유클리디안 거리를 계산하여 diversity가 최대인 데이터를 샘플링하는 단계는 다음과 같이 수식으로 표현된다.
Figure PCTKR2020006103-appb-I000010
Rank(x)는 f(x)의 내림차순을 나타내며,f(x)는 데이터 x에 대한 현재 CNN 검출기 모델의 성능이다.
3. Confidence criteria를 정하고 상기 데이터로부터 높은 신뢰도를 지닌 데이터만 샘플링 하는 단계는 다음과 같이 수식으로 표현된다.
Figure PCTKR2020006103-appb-I000011
적응적 ASSL 학습 방법을 적용하기 위하여, 구매 대상 상품에 대해 이미지를 수집하고, 수집된 데이터 이용하여 검출기 모델을 신속하고 적응적으로 학습하는 단계는 EER 학습 프로세스와 빈(Bin) 기반 ASSL을 결합하여서 실시한다. 결합된 프로세스는 레이블된 데이터 중 의심스러운 데이터를 조사해서 제거하는 롤백 제거 단계; 포워드 재선택 기반의 학습이나 롤백 재레이블링 기반의 학습을 통해서 롤백 빈 기반 ASSL을 진행하는 프로세스로 구성된다. 이 결합 프로세스의 기술적인 내용은 다음에 기술한다.
Figure PCTKR2020006103-appb-I000012
는 레이블된 학습 데이터세트를 나타내고,
Figure PCTKR2020006103-appb-I000013
는 레이블이 없는 데이터세트를 나타낸다. 여기서 m<<n이다. 만약 선택된 샘플 x의 레이블이 y라면, LD에 추가하고 이를
Figure PCTKR2020006103-appb-I000014
로 나타낸다. 협업 샘플링 후
Figure PCTKR2020006103-appb-I000015
는 현재 배치 데이터세트를 나타낸다.
Figure PCTKR2020006103-appb-I000016
는 빈 기반 SSL의 고신뢰도의 배치 단위 데이터 세트를 나타낸다.
Figure PCTKR2020006103-appb-I000017
의 사이즈는 신뢰도 파라미터 γ로 제한하며 이를 넘으면 신뢰 샘플 선택 프로세스가 중지된다.
Figure PCTKR2020006103-appb-I000018
는 다음 식을 만족하는 샘플로 초기화된다.
Figure PCTKR2020006103-appb-I000019
고신뢰도 샘플링 전략은
Figure PCTKR2020006103-appb-I000020
에서 샘플을 선택하는데, 다음의 측정식을 이용한다. 현재 심층 특징 공간의 거리 측정식에 의해
Figure PCTKR2020006103-appb-I000021
에 추가한다.
Figure PCTKR2020006103-appb-I000022
여기서
Figure PCTKR2020006103-appb-I000023
는 깊은 피처 공간에서 두 샘플 xi 와 xj 사이의 유클리드 거리이다. 검출기는
Figure PCTKR2020006103-appb-I000024
의 고신뢰도 샘플에서 생성된 빈 시퀀스를 사용하여 재훈련 된다.
고신뢰도 샘플은 빈 단위로 나눠지며 빈 풀
Figure PCTKR2020006103-appb-I000025
로 정의된다.
검출기 모델 및 EER 모델을 초기화는 다음과 같이 수행한다.
Figure PCTKR2020006103-appb-I000026
는 LD로부터 만들어진 EER 모델을 나타내고,
Figure PCTKR2020006103-appb-I000027
는 LD + 로부터 만들어진 EER 모델을 의미한다.
ASSL에서는 레이블이 지정되지 않은 데이터 샘플 풀이 각 학습 단계에 사용된다. 단계 i에 대해, 빈
Figure PCTKR2020006103-appb-I000028
를 고려하여 다음과 같이 표현된다.
Figure PCTKR2020006103-appb-I000029
여기서 첫 번째 항은 현재 모델의 레이블 정보를 나타내고 두 번째 항은
Figure PCTKR2020006103-appb-I000030
모델의 레이블이 없는 데이터풀
Figure PCTKR2020006103-appb-I000031
의 예상 엔트로피의 합이다.
협업 샘플링을 적용한 후, 빈 데이터 세트에 반복적으로 식.(2)를 적용하여 의사 레이블 세트
Figure PCTKR2020006103-appb-I000032
을 결정할 수 있다. 그러나
Figure PCTKR2020006103-appb-I000033
의 각 데이터 샘플에 대한 모델을 구성하려면 여전히 많은 계산 오버 헤드가 필요하다. 따라서 식. (2)는 다음과 같이 의사 레이블이 지정된 세트
Figure PCTKR2020006103-appb-I000034
의 선택된 샘플에 대한 모델을 구성하여 근사된다.
Figure PCTKR2020006103-appb-I000035
여기서 첫 번째 항은 의사 레이블이 지정된 세트
Figure PCTKR2020006103-appb-I000036
의 선택된 샘플에 대한 현재 모델의 레이블 정보를 나타내고 두 번째 항은 가중치 모델인
Figure PCTKR2020006103-appb-I000037
의 레이블이 없는 데이터
Figure PCTKR2020006103-appb-I000038
에 대한 예상 엔트로피의 합이다. 레이블이
Figure PCTKR2020006103-appb-I000039
인 샘플
Figure PCTKR2020006103-appb-I000040
를 선택하고 LD에 추가하여
Figure PCTKR2020006103-appb-I000041
로 나타낸다.
각 빈 기반 ASSL 단계에서 신뢰도 점수는 현재 CNN 검출기에 의해 의사 샘플에 할당된다. 레이블이 지정된 데이터 D0은 처음에 CNN 검출기 모델 f 0 및 EER 모델 g 0을 초기화하는 데 사용된다. Acc0는 유효 데이터를 사용하여 f 0에 의해 계산된다. 각 빈에 대해 각각
Figure PCTKR2020006103-appb-I000042
를 사용하여 CNN 검출기 모델
Figure PCTKR2020006103-appb-I000043
를 만든다. Acc 1은
Figure PCTKR2020006103-appb-I000044
즉 Acc 1에 의해 계산된 빈의 점수 중 최대 정확도를 나타낸다. 즉,
Figure PCTKR2020006103-appb-I000045
성능이 향상되면, (즉 Acc 1 ≥ Acc 0),
Figure PCTKR2020006103-appb-I000046
및
Figure PCTKR2020006103-appb-I000047
를 수행하여 다음 단계로 넘어간다. i단계에서 각 빈마다 CNN 모델
Figure PCTKR2020006103-appb-I000048
를
Figure PCTKR2020006103-appb-I000049
를 사용하여 각각 구축하고,
Figure PCTKR2020006103-appb-I000050
로 갱신한다. 검출기 모델을 적응적 학습하는 단계는 다음의 세 경우로 나뉜다. Case 1)
Figure PCTKR2020006103-appb-I000051
Case 2)
Figure PCTKR2020006103-appb-I000052
and Case 3)
Figure PCTKR2020006103-appb-I000053
여기서 Acc는 τ는 탐사 잠재성에 대한 허용 한계치이다.
Case 1.
Figure PCTKR2020006103-appb-I000054
인 경우, 다음 스텝을 위해 최고의 빈을 선택하고 다음과 같이 업데이트한다.
Figure PCTKR2020006103-appb-I000055
and
Figure PCTKR2020006103-appb-I000056
여기서 bin pool B 는 선택된 빈을 제거함으로써 축소된다.
Case 2.
Figure PCTKR2020006103-appb-I000057
인 경우 다음을 수행한다.
1) 롤백 학습 프로세서는 아래식을 이용해서
Figure PCTKR2020006103-appb-I000058
로부터 제거될 샘플을 찾는다.
제거를 위한 롤백 샘플은 다음과 같이 분류 모델을 사용하여 마지막 의사 레이블이 지정된 샘플의 빈에서만 선택된다.
Figure PCTKR2020006103-appb-I000059
여기서
Figure PCTKR2020006103-appb-I000060
는 재 선택 과정에서 제거할 롤백 샘플을 나타낸다. 선택한 롤백 샘플이 각각
Figure PCTKR2020006103-appb-I000061
로 의사 레이블이 붙어 있고 LD에서 제거된
Figure PCTKR2020006103-appb-I000062
인 경우, 차 집합
Figure PCTKR2020006103-appb-I000063
으로 표현된다.
2) 재라벨링 샘플을 찾아서, 식.(7)을 기반으로 하는 롤백 학습 프로세스를 사용하여
Figure PCTKR2020006103-appb-I000064
에서 새로운 라벨을 할당한다.
각 재레이블된 후보자에 대한 모델의 계산은 계산 오버 헤드를 고려하여, 다음과 같이
Figure PCTKR2020006103-appb-I000065
에서 재레이블된 후보자 풀의 관점에서 재레이블 롤백 학습 프로세스를 다음과 같이 수행한다.
Figure PCTKR2020006103-appb-I000066
여기서
Figure PCTKR2020006103-appb-I000067
유사 레이블 x에 y가 할당된 것을 나타낸다. Z는 정규화 상수이며 다음에 의해 계산된다.
Figure PCTKR2020006103-appb-I000068
여기서
Figure PCTKR2020006103-appb-I000069
이다.
3) 식.(3) 식을 기반으로 EER 순방향 학습 프로세스를 사용하여 재 선택에 의해
Figure PCTKR2020006103-appb-I000070
를 업데이트한다.
Case 3. 인 경우 오라클이 B *의 잘못 레이블 된 데이터를 레이블링하며, 다음과 같은 수식에 따라 모델이 업데이트 된다.
Figure PCTKR2020006103-appb-I000071
Case 2.의 롤백 프로세스는 Oracle 라벨링 단계를 크게 줄일 수 있다.
Figure PCTKR2020006103-appb-I000072
는 시간 t에서
Figure PCTKR2020006103-appb-I000073
및
Figure PCTKR2020006103-appb-I000074
을 학습하는 데 사용되는 학습 데이터 세트
Figure PCTKR2020006103-appb-I000075
을 만드는 데 사용된다. 이 프로세스는 수렴될 때까지 반복된다.
마지막으로, 롤백 빈 기반 SSL은 두 가지 모델 f와 g와 확대된 레이블이 지정된 데이터 집합 LD를 생성한다. EER 기반 롤백 학습과 빈 기반 SSL의 조합은 동적으로 변화하는 환경에서 노이지한 스트리밍 샘플로부터도 빠르고 적응적인 물체 검출기를 생성하게 된다.
상기 포워드-롤백 학습 과정은
Figure PCTKR2020006103-appb-I000076
또는
Figure PCTKR2020006103-appb-I000077
또는 제한된 시간까지 반복된다.
Figure PCTKR2020006103-appb-I000078
조건이 충족되면
Figure PCTKR2020006103-appb-I000079
로 갱신한다.
한편, 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템은 무인 점포/편의점에 적용될 수 있는데 이에 한정되는 것은 아니며, 푸드 코트, 카페, 식당, 미용실, 실내 게임장 등 서비스 상품에도 적용될 수 있다.
그리고 상품을 제공하는 장소가 분산되어 있는 경우, 자동 결제 시점은 일괄적으로 설정되거나 사용자가 원하는 시점, 또는 특정 지점에서 한번 이상으로 설정될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100 : 중앙 서버
200 : 이동 단말기
300 : 고정 카메라
1000 : 매장 내 자동 결제 시스템

Claims (9)

  1. 정보처리장치, 정보입력장치, 정보출력장치 및 이동 단말기 중 적어도 어느 하나 이상을 포함하는 시스템의 매장 내 자동 결제 방법에 있어서,
    이동 단말기가 에고센트릭 영상을 수집하는 단계;
    상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계;
    상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;
    상기 복수의 장치들 중 적어도 하나 이상의 장치는 상기 신뢰도가 기 설정된 임계치 이상인 경우, 상기 구매 대상 상품을 사용자의 선택 상품 리스트에 등록하는 단계를 포함하는 매장 내 자동 결제 방법.
  2. 정보처리장치, 정보입력장치, 정보출력장치 및 이동 단말기로 구성되는 복수의 장치들 중 적어도 어느 하나 이상을 포함하는 시스템의 매장 내 자동 결제 방법에 있어서,
    상기 정보처리장치가 상기 이동 단말기, 사용자 앱 또는 사용자의 고유 ID에 기초하여 구매 대상 상품 정보를 결정하는 단계;
    상기 이동 단말기가 상기 정보처리장치로부터 매장 실내 지도, 상기 지도 상에서 상기 구매 대상 상품이 위치한 제1 위치 정보를 수신하는 단계;
    상기 정보처리장치가 상기 복수의 장치들 중 적어도 하나 이상의 장치를 이용하여 상기 이동 단말기에 실내 내비게이션을 제공하는 단계;
    상기 이동 단말기가 에고센트릭 영상을 수집하는 단계;
    상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 상기 구매 대상 상품을 검출하는 단계;
    상기 복수의 장치들 중 적어도 하나 이상의 장치가 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;
    상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 신뢰도에 기초하여, 상기 구매 대상 상품을 선택 상품 리스트에 등록하는 단계를 포함하는 매장 내 자동 결제 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계는,
    상기 정보처리장치가 상기 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계를 더 포함하는 매장 내 자동 결제 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 정보처리장치는 수집된 영상으로부터 사용자의 손 위치를 추적하여 사용자의 손 위치가 기 설정된 위치인 경우인지 판단하는 단계를 더 포함하고, 사용자의 손 위치가 기 설정된 위치인 경우, 상기 구매 대상 상품을 선택 상품 리스트에 등록하고,
    상기 기 설정된 위치는 사용자의 손이 상품을 용이하게 집을 수 있는 거리인 것인 매장 내 자동 결제 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 정보처리장치가 상기 정보입력장치 또는 상기 이동단말기로부터 수집한 영상을 이용하여 사용자의 구매의사를 판단하는 단계를 더 포함하고,
    상기 사용자의 구매의사를 판단하는 단계는, 영상으로부터 손의 상태 및 손의 동작, 사람의 상태 및 사람의 동작을 인식함으로써 판단하는 매장 내 자동 결제 방법.
  6. 제3항에 있어서,
    상기 디바이스 초점 내비게이션은 강화 학습을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하는 것을 특징으로 하는 매장 내 자동 결제 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 신뢰도를 산출하는 단계는,
    복수의 장치들 중 적어도 하나 이상의 장치가 객체 검출기의 협업 필터링 방법과 고속 적응적 학습 방법을 적용하는 단계를 더 포함하여,
    상기 구매 대상 상품에 대한 객체 검출의 신뢰도를 높이는 매장 내 자동 결제 방법.
  8. 제3항에 있어서,
    상기 디바이스 초점 내비게이션을 제공하는 단계는,
    상기 정보처리장치 또는 상기 이동 단말기가 상기 에고센트릭 영상에서 검출된 상품의 제2 위치 정보에 기초하여 상기 이동 단말기의 제3 위치 정보를 수신 또는 산출하는 단계;
    상기 정보처리장치 또는 상기 이동 단말기가 상기 이동 단말기의 제3 위치 정보와 상기 상품의 제2 위치 정보를 비교하여 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계;를 더 포함하는 매장 내 자동 결제 방법.
  9. 제3항에 있어서,
    상기 디바이스 초점 내비게이션은 물체 검출 알고리즘과 강화학습 알고리즘을 통해 수행되는 것인, 매장 내 자동 결제 방법.
PCT/KR2020/006103 2019-07-03 2020-05-08 매장 내 자동 결제 방법, 시스템 및 프로그램 WO2021002587A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/047,868 US20230162267A1 (en) 2019-07-03 2020-05-08 In-store automatic payment method, system, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190079754 2019-07-03
KR10-2019-0079754 2019-07-03
KR10-2020-0052170 2020-04-29
KR1020200052170A KR102336264B1 (ko) 2019-07-03 2020-04-29 매장 내 자동 결제 방법, 시스템 및 프로그램

Publications (1)

Publication Number Publication Date
WO2021002587A1 true WO2021002587A1 (ko) 2021-01-07

Family

ID=74101098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006103 WO2021002587A1 (ko) 2019-07-03 2020-05-08 매장 내 자동 결제 방법, 시스템 및 프로그램

Country Status (2)

Country Link
US (1) US20230162267A1 (ko)
WO (1) WO2021002587A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783177A (zh) * 2021-01-28 2021-05-11 谈斯聪 一种室内外移动机器人、车体两用装置、管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110130078A (ko) * 2010-05-27 2011-12-05 구태완 스마트폰을 이용한 바코드 기반 무인 결제 시스템
KR20170112569A (ko) * 2016-03-31 2017-10-12 삼성전자주식회사 상품 결제 방법 및 이를 지원하는 전자 장치
JP2019008759A (ja) * 2017-06-28 2019-01-17 株式会社 コリアセブン 無人計算装置、その制御方法及びコンピュータプログラム、並びに無人計算装置の制御装置
KR20190021183A (ko) * 2017-08-22 2019-03-05 주식회사 마이샵온샵 무인 상점 관리 방법 및 시스템
KR101960899B1 (ko) * 2018-10-12 2019-03-21 주식회사 에스피씨네트웍스 제품 식별 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489112B2 (en) * 2009-07-29 2013-07-16 Shopkick, Inc. Method and system for location-triggered rewards
GB201705655D0 (en) * 2017-04-07 2017-05-24 Farfetch Uk Ltd Tracking user interaction in a retail environment
CN112639862A (zh) * 2018-06-29 2021-04-09 鬼屋技术有限责任公司 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110130078A (ko) * 2010-05-27 2011-12-05 구태완 스마트폰을 이용한 바코드 기반 무인 결제 시스템
KR20170112569A (ko) * 2016-03-31 2017-10-12 삼성전자주식회사 상품 결제 방법 및 이를 지원하는 전자 장치
JP2019008759A (ja) * 2017-06-28 2019-01-17 株式会社 コリアセブン 無人計算装置、その制御方法及びコンピュータプログラム、並びに無人計算装置の制御装置
KR20190021183A (ko) * 2017-08-22 2019-03-05 주식회사 마이샵온샵 무인 상점 관리 방법 및 시스템
KR101960899B1 (ko) * 2018-10-12 2019-03-21 주식회사 에스피씨네트웍스 제품 식별 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783177A (zh) * 2021-01-28 2021-05-11 谈斯聪 一种室内外移动机器人、车体两用装置、管理系统及方法

Also Published As

Publication number Publication date
US20230162267A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
WO2018139865A1 (ko) 이동 로봇
WO2018038488A1 (ko) 이동 로봇 및 그 제어방법
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2018074903A1 (ko) 이동 로봇의 제어방법
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
WO2020139064A1 (en) Cleaning robot and method of performing task thereof
WO2017188800A1 (ko) 이동 로봇 및 그 제어방법
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2021006368A1 (ko) 인공지능 기반의 에너지 사용량 예측 장치 및 예측 방법
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2021006404A1 (ko) 인공지능 서버
WO2021002499A1 (ko) 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2021045271A1 (ko) 로봇
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2022025706A1 (en) Angle of arrival capability in electronic devices
WO2021040214A1 (ko) 이동 로봇 및 그 제어 방법
KR102336264B1 (ko) 매장 내 자동 결제 방법, 시스템 및 프로그램
WO2020130260A1 (en) Mobile terminal and method of operating the same
WO2017188708A2 (ko) 이동 로봇, 복수의 이동 로봇 시스템 및 이동 로봇의 맵 학습방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2021002587A1 (ko) 매장 내 자동 결제 방법, 시스템 및 프로그램
WO2020130180A1 (ko) 세탁물 처리 기기 및 그의 동작 방법
WO2021049751A1 (ko) 인공 지능을 이용한 조리 기기 제어 방법 및 그 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20834795

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20834795

Country of ref document: EP

Kind code of ref document: A1