WO2022173090A1 - 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템 - Google Patents

인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템 Download PDF

Info

Publication number
WO2022173090A1
WO2022173090A1 PCT/KR2021/016048 KR2021016048W WO2022173090A1 WO 2022173090 A1 WO2022173090 A1 WO 2022173090A1 KR 2021016048 W KR2021016048 W KR 2021016048W WO 2022173090 A1 WO2022173090 A1 WO 2022173090A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
vending machine
computing device
unmanned
unmanned vending
Prior art date
Application number
PCT/KR2021/016048
Other languages
English (en)
French (fr)
Inventor
김상범
오장욱
김지훈
김형준
Original Assignee
주식회사 베이리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베이리스 filed Critical 주식회사 베이리스
Publication of WO2022173090A1 publication Critical patent/WO2022173090A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys

Definitions

  • the present invention relates to a system based on user behavior analysis and situational awareness using artificial intelligence.
  • a conventional vending machine or unmanned convenience store is literally an unmanned sales system in which consumers directly purchase and pay for goods without a store clerk. In preparation for the minimum wage increase, this system reduces labor costs and enhances consumer convenience. In addition, there is an advantage in that the waiting time is shortened because the consumer directly pays with a credit card or a smartphone app.
  • Korean Patent Registration No. 10-1887685 discloses an unmanned vending machine including an operating system.
  • Korean Patent No. 10-1887685 requires a separate weight sensor, so there is a possibility that the display stand manufacturing cost increases, the mass production process cost increases, and the mechanical failure rate increases.
  • the present invention is an invention for the purpose of solving the technical problems as described above. Based on user behavior analysis and situational awareness using artificial intelligence, a separate weight sensor is not required, and purchases such as exchange or return are not required.
  • An object of the present invention is to provide an unmanned sales system capable of discriminating various consumer behaviors that may be followed later.
  • the unmanned vending system includes at least one computing device that analyzes images acquired by a plurality of cameras provided inside and outside the unmanned vending machine in which a plurality of items can be displayed for sale;
  • the computing device may recognize the user's payment method and, when the corresponding payment method is approved, unlock the unmanned vending machine.
  • the at least one computing device uses an external image acquired from at least one camera that acquires an external image of the unmanned vending machine to primarily perform a user operation including purchase, return, and exchange of an item. It is characterized by judging by Specifically, it is preferable that the at least one computing device detects the user's hand region using the external image and primarily determines the user's motion by tracking the hand.
  • the at least one computing device determines the state of the displayed article by using an internal image acquired from at least one camera that acquires an internal image of the unmanned vending machine.
  • the at least one computing device determines the final user's motion by comparing the primarily determined result of the user's motion with the judgment result of the state of the displayed article. .
  • the at least one computing device displays on a display provided in the unmanned vending machine or transmits it to a user terminal when, as a result of the final determination of the user's operation, there is an item damaged by the user.
  • the at least one computing device when the at least one computing device is determined to be a return or exchange operation of the item by the user as a result of the final determination of the user's operation, the at least one computing device reads the database and performs the return or exchange operation of the item by the user Searches the purchase history up to the pre-specified time for the return or exchange action, and if there is a purchase history as a result of the search, the return or exchange action is approved.
  • the exchange operation is disapproved, and approval or disapproval information is displayed on a display provided in the unmanned vending machine or transmitted to a user terminal.
  • the at least one computing device searches the database for event information related to the item from the database when it is determined that the user purchases the item by the user as a result of the final determination of the user's action, and the search result event If there is information, the corresponding event information is displayed on a display provided in the unmanned vending machine or transmitted to a user terminal.
  • the at least one computing device may include information on items that can be purchased based on the type of item or the price of the item or an unattended vending machine of the item. At least one of the location information is displayed on a display provided in the unmanned vending machine or transmitted to a user terminal.
  • the at least one computing device receives information on a desired item to be purchased from a display or a user terminal provided in the unmanned vending machine, and receives location information of the item from the unmanned vending machine. is displayed on a display provided in the unmanned vending machine or transmitted to a user terminal.
  • the at least one computing device detects a current inventory quantity for each item displayed on the unmanned vending machine and a sales quantity for a certain period, and adjusts the displayed quantity of the corresponding item in the unmanned vending machine according to the sales quantity. Accordingly, when the inventory quantity is less than a predetermined ratio or a predetermined number compared to the displayed quantity, it is preferable to transmit recommendation information for additionally displaying the corresponding product in the unmanned vending machine to the manager terminal.
  • a separate weight sensor is not required, and various consumer actions that may accompany after purchase, such as exchange or return, can be determined. have.
  • FIG. 1 is a configuration diagram of an unmanned sales system based on user behavior analysis and situational awareness using artificial intelligence according to an embodiment
  • FIG. 2 is a flow diagram of purchase of an article by at least one computing device.
  • FIG. 3 is a flow chart of a primary determination of a user's operation
  • FIG. 1 shows a configuration diagram of an unmanned sales system 100 based on user behavior analysis and situational awareness using artificial intelligence according to an embodiment.
  • the unmanned vending system 100 includes an unmanned vending machine 10 , an image acquisition unit 20 , a payment unit 30 , and at least one computing device. (40) is included.
  • the unmanned vending machine 10 is preferably provided with an inner space in which a plurality of items can be displayed for sale and a locking device for the door.
  • the unmanned vending machine 10 further includes a touch-type display, so that the display functions as an input/output device.
  • the image acquisition unit 20 serves to acquire images of the interior and exterior of the unmanned vending machine 10 including a plurality of cameras.
  • At least one camera installed inside the unmanned vending machine 10 mainly acquires images of items displayed in the unmanned vending machine 10 .
  • at least one camera installed outside the unmanned vending machine 10 is characterized in that it acquires an image of a user located outside the unmanned vending machine 10 .
  • the payment unit 30 may be, for example, a card reader provided in the unmanned vending machine 10 , and card information read by the card reader may be approved by at least one computing device 40 .
  • the at least one computing device 40 analyzes the image acquired by the image acquisition unit 20 to analyze the user's behavior. At least one computing device 40 may preferably analyze the user's behavior by artificial intelligence.
  • the at least one computing device 40 may be provided in the unmanned vending machine 10 or may be located outside the unmanned vending machine 10 .
  • the at least one computing device 40 includes one computing device provided in the unmanned vending machine 10 and a computing device such as a server provided outside the unmanned vending machine 10 , for collaboration of a plurality of computing devices. may be operated by
  • FIG. 2 is a flowchart of purchase of an item by at least one computing device 40 .
  • the at least one computing device 40 tracks the user's image ( S10 ).
  • the user is recognized by the corresponding face image, and if the user is registered in the database, the user is authenticated.
  • face detection is performed and face recognition is performed.
  • a commonly used face detection algorithm may be used, and it may be possible to confirm whether a buyer is a customer through a database with an existing purchase history.
  • the user's recognition may be performed by various methods, such as logging in from the user terminal to the at least one computing device 40 , in addition to face recognition. That is, the user may log in through a pre-installed application program of the user terminal.
  • the card information which is a payment means read by the card reader, is recognized and approved if there is no problem (S30).
  • This approval process may be performed through connection to a card company server.
  • the user authentication operation is not an essential operation, the operation of recognizing and approving the user's payment method may be performed.
  • the at least one computing device 40 may receive payment method information from the user terminal to receive the corresponding payment method information. That is, the user may request the at least one computing device 40 for approval of various payment methods available in the application program through a pre-installed application program of the user terminal.
  • the at least one computing device 40 unlocks the locking device of the unmanned vending machine 10 ( S40 ).
  • the at least one computing device 40 starts analyzing a user's behavior and analyzing whether an item is changed ( S50 ).
  • the at least one computing device 40 determines the user's operation ( S70 ), and accordingly, payment and exchange according to purchase It proceeds with the work such as settlement and refund according to the return (S80).
  • the operation of the user S70
  • the at least one computing device 40 uses an external image acquired from at least one camera that acquires an external image of the unmanned vending machine 10 , and a user including purchase, return, and exchange of goods. It is characterized in that the operation is primarily determined (S71). That is, the at least one computing device 40 detects the user's hand region using an external image and primarily determines the user's motion by tracking the hand. When the user's operation is primarily determined (S71), the determination of the type of the item to be purchased, returned, or exchanged is also performed, and whether or not it is damaged.
  • the at least one computing device 40 determines the state of the displayed article ( S72 ) using the internal image acquired from the at least one camera that acquires the internal image of the unmanned vending machine 10 . do. Determining the state of the displayed items is intended to supplement the primary determination result of the user's motion to more accurately determine the user's motion.
  • the at least one computing device 40 finally determines the user's motion by comparing the primarily determined result of the user's motion with the determination result of the state of the displayed article ( S73 ). It is preferable that the final determination of the user's operation is made after the locking of the unmanned vending machine 10 is resumed.
  • the other clear determination result may be used. That is, when a contradiction occurs between the primarily determined determination of the user's action and the determination of the state of the displayed article, a clearer determination result may be used.
  • FIG. 3 is a flow chart showing a primary determination of a user's operation.
  • the primary determination (S71) of the user's operation is hand detection and tracking (S711), the hand enters the unmanned vending machine 10 (S712), and the hand again moves into the unmanned vending machine (S711). (10)
  • S713 the user's operation is primarily determined (S714), the hand enters the inside of the unmanned vending machine 10 (S712), and the hand moves out of the unmanned vending machine 10 again (S712). If not, it is preferable to continuously determine whether to advance to the outside (S713).
  • the user's hand is detected and the hand item is detected using an image-based behavior analysis algorithm. Based on this, it is checked whether the user took out the item (purchase action), put the item in (return action), or exchanged the item (exchange action). In addition, it proceeds to check whether there is any abnormality in the goods.
  • the operation may be continuously judged differently while taking out and inserting the product while confirming it based on the first item. After that, the operation is finally determined when the buyer closes the door, that is, when the lock of the unmanned vending machine 10 is resumed.
  • the user's hand detection and hand item detection are actually performed only for the first time, and it is preferable to use an algorithm that continuously detects and tracks the hand after that.
  • the hand detection algorithm can use the commonly used Single Shot Multi-box Detector (SSD), and as a tracking algorithm, it continuously finds the position of the hand using algorithms such as IOU tracker and SORT (Simple Online and Realtime Tracking). let it be In the case of such a tracking algorithm, the position of the hand is not missed even in frames that are not detected in the middle, and the same hand can be compared even if there are several hands.
  • SSD Single Shot Multi-box Detector
  • the hand detection continues only in the area in front of the unmanned vending machine 10 until the hand comes out of the unmanned vending machine 10, and when the hand comes out, the first 1
  • the classification algorithm determines what kind of article is and whether the article exists. Compared with the result detected at the first time, if the item is not in the hand, it is determined as the current purchase action. If the item is present or not in the hand, return action.
  • the motion is determined including one of the four states, and hand detection is performed again. If the hand is continuously detected and then enters the unmanned vending machine 10 again, it is determined that the operation is changed.
  • the comparison is compared with the first detected state, and this process is repeated until the door is closed.
  • the at least one computing device 40 may display on the display provided in the unmanned vending machine 10 or transmit to the user terminal when there is an item damaged by the user as a result of the final determination of the user's operation. characterized. In this case, payment is made for the item damaged by the at least one computing device 40 .
  • the at least one computing device 40 when the at least one computing device 40 is determined to be a return or exchange operation of the item by the user as a result of the final determination of the user's operation, the at least one computing device 40 reads the database and returns or exchanges the item by the user. From the exchange operation, it is preferable to retrieve the purchase history up to a time prior to a predetermined time for the corresponding return or exchange operation. Recognition of the corresponding user is possible not only through the user authentication procedure by face recognition, but also by the corresponding payment method.
  • the return and exchange period may be set separately or collectively depending on the nature of the product.
  • the at least one computing device 40 approves the corresponding return or exchange operation when there is a purchase history as a result of the search, and disapproves the corresponding return or exchange operation when there is no purchase history as a result of the search.
  • the at least one computing device 40 is characterized in that the approval or disapproval information is displayed on the display provided in the unmanned vending machine 10 or transmitted to the user terminal.
  • the at least one computing device 40 searches for event information related to the item from the database when it is determined as the purchase operation of the item by the user as a result of the final determination of the user's operation, and there is event information as a result of the search
  • the corresponding event information is displayed on the display provided in the unmanned vending machine 10 or transmitted to the user terminal. For example, if it is determined that the user purchases 'Beverage A', but an event is being held in which one is provided as a service when purchasing two 'Beverage A', the information is notified to the user and an additional 'A' You can encourage the purchase of 'drinks'.
  • the event information a discount, provision of an additional product identical to the purchased product, and addition of a service product different from the purchased product may be exemplified.
  • At least one computing device 40 when a separate gift certificate is authenticated in addition to the payment method, information on items that can be purchased by the type of item or the price of the item or an unattended vending machine ( At least one of the location information in 10) is displayed on a display provided in the unmanned vending machine 10 or transmitted to a user terminal.
  • the user is informed of items that can be purchased by the coupon.
  • the authentication of the gift certificate may use an image by the camera of the image acquisition unit 20 or image information transmitted from the user terminal to the at least one computing device 40 .
  • the location information of the item in the unmanned vending machine 10 is 'B' on the arrangement map of the entire item so that the user can easily know the location of 'B beverage' in the unmanned vending machine 10 where a plurality of items are arranged. can be specified by identifiably indicating the location of the beverage'.
  • the at least one computing device 40 recognizes and approves the authenticated user's payment method, and when the payment method is approved, the display provided in the unmanned vending machine 10 .
  • the user terminal receives information on a desired item to be purchased, and displays the location information of the item in the unmanned vending machine 10 on a display provided in the unmanned vending machine 10 or transmits it to the user terminal. .
  • the at least one computing device 40 detects the current inventory quantity for each item displayed in the unmanned vending machine 10 and the sales quantity for a certain period, and according to the sales quantity, the unmanned vending machine 10 of the corresponding item. It is characterized in that by adjusting the display quantity in the store, when the inventory quantity is less than a predetermined ratio or a predetermined number compared to the displayed quantity, recommendation information for additionally displaying the corresponding article in the unmanned vending machine 10 is transmitted to the manager's terminal.
  • the manager can replenish items to the appropriate unmanned vending machine 10 .
  • the at least one computing device 40 adjusts the display quantity so that a large number of items for sale can be displayed.
  • a separate weight sensor is not required based on user behavior analysis and situational awareness using artificial intelligence, It can be seen that various consumer behaviors can be discriminated.
  • the unmanned sales system 100 by recognizing the buyer based on the image and analyzing the buyer's behavior, the purchase, exchange, or return of the product is possible, so the intervention of the clerk can be further reduced, and through the existing purchase data Exchanges or returns are possible without a receipt.
  • exchange or return is simple without time constraint, and there is an advantage that payment amount can be settled or refunded at the same time as exchange or return.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

무인 판매 시스템에 있어서, 다수의 물품이 판매를 위해 진열될 수 있는 무인 판매기의 내부 및 외부에 구비된 다수의 카메라에 의해 획득된 영상을 분석하는 적어도 하나의 컴퓨팅 장치;를 포함하되, 상기 적어도 하나의 컴퓨팅 장치는, 사용자의 결제 수단을 인식하여, 해당 결제 수단이 승인된 경우, 상기 무인 판매기의 잠금 장치를 해제하고, 상기 무인 판매기의 외부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 외부 영상을 이용하여, 물품의 구매, 반품 및 교환 동작을 포함하는 사용자의 동작을 1차적으로 판단하는 것을 특징으로 한다.

Description

인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템
본 발명은 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템에 관한 것이다.
종래의 자판기나 무인 편의점은 말 그대로 매장 점원 없이 소비자들이 직접 물건을 구입 및 결제하는 무인 판매 시스템이다. 이러한 시스템은 최저 임금 인상에 대비하여 인건비를 절감하고 소비자 편의성까지 높이고 있다. 아울러, 소비자가 직접 신용카드, 스마트폰 앱 등으로 결제를 함으로써 대기 시간이 단축되는 장점이 있다.
종래의 무인 판매 시스템에서는, 매장 점원 없이 비대면으로 이용하다 보니 직접 할인 및 포인트 적립 방법을 선택한 뒤에 결제 수단을 선택하고 카드를 투입하고, 물품의 바코드를 인식할 필요가 있다.
그러나, IT 기술을 잘 활용하지 못하는 노인 등의 취약 계층 소비자들은 소외된다는 문제가 남아 있다.
상기와 같은 문제점을 해결하기 위하여, 대한민국등록특허 제10-1887685호에는 운영 시스템을 포함하는 무인 자판기가 개시되어 있다. 그런데, 대한민국등록특허 제10-1887685호에서는 별도의 중량 센서를 필요로 하여, 진열대 제조 단가 상승, 양산 공정 비용 상승 및 기계적 고장률 증가의 가능성이 있다.
본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반으로 하여 별도의 중량 센서를 필요로 하지 않을 뿐만 아니라, 교환 또는 반품 등의 구매 후 수반될 수 있는 다양한 소비자의 행위를 판별할 수 있는 무인 판매 시스템을 제공하는 것에 그 목적이 있다.
무인 판매 시스템은, 다수의 물품이 판매를 위해 진열될 수 있는 무인 판매기의 내부 및 외부에 구비된 다수의 카메라에 의해 획득된 영상을 분석하는 적어도 하나의 컴퓨팅 장치;를 포함하되, 상기 적어도 하나의 컴퓨팅 장치는, 사용자의 결제 수단을 인식하여, 해당 결제 수단이 승인된 경우, 상기 무인 판매기의 잠금 장치를 해제하는 것을 특징으로 한다.
아울러, 상기 적어도 하나의 컴퓨팅 장치는, 상기 무인 판매기의 외부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 외부 영상을 이용하여, 물품의 구매, 반품 및 교환 동작을 포함하는 사용자의 동작을 1차적으로 판단하는 것을 특징으로 한다. 구체적으로, 상기 적어도 하나의 컴퓨팅 장치는, 상기 외부 영상을 이용하여 사용자의 손 영역을 검출하고, 손을 추적하는 것에 의해 사용자의 동작을 1차적으로 판단하는 것이 바람직하다.
또한, 상기 적어도 하나의 컴퓨팅 장치는, 상기 무인 판매기의 내부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 내부 영상을 이용하여, 진열된 물품의 상태를 판단한다.
바람직하게는, 상기 적어도 하나의 컴퓨팅 장치는, 1차적으로 판단된 사용자의 동작의 판단 결과와 진열된 물품의 상태의 판단 결과를 비교하는 것에 의해, 최종적인 사용자의 동작을 판단하는 것을 특징으로 한다.
아울러, 상기 적어도 하나의 컴퓨팅 장치는, 최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 훼손된 물품이 존재하는 경우, 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것이 바람직하다.
또한, 상기 적어도 하나의 컴퓨팅 장치는, 최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 물품의 반품 또는 교환 동작으로 판단되는 경우, 데이터베이스를 열람하여 해당 사용자에 의한 해당 물품의 해당 반품 또는 교환 동작으로부터, 해당 반품 또는 교환 동작에 대해 미리 지정된 시간 이전까지의 구매 이력을 검색하여, 검색한 결과 구매 이력이 있는 경우에는 해당 반품 또는 교환 동작을 승인하고, 검색한 결과 구매 이력이 없는 경우에는 해당 반품 또는 교환 동작을 불승인하고, 승인 또는 불승인 정보를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다.
바람직하게는, 상기 적어도 하나의 컴퓨팅 장치는, 최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 물품의 구매 동작으로 판단되는 경우, 해당 물품과 관련된 이벤트 정보를 데이터베이스로부터 검색하여, 검색한 결과 이벤트 정보가 있는 경우 해당 이벤트 정보를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다.
아울러, 상기 적어도 하나의 컴퓨팅 장치는, 상기 결제 수단에 추가하여 별도의 상품권이 인증된 경우, 해당 상품권에 의해 구매 가능한 물품 종류 또는 물품의 가격에 의해 구매 가능한 물품에 대한 정보 또는 해당 물품의 무인 판매기에서의 위치 정보 중 적어도 하나를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송한다.
또한, 상기 적어도 하나의 컴퓨팅 장치는, 상기 결제 수단이 승인된 경우, 상기 무인 판매기에 구비된 디스플레이 또는 사용자 단말기로부터 구매를 희망하는 물품에 대한 정보를 입력받고, 해당 물품의 무인 판매기에서의 위치 정보를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다.
아울러, 상기 적어도 하나의 컴퓨팅 장치는, 상기 무인 판매기에 진열된 물품별 현재의 재고 수량 및 일정 기간 동안의 판매 수량을 파악하고, 해당 판매 수량에 따라 해당 물품의 상기 무인 판매기에의 진열 수량을 조절하여, 재고 수량이 진열 수량 대비 일정 비율 또는 일정 개수 이하인 경우, 관리자 단말기로 해당 물품을 추가로 상기 무인 판매기에 진열하도록 하는 권고 정보를 전송하는 것이 바람직하다.
무인 판매 시스템에 따르면, 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반으로 하여 별도의 중량 센서를 필요로 하지 않을 뿐만 아니라, 교환 또는 반품 등의 구매 후 수반될 수 있는 다양한 소비자의 행위를 판별할 수 있다.
도 1은 일실시예에 따른 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 무인 판매 시스템의 구성도.
도 2는 적어도 하나의 컴퓨팅 장치에 의한 물품의 구매 흐름도.
도 3은 사용자의 동작에 대한 1차적 판단 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 무인 판매 시스템에 대해 상세히 설명하기로 한다.
본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
먼저, 도 1은 일실시예에 따른 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 무인 판매 시스템(100)의 구성도를 나타낸다.
도 1로부터 알 수 있는 바와 같이, 본 발명의 바람직한 일실시예에 따른 무인 판매 시스템(100)은, 무인 판매기(10), 영상 획득부(20), 결제부(30) 및 적어도 하나의 컴퓨팅 장치(40)를 포함하여 구성된다.
무인 판매기(10)는, 다수의 물품이 판매를 위해 진열될 수 있는 내부 공간 및 문의 잠금 장치가 구비되어 있는 것이 바람직하다. 아울러, 무인 판매기(10)는 터치식 디스플레이를 더 구비하여, 디스플레이가 입출력 장치로서 역할을 수행하게 된다.
영상 획득부(20)는, 다수의 카메라를 포함하여 무인 판매기(10)의 내부 및 외부의 영상을 획득하는 역할을 한다.
즉, 무인 판매기(10)의 내부에 설치된 적어도 하나의 카메라는, 주로 무인 판매기(10)의 내부에 진열된 물품의 영상을 획득하는 것이 바람직하다. 아울러, 무인 판매기(10)의 외부에 설치된 적어도 하나의 카메라는, 무인 판매기(10) 외부에 위치한 사용자의 영상을 획득하는 것을 특징으로 한다.
결제부(30)는, 무인 판매기(10)에 구비된 카드 리더기를 예로 들 수 있으며, 카드 리더기에 의해 읽혀진 카드 정보는 적어도 하나의 컴퓨팅 장치(40)에 의해 승인될 수 있다.
적어도 하나의 컴퓨팅 장치(40)는, 영상 획득부(20)에 의해 획득된 영상을 분석하여, 사용자의 행위를 분석하는 역할을 한다. 적어도 하나의 컴퓨팅 장치(40)는, 인공 지능에 의해 사용자의 행위를 분석하는 것이 바람직할 것이다.
적어도 하나의 컴퓨팅 장치(40)는, 무인 판매기(10)에 구비될 수도 있고, 무인 판매기(10) 외부에 위치할 수도 있다. 아울러, 적어도 하나의 컴퓨팅 장치(40)는 무인 판매기(10)에 구비된 하나의 컴퓨팅 장치와 무인 판매기(10)의 외부에 구비된 서버와 같은 컴퓨팅 장치를 포함하여, 다수의 컴퓨팅 장치의 협업에 의해 동작될 수도 있다.
도 2는 적어도 하나의 컴퓨팅 장치(40)에 의한 물품의 구매 흐름도이다.
적어도 하나의 컴퓨팅 장치(40)는 사용자가 나타나면, 해당 사용자의 영상을 추적하게 된다(S10). 아울러, 무인 판매기(10) 외부에 구비된 카메라에 의해 사용자의 얼굴 영상이 입력되면, 해당 얼굴 영상에 의해 사용자를 인식하여, 데이터베이스에 등록된 사용자라면 해당 사용자를 인증하게 된다. 구체적으로 무인 판매기(10)에 구매자인 사용자가 구매를 진행할 경우 안면 검출을 하고, 얼굴 인식을 하게 된다. 여기에는 일반적으로 쓰이는 얼굴 검출 알고리즘이 사용될 수 있고, 구매자가 기존의 구매한 이력이 있는 데이터베이스를 통해 고객인지 확인할 수도 있다.
다만, 사용자의 인식은 얼굴 인식 이외에도, 사용자 단말기로부터 적어도 하나의 컴퓨팅 장치(40)로의 로그인 등, 다양한 방법에 의해 이루어질 수 있다. 즉, 사용자가 사용자 단말기의 미리 설치된 애플리케이션 프로그램을 통해 로그인할 수도 있다.
사용자 인증이 완료되면(S20), 카드 리더기에 의해 읽혀진 결제 수단인 카드 정보를 인식하여 문제가 없는 경우 승인하게 된다(S30). 이 승인 과정은, 카드사 서버에의 접속을 통해 이루어질 수 있다. 다만, 사용자 인증 작업은 필수적인 작업이 아닌 지라, 사용자의 결제 수단을 인식하여 승인하는 작업부터 이루어질 수도 있다.
또는, 사용자 단말기로부터 적어도 하나의 컴퓨팅 장치(40)가 결제 수단 정보를 수신하여, 해당 결제 수단 정보를 수신할 수도 있다. 즉, 사용자가 사용자 단말기의 미리 설치된 애플리케이션 프로그램을 통해, 애플리케이션 프로그램 내부에서 이용 가능한 다양한 결제 수단의 승인을 적어도 하나의 컴퓨팅 장치(40)에 요청할 수도 있을 것이다.
적어도 하나의 컴퓨팅 장치(40)는 결제 수단이 승인된 경우, 무인 판매기(10)의 잠금 장치를 해제하게 된다(S40).
잠금 장치가 해제되면, 사용자는 진열대 내부에 구비된 물품에의 접근이 가능해 진다. 따라서, 적어도 하나의 컴퓨팅 장치(40)는 잠금 장치가 해제되면, 사용자의 행위 분석 및 물품의 변동 여부의 분석을 개시(S50)하게 된다.
무인 판매기(10)의 문이 닫히고 잠금 장치에 의한 잠금이 재개(S60)되면, 적어도 하나의 컴퓨팅 장치(40)는, 해당 사용자의 동작을 판단(S70)하고, 이에 따라 구매에 따른 결제, 교환에 따른 정산, 반품에 따른 환불 등의 작업을 진행하게 된다(S80). 아울러, 해당 사용자의 동작을 판단(S70)할 때, 해당 구매, 반품 또는 교환 동작의 대상이 되는 물품 종류의 판단 및 훼손 여부의 판단도 실시할 필요도 있다.
구체적으로, 적어도 하나의 컴퓨팅 장치(40)는, 무인 판매기(10)의 외부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 외부 영상을 이용하여, 물품의 구매, 반품 및 교환 동작을 포함하는 사용자의 동작을 1차적으로 판단(S71)하는 것을 특징으로 한다. 즉, 적어도 하나의 컴퓨팅 장치(40)는, 외부 영상을 이용하여 사용자의 손 영역을 검출하고, 손을 추적하는 것에 의해 사용자의 동작을 1차적으로 판단하는 것을 특징으로 한다. 사용자의 동작을 1차적으로 판단(S71) 시, 해당 구매, 반품 또는 교환 동작의 대상이 되는 물품 종류의 판단 및 훼손 여부의 판단도 실시된다.
다만, 적어도 하나의 컴퓨팅 장치(40)는, 무인 판매기(10)의 내부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 내부 영상을 이용하여, 진열된 물품의 상태를 판단(S72)하는 것이 바람직하다. 진열된 물품의 상태를 판단하는 것은, 사용자의 동작의 1차적 판단 결과를 보충하여, 보다 정확한 사용자의 동작을 판단하고자 함이다.
즉, 진열된 물품 중 사라진 물품이 있으면 구매, 새로 나타난 물품이 있으면 반품, 사라진 물품과 새로 나타난 물품이 동시에 있으면 교환으로 판단할 수 있다. 아울러, 진열된 물품의 상태를 판단(S72) 시, 해당 구매, 반품 또는 교환 동작의 대상이 되는 물품 종류의 판단 및 훼손 여부의 판단도 실시되는 것이 바람직하다.
적어도 하나의 컴퓨팅 장치(40)는, 1차적으로 판단된 사용자의 동작의 판단 결과와 진열된 물품의 상태의 판단 결과를 비교하는 것에 의해, 최종적인 사용자의 동작을 판단하게 된다(S73). 최종적인 사용자 동작의 판단은, 무인 판매기(10)의 잠금이 재개된 후 이루어지는 것이 바람직하다.
다만, 1차적으로 판단된 사용자의 동작의 판단 또는 진열된 물품의 상태의 판단 중 하나의 판단 결과가 애매한 경우에는, 명확한 다른 하나의 판단 결과를 이용할 수 있다. 즉, 1차적으로 판단된 사용자의 동작의 판단과 진열된 물품의 상태의 판단 사이에 모순이 발생한 경우에 보다 명확한 하나의 판단 결과를 이용할 수 있다.
도 3은 사용자의 동작에 대한 1차적 판단 흐름도이다.
도 3으로부터 알 수 있는 바와 같이 사용자의 동작에 대한 1차적 판단(S71)은, 손 검출 및 추적(S711)하고, 손이 무인 판매기(10) 내부로 진입(S712)하고, 다시 손이 무인 판매기(10) 외부로 진출(S713)되면, 1차적으로 사용자의 동작을 판단하게 된다(S714), 손이 무인 판매기(10) 내부로 진입하고(S712), 다시 손이 무인 판매기(10) 외부로 진출되지 않은 경우에는, 외부로 진출 여부를 계속적으로 판단(S713)하는 것이 바람직하다.
구체적으로, 사용자의 동작에 대한 1차적 판단에서는 영상 기반 행위 분석 알고리즘을 이용하여 사용자 손 검출 및 손의 물품을 검출한다. 이를 기반으로 사용자가 물품을 꺼냈는지(구매 동작), 물품을 넣었는지(반품 동작), 물품을 교환했는지(교환 동작) 확인하게 된다. 아울러, 물품의 이상 유무도 같이 확인을 진행한다. 사용자의 동작의 경우 처음 물품 기준으로 확인을 진행하며 꺼내고 넣고 하면서 동작이 계속 다르게 판단될 수 있다. 그 이후 구매자가 문을 닫은 시점, 즉 무인 판매기(10)의 잠금이 재개된 시점에서 동작을 최종적으로 결정하게 된다. 여기서 구매 동작일 경우 결제를 진행하고, 재방문 고객인 경우 반품 및 교환에 따라서 추가적으로 절차를 진행하게 된다. 반품 동작인 경우 환불이 진행되며, 교환 동작인 경우 동일 상품이면 교환 확인, 다른 물품인 경우 차액 및 추가 결제, 또는 환금 등의 정산 처리 과정을 진행하게 된다.
사용자 손 검출 및 손의 물품 검출은 최초 1회에 한하여 실제 실시하게 되며 그 이후로는 손을 지속적으로 검출 및 추적하는 알고리즘을 사용하는 것이 바람직하다. 손 검출 알고리즘은 대표적으로 많이 쓰이는 SSD(Single Shot Multi-box Detector)를 이용할 수 있고, 이후 추적 알고리즘으로는 IOU tracker, SORT(Simple Online and Realtime Tracking) 같은 알고리즘을 이용하여 손의 위치를 지속적으로 찾도록 한다. 이러한 추적 알고리즘의 경우 중간 중간 검출되지 않은 프레임에서도 손의 위치를 놓치지 않도록 하고 손이 여러 개가 있더라도 같은 손끼리 비교할 수 있도록 한다.
그렇게 손을 지속적으로 따라가다가 손이 무인 판매기(10) 내부로 들어갈 경우 무인 판매기(10)에서 손이 나올 때까지 무인 판매기(10) 앞 영역에서만 손 검출을 계속 진행하며 손이 빠져나왔을 때 최초 1회로 시행했던 손 검출 및 물품의 분류 알고리즘을 사용한다. 이때 사용되는 분류 알고리즘의 경우 mobileNet, effientNet, VggNet, 또는 이러한 네트워크의 개량형 등이 사용되며, 이때 분류 알고리즘에서 물품이 어떤 물품인지, 물품이 존재하는지 판별하게 된다. 최초 1회 때 검출했던 결과와 비교했을 때 물품이 손에 없다가 있는 경우 현재 구매 동작으로 판별하고, 손의 물품이 있다가 없는 경우 반품 동작, 손의 물품이 있는 상태 그대로인 경우 교환 동작, 손의 물품이 없는 상태 유지인 경우 결정하지 않은 대기 동작으로 판별하게 된다. 여기서 동작은 4가지중 하나의 상태를 포함하여 결정하게 되며, 손 검출을 다시 진행한다. 만약 손을 계속 검출하다가 다시 무인 판매기(10) 안으로 들어가게 되면 동작이 변경되는 것으로 판단하여 손이 무인 판매기(10)에서 나올 경우 다시 검출 및 물품 분류 알고리즘을 사용하여 동작을 다시 판단하게 된다. 여기서 비교는 최초 1회 검출된 상태와 비교하게 되며, 문이 닫히기까지 이 과정을 반복하게 된다.
아울러, 적어도 하나의 컴퓨팅 장치(40)는, 최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 훼손된 물품이 존재하는 경우, 무인 판매기(10)에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다. 이 경우, 적어도 하나의 컴퓨팅 장치(40)에 의해 훼손된 물품에 대해 결제가 진행된다.
또한, 적어도 하나의 컴퓨팅 장치(40)는, 최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 물품의 반품 또는 교환 동작으로 판단되는 경우, 데이터베이스를 열람하여 해당 사용자에 의한 해당 물품의 해당 반품 또는 교환 동작으로부터, 해당 반품 또는 교환 동작에 대해 미리 지정된 시간 이전까지의 구매 이력을 검색하는 것이 바람직하다. 해당 사용자의 인식은, 얼굴 인식 등에 의한 사용자 인증 절차뿐만 아니라, 해당 결제 수단에 의해서도 가능하다.
반품 및 교환 가능 시기는 물품의 성질에 따라 별도로 설정될 수도 있고, 일괄적으로 설정될 수도 있다.
적어도 하나의 컴퓨팅 장치(40)는, 검색한 결과 구매 이력이 있는 경우에는 해당 반품 또는 교환 동작을 승인하고, 검색한 결과 구매 이력이 없는 경우에는 해당 반품 또는 교환 동작을 불승인하는 것이 바람직하다. 아울러, 적어도 하나의 컴퓨팅 장치(40)는, 승인 또는 불승인 정보를 무인 판매기(10)에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다.
적어도 하나의 컴퓨팅 장치(40)는, 최종적인 사용자 동작의 판단 결과, 해당 사용자에 의한 물품의 구매 동작으로 판단되는 경우, 해당 물품과 관련된 이벤트 정보를 데이터베이스로부터 검색하여, 검색한 결과 이벤트 정보가 있는 경우 해당 이벤트 정보를 무인 판매기(10)에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다. 예를 들면 'A 음료수'를 사용자가 구매하는 것으로 판단되었는 데, 'A 음료수'를 2개 구매할 경우 1개를 서비스로 제공하는 이벤트를 실시 중인 경우, 해당 정보를 사용자에게 알려서 추가 1개의 'A 음료수'의 구매를 독려할 수 있다. 이벤트 정보로는, 할인, 구매 물품과 동일한 추가 물품 제공, 구매 물품과 상이한 서비스 물품 추가 등을 예로 들 수 있다.
적어도 하나의 컴퓨팅 장치(40)는, 결제 수단에 추가하여 별도의 상품권이 인증된 경우, 해당 상품권에 의해 구매 가능한 물품 종류 또는 물품의 가격에 의해 구매 가능한 물품에 대한 정보 또는 해당 물품의 무인 판매기(10)에서의 위치 정보 중 적어도 하나를 무인 판매기(10)에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다.
예를 들면, 카드가 승인된 후, 쿠폰이 인증된 경우 해당 쿠폰에 의해 구매 가능한 물품을 사용자에게 알려주는 것이다. 상품권의 인증은, 영상 획득부(20)의 카메라에 의한 영상을 이용할 수도 있고, 사용자 단말기로부터 적어도 하나의 컴퓨팅 장치(40)로 전송된 영상 정보를 이용할 수도 잇다.
해당 물품의 무인 판매기(10)에서의 위치 정보는, 다수의 물품이 배치된 무인 판매기(10)에서 'B 음료수'의 위치를 사용자가 쉽게 알 수 있도록 하기 위해, 물품 전체의 배치맵 상에서 'B 음료수'의 위치를 식별가능하게 표시하는 것에 의해 특정될 수 있다.
또한, 적어도 하나의 컴퓨팅 장치(40)는, 해당 사용자 단말기의 사용자를 인증한 후, 인증된 사용자의 결제 수단을 인식하여 승인하고, 결제 수단이 승인된 경우, 무인 판매기(10)에 구비된 디스플레이 또는 사용자 단말기로부터 구매를 희망하는 물품에 대한 정보를 입력받고, 해당 물품의 무인 판매기(10)에서의 위치 정보를 무인 판매기(10)에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 한다.
아울러, 적어도 하나의 컴퓨팅 장치(40)는, 무인 판매기(10)에 진열된 물품별 현재의 재고 수량 및 일정 기간 동안의 판매 수량을 파악하고, 해당 판매 수량에 따라 해당 물품의 무인 판매기(10)에의 진열 수량을 조절하여, 재고 수량이 진열 수량 대비 일정 비율 또는 일정 개수 이하인 경우, 관리자의 단말기로 해당 물품을 추가로 무인 판매기(10)에 진열하도록 하는 권고 정보를 전송하는 것을 특징으로 한다.
이러한 물품의 진열에 대한 권고 정보에 의해, 관리자는 적절한 무인 판매기(10)에의 물품 보충이 가능해 진다. 아울러, 적어도 하나의 컴퓨팅 장치(40)는, 판매 수량이 많은 물품은 많이 진열될 수 있도록 진열 수량을 조절하는 것이다.
상술한 바와 같이, 무인 판매 시스템(100)에 따르면, 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반으로 하여 별도의 중량 센서를 필요로 하지 않을 뿐만 아니라, 교환 또는 반품 등의 구매 후 수반될 수 있는 다양한 소비자의 행위를 판별할 수 있음을 알 수 있다.
즉, 무인 판매 시스템(100)에 따르면, 영상 기반으로 구매자를 인식하고 구매자의 행위를 분석함으로써, 상품의 구매, 교환 또는 반품이 가능하므로 좀 더 점원의 개입이 줄어들 수 있고, 기존 구매 데이터를 통해 영수증의 지참 없이 교환 또는 반품이 가능하다. 또한, 본 발명의 무인 판매 시스템(100)에 따르면, 교환 또는 반품은 시간 제약 없이 간단하고 교환 또는 반품과 동시에 결제 금액 정산 또는 환불이 이루어질 수 있는 장점이 있다.

Claims (11)

  1. 무인 판매 시스템에 있어서,
    다수의 물품이 판매를 위해 진열될 수 있는 무인 판매기의 내부 및 외부에 구비된 다수의 카메라에 의해 획득된 영상을 분석하는 적어도 하나의 컴퓨팅 장치;를 포함하되,
    상기 적어도 하나의 컴퓨팅 장치는,
    사용자의 결제 수단을 인식하여, 해당 결제 수단이 승인된 경우, 상기 무인 판매기의 잠금 장치를 해제하는 것을 특징으로 하는 무인 판매 시스템.
  2. 제1항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    상기 무인 판매기의 외부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 외부 영상을 이용하여, 물품의 구매, 반품 및 교환 동작을 포함하는 사용자의 동작을 1차적으로 판단하는 것을 특징으로 하는 무인 판매 시스템.
  3. 제2항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    상기 외부 영상을 이용하여 사용자의 손 영역을 검출하고, 손을 추적하는 것에 의해 사용자의 동작을 1차적으로 판단하는 것을 특징으로 하는 무인 판매 시스템.
  4. 제2항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    상기 무인 판매기의 내부의 영상을 획득하는 적어도 하나의 카메라로부터 획득된 내부 영상을 이용하여, 진열된 물품의 상태를 판단하는 무인 판매 시스템.
  5. 제4항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    1차적으로 판단된 사용자의 동작의 판단 결과와 진열된 물품의 상태의 판단 결과를 비교하는 것에 의해, 최종적인 사용자의 동작을 판단하는 것을 특징으로 하는 무인 판매 시스템.
  6. 제5항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 훼손된 물품이 존재하는 경우, 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 하는 무인 판매 시스템.
  7. 제5항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 물품의 반품 또는 교환 동작으로 판단되는 경우, 데이터베이스를 열람하여 해당 사용자에 의한 해당 물품의 해당 반품 또는 교환 동작으로부터, 해당 반품 또는 교환 동작에 대해 미리 지정된 시간 이전까지의 구매 이력을 검색하여, 검색한 결과 구매 이력이 있는 경우에는 해당 반품 또는 교환 동작을 승인하고, 검색한 결과 구매 이력이 없는 경우에는 해당 반품 또는 교환 동작을 불승인하고, 승인 또는 불승인 정보를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 하는 무인 판매 시스템.
  8. 제5항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    최종적인 사용자의 동작의 판단 결과, 해당 사용자에 의한 물품의 구매 동작으로 판단되는 경우, 해당 물품과 관련된 이벤트 정보를 데이터베이스로부터 검색하여, 검색한 결과 이벤트 정보가 있는 경우 해당 이벤트 정보를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 하는 무인 판매 시스템.
  9. 제2항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    상기 결제 수단에 추가하여 별도의 상품권이 인증된 경우, 해당 상품권에 의해 구매 가능한 물품 종류 또는 물품의 가격에 의해 구매 가능한 물품에 대한 정보 또는 해당 물품의 무인 판매기에서의 위치 정보 중 적어도 하나를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 하는 무인 판매 시스템.
  10. 제2항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    상기 결제 수단이 승인된 경우, 상기 무인 판매기에 구비된 디스플레이 또는 사용자 단말기로부터 구매를 희망하는 물품에 대한 정보를 입력받고, 해당 물품의 무인 판매기에서의 위치 정보를 상기 무인 판매기에 구비된 디스플레이에 표시하거나 사용자 단말기로 전송하는 것을 특징으로 하는 무인 판매 시스템.
  11. 제1항에 있어서,
    상기 적어도 하나의 컴퓨팅 장치는,
    상기 무인 판매기에 진열된 물품별 현재의 재고 수량 및 일정 기간 동안의 판매 수량을 파악하고, 해당 판매 수량에 따라 해당 물품의 상기 무인 판매기에의 진열 수량을 조절하여, 재고 수량이 진열 수량 대비 일정 비율 또는 일정 개수 이하인 경우, 관리자 단말기로 해당 물품을 추가로 상기 무인 판매기에 진열하도록 하는 권고 정보를 전송하는 것을 특징으로 하는 무인 판매 시스템.
PCT/KR2021/016048 2021-02-09 2021-11-05 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템 WO2022173090A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0018056 2021-02-09
KR1020210018056A KR102525381B1 (ko) 2021-02-09 2021-02-09 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템

Publications (1)

Publication Number Publication Date
WO2022173090A1 true WO2022173090A1 (ko) 2022-08-18

Family

ID=82837873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016048 WO2022173090A1 (ko) 2021-02-09 2021-11-05 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템

Country Status (2)

Country Link
KR (1) KR102525381B1 (ko)
WO (1) WO2022173090A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547084B1 (ko) * 2015-01-12 2015-08-24 이현수 무인 상품 판매 방법 및 시스템
KR20190016014A (ko) * 2018-10-04 2019-02-15 장기숙 뷰티/헬스/라이프 m2m iot 공유스마트 m2m iot 통합판매결제고객관리 플랫폼 시스템
KR102041564B1 (ko) * 2019-06-12 2019-11-06 임은성 멀티 자판기의 상품 판매 관리 장치 및 그 방법
KR102084125B1 (ko) * 2019-09-17 2020-03-03 김길준 무인 거래 자판기 및 o2o 기반 무인 거래 자판기를 이용한 중고거래 서비스 제공 방법
KR102124569B1 (ko) * 2019-11-06 2020-06-18 주식회사 라스컴 무인판매 및 자동결제 시스템
JP2020170272A (ja) * 2019-04-01 2020-10-15 株式会社テクムズ 商品の自動出納管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547084B1 (ko) * 2015-01-12 2015-08-24 이현수 무인 상품 판매 방법 및 시스템
KR20190016014A (ko) * 2018-10-04 2019-02-15 장기숙 뷰티/헬스/라이프 m2m iot 공유스마트 m2m iot 통합판매결제고객관리 플랫폼 시스템
JP2020170272A (ja) * 2019-04-01 2020-10-15 株式会社テクムズ 商品の自動出納管理方法
KR102041564B1 (ko) * 2019-06-12 2019-11-06 임은성 멀티 자판기의 상품 판매 관리 장치 및 그 방법
KR102084125B1 (ko) * 2019-09-17 2020-03-03 김길준 무인 거래 자판기 및 o2o 기반 무인 거래 자판기를 이용한 중고거래 서비스 제공 방법
KR102124569B1 (ko) * 2019-11-06 2020-06-18 주식회사 라스컴 무인판매 및 자동결제 시스템

Also Published As

Publication number Publication date
KR20220114719A (ko) 2022-08-17
KR102525381B1 (ko) 2023-04-25

Similar Documents

Publication Publication Date Title
CN107464116B (zh) 一种订单结算方法及系统
US11132737B2 (en) Dynamic customer checkout experience within an automated shopping environment
CN109711827B (zh) 一种近眼显示设备的新零售支付方法及支付系统
KR20200022341A (ko) 무인 상점 관리 방법 및 시스템
WO2019143217A1 (ko) 하이브리드 상품 인식 기술이 적용된 셀프 체크 아웃 기기
WO2021172803A1 (ko) 무인 판매기를 이용한 판매와 구매 중개 방법
US8429016B2 (en) Generating an alert based on absence of a given person in a transaction
CN107393228A (zh) 监视装置及其控制方法、终端设备
US20080065496A1 (en) Methods and Apparatus for Managing RFID and Other Data
US7669761B2 (en) Sales shop system
CN109215254B (zh) 实体店铺应用系统、用户信息处理方法及装置
US20170169381A1 (en) Video content analysis using point of sale data
JPS62271094A (ja) 顧客による商品確認を許容する高保安型販売貸付機
WO2018137136A1 (zh) 自动售货机及其运行方法
KR20110122890A (ko) 상품이미지 검색을 통한 무인 결제 시스템 및 그 방법
WO2013157690A1 (ko) 사용자단말기를 이용한 전자영수증 관리시스템 및 그 방법
JP7367168B2 (ja) 商品データ処理システム及びそのプログラム
CN110210866A (zh) 基于人脸识别的商品购买方法及装置
WO2017142191A1 (ko) 포스 단말과 카메라를 이용한 매장의 상품거래 원격 모니터링 시스템 및 방법
WO2022173090A1 (ko) 인공 지능을 이용한 사용자 행위 분석 및 상황 인지 기반의 시스템
WO2023234604A1 (ko) 쇼케이스 층별 전면 양측에 배치된 카메라 기반 인식 방법 및 장치
KR20170133630A (ko) 의류 무인판매시스템
CN113129501B (zh) 用于无人零售终端机的防盗预警方法
KR20230156470A (ko) 의류 무인판매가 가능한 의류판매 시스템
JP2023007363A (ja) 情報処理プログラム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21925910

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21925910

Country of ref document: EP

Kind code of ref document: A1