WO2023182692A1 - 카페 모니터링 장치 및 카페 모니터링 방법 - Google Patents

카페 모니터링 장치 및 카페 모니터링 방법 Download PDF

Info

Publication number
WO2023182692A1
WO2023182692A1 PCT/KR2023/002831 KR2023002831W WO2023182692A1 WO 2023182692 A1 WO2023182692 A1 WO 2023182692A1 KR 2023002831 W KR2023002831 W KR 2023002831W WO 2023182692 A1 WO2023182692 A1 WO 2023182692A1
Authority
WO
WIPO (PCT)
Prior art keywords
cafe
inference
data
model
customer
Prior art date
Application number
PCT/KR2023/002831
Other languages
English (en)
French (fr)
Inventor
송기선
고경민
Original Assignee
메이즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220114123A external-priority patent/KR20230138858A/ko
Application filed by 메이즈 주식회사 filed Critical 메이즈 주식회사
Publication of WO2023182692A1 publication Critical patent/WO2023182692A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to a cafe monitoring device and a cafe monitoring method.
  • the cafe curation service is a service that collects and selects information about various cafes, adds new value, and disseminates it.
  • a cafe owner who wants to attract customers registers his cafe in the cafe curation service, customers can receive recommendations for cafes that suit their tastes or purpose of visit through the user terminal.
  • the cafe curation service goes beyond simply providing information on cafes located nearby or with high review ratings based on the location of the user's terminal, and presents cafes that match the values considered important by cafe users. It is different from previous cafe recommendation services in that it does this.
  • ways to collect information on the real-time or predicted status of cafes and utilize this for cafe curation services are being studied.
  • the task to be solved is to provide a cafe monitoring device and a cafe monitoring method that can monitor the real-time status inside a cafe and predict the future status using artificial intelligence and IoT (Internet of Things)-based devices.
  • IoT Internet of Things
  • a cafe monitoring device includes a camera that photographs the interior of a cafe and outputs captured data including captured images or videos; a first inference model that receives the shooting data and outputs seat occupancy status data and customer appearance inference data for the cafe; And a second inference model that receives the shooting data and outputs customer behavior inference data and menu sales estimate data for the cafe, wherein the seat occupancy status data, the customer appearance inference data, the customer behavior inference data, and the At least one of the menu sales estimate data can be used for cafe curation.
  • the first inference model includes an object detection model
  • the seat occupancy status data includes at least one of the occupied seat location, seat occupancy, entry time, and exit time of the customer visiting the cafe
  • the first inference model may infer at least one of the occupied seat location, the seat occupancy rate, the entry time, and the exit time using the object detection model.
  • the first inference model may infer the occupied seat location by comparing a person bounding box and a seat bounding box.
  • the cafe monitoring device may further include a seat determination module that determines the occupied seat position based on whether a face or the back of the head is detected when one person bounding box corresponds to a plurality of seat bounding boxes.
  • the cafe monitoring device may further include a seat determination module that determines the occupied seat location by comparing overlapping areas when one person bounding box corresponds to a plurality of seat bounding boxes.
  • the customer appearance inference data includes at least one of the gender and age group of a customer visiting the cafe
  • the first inference model includes at least one of the gender and the age group using the object detection model. can be inferred.
  • the second inference model includes an object detection model and a pose estimation model
  • the customer behavior inference data includes at least one of a visit purpose and behavior pattern of a customer visiting the cafe
  • the second inference model includes an object detection model and a pose estimation model.
  • the inference model may detect an object using the object detection model, and when the detected object is a person, it may infer at least one of the visit purpose and the behavior pattern using the pose estimation model.
  • the second inference model infers at least one of the purpose of the visit and the behavior pattern using information about the object and the pose estimation model when the detected object is an object and is not a drink or food. can do.
  • the menu sales estimation data includes at least one of an order menu and sales of a customer visiting the cafe
  • the second inference model is configured to determine the object when the detected object is an object and is a drink or food. At least one of the order menu and sales can be inferred using the detection model.
  • the cafe monitoring device further includes an inference data deletion module
  • the first inference model includes a first inference model including information about first inference-complete shot data among the shot data.
  • the second inference model outputs a second inference end signal including information about second inference end shooting data for which the second inference has been completed among the shooting data
  • the inference data deletion module the first inference end captured data may be deleted according to the first inference end signal
  • the second inference end captured data may be deleted according to the second inference end signal.
  • the inference data deletion module when receiving the first inference end signal, determines whether the first inference end captured data is being used by the second inference model, and determines whether the first inference end capture data is being used by the second inference model. If the captured data is determined to be in use by the second inference model, the first inferred captured data may be maintained.
  • the inference data deletion module may delete the second inference end capture data when receiving the second inference end signal for the first inference end capture data.
  • the cafe monitoring device further includes a motion control module and a first load sensor, wherein the motion control module is configured to configure the cafe monitoring device when a value of the first load sensor exceeds a first threshold. Switch to a first operation mode, and switch the cafe monitoring device to a second operation mode when the value of the first load sensor exceeds the second threshold, and if the value of the first load sensor exceeds the first threshold If it is below the value, it can be switched to the third operation mode.
  • the cafe monitoring device further includes a motion control module and a first load sensor, wherein the motion control module is configured to determine for a predetermined period of time when a value of the first load sensor exceeds a first threshold. Perform a count operation, determine whether the count value exceeds a fourth threshold, and switch the café monitoring device to a second operation mode when it is determined that the count value exceeds the fourth threshold. You can.
  • the operation control module may switch the cafe monitoring device to a third operation mode when it is determined that the count value is less than or equal to the fourth threshold.
  • a cafe monitoring method includes the steps of photographing the interior of a cafe and receiving captured data including captured images or videos; Obtaining seat occupancy status data and customer appearance inference data for the cafe using the shooting data and the first inference model; And receiving the shooting data and the second inference model and obtaining customer behavior inference data and menu sales estimation data for the cafe, wherein the seat occupancy status data, the customer appearance inference data, and the customer behavior inference data are obtained. And at least one of the menu sales estimation data may be used for cafe curation.
  • the first inference model includes an object detection model
  • the seat occupancy status data includes at least one of the occupied seat location, seat occupancy, entry time, and exit time of the customer visiting the cafe
  • the first inference model may infer at least one of the occupied seat location, the seat occupancy rate, the entry time, and the exit time using the object detection model.
  • the customer appearance inference data includes at least one of the gender and age group of a customer visiting the cafe
  • the first inference model includes at least one of the gender and the age group using the object detection model. can be inferred.
  • the second inference model includes an object detection model and a pose estimation model
  • the customer behavior inference data includes at least one of a visit purpose and behavior pattern of a customer visiting the cafe
  • the second inference model includes an object detection model and a pose estimation model.
  • the inference model may detect an object using the object detection model, and when the detected object is a person, it may infer at least one of the visit purpose and the behavior pattern using the pose estimation model.
  • the menu sales estimation data includes at least one of an order menu and sales of a customer visiting the cafe
  • the second inference model is configured to determine the object when the detected object is an object and is a drink or food. At least one of the order menu and sales can be inferred using the detection model.
  • Figure 1 is a block diagram for explaining a cafe curation system according to an embodiment.
  • Figure 2 is a block diagram for explaining a cafe monitoring device according to an embodiment.
  • Figure 3 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • Figure 4 is a diagram for explaining cafe monitoring results according to an embodiment.
  • Figure 5 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • Figures 6 and 7 are diagrams to explain cafe monitoring results according to an embodiment.
  • Figure 8 is a block diagram for explaining a cafe monitoring device according to an embodiment.
  • Figure 9 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • Figure 10 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • Figure 11 is a block diagram to explain a computing device according to an embodiment.
  • ... unit capable of processing at least one function or operation described in the specification, which means It can be implemented in hardware, software, or a combination of hardware and software.
  • the scope of the present invention is limited to cafes as the subject of application of the present invention, but the scope of the present invention is to monitor the real-time status inside the store or space using an IoT device in any store or space other than a cafe. This extends to predicting future conditions.
  • Figure 1 is a block diagram for explaining a cafe curation system according to an embodiment.
  • a cafe curation system 1 may include a cafe monitoring device 10, 11, and 12, a cafe curation server 20, and user terminals 30 and 31. .
  • the cafe monitoring devices (10, 11, 12), the cafe curation server (20), and the user terminals (30, 31) can exchange data with each other through the network (40).
  • the cafe monitoring devices 10, 11, and 12 may be IoT devices.
  • IoT is a technology that connects to the Internet by embedding sensing and communication functions in objects.
  • Cafe monitoring devices (10, 11, 12) are installed inside the cafe to monitor the interior of the cafe, and transmit the monitoring results to other users through the network (40). It can be transmitted to a device, for example, a cafe curation server 20.
  • cafe monitoring devices (10, 11, 12) are installed inside various cafes to monitor real-time status within them and predict future status.
  • the cafe monitoring device 10, 11 is installed inside a cafe (A) to monitor and predict the current situation inside the cafe (A)
  • the cafe monitoring device 12 is installed inside a cafe (A)
  • the cafe monitoring device 12 is installed inside a cafe (A).
  • the monitoring and prediction results that can be obtained from the monitoring devices (10, 11) installed in the cafe (A) and the monitoring and prediction results that can be obtained from the monitoring device (12) installed in the cafe (B) are distributed through the network (40). It may be transmitted to the cafe curation server 20.
  • the cafe curation server 20 determines the values that users (or customers) consider important to select a cafe based on information about the cafes (A, B) collected through the cafe monitoring devices 10, 11, and 12. Collections that match can be presented to the user through the user terminals 30 and 31. Information collected through the cafe monitoring devices 10, 11, and 12 may be stored and managed in a database that the cafe curation server 20 can access.
  • some of the information provided by the cafe monitoring devices 10, 11, and 12 to the cafe curation server 20 (e.g., seat occupancy status data, customer appearance inference data, etc., which will be described later) is provided in real time. It may be transmitted to the cafe curation server 20. Specifically, the cafe monitoring devices 10, 11, and 12 may transmit the partial information to the cafe curation server 20 at a first predetermined time interval (for example, 20 seconds).
  • the predetermined time interval may be set differently depending on the specific implementation purpose and implementation environment.
  • some of the information provided by the monitoring devices 10, 11, and 12 to the cafe curation server 20 (e.g., customer behavior inference data, menu sales estimation data, etc., which will be described later) may be stored in the first time interval.
  • a second, longer, predetermined time interval eg, several hours, several days.
  • information that needs to be updated frequently in order for the cafe curation server 20 to provide the service is transmitted in real time or at short time intervals, and information that does not need to be updated frequently is transmitted in relative terms.
  • network bandwidth can be used efficiently and power consumption of the cafe monitoring devices (10, 11, and 12) can be reduced.
  • the cafe monitoring devices 10, 11, and 12 may adjust the number of times information is transmitted to the cafe curation server 20 in consideration of computing and network resources. For example, the cafe monitoring devices 10, 11, and 12 monitor and predict results obtained three times at a first time, a second time, and a third time, in order to efficiently use computing and network resources. On average, transmission to the cafe curation server 20 can be performed only once.
  • the cafe monitoring devices 10, 11, and 12 may be equipped with a processor to monitor and predict the current status of the cafe based on artificial intelligence technology.
  • the processor can be used elaborately.
  • the cafe monitoring devices 10, 11, and 12 may control the processor to use only the object detection function for some of the information provided to the cafe curation server 20, and may control the processor to use only the object detection function for some information provided to the cafe curation server 20.
  • the processor may be controlled to use the object detection function and the pose estimation function together, and for other information, the processor may be controlled to use the object detection function and the semantic segmentation function together. In this way, by using a mixture of object detection, pose estimation, and semantic segmentation according to the characteristics of the information, the limited computing resources of the cafe monitoring devices 10, 11, and 12 can be efficiently operated.
  • the user terminals 30 and 31 connect to the cafe curation server 20 and provide a cafe curation service based on the user's cafe selection preference, user's location, user's movement route, order time zone, order menu, and user's cafe usage history information. can be provided.
  • the cafe curation service analyzes customer data and the current status data inside the cafe identified through the cafe monitoring device (10, 11, 12), allowing customers to simply visit cafes close to their current location or famous franchise cafes. Instead of having to choose, you can discover and recommend cafes that can actually provide satisfaction to customers.
  • user terminals 30 and 31 may be computing devices, including smart phones, tablet computers, wearable devices, laptop computers, desktop computers, etc. Users can use the cafe curation service through an application running on the user terminals 30 and 31.
  • the network 40 may include a wireless network including a Wi-Fi network, a Bluetooth network, a cellular network, a wired network including a LAN (Local Area Network), and a network that is a mixture of a wireless network and a wired network.
  • a wireless network including a Wi-Fi network, a Bluetooth network, a cellular network, a wired network including a LAN (Local Area Network), and a network that is a mixture of a wireless network and a wired network.
  • Figure 2 is a block diagram for explaining a cafe monitoring device according to an embodiment.
  • the cafe monitoring device 10 may include a camera 101, a memory 102, a first inference model 103, and a second inference model 104.
  • the description of the cafe monitoring device 10 can be equally applied to the cafe monitoring devices 11 and 12.
  • the camera 101 can photograph the interior of a cafe and output captured data including captured images or videos.
  • the camera 101 may include a PTZ camera capable of rotation, tilt, and zoom, a fixed camera, etc.
  • the camera 101 may include an RGB camera, an IR camera, etc.
  • multiple cameras 101 may be installed in the cafe, and they can exchange data with each other through the network 40.
  • the memory 102 can load software and data necessary for the cafe monitoring device 10 to operate. Specifically, the memory 102 is loaded with program code for monitoring and predicting the status inside the cafe using the first inference model 103 or the second inference model 104, or data used by the program code. can be loaded. Additionally, the memory 102 may be loaded with program code corresponding to firmware or an operating system that controls the overall operation of the cafe monitoring device 10.
  • the shooting data output from the camera 101 is loaded in the memory 102, and the first inference model 103 and the second inference model 104 use the shooting data loaded in the memory 102 as camera data (CD). You can access it to monitor and predict the current status inside the cafe.
  • CD camera data
  • the first inference model 103 may receive shooting data output from the camera 101 and output seat occupancy status data (D1) and customer appearance inference data (D2) for the cafe. At least one of the seat occupancy status data (D1) and the customer appearance inference data (D2) may be used for cafe curation.
  • the seat occupancy status data D1 may include at least one of the occupied seat location, seat occupancy rate, entry time, and exit time of the customer visiting the cafe.
  • an occupied seat location may be expressed, for example, as a table number or seat number assigned to a table or seat inside a cafe.
  • the entry and exit times may be determined from multiple café monitoring devices installed inside the café. Specifically, when a plurality of cafe monitoring devices are installed inside a cafe, the time when a visiting customer is recognized in one of the plurality of devices can be recorded as the customer's entry time, and then the visiting customer can be recorded in all of the plurality of devices. The time of disappearance can be recorded as the time of the customer’s departure.
  • the first inference model 103 may include an object detection model.
  • the object detection model can extract features of the object to be found in advance and detect the features from the shooting data.
  • pre-processing may be performed as needed before performing feature extraction from the captured data.
  • detection by a classifier can be performed using the extracted features.
  • object detection may be achieved through various detection and recognition algorithms based on a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the first inference model 103 may use an object detection model to infer at least one of the occupied seat location, seat occupancy rate, entry time, and exit time of the customer visiting the cafe. At this time, the object detection model can set the objects to be found from the shooting data as people and seats.
  • the first inference model 103 may compare the person bounding box and the seat bounding box to infer the occupied seat location. Specifically, the first inference model 103 extracts the characteristics of people and seats in advance as objects to be found, extracts the characteristics of people and seats from shooting data and performs classification, or performs CNN-based detection and recognition. Thus, the results can be displayed as a bounding box surrounding the detected person and seat. If the bounding box for a person and the bounding box for a seat overlap enough to meet a preset criterion (e.g., when approximately 90% of the area of the person's bounding box overlaps the seat's bounding box), the first inference model (103) may determine that the person occupies the seat.
  • a preset criterion e.g., when approximately 90% of the area of the person's bounding box overlaps the seat's bounding box
  • the first inference model 103 may determine that the person does not occupy the seat.
  • the preset standard may be set differently for each seat, taking into account the shape of the seat, the angle at which the seat is viewed from the camera (e.g., the front, back of the chair, etc.).
  • cafe monitoring device 10 may further include a seating determination module 106.
  • the seat determination module 106 may determine the occupied seat position depending on whether the face or the back of the head is detected. For example, if a person's bounding box overlaps both the front and back seats, face recognition or back of the head recognition can be performed in the detected person area. If face recognition is successful in the detected person area, the person may decide to occupy the front seat of the two seats. If face recognition fails or the back of the head recognition is successful in the detected person area, the person may decide to occupy the back seat. You can decide to occupy it.
  • the seat determination module 106 may determine the occupied seat location by comparing the overlapping areas when one person bounding box corresponds to a plurality of seat bounding boxes. For example, approximately 30% of the area of a person's bounding box may overlap with the bounding box for a seat, and another approximately 60% of the area of that person's bounding box may overlap with the bounding box for another seat. In this case, the person may decide to occupy another seat.
  • the customer appearance inference data D2 may include at least one of the gender and age group of the customer visiting the cafe.
  • Customer appearance inference data (D2) may be combined with seat occupancy status data (D1). For example, by combining the occupied seat position in the seat occupancy status data (D1) and the gender of the customer appearance inference data (D2), analysis such as which gender has the highest occupancy rate in which seat can be performed. In addition, by combining the entry and exit times of the seat occupancy status data (D1) and the age group of the customer appearance inference data (D2), analysis such as which age group stayed for which time and for how long may be performed.
  • the first inference model 103 may use an object detection model to infer at least one of the gender and age group of a customer visiting a cafe. At this time, the object detection model can set the object to be found from the shooting data as a person, belongings, clothing, shoes, etc.
  • the first inference model 103 may additionally perform semantic segmentation to construct an outline of the recognized object to implement element segmentation.
  • the second inference model 104 may receive shooting data output from the camera 101 and output customer behavior inference data (D3) and menu sales estimation data (D4) for the cafe. At least one of the customer behavior inference data (D3) and the menu sales estimation data (D4) may be used for cafe curation.
  • the customer behavior inference data (D3) may include at least one of the visit purpose and behavior pattern of the customer visiting the cafe.
  • the purpose of the visit may include eating, resting, studying, reading, homework, conversation, etc.
  • behavioral patterns may include smart phone use, tablet computer use, reading, typing, drawing, drinking, cutting food, writing, etc.
  • the second inference model 104 may include an object detection model and a pose estimation model.
  • pose estimation may mean inferring the pose within the captured data. For example, it may include predicting the position of a person's joints in an image or video.
  • a deep neural network (DNN) that can capture the context of all joints, as well as a graphical model, may be used for pose estimation. That is, when the second inference model 104 detects a person, it can output pivot points corresponding to the person's joints.
  • DNN deep neural network
  • the second inference model 104 may detect an object using an object detection model, and when the detected object is a person, it may infer at least one of the purpose of visit and a behavior pattern using a pose estimation model.
  • the purpose of the visit and the behavior pattern may be performed by identifying only the person, but may also be performed by identifying the objects that the person uses or possesses. That is, the second inference model 104 detects additional objects in addition to people using an object detection model, and when the detected object is an object and is not a drink or food, it uses information about the object and a pose estimation model. Thus, at least one of the purpose of visit and behavior pattern can be inferred.
  • the identified object is a laptop computer and the person's pose is inferred to be with hands on a table, it can be inferred that the behavior pattern is typing and the purpose of the visit is document work.
  • the identified object is a laptop computer and the person's pose is inferred to be with hands down a table, it can be inferred that the behavior pattern is watching a movie and the purpose of the visit is rest.
  • a tracking technique when performing pose estimation for a person, may be used by connecting only the pivot point of the upper body.
  • pose estimation is performed by recognizing all the nodes of the entire body to analyze human behavior patterns, but due to the characteristics of cafes where people mainly sit and mainly move only the upper body, and for efficient operation of computing resources, only the upper body is considered when it is determined to be a person. Thus, the number of nodes used in inference calculations can be reduced.
  • the menu sales estimation data D4 may include at least one of the order menu and sales of customers visiting the cafe.
  • the order menu may include whether the drink is hot or cold, the size of the drink, the price of the drink, etc., and sales may include sales at a specific point in time, short-term sales patterns, long-term sales patterns, etc. there is.
  • the second inference model 104 may infer at least one of the order menu and sales using the object detection model when the detected object is an object and is a drink or food. At this time, the object detection model can set the object to be found from the shooting data as a drink, food, etc.
  • the seat occupancy status data (D1), customer appearance inference data (D2), customer behavior inference data (D3), and menu sales estimate data (D4) that can be obtained as described above may be output as text type data.
  • text type data can be expressed in the form of "3 people at table 1, 1 person at table 3, 2 cups of latte, 3 cups of iced Americano, 3 women, 2 men.” Text data output in this way can be abstracted into text data that follows certain standards, such as JSON, or converted into encrypted text data.
  • the monitoring device 10 may transmit such text-based data to the cafe curation server 20 as a monitoring and prediction result.
  • the data transmitted from the monitoring device 10 to the cafe curation server 20 includes only anonymized text data, and the captured data that can be identified is sent to the cafe curation server 20. The point is that it is not transmitted. Accordingly, while implementing personal information protection, the cafe status can be identified and utilized as statistical data.
  • the cafe monitoring device 10 may further include an inferred data deletion module 105.
  • the first inference model 103 outputs a first inference end signal DR1 containing information about the first inference finished shooting data for which the first inference has been completed among the shooting data
  • the second inference model 104 outputs a first inference end signal DR1
  • a second inference end signal DR2 including information about second inference-complete captured data for which second inference has been completed among the data may be output.
  • the inference data deletion module 105 may delete the first inference end photographed data according to the first inference end signal DR1 and delete the second inference end shot data according to the second inference end signal DR2.
  • the first inference model 103 infers the first inference end signal DR1 including information about the shooting data used for inference of the seat occupancy status data D1 and the customer appearance inference data D2. It can be output to the data deletion model 105, and the inference data deletion module 105 is used for inference of the seat occupancy status data D1 and the customer appearance inference data D2 according to the first inference end signal DR1.
  • the captured shooting data can be deleted from memory 102 and storage.
  • the second inference model 104 sends a second inference end signal DR2 containing information about the shooting data used for inference of the customer behavior inference data D3 and the menu sales estimate data D4 to the inference data.
  • the inference data deletion module 105 is used for inference of the customer behavior inference data (D3) and the menu sales estimation data (D4) according to the second inference end signal (DR2).
  • Shooting data can be deleted from memory 102 and storage.
  • the inference data deletion module 105 upon receiving the first inference end signal DR1, determines whether the first inference end capture data is being used by the second inference model 104; If it is determined that the first inference-complete shooting data is being used by the second inference model 104, the first inference-complete shooting data may be maintained without being deleted. That is, in this case, the first inference finished shooting data is used not only in the first inference model 103 but also in the second application model 104. Thereafter, when the second inference end signal DR2 for the first inference end capture data is received, the second inference end capture data may be deleted. Accordingly, images and videos used for inference can be safely deleted to protect personal information.
  • Figure 3 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • the cafe monitoring method may perform object recognition based on a captured image in step S301 and infer the customer's appearance in step S302.
  • the method determines the occupied seat by comparing the person bounding box and the seat bounding box in step S303, and determines the occupied seat if the person bounding box corresponds to a plurality of seat bounding boxes in step S304.
  • the method may output seat occupancy status data (D1) and customer appearance inference data (D2) in step S305, and delete the captured image used for inference in step S306.
  • Figure 4 is a diagram for explaining cafe monitoring results according to an embodiment.
  • the first inference model 103 may receive shooting data output from the camera 101 and perform object detection to detect a person. At this time, the first inference model 103 may analyze only the appearance of the face without recognizing the face of the detected person. In other words, the seat occupancy status can be determined by only recognizing the seating position of an anonymous person. Additionally, the first inference model 103 can infer the customer's gender and age group by performing object detection on the detected person's hair length, clothes worn, hairstyle, shoe type, belongings, etc.
  • analysis of the main visitors to the cafe analysis of real-time or statistical seat occupancy, analysis of time spent in the cafe, etc. can be performed. For example, as shown, data such as gender, age group, seated table, entry time, and exit time are accumulated and analyzed, and the cafe curation service further analyzes the customer's data to ensure that the customer Rather than simply selecting a cafe close to your current location or a famous franchise cafe, you can discover and recommend cafes that can actually provide satisfaction to customers.
  • Figure 5 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • the cafe monitoring method performs object recognition based on captured images and videos in step S501, and selectively performs resizing according to the size of the recognized object in step S502. You can. That is, if the size of the recognition object is excessively small, resizing of the captured image and video frame can be selectively performed.
  • the method may perform menu inference in step S503 when the recognition object is an object, and perform pose estimation-based behavior inference in step S504 if the recognition object is a person. Additionally, the method may output customer behavior inference data (D3) and menu sales inference data (D4) in step S505, and delete captured images and videos used for inference in step S506.
  • Figures 6 and 7 are diagrams to explain cafe monitoring results according to an embodiment.
  • the second inference model 104 may receive shooting data output from the camera 101 and perform object detection and pose estimation to infer customer behavior. At this time, the second inference model 104 may set the pivot point range only for the upper body rather than the entire body. Accordingly, the number of nodes is reduced and the number of behavioral pattern branches is reduced, thereby reducing the amount of unnecessary calculations.
  • analysis of the main purpose of visiting the cafe analysis of behavioral statistics within the cafe reflecting the characteristics of the cafe, analysis of seating positions for each behavior pattern, etc. can be performed.
  • short-term inference and long-term inference can be performed from pose estimation
  • customer behavior in the cafe can be analyzed by time
  • the analysis result can be linked to seat occupancy.
  • real-time menu and price analysis analysis of the entire order menu, sales analysis, etc. can be performed.
  • menu inference can be performed from the temperature and size of the beverage
  • the final menu and price can be estimated by considering user data, and even sales trends over time can be predicted.
  • the cafe curation service performs additional analysis of customer data to this analysis, so that customers do not simply select cafes close to their current location or famous franchise cafes, but discover cafes that can actually provide satisfaction to customers. I can recommend it.
  • Figure 8 is a block diagram for explaining a cafe monitoring device according to an embodiment.
  • the cafe monitoring device 10 includes a camera 101, a memory 102, a first inference model 103, a second inference model 104, and an inference data deletion module 105. ) and a seat determination module 106, as well as a motion control module 107 and load sensors 108 and 109.
  • the camera 101 can photograph the interior of a cafe and output captured data including captured images or videos.
  • multiple cameras 101 may be installed in the cafe, and they can exchange data with each other through the network 40.
  • the memory 102 can load software and data necessary for the cafe monitoring device 10 to operate. Specifically, the memory 102 is loaded with program code for monitoring and predicting the status inside the cafe using the first inference model 103 or the second inference model 104, or data used by the program code. can be loaded.
  • the shooting data output from the camera 101 is loaded in the memory 102, and the first inference model 103 and the second inference model 104 use the shooting data loaded in the memory 102 as camera data (CD). You can access it to monitor and predict the current status inside the cafe.
  • CD camera data
  • the first inference model 103 may receive shooting data output from the camera 101 and output seat occupancy status data (D1) and customer appearance inference data (D2) for the cafe. At least one of the seat occupancy status data (D1) and the customer appearance inference data (D2) may be used for cafe curation.
  • the second inference model 104 may receive shooting data output from the camera 101 and output customer behavior inference data (D3) and menu sales estimation data (D4) for the cafe. At least one of the customer behavior inference data (D3) and the menu sales estimation data (D4) may be used for cafe curation.
  • the inference data deletion module 105 may delete the first inference end photographed data according to the first inference end signal DR1 and delete the second inference end shot data according to the second inference end signal DR2.
  • the operation control module 107 may switch the operation mode of the café monitoring device 10 when the load on the café monitoring device 10 exceeds a predetermined standard. Specifically, the operation control module 107 changes the operation mode of the cafe monitoring device 10 to a first operation mode (an operation mode that stops operation for a predetermined time) and a second operation mode (an operation mode that forces rebooting). ) and the third operating mode (normal operating mode).
  • a first operation mode an operation mode that stops operation for a predetermined time
  • a second operation mode an operation mode that forces rebooting
  • the third operating mode normal operating mode
  • the first load sensor 108 may include, for example, a temperature sensor for measuring the temperature of the cafe monitoring device 10.
  • the motion control module 107 may configure the cafe monitoring device 10 for a predetermined period of time if the value of the first load sensor 108 exceeds the first threshold (e.g., 80 degrees). Switch to the first operation mode to stop the operation, and force the cafe monitoring device 10 to reboot when the value of the first load sensor 108 exceeds the second threshold (e.g., 90 degrees). It can be switched to the second operation mode, and when the value of the first load sensor 108 returns to the first threshold or less, it can be switched to the third operation mode corresponding to the normal operation mode.
  • the first threshold e.g. 80 degrees
  • the second threshold e.g. 90 degrees
  • the operation control module 107 switches to the first operation mode when the value of the first load sensor 108 exceeds the first threshold (e.g., 80 degrees), and then Perform a count operation for a predetermined time, determine whether the count value exceeds the fourth threshold (for example, 90 degrees), and if it is determined that the count value exceeds the fourth threshold, that is, cafe If the temperature of the monitoring device 10 increases further while counting, the cafe monitoring device 10 may be switched to the second operation mode. Alternatively, if it is determined that the count value is less than or equal to the fourth threshold, the café monitoring device may be switched to the third operation mode.
  • the first threshold e.g. 80 degrees
  • the fourth threshold for example, 90 degrees
  • the second load sensor 109 may include, for example, a sensor for measuring the frame rate (fps) of the cafe monitoring device 10. That is, the first load sensor 108 and the second load sensor 109 may be configured as heterogeneous sensors. The description of the first load sensor 108 may also be applied to the second load sensor 109.
  • the motion control module 107 is configured to determine if the value of the second load sensor 109 exceeds the first threshold (e.g., if the frame rate drops below 20 fps). Switching the cafe monitoring device 10 to a first operating mode that suspends operation for a predetermined period of time, if the value of the second load sensor 109 exceeds a second threshold (e.g., below 10 fps) When the frame rate drops) the cafe monitoring device 10 is switched to a second operation mode that forces a reboot, and when the value of the first load sensor 108 returns below the first threshold (for example, If the frame rate rises above 20 fps), it can be switched to the third operation mode corresponding to the normal operation mode.
  • the first threshold e.g., if the frame rate drops below 20 fps.
  • Figure 9 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • the cafe monitoring method performs a first operation when the value of the first load sensor 108 or the second load sensor 109 exceeds the first threshold in step S901. mode, and if the value of the first load sensor 108 or the second load sensor 109 exceeds the second threshold in step S902, switch to the second operation mode, and in step S903, switch to the second operation mode.
  • the operation mode may be switched to the first operation mode.
  • Figure 10 is a flowchart explaining a cafe monitoring method according to an embodiment.
  • the cafe monitoring method performs a first operation when the value of the first load sensor 108 or the second load sensor 109 exceeds the first threshold in step S1001. mode, and a count operation may be performed for a predetermined period of time after switching to the first operation mode in step S1002.
  • the method may determine whether the count value exceeds the fourth threshold in step S1003, and if so, proceed to step S1004 and enter the second operation mode. Alternatively, if it is not exceeded, the process may proceed to step S1005 and enter the third operation mode.
  • Figure 11 is a block diagram to explain a computing device according to an embodiment.
  • a cafe monitoring device a cafe monitoring method, a cafe curation server, and user terminals according to embodiments may be implemented using the computing device 50.
  • Computing device 50 includes a processor 501, memory 502, a storage device 503, a display device 504 that communicate over a bus 509, and a connection to a network 40 for communication with other entities. It may include at least one of a network interface device 505 that provides and an input/output interface device 506 that provides a user input interface or a user output interface.
  • the computer device 50 although not shown in FIG. 11, may further include any electronic device necessary to implement the technical ideas described in this specification.
  • the processor 501 may be implemented in various types such as an Application Processor (AP), Central Processing Unit (CPU), Graphic Processing Unit (GPU), Neural Processing Unit (NPU), and may include a memory 502 or a storage device ( 503) may be any electronic device that executes a stored program or command.
  • the processor 501 may be configured to implement the functions or methods described above with respect to FIGS. 1 to 10, and in relation to the cafe monitoring device and cafe monitoring method according to embodiments, artificial intelligence-specific operations may be performed using a GPU or Can be processed on NPU.
  • Memory 502 and storage device 503 may include various types of volatile or non-volatile storage media.
  • the memory 502 may include read-only memory (ROM) or random access memory (RAM), and the memory 502 may be located inside or outside the processor 501, and may be located inside or outside the processor 501. It can be connected to the processor 501 through various means.
  • examples of the storage device 503 include a hard disk drive (HDD) or a solid state drive (SSD), and the scope of the present invention is not limited to the elements listed above for explanation.
  • At least some of the cafe monitoring devices and cafe monitoring methods may be implemented as programs or software running on the computing device 50, and such programs or software may be stored in a computer-readable medium.
  • cafe monitoring devices and cafe monitoring methods may be implemented using hardware of the computing device 50, or may be implemented as separate hardware that can be electrically connected to the computing device 50. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

카페 모니터링 장치 및 카페 모니터링 방법이 제공된다. 카페 모니터링 장치는, 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 출력하는 카메라; 상기 촬영 데이터를 입력받고 상기 카페에 대한 좌석 점유 현황 데이터 및 고객 외형 추론 데이터를 출력하는 제1 추론 모델; 및 상기 촬영 데이터를 입력받고 상기 카페에 대한 고객 행동 추론 데이터 및 메뉴 매출 추정 데이터를 출력하는 제2 추론 모델을 포함하고, 상기 좌석 점유 현황 데이터, 상기 고객 외형 추론 데이터, 고객 행동 추론 데이터 및 메뉴 매출 추정 데이터 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.

Description

카페 모니터링 장치 및 카페 모니터링 방법
본 발명은 카페 모니터링 장치 및 카페 모니터링 방법에 관한 것이다.
카페 큐레이션(curation) 서비스는 여러 카페에 대한 정보를 수집 및 선별하고 새로운 가치를 부여해 전파하는 서비스이다. 고객 유치를 원하는 카페 점주가 자신의 카페를 카페 큐레이션 서비스에 등록하면, 고객은 사용자 단말을 통해 자신의 취향이나 방문 목적에 맞는 카페를 추천 받을 수 있다. 특히, 카페 큐레이션 서비스는 단순히 사용자 단말의 위치를 중심으로 가까운 거리에 소재한 카페들이나 후기 평점이 높은 카페들의 정보를 제공하는 수준을 넘어서, 카페를 찾는 사용자가 중요하게 여기는 가치에 부합하는 카페들을 제시한다는 점에서 이전의 카페 추천 서비스로부터 구별된다. 보다 가치 있는 카페 큐레이션 서비스를 구현하기 위해, 카페 내부의 실시간 현황 또는 예측 현황에 관한 정보를 수집하고 이를 카페 큐레이션 서비스에 활용하기 위한 방안들이 연구되고 있다.
해결하고자 하는 일 과제는, 인공지능 및 IoT(Internet of Things) 기반의 장치를 이용하여 카페 내부의 실시간 현황을 모니터링하고 미래의 현황을 예측할 수 있는 카페 모니터링 장치 및 카페 모니터링 방법을 제공하는 것이다.
일 실시 예에 따른 카페 모니터링 장치는, 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 출력하는 카메라; 상기 촬영 데이터를 입력받고 상기 카페에 대한 좌석 점유 현황 데이터 및 고객 외형 추론 데이터를 출력하는 제1 추론 모델; 및 상기 촬영 데이터를 입력받고 상기 카페에 대한 고객 행동 추론 데이터 및 메뉴 매출 추정 데이터를 출력하는 제2 추론 모델을 포함하고, 상기 좌석 점유 현황 데이터, 상기 고객 외형 추론 데이터, 상기 고객 행동 추론 데이터 및 상기 메뉴 매출 추정 데이터 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.
몇몇 실시 예에서, 상기 제1 추론 모델은 객체 검출 모델을 포함하고, 상기 좌석 점유 현황 데이터는 상기 카페에 방문하는 고객의 점유 좌석 위치, 좌석 점유율, 입장 시각 및 퇴장 시각 중 적어도 하나를 포함하고, 상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 점유 좌석 위치, 상기 좌석 점유율, 상기 입장 시각 및 상기 퇴장 시각 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 제1 추론 모델은 사람 바운딩 박스와 좌석 바운딩 박스를 비교하여 상기 점유 좌석 위치를 추론할 수 있다.
몇몇 실시 예에서, 상기 카페 모니터링 장치는, 하나의 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우 얼굴 또는 뒤통수 검출 여부에 따라 상기 점유 좌석 위치를 결정하는 좌석 결정 모듈을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 카페 모니터링 장치는, 하나의 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우 겹치는 넓이를 비교함으로써 상기 점유 좌석 위치를 결정하는 좌석 결정 모듈을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 고객 외형 추론 데이터는 상기 카페에 방문하는 고객의 성별 및 연령대 중 적어도 하나를 포함하고, 상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 성별 및 상기 연령대 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 제2 추론 모델은 객체 검출 모델 및 포즈 추정 모델을 포함하고, 상기 고객 행동 추론 데이터는 상기 카페에 방문하는 고객의 방문 목적 및 행동 패턴 중 적어도 하나를 포함하고, 상기 제2 추론 모델은, 상기 객체 검출 모델을 이용하여 객체를 검출하고, 상기 검출된 객체가 사람인 경우 상기 포즈 추정 모델을 이용하여 상기 방문 목적 및 상기 행동 패턴 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 제2 추론 모델은, 상기 검출된 객체가 물건이고 음료 또는 음식이 아닌 경우 상기 물건에 관한 정보와 상기 포즈 추정 모델을 이용하여 상기 방문 목적 및 상기 행동 패턴 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 메뉴 매출 추정 데이터는 상기 카페에 방문하는 고객의 주문 메뉴 및 매출 중 적어도 하나를 포함하고, 상기 제2 추론 모델은, 상기 검출된 객체가 물건이고 음료 또는 음식인 경우 상기 객체 검출 모델을 이용하여 상기 주문 메뉴 및 매출 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 카페 모니터링 장치는, 추론 데이터 삭제 모듈을 더 포함하고, 상기 제1 추론 모델은 상기 촬영 데이터 중 제1 추론이 종료된 제1 추론 종료 촬영 데이터에 관한 정보를 포함하는 제1 추론 종료 신호를 출력하고, 상기 제2 추론 모델은 상기 촬영 데이터 중 제2 추론이 종료된 제2 추론 종료 촬영 데이터에 관한 정보를 포함하는 제2 추론 종료 신호를 출력하고, 상기 추론 데이터 삭제 모듈은, 상기 제1 추론 종료 신호에 따라 상기 제1 추론 종료 촬영 데이터를 삭제하고, 상기 제2 추론 종료 신호에 따라 상기 제2 추론 종료 촬영 데이터를 삭제할 수 있다.
몇몇 실시 예에서, 상기 추론 데이터 삭제 모듈은, 상기 제1 추론 종료 신호를 수신한 경우, 상기 제1 추론 종료 촬영 데이터가 상기 제2 추론 모델에 의해 사용 중인지 여부를 판정하고, 상기 제1 추론 종료 촬영 데이터가 상기 제2 추론 모델에 의해 사용 중인 것으로 판정된 경우, 상기 제1 추론 종료 촬영 데이터를 유지할 수 있다.
몇몇 실시 예에서, 상기 추론 데이터 삭제 모듈은, 상기 제1 추론 종료 촬영 데이터에 대한 상기 제2 추론 종료 신호를 수신한 경우, 상기 제2 추론 종료 촬영 데이터를 삭제할 수 있다.
몇몇 실시 예에서, 상기 카페 모니터링 장치는, 동작 제어 모듈 및 제1 부하 센서를 더 포함하고, 상기 동작 제어 모듈은, 상기 제1 부하 센서의 값이 제1 임계값을 초과하는 경우 상기 카페 모니터링 장치를 제1 동작 모드로 전환하고, 상기 제1 부하 센서의 값이 제2 임계값을 초과하는 경우 상기 카페 모니터링 장치를 제2 동작 모드로 전환하고, 상기 제1 부하 센서의 값이 상기 제1 임계값 이하인 경우 제3 동작 모드로 전환할 수 있다.
몇몇 실시 예에서, 상기 카페 모니터링 장치는, 동작 제어 모듈 및 제1 부하 센서를 더 포함하고, 상기 동작 제어 모듈은, 상기 제1 부하 센서의 값이 제1 임계값을 초과하는 경우 소정의 시간 동안 카운트 동작을 수행하고, 카운트 값이 제4 임계값을 초과하는지 여부를 판정하고, 상기 카운트 값이 상기 제4 임계값을 초과하는 것으로 판정된 경우, 상기 카페 모니터링 장치를 제2 동작 모드로 전환할 수 있다.
몇몇 실시 예에서, 상기 동작 제어 모듈은, 상기 카운트 값이 상기 제4 임계값 이하인 것으로 판정된 경우, 상기 카페 모니터링 장치를 제3 동작 모드로 전환할 수 있다.
일 실시 예에 따른 카페 모니터링 방법은, 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 수신하는 단계; 상기 촬영 데이터 및 제1 추론 모델을 이용하여 상기 카페에 대한 좌석 점유 현황 데이터 및 고객 외형 추론 데이터를 획득하는 단계; 및 상기 촬영 데이터 및 제2 추론 모델을 입력받고 상기 카페에 대한 고객 행동 추론 데이터 및 메뉴 매출 추정 데이터를 획득하는 단계를 포함하고, 상기 좌석 점유 현황 데이터, 상기 고객 외형 추론 데이터, 상기 고객 행동 추론 데이터 및 상기 메뉴 매출 추정 데이터 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.
몇몇 실시 예에서, 상기 제1 추론 모델은 객체 검출 모델을 포함하고, 상기 좌석 점유 현황 데이터는 상기 카페에 방문하는 고객의 점유 좌석 위치, 좌석 점유율, 입장 시각 및 퇴장 시각 중 적어도 하나를 포함하고, 상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 점유 좌석 위치, 상기 좌석 점유율, 상기 입장 시각 및 상기 퇴장 시각 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 고객 외형 추론 데이터는 상기 카페에 방문하는 고객의 성별 및 연령대 중 적어도 하나를 포함하고, 상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 성별 및 상기 연령대 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 제2 추론 모델은 객체 검출 모델 및 포즈 추정 모델을 포함하고, 상기 고객 행동 추론 데이터는 상기 카페에 방문하는 고객의 방문 목적 및 행동 패턴 중 적어도 하나를 포함하고, 상기 제2 추론 모델은, 상기 객체 검출 모델을 이용하여 객체를 검출하고, 상기 검출된 객체가 사람인 경우 상기 포즈 추정 모델을 이용하여 상기 방문 목적 및 상기 행동 패턴 중 적어도 하나를 추론할 수 있다.
몇몇 실시 예에서, 상기 메뉴 매출 추정 데이터는 상기 카페에 방문하는 고객의 주문 메뉴 및 매출 중 적어도 하나를 포함하고, 상기 제2 추론 모델은, 상기 검출된 객체가 물건이고 음료 또는 음식인 경우 상기 객체 검출 모델을 이용하여 상기 주문 메뉴 및 매출 중 적어도 하나를 추론할 수 있다.
실시 예들에 따르면, 인공지능 및 IoT(Internet of Things) 기반의 장치를 이용하여 카페 내부의 실시간 현황을 모니터링하고 미래의 현황을 예측할 수 있다.
도 1은 일 실시 예에 따른 카페 큐레이션 시스템을 설명하기 위한 블록도이다.
도 2는 일 실시 예에 따른 카페 모니터링 장치를 설명하기 위한 블록도이다.
도 3은 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 4은 일 실시 예에 따른 카페 모니터링 결과를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 6 및 도 7은 일 실시 예에 따른 카페 모니터링 결과들을 설명하기 위한 도면들이다.
도 8은 일 실시 예에 따른 카페 모니터링 장치를 설명하기 위한 블록도이다.
도 9는 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시 예에 따른 컴퓨팅 장치를 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 본 명세서에서 설명되는 적어도 하나의 기능이나 동작을 처리할 수 있는 단위를 의미할 수 있으며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서는 명확성을 위해 본 발명의 적용 대상으로 카페에 한정하여 설명하지만, 본 발명의 범위는 카페가 아닌 임의의 매장, 또는 임의의 공간에서 IoT 장치를 이용하여 매장 또는 공간 내부의 실시간 현황을 모니터링하고 미래의 현황을 예측하는 경우에까지 미친다.
도 1은 일 실시 예에 따른 카페 큐레이션 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 일 실시 예에 따른 카페 큐레이션 시스템(1)은 카페 모니터링 장치(10, 11, 12), 카페 큐레이션 서버(20) 및 사용자 단말(30, 31)을 포함할 수 있다. 카페 모니터링 장치(10, 11, 12), 카페 큐레이션 서버(20) 및 사용자 단말(30, 31)은 네트워크(40)를 통해 서로 데이터를 주고 받을 수 있다.
카페 모니터링 장치(10, 11, 12)는 IoT 장치일 수 있다. IoT는 사물에 센싱 및 통신 기능을 내장하여 인터넷에 연결하는 기술로서, 카페 모니터링 장치(10, 11, 12)는 카페 내부에 설치되어 카페 내부를 모니터링하고, 모니터링 결과를 네트워크(40)를 통해 다른 장치, 예를 들어 카페 큐레이션 서버(20)로 전송할 수 있다. 카페 모니터링 장치(10, 11, 12)는 여러 카페 내부에 설치되어 그 내부의 실시간 현황을 모니터링하고 미래의 현황을 예측할 수 있다. 예를 들어, 카페 모니터링 장치(10, 11)는 어떤 카페(A)의 내부에 설치되어 해당 카페(A) 내부의 현황을 모니터링 및 예측할 수 있고, 카페 모니터링 장치(12)는 다른 카페(B)의 내부에 설치되어 다른 카페(B) 내부의 현황을 모니터링 및 예측할 수 있다. 카페(A)에 설치된 모니터링 장치(10, 11)로부터 획득할 수 있는 모니터링 및 예측 결과와 카페(B)에 설치된 모니터링 장치(12)로부터 획득할 수 있는 모니터링 및 예측 결과는 네트워크(40)를 통해 카페 큐레이션 서버(20)로 전송될 수 있다.
카페 큐레이션 서버(20)는 카페 모니터링 장치(10, 11, 12)를 통해 수집된 카페(A, B)에 대한 정보에 기반하여, 사용자(또는 고객)가 카페를 선택하기 위해 중요하게 여기는 가치에 부합하는 카페들을 사용자 단말(30, 31)을 통해 사용자에게 제시할 수 있다. 카페 모니터링 장치(10, 11, 12)를 통해 수집되는 정보는 카페 큐레이션 서버(20)가 액세스할 수 있는 데이터베이스에 저장되고 관리될 수 있다.
몇몇 실시 예에서, 카페 모니터링 장치(10, 11, 12)가 카페 큐레이션 서버(20)에 제공하는 정보 중 일부 정보(예를 들어 후술할 좌석 점유 현황 데이터, 고객 외형 추론 데이터 등)는 실시간으로 카페 큐레이션 서버(20)에 전송될 수 있다. 구체적으로, 카페 모니터링 장치(10, 11, 12)는 상기 일부 정보를 미리 정해진 제1 시간 간격(예를 들어, 20초)으로 카페 큐레이션 서버(20)로 전송할 수 있다. 여기서 미리 정해진 시간 간격은 구체적인 구현 목적과 구현 환경에 따라 다르게 설정될 수 있다. 한편, 모니터링 장치(10, 11, 12)가 카페 큐레이션 서버(20)에 제공하는 정보 중 다른 일부 정보(예를 들어 후술할 고객 행동 추론 데이터, 메뉴 매출 추정 데이터 등)는 상기 제1 시간 간격보다 길도록 미리 정해진 제2 시간 간격(예를 들어, 수 시간, 수 일)으로 카페 큐레이션 서버(20)로 전송할 수 있다. 이와 같이, 카페 큐레이션 서버(20)가 서비스를 제공하기 위해 업데이트가 빈번하게 이루어질 필요가 있는 정보에 대해서는 실시간 또는 짧은 시간 간격으로 전송이 이루어지고, 업데이트가 빈번하게 이루어질 필요가 없는 정보에 대해서는 상대적으로 긴 시간 간격으로 전송이 이루어지도록 하여, 네트워크 대역폭을 효율적으로 사용하고 카페 모니터링 장치(10, 11, 12)의 소모 전력을 절감할 수 있다.
몇몇 실시 예에서, 카페 모니터링 장치(10, 11, 12)는 컴퓨팅 및 네트워크 자원을 고려하여 카페 큐레이션 서버(20)로 정보를 전송하는 횟수를 조절할 수 있다. 예를 들어, 카페 모니터링 장치(10, 11, 12)는, 컴퓨팅 및 네트워크 자원을 효율적으로 사용하기 위해, 제1 시점, 제2 시점 및 제3 시점에 3회에 걸쳐 획득한 모니터링 및 예측 결과들을 평균하여 카페 큐레이션 서버(20)로의 전송은 1회만 수행할 수 있다.
몇몇 실시 예에서, 카페 모니터링 장치(10, 11, 12)는, 인공지능 기술을 기반으로 카페 내부의 현황을 모니터링 및 예측하기 위한 프로세서를 구비할 수 있다. 그런데 카페 모니터링 장치(10, 11, 12)가 설치되는 환경에서 컴퓨팅 자원의 효율적인 운용이 요구되는 경우가 흔하기 때문에, 프로세서를 정교하게 사용할 수 있다. 구체적으로, 카페 모니터링 장치(10, 11, 12)는, 카페 큐레이션 서버(20)에 제공하는 정보 중 일부 정보에 대해서는 객체 검출(object detection) 기능만을 사용하도록 프로세서를 제어할 수도 있고, 다른 정보에 대해서는 객체 검출 기능과 포즈 추정(pose estimation) 기능을 함께 사용하도록 프로세서를 제어할 수도 있고, 또 다른 정보에 대해서는 객체 검출 기능과 시맨틱 세그멘테이션(semantic segmentation) 기능을 함께 사용하도록 제어할 수도 있다. 이와 같이, 객체 검출, 포즈 추정 및 시맨틱 세그멘테이션을 정보의 특성에 따라 혼합하여 사용함으로써, 카페 모니터링 장치(10, 11, 12)의 제한적인 컴퓨팅 자원을 효율적으로 운용할 수 있다.
사용자 단말(30, 31)은 카페 큐레이션 서버(20)에 접속하여 사용자의 카페 선택 취향, 사용자의 위치, 사용자의 동선, 주문 시간대, 주문 메뉴, 사용자의 카페 이용 이력 정보 등에 기반한 카페 큐레이션 서비스를 제공받을 수 있다. 이와 같이, 카페 큐레이션 서비스는 고객의 데이터를 분석하고, 카페 모니터링 장치(10, 11, 12)를 통해 파악한 카페 내부의 현황 데이터를 분석하여, 고객이 단순히 현재 위치와 가까운 카페 또는 저명한 프랜차이즈 카페만을 선택하지 않고, 실질적으로 고객에게 만족감을 줄 수 있는 카페를 발굴 및 추천할 수 있다. 몇몇 실시 예에서, 사용자 단말(30, 31)은 스마트 폰, 태블릿 컴퓨터, 웨어러블 장치, 랩톱 컴퓨터, 데스크톱 컴퓨터 등을 비롯한 컴퓨팅 장치일 수 있다. 사용자는 사용자 단말(30, 31) 상에서 구동되는 애플리케이션을 통해 카페 큐레이션 서비스를 이용할 수 있다.
네트워크(40)는 Wi-Fi 네트워크, 블루투스 네트워크, 셀룰러 네트워크 등을 비롯한 무선 네트워크, LAN(Local Area Network)를 비롯한 유선 네트워크, 무선 네트워크과 유선 네트워크가 혼합된 형태의 네트워크를 포함할 수 있다.
이하에서는 도 2 내지 도 10을 참조하여, 실시 예들에 따른 카페 모니터링 장치 및 카페 모니터링 방법에 대해 상세히 설명하도록 한다.
도 2는 일 실시 예에 따른 카페 모니터링 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 일 실시 예에 따른 카페 모니터링 장치(10)는 카메라(101), 메모리(102), 제1 추론 모델(103) 및 제2 추론 모델(104)을 포함할 수 있다. 본 명세서에서, 카페 모니터링 장치(10)에 관한 설명은 카페 모니터링 장치(11, 12)에 대해서도 동일하게 적용될 수 있다.
카메라(101)는 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 출력할 수 있다. 몇몇 실시 예에서, 카메라(101)는 회전, 틸트, 줌이 가능한 PTZ 카메라, 고정형 카메라 등을 포함할 수 있다. 한편, 몇몇 실시 예에서, 카메라(101)는 RGB 카메라, IR 카메라 등을 포함할 수 있다. 카페의 내부를 사각지대 없이 촬영하기 위해, 카페에는 여러 대의 카메라(101)가 설치될 수 있고, 이들은 서로 네트워크(40)를 통해 데이터를 교환할 수 있다.
메모리(102)는 카페 모니터링 장치(10)가 구동되기 위해 필요한 소프트웨어 및 데이터를 적재할 수 있다. 구체적으로, 메모리(102)에는 제1 추론 모델(103) 또는 제2 추론 모델(104)을 이용하여 카페 내부의 현황 모니터링 및 예측을 수행하기 위한 프로그램 코드가 적재되거나, 해당 프로그램 코드가 사용하는 데이터가 적재될 수 있다. 또한, 메모리(102)에는 카페 모니터링 장치(10)의 전반적인 동작을 제어하는 펌웨어 또는 운영 체제에 해당하는 프로그램 코드가 적재될 수 있다.
카메라(101)로부터 출력되는 촬영 데이터는 메모리(102)에 적재되고, 제1 추론 모델(103) 및 제2 추론 모델(104)은 메모리(102)에 적재된 촬영 데이터를 카메라 데이터(CD)로서 액세스하여 카페 내부의 현황 모니터링 및 예측을 수행할 수 있다.
제1 추론 모델(103)은, 카메라(101)로부터 출력되는 촬영 데이터를 입력받고, 카페에 대한 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2)를 출력할 수 있다. 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2) 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.
좌석 점유 현황 데이터(D1)는, 카페에 방문하는 고객의 점유 좌석 위치, 좌석 점유율, 입장 시각 및 퇴장 시각 중 적어도 하나를 포함할 수 있다. 비제한적인 예로서, 점유 좌석 위치는, 예를 들어 카페 내부의 테이블 또는 좌석에 대해 부여되는 테이블 번호 또는 좌석 번호로 표현될 수 있다. 또한, 비제한적인 예로서, 입장 시각 및 퇴장 시각은 카페 내부에 설치된 여러 대의 카페 모니터링 장치로부터 정해질 수 있다. 구체적으로, 카페 내부에 복수의 카페 모니터링 장치가 설치된 경우, 복수의 장치 중 하나의 장치에 방문 고객이 인식된 시각을 해당 고객의 입장 시각으로 기록할 수 있고, 이후 복수의 장치 전부에 방문 고객이 사라진 시각을 해당 고객의 퇴장 시각으로 기록할 수 있다.
제1 추론 모델(103)은 객체 검출 모델을 포함할 수 있다. 여기서, 객체 검출 모델은, 찾고자 하는 객체의 특징(feature)을 사전에 추출하고, 촬영 데이터로부터 해당 특징을 검출할 수 있다. 몇몇 실시 예에서, 촬영 데이터로부터 특징 추출(feature extraction)을 수행하기 전에 필요에 따라 전처리(pre-processing)가 수행될 수 있다. 그리고, 추출된 특징들을 이용하여 분류기(classifier)에 의한 검출이 수행될 수 있다. 몇몇 실시 예에서, 객체 검출은 컨볼루션 신경망(Convolutional Neural Network, CNN)을 기반으로 한 다양한 검출 및 인식 알고리즘을 통해 이루어질 수 있다.
제1 추론 모델(103)은 객체 검출 모델을 이용하여, 카페에 방문하는 고객의 점유 좌석 위치, 좌석 점유율, 입장 시각 및 퇴장 시각 중 적어도 하나를 추론할 수 있다. 이 때 객체 검출 모델은, 촬영 데이터로부터 찾고자 하는 객체를 사람 및 좌석으로 설정할 수 있다.
몇몇 실시 예에서, 제1 추론 모델(103)은 사람 바운딩 박스와 좌석 바운딩 박스를 비교하여 점유 좌석 위치를 추론할 수 있다. 구체적으로, 제1 추론 모델(103)은 찾고자 하는 객체로서 사람 및 좌석의 특징을 사전에 추출하고, 촬영 데이터로부터 사람 및 좌석의 특징을 추출하고 분류를 수행하거나, CNN 기반의 검출 및 인식을 수행하여, 검출된 사람 및 좌석을 둘러싸는 바운딩 박스로서 그 결과를 표시할 수 있다. 어떤 사람에 대한 바운딩 박스와 어떤 좌석에 대한 바운딩 박스가 미리 설정된 기준을 충족할 만큼 겹친 경우(예를 들어, 사람 바운딩 박스의 약 90 %의 영역이 좌석 바운딩 박스에 겹친 경우), 제1 추론 모델(103)은 해당 사람이 해당 좌석을 점유하는 것으로 결정할 수 있다. 이와 다르게, 어떤 사람에 대한 바운딩 박스와 어떤 좌석에 대한 바운딩 박스가 미리 설정된 기준을 충족하지 못할 만큼만 겹친 경우(예를 들어, 사람 바운딩 박스의 약 60 %의 영역만이 좌석 바운딩 박스에 겹친 경우), 제1 추론 모델(103)은 해당 사람이 해당 좌석을 점유하지 않은 것으로 결정할 수 있다. 이 때 미리 설정된 기준은 좌석의 형태, 카메라로부터 좌석을 바라보는 각도(예를 들어, 의자의 전면, 후면 등) 등을 고려하여 좌석마다 다르게 설정될 수 있다.
몇몇 실시 예에서, 카페 모니터링 장치(10)는 좌석 결정 모듈(106)을 더 포함할 수 있다. 좌석 결정 모듈(106)은, 하나의 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우, 얼굴 또는 뒤통수 검출 여부에 따라 점유 좌석 위치를 결정할 수 있다. 예를 들어, 어떤 사람의 바운딩 박스가 앞 좌석과 뒷 좌석을 포함하는 2개의 좌석에 모두 겹치는 경우, 검출된 사람 영역에서 얼굴 인식 또는 뒤통수 인식을 수행할 수 있다. 검출된 사람 영역에서 얼굴 인식에 성공한 경우, 해당 사람은 2 개의 좌석 중 앞 좌석을 점유하는 것으로 결정할 수 있고, 검출된 사람 영역에서 얼굴 인식을 실패하거나 뒤통수 인식에 성공한 경우, 해당 사람은 뒷 좌석을 점유하는 것으로 결정할 수 있다.
몇몇 실시 예에서, 좌석 결정 모듈(106)은, 하나의 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우, 겹치는 넓이를 비교함으로써 점유 좌석 위치를 결정할 수 있다. 예를 들어, 어떤 사람의 바운딩 박스의 약 30 %의 영역이 어떤 좌석에 대한 바운딩 박스와 겹치고, 해당 사람의 바운딩 박스의 다른 약 60 %의 영역이 다른 좌석에 대한 바운딩 박스와 겹칠 수 있다. 이런 경우에는, 해당 사람은 다른 좌석을 점유하는 것으로 결정할 수 있다.
고객 외형 추론 데이터(D2)는, 카페에 방문하는 고객의 성별 및 연령대 중 적어도 하나를 포함할 수 있다. 고객 외형 추론 데이터(D2)는 좌석 점유 현황 데이터(D1)와 결합될 수 있다. 예를 들어, 좌석 점유 현황 데이터(D1) 중 점유 좌석 위치와 고객 외형 추론 데이터(D2)의 성별이 결합되어, 어느 좌석에 어느 성별의 점유율이 높은 지 등의 분석이 수행될 수 있다. 또한, 좌석 점유 현황 데이터(D1) 중 입장 시각 및 퇴장 시각과 고객 외형 추론 데이터(D2)의 연령대가 결합되어, 어느 시간대에 어느 연령대가 얼마만큼 체류했는지 등의 분석이 수행될 수도 있다.
제1 추론 모델(103)은 객체 검출 모델을 이용하여, 카페에 방문하는 고객의 성별 및 연령대 중 적어도 하나를 추론할 수 있다. 이 때 객체 검출 모델은, 촬영 데이터로부터 찾고자 하는 객체를 사람, 소지품, 의복, 신발 등으로 설정할 수 있다.
몇몇 실시 예에서, 제1 추론 모델(103)은 시맨틱 세그멘테이션을 추가로 수행하여, 인식되는 사물의 아웃라인(outline)을 구성하여 요소 분할을 구현할 수도 있다.
제2 추론 모델(104)은, 카메라(101)로부터 출력되는 촬영 데이터를 입력받고, 카페에 대한 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4)를 출력할 수 있다. 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4) 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.
고객 행동 추론 데이터(D3)는, 카페에 방문하는 고객의 방문 목적 및 행동 패턴 중 적어도 하나를 포함할 수 있다. 비제한적인 예로서, 방문 목적은, 식사, 휴식, 공부, 독서, 과제, 대화 등을 포함할 수 있다. 또한, 비제한적인 예로서, 행동 패턴은, 스마트 폰 사용, 태블릿 컴퓨터 사용, 독서, 타이핑, 그리기, 음료 섭취, 음식 자르기, 필기 등을 포함할 수 있다.
제2 추론 모델(104)은 객체 검출 모델 및 포즈 추정 모델을 포함할 수 있다. 여기서, 포즈 추정은 촬영 데이터 내의 포즈(pose)를 추론하는 것을 의미할 수 있다. 예를 들어, 이미지 또는 비디오 상의 사람의 관절 위치를 예측하는 것을 포함할 수 있다. 몇몇 실시 예에서, 포즈 추정을 위해, 그래프형 모델뿐 아니라, 모든 관절의 문맥을 포착할 수 있는 심층 신경망(Deep Neural Network, DNN)이 사용될 수도 있다. 즉 제2 추론 모델(104)은 사람을 검출한 경우 사람의 관절에 해당하는 피봇(pivot) 포인트를 출력할 수 있다.
제2 추론 모델(104)은 객체 검출 모델을 이용하여 객체를 검출하고, 검출된 객체가 사람인 경우 포즈 추정 모델을 이용하여 방문 목적 및 행동 패턴 중 적어도 하나를 추론할 수 있다. 방문 목적 및 행동 패턴은 사람만을 식별하여 수행될 수도 있지만, 사람이 사용하거나 소지하는 물건을 함께 식별하여 수행될 수도 있다. 즉, 제2 추론 모델(104)은, 객체 검출 모델을 이용하여 사람 외에 추가로 객체를 검출하여, 검출된 객체가 물건이고 음료 또는 음식이 아닌 경우, 해당 물건에 관한 정보와 포즈 추정 모델을 이용하여 방문 목적 및 행동 패턴 중 적어도 하나를 추론할 수 있다. 예를 들어, 식별된 물건이 랩톱 컴퓨터이고 사람의 포즈가 테이블에 손을 올리고 있는 것으로 추론된 경우에는 행동 패턴이 타이핑이고 방문 목적이 문서 작업인 것으로 추론할 수 있다. 이와 다르게, 식별된 물건이 랩톱 컴퓨터이고 사람의 포즈가 테이블 아래로 손을 내리고 있는 것으로 추론된 경우에는 행동 패턴이 영화 감삭이고 방문 목적이 휴식인 것으로 추론할 수 있다.
몇몇 실시 예에서, 사람에 대한 포즈 추정을 수행하는 경우, 상체의 피봇 포인트만을 연결하여 트래킹하는 기법을 사용할 수 있다. 일반적으로는 사람의 행동 패턴을 분석하기 위해 전신의 모든 절점을 인식하여 포즈 추정을 수행하지만, 주로 앉아서 상체만을 주로 움직이는 카페의 특성과 컴퓨팅 자원의 효율적 운용을 위해 사람으로 판단된 경우에는 상체만 고려하여 추론 연산에 사용되는 절점의 개수를 줄일 수 있다.
메뉴 매출 추정 데이터(D4)는 카페에 방문하는 고객의 주문 메뉴 및 매출 중 적어도 하나를 포함할 수 있다. 비제한적인 예로서, 주문 메뉴는 뜨거운 음료인지 차가운 음료인지 여부, 음료의 사이즈, 음료의 가격 등을 포함할 수 있고, 매출은 특정 시점의 매출, 단기 매출 패턴, 장기 매출 패턴 등을 포함할 수 있다.
제2 추론 모델(104)은, 검출된 객체가 물건이고 음료 또는 음식인 경우, 객체 검출 모델을 이용하여 주문 메뉴 및 매출 중 적어도 하나를 추론할 수 있다. 이 때 객체 검출 모델은, 촬영 데이터로부터 찾고자 하는 객체를 음료, 음식 등으로 설정할 수 있다.
전술한 바와 같이 획득할 수 있는 좌석 점유 현황 데이터(D1), 고객 외형 추론 데이터(D2), 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4)는 텍스트 타입의 데이터로 출력될 수 있다. 예를 들어, 텍스트 타입의 데이터는 "1번 테이블에 3명, 3번 테이블에 1명, 라떼 2잔, 아이스 아메리카노 3잔, 여성 3명, 남성 2명" 등의 형태로 표현될 수 있다. 이와 같이 출력되는 텍스트 데이터는 예를 들어 JSON과 같이 일정한 규격을 따르는 텍스트 데이터로 추상화되거나, 암호화된 텍스트 데이터로 변환될 수 있다. 모니터링 장치(10)는 이와 같은 텍스트 기반의 데이터를 모니터링 및 예측 결과로서 카페 큐레이션 서버(20)로 전송될 수 있다.
여기서 주목할 점은, 모니터링 장치(10)에서 카페 큐레이션 서버(20)로 전송되는 데이터는 익명화된 텍스트 데이터만을 포함하며, 신원을 식별할 여지가 존재하는 촬영 데이터는 카페 큐레이션 서버(20)로 전송되지 않는다는 점이다. 이에 따라, 개인 정보 보호를 구현하면서도 카페 현황을 통계적인 데이터로서 파악하고 활용할 수 있다.
몇몇 실시 예에서, 카페 모니터링 장치(10)는 추론 데이터 삭제 모듈(105)을 더 포함할 수 있다. 제1 추론 모델(103)은 촬영 데이터 중 제1 추론이 종료된 제1 추론 종료 촬영 데이터에 관한 정보를 포함하는 제1 추론 종료 신호(DR1)를 출력하고, 제2 추론 모델(104)은 촬영 데이터 중 제2 추론이 종료된 제2 추론 종료 촬영 데이터에 관한 정보를 포함하는 제2 추론 종료 신호(DR2)를 출력할 수 있다. 추론 데이터 삭제 모듈(105)은, 제1 추론 종료 신호(DR1)에 따라 제1 추론 종료 촬영 데이터를 삭제하고, 제2 추론 종료 신호(DR2)에 따라 제2 추론 종료 촬영 데이터를 삭제할 수 있다.
구체적으로, 제1 추론 모델(103)은, 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2)의 추론에 사용된 촬영 데이터에 관한 정보를 포함하는 제1 추론 종료 신호(DR1)를 추론 데이터 삭제 모델(105)에 출력할 수 있고, 추론 데이터 삭제 모듈(105)은, 제1 추론 종료 신호(DR1)에 따라 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2)의 추론에 사용된 촬영 데이터를 메모리(102) 및 스토리지에서 삭제할 수 있다. 또한, 제2 추론 모델(104)은, 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4)의 추론에 사용된 촬영 데이터에 관한 정보를 포함하는 제2 추론 종료 신호(DR2)를 추론 데이터 삭제 모델(105)에 출력할 수 있고, 추론 데이터 삭제 모듈(105)은, 제2 추론 종료 신호(DR2)에 따라 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4)의 추론에 사용된 촬영 데이터를 메모리(102) 및 스토리지에서 삭제할 수 있다.
몇몇 실시 예에서, 추론 데이터 삭제 모듈(105)은, 제1 추론 종료 신호(DR1)를 수신한 경우, 제1 추론 종료 촬영 데이터가 제2 추론 모델(104)에 의해 사용 중인지 여부를 판정하고, 제1 추론 종료 촬영 데이터가 제2 추론 모델(104)에 의해 사용 중인 것으로 판정된 경우, 제1 추론 종료 촬영 데이터를 삭제하지 않고 유지할 수 있다. 즉, 이 경우는 제1 추론 종료 촬영 데이터가 제1 추론 모델(103)뿐 아니라 제2 출원 모델(104)에서도 사용되는 경우이다. 이후, 제1 추론 종료 촬영 데이터에 대한 제2 추론 종료 신호(DR2)를 수신한 경우, 제2 추론 종료 촬영 데이터를 삭제할 수 있다. 이에 따라, 추론을 위해 사용되었던 이미지 및 비디오에 대해, 개인 정보 보호를 위한 삭제를 안전하게 수행할 수 있다.
도 3은 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 일 실시 예에 따른 카페 모니터링 방법은, 단계(S301)에서 촬영 이미지 기반의 객체 인식을 수행하고, 단계(S302)에서 고객 외형을 추론할 수 있다. 상기 방법은, 단계(S303)에서 사람 바운딩 박스와 좌석 바운딩 박스를 비교하여 점유한 좌석을 판별하고, 단계(S304)에서 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우 점유 좌석을 결정할 수 있다. 또한, 상기 방법은, 단계(S305)에서 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2)를 출력하고, 단계(S306)에서 추론에 사용된 촬영 이미지를 삭제할 수 있다.
일 실시 예에 따른 카페 모니터링 방법에 대해 더 상세한 내용에 대해서는 도 1 내지 도 2와 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
도 4은 일 실시 예에 따른 카페 모니터링 결과를 설명하기 위한 도면이다.
도 4를 참조하면, 제1 추론 모델(103)은, 카메라(101)로부터 출력되는 촬영 데이터를 입력받고 객체 검출을 수행하여 사람을 검출할 수 있다. 이 때, 제1 추론 모델(103)은, 검출된 사람의 얼굴을 인식하지 않고 얼굴의 외형만을 분석할 수 있다. 즉, 익명의 사람의 착석 위치만을 인식하여 좌석 점유 현황을 파악할 수 있다. 또한, 제1 추론 모델(103)은 검출된 사람의 머리 길이, 착용 의상, 헤어스타일, 신발 형태, 소지품 등에 대한 객체 검출을 수행하여 고객의 성별 및 연령대를 추론할 수 있다.
이로부터, 카페를 방문하는 주 방문층에 대한 분석, 실시간 또는 통계적 좌석 점유에 대한 분석, 카페에 머무르는 시간에 대한 분석 등이 수행될 수 있다. 예를 들어, 도시된 바와 같이, 성별, 연령대, 착석한 테이블, 입장 시각 및 퇴장 시각과 같은 데이터를 축적 및 분석하고, 카페 큐레이션 서비스는 고객의 데이터에 대한 분석을 추가로 수행함으로써, 고객이 단순히 현재 위치와 가까운 카페 또는 저명한 프랜차이즈 카페만을 선택하지 않고, 실질적으로 고객에게 만족감을 줄 수 있는 카페를 발굴 및 추천할 수 있다.
도 5는 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 일 실시 예에 따른 카페 모니터링 방법은, 단계(S501)에서 촬영 이미지 및 비디오 기반의 객체 인식을 수행하고, 단계(S502)에서 인식 객체의 크기에 따라 선택적으로 리사이징을 수행할 수 있다. 즉, 인식 객체의 크기가 과도하게 작은 경우, 촬영 이미지 및 비디오 프레임에 대한 리사이징을 선택적으로 수행할 수 있다. 상기 방법은, 단계(S503)에서 인식 객체가 물건인 경우 메뉴 추론을 수행할 수 있고, 단계(S504)에서 인식 객체가 사람인 경우 포즈 추정 기반 행동 추론을 수행할 수 있다. 또한, 상기 방법은, 단계(S505)에서 고객 행동 추론 데이터(D3) 및 메뉴 매출 추론 데이터(D4)를 출력하고, 단계(S506)에서 추론에 사용된 촬영 이미지 및 비디오를 삭제할 수 있다.
일 실시 예에 따른 카페 모니터링 방법에 대해 더 상세한 내용에 대해서는 도 1 내지 도 2와 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
도 6 및 도 7은 일 실시 예에 따른 카페 모니터링 결과들을 설명하기 위한 도면들이다.
도 6 및 도 7을 참조하면, 제2 추론 모델(104)은, 카메라(101)로부터 출력되는 촬영 데이터를 입력받고 객체 검출 및 포즈 추정을 수행하여 고객 행동을 추론할 수 있다. 이 때, 제2 추론 모델(104)은, 피봇 포인트 범위를 전신으로 설정하지 않고 상체만을 설정할 수 있다. 이에 따라 절점의 개수가 감소하고 행동 패턴의 가지 수가 줄어들게 되어 불필요한 연산량을 줄일 수 있다.
이로부터, 카페를 방문하는 주된 목적에 대한 분석, 카페의 특성을 반영하는 카페 내에서의 행동 통계에 대한 분석, 행동 패턴 별 착석 위치에 대한 분석 등이 수행될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 포즈 추정으로부터 단기 추론과 장기 추론을 수행하고, 카페 내 고객의 행동을 시간 별로 분석하고 그 분석 결과를 좌석 점유율과 연동시킬 수 있다. 또한, 실시간 메뉴 및 가격에 대한 분석, 전체 주문 메뉴에 대한 분석, 매출 분석 등이 수행될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 음료의 온도, 사이즈로부터 메뉴 추론을 수행하고, 사용자 데이터를 고려하여 최종 메뉴와 가격을 추정하여 시간에 따를 매출 추이까지 예측할 수 있다. 카페 큐레이션 서비스는 이러한 분석에 고객의 데이터에 대한 분석을 추가로 수행함으로써, 고객이 단순히 현재 위치와 가까운 카페 또는 저명한 프랜차이즈 카페만을 선택하지 않고, 실질적으로 고객에게 만족감을 줄 수 있는 카페를 발굴 및 추천할 수 있다.
도 8은 일 실시 예에 따른 카페 모니터링 장치를 설명하기 위한 블록도이다.
도 8을 참조하면, 일 실시 예에 따른 카페 모니터링 장치(10)는 카메라(101), 메모리(102), 제1 추론 모델(103), 제2 추론 모델(104), 추론 데이터 삭제 모듈(105) 및 좌석 결정 모듈(106)뿐 아니라, 동작 제어 모듈(107) 및 부하 센서(108, 109)를 더 포함할 수 있다.
카메라(101)는 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 출력할 수 있다. 카페의 내부를 사각지대 없이 촬영하기 위해, 카페에는 여러 대의 카메라(101)가 설치될 수 있고, 이들은 서로 네트워크(40)를 통해 데이터를 교환할 수 있다.
메모리(102)는 카페 모니터링 장치(10)가 구동되기 위해 필요한 소프트웨어 및 데이터를 적재할 수 있다. 구체적으로, 메모리(102)에는 제1 추론 모델(103) 또는 제2 추론 모델(104)을 이용하여 카페 내부의 현황 모니터링 및 예측을 수행하기 위한 프로그램 코드가 적재되거나, 해당 프로그램 코드가 사용하는 데이터가 적재될 수 있다.
카메라(101)로부터 출력되는 촬영 데이터는 메모리(102)에 적재되고, 제1 추론 모델(103) 및 제2 추론 모델(104)은 메모리(102)에 적재된 촬영 데이터를 카메라 데이터(CD)로서 액세스하여 카페 내부의 현황 모니터링 및 예측을 수행할 수 있다.
제1 추론 모델(103)은, 카메라(101)로부터 출력되는 촬영 데이터를 입력받고, 카페에 대한 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2)를 출력할 수 있다. 좌석 점유 현황 데이터(D1) 및 고객 외형 추론 데이터(D2) 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.
제2 추론 모델(104)은, 카메라(101)로부터 출력되는 촬영 데이터를 입력받고, 카페에 대한 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4)를 출력할 수 있다. 고객 행동 추론 데이터(D3) 및 메뉴 매출 추정 데이터(D4) 중 적어도 하나는 카페 큐레이션을 위해 사용될 수 있다.
추론 데이터 삭제 모듈(105)은, 제1 추론 종료 신호(DR1)에 따라 제1 추론 종료 촬영 데이터를 삭제하고, 제2 추론 종료 신호(DR2)에 따라 제2 추론 종료 촬영 데이터를 삭제할 수 있다.
그 외 카메라(101), 메모리(102), 제1 추론 모델(103), 제2 추론 모델(104), 추론 데이터 삭제 모듈(105) 및 좌석 결정 모듈(106)에 관하여는 도 2와 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
동작 제어 모듈(107)은 카페 모니터링 장치(10)에 부하가 소정의 기준을 초과하여 발생한 경우, 카페 모니터링 장치(10)의 동작 모드를 전환할 수 있다. 구체적으로, 동작 제어 모듈(107)은 카페 모니터링 장치(10)의 동작 모드를 제1 동작 모드(미리 정해진 시간 동안 동작을 정지시키는 동작 모드), 제2 동작 모드(강제로 재부팅에 진입하는 동작 모드) 및 제3 동작 모드(정상 동작 모드) 사이에서 전환할 수 있다.
제1 부하 센서(108)는, 예를 들어 카페 모니터링 장치(10)의 온도를 측정하기 위한 온도 센서를 포함할 수 있다. 몇몇 실시 예에서, 동작 제어 모듈(107)은, 제1 부하 센서(108)의 값이 제1 임계값(예를 들어, 80도)을 초과하는 경우 카페 모니터링 장치(10)를 미리 정해진 시간 동안 동작을 정지시키는 제1 동작 모드로 전환하고, 제1 부하 센서(108)의 값이 제2 임계값(예를 들어, 90도)을 초과하는 경우 카페 모니터링 장치(10)를 강제로 재부팅에 진입하는 제2 동작 모드로 전환하고, 제1 부하 센서(108)의 값이 제1 임계값 이하로 돌아온 경우 정상 동작 모드에 해당하는 제3 동작 모드로 전환할 수 있다.
한편, 몇몇 실시 예에서, 동작 제어 모듈(107)은, 제1 부하 센서(108)의 값이 제1 임계값(예를 들어, 80도)을 초과하는 경우 제1 동작 모드로 전환하고, 이후 소정의 시간 동안 카운트 동작을 수행하고, 카운트 값이 제4 임계값(예를 들어 90 도)을 초과하는지 여부를 판정하고, 카운트 값이 제4 임계값을 초과하는 것으로 판정된 경우, 즉, 카페 모니터링 장치(10)의 온도가 카운트하는 동안 더 상승한 경우, 카페 모니터링 장치(10)를 제2 동작 모드로 전환할 수 있다. 이와 다르게, 카운트 값이 제4 임계값 이하인 것으로 판정된 경우, 카페 모니터링 장치를 제3 동작 모드로 전환할 수 있다.
한편, 제2 부하 센서(109)는, 예를 들어 카페 모니터링 장치(10)의 프레임 레이트(fps)를 측정하기 위한 센서를 포함할 수 있다. 즉, 제1 부하 센서(108) 및 제2 부하 센서(109)는 이종 센서로 구성될 수 있다. 제2 부하 센서(109)에 대해서도 제1 부하 센서(108)에 대한 설명이 그대로 적용될 수 있다.
예를 들어, 몇몇 실시 예에서, 동작 제어 모듈(107)은, 제2 부하 센서(109)의 값이 제1 임계값을 초과하는 경우(예를 들어, 20 fps 미만으로 프레임 레이트가 떨어진 경우) 카페 모니터링 장치(10)를 미리 정해진 시간 동안 동작을 정지시키는 제1 동작 모드로 전환하고, 제2 부하 센서(109)의 값이 제2 임계값을 초과하는 경우(예를 들어, 10 fps 미만으로 프레임 레이트가 떨어진 경우) 카페 모니터링 장치(10)를 강제로 재부팅에 진입하는 제2 동작 모드로 전환하고, 제1 부하 센서(108)의 값이 제1 임계값 이하로 돌아온 경우(예를 들어, 20 fps 이상으로 프레임 레이트가 상승한 경우) 정상 동작 모드에 해당하는 제3 동작 모드로 전환할 수 있다.
도 9는 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 일 실시 예에 따른 카페 모니터링 방법은, 단계(S901)에서 제1 부하 센서(108) 또는 제2 부하 센서(109)의 값이 제1 임계값을 초과하는 경우 제1 동작 모드로 전환하고, 단계(S902)에서 제1 부하 센서(108) 또는 제2 부하 센서(109)의 값이 제2 임계값을 초과하는 경우 제2 동작 모드로 전환하고, 단계(S903)에서 제1 부하 센서(108) 또는 제2 부하 센서(109)의 값이 제1 임계값 이하인 경우 제1 동작 모드로 전환할 수 있다.
일 실시 예에 따른 카페 모니터링 방법에 대해 더 상세한 내용에 대해서는 도 8과 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
도 10은 일 실시 예에 따른 카페 모니터링 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 일 실시 예에 따른 카페 모니터링 방법은, 단계(S1001)에서 제1 부하 센서(108) 또는 제2 부하 센서(109)의 값이 제1 임계값을 초과하는 경우 제1 동작 모드로 전환하고, 단계(S1002)에서 제1 동작 모드 전환 후 소정의 시간동안 카운트 동작을 수행할 수 있다. 상기 방법은, 단계(S1003)에서 카운트 값이 제4 임계값을 초과하는지 여부를 판정할 수 있고, 초과하는 경우, 단계(S1004)로 진행하여 제2 동작 모드로 진입할 수 있다. 이와 다르게, 초과하지 않는 경우, 단계(S1005)로 진행하여 제3 동작 모드로 진입할 수 있다.
일 실시 예에 따른 카페 모니터링 방법에 대해 더 상세한 내용에 대해서는 도 8과 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
도 11은 일 실시 예에 따른 컴퓨팅 장치를 설명하기 위한 블록도이다.
도 11을 참조하면, 실시 예들에 따른 카페 모니터링 장치 및 카페 모니터링 방법, 그리고 카페 큐레이션 서버 및 사용자 단말들은 컴퓨팅 장치(50)를 이용하여 구현될 수 있다.
컴퓨팅 장치(50)는 버스(509)를 통해 통신하는 프로세서(501), 메모리(502), 저장 장치(503), 디스플레이 장치(504), 다른 개체와의 통신을 위해 네트워크(40)에 대한 접속을 제공하는 네트워크 인터페이스 장치(505) 및, 사용자 입력 인터페이스 또는 사용자 출력 인터페이스를 제공하는 입출력 인터페이스 장치(506) 중 적어도 하나를 포함할 수 있다. 물론, 컴퓨터 장치(50)는 도 11에 도시되지 않았지만, 본 명세서에 기재된 기술적 사상을 구현하기 위해 필요한 임의의 전자 장치를 추가로 포함할 수 있다.
프로세서(501)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit), NPU(Neural Processing Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(502) 또는 저장 장치(503)에 저장된 프로그램 또는 명령을 실행하는 임의의 전자 장치일 수 있다. 특히, 프로세서(501)는 도 1 내지 도 10과 관련하여 전술한 기능 또는 방법들을 구현하도록 구성될 수 있으며, 실시 예들에 따른 카페 모니터링 장치 및 카페 모니터링 방법과 관련하여 인공지능에 특화된 연산은 GPU 또는 NPU 상에서 처리될 수 있다.
메모리(502) 및 저장 장치(503)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(502)는 ROM(read-only memory) 또는 RAM(random access memory)을 포함할 수 있으며, 메모리(502)는 프로세서(501)의 내부 또는 외부에 위치할 수 있고, 이미 알려진 다양한 수단을 통해 프로세서(501)와 연결될 수 있다. 한편, 저장 장치(503)의 예로서 HDD(Hard Disk Drive) 또는 SSD(Solid State Drive) 등을 들 수 있으며, 본 발명의 범위는 설명을 위해 위에서 나열한 요소들로 제한되는 것은 아니다.
실시 예들에 따른 카페 모니터링 장치 및 카페 모니터링 방법 중 적어도 일부는 컴퓨팅 장치(50)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 이와 같은 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
한편, 실시 예들에 따른 카페 모니터링 장치 및 카페 모니터링 방법 중 적어도 일부는 컴퓨팅 장치(50)의 하드웨어를 사용하여 구현되거나, 컴퓨팅 장치(50)와 전기적으로 접속될 수 있는 별도의 하드웨어로 구현될 수도 있다.
이상에서 본 발명의 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되지 않으며, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.

Claims (20)

  1. 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 출력하는 카메라;
    상기 촬영 데이터를 입력받고 상기 카페에 대한 좌석 점유 현황 데이터 및 고객 외형 추론 데이터를 출력하는 제1 추론 모델; 및
    상기 촬영 데이터를 입력받고 상기 카페에 대한 고객 행동 추론 데이터 및 메뉴 매출 추정 데이터를 출력하는 제2 추론 모델을 포함하고,
    상기 좌석 점유 현황 데이터, 상기 고객 외형 추론 데이터, 상기 고객 행동 추론 데이터 및 상기 메뉴 매출 추정 데이터 중 적어도 하나는 카페 큐레이션을 위해 사용되는,
    카페 모니터링 장치.
  2. 제1항에 있어서,
    상기 제1 추론 모델은 객체 검출 모델을 포함하고,
    상기 좌석 점유 현황 데이터는 상기 카페에 방문하는 고객의 점유 좌석 위치, 좌석 점유율, 입장 시각 및 퇴장 시각 중 적어도 하나를 포함하고,
    상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 점유 좌석 위치, 상기 좌석 점유율, 상기 입장 시각 및 상기 퇴장 시각 중 적어도 하나를 추론하는, 카페 모니터링 장치.
  3. 제2항에 있어서,
    상기 제1 추론 모델은 사람 바운딩 박스와 좌석 바운딩 박스를 비교하여 상기 점유 좌석 위치를 추론하는, 카페 모니터링 장치.
  4. 제3항에 있어서,
    하나의 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우 얼굴 또는 뒤통수 검출 여부에 따라 상기 점유 좌석 위치를 결정하는 좌석 결정 모듈을 더 포함하는 카페 모니터링 장치.
  5. 제3항에 있어서,
    하나의 사람 바운딩 박스가 복수의 좌석 바운딩 박스에 대응되는 경우 겹치는 넓이를 비교함으로써 상기 점유 좌석 위치를 결정하는 좌석 결정 모듈을 더 포함하는 카페 모니터링 장치.
  6. 제2항에 있어서,
    상기 고객 외형 추론 데이터는 상기 카페에 방문하는 고객의 성별 및 연령대 중 적어도 하나를 포함하고,
    상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 성별 및 상기 연령대 중 적어도 하나를 추론하는, 카페 모니터링 장치.
  7. 제1항에 있어서,
    상기 제2 추론 모델은 객체 검출 모델 및 포즈 추정 모델을 포함하고,
    상기 고객 행동 추론 데이터는 상기 카페에 방문하는 고객의 방문 목적 및 행동 패턴 중 적어도 하나를 포함하고,
    상기 제2 추론 모델은,
    상기 객체 검출 모델을 이용하여 객체를 검출하고,
    상기 검출된 객체가 사람인 경우 상기 포즈 추정 모델을 이용하여 상기 방문 목적 및 상기 행동 패턴 중 적어도 하나를 추론하는, 카페 모니터링 장치.
  8. 제7항에 있어서,
    상기 제2 추론 모델은, 상기 검출된 객체가 물건이고 음료 또는 음식이 아닌 경우 상기 물건에 관한 정보와 상기 포즈 추정 모델을 이용하여 상기 방문 목적 및 상기 행동 패턴 중 적어도 하나를 추론하는, 카페 모니터링 장치.
  9. 제7항에 있어서,
    상기 메뉴 매출 추정 데이터는 상기 카페에 방문하는 고객의 주문 메뉴 및 매출 중 적어도 하나를 포함하고,
    상기 제2 추론 모델은, 상기 검출된 객체가 물건이고 음료 또는 음식인 경우 상기 객체 검출 모델을 이용하여 상기 주문 메뉴 및 매출 중 적어도 하나를 추론하는, 카페 모니터링 장치.
  10. 제1항에 있어서,
    추론 데이터 삭제 모듈을 더 포함하고,
    상기 제1 추론 모델은 상기 촬영 데이터 중 제1 추론이 종료된 제1 추론 종료 촬영 데이터에 관한 정보를 포함하는 제1 추론 종료 신호를 출력하고,
    상기 제2 추론 모델은 상기 촬영 데이터 중 제2 추론이 종료된 제2 추론 종료 촬영 데이터에 관한 정보를 포함하는 제2 추론 종료 신호를 출력하고,
    상기 추론 데이터 삭제 모듈은,
    상기 제1 추론 종료 신호에 따라 상기 제1 추론 종료 촬영 데이터를 삭제하고,
    상기 제2 추론 종료 신호에 따라 상기 제2 추론 종료 촬영 데이터를 삭제하는, 카페 모니터링 장치.
  11. 제10항에 있어서,
    상기 추론 데이터 삭제 모듈은,
    상기 제1 추론 종료 신호를 수신한 경우, 상기 제1 추론 종료 촬영 데이터가 상기 제2 추론 모델에 의해 사용 중인지 여부를 판정하고,
    상기 제1 추론 종료 촬영 데이터가 상기 제2 추론 모델에 의해 사용 중인 것으로 판정된 경우, 상기 제1 추론 종료 촬영 데이터를 유지하는, 카페 모니터링 장치.
  12. 제11항에 있어서,
    상기 추론 데이터 삭제 모듈은,
    상기 제1 추론 종료 촬영 데이터에 대한 상기 제2 추론 종료 신호를 수신한 경우, 상기 제2 추론 종료 촬영 데이터를 삭제하는, 카페 모니터링 장치.
  13. 제1항에 있어서,
    동작 제어 모듈 및 제1 부하 센서를 더 포함하고,
    상기 동작 제어 모듈은,
    상기 제1 부하 센서의 값이 제1 임계값을 초과하는 경우 상기 카페 모니터링 장치를 제1 동작 모드로 전환하고,
    상기 제1 부하 센서의 값이 제2 임계값을 초과하는 경우 상기 카페 모니터링 장치를 제2 동작 모드로 전환하고,
    상기 제1 부하 센서의 값이 상기 제1 임계값 이하인 경우 제3 동작 모드로 전환하는, 카페 모니터링 장치.
  14. 제1항에 있어서,
    동작 제어 모듈 및 제1 부하 센서를 더 포함하고,
    상기 동작 제어 모듈은,
    상기 제1 부하 센서의 값이 제1 임계값을 초과하는 경우 소정의 시간 동안 카운트 동작을 수행하고,
    카운트 값이 제4 임계값을 초과하는지 여부를 판정하고,
    상기 카운트 값이 상기 제4 임계값을 초과하는 것으로 판정된 경우, 상기 카페 모니터링 장치를 제2 동작 모드로 전환하는, 카페 모니터링 장치.
  15. 제14항에 있어서,
    상기 동작 제어 모듈은, 상기 카운트 값이 상기 제4 임계값 이하인 것으로 판정된 경우, 상기 카페 모니터링 장치를 제3 동작 모드로 전환하는, 카페 모니터링 장치.
  16. 카페의 내부를 촬영하고 촬영된 이미지 또는 비디오를 포함하는 촬영 데이터를 수신하는 단계;
    상기 촬영 데이터 및 제1 추론 모델을 이용하여 상기 카페에 대한 좌석 점유 현황 데이터 및 고객 외형 추론 데이터를 획득하는 단계; 및
    상기 촬영 데이터 및 제2 추론 모델을 입력받고 상기 카페에 대한 고객 행동 추론 데이터 및 메뉴 매출 추정 데이터를 획득하는 단계를 포함하고,
    상기 좌석 점유 현황 데이터, 상기 고객 외형 추론 데이터, 상기 고객 행동 추론 데이터 및 상기 메뉴 매출 추정 데이터 중 적어도 하나는 카페 큐레이션을 위해 사용되는,
    카페 모니터링 방법.
  17. 제16항에 있어서,
    상기 제1 추론 모델은 객체 검출 모델을 포함하고,
    상기 좌석 점유 현황 데이터는 상기 카페에 방문하는 고객의 점유 좌석 위치, 좌석 점유율, 입장 시각 및 퇴장 시각 중 적어도 하나를 포함하고,
    상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 점유 좌석 위치, 상기 좌석 점유율, 상기 입장 시각 및 상기 퇴장 시각 중 적어도 하나를 추론하는, 카페 모니터링 방법.
  18. 제17항에 있어서,
    상기 고객 외형 추론 데이터는 상기 카페에 방문하는 고객의 성별 및 연령대 중 적어도 하나를 포함하고,
    상기 제1 추론 모델은 상기 객체 검출 모델을 이용하여 상기 성별 및 상기 연령대 중 적어도 하나를 추론하는, 카페 모니터링 방법.
  19. 제16항에 있어서,
    상기 제2 추론 모델은 객체 검출 모델 및 포즈 추정 모델을 포함하고,
    상기 고객 행동 추론 데이터는 상기 카페에 방문하는 고객의 방문 목적 및 행동 패턴 중 적어도 하나를 포함하고,
    상기 제2 추론 모델은,
    상기 객체 검출 모델을 이용하여 객체를 검출하고,
    상기 검출된 객체가 사람인 경우 상기 포즈 추정 모델을 이용하여 상기 방문 목적 및 상기 행동 패턴 중 적어도 하나를 추론하는, 카페 모니터링 방법.
  20. 제19항에 있어서,
    상기 메뉴 매출 추정 데이터는 상기 카페에 방문하는 고객의 주문 메뉴 및 매출 중 적어도 하나를 포함하고,
    상기 제2 추론 모델은, 상기 검출된 객체가 물건이고 음료 또는 음식인 경우 상기 객체 검출 모델을 이용하여 상기 주문 메뉴 및 매출 중 적어도 하나를 추론하는, 카페 모니터링 방법.
PCT/KR2023/002831 2022-03-24 2023-03-02 카페 모니터링 장치 및 카페 모니터링 방법 WO2023182692A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0036960 2022-03-24
KR20220036960 2022-03-24
KR1020220114123A KR20230138858A (ko) 2022-03-24 2022-09-08 카페 모니터링 장치 및 카페 모니터링 방법
KR10-2022-0114123 2022-09-08

Publications (1)

Publication Number Publication Date
WO2023182692A1 true WO2023182692A1 (ko) 2023-09-28

Family

ID=88101359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002831 WO2023182692A1 (ko) 2022-03-24 2023-03-02 카페 모니터링 장치 및 카페 모니터링 방법

Country Status (1)

Country Link
WO (1) WO2023182692A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180134553A (ko) * 2017-06-09 2018-12-19 주식회사 위즈온텍 혼잡도 제공 시스템 및 방법
JP6589062B2 (ja) * 2016-07-27 2019-10-09 株式会社オプティム 空席管理システム、空席管理方法及びプログラム
JP2021026336A (ja) * 2019-07-31 2021-02-22 アースアイズ株式会社 情報処理装置、及び、マーケティング活動支援装置
KR102260123B1 (ko) * 2019-10-01 2021-06-03 주식회사 넥스트케이 지역내 이벤트감지장치 및 그 장치의 구동방법
KR102308658B1 (ko) * 2020-09-16 2021-10-05 (주) 캔랩 운전자의 움직임을 모니터링 하기 위한 적외선 led를 작동시키는 방법 및 상기 적외선 led를 포함하는 운전자 감시 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6589062B2 (ja) * 2016-07-27 2019-10-09 株式会社オプティム 空席管理システム、空席管理方法及びプログラム
KR20180134553A (ko) * 2017-06-09 2018-12-19 주식회사 위즈온텍 혼잡도 제공 시스템 및 방법
JP2021026336A (ja) * 2019-07-31 2021-02-22 アースアイズ株式会社 情報処理装置、及び、マーケティング活動支援装置
KR102260123B1 (ko) * 2019-10-01 2021-06-03 주식회사 넥스트케이 지역내 이벤트감지장치 및 그 장치의 구동방법
KR102308658B1 (ko) * 2020-09-16 2021-10-05 (주) 캔랩 운전자의 움직임을 모니터링 하기 위한 적외선 led를 작동시키는 방법 및 상기 적외선 led를 포함하는 운전자 감시 시스템

Similar Documents

Publication Publication Date Title
JP5438436B2 (ja) 画像検索装置
JP5058279B2 (ja) 画像検索装置
JP5730518B2 (ja) 特定人物検知システムおよび特定人物検知方法
US20190324925A1 (en) Peripheral device, communication system, central control device, communication method, and recording medium recording communication program
JP7097721B2 (ja) 情報処理装置、方法及びプログラム
WO2018198373A1 (ja) 映像監視システム
EP3635605A1 (en) Electronic device and method for controlling the electronic device
JP2021047873A (ja) 応対ロボット、応対方法及びプログラム
US20220165090A1 (en) Information processing apparatus, information processing method, and program
JP3835771B2 (ja) コミュニケーション装置及びコミュニケーション方法
EP3487151A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
WO2013069565A1 (ja) 撮影記録装置
WO2017047913A1 (en) Display device, controlling method thereof and computer-readable recording medium
WO2023182692A1 (ko) 카페 모니터링 장치 및 카페 모니터링 방법
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US10817709B2 (en) Similar image search system
JP6495691B2 (ja) 動体検出装置、動体検出方法及びコンピュータプログラム
JP2007128332A (ja) 画像管理装置、および画像管理プログラム
KR20230138858A (ko) 카페 모니터링 장치 및 카페 모니터링 방법
JP6632632B2 (ja) 監視システム
WO2023182693A1 (ko) 카페 큐레이션 장치 및 카페 큐레이션 방법
JP7211484B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7151790B2 (ja) 情報処理装置
JPWO2020075283A1 (ja) 異常者予知システム、異常者予知方法、およびプログラム
US20230260323A1 (en) System and method for recognizing an entity

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23775190

Country of ref document: EP

Kind code of ref document: A1