WO2023008595A1 - 제품 재고를 관리하기 위한 냉장고 및 그 방법 - Google Patents

제품 재고를 관리하기 위한 냉장고 및 그 방법 Download PDF

Info

Publication number
WO2023008595A1
WO2023008595A1 PCT/KR2021/009715 KR2021009715W WO2023008595A1 WO 2023008595 A1 WO2023008595 A1 WO 2023008595A1 KR 2021009715 W KR2021009715 W KR 2021009715W WO 2023008595 A1 WO2023008595 A1 WO 2023008595A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
product
refrigerator
warehousing
processor
Prior art date
Application number
PCT/KR2021/009715
Other languages
English (en)
French (fr)
Inventor
김재홍
이가민
정한길
김효은
최희연
전혜정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2021/009715 priority Critical patent/WO2023008595A1/ko
Priority to KR1020237039978A priority patent/KR20230175257A/ko
Priority to US18/578,046 priority patent/US20240328709A1/en
Publication of WO2023008595A1 publication Critical patent/WO2023008595A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Definitions

  • the present disclosure relates to a refrigerator for managing product inventory, and more particularly, to a refrigerator for determining product inventory based on an image recognition result.
  • refrigerators are used to prevent and delay spoilage of products through storage and management of products.
  • refrigerators have become common in households and the items and quantities of products stored in refrigerators have diversified, it has also become necessary to check the inventory of products stored in refrigerators.
  • An object of the present disclosure is to extract refined image data from among data for grasping storage and delivery information of products stored in a refrigerator.
  • An object of the present disclosure is to update product warehousing and warehousing data based on the refined image data.
  • An object of the present disclosure is to create a refrigerator product database using updated warehousing and warehousing data.
  • An object of the present disclosure is to provide a user-customized consumption service using a generated database.
  • a method for managing product input/output data of a refrigerator comprising: acquiring refrigerator interior image data using a camera provided in the refrigerator; extracting highly reliable data from among the internal image data of the refrigerator; Updating product warehousing and warehousing data based on the highly reliable data; and generating a user database based on the updated product input/output data.
  • Obtaining image data of the inside of the refrigerator using a camera provided in the refrigerator may include acquiring image data of the inside of the refrigerator using the camera when a photographing command is received from an external device or a door of the refrigerator is opened or closed.
  • the method may include at least one of removing low quality data, removing low confidence data, and removing product cover data from among the image data of the inside of the refrigerator.
  • the low-quality data may include image data obtained when a value of at least one of a speed sensor of the refrigerator, an illuminance sensor of the refrigerator, and a degree of blur of image data inside the refrigerator exceeds a preset standard. .
  • the removing of the low confidence data may include determining the low confidence data as the low confidence data when the similarity of the recognized product is lower than a preset value compared to the existing data.
  • the step of removing the product occlusion data may include detecting a new product
  • intersection area information between the new product and the existing product; When the intersection area information is greater than a preset value and the size of the new product is greater than the size of the existing product, maintaining the stock state of the existing product and determining that the new product is in stock.
  • the removing of the product occlusion data may include detecting a new product area; extracting intersection area information of the new product area and the existing product area; If the intersection area information is greater than the preset value, and the size of the new product area is smaller than the size of the existing product area, the intersection of the existing product area other than the intersection area and the existing product area before new product warehousing
  • the method may include determining whether the existing product is stored or released by using a similarity of a region corresponding to a region other than the region.
  • the step of removing the product occlusion data may include detecting a new product; extracting an intersection area between a new product and an existing product; Excluding from the product covering data when the intersection area information is less than or equal to a preset value may be included.
  • the method may further include generating final product warehousing and warehousing data by removing temporary warehousing and warehousing data from among the updated product warehousing and warehousing data.
  • the step of generating the final product warehousing and warehousing data by removing temporary warehousing and warehousing data from among the updated product warehousing and warehousing data includes a product list included in an image captured at least one specific point in time by using reliable data and photographing time information. Generating each; Grouping the product list at the specific point in time at regular intervals; It may include generating warehousing and warehousing data using the grouped product list and correcting the generated warehousing and warehousing data.
  • the product list and stock amount information before the current point in time and the product list and stock amount information after the current point in time are the same, the product list and stock amount information at the current point in time are converted to the current point in time before the current point in time.
  • a step of maintaining the same as a point in time after the current point in time may be included.
  • the step of correcting the generated warehousing and warehousing data may further include determining whether the product is included in the temporary warehousing and warehousing product list.
  • the method may include generating an inventory list change amount of a product, an average product change amount, and product consumption information using the user database, and providing user-customized shopping using the generated information.
  • a refrigerator is a processor for extracting highly reliable data from among the internal image data of the refrigerator, updating product stocking and warehousing data based on the highly reliable data, and generating a refrigerator warehousing and warehousing database based on the updated product stocking and warehousing data.
  • the processor may communicate with an external device through the communication unit, and obtain image data of the inside of the refrigerator using the camera when a photographing command is received from the external device or a refrigerator door is opened or closed.
  • the processor may extract the highly reliable data by performing at least one of removing low quality data, removing low confidence data, and removing product covering data from among the image data of the inside of the refrigerator.
  • the processor may generate final product warehousing and warehousing data by removing temporary warehousing and warehousing data from among the updated product warehousing and warehousing data.
  • a product storage and delivery management system including a server communicating with a refrigerator, wherein the refrigerator includes a communication unit, a memory for storing storage and delivery data, a camera and a processor for obtaining image data inside the refrigerator, and the server includes the a communication unit communicating with the refrigerator; and a processor that acquires the internal image data of the refrigerator and creates a user database through the communication unit, wherein the processor of the server extracts highly reliable data from among the internal image data of the refrigerator, and stores and releases products based on the highly reliable data. It may include a system for updating data and generating a refrigerator storage/exit database based on the updated product storage/exit data.
  • the processor of the server performs at least one of removing low-quality data, removing low-confidence data, and removing product occlusion data from among the image data inside the refrigerator to extract the high-reliability data, and the high-confidence Based on the data, product warehousing and warehousing data may be updated, and final product warehousing and warehousing data may be generated by removing temporary warehousing and warehousing data from among the updated product warehousing and warehousing data.
  • a user-customized consumption service may be provided using the database created by creating a database of refrigerator products using updated storage and delivery data.
  • convenience may be provided to a user by providing a user-customized consumption service.
  • FIG 1 shows an artificial intelligence device 100 according to an embodiment of the present disclosure.
  • FIG 2 shows an artificial intelligence server 200 according to an embodiment of the present disclosure.
  • FIG 3 shows an artificial intelligence system 1 according to an embodiment of the present disclosure.
  • FIG. 4 shows a refrigerator according to an embodiment of the present disclosure.
  • FIG. 5 shows a configuration diagram of a refrigerator according to an embodiment of the present disclosure.
  • FIG. 6 shows a flowchart according to an embodiment of the present disclosure.
  • FIG. 7 shows a flowchart according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for describing processing of masking data according to an exemplary embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing processing of masking data according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a method for removing temporary storage/receiving data according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram for explaining a database creation process according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram for explaining a database creation process according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a database according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating an example of a database according to an embodiment of the present disclosure.
  • 15 is a diagram illustrating an example of a database according to an embodiment of the present disclosure.
  • Machine learning refers to the field of defining various problems dealt with in the field of artificial intelligence and studying methodologies to solve them. do. Machine learning is also defined as an algorithm that improves the performance of a certain task through constant experience.
  • An artificial neural network is a model used in machine learning, and may refer to an overall model that has problem-solving capabilities and is composed of artificial neurons (nodes) that form a network by synaptic coupling.
  • An artificial neural network can be defined by a connection pattern between neurons in different layers, a learning process for updating model parameters, and an activation function for generating output values.
  • An artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer may include one or more neurons, and the artificial neural network may include neurons and synapses connecting the neurons. In an artificial neural network, each neuron may output a function value of an activation function for input signals, weights, and biases input through a synapse.
  • Model parameters refer to parameters determined through learning, and include weights of synaptic connections and biases of neurons.
  • hyperparameters mean parameters that must be set before learning in a machine learning algorithm, and include a learning rate, number of iterations, mini-batch size, initialization function, and the like.
  • the purpose of learning an artificial neural network can be seen as determining model parameters that minimize the loss function.
  • the loss function may be used as an index for determining optimal model parameters in the learning process of an artificial neural network.
  • Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning according to learning methods.
  • Supervised learning refers to a method of training an artificial neural network given a label for training data, and a label is the correct answer (or result value) that the artificial neural network must infer when learning data is input to the artificial neural network.
  • Unsupervised learning may refer to a method of training an artificial neural network in a state in which a label for training data is not given.
  • Reinforcement learning may refer to a learning method in which an agent defined in an environment learns to select an action or action sequence that maximizes a cumulative reward in each state.
  • machine learning implemented as a deep neural network (DNN) including a plurality of hidden layers is also called deep learning, and deep learning is a part of machine learning.
  • DNN deep neural network
  • machine learning is used to include deep learning.
  • a robot may refer to a machine that automatically processes or operates a given task based on its own abilities.
  • a robot having a function of recognizing an environment and performing an operation based on self-determination may be referred to as an intelligent robot.
  • Robots can be classified into industrial, medical, household, military, etc. according to the purpose or field of use.
  • the robot may perform various physical operations such as moving a robot joint by having a driving unit including an actuator or a motor.
  • the movable robot includes wheels, brakes, propellers, and the like in the driving unit, and can run on the ground or fly in the air through the driving unit.
  • Autonomous driving refers to a technology that drives by itself, and an autonomous vehicle refers to a vehicle that travels without a user's manipulation or with a user's minimal manipulation.
  • autonomous driving includes technology that maintains the driving lane, technology that automatically adjusts speed, such as adaptive cruise control, technology that automatically drives along a set route, technology that automatically sets a route when a destination is set, and so on. All of these can be included.
  • a vehicle includes a vehicle having only an internal combustion engine, a hybrid vehicle having both an internal combustion engine and an electric motor, and an electric vehicle having only an electric motor, and may include not only automobiles but also trains and motorcycles.
  • the self-driving vehicle may be regarded as a robot having an autonomous driving function.
  • Extended reality is a generic term for virtual reality (VR), augmented reality (AR), and mixed reality (MR).
  • VR technology provides only CG images of objects or backgrounds in the real world
  • AR technology provides CG images created virtually on top of images of real objects
  • MR technology provides a computer that mixes and combines virtual objects in the real world. It is a graphic technique.
  • MR technology is similar to AR technology in that it shows real and virtual objects together. However, there is a difference in that virtual objects are used to supplement real objects in AR technology, whereas virtual objects and real objects are used with equal characteristics in MR technology.
  • HMD Head-Mount Display
  • HUD Head-Up Display
  • mobile phones tablet PCs, laptops, desktops, TVs, digital signage, etc.
  • FIG 1 shows an artificial intelligence device 100 according to an embodiment of the present disclosure.
  • the AI device 100 is a TV, projector, mobile phone, smart phone, desktop computer, notebook, digital broadcasting terminal, PDA (personal digital assistants), PMP (portable multimedia player), navigation, tablet PC, wearable device, set-top box (STB) ), a DMB receiver, a radio, a washing machine, a refrigerator, a desktop computer, a digital signage, a robot, a vehicle, and the like, and the like.
  • a terminal 100 includes a communication unit 110, an input unit 120, a running processor 130, a sensing unit 140, an output unit 150, a memory 170, a processor 180, and the like. can include
  • the communication unit 110 may transmit/receive data with external devices such as other AI devices 100a to 100e or the AI server 200 using wired/wireless communication technology.
  • the communication unit 110 may transmit/receive sensor information, a user input, a learning model, a control signal, and the like with external devices.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Bluetooth Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 120 may acquire various types of data.
  • the input unit 120 may include a camera for inputting a video signal, a microphone for receiving an audio signal, and a user input unit for receiving information from a user.
  • a camera or microphone may be treated as a sensor, and signals obtained from the camera or microphone may be referred to as sensing data or sensor information.
  • the input unit 120 may obtain learning data for model learning and input data to be used when obtaining an output using the learning model.
  • the input unit 120 may obtain raw input data, and in this case, the processor 180 or the learning processor 130 may extract input features as preprocessing of the input data.
  • the learning processor 130 may learn a model composed of an artificial neural network using training data.
  • the learned artificial neural network may be referred to as a learning model.
  • the learning model may be used to infer a result value for new input data other than learning data, and the inferred value may be used as a basis for a decision to perform a certain operation.
  • the learning processor 130 may perform AI processing together with the learning processor 240 of the AI server 200.
  • the learning processor 130 may include a memory integrated or implemented in the AI device 100.
  • the learning processor 130 may be implemented using a memory 170, an external memory directly coupled to the AI device 100, or a memory maintained in an external device.
  • the sensing unit 140 may obtain at least one of internal information of the AI device 100, surrounding environment information of the AI device 100, and user information using various sensors.
  • the sensors included in the sensing unit 140 include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and a LiDAR sensor. , radar, etc.
  • the output unit 150 may generate an output related to sight, hearing, or touch.
  • the output unit 150 may include a display unit that outputs visual information, a speaker that outputs auditory information, and a haptic module that outputs tactile information.
  • the memory 170 may store data supporting various functions of the AI device 100 .
  • the memory 170 may store input data obtained from the input unit 120, learning data, a learning model, a learning history, and the like.
  • the processor 180 may determine at least one executable operation of the AI device 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. And, the processor 180 may perform the determined operation by controlling the components of the AI device 100.
  • the processor 180 may request, retrieve, receive, or utilize data from the learning processor 130 or the memory 170, and select a predicted operation or an operation determined to be desirable among the at least one executable operation. Components of the AI device 100 may be controlled to execute.
  • the processor 180 may generate a control signal for controlling the external device and transmit the generated control signal to the external device when it is necessary to link the external device to perform the determined operation.
  • the processor 180 may obtain intention information for a user input and determine a user's requirement based on the acquired intention information.
  • the processor 180 uses at least one of a STT (Speech To Text) engine for converting a voice input into a character string and a Natural Language Processing (NLP) engine for obtaining intention information of a natural language, and Intent information corresponding to the input may be obtained.
  • STT Seech To Text
  • NLP Natural Language Processing
  • At this time, at least one or more of the STT engine or NLP engine may be composed of an artificial neural network at least partially trained according to a machine learning algorithm.
  • at least one or more of the STT engine or the NLP engine is learned by the learning processor 130, learned by the learning processor 240 of the AI server 200, or learned by distributed processing thereof it could be
  • the processor 180 collects history information including user feedback on the operation contents or operation of the AI device 100 and stores it in the memory 170 or the learning processor 130, or the AI server 200, etc. Can be transmitted to an external device.
  • the collected history information can be used to update the learning model.
  • the processor 180 may control at least some of the components of the AI device 100 in order to drive an application program stored in the memory 170 . Furthermore, the processor 180 may combine and operate two or more of the components included in the AI device 100 to drive the application program.
  • FIG 2 shows an artificial intelligence server 200 according to an embodiment of the present disclosure.
  • the AI server 200 may refer to a device that learns an artificial neural network using a machine learning algorithm or uses the learned artificial neural network.
  • the AI server 200 may be composed of a plurality of servers to perform distributed processing, or may be defined as a 5G network.
  • the AI server 200 may be included as a part of the AI device 100 and perform at least part of the AI processing together.
  • the AI server 200 may include a communication unit 210, a memory 230, a learning processor 240 and a processor 260, and the like.
  • the communication unit 210 may transmit/receive data with an external device such as the AI device 100.
  • the memory 230 may include a model storage unit 231 .
  • the model storage unit 231 may store a model being learned or learned through the learning processor 240 (or artificial neural network, 231a).
  • the learning processor 240 may learn the artificial neural network 231a using the learning data.
  • the learning model may be used while loaded in the AI server 200 of the artificial neural network, or may be loaded and used in an external device such as the AI device 100.
  • a learning model can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented as software, one or more instructions constituting the learning model may be stored in the memory 230 .
  • the processor 260 may infer a result value for new input data using the learning model, and generate a response or control command based on the inferred result value.
  • FIG 3 shows an artificial intelligence system 1 according to an embodiment of the present disclosure.
  • the AI system 1 includes at least one of an AI server 200, a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e. It is connected with this cloud network 10 .
  • a robot 100a to which AI technology is applied, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e may be referred to as AI devices 100a to 100e.
  • the cloud network 10 may constitute a part of a cloud computing infrastructure or may refer to a network existing in a cloud computing infrastructure.
  • the cloud network 10 may be configured using a 3G network, a 4G or Long Term Evolution (LTE) network, or a 5G network.
  • LTE Long Term Evolution
  • each of the devices 100a to 100e and 200 constituting the AI system 1 may be connected to each other through the cloud network 10 .
  • the devices 100a to 100e and 200 may communicate with each other through a base station, but may also directly communicate with each other without going through a base station.
  • the AI server 200 may include a server that performs AI processing and a server that performs calculations on big data.
  • the AI server 200 is an AI device constituting the AI system 1, such as a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e. It is connected through the cloud network 10 and may assist at least part of the AI processing of the connected AI devices 100a to 100e.
  • the AI server 200 may train the artificial neural network according to a machine learning algorithm on behalf of the AI devices 100a to 100e, and directly store or transmit the learning model to the AI devices 100a to 100e.
  • the AI server 200 receives input data from the AI devices 100a to 100e, infers result values for the received input data using a learning model, and issues a response or control command based on the inferred result values. It can be generated and transmitted to the AI devices 100a to 100e.
  • the AI devices 100a to 100e may use a direct learning model to infer a resultant value from input data and generate a response or control command based on the inferred resultant value.
  • the AI devices 100a to 100e to which the above-described technology is applied will be described.
  • the AI devices 100a to 100e shown in FIG. 3 may be regarded as specific examples of the AI device 100 shown in FIG. 1 .
  • the robot 100a may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, etc. by applying AI technology.
  • the robot 100a may include a robot control module for controlling an operation, and the robot control module may mean a software module or a chip implemented as hardware.
  • the robot 100a acquires state information of the robot 100a using sensor information acquired from various types of sensors, detects (recognizes) surrounding environments and objects, creates map data, moves and travels It can determine a plan, determine a response to a user interaction, or determine an action.
  • the robot 100a may use sensor information obtained from at least one sensor among lidar, radar, and camera to determine a moving path and a driving plan.
  • the robot 100a may perform the above operations using a learning model composed of at least one artificial neural network.
  • the robot 100a may recognize a surrounding environment and an object using a learning model, and may determine an operation using the recognized surrounding environment information or object information.
  • the learning model may be directly learned in the robot 100a or learned in an external device such as the AI server 200.
  • the robot 100a may perform an operation by generating a result using a direct learning model, but transmits sensor information to an external device such as the AI server 200 and receives the result generated accordingly to perform the operation. You may.
  • the robot 100a determines a movement route and driving plan using at least one of map data, object information detected from sensor information, or object information obtained from an external device, and controls a driving unit to determine the movement route and driving plan.
  • the robot 100a can be driven accordingly.
  • the map data may include object identification information about various objects disposed in the space in which the robot 100a moves.
  • the map data may include object identification information on fixed objects such as walls and doors and movable objects such as flower pots and desks.
  • the object identification information may include a name, type, distance, location, and the like.
  • the robot 100a may perform an operation or drive by controlling a drive unit based on a user's control/interaction.
  • the robot 100a may obtain intention information of an interaction according to a user's motion or voice utterance, determine a response based on the obtained intention information, and perform an operation.
  • the self-driving vehicle 100b may be implemented as a mobile robot, vehicle, unmanned air vehicle, etc. by applying AI technology.
  • the autonomous vehicle 100b may include an autonomous driving control module for controlling an autonomous driving function, and the autonomous driving control module may mean a software module or a chip implemented with hardware.
  • the self-driving control module may be included inside as a component of the self-driving vehicle 100b, but may be configured as separate hardware and connected to the outside of the self-driving vehicle 100b.
  • the self-driving vehicle 100b obtains state information of the self-driving vehicle 100b using sensor information obtained from various types of sensors, detects (recognizes) surrounding environments and objects, generates map data, A movement route and travel plan may be determined, or an action may be determined.
  • the self-driving vehicle 100b may use sensor information obtained from at least one sensor among lidar, radar, and camera, like the robot 100a, in order to determine a moving route and a driving plan.
  • the self-driving vehicle 100b may receive sensor information from external devices to recognize an environment or object in an area where the field of view is obscured or an area over a certain distance, or receive directly recognized information from external devices. .
  • the self-driving vehicle 100b may perform the above operations using a learning model composed of at least one artificial neural network.
  • the self-driving vehicle 100b may recognize surrounding environments and objects using a learning model, and may determine a driving route using the recognized surrounding environment information or object information.
  • the learning model may be directly learned in the self-driving vehicle 100b or learned in an external device such as the AI server 200.
  • the self-driving vehicle 100b may perform an operation by generating a result using a direct learning model, but operates by transmitting sensor information to an external device such as the AI server 200 and receiving a result generated accordingly. can also be performed.
  • the self-driving vehicle 100b determines a movement route and driving plan using at least one of map data, object information detected from sensor information, or object information obtained from an external device, and controls the driving unit to determine the movement route and driving.
  • the autonomous vehicle 100b may be driven according to a plan.
  • the map data may include object identification information about various objects disposed in a space (eg, a road) in which the autonomous vehicle 100b travels.
  • the map data may include object identification information on fixed objects such as streetlights, rocks, and buildings and movable objects such as vehicles and pedestrians.
  • the object identification information may include a name, type, distance, location, and the like.
  • the autonomous vehicle 100b may perform an operation or drive by controlling a driving unit based on a user's control/interaction.
  • the self-driving vehicle 100b may obtain intention information of an interaction according to a user's motion or voice utterance, determine a response based on the acquired intention information, and perform an operation.
  • the XR device (100c) is applied with AI technology, HMD (Head-Mount Display), HUD (Head-Up Display) equipped in the vehicle, television, mobile phone, smart phone, computer, wearable device, home appliances, digital signage , It can be implemented as a vehicle, a fixed robot or a mobile robot.
  • HMD Head-Mount Display
  • HUD Head-Up Display
  • the XR device 100c analyzes 3D point cloud data or image data obtained through various sensors or from an external device to generate location data and attribute data for 3D points, thereby generating information about surrounding space or real objects.
  • the XR object to be acquired and output can be rendered and output.
  • the XR device 100c may output an XR object including additional information about the recognized product in correspondence with the recognized product.
  • the XR device 100c may perform the above operations using a learning model composed of one or more artificial neural networks.
  • the XR apparatus 100c may recognize a real object in 3D point cloud data or image data by using the learning model, and may provide information corresponding to the recognized real object.
  • the learning model may be directly learned in the XR device 100c or learned in an external device such as the AI server 200.
  • the XR device 100c may perform an operation by generating a result using a direct learning model, but transmits sensor information to an external device such as the AI server 200 and receives the result generated accordingly to perform the operation. can also be done
  • the robot 100a may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, etc. by applying AI technology and autonomous driving technology.
  • the robot 100a to which AI technology and autonomous driving technology are applied may refer to a robot itself having an autonomous driving function or a robot 100a interacting with an autonomous vehicle 100b.
  • the robot 100a having an autonomous driving function may collectively refer to devices that move on their own according to a given movement line without user control or determine and move a movement line by themselves.
  • the robot 100a and the autonomous vehicle 100b having an autonomous driving function may use a common sensing method to determine one or more of a moving route or driving plan.
  • the robot 100a and the autonomous vehicle 100b having an autonomous driving function may determine one or more of a moving route or driving plan using information sensed through lidar, radar, and a camera.
  • the robot 100a interacting with the self-driving vehicle 100b exists separately from the self-driving vehicle 100b, is linked to the self-driving function inside the self-driving vehicle 100b, or is connected to the self-driving vehicle 100b.
  • An operation associated with the boarding user may be performed.
  • the robot 100a interacting with the self-driving vehicle 100b obtains sensor information on behalf of the self-driving vehicle 100b and provides it to the self-driving vehicle 100b, or obtains sensor information and obtains surrounding environment information or By generating object information and providing it to the self-driving vehicle 100b, the self-driving function of the self-driving vehicle 100b may be controlled or assisted.
  • the robot 100a interacting with the autonomous vehicle 100b may monitor a user riding in the autonomous vehicle 100b or control functions of the autonomous vehicle 100b through interaction with the user. .
  • the robot 100a may activate an autonomous driving function of the autonomous vehicle 100b or assist in controlling a driving unit of the autonomous vehicle 100b.
  • the functions of the self-driving vehicle 100b controlled by the robot 100a may include functions provided by a navigation system or an audio system installed inside the self-driving vehicle 100b as well as a simple self-driving function.
  • the robot 100a interacting with the autonomous vehicle 100b may provide information or assist functions to the autonomous vehicle 100b outside the autonomous vehicle 100b.
  • the robot 100a may provide traffic information including signal information to the autonomous vehicle 100b, such as a smart traffic light, or interact with the autonomous vehicle 100b, such as an automatic electric charger of an electric vehicle. You can also automatically connect the electric charger to the charging port.
  • the robot 100a may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, a drone, etc. by applying AI technology and XR technology.
  • the robot 100a to which the XR technology is applied may refer to a robot that is a target of control/interaction within the XR image.
  • the robot 100a is distinguished from the XR device 100c and may be interlocked with each other.
  • the robot 100a which is a target of control/interaction within the XR image, obtains sensor information from sensors including cameras, the robot 100a or the XR device 100c generates an XR image based on the sensor information. And, the XR device 100c may output the generated XR image. In addition, the robot 100a may operate based on a control signal input through the XR device 100c or a user's interaction.
  • the user may check an XR image corresponding to the point of view of the robot 100a remotely linked through an external device such as the XR device 100c, and adjust the autonomous driving path of the robot 100a through interaction. , operation or driving can be controlled, or information of surrounding objects can be checked.
  • the self-driving vehicle 100b may be implemented as a mobile robot, vehicle, unmanned aerial vehicle, etc. by applying AI technology and XR technology.
  • the self-driving vehicle 100b to which XR technology is applied may refer to a self-driving vehicle equipped with a means for providing an XR image or an autonomous vehicle subject to control/interaction within the XR image.
  • the self-driving vehicle 100b which is a target of control/interaction within the XR image, is distinguished from the XR device 100c and may be interlocked with each other.
  • the self-driving vehicle 100b equipped with a means for providing an XR image may obtain sensor information from sensors including cameras, and output an XR image generated based on the obtained sensor information.
  • the self-driving vehicle 100b may provide an XR object corresponding to a real object or an object in a screen to a passenger by outputting an XR image with a HUD.
  • the XR object when the XR object is output to the HUD, at least a part of the XR object may be output to overlap the real object toward which the passenger's gaze is directed.
  • an XR object when an XR object is output to a display provided inside the self-driving vehicle 100b, at least a part of the XR object may be output to overlap the object in the screen.
  • the autonomous vehicle 100b may output XR objects corresponding to objects such as lanes, other vehicles, traffic lights, traffic signs, two-wheeled vehicles, pedestrians, and buildings.
  • the self-driving vehicle 100b which is a target of control/interaction within the XR image, acquires sensor information from sensors including cameras
  • the self-driving vehicle 100b or the XR device 100c obtains sensor information based on the sensor information.
  • An XR image is generated, and the XR apparatus 100c may output the generated XR image.
  • the self-driving vehicle 100b may operate based on a control signal input through an external device such as the XR device 100c or a user's interaction.
  • FIG. 4 shows a refrigerator according to an embodiment of the present disclosure.
  • the artificial intelligence device 100 may be a refrigerator and includes an edge device.
  • the refrigerator is mainly described as a device for refrigerating or freezing stored products, which is a refrigerator for storing ordinary food, a kimchi refrigerator, a beverage refrigerator, a refrigerator for home use, a commercial refrigerator, and a refrigerating device composed of only a freezer. It includes all devices mainly for refrigerating and freezing functions.
  • FIG. 4 is a view showing a refrigerator identifying stored products to which an embodiment of the present invention is applied.
  • 10 is an exterior of the refrigerator 100 in a closed state
  • 20 is an exterior of the refrigerator 100 in an open state.
  • a space where one of the plurality of doors 21, 31, 41, and 51 constituting the refrigerator 100 manages the opening and closing of the door 21 may be divided into a plurality of separated storage spaces 23 and 24, ,
  • the temperature of each of the storage spaces 23 and 24 can be independently controlled. Of course, the temperature may be equally controlled for spaces opened and closed by one door.
  • the refrigerator 100 may further include a display unit 150 that displays information or shows the inside of the refrigerator 100 .
  • the display unit 150 may be disposed on the front side of a specific door 31 or on the side of the refrigerator 100 .
  • the display unit 150 may include a transparent display panel through which the inside of the refrigerator can be checked.
  • the display unit 150 may include a display panel displaying an image inside the refrigerator.
  • FIG. 5 shows a configuration diagram of a refrigerator according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram showing components for providing information on products inside a refrigerator according to an embodiment of the present invention.
  • the display unit 150 provides a function of displaying images of products in the storage space or displaying descriptions of each product.
  • the input unit 120 of FIG. 1 may include a camera 121 .
  • the camera 121 photographs products stored in the storage space.
  • the storage space is photographed to identify the type and size of products to be stored or received.
  • the processor 180 may check whether the stocked product is a previously stocked product in the database unit 171 .
  • the memory 170 of FIG. 1 may include a database unit 171 .
  • the database unit 171 accumulates and stores images taken by the camera 121 for the products that have been received. In this process, images captured by the camera 121 at various angles may be accumulated and stored in the database unit 171 . In addition, the database unit 171, when there are a plurality of cameras 121, information on which location the camera has taken a picture of, and which storage space or shelf subdivided the storage space the product is placed on, information can be stored together.
  • the database unit 171 stores the captured image captured by the camera 121, and also stores the image of the product separated by the product from the processor 180 captured image. In addition, the database unit 171 stores meta information corresponding to each captured image or product image.
  • the meta-information may include any one or more of product name, product category, time the product is stocked, expiration date of the product, alarm time applied to the product, and location information where the product is placed in the storage space.
  • the name may be used as a name when a user labels it.
  • Receipt time refers to the time the product was received.
  • the storage time may be any one or more of a time when the product is first stored in the refrigerator or a most recent stocked time. If a product is frequently taken out and stored in the refrigerator and the corresponding product is identified as the same product by the processor 180, the time taken out and stored may be accumulated and stored.
  • the expiration date of the corresponding product or the alarm time applied to the product may also be meta information. This can be directly entered or selected by the user.
  • the processor 180 may also store location information where the corresponding product is placed. In this process, accumulated location information of the product may be stored in the database unit 171 and output.
  • the sensing unit 140 of FIG. 1 includes a weight sensing unit 141 for sensing the weight of a product in a storage space, a temperature sensing unit 143 for sensing the temperature of a storage space, and a door detection unit for sensing open/closed doors. (142) may be further included.
  • the information sensed by the weight sensing unit 141 in each shelf or each storage space is also stored in the database unit 171, and when position movement occurs, such as moving from the first shelf to the second shelf in the refrigerator, the weight of each shelf Changes can increase the accuracy of product identification.
  • a depth camera 122 and a temperature sensing unit 143 may be further included to increase accuracy in separating images for each product.
  • the temperature sensor 143 senses temperature information of a product in the storage space, and the depth camera 122 generates depth information of the product.
  • One product may have the same or similar temperature. Also, one product may have the same depth information or constantly increase or decrease depth information. Accordingly, when the processor 180 extracts an image of a specific product from the captured image, accuracy may be increased by using the temperature or depth information of the corresponding product.
  • the processor 180 controls the above-mentioned components and uses the information provided by each component to display or output product information or to communicate with an external device to output information through communication, such as the communication unit 110. You can control it.
  • the processor 180 generates meta information for each product based on an image captured by the camera 121 or information stored in the database unit 171 .
  • the meta-information may include the name of the corresponding product, the arrival time, the estimated weight, and the like.
  • the processor 180 may generate expiration dates for each product received by the communication unit 110 .
  • the communication unit 110 may perform a function of receiving information necessary for generating product meta information from an external server or transmitting product information when an external smartphone or the like requests confirmation of in-house information. For example, an image and meta information of a product may be transmitted to an external mobile terminal or server 200 and information indicating a search information or an output method of a product stored in a storage space may be received from the external mobile terminal or server 200.
  • the door detection unit 142 detects the opening and closing of the door so that the inflow of the product can be confirmed. In this process, the door detecting unit 142 may detect whether the user's body enters the storage space at the boundary point of the storage space so that it can be confirmed that the user simply opens and closes the door.
  • the door sensor 142 may include a speed sensor to measure the speed when the door is opened/closed.
  • Compressor 190 provides cooling power to refrigerators and freezers.
  • the compressor 190 may provide cooling power to the refrigerator based on the setting of the processor 180 .
  • the processor 180 outputs predetermined product information to the outside and then instructs the operation of the refrigerator 100 from the outside, the compressor 190 may operate based on this.
  • the memory 170 of FIG. 1 may further include a database unit 171 .
  • the database unit 171 stores an image of a received product. Since the images taken from various angles are stored, the processor 180 may later search for candidate images stored in the database unit 171 when identifying newly stocked products.
  • the processor 180 acquires image data of the inside of the refrigerator through the camera 121, uses refined image data among the acquired image data to generate storage and delivery data of products stored inside the refrigerator, Product warehousing and warehousing information can be updated using the generated warehousing and warehousing data.
  • the processor may create a user database using the product input/output information and store the database in the memory 170 .
  • the operation of the processor 180 of the refrigerator 100 will be mainly described below, it is not limited thereto, and it is also possible that the server 200 communicating with the refrigerator 100 performs the operation of the processor 180. interpretation would be preferable.
  • FIG. 6 is a flowchart illustrating a method for managing product storage and delivery of a refrigerator according to an embodiment of the present disclosure.
  • the processor 180 of the refrigerator may obtain image data of the inside of the refrigerator (S610).
  • the processor 180 may detect the user's door open using the door detector.
  • the processor 180 turns on the camera when the door is opened and then closed by the user, and turns on the inside of the refrigerator after a certain period of time to acquire image data of the inside of the refrigerator.
  • the processor 180 detects a user's door open or door close using a door sensor, and captures the door open or door closed using a camera to obtain image data of the inside of the refrigerator. would also be possible.
  • the processor 180 communicates with an external device (eg, a mobile terminal) using the communication unit 110, and when an application for interacting with a refrigerator is executed in the mobile terminal. , It will also be possible to obtain image data inside the refrigerator by operating the camera 121.
  • an external device eg, a mobile terminal
  • the processor 180 may obtain product inventory information stored in the refrigerator using image data of the inside of the refrigerator.
  • a product that can be stored in a refrigerator is governed as a 'product'.
  • the product inventory information may include the name, number, location, date of warehousing, and date of shipment of the product being stored.
  • the processor 180 may extract product information from image data inside the refrigerator using a conventional image processing technique.
  • the processor 180 may store the obtained product inventory data in a memory.
  • the processor 180 of the refrigerator may remove unrecognized/misrecognized results from the refrigerator interior image data after obtaining the refrigerator interior image data (S610). This can be used in combination with the process of extracting highly reliable data.
  • high-reliability data means a data set obtained by removing product occlusion data, low-quality image data, and low confidence data that have been occluded by other products from the image data of the inside of the refrigerator obtained in S610. there is.
  • the step of extracting high-reliability data from among the image data inside the refrigerator is the step of removing low-quality data from the image data inside the refrigerator, the step of removing low confidence data, and the step of removing product occlusion data.
  • step S620 by changing the order of S621 to S623.
  • the processor 180 may remove product occlusion data that is occluded by other products from among image data of the inside of the refrigerator (S621).
  • FIG. 7 is a flowchart illustrating a method of removing product covering data (S521) according to an embodiment of the present disclosure.
  • the processor 180 of the refrigerator may recognize a new product from acquired internal image data (S710).
  • the new product may be a product newly stocked in the refrigerator.
  • the position of the camera 121 is placed at a specific position, so products viewed from the specific position may overlap each other.
  • the processor 180 When the processor 180 according to an embodiment of the present disclosure recognizes a new product and obtains data on the corresponding product, it may generate a bounding box in each of the regions where the old product and the new product are detected (S720). ).
  • intersection area information may be generated based on the bounding boxes of the existing product and the new product.
  • the bounding box may refer to a box obtained by extracting coordinate data for each product detected from the image data inside the refrigerator and connecting the coordinate data in vertical/horizontal directions.
  • the shape of the bounding box is generally a shooting type, but is not limited thereto.
  • the processor 180 may compare intersection area information of the existing product and the new product with a preset threshold value (S730).
  • intersection area information may mean a value proportional to the area of the area where the bounding boxes of the new product and the existing product overlap each other.
  • intersection area information may be IoU information.
  • IoU is an abbreviation of 'Intersection over Union' and can be an indicator that mathematically indicates how much the locations (bounding boxes) of two products match.
  • the processor 180 of the refrigerator may compare the size of the new product with the size of the existing product when the intersection area information between the old product and the new product exceeds a predetermined threshold (S730-YES). Yes (S740).
  • image data of the inside of the refrigerator may include i) a case in which the new product completely covers an existing product or ii) a case in which a new product partially covers an existing product.
  • the processor 180 of the refrigerator determines that the new product completely covers the old product, and stores the existing product in the temporary database until the position of the new product is changed.
  • Product data may be stored (S750).
  • the size of the new product is larger than the size of the existing product, it may mean that the size of the new product acquired from the image data inside the refrigerator is larger than the size of the existing product.
  • the size of the bounding box of the new product may be larger than the size of the bounding box of the existing product.
  • the case where the new product completely covers the old product means the case where the bounding box of the new product detected in the image data of the inside of the refrigerator completely covers the bounding box of the old product. larger than the size of the box.
  • the processor 180 recognizes the existing product as outgoing and judges the new product as being in stock, even though the actual existing product is not detected because it is hidden by the new product.
  • the processor 180 of the refrigerator of the present disclosure may store data related to existing products in a memory or a temporary database.
  • the processor 180 may maintain the warehousing state of the existing product and generate product warehousing/leaving data determined as the warehousing of the new product.
  • processor 180 will be able to update product warehousing and warehousing data, which will be described later.
  • the processor 180 determines the area other than the intersection area among the existing product areas and the area before the arrival of the new product. It is possible to determine the stocking and releasing of the existing product by using the similarity of the area corresponding to the area other than the intersection area among the existing product areas (S741).
  • the processor 180 may maintain the storage state of the existing object when the similarity is greater than a preset value, and may determine the delivery state of the existing object when the similarity is equal to or less than a preset value.
  • the processor 180 may store the input/output data determined in the above process in a database (S750).
  • FIG. 8 is a view for explaining a case where i) a new product completely covers an existing product according to an embodiment of the present disclosure.
  • the processor 180 of the refrigerator may store data of the old product in a temporary database until the location of the new product is changed (S750). ).
  • an existing object 811 may exist in image data 810 of the inside of a refrigerator acquired at a previous point in time. After that, the new product 821 may be stocked in the refrigerator interior image data 820 acquired at the current point in time.
  • the processor 180 may create bounding boxes of the existing object 811 and the new object 821 .
  • intersection area information of the bounding boxes exceeds a predetermined threshold value, it may be determined that the two objects overlap each other.
  • the processor 180 may compare the size of the bounding box of the existing product 811 and the size of the bounding box of the new product 821 .
  • the size of the bounding box of the new product may be larger than the size of the bounding box of the existing product.
  • the size of the bounding box of the new product is the size of the bounding box of the existing product. become bigger
  • the processor may maintain the stocking state of the existing product 811 and generate product stocking and releasing data determined as the stocking of the new product 821 .
  • processor 180 will be able to update product warehousing and warehousing data, which will be described later.
  • FIG. 9 is a view for explaining a case in which ii) a new product covers a part of an existing product according to an embodiment of the present disclosure.
  • the processor 180 may select an area other than the intersection area among the existing product areas and an existing product prior to arrival of the new product. It is possible to determine the stocking and releasing of the existing product by using the similarity of the region corresponding to the region other than the intersection region among the regions (S741).
  • image data 910 of an existing product detected at a previous time in image data of the inside of the refrigerator and image data 920 in which an existing product and a new product detected at a current time overlap are shown.
  • the case where a new product covers part of an existing product means that the bounding box of the new product detected in the image data of the inside of the refrigerator partially covers the bounding box of the old product. smaller than the size of the box.
  • the processor 180 may select an area 921 other than the intersection areas 922 , 923 , and 924 among existing product areas in the image data 920 in which the old product and the new product overlap, and the existing product prior to arrival of the new product.
  • the stocking and releasing of the existing product may be determined using the similarity of the region 911 corresponding to the region other than the intersection region among the regions 910 (S741).
  • the processor 180 may divide image data 910 of an existing product detected at a previous point of time and image data 920 in which an existing product and a new product detected at a current point of time overlap each other at a predetermined ratio.
  • An image of an existing product detected at a previous point in time may be divided according to the ratio of intersection area information. (See 911 to 914)
  • the image 920 detected at the current point of view may be divided according to the ratio of the intersection area information. (see 921 to 924)
  • the processor of the present disclosure determines the similarity between regions 921 other than the intersection regions 922 , 923 , and 924 among existing product regions and regions 911 corresponding to regions other than the intersection region among existing product regions 910 before new product warehousing. can be derived
  • the processor 180 of the present disclosure may determine that the existing product is not shipped when the similarity is higher than a preset value, and may maintain storage of the existing product.
  • the processor 180 may determine that a new product has been received. Thereafter, the processor may store the determined input/output data in a database (S750).
  • the processor may determine 'no occluding' when information on the intersection area of the existing product and the new product is equal to or less than a preset threshold value (S730-NO) (S731).
  • the processor may exclude the refrigerator interior image data from the product occluding data.
  • the data excluded from the product cover data may also be determined as a highly reliable image, and may be updated to refined product storage and delivery data through steps S622 and S623 (S630).
  • the processor 180 may remove low quality image data and low confidence data during the process of removing unrecognized/misrecognized data.
  • the processor of the refrigerator may remove low quality image data (S622).
  • the low-quality image data is obtained when at least one of the speed sensor of the door sensor 142 of the refrigerator, the illuminance sensor of the refrigerator, and the degree of blur of the image data inside the refrigerator exceeds a predetermined standard.
  • image data may be included.
  • the processor 180 may determine that the data is low-quality image data when a value measured by the speed sensor due to opening/closing of the refrigerator door exceeds a preset value.
  • the processor 180 may determine that the data is low quality image data when a value measured by an illuminance sensor of a camera provided in the refrigerator exceeds a preset value.
  • the processor 180 measures the illuminance value of the internal image data of the refrigerator using a publicly disclosed illuminance value measurement algorithm, and determines that the data is low quality image data when the corresponding illuminance value exceeds a preset value. can do.
  • the processor 180 may measure the blur value of image data inside the refrigerator using a publicly available blur value measurement algorithm, and determine that the data is low quality image data when the corresponding blur value exceeds a preset value.
  • internal image data of the refrigerator obtained using a camera installed in the door of the refrigerator may be low-quality data with low components for identifying product characteristics.
  • image data inside the refrigerator may be low-quality data.
  • the processor according to an embodiment of the present disclosure may remove low confidence data from the image data of the inside of the refrigerator (S623).
  • the processor 180 determines that the recognized product is classified as unspecific data and the recognized result is inconsistent low confidence data, and removes the low confidence data, Refined log data may be extracted from the obtained image data of the inside of the refrigerator.
  • a K-Nearest Neighbor (KNN) algorithm may be used to extract low confidence data.
  • a plurality of vectors for each of the existing products are generated using the learning data labeled with the learner and the image of the existing product, and when a new product is detected from the captured image data of the inside of the refrigerator, the vector of the new product and the learner learn. It is possible to determine the vector and similarity of each of the existing products.
  • the degree of similarity means the distance between vectors, and it can be determined that two products are similar as the distance is closer.
  • Data determined as the low confidence may be removed from refrigerator internal image data and may not be used to update product storage and delivery data.
  • highly reliable data for updating product storage and delivery data may be extracted and refined log data may be generated using the refined refrigerator interior image data among the refrigerator interior image data (S630).
  • the processor may remove the temporary storage/receiving data (S640).
  • the user may have products such as seasoning, sauce (eg, ketchup, red pepper paste, jam), water, etc. that need to be temporarily shipped out of the refrigerator for cooking rather than delivery.
  • sauce eg, ketchup, red pepper paste, jam
  • water etc.
  • FIG. 10 is a flowchart illustrating a method of removing temporary storage/exit data according to an embodiment of the present disclosure.
  • the processor 180 may obtain product information corresponding to a capturing time using refined image data and capturing time information of the refined image data (S1010).
  • the processor 180 may generate product information corresponding to shooting time information as shown in the product list 1100 of FIG. 11 using data stored in the memory 170 or the database 171. there is.
  • the processor 180 may generate a product list included in an image captured at a specific time point of at least one or more of a plurality of refined image data (S1020).
  • the processor may generate a product list 1110 included in an image captured at time t1 from among refined image data.
  • the processor 180 may generate product lists 1110 to 1170 included in images captured at times t1 to t7 among the refined image data.
  • the product list 1110 included in the image captured at time t1 may be beer, beer, cola, water, and soy milk.
  • the product list 1120 included in the image captured at time t2 may include beer, beer, cola, water, soy milk, and soy milk.
  • the product list 1130 included in the image captured at time t3 may include beer, beer, cola, water, soy milk, soy milk, and milk.
  • the same product list may be generated at t4 to t7, respectively.
  • the product list 1100 is only an example, and may include various times and various products according to settings.
  • the processor 180 may group at least one product list at a specific point in time within a certain time range (S1030).
  • the processor 180 may generate warehousing and warehousing data including time, recognized products, inventory amount, and inventory variation by using the grouped product list (S1040).
  • the processor 180 may correct the warehousing and warehousing data generated based on the product list and inventory information at a time before the current time and the product list and inventory information at a point in time after the current time (S1050).
  • the processor 180 when the product list and inventory information at a time before the current point in time and the product list and stock amount information after the current point in time are the same, the product list and stock amount information at the current point in time before the current point in time or at a point after the current point in time and can be kept the same. The process will be described with reference to FIG. 12 below.
  • the processor according to an embodiment of the present disclosure may repeat the above process in real time to generate final storage/exit data (S650).
  • FIG. 11 shows a product list according to an embodiment of the present disclosure
  • FIG. 12 is a diagram illustrating a process of generating final product warehousing and warehousing data to be updated using the product list generated in FIG. 11 .
  • the processor 180 may group a specific time of the product list 1100 generated in FIG. 11 into a specific time range.
  • the processor 180 may generate warehousing and warehousing data using data grouped in a certain time range.
  • the processor 180 may group t1 to t7 representing the capturing time of each of the plurality of internal image data within a predetermined time range (S1030).
  • the processor 180 may generate warehousing and warehousing data 1200 including time, recognized products, inventory amount, and inventory variation by using the grouped data.
  • image data of the inside of the refrigerator at t1 may be obtained during T time of the first period.
  • t2, t3, and t4 may be included.
  • t5 and t6 may be included.
  • t7 may be included.
  • the processor 180 recognizes the product list at time t1 (beer, cola, water, soymilk), the stock amount is (beer 2, cola 1, water 1, soymilk 1), and the stock change amount is (beer + 2, cola + 1) , water + 1, soymilk + 1). Using the data, the processor may generate first input/output data 1201 for time T of the first period (S1040). Thereafter, as new data is input during the time, the processor 180 may remove the temporary input/output data.
  • internal image data of the refrigerator at time points t2, t3, and t4 may be obtained during time T of the second period.
  • the processor 180 may list (beer, beer, coke, water, soymilk, soymilk, soymilk) and inventory (beer 2, coke 1, water 1, soymilk 3) at time t2.
  • the recognized product list may be (beer, beer, cola, water, soymilk, soymilk, soymilk), and the stock amount may be (beer 2, coke 1, water 1, soymilk 3).
  • the recognized product list at the time of t4 is (beer, beer, cola, soymilk, soymilk, soymilk) and the stock amount can be recognized as (beer 2, cola 1, water 0, soymilk 3).
  • the processor 180 may obtain a product list and a stock amount from time t2 to t4 during time T of the second period, and calculate a stock change amount.
  • the processor 180 may generate the second input/output data 1202 during time T of the second period (S1040).
  • the processor 180 may correct warehousing and warehousing data generated based on the product list and stock amount information before the current point in time and the product list and stock amount information after the current point in time (S1050).
  • the processor 180 when the product list and inventory information at a time before the current point in time and the product list and stock amount information after the current point in time are the same, the product list and stock amount information at the current point in time before the current point in time or at a point after the current point in time and can be kept the same.
  • the processor may obtain product list and stock quantity information at time t3 before the current time t4 and time t5 after the current time in order to detect temporary storage and warehousing data.
  • the processor 180 may determine that the refrigerator is temporarily stored in and out of the refrigerator, and maintain the stock amount information about 'water' at the time t4 to be the same as that of t3 or t5.
  • the stock change amount during the second time period T may be (beer +0, cola +0, water +0, soymilk +2).
  • the processor may correct the second input/output data 1202 for time T.
  • internal image data of the refrigerator at times t5 and t6 may be obtained during time T of the third period.
  • the recognized product list may be (beer, beer, cola, water, soymilk, soymilk), and the stock amount may be (beer 2, coke 1, water 1, soymilk 2).
  • the list of recognized products may be (beer, coke, soymilk), and the stock amount may be (beer 2, cola 1, soymilk 3).
  • the processor may generate third input/output data 1203 for time T.
  • the processor 180 may obtain a list of products and a stock amount from time t5 to t6 during the third time T, calculate a stock change amount, and correct the third storage/receiving data 1203 generated accordingly.
  • the processor has a stock change of '-1' in relation to 'water' at time t6, but when comparing the product list and inventory information at t5 before t6 and t7 after t6, 'water It is possible to detect that the quantity of inventory related to 'is 'the same' as '1'.
  • the processor 180 may determine that the refrigerator is temporarily shipped out and maintain the stock amount information on 'water' at the time t6 to be the same as that of t5 or t7.
  • the processor 180 compares the product list and stock amount information at time t5 before time t6 and time t7 after time t6, although the stock change amount is '+1' in relation to 'soymilk' at time t6, ' It is possible to detect that the quantity of inventory related to 'soymilk' is 'the same' as '2'.
  • the processor 180 may determine that it is a temporary storage and maintain stock amount information about 'soymilk' at t6 to be the same as t5 or t7.
  • the stock change amount during the third time period T may be (beer +0, cola +0, water +0, soymilk -1).
  • the processor may correct the third input/output data 1203 for a third T time.
  • internal image data of the refrigerator at time t7 may be obtained during time T of the fourth period.
  • the recognized product list may be (beer, water, soymilk, soymilk), and the stock amount may be (beer 1, water 1, soymilk 2).
  • the processor may generate fourth input/output data 1204 during time T of the fourth period.
  • the processor according to an embodiment of the present disclosure may repeat the above process in real time, remove temporary storage/exit data, and generate final storage/exit data (S650).
  • the final input and output data 1200 in FIG. 12 is only an example for explaining an embodiment of the present disclosure in real time, and is not limited to the above example.
  • the processor when determining whether the processor according to an embodiment of the present disclosure corresponds to temporary storage and warehousing data, it may be preferable to determine whether to determine temporary warehousing and warehousing data based on consumption characteristics for each food category.
  • the processor may pre-obtain a list of temporary warehousing and warehousing products, such as various sauces, water, beverages, and spices, and determine temporary warehousing and warehousing only for products corresponding to the acquired temporary warehousing and warehousing product list.
  • temporary warehousing and warehousing products such as various sauces, water, beverages, and spices
  • a user database may be built using the generated product warehousing data (S660).
  • the user database may include information about products inside the refrigerator, stock amount, and stock change over time.
  • the processor 180 may determine that the second product is shipped together with the first product at a specific time and a specific schedule by using the updated product inventory information.
  • the processor 180 may know that the first product and the second product are consumed together, and may create a personalized database for the user accordingly.
  • the created user database may be stored in memory.
  • the created user database will be transmitted to various devices such as external devices, mobile terminals and servers and can be utilized.
  • the processor of the refrigerator is performed, but the server collects image data of the inside of the refrigerator obtained by a specific command of the refrigerator or mobile terminal, and the processor provided in the server performs the above process to create a database. It will also be possible to generate and transmit the generated database to a refrigerator, an external device, and a mobile terminal.
  • FIG. 13 is an exemplary view showing a change amount of a product in an inventory list according to an embodiment of the present disclosure
  • FIG. 14 is an example view showing an average change amount of a product according to an embodiment of the present disclosure
  • FIG. 15 is an example view according to an embodiment of the present disclosure. It is an exemplary diagram showing product consumption information.
  • the processor 180 may generate an inventory list variation for a specific day of the week.
  • the database includes time data that includes information on products that are received or shipped for each product usage time (month/day/day/time zone), recommendation of foods to be purchased by day or time slot, and information on the consumption cycle of the corresponding food It will be possible to track distribution data including, product data including information on products entering/exiting at the same time as specific foods, favorite recipes, preferred food combinations, and intake nutrients/vitamins.
  • shopping information may be generated including information on products shipped together among products shipped from the refrigerator.
  • the processor may know that the second product is shipped together with the first product at a specific time and on a specific schedule using updated product inventory information.
  • the processor can know that the first product and the second product are consumed together, and can create a user's personalized database accordingly.
  • product data accumulation and inventory list update may be performed based on image data of the refrigerator interior captured.
  • the present disclosure described above can be implemented as computer readable codes in a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is Also, the computer may include the processor 180 of the terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Mechanical Engineering (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Resources & Organizations (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시는 냉장고의 제품 입출고 데이터를 관리하는 방법에 있어서, 상기 냉장고에 구비된 카메라를 이용하여 냉장고 내부 이미지 데이터를 획득하는 단계, 상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하는 단계, 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하는 단계; 및 업데이트된 제품 입출고 데이터에 기초하여 사용자 데이터베이스를 생성하는 단계를 포함하는 냉장고 제품 입출고 관리 방법을 개시한다.

Description

제품 재고를 관리하기 위한 냉장고 및 그 방법
본 개시는 제품 재고를 관리하기 위한 냉장고에 관한 것으로서, 더욱 구체적으로는 영상인식결과를 기반으로 제품의 재고를 판단하는 냉장고에 관한 것이다.
일반적으로 냉장고는 제품의 보관 및 관리를 통하여 제품의 부폐 방지 및 지연을 위하여 사용한다. 가정내에서 냉장고 보급이 일반적이게 되고, 냉장고에 저장하는 제품의 품목 및 수량이 다양해짐에 따라 냉장고 내에 보관된 제품의 재고를 파악하는 일 또한 필요하게 되었다.
최근에는 이동 단말기 등 다양한 IoT 장치들이 상호 연결됨에 따라 냉장고 도어를 오픈/클로즈 하지 않더라도 냉장고에 저장된 제품을 알 수 있는 정도까지 이르렀으며 그에 따라 저장된 제품의 재고를 다른 IoT 장치에서 관찰할 수 있었다.
한편, 상기 저장된 제품의 재고를 정확하게 파악하기 위하여 현재 제품의 저장 상태에서 제품이 입고되거나 출고되는 경우가 빈번하게 발생하였는데, 냉장고에 구비된 카메라를 이용하여 냉장고 내부를 촬영하더라도 제품의 입출고를 정확하게 파악할 수 있는 이미지 데이터들을 구별할 수 없어, 제품 입출고 파악을 정확하게 수행하지 못하는 문제가 발생하였다.
본 개시의 목적은 냉장고에 보관된 제품의 입출고 정보를 파악하기 위한 데이터 중 정제된 이미지 데이터를 추출하기 위함이다.
본 개시의 목적은 상기 정제된 이미지 데이터를 기초로 제품 입출고 데이터를 업데이트 하기 위함이다.
본 개시의 목적은 업데이트된 입출고 데이터를 이용하여 냉장고 제품 데이터베이스를 생성하기 위함이다.
본 개시의 목적은 생성한 데이터 베이스를 이용하여 사용자 맞춤형 소비 서비스를 제공하기 위함이다.
본 개시의 실시 예에 따른 냉장고의 제품 입출고 데이터를 관리하는 방법에 있어서, 상기 냉장고에 구비된 카메라를 이용하여 냉장고 내부 이미지 데이터를 획득하는 단계; 상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하는 단계; 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하는 단계; 및 업데이트된 제품 입출고 데이터에 기초하여 사용자 데이터베이스를 생성하는 단계를 포함할 수 있다.
상기 냉장고에 구비된 카메라를 이용하여 상기 냉장고 내부 이미지 데이터를 획득하는 단계는, 외부장치로부터 촬영 명령이 수신되거나 냉장고 도어가 오픈 또는 클로즈되면, 상기 카메라를 이용하여 상기 냉장고 내부 이미지 데이터를 획득하는 단계를 포함할 수 있다.
상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하는 단계는,
상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거하는 단계, 로우 컨피던스(low confidence) 데이터를 제거하는 단계 및 제품 가림 데이터를 제거하는 단계 중 적어도 하나를 포함할 수 있다.
상기 저품질 데이터는, 상기 냉장고의 스피드 센서, 상기 냉장고의 조도 센서 및 상기 냉장고 내부 이미지 데이터의 블러(blur) 정도 중 적어도 하나의 값이 기 설정된 기준을 초과하는 경우 획득된 이미지 데이터를 포함할 수 있다.
상기 로우 컨피던스 데이터를 제거하는 단계는, 기존 데이터와 비교하여, 인식된 제품의 유사도가 기 설정된 값보다 낮은 경우 로우 컨피던스 데이터로 판단하는 단계를 포함할 수 있다.
또한, 상기 제품 가림 데이터를 제거하는 단계는 신규 제품을 검출하는 단계;
신규 제품과 기존 제품의 교집합 영역 정보를 추출하는 단계; 상기 교집합 영역 정보가 기 설정된 값보다 큰 경우, 상기 신규 제품의 크기가 기존 제품의 크기보다 크면, 상기 기존 제품의 입고 상태를 유지하고 상기 신규 제품의 입고로 판단하는 단계를 포함할 수 있다.
또한, 상기 제품 가림 데이터를 제거하는 단계는 신규 제품 영역을 검출하는 단계; 상기 신규 제품 영역과 기존 제품 영역의 교집합 영역 정보를 추출하는 단계; 상기 교집합 영역 정보가 기 설정된 값보다 큰 경우, 상기 신규 제품 영역의 크기가 기존 제품 영역의 크기보다 작으면, 상기 기존 제품 영역 중 교집합 영역 이외의 영역과 신규 제품 입고 이전의 기존 제품 영역 중 상기 교집합 영역 이외의 영역에 대응하는 영역의 유사도를 이용하여 상기 기존 제품의 입출고를 판단하는 단계를 포함할 수 있다.
상기 유사도를 이용하여 상기 기존 제품의 입출고를 판단하는 단계는,
상기 유사도가 기 설정된 값보다 큰 경우, 상기 기존 제품의 입고 상태를 유지하고, 상기 유사도가 기 설정된 값 이하인 경우, 상기 기존 제품의 출고 상태로 판단하는 단계를 포함할 수 있다.
상기 제품 가림 데이터를 제거하는 단계는 신규 제품을 검출하는 단계; 신규 제품과 기존 제품의 교집합 영역을 추출하는 단계; 상기 교집합 영역 정보가 기 설정된 값보다 이하일 경우, 상기 제품 가림 데이터에서 제외하는 단계를 포함할 수 있다.
또한, 상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 최종 제품 입출고 데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 상기 최종 제품 입출고 데이터를 생성하는 단계는, 신뢰도 높은 데이터 및 촬영시간 정보를 이용하여 적어도 하나 이상의 특정 시점에 촬영된 이미지에 포함된 제품 목록을 각각 생성하는 단계; 상기 특정 시점의 제품 목록을 일정 주기로 그룹화하는 단계; 상기 그룹화한 제품 목록을 이용하여 입출고 데이터를 생성하는 단계 및 생성된 입출고 데이터를 보정하는 단계를 포함할 수 있다.
또한, 상기 생성된 입출고 데이터를 보정하는 단계는, 현재 시점 이전의 제품 목록 및 재고량 정보와 현재 시점 이후의 제품 목록 및 재고량 정보가 동일한 경우, 상기 현재 시점의 제품 목록 및 재고량 정보를 상기 현재 시점 이전 또는 현재시점 이후 시점과 동일하게 유지하는 단계를 포함할 수 있다.
또한, 생성된 입출고 데이터를 보정하는 단계는, 상기 제품이 임시 입출고 제품 목록에 포함되는지 판단하는 단계를 더 포함할 수 있다.
상기 사용자 데이터베이스를 이용하여, 제품의 재고 목록 변화량, 제품 변화량 평균 및 제품 소비 정보를 생성하고, 생성된 정보를 이용하여 사용자 맞춤형 쇼핑을 제공하는 단계를 포함할 수 있다.
본 개시의 실시 예에 따른 냉장고는 상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하고, 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하고 업데이트된 제품 입출고 데이터에 기초하여 냉장고 입출고 데이터베이스를 생성하는 프로세서를 포함할 수 있다.
상기 프로세서는 상기 통신부를 통하여 외부장치와 통신하고, 상기 외부장치로부터 촬영 명령이 수신되거나 냉장고 도어가 오픈 또는 클로즈되면, 상기 카메라를 이용하여 상기 냉장고 내부 이미지 데이터를 획득할 수 있다.
상기 프로세서는 상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거, 로우 컨피던스(low confidence) 데이터를 제거 및 제품 가림 데이터를 제거 중 적어도 하나를 수행하여 상기 신뢰도 높은 데이터를 추출할 수 있다.
상기 프로세서는 상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 최종 제품 입출고 데이터를 생성할 수 있다.
본 개시의 실시 예에 따른 냉장고과 통신하는 서버를 포함하는 제품 입출고 관리 시스템이 있어서, 상기 냉장고는 통신부, 입출고 데이터를 저장하는 메모리, 냉장고 내부 이미지 데이터를 획득하는 카메라 및 프로세서 포함하고, 상기 서버는 상기 냉장고와 통신하는 통신부; 상기 통신부를 통해 상기 냉장고 내부 이미지 데이터를 획득하고 사용자 데이터베이스를 생성하는 프로세서를 포함하고, 상기 서버의 프로세서는, 상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하고, 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하고 업데이트된 제품 입출고 데이터에 기초하여 냉장고 입출고 데이터베이스를 생성하는 시스템을 포함할 수 있다.
또한, 상기 서버의 프로세서는 상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거, 로우 컨피던스(low confidence) 데이터를 제거 및 제품 가림 데이터를 제거 중 적어도 하나를 수행하여 상기 신뢰도 높은 데이터를 추출하고, 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하고, 상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 최종 제품 입출고 데이터를 생성할 수 있다.
본 개시의 실시 예에 따르면, 냉장고에 보관된 제품의 입출고 정보를 파악하기 위한 데이터 중 신뢰도 높은 정제된 이미지 데이터를 추출함으로써 제품 입출고 데이터를 업데이트 하기위한 정확한 제품 입출고 데이터를 생성할 수 있다.
본 개시의 실시 예에 따르면, 냉장고에서 임시 입출고 되는 제품을 구별하고, 제품 입출고 데이터에 반영하지 않음으로써 정확한 제품 입출고 데이터베이스를 생성할 수 있다.
본 개시의 실시 예에 따르면, 정확한 제품 입출고 데이터를 확보함으로써 상기 입출고 데이터를 이용하여 사용자 소비패턴을 파악하여 맞춤형 서비스를 제공할 수 있다.
본 개시의 실시 예에 따르면, 업데이트된 입출고 데이터를 이용하여 냉장고 제품 데이터베이스를 생성함으로써 생성한 데이터 베이스를 이용하여 사용자 맞춤형 소비 서비스를 제공할 수 있다.
본 개시의 실시 예에 따르면 사용자 맞춤형 소비 서비스를 제공함으로써 사용자에게 편의를 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 인공 지능 장치(100)를 나타낸다.
도 2는 본 개시의 일 실시 예에 따른 인공 지능 서버를(200)의 나타낸다.
도 3은 본 개시의 일 실시 예에 따른 인공 지능 시스템(1)을 나타낸다.
도 4는 본 개시의 일 실시 예에 따른 냉장고를 나타낸다.
도 5는 본 개시의 일 실시 예에 따른 냉장고의 구성도를 나타낸다.
도 6은 본 개시의 일 실시 예에 따른 순서도를 나타낸다.
도 7은 본 개시의 일 실시 예에 따른 순서도를 나타낸다.
도 8은 본 개시의 일 실시 예에 따른 가림 데이터 처리를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 가림 데이터 처리를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 임시 입출고 데이터 제거 방법을 나타낸 도면이다.
도 11은 본 개시의 일 실시 예에 따른 데이터 베이스 생성 과정을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 데이터 베이스 생성 과정을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시 예에 따른 데이터 베이스 예시를 나타낸 도면이다.
도 14는 본 개시의 일 실시 예에 따른 데이터 베이스 예시를 나타낸 도면이다.
도 15는 본 개시의 일 실시 예에 따른 데이터 베이스 예시를 나타낸 도면이다.
이하, 본 발명의 상세에 대하여 설명한다.
이하에 설명하는 실시 예는 본 발명의 일례 일뿐이며, 본 발명은 다양한 형태로 변형될 수 있다. 따라서, 이하에 개시된 특정 구성 및 기능은 청구 범위를 제한하지 않는다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
<인공 지능(AI: Artificial Intelligence)>
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
<로봇(Robot)>
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.
<자율 주행(Self-Driving)>
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
<확장 현실(XR: eXtended Reality)>
확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 인공 지능 장치(100)를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, 단말기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 본 개시의 일 실시 예에 따른 인공 지능 서버(200)를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 인공 지능 시스템(1)을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
<AI+로봇>
로봇(100a)은 AI 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
로봇(100a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(100a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(100a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(100a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
로봇(100a)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 로봇(100a)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 동작을 결정할 수 있다. 여기서, 학습 모델은 로봇(100a)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 로봇(100a)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(100a)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 로봇(100a)을 주행시킬 수 있다.
맵 데이터에는 로봇(100a)이 이동하는 공간에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 벽, 문 등의 고정 객체들과 화분, 책상 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 로봇(100a)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
<AI+자율주행>
자율 주행 차량(100b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(100b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량(100b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(100b)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(100b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(100b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(100b)을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량(100b)이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(100b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(100b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
<AI+XR>
XR 장치(100c)는 AI 기술이 적용되어, HMD(Head-Mount Display), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수 있다.
XR 장치(100c)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치(100c)는 인식된 제품에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 제품에 대응시켜 출력할 수 있다.
XR 장치(100c)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(100c)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(100c)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, XR 장치(100c)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
<AI+로봇+자율주행>
로봇(100a)은 AI 기술 및 자율 주행 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
AI 기술과 자율 주행 기술이 적용된 로봇(100a)은 자율 주행 기능을 가진 로봇 자체나, 자율 주행 차량(100b)과 상호작용하는 로봇(100a) 등을 의미할 수 있다.
자율 주행 기능을 가진 로봇(100a)은 사용자의 제어 없이도 주어진 동선에 따라 스스로 움직이거나, 동선을 스스로 결정하여 움직이는 장치들을 통칭할 수 있다.
자율 주행 기능을 가진 로봇(100a) 및 자율 주행 차량(100b)은 이동 경로 또는 주행 계획 중 하나 이상을 결정하기 위해 공통적인 센싱 방법을 사용할 수 있다. 예를 들어, 자율 주행 기능을 가진 로봇(100a) 및 자율 주행 차량(100b)은 라이다, 레이더, 카메라를 통해 센싱된 정보를 이용하여, 이동 경로 또는 주행 계획 중 하나 이상을 결정할 수 있다.
자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)과 별개로 존재하면서, 자율 주행 차량(100b)의 내부에서 자율 주행 기능에 연계되거나, 자율 주행 차량(100b)에 탑승한 사용자와 연계된 동작을 수행할 수 있다.
이때, 자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)을 대신하여 센서 정보를 획득하여 자율 주행 차량(100b)에 제공하거나, 센서 정보를 획득하고 주변 환경 정보 또는 객체 정보를 생성하여 자율 주행 차량(100b)에 제공함으로써, 자율 주행 차량(100b)의 자율 주행 기능을 제어하거나 보조할 수 있다.
또는, 자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)에 탑승한 사용자를 모니터링하거나 사용자와의 상호작용을 통해 자율 주행 차량(100b)의 기능을 제어할 수 있다. 예컨대, 로봇(100a)은 운전자가 졸음 상태인 경우로 판단되는 경우, 자율 주행 차량(100b)의 자율 주행 기능을 활성화하거나 자율 주행 차량(100b)의 구동부의 제어를 보조할 수 있다. 여기서, 로봇(100a)이 제어하는 자율 주행 차량(100b)의 기능에는 단순히 자율 주행 기능뿐만 아니라, 자율 주행 차량(100b)의 내부에 구비된 네비게이션 시스템이나 오디오 시스템에서 제공하는 기능도 포함될 수 있다.
또는, 자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)의 외부에서 자율 주행 차량(100b)에 정보를 제공하거나 기능을 보조할 수 있다. 예컨대, 로봇(100a)은 스마트 신호등과 같이 자율 주행 차량(100b)에 신호 정보 등을 포함하는 교통 정보를 제공할 수도 있고, 전기 차량의 자동 전기 충전기와 같이 자율 주행 차량(100b)과 상호작용하여 충전구에 전기 충전기를 자동으로 연결할 수도 있다.
<AI+로봇+XR>
로봇(100a)은 AI 기술 및 XR 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇, 드론 등으로 구현될 수 있다.
XR 기술이 적용된 로봇(100a)은 XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇을 의미할 수 있다. 이 경우, 로봇(100a)은 XR 장치(100c)와 구분되며 서로 연동될 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇(100a)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 로봇(100a) 또는 XR 장치(100c)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(100c)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 로봇(100a)은 XR 장치(100c)를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
예컨대, 사용자는 XR 장치(100c) 등의 외부 장치를 통해 원격으로 연동된 로봇(100a)의 시점에 상응하는 XR 영상을 확인할 수 있고, 상호작용을 통하여 로봇(100a)의 자율 주행 경로를 조정하거나, 동작 또는 주행을 제어하거나, 주변 객체의 정보를 확인할 수 있다.
<AI+자율주행+XR>
자율 주행 차량(100b)은 AI 기술 및 XR 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
XR 기술이 적용된 자율 주행 차량(100b)은 XR 영상을 제공하는 수단을 구비한 자율 주행 차량이나, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량 등을 의미할 수 있다. 특히, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(100b)은 XR 장치(100c)와 구분되며 서로 연동될 수 있다.
XR 영상을 제공하는 수단을 구비한 자율 주행 차량(100b)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하고, 획득한 센서 정보에 기초하여 생성된 XR 영상을 출력할 수 있다. 예컨대, 자율 주행 차량(100b)은 HUD를 구비하여 XR 영상을 출력함으로써, 탑승자에게 현실 객체 또는 화면 속의 객체에 대응되는 XR 객체를 제공할 수 있다.
이때, XR 객체가 HUD에 출력되는 경우에는 XR 객체의 적어도 일부가 탑승자의 시선이 향하는 실제 객체에 오버랩되도록 출력될 수 있다. 반면, XR 객체가 자율 주행 차량(100b)의 내부에 구비되는 디스플레이에 출력되는 경우에는 XR 객체의 적어도 일부가 화면 속의 객체에 오버랩되도록 출력될 수 있다. 예컨대, 자율 주행 차량(100b)은 차로, 타 차량, 신호등, 교통 표지판, 이륜차, 보행자, 건물 등과 같은 객체와 대응되는 XR 객체들을 출력할 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(100b)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 자율 주행 차량(100b) 또는 XR 장치(100c)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(100c)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 자율 주행 차량(100b)은 XR 장치(100c) 등의 외부 장치를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 냉장고를 나타낸다.
도 1과 중복되는 설명은 생략한다.
본 개시에서, 인공 지능 장치(100)는 냉장고일 수 있으며 엣지 디바이스(edge device)를 포함한다.
따라서, 본 명세서에서 저장물의 냉장 혹은 냉동을 위한 장치로 냉장고를 중심으로 설명하며, 이는 통상의 음식을 저장하는 냉장고와 김치 냉장고, 음료 냉장고, 가정용 냉장고, 업소용 냉장고, 그리고 냉동고 만으로 구성된 냉동장치 등 다양한 냉장 및 냉동 기능을 주로 하는 장치들을 모두 포함한다.
뿐만 아니라, 화장품 냉장고와 같이 음식이 아닌 저장물을 냉장하는 장치에도 적용되며, 또한, 고정식이 아닌 이동식, 예를 들어 대형 냉장 트레일러에 설치된 냉장장치 역시 본 명세서에서 언급하는 실시예에 포함된다.
도 4는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다. 10은 냉장고(100)가 닫힌 상태의 외관이며, 20은 냉장고(100)가 열린 상태의 외관이다. 냉장고(100)를 구성하는 다수의 도어(21,31, 41, 51) 중 어느 하나의 도어(21)가 개폐를 관리하는 공간은 다수의 구분된 보관공간들(23, 24)로 나뉘어질수 있으며, 각 보관공간들(23, 24)은 독립적으로 온도가 제어될 수 있다. 물론, 하나의 도어에 의해 개폐되는 공간들에 대해 동일하게 온도가 제어될 수도 있다.
그리고 각 보관공간들은 다시 내부에 선반으로 구분될 수 있다. 냉장고(100)에는 정보를 표시하거나, 혹은 냉장고(100)의 내부를 보여주는 디스플레이부(150)를 더 포함할 수 있다. 디스플레이부(150)는 특정한 도어(31)의 전면에 배치될 수도 있고, 또한 냉장고(100)의 측면에 배치될 수도 있다. 디스플레이부(150)는 냉장고 내부를 확인할 수 있는 투명 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(150)는 냉장고 내부의 이미지를 표시하는 디스플레이 패널을 포함할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 냉장고의 구성도를 나타낸다.
도 5는 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
디스플레이부(150)는 보관공간 내의 제품들을 이미지로 표시하거나 각 제품의 설명을 표시하는 기능을 제공한다.
도 1의 입력부(120)는 카메라(121)을 포함할 수 있다.
카메라(121)는 보관공간에 수납된 제품을 촬영한다. 보관공간을 촬영하여 수납 또는 입고되는 제품의 종류와 크기를 식별한다. 이때, 프로세서(180)는 입고된 제품이 앞서 입고되었던 제품인지를 데이터베이스부(171)에서 확인할 수 있다.
도 1의 메모리(170)는 데이터베이스부(171)를 포함할 수 있다.
데이터베이스부(171)는 입고된 제품에 대해 카메라(121)가 촬영한 이미지를 누적하여 저장한다. 이 과정에서 카메라(121)가 다양한 각도에서 촬영한 이미지가 데이터베이스부(171)에서 누적하여 저장될 수 있다. 또한, 데이터베이스부(171)는 카메라(121)가 다수일 경우, 어느 위치에 배치된 카메라가 촬영했는지에 대한 정보, 해당 제품이 어느 보관공간 혹은 보관공간을 세분화시킨 선반 중 어느 선반에 배치되었는지에 대한 정보를 함께 저장할 수 있다.
데이터베이스부(171)는 카메라(121)가 촬영한 캡쳐 이미지를 저장하며, 또한 프로세서(180)가 캡쳐 이미지에서 제품별로 분리한 제품의 이미지를 저장한다. 또한 데이터베이스부(171)는 각각의 캡쳐 이미지 또는 제품의 이미지에 대응하는 메타 정보를 함께 저장한다.
메타 정보란, 제품의 명칭, 제품의 카테고리, 제품이 입고된 시간, 제품의 사용 가능 기한, 제품에 적용되는 알람 시간, 제품이 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함할 수 있다. 명칭은 사용자가 라벨링을 하는 경우 이를 명칭으로 할 수 있다.
입고된 시간은 제품이 입고된 시간을 의미한다. 입고된 시간은 제품이 최초로 냉장고에 입고된 시간 혹은 가장 최근에 입고된 시간 중 어느 하나 이상이 될 수 있다. 제품이 냉장고에서 자주 반출되고 입고되고 프로세서(180)에 의해 해당 제품이 동일한 제품인 것으로 식별된 경우, 해당 제품의 반출 및 입고 시간이 누적하여 저장될 수 있다.
또한, 해당 제품의 사용 가능 기한 혹은 제품에 적용되는 알람 시간 등도 메타 정보가 될 수 있다. 이는 사용자가 직접 입력하거나 선택할 수 있다.
그리고 해당 제품을 사용하기 위해 알람 시간도 설정할 수 있다. 뿐만 아니라 프로세서(180)는 해당 제품이 배치된 위치 정보도 저장할 수 있는데, 이 과정에서 제품의 누적된 위치 정보들을 데이터베이스부(171)에 저장하고 이를 출력할 수 있다.
도 1의 센싱부(140)는 보관 공간에서 제품의 무게를 센싱하는 무게센싱부(141), 보관 공간의 온도를 센싱하는 온도센싱부(143), 도어의 오픈/클로즈를 센싱하는 도어 감지부(142)를 더 포함할 수 있다.
무게 센싱부(141)가 각 선반 혹은 각 보관공간에서 센싱한 정보 역시 데이터베이스부(171)에 저장되어 고내에서 제1선반에서 제2선반으로 이동하는 등 위치 이동이 발생하는 경우 각 선반 별로 무게의 변화를 통해 제품 식별의 정확도를 높일 수 있다.
이외에도 제품별 이미지를 분리함에 있어 정확도를 높이기 위해 뎁스 카메라(122) 및 온도 센싱부(143)를 더 포함할 수 있다. 온도 센싱부(143)는 보관공간 내의 제품의 온도 정보를 센싱하며 뎁스 카메라(122)는 제품의 뎁스 정보를 생성한다.
하나의 제품은 온도가 동일하거나 유사할 수 있다. 그리고 하나의 제품은 동일한 뎁스 정보를 가지거나 혹은 일정하게 증가하거나 줄어드는 뎁스 정보를 가질 수 있다. 따라서, 프로세서(180)가 캡쳐된 이미지에서 특정한 제품의 이미지를 추출함에 있어서 해당 제품의 온도나 뎁스 정보를 이용하여 정확도를 높일 수 있다.
프로세서(180)는 전술한 구성요소들을 제어하며 각 구성요소들이 제공한 정보들을 이용하여 제품의 정보를 표시하거나 출력하거나 혹은 외부의 기기에서 통신을 통해 정보를 출력할 수 있도록 통신부(110) 등을 제어할 수 있다.
또한 프로세서(180)는 카메라(121)가 촬영한 이미지 또는 데이터베이스부(171)에 저장된 정보에 기반하여 각 제품에 대한 메타 정보를 생성한다.
메타 정보란 해당 제품의 명칭, 입고 시간, 추정된 무게 등을 포함할 수 있다. 뿐만 아니라 통신부(110)가 수신한 각 제품별 유통기한 등도 프로세서(180)가 생성할 수 있다.
통신부(110)는 제품의 메타 정보를 생성하는데 필요한 정보를 외부 서버에서 수신하거나, 혹은 외부의 스마트폰 등에서 고내 정보를 확인 요청할 경우 제품의 정보들을 전송하는 기능 등을 할 수 있다. 예를 들어, 제품의 이미지와 메타 정보를 외부 이동 단말기 또는 서버(200)에게 전송하고 외부 이동 단말기 또는 서버(200)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.
도어 감지부(142)는 도어의 개폐를 감지하여 제품의 유입을 확인할 수 있도록 한다. 이 과정에서 사용자가 도어를 단순히 열고 닫은 경우를 확인할 수 있도록 도어 감지부(142)는 보관공간의 경계 지점에서 사용자의 신체가 보관공간 내에 진입하였는지를 감지할 수도 있다.
또한 도어 감지부(142)는 스피드 센서를 구비하여 도어가 오픈/클로즈 되는 경우의 속도를 측정하는 것 또한 가능하다.
압축기(190)는 냉장고 및 냉동고에 냉력을 제공한다. 새로운 제품이 냉장고에 수납될 경우 프로세서(180)의 설정에 기반하여 압축기(190)는 냉장고에 냉력을 제공할 수 있다. 또한 프로세서(180)가 외부에 소정의 제품 정보를 출력한 후 외부에서 냉장고(100)의 동작을 지시한 경우, 이에 기반하여 압축기(190)가 동작할 수 있다.
도 1의 메모리(170)는 데이터베이스부(171)를 더 포함할 수 있다.
데이터베이스부(171)는 입고된 제품의 이미지를 저장한다. 다양한 각도에서 촬영된 이미지를 저장하므로 추후 프로세서(180)가 새로 입고된 제품을 식별함에 있어서 데이터베이스부(171)에 저장된 후보 이미지를 검색할 수 있다.
본 개시의 실시 예에 따른 프로세서(180)는 냉장고 내부 이미지 데이터를 카메라(121)를 통하여 획득하고, 획득된 이미지 데이터 중 정제된 이미지 데이터를 이용하여 냉장고 내부 보관중인 제품의 입출고 데이터를 생성하고, 생성된 입출고 데이터를 이용하여 제품 입출고 정보를 업데이트 할 수 있다.
또한 프로세서는 상기 제품 입출고 정보를 이용하여 사용자 데이터베이스를 생성하고, 해당 데이터베이스를 메모리(170)에 저장할 수 있다.
한편, 이하 냉장고(100)의 프로세서(180)의 동작을 위주로 설명하나, 이에 한정되는 것은 아니며, 냉장고(100)와 통신하는 서버(200)가 프로세서(180)의 동작을 수행하는 것 또한 가능하다고 해석하는 것이 바람직 할 것이다.
도 6은 본 개시의 실시 예에 따른 냉장고의 제품 입출고 관리 방법을 설명하기 위한 순서도이다.
본 개시의 실시 예에 따른 냉장고의 프로세서(180)는 냉장고 내부 이미지 데이터를 획득할 수 있다(S610).
구체적으로 프로세서(180)는 도어 감지부를 이용하여 사용자의 도어 오픈을 감지할 수 있다. 프로세서(180)는 사용자에 의하여 도어가 오픈된 후 닫히면 카메라를 온 시키고, 일정 시간 경과 후 냉장고내 등을 온 시켜 냉장고 내부 이미지 데이터를 획득할 수 있다.
본 개시의 다른 실시예에 따르면 프로세서(180)는 도어 감지부를 이용하여 사용자의 도어 오픈 또는 도어 클로즈를 감지하고, 상기 도어 오픈 또는 도어 클로즈 될 때를 카메라를 이용하여 촬영하여 냉장고 내부 이미지 데이터를 획득하는 것 또한 가능할 것이다.
한편, 본 개시의 실시 예에 따르면, 프로세서(180)는 통신부(110)를 이용하여 외부 장치(예를 들어 이동 단말기 등)과 통신하고, 이동 단말기에서 냉장고와 상호작용하기 위한 어플리케이션이 실행되는 경우, 카메라(121)를 동작시켜 냉장고 내부 이미지 데이터를 획득하는 것 또한 가능할 것이다.
본 개시의 실시예에 따른 프로세서(180)는 냉장고 내부 이미지 데이터를 이용하여 냉장고 내 저장된 제품 재고 정보를 획득할 수 있다.
한편 본 개시의 실시예에서는 냉장고에 보관 가능한 제품을 '제품'으로 통치하도록 한다.
이때, 제품 재고 정보라 함은 보관중인 제품의 명칭, 개수, 위치, 입고 날짜, 출고 날짜 등을 포함할 수 있다.
프로세서(180)는 냉장고 내부 이미지 데이터를 종래의 영상처리 기술을 이용하여 제품 정보를 추출할 수 있다.
그리고, 이전에 획득된 냉장고 내부 이미지 데이터와 비교하여 신규로 입고 및 출고된 제품 정보를 추출할 수 있을 것이다.
본 개시의 실시 예에 따른 프로세서(180)는 획득된 제품 재고 데이터를 메모리에 저장할 수 있다.
본 개시의 실시 예에 따른 냉장고의 프로세서(180)는 냉장고 내부 이미지 데이터를 획득하고 난 이후(S610), 냉장고 내부 이미지 데이터 중 미/오인식 결과를 제거할 수 있다(S620). 이는 신뢰도 높은 데이터를 추출하는 과정과 혼용되어 사용될 수 있다.
이때, 신뢰도 높은 데이터란, S610에서 획득한 냉장고 내부 이미지 데이터에서, 타 제품에 의하여 가림이 발생한 제품 가림 데이터, 저품질 이미지 데이터 및 로우 컨피던스(low confidence)데이터를 제거한 데이터 셋(set)을 의미할 수 있다.
즉, 상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하는 단계는, 상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거하는 단계, 로우 컨피던스(low confidence) 데이터를 제거하는 단계 및 제품 가림 데이터를 제거하는 단계 중 적어도 하나를 포함할 수 있다.
이하 상기 단계를 차례로 설명하도록 한다. 한편, S621 내지 S623 의 순서를 변경하여 S620 단계를 실시하는 것 또한 가능하다.
본 개시의 실시 예에 따른 프로세서(180)는 신뢰도 높은 데이터를 추출하기 위하여, 냉장고 내부 이미지 데이터 중 타 제품에 의하여 가림이 발생한 제품 가림 데이터를 제거할 수 있다(S621).
S621과 관련한 구체적 내용은 도 7에서 설명한다.
도 7은 본 개시의 실시 예에 따른 제품 가림 데이터를 제거(S521)하는 방법을 나타낸 순서도이다.
도 7을 참고하면, 냉장고의 프로세서(180)는 획득한 내부 이미지 데이터에서 신규 제품을 인식할 수 있다(S710). 이때 신규 제품은 냉장고 내부에 새로 입고된 제품일 수 있다.
한편, 냉장고 내부에 구비된 카메라(121)를 이용하여 냉장고 내부 이미지 데이터를 획득할 때, 카메라(121)의 위치는 특정 위치에 배치되므로 상기 특정 위치에서 바라본 제품들은 서로 겹치게 보일 수 있을 것이다.
위와 같이 종래에는 카메라(121)를 통하여 획득된 내부 이미지 데이터를 이용한 제품의 재고 관리 시, 제품들끼리 가림 현상이 발생하여 재고 관리의 정확성이 떨어지는 문제가 발생하였다.
본 개시의 실시 예에 따른 프로세서(180)는 신규 제품을 인식하고, 해당 제품에 대한 데이터를 획득하면 기존 제품과 신규 제품이 검출된 영역 각각에 바운딩 박스(Bounding Box)를 생성할 수 있다(S720).
그리고, 기존 제품과 신규 제품의 바운딩 박스에 기초하여, 교집합 영역 정보를 생성할 수 있다.
이때, 바운딩 박스는 냉장고 내부 이미지 데이터에서 검출된 제품 각각을 좌표 데이터를 추출하고, 상기 좌표 데이터를 수직/수평 방향으로 연결한 박스를 의미할 수 있다. 바운딩 박스의 모양은 사격형이 일반적이나, 이에 한정되는 것은 아니다.
프로세서(180)는 기존 제품과 신규 제품의 교집합 영역 정보와 기 설정된 임계값을 비교할 수 있다(S730).
이때, 교집합 영역 정보는 상기 신규 제품과 기존 제품 각각의 바운딩 박스가 겹쳐지는 영역의 넓이에 비례하는 값을 의미할 수 있다.
더욱 구체적으로 교집합 영역 정보는 IoU정보 일 수 있다.
이때, IoU는 'Intersection over Union'의 약자로 보통 두 가지 제품의 위치(Bounding Box)가 얼마나 일치하는지를 수학적으로 나타내는 지표일 수 있다.
이하 가림 데이터로 판단된 경우를 설명한다.
본 개시의 실시 예에 따른, 냉장고의 프로세서(180)는 기존 제품과 신규 제품의 교집합 영역 정보가 기 설정된 임계값을 초과하는 경우(S730-YES) 신규 제품의 크기와 기존 제품의 크기를 비교할 수 있다(S740).
한편, 신규 제품의 입고로 인하여 냉장고 내부 이미지 데이터에는 i) 신규 제품이 기존 제품을 완전히 가리는 경우 또는 ii) 신규 제품이 기존 제품의 일부를 가리는 경우가 포함될 수 있을 것이다.
먼저 i) 신규 제품의 입고로 인하여 냉장고 내부 이미지 데이터에 신규 제품이 기존 제품을 완전히 가리는 경우에 대하여 설명한다.
냉장고의 프로세서(180)는 신규 제품의 크기가 기존 제품의 크기보다 큰 경우(S740-YES), 신규 제품이 기존 제품을 완전히 가리는 경우로 판단하고 신규 제품의 위치가 변경될 때까지 임시 데이터베이스에 기존 제품 데이터를 저장할 수 있다(S750).
이때, 신규 제품의 크기가 기존 제품의 크기보다 큰 경우는 냉장고 내부 이미지 데이터에서 획득된 신규 제품의 크기가 기존 제품의 크기보다 크다는 의미일 수 있다.
다시 말해서, 신규 제품의 바운딩 박스의 크기가 기존 제품의 바운딩 박스의 크기보다 큰 경우 일 수 있다.
즉, 신규 제품이 기존 제품을 완전히 가리는 경우는 냉장고 내부 이미지 데이터에서 검출된 신규 제품의 바운딩 박스가 기존 제품의 바운딩 박스를 완전히 가리는 경우를 의미하므로, 신규 제품의 바운딩 박스의 크기는 기존 제품의 바운딩 박스의 크기보다 크게된다.
이때, 냉장고 내부 이미지 데이터로만 판단하게 된다면 실제 기존 제품은 신규 제품에 가려져 검출되지 않는 것임에도 불구하고 프로세서(180)는 기존 제품에 대하여 출고로 인식하고, 신규 제품에 대하여 입고로 판단하는 오류가 발생할 수 있다.
상기 문제를 해결하기 위하여 본 개시의 냉장고의 프로세서(180)는 기존 제품과 관련된 데이터를 메모리 또는 임시 데이터베이스에 저장할 수 있다.
예를 들어, 프로세서(180)는 기존 제품의 입고 상태를 유지하고 상기 신규 제품의 입고로 판단하는 제품 입출고 데이터를 생성할 수 있을 것이다.
그리고 프로세서(180)는 추후 설명할 제품 입출고 데이터 업데이트를 수행할 수 있을 것이다.
한편, 본 개시의 실시 예에 따른 프로세서(180)는 상기 신규 제품의 크기가 기존 제품의 크기보다 작으면(S740-NO), 상기 기존 제품 영역 중 상기 교집합 영역 이외의 영역과 신규 제품 입고 이전의 기존 제품 영역 중 상기 교집합 영역이외의 영역에 대응하는 영역의 유사도를 이용하여 상기 기존 제품의 입출고를 판단할 수 있다(S741).
프로세서(180)는 상기 유사도가 기 설정된 값보다 큰 경우, 상기 기존 물체의 입고 상태를 유지하고, 상기 유사도가 기 설정된 값 이하인 경우, 상기 기존 물체의 출고 상태로 판단할 수 있을 것이다.
프로세서(180)는 상기 과정에서 판단된 입출고 데이터를 데이터 베이스에 저장할 수 있다(S750).
이하 도 8 및 도 9에서 본 개시의 실시 예에 따른 가림 데이터 제거 방법에 대한 예시를 설명한다.
도 8은 본 개시의 실시 예에 따른 i) 신규 제품이 기존 제품을 완전히 가리는 경우를 설명하기 위한 도면이다.
도 8을 참고하면 냉장고의 프로세서(180)는 신규 제품의 크기가 기존 제품의 크기보다 큰 경우(S740-YES) 신규 제품의 위치가 변경될 때까지 임시 데이터베이스에 기존 제품 데이터를 저장할 수 있다(S750).
예를 들어, 이전 시점에서 획득된 냉장고 내부 이미지 데이터(810)에는 기존 물체(811)가 존재할 수 있다. 이후, 현재 시점에서 획득된 냉장고 내부 이미지 데이터(820)에 신규 제품(821)이 입고될 수 있을 것이다.
본 개시의 실시 예에 따른 프로세서(180)는, 기존 물체(811)과 신규 물체(821)의 바운딩 박스를 생성할 수 있다.
그리고, 상기 바운딩 박스의 교집합 영역 정보가 기 설정된 임계값을 초과하는 경우 두 물체는 겹쳐져 있다고 판단할 수 있다.
이하 겹쳐진 상태를 가정하고 설명한다.
본 개시의 실시 예에 따른 프로세서(180)는 기존 제품(811)의 바운딩 박스의 크기와 신규 제품(821)의 바운딩 박스의 크기를 비교할 수 있다.
도 8의 경우, 신규 제품의 바운딩 박스의 크기가 기존 제품의 바운딩 박스의 크기보다 큰 경우 일 수 있다.
냉장고 내부 이미지 데이터(820)에서 검출된 신규 제품(821)의 바운딩 박스가 기존 제품(811)의 바운딩 박스를 완전히 가리는 경우를 의미하므로, 신규 제품의 바운딩 박스의 크기는 기존 제품의 바운딩 박스의 크기보다 크게된다.
본 개시의 실시예에 따른 프로세서는 기존 제품(811)의 입고 상태를 유지하고 상기 신규 제품(821)의 입고로 판단하는 제품 입출고 데이터를 생성할 수 있을 것이다.
그리고 프로세서(180)는 추후 설명할 제품 입출고 데이터 업데이트를 수행할 수 있을 것이다.
도 9는 본 개시의 실시 예에 따른 ii) 신규 제품이 기존 제품의 일부를 가리는 경우를 설명하기 위한 도면이다.
본 개시의 실시 예에 따른 프로세서(180)는 상기 신규 제품의 크기가 기존 제품의 크기보다 작으면(S740-NO), 상기 기존 제품 영역 중 상기 교집합 영역 이외의 영역과 신규 제품 입고 이전의 기존 제품 영역 중 상기 교집합 영역이외의 영역에 대응하는 영역의 유사도를 이용하여 상기 기존 제품의 입출고를 판단할 수 있다(S741).
도 9를 참고하면, 냉장고 내부 이미지 데이터에서 이전 시점에 검출된 기존 제품의 이미지 데이터(910)와 현재 시점에 검출된 기존 제품과 신규 제품이 오버랩된 이미지 데이터(920)를 나타낸다.
신규 제품이 기존 제품의 일부를 가리는 경우는 냉장고 내부 이미지 데이터에서 검출된 신규 제품의 바운딩 박스가 기존 제품의 바운딩 박스를 일부 가리게 되는 경우를 의미하므로, 신규 제품의 바운딩 박스의 크기는 기존 제품의 바운딩 박스의 크기보다 작게 된다.
본 개시의 실시 예에 따른 프로세서(180)는 기존 제품과 신규 제품이 오버랩된 이미지 데이터(920)에서 기존 제품 영역 중 상기 교집합 영역(922,923,924) 이외의 영역(921)과 신규 제품 입고 이전의 기존 제품 영역(910) 중 상기 교집합 영역 이외의 영역에 대응하는 영역(911)의 유사도를 이용하여 상기 기존 제품의 입출고를 판단할 수 있다(S741).
구체적으로 프로세서(180)는 이전 시점에 검출된 기존 제품의 이미지 데이터(910)과 현재 시점에 검출된 기존 제품과 신규 제품이 오버랩된 이미지 데이터(920)를 일정 비율로 나눌 수 있다.
이전 시점에 검출된 기존 제품의 이미지는 교집합 영역 정보의 비율로 분할 될 수 있다. (911 내지 914 참고)
또한, 현재 시점에 검출된 이미지(920)는 교집합 영역 정보의 비율로 분할 될 수 있다. (921 내지 924) 참고)
본 개시의 프로세서는 기존 제품 영역 중 상기 교집합 영역(922,923,924) 이외의 영역(921)과 신규 제품 입고 이전의 기존 제품 영역(910) 중 상기 교집합 영역 이외의 영역에 대응하는 영역(911)의 유사도를 도출할 수 있다.
본 개시의 프로세서(180)는 상기 유사도가 기 설정된 값보다 높은 경우 상기 기존 제품이 출고되지 않음으로 판단하고, 기존 제품의 입고를 유지할 수 있다.
또한, 본 개시의 실시예에 따른 프로세서(180)는 신규 제품의 입고로 판단할 수 있다. 이후 프로세서는 판단된 입출고 데이터를 데이터베이스에 저장할 수 있다(S750).
다시 도 7을 설명한다.
한편, 프로세서는 기존 제품과 신규 제품의 교집합 영역 정보가 기 설정된 임계값 이하인 경우(S730-NO) '가림 없음'으로 판단할 수 있다(S731).
본 개시의 실시 예에 따른 프로세서는 '가림 없음'으로 판단한 경우, 해당 냉장고 내부 이미지 데이터를 제품 가림 데이터에서 제외할 수 있다.
한편, 제품 가림 데이터에서 제외된 데이터는 신뢰도 높은 이미지도 판단되어, S622 및 S623 단계를 거쳐 정제된 제품 입출고 데이터에 업데이트 될 수 있다(S630).
다시 도 6을 설명한다.
본 개시의 실시예에 따른 프로세서(180)는 미/오인식 데이터를 제거하는 과정 중 저품질 이미지 데이터 및 로우 컨피던스(low confidence)데이터를 제거할 수 있다.
먼저 저품질 이미지 데이터를 제거하는 방법(S622)에 대하여 설명한다.
본 개시의 실시 예에 따른 냉장고의 프로세서는 저품질 이미지 데이터를 제거할 수 있다(S622).
이때, 상기 저품질 이미지 데이터는 냉장고의 도어 감지부(142)의 스피드 센서, 상기 냉장고의 조도 센서 및 상기 냉장고 내부 이미지 데이터의 블러(blur) 정도 중 적어도 하나의 값이 기 설정된 기준을 초과하는 경우 획득된 이미지 데이터를 포함할 수 있다.
구체적으로 프로세서(180)는 냉장고 도어 오픈/클로즈에 의해 스피드 센서가 측정한 값이 기 설정된 값을 초과하면, 해당 데이터는 저품질 이미지 데이터로 판단할 수 있다.
또한, 프로세서(180)는 냉장고에 구비된 카메라의 조도 센서가 측정한 값이 기 설정된 값을 초과하는 경우, 해당 데이터는 저품질 이미지 데이터로 판단할 수 있다.
또는 프로세서(180)는 냉장고 내부 이미지 데이터를 공개된 조도값 측정 알고리즘을 이용하여 냉장고 내부 이미지 데이터의 조도값을 측정하고, 해당 조도값이 기 설정된 값을 초과하는 경우 해당 데이터는 저품질 이미지 데이터로 판단할 수 있다.
또한, 프로세서(180)는 공개된 블러값 측정 알고리즘을 이용하여 냉장고 내부 이미지 데이터의 블러값을 측정하고, 해당 블러값이 기 설정된 값을 초과하는 경우 해당 데이터는 저품질 이미지 데이터로 판단할 수 있다.
예를 들어, 사용자가 의미 없이 반복적으로 문 여닫기를 반복하는 경우, 목적없이 냉장고와 연결된 이동 단말기 등을 이용하여 냉장고를 제어하기 위한 어플리케이션을 실행하는 경우에는 냉장고 내부 제품의 입출고가 발생하지 않으므로, 제품 입출고 데이터에는 쓸모없는 노이즈 데이터로 판단하여야 한다.
또한, 냉장고의 도어가 빠른 속도로 오픈/클로즈 되는 경우, 냉장고 도어에 구비된 카메라를 이용하여 획득된 냉장고 내부 이미지 데이터는 제품의 특징을 파악하기 위한 성분이 저조한 저품질 데이터 일 수 있다.
또한, 외부 환경에 의하여 냉장고에 구비된 카메라의 조도센서가 정확하게 제어되지 않는 경우 냉장고 내부 이미지 데이터는 저품질 데이터 일 수 있다.
따라서, 상기 저품질 데이터를 이용하는 경우 동일위치 및 동일 제품에 대하여 다른 인식 결과가 도출될 수 있으므로 제거하는 작업이 필요할 것이다.
이하 로 컨피턴스 데이터를 제거하는 방법에 대하여 설명한다.
본 개시의 실시 예에 따른 프로세서는 상기 냉장고 내부 이미지 데이터 중 로우 컨피던스(low confidence) 데이터를 제거할 수 있다(S623)
본 개시의 실시예에 따른 프로세서(180)는 인식된 제품이 불특정으로 분류되는 불특정 데이터와 인식된 결과가 일관적이지 않은 로우 컨피던스(low confidence) 데이터로 판단하고, 상기 로우 컨피던스 데이터를 제거하여, 획득된 냉장고 내부 이미지 데이터 중 정제된 로그 데이터를 추출할 수 있다.
본 개시의 실시예에 따르면, 로우 컨피던스 데이터를 추출하기 위하여 K-최근접 이웃(K-Nearest Neighbor, KNN) 알고리즘을 사용할 수 있다.
구체적으로 학습기와 기존 제품의 이미지가 라벨링된 학습 데이터를 이용하여 기존 제품들 각각의 벡터를 복수개 생성하고, 촬영한 냉장고 내부 이미지 데이터에서 새로운 제품이 검출되는 경우 상기 새로운 제품의 벡터와 상기 학습기에서 학습된 기존 제품들 각각의 벡터와 유사도를 판단할 수 있다.
이때, 유사도란 벡터들 사이의 거리를 의미하며, 거리가 가까울수록 두 제품이 유사하다고 판단할 수 있다.
여기서, 상기 과정을 K 번 수행하고, K 개의 결과가 기 설정된 값보다 낮은 일관성을 갖는 경우 로우 컨피던스 데이터로 판단할 수 있다.
상기 로우 컨피던스로 판단한 데이터는 냉장고 내부 이미지 데이터에서 제거하여 제품 입출고 데이터 업데이트에 사용하지 않을 수 있다.
본 개시의 실시 예에 따르면, 상기 냉장고 내부 이미지 데이터 중 정제된 냉장고 내부 이미지 데이터를 이용하여 제품 입출고 데이터를 업데이트 하기 위한 신뢰도 높은 데이터를 추출하고 정제된 로그 데이터를 생성할 수 있다(S630).
한편, 정제된 로그 데이터 생성하고 난 이후 본 개시의 실시 예에 따른 프로세서는 임시 입출고 데이터를 제거할 수 있다(S640).
예를 들어, 사용자는 조미료, 소스(예를 들어, 캐첩, 고추장, 잼), 물 등 제품의 출고가 아닌 조리를 위하여 임시적으로 냉장고 외부로 출고하여야할 제품이 있을 수 있다. 이러한 경우를 '임시 입출고'로 정의한다.
이러한 임시 입출고 데이터를 제거하지 않으면, 새 상품으로 입고 및 출고를 판단하게 되는 문제가 발생하므로 아래와 같은 방법을 이용하여 제거하도록 한다.
이하 임시 입출고 데이터를 제거하는 방법을 도 10 내지 도 12에서 설명한다.
도 10은 본 개시의 실시 예에 따른 임시 입출고 데이터를 제거하는 방법을 나타낸 순서도이다.
도 10을 참고하면, 본 개시의 실시 예에 따른 프로세서(180)는 정제된 이미지 데이터 및 상기 정제된 이미지 데이터의 촬영 시간 정보를 이용하여 촬영 시간에 대응하는 제품 정보를 획득할 수 있다(S1010)
예를 들어 도 11을 참고하면 프로세서(180)는 메모리(170) 또는 데이터베이스(171)에 저장된 데이터를 이용하여 촬영 시간 정보에 대응하는 제품 정보를 도 11의 제품 목록(1100)과 같이 생성할 수 있다.
프로세서(180)는 복수개의 정제된 이미지 데이터 중 적어도 하나 이상의 특정 시점에 촬영된 이미지에 포함된 제품 목록을 각각 생성할 수 있다(S1020).
예를 들어 도 11을 참고하면, 본 개시의 실시 예에 따른 프로세서는 정제된 이미지 데이터 중 t1시간에 촬영된 이미지에 포함된 제품 목록(1110)을 생성할 수 있다.
상기와 같은 방식으로 프로세서(180)는 정제된 이미지 데이터 중 t1 내지 t7 시간에 촬영된 이미지에 포함된 제품 목록(1110 ~ 1170)을 각각 생성할 수 있을 것이다.
구체적으로 t1 시간에 촬영된 이미지에 포함된 제품 목록(1110)은 맥주, 맥주, 콜라, 물 및 두유 일 수 있을 것이다. 또한, t2 시간에 촬영된 이미지에 포함된 제품 목록(1120)은 맥주, 맥주, 콜라, 물, 두유 및 두유 일 수 있다.
t3 시간에 촬영된 이미지에 포함된 제품 목록(1130)은 맥주, 맥주, 콜라, 물, 두유, 두유 및 우유 일 수 있다.
위와 같은 방법으로 t4 내지 t7에 동일한 제품 목록이 각각 생성될 수 있다.
한편, 상기 제품 목록(1100)은 예시에 불과하고, 설정에 따라 다양한 시간 및 다양한 제품을 포함할 수 있을 것이다.
본 개시의 실시예에 따른 프로세서(180)는, 적어도 하나 이상의 특정 시점의 제품 목록을 일정 시간 범위내로 그룹화할 수 있다(S1030). 프로세서(180)는 그룹화한 제품 목록을 이용하여 시간, 인식 제품, 재고량 및 재고 변화량을 포함하는 입출고 데이터를 생성할 수 있다(S1040).
이후 프로세서(180)는 프로세서는 현재 시점 이전 시점의 제품 목록 및 재고량 정보와 현재 시점 이후의 제품 목록 및 재고량 정보에 기초하여 생성된 입출고 데이터를 보정할 수 있다(S1050).
구체적으로 프로세서(180)는 현재 시점 이전 시점의 제품 목록 및 재고량 정보와 현재 시점 이후의 제품 목록 및 재고량 정보가 동일한 경우, 현재 시점의 제품 목록 및 재고량 정보를 현재 시점 이전 시점 또는 현재시점 이후 시점과 동일하게 유지할 수 있다. 상기 과정은 이하 도 12에서 설명하도록 한다.
본 개시의 실시 예에 따른 프로세서는 상기 과정을 실시간으로 반복하여, 최종 입출고 데이터를 생성할 수 있다(S650).
이하 구체적 예시를 도 11 및 도 12에서 설명한다.
도 11은 본 개시의 실시 예에 따른 제품 목록을 나타내고, 도 12는 도 11에서 생성된 제품 목록을 이용하여 업데이트할 최종 제품 입출고 데이터를 생성하는 과정을 나타낸 도면이다.
도 12를 참고하면, 프로세서(180)는 도 11에서 생성된 제품 목록(1100)의 특정 시간을 일정 시간 범위로 그룹화할 수 있다. 상기 프로세서(180)는 일정 시간 범위로 그룹화한 데이터를 이용하여 입출고 데이터를 생성할 수 있다.
구체적으로 본 개시의 실시 예에 따르면, 상기 프로세서(180)는 복수개의 내부 이미지 데이터 각각의 촬영 시간을 나타내는 t1 내지 t7을 일정 시간범위 내로 그룹화 할 수 있다(S1030). 프로세서(180)는 그룹화한 데이터를 이용하여 시간, 인식 제품, 재고량 및 재고 변화량을 포함하는 입출고 데이터(1200)를 생성할 수 있다.
예를 들어, 일정 시간 범위가 T 시간(예를 들어 1시간 등)인 경우, 제1 주기의 T 시간 동안 t1의 냉장고 내부 이미지 데이터가 획득될 수 있다.
제2 주기의 T 시간 동안에는 t2, t3 및 t4가 포함될 수 있다.
제 3 주기의 T 시간 동안에는 t5 및 t6 가 포함될 수 있다.
제 4 주기의 T 시간 동안에는 t7이 포함될 수 있다.
프로세서(180)는 t1 시점에 인식 제품 목록은 (맥주, 콜라, 물, 두유)이고, 재고량은 (맥주 2, 콜라 1, 물 1, 두유 1) 이고 재고 변화량은 (맥주+2, 콜라+1, 물+1, 두유+1)로 각각 생성될 수 있다. 상기 데이터를 이용하여 프로세서는 제1 주기의 T 시간 동안 제1 입출고 데이터(1201)를 생성할 수 있다(S1040). 이후, 시간 동안 새로운 데이터가 입력됨에 따라 프로세서(180)는 임시 입출고 데이터를 제거할 수 있을 것이다.
이하 설명한다.
상기 제1 입출고 데이터가 생성된 이후, 제2 주기의 T 시간 동안 t2, t3 및 t4 시점의 냉장고 내부 이미지 데이터가 획득될 수 있다.
프로세서(180)는 t2 시점에 인식 제품 목록은 (맥주, 맥주, 콜라, 물, 두유, 두유, 두유)이고, 재고량은 (맥주 2, 콜라 1, 물 1, 두유 3)일 수 있다.
또한, t3 시점에 인식 제품 목록은 (맥주, 맥주, 콜라, 물, 두유, 두유, 두유) 이고, 재고량은 (맥주 2, 콜라 1, 물 1, 두유 3)일 수 있다.
또한 t4 시점의 인식 제품 목록은 (맥주, 맥주, 콜라, 두유, 두유, 두유) 이고 재고량은 (맥주 2, 콜라 1, 물 0, 두유 3)으로 인식할 수 있다.
프로세서(180)는 상기 제2 주기의 T 시간 동안 t2 내지 t4 시점의 제품 목록 및 재고량을 획득하여, 재고 변화량을 계산할 수 있다.
즉, 프로세서(180)는 제2 주기의 T 시간 동안 제2 입출고 데이터(1202)를 생성할 수 있다(S1040).
이때, 프로세서(180)는 현재 시점 이전 시점의 제품 목록 및 재고량 정보와 현재 시점 이후의 제품 목록 및 재고량 정보에 기초하여 생성된 입출고 데이터를 보정할 수 있다(S1050).
구체적으로 프로세서(180)는 현재 시점 이전 시점의 제품 목록 및 재고량 정보와 현재 시점 이후의 제품 목록 및 재고량 정보가 동일한 경우, 현재 시점의 제품 목록 및 재고량 정보를 현재 시점 이전 시점 또는 현재시점 이후 시점과 동일하게 유지할 수 있다.
예를 들어, t4시점에 대하여 설명한다. 본 개시의 실시 예에 따른 프로세서는 임시 입출고 데이터를 검출하기 위하여 현재시점 t4 이전 시점인 t3 및 현재시점 이후 시점인 t5 시점의 제품 목록 및 재고량 정보를 획득할 수 있다.
프로세서(180)는 t4 시점에서 '물'과 관련하여 재고 변화량이 '-1'이나, t4 시점 이전인 t3 및 t4시점 이후인 t5 시점 각각의 제품 목록 및 재고량 정보를 대비하였을 때, '물'과 관련된 재고량은 '1' 로 '동일'함을 검출할 수 있다.
이 경우, 프로세서(180)는 냉장고에서 임시 입출고로 판단하고 t4 시점의 '물'에 관한 재고량 정보를 t3 또는 t5와 동일하게 유지할 수 있다.
따라서, 제2 T 시간동안 재고 변화량은 (맥주 +0, 콜라 +0, 물+0, 두유 +2)일 수 있다. 상기 데이터를 이용하여 프로세서는 T 시간 동안 제2 입출고 데이터(1202)를 보정할 수 있다.
상기 제2 입출고 데이터(1202)가 보정된 이후, 제3 주기의 T 시간 동안 t5, t6 시점의 냉장고 내부 이미지 데이터가 획득될 수 있다.
본 개시의 실시 예에 따르면 t5 시점에 인식 제품 목록은 (맥주, 맥주, 콜라, 물, 두유, 두유)이고, 재고량은 (맥주 2, 콜라 1, 물 1, 두유 2)일 수 있다.
또한, t6 시점에 인식 제품 목록은 (맥주, 콜라, 두유)이고, 재고량은 (맥주 2, 콜라 1, 두유 3)일 수 있다.
상기 데이터를 이용하여 프로세서는 T 시간 동안 제3 입출고 데이터(1203)를 생성할 수 있다.
프로세서(180)는 상기 제3 T 시간 동안 t5 내지 t6 시점의 제품 목록 및 재고량을 획득하여, 재고 변화량을 계산하고, 이에 따라 생성된 제3 입출고 데이터(1203)를 보정할 수 있다.
앞서 설명한 바와 같이 프로세서는 t6 시점에서 '물'과 관련하여 재고 변화량이 '-1'이나, t6 시점 이전인 t5 및 t6시점 이후인 t7 시점 각각의 제품 목록 및 재고량 정보를 대비하였을 때, '물'과 관련된 재고량은 '1' 로 '동일'함을 검출할 수 있다.
이 경우, 프로세서(180)는 냉장고에서 임시 출고로 판단하고 t6 시점의 '물'에 관한 재고량 정보를 t5 또는 t7와 동일하게 유지할 수 있다.
또한, 프로세서(180)는 t6 시점에서 '두유'과 관련하여 재고 변화량이 '+1'이나, t6 시점 이전인 t5 및 t6시점 이후인 t7 시점 각각의 제품 목록 및 재고량 정보를 대비하였을 때, '두유'과 관련된 재고량은 '2' 로 '동일'함을 검출할 수 있다.
이 경우, 프로세서(180)는 임시 입고로 판단하고 t6 시점의 '두유'에 관한 재고량 정보를 t5 또는 t7와 동일하게 유지할 수 있다.
따라서, 제3 T 시간동안 재고 변화량은 (맥주 +0, 콜라 +0, 물+0, 두유 -1)일 수 있다. 상기 데이터를 이용하여 프로세서는 제3 T 시간 동안 제3 입출고 데이터(1203)를 보정할 수 있다.
마찬가지로 상기 제3 입출고 데이터(1203)가 생성된 이후, 제4 주기의 T 시간 동안 t7 시점의 냉장고 내부 이미지 데이터가 획득될 수 있다.
본 개시의 실시 예에 따르면 t7 시점에 인식 제품 목록은 (맥주, 물, 두유, 두유)이고, 재고량은 (맥주 1, 물 1, 두유 2)일 수 있다.
상기 데이터를 이용하여 프로세서는 제4 주기의 T 시간 동안 제4 입출고 데이터(1204)를 생성할 수 있다.
본 개시의 실시 예에 따른 프로세서는 상기 과정을 실시간으로 반복하여, 임시 입출고 데이터를 제거하고, 최종 입출고 데이터를 생성할 수 있다(S650).
한편 상기 도 12에 최종 입출고 데이터(1200)는 본 개시의 실시예를 실시간으로 설명하기 위한 예시에 불과할 뿐, 상기 예시에 한정되는 것은 아니다.
또한, 본 개시의 실시 예에 따른 프로세서는 임시 입출고 데이터에 해당하는지 여부를 판단하는 경우, 식품 카테고리 별 소비 특성에 기초하여 임시 입출고 데이터를 판단할지 결정하는 것이 바람직할 것이다.
예를 들어, 프로세서는 각종 소스, 물, 음료, 향신료 등 임시 입출고 제품 목록을 미리 획득하고, 획득된 임시 입출고 제품 목록에 해당하는 제품에 대해서만 임시 입출고를 판단할 수 있다.
다시 도 6를 설명한다.
본 개시의 실시 예에 따른 프로세서는 최종 제품 입출고 데이터를 생성하고 나면(S650) 생성된 제품 입출고 데이터를 이용하여 사용자 데이터베이스를 구축할 수 있다(S660).
이때, 사용자 데이터베이스는 앞서 설명한 바와 같이, 시간에 따른 냉장고 내부 제품, 재고량 및 재고 변화량에 대한 정보를 포함할 수 있을 것이다.
구체적으로 본 개시의 실시예에 따른 프로세서(180)는 업데이트된 제품 재고 정보를 이용하여 특정 시간, 특정 스케줄에서 제1 제품과 함께 제2 제품이 출고되었음을 알 수 있다.
따라서 프로세서(180)는 제1 제품과 제2 제품이 함께 소비되는 것을 알 수 있으며, 이에 따른 사용자에게 개인화된 데이터베이스를 생성할 수 있을 것이다.
생성된 사용자 데이터베이스는 메모리에 저장될 수 있다. 또한 생성된 사용자 데이터베이스는 외부장치, 이동단말기 및 서버 등 다양한 장치로 전송되어 활용가능 할 것이다.
한편 본 개시의 실시 예에는 냉장고의 프로세서가 수행하는 것으로 설명하였으나, 냉장고 또는 이동 단말기의 특정 명령에 의하여 획득된 냉장고 내부 이미지 데이터를 서버에서 수집하고, 서버에 구비된 프로세서가 상기 과정을 수행하여 데이터베이스를 생성하고, 생성된 데이터 베이스를 냉장고, 외부장치 및 이동 단말기 등으로 전송하는 것 또한 가능할 것이다.
이하 본 개시의 실시예에 따른 데이터베이스 사용 예시를 도 13 내지 도 15에서 설명한다.
도 13은 본 개시의 실시 예에 따른 제품의 재고 목록 변화량을 나타낸 예시 도면이고, 도 14는 본 개시의 실시 예에 따른 제품 변화량 평균을 나타낸 예시 도면이고, 도 15는 본 개시의 실시 예에 따른 제품 소비 정보를 나타낸 예시 도면이다.
도 13을 참고하면, 프로세서(180)는 특정 요일에 대한 재고 목록 변화량을 생성할 수 있다.
구체적으로 데이터 베이스는 제품 사용 시간(월/일/요일/시간대) 마다 입고 또는 출고되는 제품에 대한 정보가 포함된 시간 데이터, 요일 또는 시간 대 별 구매 필요 식품 추천, 해당 식품의 소비 주기에 대한 정보가 포함된 유통 데이터, 특정 식품과 동시에 입/출고되는 제품에 대한 정보가 포함된 제품 데이터 및 선호 레시피, 선호 식품 조합, 섭취 영양소/비타민 추적할 수 있을 것이다.
또한, 특정 시간 대에 많이 소비되는 제품 파악하여 특정 상품을 추천해주는 서비스 또한 제공할 수 있을 것이다.
도 14를 참고하면, 냉장고에서 출고되는 제품 중 함께 출고되어지는 제품에 대한 정보를 포함하여 쇼핑 정보를 생성할 수 있을 것이다.
도 15를 참고하면, 본 개시의 실시예에 따른 프로세서는 업데이트된 제품 재고 정보를 이용하여 특정 시간, 특정 스케줄에서 제1 제품과 함께 제2 제품이 출고되었음을 알 수 있다.
따라서 프로세서는 제1 제품과 제2 제품이 함께 소비되는 것을 알 수 있으며, 이에 따른 사용자의 개인화된 데이터베이스를 생성할 수 있을 것이다. 뿐만 아니라 상기 데이터베이스를 타 장치에 제공하여 추천 쇼핑정보 제안 또한 가능할 것이다.
예를 들어, 사용자가 사용하는 냉장고 내 제품 인식기능이 문 여닫기 또는 이동 단말기를 통한 어플리케이션 구동(Refresh) 후, 촬영되는 냉장고 내부 이미지 데이터를 기반으로 제품에 대한 데이터 축적 및 재고리스트 업데이트가 진행될 수 있다.
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 프로세서(180)를 포함할 수도 있다.

Claims (20)

  1. 냉장고의 제품 입출고 데이터를 관리하는 방법에 있어서,
    상기 냉장고에 구비된 카메라를 이용하여 냉장고 내부 이미지 데이터를 획득하는 단계;
    상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하는 단계;
    상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하는 단계; 및
    업데이트된 제품 입출고 데이터에 기초하여 사용자 데이터베이스를 생성하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  2. 제 1항에 있어서,
    상기 냉장고에 구비된 카메라를 이용하여 상기 냉장고 내부 이미지 데이터를 획득하는 단계는,
    외부장치로부터 촬영 명령이 수신되거나 냉장고 도어가 오픈 또는 클로즈되면, 상기 카메라를 이용하여 상기 냉장고 내부 이미지 데이터를 획득하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  3. 제 1항에 있어서,
    상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하는 단계는,
    상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거하는 단계, 로우 컨피던스(low confidence) 데이터를 제거하는 단계 및 제품 가림 데이터를 제거하는 단계 중 적어도 하나를 포함하는,
    냉장고 제품 입출고 관리 방법.
  4. 제 3항에 있어서
    상기 저품질 데이터는,
    상기 냉장고의 스피드 센서, 상기 냉장고의 조도 센서 및 상기 냉장고 내부 이미지 데이터의 블러(blur) 정도 중 적어도 하나의 값이 기 설정된 기준을 초과하는 경우 획득된 이미지 데이터를 포함하는,
    냉장고 제품 입출고 관리 방법.
  5. 제 3항에 있어서
    상기 로우 컨피던스 데이터를 제거하는 단계는,
    기존 데이터와 비교하여, 인식된 제품의 유사도가 기 설정된 값보다 낮은 경우 로우 컨피던스 데이터로 판단하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  6. 제 3항에 있어서,
    상기 제품 가림 데이터를 제거하는 단계는
    신규 제품을 검출하는 단계;
    신규 제품과 기존 제품의 교집합 영역 정보를 추출하는 단계;
    상기 교집합 영역 정보가 기 설정된 값보다 큰 경우,
    상기 신규 제품의 크기가 기존 제품의 크기보다 크면, 상기 기존 제품의 입고 상태를 유지하고 상기 신규 제품의 입고로 판단하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  7. 제 3항에 있어서,
    상기 제품 가림 데이터를 제거하는 단계는
    신규 제품 영역을 검출하는 단계;
    상기 신규 제품 영역과 기존 제품 영역의 교집합 영역 정보를 추출하는 단계;
    상기 교집합 영역 정보가 기 설정된 값보다 큰 경우,
    상기 신규 제품 영역의 크기가 기존 제품 영역의 크기보다 작으면, 상기 기존 제품 영역 중 교집합 영역 이외의 영역과 신규 제품 입고 이전의 기존 제품 영역 중 상기 교집합 영역 이외의 영역에 대응하는 영역의 유사도를 이용하여 상기 기존 제품의 입출고를 판단하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  8. 제 7항에 있어서,
    상기 유사도를 이용하여 상기 기존 제품의 입출고를 판단하는 단계는,
    상기 유사도가 기 설정된 값보다 큰 경우, 상기 기존 제품의 입고 상태를 유지하고, 상기 유사도가 기 설정된 값 이하인 경우, 상기 기존 제품의 출고 상태로 판단하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  9. 제 3항에 있어서,
    상기 제품 가림 데이터를 제거하는 단계는
    신규 제품을 검출하는 단계;
    신규 제품과 기존 제품의 교집합 영역을 추출하는 단계;
    상기 교집합 영역 정보가 기 설정된 값보다 이하일 경우, 상기 제품 가림 데이터에서 제외하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  10. 제 1항에 있어서,
    상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 최종 제품 입출고 데이터를 생성하는 단계를 더 포함하는,
    냉장고 제품 입출고 관리 방법.
  11. 제 10항에 있어서,
    상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 상기 최종 제품 입출고 데이터를 생성하는 단계는,
    신뢰도 높은 데이터 및 촬영시간 정보를 이용하여 적어도 하나 이상의 특정 시점에 촬영된 이미지에 포함된 제품 목록을 각각 생성하는 단계;
    상기 특정 시점의 제품 목록을 일정 주기로 그룹화하는 단계;
    상기 그룹화한 제품 목록을 이용하여 입출고 데이터를 생성하는 단계 및
    생성된 입출고 데이터를 보정하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  12. 제 11항에 있어서,
    상기 생성된 입출고 데이터를 보정하는 단계는,
    현재 시점 이전의 제품 목록 및 재고량 정보와 현재 시점 이후의 제품 목록 및 재고량 정보가 동일한 경우, 상기 현재 시점의 제품 목록 및 재고량 정보를 상기 현재 시점 이전 또는 현재시점 이후 시점과 동일하게 유지하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  13. 제 11항에 있어서,
    생성된 입출고 데이터를 보정하는 단계는,
    상기 제품이 임시 입출고 제품 목록에 포함되는지 판단하는 단계를 더 포함하는,
    냉장고 제품 입출고 관리 방법.
  14. 제 1항에 있어서,
    상기 사용자 데이터베이스를 이용하여, 제품의 재고 목록 변화량, 제품 변화량 평균 및 제품 소비 정보를 생성하고, 생성된 정보를 이용하여 사용자 맞춤형 쇼핑을 제공하는 단계를 포함하는,
    냉장고 제품 입출고 관리 방법.
  15. 통신부;
    입출고 데이터를 저장하는 메모리;
    냉장고 내부 이미지 데이터를 획득하는 카메라;
    상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하고, 상기 신뢰도 높은 데이터에기초하여 제품 입출고 데이터를 업데이트하고 업데이트된 제품 입출고 데이터에 기초하여 냉장고 입출고 데이터베이스를 생성하는 프로세서를 포함하는,
    냉장고.
  16. 제 15항에 있어서,
    상기 프로세서는 상기 통신부를 통하여 외부장치와 통신하고, 상기 외부장치로부터 촬영 명령이 수신되거나 냉장고 도어가 오픈 또는 클로즈되면, 상기 카메라를 이용하여 상기 냉장고 내부 이미지 데이터를 획득하는,
    냉장고.
  17. 제 15항에 있어서,
    상기 프로세서는 상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거, 로우 컨피던스(low confidence) 데이터를 제거 및 제품 가림 데이터를 제거 중 적어도 하나를 수행하여 상기 신뢰도 높은 데이터를 추출하는,
    냉장고.
  18. 제 15항에 있어서,
    상기 프로세서는 상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 최종 제품 입출고 데이터를 생성하는,
    냉장고.
  19. 냉장고과 통신하는 서버를 포함하는 제품 입출고 관리 시스템이 있어서,
    상기 냉장고는 통신부, 입출고 데이터를 저장하는 메모리, 냉장고 내부 이미지 데이터를 획득하는 카메라 및 프로세서 포함하고,
    상기 서버는 상기 냉장고와 통신하는 통신부;
    상기 통신부를 통해 상기 냉장고 내부 이미지 데이터를 획득하고 사용자 데이터베이스를 생성하는 프로세서를 포함하고,
    상기 서버의 프로세서는, 상기 냉장고 내부 이미지 데이터 중 신뢰도 높은 데이터를 추출하고, 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하고 업데이트된 제품 입출고 데이터에 기초하여 냉장고 입출고 데이터베이스를 생성하는,
    시스템.
  20. 제 19항에 있어서,
    상기 서버의 프로세서는
    상기 냉장고 내부 이미지 데이터 중 저품질 데이터를 제거, 로우 컨피던스(low confidence) 데이터를 제거 및 제품 가림 데이터를 제거 중 적어도 하나를 수행하여 상기 신뢰도 높은 데이터를 추출하고, 상기 신뢰도 높은 데이터에 기초하여 제품 입출고 데이터를 업데이트하고, 상기 업데이트된 제품 입출고 데이터 중 임시 입출고 데이터를 제거하여 최종 제품 입출고 데이터를 생성하는,
    시스템.
PCT/KR2021/009715 2021-07-27 2021-07-27 제품 재고를 관리하기 위한 냉장고 및 그 방법 WO2023008595A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2021/009715 WO2023008595A1 (ko) 2021-07-27 2021-07-27 제품 재고를 관리하기 위한 냉장고 및 그 방법
KR1020237039978A KR20230175257A (ko) 2021-07-27 2021-07-27 제품 재고를 관리하기 위한 냉장고 및 그 방법
US18/578,046 US20240328709A1 (en) 2021-07-27 2021-07-27 Refrigerator for managing product stock and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/009715 WO2023008595A1 (ko) 2021-07-27 2021-07-27 제품 재고를 관리하기 위한 냉장고 및 그 방법

Publications (1)

Publication Number Publication Date
WO2023008595A1 true WO2023008595A1 (ko) 2023-02-02

Family

ID=85087044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009715 WO2023008595A1 (ko) 2021-07-27 2021-07-27 제품 재고를 관리하기 위한 냉장고 및 그 방법

Country Status (3)

Country Link
US (1) US20240328709A1 (ko)
KR (1) KR20230175257A (ko)
WO (1) WO2023008595A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법
JP2019070475A (ja) * 2017-10-06 2019-05-09 パナソニックＩｐマネジメント株式会社 冷蔵庫
JP2019168134A (ja) * 2018-03-22 2019-10-03 三菱電機株式会社 冷蔵庫システム
US20200033052A1 (en) * 2019-03-29 2020-01-30 Lg Electronics Inc. Refrigerator and method for managing articles in refrigerator
KR20200051283A (ko) * 2018-11-05 2020-05-13 삼성전자주식회사 식품 관리 시스템, 서버 장치 및 냉장고

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법
JP2019070475A (ja) * 2017-10-06 2019-05-09 パナソニックＩｐマネジメント株式会社 冷蔵庫
JP2019168134A (ja) * 2018-03-22 2019-10-03 三菱電機株式会社 冷蔵庫システム
KR20200051283A (ko) * 2018-11-05 2020-05-13 삼성전자주식회사 식품 관리 시스템, 서버 장치 및 냉장고
US20200033052A1 (en) * 2019-03-29 2020-01-30 Lg Electronics Inc. Refrigerator and method for managing articles in refrigerator

Also Published As

Publication number Publication date
KR20230175257A (ko) 2023-12-29
US20240328709A1 (en) 2024-10-03

Similar Documents

Publication Publication Date Title
WO2021010509A1 (ko) 인공지능 조리 기기
WO2021006366A1 (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2021006404A1 (ko) 인공지능 서버
WO2020213750A1 (ko) 객체를 인식하는 인공 지능 장치 및 그 방법
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2021029457A1 (ko) 사용자에게 정보를 제공하는 인공 지능 서버 및 그 방법
WO2020091210A1 (en) System and method of integrating databases based on knowledge graph
WO2021125453A1 (ko) 인공 지능 냉장고
WO2019107945A1 (en) Method of providing service based on location of sound source and speech recognition device therefor
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2021091030A1 (en) Artificial intelligence cooking device
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2019135621A1 (ko) 영상 재생 장치 및 그의 제어 방법
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2020184748A1 (ko) 교통 정보에 기반한 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
WO2020246640A1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
WO2021172642A1 (ko) 장치 간 연동에 기초한 장치 제어 기능을 제공하는 인공 지능 장치 및 그 방법
WO2021137345A1 (ko) 인공 지능 냉장고 및 그의 동작 방법
WO2022080517A1 (ko) 학습 데이터를 생성하는 인공 지능 장치 및 방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020241920A1 (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
WO2021215547A1 (ko) 스마트 홈 장치 및 방법
WO2021020621A1 (ko) 인공지능 무빙 에이전트
WO2020246647A1 (ko) 인공 지능 시스템의 동작을 관리하는 인공 지능 장치 및 그 방법
WO2020184753A1 (ko) 음성 추출 필터를 이용하여 음성 제어를 수행하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21951965

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237039978

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237039978

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 18578046

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21951965

Country of ref document: EP

Kind code of ref document: A1