WO2023101067A1 - 인공 지능 청소기 및 그의 동작 방법 - Google Patents

인공 지능 청소기 및 그의 동작 방법 Download PDF

Info

Publication number
WO2023101067A1
WO2023101067A1 PCT/KR2021/018231 KR2021018231W WO2023101067A1 WO 2023101067 A1 WO2023101067 A1 WO 2023101067A1 KR 2021018231 W KR2021018231 W KR 2021018231W WO 2023101067 A1 WO2023101067 A1 WO 2023101067A1
Authority
WO
WIPO (PCT)
Prior art keywords
cleaning
artificial intelligence
path
intelligence cleaner
cleaner
Prior art date
Application number
PCT/KR2021/018231
Other languages
English (en)
French (fr)
Inventor
채종훈
맹지찬
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020247017761A priority Critical patent/KR20240110586A/ko
Priority to PCT/KR2021/018231 priority patent/WO2023101067A1/ko
Publication of WO2023101067A1 publication Critical patent/WO2023101067A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/644—Optimisation of travel parameters, e.g. of energy consumption, journey time or distance
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/648—Performing a task within a working area or space, e.g. cleaning
    • G05D1/6482—Performing a task within a working area or space, e.g. cleaning by dividing the whole area or space in sectors to be processed separately
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing

Definitions

  • the present invention relates to an artificial intelligence cleaner and an operating method thereof. Specifically, the present invention relates to an artificial intelligence cleaner that corrects a cleaning path by applying path simplification when an abnormal situation occurs during cleaning.
  • a robot cleaner is a device that automatically cleans by sucking foreign substances such as dust from the floor while traveling on its own in an area to be cleaned without a user's manipulation. Such a robot cleaner sets a cleaning path according to a built-in program, and performs a cleaning operation while traveling along the set cleaning path.
  • a robot cleaner does not consider the entire cleaning area, but considers only an environment of a certain radius (eg, a radius of 25 cm) based on the cleaner, and proceeds with cleaning while avoiding obstacles when there is an obstacle. For this reason, the robot cleaner often gets lost every time in an area where it was lost before, such as an area where cleaning takes a long time or an area where it repeatedly bumps into obstacles. For example, in areas with many obstacles, cleaning may take a lot of time or movement may be restricted, resulting in restrictions. Also, some areas are cleaned more than others.
  • a certain radius eg, a radius of 25 cm
  • the present invention aims to solve the foregoing and other problems.
  • An object of the present invention is to provide an artificial intelligence cleaner and an operating method thereof for correcting a cleaning path by applying path simplification to the cleaning path when an abnormal situation occurs while the artificial intelligence cleaner is cleaning.
  • the present invention is intended to provide an artificial intelligence cleaner and an operating method thereof for modifying a cleaning path by identifying at least one candidate region capable of path simplification and applying path simplification based on the importance of the at least one candidate region.
  • An artificial intelligence cleaner comprising: a memory for storing a simultaneous localization and mapping (SLAM) map of a cleaning space; a driving driving unit driving the artificial intelligence cleaner; and a processor determining a cleaning path of the artificial intelligence cleaner based on the SLAM map and controlling the driving unit according to the determined cleaning path, wherein the processor detects an abnormal situation while cleaning is in progress based on the determined cleaning path.
  • SLAM simultaneous localization and mapping
  • an artificial intelligence cleaner that corrects a cleaning path by applying path simplification to a predetermined area among remaining cleaning areas when an abnormal situation occurs.
  • the processor identifies at least one candidate area capable of path simplification among the remaining cleaning areas, determines a priority of the at least one candidate area, and determines the preset area based on the priority. characterized by
  • the processor is characterized in that the path simplification is applied starting from the region of low importance.
  • the importance is characterized in that it is determined based on the number of vertices compared to a predetermined area based on the SLAM map.
  • the processor may predict a cleaning completion time relative to a remaining cleaning area based on the modified cleaning path.
  • the processor may predict the cleaning completion time based on the reduced wheel rotation number after applying the path simplification.
  • the abnormal situation may be a situation in which the remaining battery power of the artificial intelligence cleaner is insufficient, and the processor may calculate a time insufficient compared to the remaining cleaning area based on the remaining battery amount.
  • the processor inputs the cleaning route, the SLAM map, and cleaning history to a region classification model learned using a machine learning algorithm or a deep learning algorithm, obtains map data as a result, and converts the obtained map data to It is characterized in that the cleaning path is modified by using the cleaning path, and the learned area classification model is composed of an artificial neural network.
  • a method of operating an artificial intelligence cleaner includes collecting a plurality of cleaning histories of a cleaning space; dividing the cleaning space into a plurality of cleaning areas using a simultaneous localization and mapping (SLAM) map of the cleaning space and the collected cleaning histories; determining a cleaning path of the artificial intelligence cleaner in consideration of the divided cleaning areas; controlling a driving driving unit to drive the artificial intelligence cleaner according to the determined cleaning path; and correcting the cleaning path by applying path simplification to a predetermined area among the remaining cleaning areas, when an abnormal situation occurs during the cleaning process based on the determined cleaning path. to provide.
  • SLAM simultaneous localization and mapping
  • the method of operating the artificial intelligence cleaner includes collecting a plurality of cleaning histories of a cleaning space; dividing the cleaning space into a plurality of cleaning areas using a simultaneous localization and mapping (SLAM) map of the cleaning space and the collected cleaning histories; determining a cleaning path of the artificial intelligence cleaner in consideration of the divided cleaning areas; controlling a driving driving unit to drive the artificial intelligence cleaner according to the determined cleaning path; and modifying the cleaning path by applying path simplification to a predetermined area among the remaining cleaning areas, when an abnormal situation occurs during the cleaning process based on the determined cleaning path.
  • SLAM simultaneous localization and mapping
  • the artificial intelligence cleaner according to an embodiment of the present invention has an advantage of increasing user usability and convenience by minimizing user intervention and intelligently adjusting detailed paths according to abnormal situations.
  • FIG. 1 is a block diagram showing the configuration of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 2 is a perspective view of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 3 is a bottom view of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the configuration of an artificial neural network learning device according to an embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of a deep learning-based cleaning area classification model according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a cleaning mode of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an operating method of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 8 is a diagram explaining a path simplification method of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 9 is a diagram explaining a path simplification method of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an operation method of an artificial intelligence cleaner according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an operation method of an artificial intelligence cleaner according to another embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating an operation method of an artificial intelligence cleaner according to another embodiment of the present invention.
  • AI Artificial intelligence
  • artificial intelligence does not exist by itself, but is directly or indirectly related to other fields of computer science.
  • attempts to introduce artificial intelligence elements in various fields of information technology and use them to solve problems in those fields are being actively made.
  • Machine learning is a branch of artificial intelligence, a field of study that gives computers the ability to learn without being explicitly programmed.
  • machine learning can be said to be a technology that studies and builds a system that learns based on empirical data, makes predictions, and improves its own performance, as well as algorithms for it.
  • Machine learning algorithms build specific models to make predictions or decisions based on input data, rather than executing rigidly defined, static program instructions.
  • 'machine learning' may be used interchangeably with the term 'machine learning'.
  • a decision tree is an analysis method that performs classification and prediction by charting decision rules in a tree structure.
  • Bayesian network is a model that expresses a stochastic relationship (conditional independence) among multiple variables in a graph structure. Bayesian networks are suitable for data mining through unsupervised learning.
  • a support vector machine is a supervised learning model for pattern recognition and data analysis, and is mainly used for classification and regression analysis.
  • An artificial neural network is an information processing system in which a plurality of neurons called nodes or processing elements are connected in the form of a layer structure by modeling the operating principle of biological neurons and the connection relationship between neurons.
  • An artificial neural network is a model used in machine learning, a statistical learning algorithm inspired by neural networks in biology (particularly the brain in the central nervous system of animals) in machine learning and cognitive science.
  • an artificial neural network may refer to an overall model that has problem-solving ability by changing synapse coupling strength through learning of artificial neurons (nodes) that form a network by synapse coupling.
  • artificial neural network may be used interchangeably with the term neural network.
  • An artificial neural network may include a plurality of layers, and each of the layers may include a plurality of neurons.
  • the artificial neural network may include neurons and synapses connecting neurons.
  • Artificial neural networks generally use the following three factors: (1) connection patterns between neurons in different layers, (2) a learning process that updates the weights of connections, and (3) an output value from the weighted sum of the inputs received from the previous layer. It can be defined by the activation function you create.
  • Artificial neural networks may include network models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Bidirectional Recurrent Deep Neural Network (BRDNN), Multilayer Perceptron (MLP), and Convolutional Neural Network (CNN). , but not limited thereto.
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • MLP Multilayer Perceptron
  • CNN Convolutional Neural Network
  • 'layer' may be used interchangeably with the term 'layer'.
  • Artificial neural networks are classified into single-layer neural networks and multi-layer neural networks according to the number of layers.
  • a typical single-layer neural network consists of an input layer and an output layer.
  • a general multilayer neural network is composed of an input layer, one or more hidden layers, and an output layer.
  • the input layer is a layer that accepts external data.
  • the number of neurons in the input layer is the same as the number of input variables.
  • the hidden layer is located between the input layer and the output layer. do.
  • the output layer receives a signal from the hidden layer and outputs an output value based on the received signal.
  • the input signal between neurons is multiplied by each connection strength (weight) and then summed. If this sum is greater than the neuron's threshold, the neuron is activated and outputs the output value obtained through the activation function.
  • a deep neural network including a plurality of hidden layers between an input layer and an output layer may be a representative artificial neural network implementing deep learning, which is a type of machine learning technology.
  • the term 'deep learning' may be used interchangeably with the term 'deep learning'.
  • the artificial neural network may be trained using training data.
  • learning may refer to a process of determining parameters of an artificial neural network using learning data in order to achieve a purpose such as classification, regression analysis, or clustering of input data.
  • parameters of an artificial neural network a weight assigned to a synapse or a bias applied to a neuron may be cited.
  • An artificial neural network learned from training data may classify or cluster input data according to a pattern of the input data.
  • an artificial neural network trained using training data may be referred to as a trained model in this specification.
  • Learning methods of artificial neural networks can be largely classified into supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning.
  • Supervised learning is a method of machine learning to infer a function from training data.
  • outputting a continuous value is called regression analysis, and predicting and outputting the class of an input vector is called classification.
  • an artificial neural network is trained under a given label for training data.
  • the label may mean a correct answer (or a result value) to be inferred by the artificial neural network when training data is input to the artificial neural network.
  • an answer (or a result value) to be inferred by an artificial neural network is referred to as a label or labeling data.
  • labeling labeling data on training data is referred to as labeling labeling data on training data.
  • training data and labels corresponding to the training data constitute one training set, and may be input to the artificial neural network in the form of a training set.
  • the training data represents a plurality of features
  • labeling the training data with a label may mean that a label is attached to a feature represented by the training data.
  • the training data may represent the characteristics of the input object in the form of a vector.
  • the artificial neural network may use the training data and the labeling data to infer a function for a correlation between the training data and the labeling data.
  • parameters of the artificial neural network may be determined (optimized) through evaluation of the function inferred from the artificial neural network.
  • Unsupervised learning is a type of machine learning in which labels are not given to the training data.
  • unsupervised learning may be a learning method for learning an artificial neural network to find and classify a pattern in training data itself rather than an association between training data and a label corresponding to the training data.
  • unsupervised learning examples include clustering or independent component analysis.
  • 'clustering' may be used interchangeably with the term 'clustering'.
  • Examples of artificial neural networks using unsupervised learning include a Generative Adversarial Network (GAN) and an Autoencoder (AE).
  • GAN Generative Adversarial Network
  • AE Autoencoder
  • a generative adversarial network is a machine learning method in which two different artificial intelligences, a generator and a discriminator, compete to improve performance.
  • the generator is a model that creates new data and can generate new data based on original data.
  • the discriminator is a model that recognizes data patterns, and can play a role in discriminating whether input data is original data or fake data generated by a generator.
  • the generator learns by receiving data that has not deceived the discriminator, and the discriminator can learn by receiving deceived data from the generator. Accordingly, the generator can evolve to deceive the discriminator as best as possible, and the discriminator can evolve to distinguish well between the original data and the data generated by the generator.
  • An autoencoder is a neural network that aims to reproduce the input itself as an output.
  • An auto-encoder includes an input layer, at least one hidden layer, and an output layer.
  • the data output from the hidden layer goes into the output layer.
  • the number of nodes in the output layer is greater than the number of nodes in the hidden layer, the dimensionality of data increases, and accordingly, decompression or decoding is performed.
  • the autoencoder adjusts the connection strength of neurons through learning, so that input data is expressed as hidden layer data.
  • information is expressed with fewer neurons than in the input layer, and being able to reproduce input data as an output may mean that the hidden layer discovered and expressed a hidden pattern from the input data.
  • Quasi-supervised learning is a type of machine learning and may refer to a learning method using both labeled training data and unlabeled training data.
  • Reinforcement learning is a theory that if an agent is given an environment in which it can judge what action to take every moment, it can find the best way through experience without data.
  • Reinforcement learning may be performed mainly by a Markov Decision Process (MDP).
  • MDP Markov Decision Process
  • the structure of an artificial neural network is specified by model configuration, activation function, loss function or cost function, learning algorithm, optimization algorithm, etc., and hyperparameters are set in advance before learning.
  • the model parameter (Model Parameter) is set through learning, so that the content can be specified.
  • factors determining the structure of an artificial neural network may include the number of hidden layers, the number of hidden nodes included in each hidden layer, an input feature vector, a target feature vector, and the like.
  • Hyperparameters include various parameters that must be initially set for learning, such as initial values of model parameters. And, the model parameters include several parameters to be determined through learning.
  • the hyperparameters may include an initial value of weight between nodes, an initial value of bias between nodes, a mini-batch size, a number of training iterations, a learning rate, and the like.
  • model parameters may include weights between nodes, biases between nodes, and the like.
  • the loss function may be used as an index (reference) for determining optimal model parameters in the learning process of an artificial neural network.
  • learning means a process of manipulating model parameters to reduce a loss function, and the purpose of learning can be seen as determining model parameters that minimize a loss function.
  • the loss function may mainly use mean squared error (MSE) or cross entropy error (CEE), but the present invention is not limited thereto.
  • MSE mean squared error
  • CEE cross entropy error
  • Cross entropy error can be used when the correct answer label is one-hot encoded.
  • One-hot encoding is an encoding method in which the correct answer label value is set to 1 only for neurons corresponding to the correct answer, and the correct answer label value is set to 0 for neurons with no correct answer.
  • learning optimization algorithms can be used to minimize the loss function, and learning optimization algorithms include Gradient Descent (GD), Stochastic Gradient Descent (SGD), Momentum ), NAG (Nesterov Accelerate Gradient), Adagrad, AdaDelta, RMSProp, Adam, and Nadam.
  • Gradient Descent GD
  • Stochastic Gradient Descent SGD
  • Momentum Momentum
  • NAG Nesterov Accelerate Gradient
  • Adagrad AdaDelta
  • RMSProp Adam
  • Adam and Nadam.
  • Gradient descent is a technique that adjusts model parameters in the direction of reducing the value of the loss function by considering the slope of the loss function in the current state.
  • a direction for adjusting model parameters is called a step direction, and a size for adjusting the model parameters is called a step size.
  • the step size may mean a learning rate.
  • a gradient may be obtained by partially differentiating a loss function with each model parameter, and the model parameters may be updated by changing the model parameters in the direction of the obtained gradient by a learning rate.
  • Stochastic gradient descent is a technique that increases the frequency of gradient descent by dividing training data into mini-batches and performing gradient descent for each mini-batch.
  • Adagrad, AdaDelta, and RMSProp are techniques that increase optimization accuracy by adjusting the step size in SGD.
  • momentum and NAG are techniques that increase optimization accuracy by adjusting the step direction.
  • Adam is a technique that increases optimization accuracy by adjusting the step size and step direction by combining momentum and RMSProp.
  • Nadam is a technique that increases optimization accuracy by adjusting the step size and step direction by combining NAG and RMSProp.
  • the learning speed and accuracy of an artificial neural network are characterized by being largely dependent on hyperparameters as well as the structure of the artificial neural network and the type of learning optimization algorithm. Therefore, in order to obtain a good learning model, it is important to set appropriate hyperparameters as well as to determine an appropriate artificial neural network structure and learning algorithm.
  • hyperparameters are experimentally set to various values to train the artificial neural network, and as a result of learning, the optimal values are set to provide stable learning speed and accuracy.
  • FIG. 1 is a block diagram showing the configuration of an artificial intelligence cleaner 100 according to an embodiment of the present invention.
  • an artificial intelligence cleaner 100 includes an image sensor 110, a microphone 120, an obstacle detection unit 130, a wireless communication unit 140, a memory 150, a driving It may include a driving unit 170 and a processor 190 .
  • the artificial intelligence cleaner 100 may be referred to as a terminal 100.
  • the image sensor 110 may acquire image data about the surroundings of the artificial intelligence cleaner 100 .
  • the image sensor 110 may include one or more of a depth sensor 111 and an RGB sensor 113 .
  • the depth sensor 111 may sense that light emitted from a light emitting unit (not shown) is reflected back to an object.
  • the depth sensor 111 may measure a distance to an object based on a time difference in detecting returned light, an amount of returned light, and the like.
  • the depth sensor 111 may obtain 2D image information or 3D image information about the surroundings of the cleaner 100 based on the measured distance between objects.
  • the RGB sensor 113 may obtain color image information about objects around the cleaner 100 .
  • the color image information may be a photographed image of an object.
  • the RGB sensor 113 may be referred to as an RGB camera.
  • the microphone 120 may receive a user's voice. Intent information of the received user's voice may be analyzed through a voice server (not shown) or the like.
  • the user's voice may be a voice for controlling the artificial intelligence cleaner 100.
  • the obstacle detection unit 130 may include an ultrasonic sensor, an infrared sensor, a laser sensor, and the like.
  • the obstacle detector 130 may radiate laser light to the cleaning area and extract a pattern of the reflected laser light.
  • the obstacle detection unit 130 may detect an obstacle based on the location and pattern of the extracted laser light.
  • the configuration of the obstacle detector 130 may be omitted.
  • the wireless communication unit 140 may include at least one of a wireless Internet module and a short-range communication module.
  • the mobile communication module complies with technical standards or communication methods for mobile communication (eg, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc.) to transmit and receive radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV-DO Enhanced Voice-Data Optimized or Enhanced Voice-Data Only
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • the wireless Internet module refers to a module for wireless Internet access, and may be built into or external to the terminal 100 .
  • the wireless Internet module is configured to transmit and receive radio signals in a communication network based on wireless Internet technologies.
  • Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), and the like.
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Wireless Fidelity
  • Direct Wireless Internet technologies
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution-Advanced
  • LTE-A Long Term Evolution-Advanced
  • the short-range communication module is for short-range communication, and includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC). Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technologies may be used to support short-distance communication.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Direct Wireless USB (Wireless Universal Serial Bus) technologies may be used to support short-distance communication.
  • the memory 150 may store a SLAM map created through a simultaneous localization and mapping (SLAM) algorithm.
  • SLAM simultaneous localization and mapping
  • the movement detection sensor 160 may detect movement of the artificial intelligence cleaner 100 . Specifically, the movement detection sensor 160 may detect that the artificial intelligence cleaner 100 is lifted and moved by the user.
  • the movement detection sensor 160 may include one or more of a floor detection sensor 161 and a gyro sensor 163 .
  • the floor detection sensor 161 may detect whether the artificial intelligence cleaner 100 is moved by the user by using infrared rays. A detailed description of this will be given later.
  • the gyro sensor 163 may measure the angular velocity of the artificial intelligence cleaner 100 in each of the x-axis, y-axis, and z-axis. The gyro sensor 163 may detect movement of the artificial intelligence cleaner 100 by the user by using the amount of angular velocity change for each axis.
  • the movement detection sensor 160 may include a wheel sensor, a cliff sensor, and the like, and may detect movement of the artificial intelligence cleaner 100 by a user using the same.
  • the driving driving unit 170 may move the artificial intelligence cleaner 100 in a specific direction or by a specific distance.
  • the driving driving unit 170 may include a left wheel driving unit 171 driving the left wheel of the artificial intelligence cleaner 100 and a right wheel driving unit 173 driving the right wheel.
  • the left wheel drive unit 171 may include a motor for driving the left wheel
  • the right wheel drive unit 173 may include a motor for driving the right wheel.
  • the driving driving unit 170 includes a left wheel driving unit 171 and a right wheel driving unit 173 as an example, but it is not necessary to be limited thereto, and only one driving unit may be provided when there is one wheel. .
  • the processor 190 may control overall operations of the artificial intelligence cleaner 100 .
  • FIG. 2 is a perspective view of an artificial intelligence cleaner 100 according to an embodiment of the present invention.
  • the artificial intelligence cleaner 100 may include a cleaner body 50 and an image sensor 110 provided on an upper surface of the cleaner body 50 .
  • the image sensor 110 may radiate light forward and receive the reflected light.
  • the image sensor 110 may obtain depth information by using a time difference in which the received light returns.
  • the cleaner body 50 may include components other than the image sensor 110 among the components described in FIG. 1 .
  • FIG 3 is a bottom view of the artificial intelligence cleaner 100 according to an embodiment of the present invention.
  • the artificial intelligence cleaner 100 may further include a cleaner body 50, a left wheel 61a, a right wheel 61b, and a suction unit 70 in addition to the configuration of FIG. 1 .
  • the left wheel 61a and the right wheel 61b may drive the cleaner body 50 .
  • the left wheel driving unit 171 may drive the left wheel 61a, and the right wheel driving unit 173 may drive the right wheel 61b.
  • the artificial intelligence cleaner 100 may suck foreign substances such as dust or garbage through the suction unit 70.
  • the suction unit 70 is provided in the cleaner body 50 to suck in dust on the floor.
  • the suction unit 70 may further include a filter (not shown) for collecting foreign substances from the sucked airflow and a foreign substance container (not shown) for accumulating the foreign substances collected by the filter.
  • FIG. 4 is a block diagram showing the configuration of an artificial neural network learning device 200 according to an embodiment of the present invention.
  • the learning device 200 is a device or server configured separately outside the artificial intelligence cleaner 100, and is configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision-making, and machine learning algorithms. It can be.
  • the machine learning algorithm may include a deep learning algorithm.
  • the learning device 200 may communicate with at least one artificial intelligence cleaner 100, and may derive results by analyzing or learning data in place of the artificial intelligence cleaner 100 or in the province.
  • the meaning of helping other devices may mean distribution of computing power through distributed processing.
  • the artificial neural network learning device 200 is a variety of devices for learning an artificial neural network, and may generally mean a server, and may be referred to as a learning device or a learning server.
  • the learning device 200 may be implemented as a single server, a plurality of server sets, a cloud server, or a combination thereof.
  • a plurality of learning devices 200 may be configured to form a learning device set (or cloud server), and at least one learning device 200 included in the learning device set analyzes or learns data through distributed processing. results can be drawn.
  • the learning device 200 may transmit a model learned by machine learning or deep learning to the artificial intelligence cleaner 100 periodically or upon request.
  • the learning device 200 may store the learned model and transmit a result value derived using the learned model to the artificial intelligence cleaner 100 when requested by the artificial intelligence cleaner 100 .
  • the learning device 200 includes a communication unit 210, an input unit 220, a memory 230, a learning processor 240, and a power supply unit. , 250) and a processor (Processor, 260).
  • the communication unit 210 may correspond to the wireless communication unit 140 of FIG. 1 .
  • the input unit 220 may obtain training data for model learning and input data for obtaining an output using a trained model.
  • the input unit 220 may obtain raw input data.
  • the processor 260 may pre-process the acquired data to generate training data or pre-processed input data that can be input to model learning.
  • the preprocessing of the input data performed by the input unit 220 may mean extracting input features from the input data.
  • the memory 230 stores a model learned through a machine learning algorithm or a deep learning algorithm, learning data, or input data.
  • the memory 230 may include a model storage unit 231 and a database 232 and the like.
  • the model storage unit 231 stores a model (or artificial neural network, 231a) that is being learned or learned through the learning processor 240, and stores the updated model when the model is updated through learning.
  • the model storage unit 231 may classify and store the learned model into a plurality of versions according to learning time or learning progress, as needed.
  • the artificial neural network 231a shown in FIG. 4 is only one example of an artificial neural network including a plurality of hidden layers, and the artificial neural network of the present invention is not limited thereto.
  • the artificial neural network 231a may be implemented as hardware, software, or a combination of hardware and software. When part or all of the artificial neural network 231a is implemented as software, one or more instructions constituting the artificial neural network 231a may be stored in the memory 230 .
  • the database 232 stores input data obtained from the input unit 220, learning data (or training data) used for model learning, and a learning history of the model.
  • the input data stored in the database 232 may be processed data suitable for model learning as well as unprocessed input data itself.
  • the learning processor 240 may train (or learn) the artificial neural network 231a using training data or a training set.
  • the learning processor 240 directly acquires preprocessed input data acquired by the processor 260 through the input unit 220 to learn the artificial neural network 231a or obtains preprocessed input data stored in the database 232 Thus, the artificial neural network 231a can be learned.
  • the learning processor 240 may determine optimized model parameters of the artificial neural network 231a by repeatedly training the artificial neural network 231a using various learning techniques described above.
  • an artificial neural network whose parameters are determined by learning using training data may be referred to as a learning model or a trained model.
  • the learning model may infer a resultant value while being loaded in the learning device 200 of the artificial neural network, or may be transmitted and installed in another device such as the artificial intelligence cleaner 100 through the communication unit 210.
  • the updated learning model may be transmitted to and installed in another device such as the terminal 100 through the communication unit 210 .
  • the power supply unit 250 supplies power.
  • FIG. 5 is a diagram showing an example of a deep learning-based cleaning area classification model according to an embodiment of the present invention.
  • a deep learning-based cleaning area classification model 503 may be configured with an artificial neural network.
  • the deep learning-based cleaning area classification model 503 may be a personalized model trained individually for each user.
  • the deep learning-based cleaning area classification model 503 may be a segmentation model.
  • the deep learning-based cleaning area classification model 503 may be implemented as a model such as Fully Convolutional Network (FCN), U-net, SegNet, or DeepLab.
  • FCN Fully Convolutional Network
  • U-net U-net
  • SegNet SegNet
  • DeepLab DeepLab
  • the deep learning-based cleaning area classification model 503 is a model that outputs a map in which a plurality of cleaning areas are separated when map data corresponding to a cleaning space and cleaning histories 501 and 502 in the cleaning space are input. .
  • a map corresponding to the cleaning area may be a SLAM map of the cleaning area.
  • Each of the cleaning histories may include at least one of the number of bends, the time required for cleaning, whether or not to clean, the result of cleaning, the number of times of cleaning, whether an obstacle is detected, or whether an external situation has occurred for each cleaning unit in the cleaning space. This will be described later.
  • map data and the cleaning history may be input as separate data.
  • a SLAM map as map data and coordinates within the SLAM map and information on each coordinate may be input as data on cleaning history.
  • the deep learning-based cleaning area classification model 503 is learned using learning data.
  • the learning data may include input data for learning and labeling information corresponding to the input data for learning.
  • Input data for learning may include a map corresponding to a cleaning space and cleaning records in the cleaning space.
  • the labeling information may be a map in which a plurality of cleaning areas corresponding to the input data for learning are divided.
  • the labeling information may be manually set by a user, developer or designer.
  • the labeling information may include a region type.
  • the deep learning-based cleaning area classification model 503 may be trained in a direction of narrowing the difference between output data and labeling information corresponding to the learning input data when input data for learning included in the training data is input.
  • the difference between the output data and the labeling information may be expressed as a loss function or a cost function, and the deep learning-based cleaning area classification model 503 is learned in a direction of minimizing the loss function.
  • the deep learning-based cleaning area classification model 503 outputs a map dividing cleaning areas based on area types, and thus, each cleaning area may be classified as one area type.
  • the deep learning-based cleaning area classification model 503 may be a model learned and stored through the processor 190 of the artificial intelligence cleaner 100, but learned through the external learning device 200 and the wireless communication unit 140. It may also be a model received through
  • the artificial intelligence cleaner 100 may obtain user feedback, generate labeling information corresponding to a corresponding cleaning history based on the user's feedback, and generate the corresponding cleaning history and labeling information as learning data. Also, the generated learning data may be used to update the deep learning-based cleaning area classification model 503 .
  • the update of the deep learning-based cleaning area classification model 503 may also be performed through the processor 190 of the artificial intelligence cleaner 100 or through the external learning device 200 .
  • FIG. 6 is a diagram illustrating a cleaning mode of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 6 (a) of FIG. 6 shows a path of the artificial intelligence cleaner 100 in meticulous mode, (b) of FIG. 6 shows a path of the artificial intelligence cleaner 100 of zigzag mode, and FIG. (c) represents a path of the artificial intelligence cleaner 100 in a concentrated mode, and (d) of FIG. 6 represents a path of the artificial intelligence cleaner 100 in a designated area mode.
  • the artificial intelligence cleaner 100 may form a path for meticulously cleaning an area to be cleaned based on a SLAM map stored in a memory. Accordingly, the artificial intelligence cleaner 100 not only cleans all areas that the artificial intelligence cleaner 100 can pass through in a zigzag path based on the SLAM map, but also passes through the outermost path of the area to be cleaned once more. can be cleaned
  • the artificial intelligence cleaner 100 may clean the area to be cleaned while passing through a path in a zigzag pattern based on the SLAM map stored in the memory. Compared to (a) of FIG. 6 , zigzag paths except for the outermost path of the area to be cleaned may be cleaned.
  • the artificial intelligence cleaner 100 may clean while passing through a spiral path centered on the selected point 601 .
  • the artificial intelligence cleaner 100 may clean the selected area 602 in the meticulous mode as shown in (a) of FIG. 6 .
  • the artificial intelligence cleaner 100 may perform cleaning by identifying a cleaning target area through a sensor or the like, and then generating a consistent path along a standardized pattern based on a mode set by the user.
  • a situation may occur in which cleaning is stopped to solve a problem or the user directly intervenes and has to process instead. This is because consideration for various situations is made based on the user's response.
  • the user must directly determine the constraint conditions because the mode settings are received from the user. occurs.
  • the remaining battery capacity of the artificial intelligence cleaner 100 may not be enough to perform the meticulous mode.
  • the artificial intelligence cleaner may finish cleaning by simplifying (smoothing) the cleaning path unlike usual.
  • the artificial intelligence cleaner 100 can provide additional value to the user in terms of usability and convenience.
  • the artificial intelligence cleaner must clean the maximum area within a given time.
  • a cleaning path needs to be modified due to an additional setting of a user mode, low battery, insufficient remaining space in the dust bin, or detection of an obstacle in the cleaning path.
  • the artificial intelligence cleaner requires the following judgment function in applying path simplification of the cleaning path when cleaning is performed. More specifically, the artificial intelligence cleaner needs to determine whether to apply cleaning simplification to the detailed cleaning path for each area to be cleaned and the intensity of path simplification. In addition, the artificial intelligence cleaner must determine whether or not to apply path simplification to the detailed cleaning path based on an external situation (detection of an obstacle or reception of a user mode setting). In addition, the artificial intelligence cleaner must determine whether or not to apply path simplification to the detailed cleaning path based on resource conditions in the device (insufficient remaining battery capacity or insufficient remaining space in the dust bin). Lastly, the artificial intelligence cleaner should improve path simplification application by situation through cleaning history and user feedback. Accordingly, the present invention intends to propose an artificial intelligence cleaner that performs the functions described above.
  • FIG. 7 is a flowchart illustrating an operating method of an artificial intelligence cleaner according to an embodiment of the present invention.
  • the artificial intelligence cleaner may determine whether or not an abnormal situation has occurred during the cleaning process based on the cleaning path.
  • the abnormal situation may be determined through information collected from various sensors provided in the artificial intelligence cleaner.
  • various sensors may include an RGB camera, an RGB-D camera, a cliff sensor, and the like.
  • the cleaning path corresponds to a cleaning path determined in consideration of the SLAM map and a plurality of collected cleaning histories.
  • the abnormal situation may include a situation where the remaining battery power of the artificial intelligence cleaner is insufficient and a situation where the remaining space of the dust bin of the artificial intelligence cleaner is insufficient.
  • the situation in which the remaining battery level is insufficient may include a case where it is difficult to return to the charging device after cleaning in the existing cleaning mode due to insufficient remaining battery level during cleaning, as well as a case in which the remaining battery level drops below a predetermined amount.
  • FIG. 7 describes a situation where the remaining battery power of the artificial intelligence cleaner is insufficient
  • FIG. 10 describes a situation where the remaining space of the dust bin of the artificial intelligence cleaner is insufficient.
  • the artificial intelligence cleaner may calculate an insufficient time compared to the remaining area to be cleaned.
  • the artificial intelligence cleaner may identify at least one candidate area for which path simplification is possible from among the remaining areas to be cleaned.
  • the artificial intelligence cleaner may determine the priority of at least one path simplification candidate region.
  • the artificial intelligence cleaner may apply path simplification starting from a path simplification candidate area having a low importance.
  • the importance level may be determined based on the number of vertices compared to a preset area based on the SLAM map. This will be described in detail with reference to FIG. 8 .
  • the artificial intelligence cleaner can predict the cleaning completion time after path simplification is applied.
  • the cleaning completion time may correspond to the sum of all times for the artificial intelligence cleaner to stay in the cleaning target area.
  • the artificial intelligence cleaner may predict the cleaning completion time based on the reduced number of wheel rotations after path simplification is applied.
  • the artificial intelligence cleaner may clean the cleaning target area to which path simplification is applied.
  • the artificial intelligence cleaner may control the driving driving unit according to the determined cleaning path.
  • the artificial intelligence cleaner may store the newly determined cleaning path in memory.
  • the artificial intelligence cleaner may predict a cleaning completion time after path simplification is applied, and determine whether the current battery level can finish cleaning in a conventional mode based on the estimated time. This is because, unlike when performing the first step (S701) to step (S706), when the artificial intelligence cleaner actually performs cleaning, it is necessary to check the amount of battery actually consumed, such as consuming more battery due to tripping over an obstacle. . Accordingly, the artificial intelligence cleaner may repeatedly perform steps S701 to S706 in real time to continuously check the remaining battery capacity, estimate the cleaning completion time, and apply path simplification.
  • FIG. 8 is a diagram explaining a path simplification method of an artificial intelligence cleaner according to an embodiment of the present invention.
  • the artificial intelligence cleaner may detect that an abnormal situation occurs while cleaning is in progress.
  • the abnormal situation may include a case where the remaining battery level is less than a preset remaining amount (eg, 50%), the remaining space of the dust bin is insufficient, an obstacle is found, or a request for setting a new user mode is received.
  • a preset remaining amount eg, 50%
  • the artificial intelligence cleaner may identify at least one candidate region 802 , 803 , and 804 in which path simplification is possible from among the remaining cleaning target regions.
  • the at least one candidate region (802, 803, 804) for which path simplification is possible has a curvature number (the number of vertices) greater than or equal to a preset number within a preset region range based on the SLAM map stored in the memory of the artificial intelligence cleaner. area can be addressed.
  • a candidate region capable of path simplification may correspond to a region having two or more vertices within a 50 cm X 50 cm region.
  • the artificial intelligence cleaner may identify a cleaning area that the user considers unimportant as at least one candidate area 802 , 803 , and 804 in which path simplification is possible, based on the existing cleaning history. For example, based on the previous cleaning history, if the user requests cleaning the bedroom and living room three times but requests cleaning the kitchen twice during a preset period, the bedroom and living room have an importance of 3, and the kitchen has an importance of 2. do.
  • the artificial intelligence cleaner may apply path simplification starting from a path simplification candidate area having a low priority based on the remaining battery power.
  • the importance becomes lower as the number of bends (the number of vertices) increases.
  • the artificial intelligence cleaner may apply path simplification to the cleaning path of the first candidate region 802 having the lowest importance.
  • a method of applying path simplification to the cleaning path will be described in detail with reference to FIG. 9 .
  • the artificial intelligence cleaner simplifies the cleaning path of the first candidate region 802 having the lowest importance and the second candidate region 803 having the next lowest importance. can be applied.
  • the artificial intelligence cleaner may apply path simplification starting from a path simplification candidate area having a low importance based on the remaining battery level.
  • FIG. 9 is a diagram explaining a path simplification method of an artificial intelligence cleaner according to an embodiment of the present invention.
  • FIG. 9(a) shows a basic driving path
  • FIG. 9(b) shows a case where the path simplification strength is low
  • FIG. 9(c) shows a case where the path simplification strength is high.
  • FIG. 9 shows a path along which the artificial intelligence cleaner travels the basic cleaning path of area A to be cleaned.
  • the x-axis of the graph may indicate a moving direction of the artificial intelligence cleaner
  • the y-axis of the graph may indicate a reference point for each section of the cleaning path.
  • the intensity of path simplification varies according to the number of points allocated as a criterion within a section for calculating an average value. For example, as the number of reference points in a section increases, path simplification strength increases.
  • FIG. 9(b) is a case where the number of reference points in a section is small
  • FIG. 9(c) is a case in which the number of reference points in a section is large.
  • the artificial intelligence cleaner compares the basic driving path with (a) of FIG. Simplification strength may be applied.
  • the artificial intelligence cleaner compares with (a) of FIG. A high path simplification strength may be applied.
  • FIG. 10 is a flowchart illustrating an operation method of an artificial intelligence cleaner according to another embodiment of the present invention.
  • FIG. 10 is an embodiment of a situation in which the remaining space of the dust bin is insufficient among the abnormal situations of FIG. 7 , and descriptions overlapping those of FIG. 7 will be omitted.
  • the artificial intelligence cleaner may determine whether or not an abnormal situation occurs while cleaning is in progress based on the cleaning path.
  • the artificial intelligence cleaner may inform the user of the lack of remaining space in the dust bin.
  • the artificial intelligence cleaner may transmit a message about insufficient remaining space in the dust bin to the terminal. Accordingly, the terminal may output a message about insufficient remaining space in the dust bin. Also, the artificial intelligence cleaner may inform the user of the lack of remaining space in the dust bin through a beep sound.
  • step S1003 the artificial intelligence cleaner may maximize dust suction power of the artificial intelligence cleaner. At this time, if the user does not empty the dust bin even after outputting an alarm about the insufficient remaining space of the dust bin to the user through step S1002, the artificial intelligence cleaner increases the output of the artificial intelligence cleaner to maximize the dust suction power for the remaining cleaning path. or, step S1004 may be performed.
  • the artificial intelligence cleaner may apply path simplification to an area having a certain importance or less among path simplification candidate areas.
  • the artificial intelligence cleaner routes to the cleaning target area in the order of path simplification with low priority (low importance) to path simplification with high priority (high importance) through the reduced cleaning completion prediction time for each path after path simplification. Simplification can be applied.
  • steps S1003 and S1004 may be performed selectively or simultaneously.
  • the artificial intelligence cleaner may clean the cleaning target area to which path simplification is applied.
  • the artificial intelligence cleaner can move to a clean station (a place that automatically empties the dust bin of the artificial intelligence cleaner) or a charging-dock (wired/wireless charging device of the artificial intelligence cleaner).
  • FIG. 11 is a flowchart illustrating an operation method of an artificial intelligence cleaner according to another embodiment of the present invention.
  • 11 describes a method for determining whether an artificial intelligence cleaner applies path simplification to a detailed cleaning path in a cleaning target area and a method for determining the strength of path simplification.
  • the artificial intelligence cleaner may check whether there is a cleaning history for the area to be cleaned after starting cleaning.
  • the cleaning history may store information on an edge of a preset area in units of areas.
  • the cleaning history may include suction amount information through a sensor of a dust intake port and the number of direction changes within a preset area.
  • the cleaning history may include information such as a large amount of dust intake in area A, a normal amount of dust intake in area B, and a small amount of dust intake in area C.
  • the cleaning history may include information on the number of direction changes in area A 3 times, the number of direction changes in area B 1 time, and the number of direction changes 4 times in area C.
  • the artificial intelligence cleaner may detect a state and history of edges (corners or vertices) of the area to be cleaned.
  • the artificial intelligence cleaner may apply path simplification to an area in which a direction change is frequent compared to an amount of dust intake, based on the state and history of the edge of the area to be cleaned.
  • the artificial intelligence cleaner may increase the intensity of route simplification as the amount of dust intake decreases.
  • the intensity of path simplification is as described above with reference to FIG. 9 . Accordingly, in the case of an area where the usual amount of dust intake is low, cleaning can be completed relatively cleanly even if the path of the cleaning path is simplified.
  • the artificial intelligence cleaner may apply path simplification to an area where the direction of the artificial intelligence cleaner frequently changes due to many curves (many vertices in the cleaning path).
  • step S1104 may be performed.
  • the artificial intelligence cleaner may collect dust suction amount information of the edge of the area to be cleaned.
  • the artificial intelligence cleaner may estimate the amount of dust intake at the edge of the cleaning path by using a sensor (a camera, an IR sensor, a radar sensor, an ultrasonic sensor, etc.) included in the artificial intelligence cleaner while cleaning is in progress.
  • the artificial intelligence cleaner can determine the number of direction changes on the cleaning path by identifying the curvature of the edge during the cleaning process.
  • the artificial intelligence cleaner may classify and store the estimated amount of dust intake and the number of direction changes of the artificial intelligence cleaner for each area to be cleaned while the cleaning is in progress.
  • the artificial intelligence cleaner may correct the application degree of path simplification.
  • the artificial intelligence cleaner may correct path simplification application availability and application intensity based on the amount of dust intake for the edge of the area to be cleaned and the number of direction changes of the artificial intelligence cleaner through step S1104. At this time, if there is a content already set through the existing cleaning history through step S1101, the artificial intelligence cleaner may correct the existing value by applying an offset.
  • the artificial intelligence cleaner may repeat steps S1101 to S1105 to simplify and clean the path.
  • FIG. 12 is a flowchart illustrating an operation method of an artificial intelligence cleaner according to another embodiment of the present invention.
  • the artificial intelligence cleaner may apply path simplification to the cleaning path based on the cleaning history based on the above-described embodiment.
  • the artificial intelligence cleaner must determine whether path simplification is applied to the detailed cleaning path according to external circumstances (obstacle detection or user mode setting).
  • obstacle detection or user mode setting a case in which an obstacle is found.
  • the case of finding an obstacle may include not only whether there is an obstacle, but also whether it is a threshold, whether there is a difference in height, and the like.
  • step S1202 when the artificial intelligence cleaner finds obstacles, it may determine the number of obstacles.
  • the artificial intelligence cleaner may estimate a cleaning path according to the distance between the found obstacles.
  • the artificial intelligence cleaner may calculate a distance between obstacles found through a sensor (eg, a camera or radar) included in the artificial intelligence cleaner and estimate a cleaning path accordingly.
  • the artificial intelligence cleaner may perform cleaning according to step S1205 when the changed cleaning path passes between obstacles.
  • the artificial intelligence cleaner may perform step S1204 when the changed cleaning path does not pass between obstacles.
  • the artificial intelligence cleaner may group at least two or more obstacles into one group to apply path simplification of the cleaning path.
  • the artificial intelligence cleaner may perform cleaning according to step S1205.
  • the artificial intelligence cleaner may perform cleaning based on the existing cleaning path without applying path simplification.
  • the artificial intelligence cleaner may determine that it is more appropriate to group the obstacles into one group and avoid that part rather than cleaning between two or more obstacles.
  • the artificial intelligence cleaner may apply path simplification of a detailed cleaning path according to a user mode setting.
  • the artificial intelligence cleaner may apply path simplification to the cleaning target area when receiving a request such as a quick mode or a simple mode for the cleaning target area from the user. Accordingly, the artificial intelligence cleaner may perform cleaning by modifying the cleaning path.
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시 예는 인공 지능 청소기에 있어서, 청소 공간의 SLAM(simultaneous localization and mapping) 지도를 저장하는 메모리; 상기 인공 지능 청소기를 주행시키는 주행 구동부; 및 상기 청소 공간에 대한 복수의 청소 이력들을 수집하고, 상기 SLAM 지도 및 상기 수집된 복수의 청소 이력들을 이용하여 상기 청소 공간을 복수의 청소 영역들로 구분하고, 상기 구분된 청소 영역들을 고려하여 상기 인공 지능 청소기의 청소 경로를 결정하고, 상기 결정된 청소 경로에 따라 상기 주행 구동부를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는, 인공 지능 청소기를 제공한다.

Description

인공 지능 청소기 및 그의 동작 방법
본 발명은 인공 지능 청소기 및 그의 동작 방법에 관한 것이다. 구체적으로, 청소 진행 중 이상 상황이 발생한 경우, 경로 단순화를 적용하여 청소 경로를 수정하는 인공 지능 청소기에 관한 것이다.
로봇 청소기는 사용자의 조작 없이도 청소하고자 하는 구역 내를 스스로 주행하면서 바닥 면으로부터 먼지 등의 이물질을 흡입하여 자동으로 청소하는 기기이다. 이러한 로봇 청소기는 내장된 프로그램에 따라 청소 경로를 설정하고, 설정된 청소 경로를 따라 주행하면서 청소 동작을 수행하도록 되어 있다.
일반적으로 로봇 청소기는 전체 청소 영역을 고려하지 않고 청소기 기준 일정 반경(예컨대, 반경 25cm)의 환경만 고려하여 장애물이 있을 경우 회피를 하면서 청소를 진행한다. 그렇기 때문에 로봇 청소기는 청소 시간이 오래 걸리는 영역이나 장애물에 반복적으로 부딪히는 영역 등 이전에 헤매었던 영역에서 매번 헤매는 경우가 발생한다. 예컨대, 장애물이 많은 구역에서는 청소에 많은 시간이 소요되거나 움직임에 제한이 생겨 구속되는 경우가 있다. 또한, 특정 구역에서는 다른 구역들에 비하여 많이 청소하기도 하다.
따라서, 주어진 청소 구역에 적합한 청소 경로나 청소 모드를 설정할 수 있다면 보다 효율적으로 청소가 가능할 것이다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명은 인공 지능 청소기가 청소 진행 중 이상 상황이 발생한 경우, 청소 경로에 대하여 경로 단순화를 적용하여 청소 경로를 수정하는 인공 지능 청소기 및 이의 동작 방법을 제공하고자 한다.
또한, 본 발명은 경로 단순화가 가능한 적어도 하나의 후보 영역을 식별하고, 적어도 하나의 후보 영역의 중요도에 기초하여 경로 단순화를 적용하여 청소 경로를 수정하는 인공 지능 청소기 및 이의 동작 방법을 제공하고자 한다.
본 발명의 일 실시 예에 따른 인공 지능 청소기에 있어서, 청소 공간의 SLAM(simultaneous localization and mapping) 지도를 저장하는 메모리; 상기 인공 지능 청소기를 주행시키는 주행 구동부; 및 상기 SLAM 지도에 기초하여 상기 인공 지능 청소기의 청소 경로를 결정하고, 상기 결정된 청소 경로에 따라 상기 주행 구동부를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는, 인공 지능 청소기를 제공한다.
또한, 상기 프로세서는 상기 남은 청소 영역 중 경로 단순화가 가능한 적어도 하나의 후보 영역을 식별하고, 상기 적어도 하나의 후보 영역의 중요도(priority)를 결정하고, 상기 중요도에 기초하여 상기 기 설정된 영역을 판단하는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 중요도가 낮은 영역부터 상기 경로 단순화를 적용하는 것을 특징으로 한다.
또한, 상기 중요도는 상기 SLAM 지도에 기초하여 기 설정된 면적 대비 꼭지점의 개수에 기초하여 결정되는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 수정된 청소 경로에 기초하여 남은 청소 영역 대비 청소 완료 시간을 예측하는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 경로 단순화 적용 후, 줄어드는 바퀴 회전 수에 기초하여 상기 청소 완료 시간을 예측하는 것을 특징으로 한다.
또한, 상기 이상 상황은 상기 인공 지능 청소기의 배터리 잔량이 부족한 상황인 것을 특징으로 하고, 상기 프로세서는 상기 배터리 잔량에 기초하여 상기 남은 청소 영역 대비 부족한 시간을 계산하는 것을 특징으로 한다.
또한, 상기 프로세서는 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습된 영역 구분 모델에 상기 청소 경로, 상기 SLAM 지도 및 청소 이력을 입력시키고, 그 결과로 지도 데이터를 획득하고, 상기 획득한 지도 데이터를 이용하여 상기 청소 경로를 수정하고, 상기 학습된 영역 구분 모델은 인공 신경망으로 구성되는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 인공 지능 청소기의 동작 방법에 있어서, 청소 공간에 대한 복수의 청소 이력들을 수집하는 단계; 상기 청소 공간의 SLAM(simultaneous localization and mapping) 지도 및 상기 수집된 복수의 청소 이력들을 이용하여 상기 청소 공간을 복수의 청소 영역들로 구분하는 단계; 상기 구분된 청소 영역들을 고려하여 상기 인공 지능 청소기의 청소 경로를 결정하는 단계; 상기 결정된 청소 경로에 따라 상기 인공 지능 청소기를 주행시키는 주행 구동부를 제어하는 단계; 및 결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는 단계를 포함하는, 인공 지능 청소기의 동작 방법 제공한다.
본 발명의 일 실시 예에 따른 인공 지능 청소기의 동작 방법을 수행하기 위한 프로그램이 기록된 기록 매체에 있어서, 상기 인공 지능 청소기의 동작 방법은 청소 공간에 대한 복수의 청소 이력들을 수집하는 단계; 상기 청소 공간의 SLAM(simultaneous localization and mapping) 지도 및 상기 수집된 복수의 청소 이력들을 이용하여 상기 청소 공간을 복수의 청소 영역들로 구분하는 단계; 상기 구분된 청소 영역들을 고려하여 상기 인공 지능 청소기의 청소 경로를 결정하는 단계; 상기 결정된 청소 경로에 따라 상기 인공 지능 청소기를 주행시키는 주행 구동부를 제어하는 단계; 및 결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는 단계를 포함하는, 기록 매체를 제공한다.
본 발명에 따른 인공 지능 청소기 및 인공 지능 청소기의 동작 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 일 실시 예에 따른 인공 지능 청소기는 사용자의 개입을 최소화하고 이상 상황에 따라 지능적으로 세부 경로를 조절함으로써 사용자의 사용성 및 편의성을 높일 수 있다는 장점이 있다.
도 1는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 인공 지능 청소기의 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 인공 지능 청소기의 저면도이다.
도 4는 본 발명의 일 실시 예에 따른 인공 신경망의 학습 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 딥 러닝 기반의 청소 영역 구분 모델의 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공 지능 청소기의 청소 모드를 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공 지능 청소기의 동작 방법을 설명하는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 인공 지능 청소기의 경로 단순화 방법을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 인공 지능 청소기의 경로 단순화 방법을 설명하는 도면이다.
도 10은 본 발명의 다른 일 실시예에 따른 인공 지능 청소기의 동작 장법을 설명하는 순서도이다.
도 11은 본 발명의 또 다른 일 실시예에 따른 인공 지능 청소기의 동작 장법을 설명하는 순서도이다.
도 12는 본 발명의 또 다른 일 실시예에 따른 인공 지능 청소기의 동작 장법을 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야이다.
구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.
용어 '머신 러닝'은 용어 '기계 학습'과 혼용되어 사용될 수 있다.
기계 학습에서 데이터를 어떻게 분류할 것인가를 놓고, 많은 기계 학습 알고리즘이 개발되었다. 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(SVM: support vector machine), 그리고 인공 신경망(ANN: Artificial Neural Network) 등이 대표적이다.
의사결정나무는 의사결정규칙(Decision Rule)을 나무구조로 도표화하여 분류와 예측을 수행하는 분석방법이다.
베이지안 망은 다수의 변수들 사이의 확률적 관계(조건부독립성: conditional independence)를 그래프 구조로 표현하는 모델이다. 베이지안 망은 비지도 학습(unsupervised learning)을 통한 데이터마이닝(data mining)에 적합하다.
서포트벡터머신은 패턴인식과 자료분석을 위한 지도 학습(supervised learning)의 모델이며, 주로 분류와 회귀분석을 위해 사용한다.
인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다.
인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.
구체적으로 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
용어 인공신경망은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있다.
인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.
인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.
인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
본 명세서에서 용어 '레이어'는 용어 '계층'과 혼용되어 사용될 수 있다.
인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer Neural Networks)으로 구분된다.
일반적인 단층 신경망은, 입력층과 출력층으로 구성된다.
또한 일반적인 다층 신경망은 입력층(Input Layer)과 하나 이상의 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성된다.
입력층은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층은 은닉층으로부터 신호를 받고, 수신한 신호에 기반한 출력 값을 출력한다. 뉴런간의 입력신호는 각각의 연결강도(가중치)와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 획득한 출력값을 출력한다.
한편 입력층과 출력 층 사이에 복수의 은닉층을 포함하는 심층 신경망은, 기계 학습 기술의 한 종류인 딥 러닝을 구현하는 대표적인 인공 신경망일 수 있다.
한편 용어 '딥 러닝'은 용어 '심층 학습'과 혼용되어 사용될 수 있다.
인공 신경망은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다. 인공 신경망의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다.
훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류하거나 군집화 할 수 있다.
한편 훈련 데이터를 이용하여 학습된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭 할 수 있다.
다음은 인공 신경망의 학습 방식에 대하여 설명한다.
인공 신경망의 학습 방식은 크게, 지도 학습, 비 지도 학습, 준 지도 학습(Semi-Supervised Learning), 강화 학습(Reinforcement Learning)으로 분류될 수 있다.
지도 학습은 훈련 데이터로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법이다.
그리고 이렇게 유추되는 함수 중, 연속 적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것을 분류(Classification)라고 할 수 있다.
지도 학습에서는, 훈련 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시킨다.
여기서 레이블이란, 훈련 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다.
본 명세서에서는 훈련 데이터가 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과값)을 레이블 또는 레이블링 데이터(labeling data)이라 명칭 한다.
또한 본 명세서에서는, 인공 신경망의 학습을 위하여 훈련 데이터에 레이블을 설정하는 것을, 훈련 데이터에 레이블링 데이터를 레이블링(labeling) 한다고 명칭 한다.
이 경우 훈련 데이터와 훈련 데이터에 대응하는 레이블)은 하나의 트레이닝 셋(training set)을 구성하고, 인공 신경망에는 트레이닝 셋의 형태로 입력될 수 있다.
한편 훈련 데이터는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블이 레이블링 된다는 것은 훈련 데이터가 나타내는 특징에 레이블이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.
인공 신경망은 훈련 데이터와 레이블링 데이터를 이용하여, 훈련 데이터와 레이블링 데이터의 연관 관계에 대한 함수를 유추할 수 있다. 그리고, 인공 신경망에서 유추된 함수에 대한 평가를 통해 인공 신경망의 파라미터가 결정(최적화)될 수 있다.
비 지도 학습은 기계 학습의 일종으로, 훈련 데이터에 대한 레이블이 주어지지 않는다.
구체적으로, 비 지도 학습은, 훈련 데이터 및 훈련 데이터에 대응하는 레이블의 연관 관계 보다는, 훈련 데이터 자체에서 패턴을 찾아 분류하도록 인공 신경망을 학습시키는 학습 방법일 수 있다.
비 지도 학습의 예로는, 군집화 또는 독립 성분 분석(Independent Component Analysis)을 들 수 있다.
본 명세서에서 용어 '군집화'는 용어 '클러스터링'과 혼용되어 사용될 수 있다.
비지도 학습을 이용하는 인공 신경망의 일례로 생성적 적대 신경망(GAN: Generative Adversarial Network), 오토 인코더(AE: Autoencoder)를 들 수 있다.
생성적 적대 신경망이란, 생성기(generator)와 판별기(discriminator), 두 개의 서로 다른 인공지능이 경쟁하며 성능을 개선하는 머신 러닝 방법이다.
이 경우 생성기는 새로운 데이터를 창조하는 모형으로, 원본 데이터를 기반으로 새로운 데이터를 생성할 수 있다.
또한 판별기는 데이터의 패턴을 인식하는 모형으로, 입력되는 데이터가 원본 데이터인지 또는 생성기에서 생성한 가짜 데이터인지 여부를 감별하는 역할을 수행할 수 있다.
그리고 생성기는 판별기를 속이지 못한 데이터를 입력 받아 학습하며, 판별기는 생성기로부터 속은 데이터를 입력 받아 학습할 수 있다. 이에 따라 생성기는 판별기를 최대한 잘 속이도록 진화할 수 있고, 판별기는 원본 데이터와 생성기에 의해 생성된 데이터를 잘 구분하도록 진화할 수 있다.
오토 인코더는 입력 자체를 출력으로 재현하는 것을 목표로 하는 신경망이다.
오토 인코더는 입력층, 적어도 하나의 은닉층 및 출력층을 포함한다.
이 경우 은닉 계층의 노드 수가 입력 계층의 노드 수보다 적으므로 데이터의 차원이 줄어들게 되며, 이에 따라 압축 또는 인코딩이 수행되게 된다.
또한 은닉 계층에서 출력한 데이터는 출력 계층으로 들어간다. 이 경우 출력 계층의 노드 수는 은닉 계층의 노드 수보다 많으므로, 데이터의 차원이 늘어나게 되며, 이에 따라 압축 해제 또는 디코딩이 수행되게 된다.
한편 오토 인코더는 학습을 통해 뉴런의 연결 강도를 조절함으로써 입력 데이터가 은닉층 데이터로 표현된다. 은닉층에서는 입력층보다 적은 수의 뉴런으로 정보를 표현하는데 입력 데이터를 출력으로 재현할 수 있다는 것은, 은닉층이 입력 데이터로부터 숨은 패턴을 발견하여 표현했다는 것을 의미할 수 있다.
준 지도 학습은 기계 학습의 일종으로, 레이블이 주어진 훈련 데이터와 레이블이 주어지지 않은 훈련 데이터를 모두 사용하는 학습 방법을 의미할 수 있다.
준 지도 학습의 기법 중 하나로, 레이블이 주어지지 않은 훈련 데이터의 레이블을 추론한 후 추론된 라벨을 이용하여 학습을 수행하는 기법이 있으며, 이러한 기법은 레이블링에 소요되는 비용이 큰 경우에 유용하게 사용될 수 있다.
강화 학습은, 에이전트(Agent)가 매 순간 어떤 행동을 해야 좋을지 판단할 수 있는 환경이 주어진다면, 데이터 없이 경험으로 가장 좋을 길을 찾을 수 있다는 이론이다.
강화 학습은 주로 마르코프 결정 과정(MDP: Markov Decision Process)에 의하여 수행될 수 있다.
마르코프 결정 과정을 설명하면, 첫 번째로 에이전트가 다음 행동을 하기 위해 필요한 정보들이 구성된 환경이 주어지며, 두 번째로 그 환경에서 에이전트가 어떻게 행동할지 정의하고, 세 번째로 에이전트가 무엇을 잘하면 보상(reward)를 주고 무엇을 못하면 벌점(penalty)을 줄지 정의하며, 네 번째로 미래의 보상이 최고점에 이를 때까지 반복 경험하여 최적의 정책(policy)을 도출하게 된다.
인공 신경망은 모델의 구성, 활성 함수(Activation Function), 손실 함수(Loss Function) 또는 비용 함수(Cost Function), 학습 알고리즘, 최적화 알고리즘 등에 의해 그 구조가 특정되며, 학습 전에 하이퍼파라미터(Hyperparameter)가 미리 설정되고, 이후에 학습을 통해 모델 파라미터(Model Parameter)가 설정되어 내용이 특정될 수 있다.
예컨대, 인공 신경망의 구조를 결정하는 요소에는 은닉층의 개수, 각 은닉층에 포함된 은닉 노드의 개수, 입력 특징 벡터(Input Feature Vector), 대상 특징 벡터(Target Feature Vector) 등이 포함될 수 있다.
하이퍼파라미터는 모델 파라미터의 초기값 등과 같이 학습을 위하여 초기에 설정하여야 하는 여러 파라미터들을 포함한다. 그리고, 모델 파라미터는 학습을 통하여 결정하고자 하는 여러 파라미터들을 포함한다.
예컨대, 하이퍼파라미터에는 노드 간 가중치 초기값, 노드 간 편향 초기값, 미니 배치(Mini-batch) 크기, 학습 반복 횟수, 학습률(Learning Rate) 등이 포함될 수 있다. 그리고, 모델 파라미터에는 노드 간 가중치, 노드 간 편향 등이 포함될 수 있다.
손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표(기준)로 이용될 수 있다. 인공 신경망에서 학습은 손실 함수를 줄이기 위하여 모델 파라미터들을 조작하는 과정을 의미하며, 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다.
손실 함수는 주로 평균 제곱 오차(MSE: Mean Squared Error) 또는 교차 엔트로피 오차(CEE, Cross Entropy Error)를 사용할 수 있으며, 본 발명이 이에 한정되지는 않는다.
교차 엔트로피 오차는 정답 레이블이 원 핫 인코딩(one-hot encoding)된 경우에 사용될 수 있다. 원 핫 인코딩은 정답에 해당하는 뉴런에 대하여만 정답 레이블 값을 1로, 정답이 아닌 뉴런은 정답 레이블 값이 0으로 설정하는 인코딩 방법이다.
머신 러닝 또는 딥 러닝에서는 손실 함수를 최소화하기 위하여 학습 최적화 알고리즘을 이용할 수 있으며, 학습 최적화 알고리즘에는 경사 하강법(GD: Gradient Descent), 확률적 경사 하강법(SGD: Stochastic Gradient Descent), 모멘텀(Momentum), NAG(Nesterov Accelerate Gradient), Adagrad, AdaDelta, RMSProp, Adam, Nadam 등이 있다.
경사 하강법은 현재 상태에서 손실 함수의 기울기를 고려하여 손실 함수값을 줄이는 방향으로 모델 파라미터를 조정하는 기법이다.
모델 파라미터를 조정하는 방향은 스텝(step) 방향, 조정하는 크기는 스텝 사이즈(size)라고 칭한다.
이때, 스텝 사이즈는 학습률을 의미할 수 있다.
경사 하강법은손실 함수를 각 모델 파라미터들로 편미분하여 기울기를 획득하고, 모델 파라미터들을 획득한 기울기 방향으로 학습률만큼 변경하여 갱신할 수 있다.
확률적 경사 하강법은 학습 데이터를 미니 배치로 나누고, 각 미니 배치마다 경사 하강법을 수행하여 경사 하강의 빈도를 높인 기법이다.
Adagrad, AdaDelta 및 RMSProp는 SGD에서 스텝 사이즈를 조절하여 최적화 정확도를 높이는 기법이다. SGD에서 모멘텀 및 NAG는 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다. Adam은 모멘텀과 RMSProp를 조합하여 스텝 사이즈와 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다. Nadam은 NAG와 RMSProp를 조합하여 스텝 사이즈와 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다.
인공 신경망의 학습 속도와 정확도는 인공 신경망의 구조와 학습 최적화 알고리즘의 종류뿐만 아니라, 하이퍼파라미터에 크게 좌우되는 특징이 있다. 따라서, 좋은 학습 모델을 획득하기 위하여는 적당한 인공 신경망의 구조와 학습 알고리즘을 결정하는 것뿐만 아니라, 적당한 하이퍼파라미터를 설정하는 것이 중요하다.
통상적으로 하이퍼파라미터는 실험적으로 다양한 값으로 설정해가며 인공 신경망을 학습시켜보고, 학습 결과 안정적인 학습 속도와 정확도를 제공하는 최적의 값으로 설정한다.
도 1는 본 발명의 일 실시 예에 따른 인공 지능 청소기(100)의 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공 지능 청소기(100)는 영상 센서(110), 마이크로폰(120), 장애물 검출부(130), 무선 통신부(140), 메모리(150), 주행 구동부(170) 및 프로세서(190)를 포함할 수 있다.
이하에서, 인공 지능 청소기(100)는 단말기(100)로 칭할 수 있다.
영상 센서(110)는 인공 지능 청소기(100)의 주변에 대한 영상 데이터를 획득할 수 있다.
영상 센서(110)는 깊이 센서(111) 또는 RGB 센서(113) 중 하나 이상을 포함할 수 있다.
깊이 센서(111)는 발광부(미도시)로부터 조사된 빛이 사물에 반사되어 돌아옴을 감지할 수 있다. 깊이 센서(111)는 돌아온 빛을 감지한 시간 차이, 돌아온 빛의 양 등에 기초하여, 사물과의 거리를 측정할 수 있다.
깊이 센서(111)는 측정된 사물 간의 거리에 기초하여, 청소기(100) 주위에 대한 2차원 영상 정보 또는 3차원 영상 정보를 획득할 수 있다.
RGB 센서(113)는 청소기(100) 주위의 사물에 대한 컬러 영상 정보를 획득할 수 있다. 컬러 영상 정보는 사물의 촬영 영상일 수 있다. RGB 센서(113)는 RGB 카메라로 명명될 수 있다.
마이크로폰(120)는 사용자의 음성을 수신할 수 있다. 수신한 사용자의 음성은 음성 서버(미도시) 등을 통하여 의도 정보가 분석될 수 있다.
이때, 사용자의 음성은 인공 지능 청소기(100)을 제어하기 위한 음성일 수 있다.
장애물 검출부(130)는 초음파 센서, 적외선 센서, 레이져 센서 등을 포함할 수 있다. 예를 들어, 장애물 검출부(130)는 청소 구역으로 레이저 광을 조사하고, 반사된 레이져 광의 패턴을 추출할 수 있다.
장애물 검출부(130)는 추출된 레이저 광의 위치, 패턴에 기초하여, 장애물을 검출할 수 있다.
깊이 센서(110)가 장애물을 검출하는데 사용되는 경우, 장애물 검출부(130)의 구성은 생략될 수 있다.
무선 통신부(140)는 무선 인터넷 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
메모리(150)는 동시적 위치 추정 및 맵 작성(SLAM: Simultaneous Localization And Mapping) 알고리즘을 통해 작성된 SLAM 지도를 저장할 수 있다.
이동 감지 센서(160)는 인공 지능 청소기(100)의 이동을 감지할 수 있다. 구체적으로, 이동 감지 센서(160)는 인공 지능 청소기(100)가 사용자에 의해 들려져 이동됨을 감지할 수 있다.
이동 감지 센서(160)는 바닥 감지 센서(161) 및 자이로 센서(163) 중 하나 이상을 포함할 수 있다.
바닥 감지 센서(161)는 적외선을 이용하여, 인공 지능 청소기(100)가 사용자에 의해 이동되었는지를 감지할 수 있다. 이에 대한 구체적인 설명은 후술한다.
자이로 센서(163)는 x축, y축, z축 각각에 대해, 인공 지능 청소기(100)의 각속도를 측정할 수 있다. 자이로 센서(163)는 각 축에 대한 각속도 변화량을 이용하여, 인공 지능 청소기(100)의 사용자에 의한 이동을 감지할 수 있다.
이동 감지 센서(160)는 그 외에도, 휠 센서, 절벽 센서 등을 포함할 수 있고, 이를 이용하여, 인공 지능 청소기(100)의 사용자에 의한 이동을 감지할 수 있다.
주행 구동부(170)는 인공 지능 청소기(100)를 특정 방향으로 또는 특정 거리만큼 이동시킬 수 있다.
주행 구동부(170)는 인공 지능 청소기(100)의 좌륜을 구동시키는 좌륜 구동부(171) 및 우륜을 구동시키는 우륜 구동부(173)를 포함할 수 있다.
좌륜 구동부(171)는 좌륜을 구동시키기 위한 모터를 포함할 수 있고, 우륜 구동부(173)는 우륜을 구동시키기 위한 모터를 포함할 수 있다.
도 1에서는 주행 구동부(170)가 좌륜 구동부(171) 및 우륜 구동부(173)를 포함하는 것을 예로 들어 설명하였으나, 이에 한정될 필요는 없고, 휠이 하나인 경우 하나의 구동부만이 구비될 수도 있다.
프로세서(190)는 인공 지능 청소기(100)의 전반적인 동작을 제어할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 인공 지능 청소기(100)의 사시도이다.
도 2를 참조하면, 인공 지능 청소기(100)는 청소기 본체(50)와 청소기 본체(50)의 상면에 구비된 영상 센서(110)를 포함할 수 있다.
영상 센서(110)는 전방에 빛을 조사하고, 반사된 빛을 수신할 수 있다.
영상 센서(110)는 수신된 빛이 돌아오는 시간 차이를 이용하여 깊이 정보를 획득할 수 있다.
청소기 본체(50)는 도 1에서 설명된 구성 요소들 중 영상 센서(110)를 제외한 다른 구성 요소들을 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 인공 지능 청소기(100)의 저면도이다.
도 3을 참조하면, 인공 지능 청소기(100)는 도 1의 구성에 더해, 청소기 본체(50), 좌륜(61a), 우륜(61b) 및 흡입부(70)를 더 포함할 수 있다.
좌륜(61a) 및 우륜(61b)은 청소기 본체(50)를 주행시킬 수 있다.
좌륜 구동부(171)는 좌륜(61a)을 구동시킬 수 있고, 우륜 구동부(173)는 우륜(61b)을 구동시킬 수 있다.
좌륜(61a) 및 우륜(61b)이 주행 구동부(170)에 의해 회전됨에 따라, 인공 지능 청소기(100)는 흡입부(70)를 통해 먼지나 쓰레기 등의 이물질을 흡입할 수 있다.
흡입부(70)는 청소기 본체(50)에 구비되어 바닥 면의 먼지를 흡입할 수 있다.
흡입부(70)는 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 상기 필터에 의해 채집된 이물질들이 축적되는 이물질 수용기(미도시)를 더 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 인공 신경망의 학습 장치(200)의 구성을 나타낸 블록도이다.
학습 장치(200)는 인공 지능 청소기(100)의 외부에 별도로 구성된 장치 또는 서버로, 데이터 마이닝, 데이터 분석, 지능형 의사 결정 및 기계 학습 알고리즘을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. 여기서, 기계 학습 알고리즘은 딥 러닝 알고리즘을 포함할 수 있다.
학습 장치(200)는 적어도 하나의 인공 지능 청소기(100)와 통신할 수 있고, 인공 지능 청소기(100)를 대신하여 혹은 도와 데이터를 분석하거나 학습하여 결과를 도출할 수 있다. 여기서, 다른 장치를 도운다는 의미는 분산 처리를 통한 연산력의 분배를 의미할 수 있다.
인공 신경망의 학습 장치(200)는 인공 신경망을 학습하기 위한 다양한 장치로서, 통상적으로 서버를 의미할 수 있고, 학습 장치 또는 학습 서버 등으로 칭할 수 있다.
특히, 학습 장치(200)는 단일한 서버뿐만 아니라 복수의 서버 세트, 클라우드 서버 또는 이들의 조합 등으로 구현될 수 있다.
즉, 학습 장치(200)는 복수로 구성되어 학습 장치 세트(혹은 클라우드 서버)를 구성할 수 있고, 학습 장치 세트에 포함된 적어도 하나 이상의 학습 장치(200)는 분산 처리를 통하여 데이터 분석 또는 학습하여 결과를 도출할 수 있다.
학습 장치(200)는 주기적으로 혹은 요청에 의하여 인공 지능 청소기(100)에 기계 학습 또는 딥 러닝에 의하여 학습한 모델을 전송할 수 있다.
또는, 학습 장치(200)는 학습한 모델을 저장하고, 인공 지능 청소기(100)의 요청이 있을 때 학습한 모델을 이용하여 도출한 결과 값을 인공 지능 청소기(100)에 전송할 수 있다.
도 4를 참조하면, 학습 장치(200)는 통신부(Communication Unit, 210), 입력부(Input Unit, 220), 메모리(Memory, 230), 러닝 프로세서(Learning Processor, 240), 전원 공급부(Power Supply Unit, 250) 및 프로세서(Processor, 260) 등을 포함할 수 있다.
통신부(210)는 도 1의 무선 통신부(140)와 대응될 수 있다.
입력부(220)는 모델 학습을 위한 훈련 데이터 및 학습된 모델(a trained model)을 이용하여 출력을 획득하기 위한 입력 데이터 등을 획득할 수 있다.
입력부(220)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(260)는 획득한 데이터를 전처리하여 모델 학습에 입력이 가능한 훈련 데이터 또는 전처리된 입력 데이터를 생성할 수 있다.
이때, 입력부(220)에서 수행하는 입력 데이터에 대한 전처리는, 입력 데이터로부터 입력 특징점(input feature)을 추출하는 것을 의미할 수 있다.
메모리(230)는 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 통하여 학습된 모델, 학습 데이터 또는 입력 데이터 등을 저장한다.
메모리(230)는 모델 저장부(231) 및 데이터베이스(232) 등을 포함할 수 있다.
모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장하며, 학습을 통하여 모델이 업데이트되면 업데이트 된 모델을 저장한다.
이때, 모델 저장부(231)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다.
도 4에 도시된 인공 신경망(231a)은 복수의 은닉층을 포함하는 인공 신경망의 하나의 예시일 뿐이며, 본 발명의 인공 신경망이 이에 한정되는 것은 아니다
인공 신경망(231a)은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 인공 신경망(231a)의 일부 또는 전부가 소프트웨어로 구현되는 경우, 인공 신경망(231a)을 구성하는 하나 이상의 명령어는 메모리(230)에 저장될 수 있다.
데이터베이스(232)는 입력부(220)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장한다.
데이터베이스(232)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.
러닝 프로세서(240)는 훈련 데이터 또는 트레이닝 셋(training set)을 이용하여 인공 신경망(231a)을 훈련(training, 또는 학습)시킬 수 있다.
러닝 프로세서(240)는 프로세서(260)가 입력부(220)를 통해 획득한 입력 데이터를 전처리한 데이터를 바로 획득하여 인공 신경망(231a)을 학습하거나, 데이터베이스(232)에 저장된 전처리된 입력 데이터를 획득하여 인공 신경망(231a)을 학습할 수 있다.
구체적으로, 러닝 프로세서(240)는 앞서 설명한 다양한 학습 기법을 이용하여 인공 신경망(231a)을 반복적으로 학습시킴으로써, 인공 신경망(231a)의 최적화된 모델 파라미터들을 결정할 수 있다
본 명세서에서는 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을 학습 모델 또는 학습된 모델(a trained model)이라 칭할 수 있다.
이때, 학습 모델은 인공 신경망의 학습 장치(200)에 탑재된 상태에서 결과 값을 추론할 수도 있으며, 통신부(210)를 통해 인공 지능 청소기(100)와 같은 다른 장치에 전송되어 탑재될 수도 있다.
또한, 학습 모델이 업데이트되는 경우, 업데이트된 학습 모델은 통신부(210)를 통해 단말기(100)와 같은 다른 장치에 전송되어 탑재될 수 있다.
전원 공급부(250)는 전원을 공급한다.
이하, 서로 대응되는 구성에 대한 중복되는 설명은 생략한다.
도 5는 본 발명의 일 실시 예에 따른 딥 러닝 기반의 청소 영역 구분 모델의 예시를 나타낸 도면이다.
도 5를 참조하면, 딥 러닝 기반의 청소 영역 구분 모델(503)은 인공 신경망으로 구성될 수 있다.
딥 러닝 기반의 청소 영역 구분 모델(503)은 사용자마다 개별적으로 학습화된 개인화 모델일 수 있다.
딥 러닝 기반의 청소 영역 구분 모델(503)은 세그먼테이션 모델(segmentation mode)일 수 있다.
예컨대, 딥 러닝 기반의 청소 영역 구분 모델(503)은 FCN(Fully Convolutional Network), U-net, SegNet, DeepLab 등의 모델로 구현될 수 있다.
딥 러닝 기반의 청소 영역 구분 모델(503)은 청소 공간에 상응하는 지도 데이터와 그 청소 공간에서의 청소 이력들(501 및 502)이 입력되면, 복수의 청소 영역들이 구분된 지도를 출력하는 모델이다.
청소 공간에 상응하는 지도는 청소 공간에 대한 SLAM 지도일 수 있다.
각 청소 이력들에는, 청소 공간에서의 각 청소 단위에 대한, 굴곡 횟수, 청소 소요 시간, 청소 여부, 청소 결과 값, 청소 횟수, 장애물 감지 여부 또는 외부 상황 발생 여부 중에서 적어도 하나 이상이 포함될 수 있다. 이에 대하여는 후술하도록 한다.
도 5에는 입력되는 청소 이력에 대한 데이터 자체에 지도가 포함되어 있으나, 지도 데이터와 청소 이력이 별개의 데이터로 입력될 수도 있다.
예컨대, 지도 데이터로써 SLAM 지도와, 청소 이력에 대한 데이터로써 SLAM 지도 내에서의 좌표 및 각 좌표에 대한 정보가 입력될 수 있다.
딥 러닝 기반 청소 영역 구분 모델(503)은 학습 데이터를 이용하여 학습된다.
학습 데이터는 학습용 입력 데이터와, 학습용 입력 데이터에 상응하는 라벨링 정보로 구성될 수 있다.
학습용 입력 데이터는 청소 공간에 상응하는 지도와 그 청소 공간에서의 청소 이력들로 구성될 수 있다.
라벨링 정보는 학습용 입력 데이터에 상응하는, 복수의 청소 영역들이 구분된 지도일 수 있다.
이때, 라벨링 정보는 사용자, 개발자 또는 설계자 등에 의하여 수동으로 설정될 수 있다.
이때, 라벨링 정보에는 영역 유형이 포함될 수 있다.
딥 러닝 기반 청소 영역 구분 모델(503)은 학습 데이터에 포함된 학습용 입력 데이터가 입력 되었을 때에, 출력 데이터와 학습용 입력 데이터에 상응하는 라벨링 정보의 차이를 좁히는 방향으로 학습될 수 있다. 이러한 출력 데이터와 라벨링 정보의 차이는 손실 함수 또는 비용 함수로 표현될 수 있으며, 딥 러닝 기반 청소 영역 구분 모델(503)은 손실 함수를 최소화하는 방향으로 학습된다.
즉, 딥 러닝 기반 청소 영역 구분 모델(503)은 영역 유형을 기준으로 청소 영역들을 구분하는 지도를 출력하며, 따라서 각 청소 영역들은 하나의 영역 유형으로 분류될 수 있다.
딥 러닝 기반 청소 영역 구분 모델(503)은 인공 지능 청소기(100)의 프로세서(190)를 통해 학습되어 저장된 모델일 수도 있지만, 외부의 학습 장치(200)를 통하여 학습되고, 무선 통신부(140)를 통해 수신한 모델일 수도 있다.
특히, 인공 지능 청소기(100)는 사용자의 피드백을 획득하고, 사용자의 피드백을 기반으로 해당 청소 이력에 상응하는 라벨링 정보를 생성하고, 해당 청소 이력과 라벨링 정보를 학습 데이터로 생성할 수 있다. 그리고, 생성된 학습 데이터는 딥 러닝 기반 청소 영역 구분 모델(503)의 갱신하는데 사용될 수 있다.
딥 러닝 기반 청소 영역 구분 모델(503)의 갱신 또한 인공 지능 청소기(100)의 프로세서(190)를 통해 이루어질 수도 있지만, 외부의 학습 장치(200)를 통해 이루어질 수도 있다.
도 6은 본 발명의 일 실시예에 따른 인공 지능 청소기의 청소 모드를 설명하는 도면이다.
도 6을 참조하면, 도 6의 (a)는 인공 지능 청소기(100)의 꼼꼼 모드의 경로를 나타내고, 도 6의 (b)는 인공 지능 청소기(100)의 지그재그 모드의 경로를 나타내고, 도 6의 (c)는 인공 지능 청소기(100)의 집중 모드의 경로를 나타내고, 도 6의 (d)는 인공 지능 청소기(100)의 지정 영역 모드의 경로를 나타낸다.
도 6의 (a)를 참조하면, 인공 지능 청소기(100)는 꼼꼼 모드가 설정된 경우, 메모리에 저장된 SLAM 지도에 기초하여 청소 대상 영역을 꼼꼼하게 청소할 수 있는 경로를 형성할 수 있다. 이에 따라, 인공 지능 청소기(100)는 SLAM 지도에 기초하여 인공 지능 청소기(100)가 지나갈 수 있는 모든 영역을 지그재그 경로로 지나가며 청소할 뿐만 아니라, 청소 대상 영역의 가장 외곽 경로를 한번 더 지나는 경로로 청소할 수 있다.
도 6의 (b)를 참조하면, 인공 지능 청소기(100)는 지그재그 모드가 설정된 경우, 메모리에 저장된 SLAM 지도에 기초하여 청소 대상 영역을 지그재그로 경로를 지나가며 청소할 수 있다. 도 6의 (a)와 비교하여 청소 대상 영역의 가장 외곽 경로를 제외하고, 지그재그 경로를 청소할 수 있다.
도 6의 (c)를 참조하면, 인공 지능 청소기(100)는 집중 모드가 설정된 경우, 선택 받은 지점(601)을 중심으로 나선 경로를 지나가며 청소할 수 있다.
도 6의 (d)를 참조하면, 인공 지능 청소기(100)는 지정 영역 모드가 설정된 경우, 선택 받은 영역(602)을 도 6의 (a)와 같은 꼼꼼 모드 방식으로 청소할 수 있다.
즉, 인공 지능 청소기(100)는 센서 등을 통하여 청소 대상 영역을 파악한 후 사용자로부터 설정 받은 모드에 기초하여 정형화된 패턴을 따라 일관된 형태의 경로를 생성하여 청소를 진행할 수 있다. 다만, 이 경우, 다양한 제약 조건 하에서는 청소를 중단하고 문제를 해결하거나 사용자가 직접 개입하여 대신 처리해야 하는 상황이 발생할 수 있다. 이는, 각종 상황에 대한 고려가 사용자의 대처를 기반으로 만들어졌기 때문이다.
상술한 바와 같이 기존의 인공 지능 청소기(100)의 모드 설정(꼼꼼 모드, 지그재그 모드, 집중 모드 및 지정 영역 모드 등)에 의하면 사용자로부터 모드 설정을 입력받기 때문에 제약 조건도 사용자가 직접 판단해야만 하는 문제가 발생한다.
예를 들어, 사용자가 꼼꼼 모드를 설정한 상황에서, 인공 지능 청소기(100)의 배터리의 잔여량이 꼼꼼 모드를 수행할 수 있을 만큼 남아있지 않을 수 있다.
즉, 정해진 시간 안에 모든 구역을 청소해야 하는 인공 지능 청소기의 입장에서 모든 구역을 꼼꼼하게 청소하는 것이 비효율적일 수 있다. 예를 들어서, 배터리가 부족하다거나 먼지통이 가득 찼거나 혹은 사용자 설정에 의해 청소를 빨리 마무리할 것을 요청 받은 경우, 인공 지능 청소기는 평소와 달리 청소 경로를 단순화(스무딩)하여 청소를 마칠 수 있다.
따라서, 본 발명에서는 사용자가 개입할 필요 없이 다양한 제약조건이 있는 상황에서도 가능한 빠르고 간단하게 청소를 진행할 수 있는 방안을 제안하고자 한다. 이에 따라, 인공 지능 청소기(100)는 사용성 및 편의성 면에서 사용자에게 추가적인 가치를 제공할 수 있게 된다.
특히, 다양한 내/외부 상황으로 인하여 인공 지능 청소기는 주어진 시간 내에 최대한의 영역을 청소해야하는 경우가 발생한다. 예를 들어, 사용자 모드가 추가적으로 설정되거나 배터리가 부족하거나 먼지통의 잔여 공간이 부족하거나 청소 경로 내의 장애물 발견 등으로 청소 경로의 수정이 요구되는 상황이 있다.
이 경우, 인공 지능 청소기는 청소 진행 시 청소 경로의 경로 단순화 적용에 있어서 다음과 같은 판단 기능이 요구된다. 보다 상세하게는, 인공 지능 청소기는 청소 대상 영역별 세부 청소 경로의 청소 단순화 적용 여부 및 경로 단순화 강도를 판단해야 한다. 또한, 인공 지능 청소기는 외부 상황(장애물 발견 또는 사용자 모드 설정 수신)에 기초하여 세부 청소 경로의 경로 단순화 적용 여부를 판단해야만 한다. 또한, 인공 지능 청소기는 기기 내 자원 상황(배터리 잔여량 부족 또는 먼지통 잔여 공간 부족)에 기초하여 세부 청소 경로의 경로 단순화 적용 여부를 판단 해야만 한다. 마지막으로, 인공 지능 청소기는 청소 이력 및 사용자 피드백을 통하여 상황 별 경로 단순화 적용을 개선해야 한다. 이에 따라, 본 발명은 상술한 기능을 수행하는 인공 지능 청소기를 제안하고자 한다.
또한, 후술하는 다양한 시예들은 인공 지능 청소기의 프로세서에서 수행되는 것을 전제로 하나 설명의 편의를 위하여 인공 지능 청소기가 수행하는 것으로 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 인공 지능 청소기의 동작 방법을 설명하는 순서도이다.
도 7을 참조하면, 단계(S701)에서, 인공 지능 청소기는 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)의 발생 여부를 판단할 수 있다. 이때, 이상 상황은 인공 지능 청소기에 구비된 다양한 센서들로부터 수집되는 정보를 통해 판단할 수 있다. 이때, 다양한 센서들에는 RGB 카메라, RGB-D 카메라, 절벽 센서 등이 포함될 수 있다. 여기에서, 청소 경로는 SLAM 지도 및 수집된 복수의 청소 이력을 고려하여 결정된 청소 경로에 대응한다.
본 발명의 일 실시예에서, 이상 상황은 인공 지능 청소기의 배터리 잔량이 부족한 상황 및 인공 지능 청소기의 먼지통 잔여 공간이 부족한 상황을 포함할 수 있다. 또한, 배터리 잔량이 부족한 상황이란 단순히 배터리 잔량이 기 설정된 양 이하로 떨어진 경우뿐만 아니라, 청소 도중 배터리 잔량 부족으로 기존 청소 모드로 청소를 끝내고 충전 장치로 귀환하는 경우가 어려운 경우를 포함할 수 있다.
도 7에서는 인공 지능 청소기의 배터리 잔량이 부족한 상황에 대하여 설명하고, 도 10에서는 인공 지능 청소기의 먼지통 잔여 공간이 부족한 상황에 대하여 설명하도록 한다.
단계(S702)에서, 인공 지능 청소기는 남은 청소 대상 영역 대비 부족한 시간을 계산할 수 있다.
단계(S703)에서, 인공 지능 청소기는 남은 청소 대상 영역 중 경로 단순화가 가능한 적어도 하나의 후보 영역을 식별할 수 있다.
단계(S704)에서, 인공 지능 청소기는 적어도 하나의 경로 단순화 후보 영역의 중요도(priority)를 결정할 수 있다.
단계(S705)에서, 인공 지능 청소기는 중요도가 낮은 경로 단순화 후보 영역부터 경로 단순화를 적용할 수 있다. 본 발명의 일 실시예에서, 중요도는 SLAM 지도에 기초하여 기 설정된 면적 대비 꼭지점의 개수에 기초하여 결정될 수 있다. 이에 대하여는 도 8에서 자세히 설명하도록 한다.
또한, 인공 지능 청소기는 경로 단순화가 적용된 이후 청소 완료 시간을 예측할 수 있다. 여기에서, 청소 완료 시간은 청소 대상 영역에서 인공지능 청소기가 머물러야 하는 시간을 모두 더한 시간에 대응할 수 있다. 본 발명의 일 실시예에서, 인공 지능 청소기는 경로 단순화 적용 후 줄어드는 바퀴 회전 수에 기초하여 청소 완료 시간을 예측할 수 있다.
단계(S706)에서, 인공 지능 청소기는 경로 단순화가 적용된 청소 대상 영역을 청소할 수 있다. 이때, 도면에 도시되어 있지는 않으나 인공 지능 청소기는 결정된 청소 경로에 따라 주행 구동부를 제어할 수 있다. 이때, 인공 지능 청소기는 새롭게 결정된 청소 경로를 메모리에 저장할 수 있다.
이후, 배터리 잔량에 기초하여 상술한 단계(S701) 내지 단계(S706)를 반복하여 수행할 수 있다. 보다 상세하게는, 인공 지능 청소기는 경로 단순화가 적용된 이후에 청소 완료 시간을 예측할 수 있고, 예측된 시간에 기초하여 현재 배터리 잔량이 기존 모드로 청소를 마칠 수 있는지 판단할 수 있다. 이는, 최초 단계(S701) 내지 단계(S706)을 수행할 때와 달리 실제로 인공 지능 청소기가 청소를 수행하게 되는 경우, 장애물에 걸려서 배터리를 더 소모하는 등 실제로 소모된 배터리 잔량을 확인해야 하기 때문이다. 이에 따라, 인공 지능 청소기는 단계(S701) 내지 단계(S706)을 실시간으로 반복적으로 수행하여 지속적으로 배터리의 잔량을 확인하고, 청소 완료 시간을 예측하여 경로 단순화를 적용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 인공 지능 청소기의 경로 단순화 방법을 설명하는 도면이다.
도 8을 참조하면, 인공 지능 청소기가 청소해야 하는 청소 대상 영역(801)을 나타낸다. 이때, 도 7에서 상술한 바와 같이 인공 지능 청소기는 청소 진행 중 이상 상황이 발생한 것을 감지할 수 있다. 이때, 이상 상황은 배터리 잔량이 기 설정된 잔량(예를 들어, 50%) 이하로 남았거나, 먼지통 잔여 공간이 부족하거나, 장애물을 발견하였거나, 새로운 사용자 모드 설정을 요청받은 경우를 포함할 수 있다.
본 발명의 일 실시예에서, 인공 지능 청소기는 남은 청소 대상 영역 중 경로 단순화가 가능한 적어도 하나의 후보 영역(802, 803, 804)을 식별할 수 있다.
여기에서, 경로 단순화가 가능한 적어도 하나의 후보 영역(802, 803, 804)는 인공 지능 청소기의 메모리에 저장된 SLAM 지도에 기초하여 기 설정된 영역 범위 이내에 굴곡 개수가(꼭지점의 개수가) 기 설정된 개수 이상인 영역에 대응할 수 있다. 예를 들어, 경로 단순화가 가능한 후보 영역은 50cm X 50cm 영역 이내에 꼭지점 개수가 2개 이상인 영역에 대응할 수 있다.
또한, 다른 실시예로, 인공 지능 청소기는 기존 청소 이력에 기초하여, 사용자가 중요하지 않게 생각하는 청소 영역을 경로 단순화가 가능한 적어도 하나의 후보 영역(802, 803, 804)으로 식별할 수 있다. 예를 들어, 기존 청소 이력에 기초하여, 기 설정된 기간 동안 사용자가 침실 및 거실 청소는 3회 요청했으나, 주방 청소는 2회 요청한 경우, 침실 및 거실은 중요도가 3이고, 주방은 중요도가 2가 된다.
이후, 인공 지능 청소기는 남은 배터리 잔량에 기초하여 중요도(priority)가 낮은 경로 단순화 후보 영역부터 경로 단순화를 적용할 수 있다. 이때, 중요도는 굴곡 개수(꼭지점의 개수)가 많을수록 낮게 된다. 예를 들어, 배터리 잔량이 80% 남은 경우, 인공 지능 청소기는 중요도가 가장 낮은 제 1 후보 영역(802)의 청소 경로에 경로 단순화를 적용할 수 있다. 이때, 청소 경로에 경로 단순화를 적용하는 방법은 도 9에서 자세히 설명하도록 한다. 또한, 다른 예를 들어, 배터리 잔량이 50% 남은 경우, 인공 지능 청소기는 중요도가 가장 낮은 제 1 후보 영역(802) 및 그 다음으로 중요도가 낮은 제 2 후보 영역(803)의 청소 경로에 경로 단순화를 적용할 수 있다.
이와 같이, 인공 지능 청소기는 남은 배터리 잔량에 기초하여 중요도가 낮은 경로 단순화 후보 영역부터 경로 단순화를 적용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 인공 지능 청소기의 경로 단순화 방법을 설명하는 도면이다.
도 9의 (a)는 기본 주행 경로를 나타내고, 도 9의 (b)는 경로 단순화 강도가 낮은 경우, 도 9의 (c)는 경로 단순화 강도가 높은 경우를 나타낸다.
보다 상세하게는, 도 9의 (a)가 인공 지능 청소기가 청소 대상인 A영역의 기본 청소 경로를 주행하는 경로를 나타낸다. 이때, 그래프의 x축은 인공 지능 청소기의 진행 방향을 나타내고, 그래프의 y축은 청소 경로의 일정 구간마다 기준이 되는 포인트를 나타낼 수 있다.
본 발명의 일 실시예에서, 경로 단순화의 강도는 평균 값을 산출하기 위한 구간 내 기준이 되는 포인트 개수 할당량에 따라 달라진다. 예를 들어, 구간 내 기준이 되는 포인트 개수가 많아지면 경로 단순화 강도가 높아지게 된다.
즉, 도 9의 (b)는 구간 내 기준이 되는 포인트 개수가 적은 경우이며, 도 9의 (c)는 구간 내 기준이 되는 포인트 개수가 많은 경우이다.
도 9의 (b)를 참조하면, 구간 내 기준이 되는 포인트 개수가 적기 때문에, 인공 지능 청소기는 기본 주행 경로인 도 9의 (a)와 비교하여, 동일한 진행 방향인 x축에 따라, 낮은 경로 단순화 강도가 적용될 수 있다.
반면, 도 9의 (c)를 참조하면, 구간 내 기준이 되는 포인트 개수가 많기 때문에, 인공 지능 청소기는 기본 주행 경로인 도 9의 (a)와 비교하여, 동일한 진행 방향인 x축에 따라, 높은 경로 단순화 강도가 적용될 수 있다.
도 10은 본 발명의 다른 일 실시예에 따른 인공 지능 청소기의 동작 장법을 설명하는 순서도이다. 도 10은 도 7의 이상 상황 중 먼지통 잔여 공간이 부족한 상황에 대한 실시예로 도 7과 중복되는 설명은 생략하도록 한다.
도 10을 참조하면, 단계(S1001)에서, 인공 지능 청소기는 청소 경로에 기초하여 청소 진행 중 이상 상황 발생 여부를 판단할 수 있다.
단계(S1002)에서, 인공 지능 청소기는 먼지통 잔여 공간 부족을 사용자에게 알릴 수 있다. 본 발명의 일 실시예에서, 인공 지능 청소기는 인공 지능 청소기와 연결된 단말기가 있는 경우, 단말기에게 먼지통 잔여 공간 부족에 대한 메시지를 전송할 수 있다. 이에 따라, 단말기는 먼지통 잔여 공간 부족에 대한 메시지를 출력할 수 있다. 또한, 인공 지능 청소기는 비프음을 통해서 사용자에게 먼지통 잔여 공간 부족을 알릴 수 있다.
단계(S1003)에서, 인공 지능 청소기는 인공 지능 청소기의 먼지 흡입력을 최대로 높일 수 있다. 이때, 단계(S1002)를 통하여 사용자에게 먼지통 잔여 공간 부족에 대하여 알람을 출력한 이후에도 사용자가 먼지통을 비우지 않을 경우, 인공 지능 청소기는 인공 지능 청소기의 출력을 높여 남은 청소 경로에 대해서 먼지 흡입력을 최대로 높이거나, 단계(S1004)를 수행할 수 있다.
단계(S1004)에서, 인공 지능 청소기는 경로 단순화 후보 영역들 중 일정 중요도 이하 영역에 경로 단순화를 적용할 수 있다. 이때, 인공 지능 청소기는 경로 단순화 이후 각 경로에 대하여 줄어든 청소 완료 예측 시간을 통해서 우선 순위가 낮은(중요도가 낮은) 경로 단순화부터 우선 순위가 높은(중요도가 높은) 경로 단순화 순으로 청소 대상 영역에 경로 단순화를 적용할 수 있다.
즉, 단계(S1003) 및 단계(S1004)는 선택적으로 또는 동시에 수행될 수 있다.
단계(S1005)에서, 인공 지능 청소기는 경로 단순화가 적용된 청소 대상 영역을 청소할 수 있다.
청소를 마친 인공 지능 청소기는 클린 스테이션(clean station, 인공 지능 청소기의 먼지통을 자동으로 비워주는 장소) 또는 충전-독(charging-dock, 인공 지능 청소기의 유무선 충전 장치)으로 이동할 수 있다.
도 11은 본 발명의 또 다른 일 실시예에 따른 인공 지능 청소기의 동작 장법을 설명하는 순서도이다.
도 11은 인공 지능 청소기가 청소 대상 영역에서 세부 청소 경로의 경로 단순화 적용 여부 및 경로 단순화 강도 판단 방법에 대하여 설명한다.
도 11을 참조하면, 단계(S1101)에서, 인공 지능 청소기는 청소를 시작한 후 청소 대상 영역에 대한 청소 이력(history)가 존재하는지 여부를 확인할 수 있다. 이때, 청소 이력은 기 설정된 영역의 가장 자리에 대한 영역 단위로 정보를 저장할 수 있다. 또한, 청소 이력은 먼지 흡입구의 센서를 통한 흡입량 정보 및 기 설정된 영역 내 방향 전환 횟수 등을 포함할 수 있다. 예를 들어, 청소 이력은 A 구역에서 먼지 흡입량 많음, B 구역에서 먼지 흡입량 보통, C 구역에서 먼지 흡입량 적음 등의 정보를 포함할 수 있다. 또한, 다른 예를 들어, 청소 이력은 A 구역에서 방향 전환 횟수 3번, B 구역에서 방향 전환 횟수 1번, C 구역에서 방향 전환 횟수 4번 등의 정보를 포함할 수 있다.
청소 대상 영역에 대한 청소 이력이 존재하는 경우, 단계(S1102)에서, 인공 지능 청소기는 청소 대상 영역의 가장자리(모서리 또는 꼭지점)의 상태 및 이력을 검출할 수 있다.
단계(S1103)에서, 인공 지능 청소기는 청소 대상 영역 가장 자리의 상태 및 이력에 기초하여 먼지 흡입량 대비 방향 전환이 많이 일어나는 영역에 경로 단순화를 적용할 수 있다.
보다 상세하게는, 본 발명의 일 실시예에서, 인공 지능 청소기는 먼지 흡입량이 낮을수록 경로 단순화의 강도를 높일 수 있다. 이때, 경로 단순화의 강도는 도 9에서 상술한 바와 같다. 이에 따라, 평소 먼지 흡입량이 낮은 영역의 경우, 청소 경로의 경로를 단순화하더라도 상대적으로 청소를 깨끗하게 완료할 수 있다.
또한, 본 발명의 일 실시예에서, 인공 지능 청소기는 굴곡이 많아(청소 경로에 꼭지점이 많아) 인공 지능 청소기의 방향 전환이 많이 일어나는 영역에 경로 단순화를 적용할 수 있다.
청소 이력이 존재하는 경우, 단계(S1102) 및 단계(S1103)에 따라, 청소 경로의 경로 단순화를 적용한 이후, 단계(S1104)를 수행할 수 있다.
청소 대상 영역에 대한 청소 이력이 존재하지 않는 경우, 단계(S1104)에서, 인공 지능 청소기는 청소 대상 영역의 가장 자리의 먼지 흡입량 정보를 수집할 수 있다.
보다 상세하게는, 인공 지능 청소기는 청소 진행 중 인공 지능 청소기에 포함된 센서(카메라, IR 센서, 레이다 센서, 초음파 센서 등)를 이용하여 청소 경로 내 가장 자리의 먼지 흡입량을 추정할 수 있다. 뿐만 아니라, 인공 지능 청소기는 청소 진행 중 가장 자리의 굴곡을 파악하여 청소 경로 상의 방향 전환 횟수를 파악할 수 있다.
본 발명의 일 실시예에서, 인공 지능 청소기는 청소 진행 중 추정된 먼지 흡입량과 인공 지능 청소기의 방향 전환 횟수를 청소 대상 영역별로 구분하여 저장할 수 있다.
단계(S1105)에서, 인공 지능 청소기는 경로 단순화 적용 정도를 보정할 수 있다.
보다 상세하게는, 인공 지능 청소기는 단계(S1104)를 통하여 청소 대상 영역의 가장 자리에 대한 먼지 흡입량과 인공 지능 청소기의 방향 전환 횟수에 기초하여 경로 단순화 적용 여부 및 적용 강도를 보정할 수 있다. 이때, 단계(S1101)을 통하여 기존의 청소 이력을 통해 이미 설정된 내용이 있는 경우, 인공 지능 청소기는 오프셋(offset)을 적용하여 기존 값을 보정할 수 있다.
이후, 인공 지능 청소기는 단계(S1101) 내지 단계(S1105)를 반복하여 경로 단순화 및 청소를 진행할 수 있다.
도 12는 본 발명의 또 다른 일 실시예에 따른 인공 지능 청소기의 동작 장법을 설명하는 순서도이다.
도 12는 인공 지능 청소기가 외부 상황에 따라 세부 청소 경로의 경로 단순화 적용 여부 판단 방법에 대하여 설명한다.
도 12를 참조하면, 단계(S1201)에서, 인공 지능 청소기는 상술한 실시예를 바탕으로 청소 이력에 기초하여 청소 경로에 경로 단순화를 적용할 수 있다.
이때, 인공 지능 청소기는 외부 상황(장애물 발견 또는 사용자 모드 설정)에 따라 세부 청소 경로의 경로 단순화 적용 여부를 판단해야만 한다. 이하에서는, 장애물을 발견한 경우에 대하여 설명하도록 한다. 여기에서, 장애물을 발견한 경우는 단순히 장애물이 있는지를 의미하는 것뿐만이 아니라, 문턱인지 여부, 높이 차가 있는지 여부 등을 포함할 수 있다.
단계(S1202)에서, 인공 지능 청소기는 장애물을 발견한 경우, 장애물의 개수를 판단할 수 있다.
발견된 장애물의 개수가 2개 이상인 경우, 단계(S1203)에서, 인공 지능 청소기는 발견된 장애물 간 거리에 따른 청소 경로를 추정할 수 있다. 이때, 인공 지능 청소기는 인공 지능 청소기에 포함된 센서(카메라 또는 레이다 등)를 통하여 발견된 장애물 간의 거리를 계산하고 이에 따른 청소 경로를 추정할 수 있다.
본 발명의 일 실시예에서, 인공 지능 청소기는 변경된 청소 경로가 장애물 사이를 통과하는 경우에는 단계(S1205)에 따라 청소를 진행할 수 있다. 반면, 인공 지능 청소기는 변경된 청소 경로가 장애물 사이를 통과하지 못하는 경우, 단계(S1204)를 수행할 수 있다.
단계(S1204)에서, 인공 지능 청소기는 변경된 청소 경로가 장애물 사이를 통과하지 못하는 경우, 적어도 두개 이상의 장애물을 하나의 그룹으로 묶어 청소 경로의 경로 단순화를 적용할 수 있다.
인공 지능 청소기는 단계(S1204)에 기초하여 장애물을 하나의 그룹으로 묶어 청소 경로의 경로 단순화가 적용된 경우, 단계(S1205)에 따라 청소를 진행할 수 있다.
반면, 발견된 장애물의 개수가 1개 이하인 경우, 단계(S1205)에서, 인공 지능 청소기는 경로 단순화를 적용하지 않고 기존의 청소 경로에 기초하여 청소를 진행할 수 있다.
즉, 청소 경로 내에 장애물이 2개 이상인 경우에는 인공 지능 청소기는 2개 이상의 장애물 사이를 청소하는 것보다 장애물들을 하나의 그룹으로 묶어 그 부분을 회피하는 것이 더 적절하다고 판단할 수 있다.
또한, 인공 지능 청소기는 사용자 모드 설정에 따라 세부 청소 경로의 경로 단순화를 적용할 수 있다. 예를 들어, 인공 지능 청소기는 사용자로부터 청소 대상 영역에 대한 쾌속 모드 또는 간단 모드와 같은 요청(request)을 수신하는 경우, 청소 대상 영역에 경로 단순화를 적용할 수 있다. 이에 따라, 인공 지능 청소기는 청소 경로를 수정하여 청소를 진행할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
상술한 인공 지능 청소기의 실시예는 반복적으로 수행 가능하므로 산업상 이용가능성이 있다.

Claims (10)

  1. 인공 지능 청소기에 있어서,
    청소 공간의 SLAM(simultaneous localization and mapping) 지도를 저장하는 메모리;
    상기 인공 지능 청소기를 주행시키는 주행 구동부; 및
    상기 SLAM 지도에 기초하여 상기 인공 지능 청소기의 청소 경로를 결정하고, 상기 결정된 청소 경로에 따라 상기 주행 구동부를 제어하는 프로세서를 포함하고,
    상기 프로세서는
    상기 결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는, 인공 지능 청소기.
  2. 제 1 항에 있어서,
    상기 프로세서는
    상기 남은 청소 영역 중 경로 단순화가 가능한 적어도 하나의 후보 영역을 식별하고,
    상기 적어도 하나의 후보 영역의 중요도(priority)를 결정하고,
    상기 중요도에 기초하여 상기 기 설정된 영역을 판단하는 것을 특징으로 하는, 인공 지능 청소기.
  3. 제 2 항에 있어서,
    상기 프로세서는
    상기 중요도가 낮은 영역부터 상기 경로 단순화를 적용하는 것을 특징으로 하는, 인공 지능 청소기.
  4. 제 3 항에 있어서,
    상기 중요도는 상기 SLAM 지도에 기초하여 기 설정된 면적 대비 꼭지점의 개수에 기초하여 결정되는 것을 특징으로 하는, 인공 지능 청소기.
  5. 제 3 항에 있어서,
    상기 프로세서는
    상기 수정된 청소 경로에 기초하여 남은 청소 영역 대비 청소 완료 시간을 예측하는 것을 특징으로 하는, 인공 지능 청소기.
  6. 제 5 항에 있어서,
    상기 프로세서는
    상기 경로 단순화 적용 후, 줄어드는 바퀴 회전 수에 기초하여 상기 청소 완료 시간을 예측하는 것을 특징으로 하는, 인공 지능 청소기.
  7. 제 1 항에 있어서,
    상기 이상 상황은 상기 인공 지능 청소기의 배터리 잔량이 부족한 상황인 것을 특징으로 하고,
    상기 프로세서는
    상기 배터리 잔량에 기초하여 상기 남은 청소 영역 대비 부족한 시간을 계산하는 것을 특징으로 하는, 인공 지능 청소기.
  8. 제 1 항에 있어서,
    상기 프로세서는
    머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습된 영역 구분 모델에 상기 청소 경로, 상기 SLAM 지도 및 청소 이력을 입력시키고, 그 결과로 지도 데이터를 획득하고,
    상기 획득한 지도 데이터를 이용하여 상기 청소 경로를 수정하고,
    상기 학습된 영역 구분 모델은 인공 신경망으로 구성되는 것을 특징으로 하는, 인공 지능 청소기.
  9. 인공 지능 청소기의 동작 방법에 있어서,
    청소 공간에 대한 복수의 청소 이력들을 수집하는 단계;
    상기 청소 공간의 SLAM(simultaneous localization and mapping) 지도 및 상기 수집된 복수의 청소 이력들을 이용하여 상기 청소 공간을 복수의 청소 영역들로 구분하는 단계;
    상기 구분된 청소 영역들을 고려하여 상기 인공 지능 청소기의 청소 경로를 결정하는 단계;
    상기 결정된 청소 경로에 따라 상기 인공 지능 청소기를 주행시키는 주행 구동부를 제어하는 단계; 및
    결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는 단계를 포함하는, 인공 지능 청소기의 동작 방법.
  10. 인공 지능 청소기의 동작 방법을 수행하기 위한 프로그램이 기록된 기록 매체에 있어서,
    상기 인공 지능 청소기의 동작 방법은
    청소 공간에 대한 복수의 청소 이력들을 수집하는 단계;
    상기 청소 공간의 SLAM(simultaneous localization and mapping) 지도 및 상기 수집된 복수의 청소 이력들을 이용하여 상기 청소 공간을 복수의 청소 영역들로 구분하는 단계;
    상기 구분된 청소 영역들을 고려하여 상기 인공 지능 청소기의 청소 경로를 결정하는 단계;
    상기 결정된 청소 경로에 따라 상기 인공 지능 청소기를 주행시키는 주행 구동부를 제어하는 단계; 및
    결정된 청소 경로에 기초하여 청소 진행 중 이상 상황(abnormal situation)이 발생한 경우, 남은 청소 영역 중 기 설정된 영역에 경로 단순화를 적용하여 상기 청소 경로를 수정하는 단계를 포함하는, 기록 매체.
PCT/KR2021/018231 2021-12-03 2021-12-03 인공 지능 청소기 및 그의 동작 방법 WO2023101067A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247017761A KR20240110586A (ko) 2021-12-03 2021-12-03 인공 지능 청소기 및 그의 동작 방법
PCT/KR2021/018231 WO2023101067A1 (ko) 2021-12-03 2021-12-03 인공 지능 청소기 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/018231 WO2023101067A1 (ko) 2021-12-03 2021-12-03 인공 지능 청소기 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2023101067A1 true WO2023101067A1 (ko) 2023-06-08

Family

ID=86612463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018231 WO2023101067A1 (ko) 2021-12-03 2021-12-03 인공 지능 청소기 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR20240110586A (ko)
WO (1) WO2023101067A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019107083A (ja) * 2017-12-15 2019-07-04 東芝ライフスタイル株式会社 電気掃除機
KR20190094318A (ko) * 2019-03-28 2019-08-13 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법
US20190343355A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
KR20200069103A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 로봇 청소기 및 로봇 청소기의 청소 경로 계획 방법
KR20200116187A (ko) * 2019-03-15 2020-10-12 삼성전자주식회사 로봇 청소기 및 이의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019107083A (ja) * 2017-12-15 2019-07-04 東芝ライフスタイル株式会社 電気掃除機
US20190343355A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
KR20200069103A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 로봇 청소기 및 로봇 청소기의 청소 경로 계획 방법
KR20200116187A (ko) * 2019-03-15 2020-10-12 삼성전자주식회사 로봇 청소기 및 이의 제어 방법
KR20190094318A (ko) * 2019-03-28 2019-08-13 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법

Also Published As

Publication number Publication date
KR20240110586A (ko) 2024-07-15

Similar Documents

Publication Publication Date Title
WO2020196962A1 (ko) 인공 지능 청소기 및 그의 동작 방법
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2017188800A1 (ko) 이동 로봇 및 그 제어방법
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2022098203A1 (en) Method and apparatus for image segmentation
WO2020213750A1 (ko) 객체를 인식하는 인공 지능 장치 및 그 방법
WO2019182265A1 (ko) 인공 지능 기기 및 그의 동작 방법
WO2021025217A1 (ko) 인공지능 서버
WO2021006404A1 (ko) 인공지능 서버
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2020241929A1 (ko) 청소 로봇
WO2019151845A2 (ko) 에어컨
WO2021020621A1 (ko) 인공지능 무빙 에이전트
WO2015194866A1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2021006405A1 (ko) 인공지능 서버
WO2020184748A1 (ko) 교통 정보에 기반한 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
WO2017188708A2 (ko) 이동 로봇, 복수의 이동 로봇 시스템 및 이동 로봇의 맵 학습방법
WO2019031825A1 (ko) 전자 장치 및 그 동작 방법
WO2020251100A1 (ko) 퓨전 슬램에서 맵을 업데이트하는 방법 및 이를 구현하는 로봇
WO2020027515A1 (ko) 속성 블록을 설정하는 이동 로봇
WO2020241920A1 (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
WO2021049751A1 (ko) 인공 지능을 이용한 조리 기기 제어 방법 및 그 시스템
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020262721A1 (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21966493

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247017761

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE