WO2020213751A1 - 인공 지능 세탁물 처리 기기 및 그의 동작 방법 - Google Patents

인공 지능 세탁물 처리 기기 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020213751A1
WO2020213751A1 PCT/KR2019/004573 KR2019004573W WO2020213751A1 WO 2020213751 A1 WO2020213751 A1 WO 2020213751A1 KR 2019004573 W KR2019004573 W KR 2019004573W WO 2020213751 A1 WO2020213751 A1 WO 2020213751A1
Authority
WO
WIPO (PCT)
Prior art keywords
laundry
information
processor
data
washing
Prior art date
Application number
PCT/KR2019/004573
Other languages
English (en)
French (fr)
Inventor
김재홍
최희연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/497,778 priority Critical patent/US11692293B2/en
Priority to EP19925285.9A priority patent/EP3957791A4/en
Priority to PCT/KR2019/004573 priority patent/WO2020213751A1/ko
Priority to KR1020190089569A priority patent/KR20190094297A/ko
Publication of WO2020213751A1 publication Critical patent/WO2020213751A1/ko

Links

Images

Classifications

    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00Control of operations performed in washing machines or washer-dryers 
    • D06F33/30Control of washing machines characterised by the purpose or target of the control 
    • D06F33/32Control of operational steps, e.g. optimisation or improvement of operational steps depending on the condition of the laundry
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04Signal transfer or data transmission arrangements
    • D06F34/05Signal transfer or data transmission arrangements for wireless communication between components, e.g. for remote monitoring or control
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/14Arrangements for detecting or measuring specific parameters
    • D06F34/18Condition of the laundry, e.g. nature or weight
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/28Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/02Characteristics of laundry or load
    • D06F2103/06Type or material
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/64Radiation, e.g. microwaves
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/10Temperature of washing liquids; Heating means therefor
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/52Changing sequence of operational steps; Carrying out additional operational steps; Modifying operational steps, e.g. by extending duration of steps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a laundry treatment device using artificial intelligence, and to a laundry treatment device capable of obtaining laundry information by using a machine learning algorithm.
  • laundry treatment units or laundry aids are essential household appliances in every home.
  • Clothing, bedding, or dolls that need to be washed are made of various materials, and requirements for washing are different for each material. Accordingly, current laundry apparatuses or laundry auxiliary apparatuses provide several washing courses in order to provide suitable washing functions for various materials.
  • Existing laundry treatment devices or laundry auxiliary devices provide a corresponding laundry course when the user selects a predetermined laundry course, or provide a laundry course reflecting the parameters when the user sets parameters for each washing step for each wash. Is providing only.
  • the laundry label of the laundry is recognized through a camera provided in the laundry treatment machine.
  • the obtained laundry information can be used later to select an optimal laundry course.
  • An object of the present invention is to provide a laundry treatment device capable of automatically acquiring laundry information without the need to recognize laundry labels by analyzing images of laundry using machine learning.
  • an object of the present invention is to provide a customized laundry course through a laundry course learning model, by automatically recognizing laundry input to a laundry treatment device, analyzing a material mixing ratio for each.
  • an object of the present invention is to provide an artificial intelligent laundry treatment device for obtaining a personalized laundry recognition model.
  • the artificial intelligent laundry processing device is a laundry module and a laundry recognition model that is learned by using a camera that acquires images of laundry and machine learning or deep learning algorithms, and recognizes laundry information of the laundry. And a processor that obtains the laundry information by using the memory for storing the information and the image data for the acquired image and the laundry recognition model.
  • the processor may extract cloth data for identifying the cloth of the laundry from the image data, and obtain the laundry information by using the extracted cloth data and the laundry recognition model.
  • the processor is based on the first image data of the first laundry, the second image data of the second laundry, and the laundry recognition model.
  • the processor is based on the first laundry information and the second laundry information, acquiring first laundry information corresponding to and second laundry information corresponding to the second laundry, a notification notifying this Can be printed.
  • the processor may output a notification indicating that the simultaneous washing is not possible as a voice through an audio output unit or may display the notification through a display unit.
  • the artificial intelligent laundry treatment device may transmit the notification to the user's terminal.
  • the laundry information may include one or more of a material mixing ratio of the laundry, a handling precaution of the laundry, and an appropriate washing temperature.
  • the laundry recognition model is an artificial neural network model that has been trained using machine learning or deep learning algorithms, and will be learned through a learning device of an external artificial neural network or a learning processor included in the laundry processing device that performs learning of the artificial neural network. I can.
  • the laundry recognition model may be a supervised learning model using the training cloth data and laundry label data labeled on the training cloth data.
  • the processor uses machine learning or deep learning algorithms to obtain values of laundry control variables suitable for the acquired laundry information, based on a learned laundry course learning model, and the laundry control variables are a laundry time variable and a rinsing frequency. It may include a variable, a number of spins variable, a washing water temperature variable, and a current intensity variable.
  • the processor may control the washing module to perform washing in a washing course corresponding to values of the washing control variables.
  • the method of operating an artificial intelligent laundry treatment device includes obtaining an image of laundry, extracting cloth data identifying the cloth of the laundry from image data of the obtained image, and the extracted It may include the step of acquiring the laundry information by using a laundry recognition model that is learned using cloth data and machine learning or deep learning algorithms and recognizes laundry information of the laundry.
  • laundry information is automatically obtained, the user does not need to separately photograph a laundry label attached to the laundry, so that user convenience can be greatly improved.
  • a correct washing method may be guided to the user. That is, according to the guide of the washing method, at the same time, a situation in which laundry that should not be washed is washed can be prevented in advance.
  • 1 is a block diagram illustrating an apparatus for learning an artificial neural network.
  • FIG. 2 is a block diagram illustrating a configuration of a terminal according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a laundry treatment apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of determining a washing course of a laundry treatment apparatus according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of acquiring laundry information by using a tag image captured through a camera according to an embodiment of the present invention.
  • 6 and 7 are diagrams for explaining baseline information according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a process of generating laundry encoding data that can be input into a learning model using laundry information and baseline information recognized through a tag according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a specific example of generating laundry encoded data through tag recognition according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a process of generating a laundry course learning model according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a process of determining a main material for laundry composed of a plurality of materials according to an embodiment of the present invention.
  • FIG. 12 is a diagram showing a result of classifying main materials into three laundry groups according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a result of extracting characteristic values of a laundry group according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an actual degree of damage y and an estimated degree of damage (Wx+b) using a matrix equation.
  • 15 is a diagram illustrating a process of obtaining values of laundry control variables for an optimal laundry course by applying a laundry course learning model to laundry encoded data according to an embodiment of the present invention.
  • 16 is a view for explaining a scenario in which laundry is automatically recommended an optimal washing course when laundry is put into a laundry treatment apparatus, according to an embodiment of the present invention.
  • 17 is a diagram illustrating a user scenario for providing an optimal laundry course according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a method of operating a laundry treatment apparatus according to another embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a process of acquiring characteristic information of an external laundry treatment device by a laundry treatment device according to an embodiment of the present invention.
  • 20 is a diagram including characteristic information of external laundry treatment apparatuses according to an embodiment of the present invention.
  • 21 is a flowchart illustrating a process of determining an external laundry treatment apparatus using a matching rule model according to an embodiment of the present invention.
  • FIG. 22 is a diagram showing examples of a laundry group and characteristic values of a laundry group according to an embodiment of the present invention
  • FIG. 23 is a characteristic element of a laundry group processed with a characteristic value of the laundry group according to an embodiment of the present invention It is a diagram illustrating an example of encoding values of
  • 24 is a diagram illustrating a graph including values of encoding characteristic elements of an external laundry treatment apparatus according to an embodiment of the present invention.
  • 25 is a diagram illustrating an example of a matching rule model according to an embodiment of the present invention.
  • 26 is a diagram illustrating a score summation result for each of a plurality of external laundry treatment devices, according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an example in which each of a plurality of laundry groups is mapped to any one external laundry treatment device according to an embodiment of the present invention.
  • FIG. 28 is a view for explaining an example in which the laundry treatment device outputs information on a laundry treatment device to perform washing for each laundry group according to an embodiment of the present invention.
  • 29 is a ladder diagram illustrating a method of operating a laundry system according to an embodiment of the present invention.
  • FIG. 30 is a diagram illustrating an example of photographing laundry and tags through a terminal according to an embodiment of the present invention.
  • FIG. 31 is a diagram illustrating a process of acquiring cloth data of a laundry using laundry image data and a cloth recognition model according to an embodiment of the present invention.
  • 32 is a diagram showing examples of cloth data and laundry label data obtained according to an embodiment of the present invention.
  • FIG 33 is a diagram illustrating a scenario performed when laundry is put into a laundry treatment device according to an embodiment of the present invention.
  • 34 and 35 are views for explaining a scenario in which the laundry treatment device transmits a notification to the user's terminal when laundry with different laundry handling is input into the laundry container of the laundry treatment device.
  • 36 is a ladder diagram illustrating a method of operating a laundry system according to another embodiment of the present invention.
  • AI Artificial intelligence
  • artificial intelligence does not exist by itself, but is directly or indirectly related to other fields of computer science.
  • attempts are being made very actively to introduce artificial intelligence elements in various fields of information technology and to use them in solving problems in that field.
  • Machine learning is a branch of artificial intelligence, a field of research that gives computers the ability to learn without explicit programming.
  • machine learning can be said to be a technology that studies and builds a system that learns based on empirical data, performs prediction, and improves its own performance, and algorithms for it.
  • Machine learning algorithms do not execute strictly defined static program instructions, but rather build specific models to derive predictions or decisions based on input data.
  • machine learning' can be used interchangeably with the term'machine learning'.
  • the decision tree is an analysis method that charts decision rules into a tree structure and performs classification and prediction.
  • Bayesian network is a model that expresses the probabilistic relationship (conditional independence) between multiple variables in a graph structure. Bayesian networks are suitable for data mining through unsupervised learning.
  • the support vector machine is a model of supervised learning for pattern recognition and data analysis, and is mainly used for classification and regression analysis.
  • ANN Artificial Neural Network
  • ANN Artificial Neural Network
  • an artificial neural network may refer to an overall model having problem-solving ability by changing the strength of synaptic bonding through learning by artificial neurons (nodes) that form a network through synaptic bonding.
  • ANN artificial neural network
  • An artificial neural network may include a plurality of layers, and each of the layers may include a plurality of neurons.
  • an artificial neural network may include a synapse connecting neurons and neurons.
  • ANNs Artificial Neural Networks
  • connection pattern between neurons of different layers (2) the learning process to update the weight of the connection (3) the previous layer ( layer) can be defined by an activation function that generates an output value by taking a weighted sum of the input.
  • ANN Artificial Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BRDNN Bidirectional Recurrent Deep Neural Network
  • MLP Multilayer Perceptron
  • CNN Convolutional Neural Network
  • the term'layer' may be used interchangeably with the term'layer'.
  • ANNs Artificial Neural Networks
  • Single Layer Neural Networks and Multi Layer Neural Networks according to the number of layers.
  • General Single Layer Neural Networks consist of an input layer and an output layer.
  • general multi-layer neural networks are composed of an input layer, a hidden layer, and an output layer.
  • the input layer is a layer that receives external data, and the number of neurons in the input layer is the same as the number of input variables, and the hidden layer is located between the input layer and the output layer and receives signals from the input layer. It receives and extracts the characteristics and transmits it to the output layer.
  • the output layer receives signals from the hidden layer and outputs them to the outside.
  • the input signal between neurons is multiplied by each connection strength having a value between 0 and 1 and then summed. If the sum is greater than the neuron threshold, the neuron is activated and implemented as an output value through the activation function.
  • a deep neural network that includes a plurality of hidden layers between an input layer and an output layer is a type of machine learning technology, deep learning. It may be a representative artificial neural network that implements (deep learning).
  • the term'deep learning' can be used interchangeably with the term'deep learning'.
  • An artificial neural network may be trained using training data.
  • training refers to parameters of an artificial neural network (ANN) by using training data to achieve the purpose of classifying, regression, or clustering input data. It can mean the process of determining (parameter).
  • parameters of an artificial neural network include weights applied to synapses or biases applied to neurons.
  • the artificial neural network learned by the training data may classify or cluster input data according to a pattern of the input data.
  • an artificial neural network trained using training data may be referred to as a trained model in this specification.
  • ANN artificial neural network
  • ANN artificial neural networks
  • Supervised Learning is a method of machine learning to infer a function from training data.
  • outputting a continuous value is called regression, and predicting and outputting the class of an input vector can be called classification.
  • an artificial neural network In supervised learning, an artificial neural network (ANN) is trained in a state given a label for training data.
  • the label means the correct answer (or result value) that the artificial neural network (ANN) must infer when training data is input to an artificial neural network (ANN). I can.
  • ANN artificial neural network
  • labeling is given to training data for learning of an artificial neural network (ANN), and labeling data is labeled on training data ( labeling).
  • ANN artificial neural network
  • the training data and the label corresponding to the training data constitute one training set
  • the artificial neural network (ANN) is in the form of a training set. Can be entered.
  • training data represents a plurality of features
  • labeling of the training data means that a label is attached to the feature represented by the training data. can do.
  • the training data may represent the characteristics of the input object in the form of a vector.
  • An artificial neural network can infer a function for a correlation between training data and labeling data by using training data and labeling data.
  • artificial neural networks ANNs
  • Unsupervised learning is a type of machine learning, and a label for training data is not given.
  • unsupervised learning may be a learning method of training an artificial neural network to find and classify patterns in training data itself, rather than a correlation between training data and a label corresponding to the training data.
  • unsupervised learning examples include clustering or independent component analysis.
  • Examples of artificial neural networks using unsupervised learning include Generative Adversarial Network (GAN), and Autoencoder (AE).
  • GAN Generative Adversarial Network
  • AE Autoencoder
  • Generative Adversarial Network is a machine learning method that improves performance by competing with two different artificial intelligences, a generator and a discriminator.
  • the generator is a model that creates new data and can create new data based on the original data.
  • a discriminator is a model that recognizes a pattern of data, and may play a role of discriminating whether a new data generated by a generator based on the original data is authentic.
  • a generator learns by receiving data that cannot be deceived by a discriminator, and a discriminator can learn by receiving deceived data from a generator. Accordingly, the generator may evolve to deceive the discriminator as well as possible, and may evolve to distinguish between the original data of the discriminator and the data generated by the generator.
  • Autoencoder is a neural network that aims to reproduce the input itself as an output.
  • Autoencoder includes an input layer, a hidden layer, and an output layer, and as for input data, input data passes through the input layer and enters the hidden layer.
  • data output from the hidden layer goes to the output layer.
  • the dimension of the data increases, and accordingly, decompression or decoding is performed.
  • an autoencoder controls the strength of neurons' connections through learning, so that input data is expressed as hidden layer data.
  • information is expressed with fewer neurons than in the input layer, but being able to reproduce the input data as an output may mean that the hidden layer found and expressed a hidden pattern from the input data.
  • Semi-supervised learning is a kind of machine learning, and may refer to a learning method using training data given a label and training data not given a label.
  • the semi-supervised learning techniques there is a technique of inferring a label of training data that is not given a label and then performing learning using the inferred label. This technique is useful when the cost for labeling is high. I can.
  • Reinforcement learning is the theory that given an environment in which an agent can determine what actions to take at every moment, it can find the best way to experience without data.
  • Reinforcement Learning can be mainly performed by a Markov Decision Process (MDP).
  • MDP Markov Decision Process
  • MDP Markov Decision Process
  • FIG. 1 is a block diagram illustrating an apparatus 1000 for learning an artificial neural network.
  • the artificial neural network learning apparatus 1000 may include a data input unit 1010, a processor 1020, and an artificial neural network 1030.
  • the data input unit 1010 may receive input data.
  • the data input unit 1010 may receive training data or raw data.
  • the processor 1020 may pre-process the received data to generate training data that can be input to the artificial neural network 1030.
  • the artificial neural network 1030 may be implemented in hardware, software, or a combination of hardware and software, and when part or all of the artificial neural network 1030 is implemented in software, one or more commands constituting the artificial neural network 1030 are artificial neural networks. It may be stored in a memory (not shown) included in the learning device 1000 of.
  • the processor 1020 may train the artificial neural network 1030 by inputting training data or a training set into the artificial neural network 1030.
  • the processor 1020 may determine (optimize) parameters of an artificial neural network (ANN) by repeatedly learning an artificial neural network (ANN) using various learning techniques described above.
  • ANN artificial neural network
  • An artificial neural network whose parameters are determined by being trained using training data as described above may be referred to as a trained model in this specification.
  • a trained model can be used to infer result values for new input data, not training data.
  • a trained model may infer a result value while being mounted on the training device 1000 of an artificial neural network, or may be transmitted to and mounted on another device.
  • the training device 1000 of the artificial neural network may include a communication unit (not shown) for communicating with the other device.
  • FIG. 2 a terminal 100 that can be used as another device is described.
  • Terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation systems, slate PCs, and Tablet PC (tablet PC), ultrabook (ultrabook), wearable device (wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display)) may be included.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PC
  • Tablet PC Tablet PC
  • ultrabook ultrabook
  • wearable device wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display)
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PC
  • Tablet PC Tablet PC
  • ultrabook ultrabook
  • wearable device wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD
  • the terminal 100 may also be applied to a fixed terminal such as a smart TV, a desktop computer, and a digital signage.
  • the terminal 100 may be applied to a fixed or movable robot.
  • the terminal 100 may perform the function of a voice agent.
  • the voice agent may be a program that recognizes a user's voice and outputs a voice response suitable for the recognized user's voice.
  • the terminal 100 includes a wireless communication unit 110, an input unit 120, a running processor 130, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a processor 180, and It may include a power supply unit 190.
  • a trained model may be mounted on the terminal 100.
  • a trained model can be implemented in hardware, software, or a combination of hardware and software, and when part or all of a trained model is implemented in software, a trained model is formed.
  • One or more commands to be executed may be stored in the memory 170.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115.
  • the broadcast reception module 111 receives a broadcast signal and/or broadcast-related information from an external broadcast management server through a broadcast channel.
  • the mobile communication module 112 includes technical standards or communication methods for mobile communication (eg, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000)), EV -DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc.), transmits and receives radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV -DO Enhanced Voice-Data Optimized or Enhanced Voice-Data Only
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term
  • the wireless Internet module 113 refers to a module for wireless Internet access, and may be built-in or external to the terminal 100.
  • the wireless Internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless Internet technologies.
  • wireless Internet technologies include WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A).
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Wireless Fidelity
  • Direct wireless Internet technologies
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • the short range communication module 114 is for short range communication, and includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near field communication may be supported by using at least one of (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • the location information module 115 is a module for obtaining a location (or current location) of a mobile terminal, and representative examples thereof include a GPS (Global Positioning System) module or a WiFi (Wireless Fidelity) module.
  • a GPS Global Positioning System
  • WiFi Wireless Fidelity
  • the input unit 120 may include a camera 121 for inputting an image signal, a microphone 122 for receiving an audio signal, and a user input unit 123 for receiving information from a user.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user, and for inputting image information, the terminal 100 is one or more cameras. (121) can be provided.
  • the camera 121 processes an image frame such as a still image or a video obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170.
  • the microphone 122 processes an external sound signal into electrical voice data.
  • the processed voice data may be used in various ways according to a function (or an application program being executed) being executed by the terminal 100. Meanwhile, the microphone 122 may be implemented with various noise removal algorithms for removing noise generated in a process of receiving an external sound signal.
  • the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123,
  • the processor 180 may control the operation of the terminal 100 to correspond to the input information.
  • the user input unit 123 is a mechanical input means (or a mechanical key, for example, a button located on the front/rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc. ) And touch-type input means.
  • the touch input means is composed of a virtual key, a soft key, or a visual key displayed on a touch screen through software processing, or a portion other than the touch screen It may be made of a touch key (touch key) disposed on.
  • the learning processor 130 may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision making, and machine learning algorithms and technologies.
  • the learning processor 130 is received, detected, detected, generated, pre-defined or otherwise output by the terminal, or is received, detected, detected, generated, predefined or otherwise communicated with another component, device, terminal or terminal. It may include one or more memory units configured to store data output by the device.
  • the learning processor 130 may include a memory integrated or implemented in a terminal. In some embodiments, the learning processor 130 may be implemented using the memory 170.
  • the learning processor 130 may be implemented using a memory associated with the terminal, such as an external memory directly coupled to the terminal or a memory maintained in a server communicating with the terminal.
  • the learning processor 130 may be implemented using a memory maintained in a cloud computing environment, or another remote memory location accessible by the terminal through a communication method such as a network.
  • the learning processor 130 typically stores data in one or more databases to identify, index, categorize, manipulate, store, retrieve and output data for use in supervised or unsupervised learning, data mining, predictive analytics, or other machines. Can be configured to store in.
  • the information stored in the learning processor 130 may be used by the processor 180 or one or more other controllers of the terminal using any of a variety of different types of data analysis algorithms and machine learning algorithms.
  • Examples of such algorithms include k-recent adjacency systems, fuzzy logic (e.g. probability theory), neural networks, Boltzmann machines, vector quantization, pulsed neural networks, support vector machines, maximum margin classifiers, hill climbing, guided logic systems Bayesian networks. , Peritnet (e.g. Finite State Machine, Milli Machine, Moore Finite State Machine), Classifier Tree (e.g. Perceptron Tree, Support Vector Tree, Markov Tree, Decision Tree Forest, Random Forest), Stake Models and Systems, Artificial It includes fusion, sensor fusion, image fusion, reinforcement learning, augmented reality, pattern recognition, and automated planning.
  • fuzzy logic e.g. probability theory
  • neural networks e.g. probability theory
  • Boltzmann machines e.g. probability theory
  • vector quantization e.g. probability theory
  • pulsed neural networks e.g., pulsed neural networks
  • support vector machines e.g., maximum margin classifiers, hill climbing, guided logic systems Bayesian networks.
  • Peritnet e.
  • the processor 180 may determine or predict at least one executable operation of the terminal based on information that is determined or generated using data analysis and machine learning algorithms. To this end, the processor 180 may request, search, receive, or utilize data of the learning processor 130, and configure the terminal to execute a predicted operation or an operation determined to be desirable among the at least one executable operation. Can be controlled.
  • the processor 180 may perform various functions for implementing intelligent emulation (ie, a knowledge-based system, an inference system, and a knowledge acquisition system). This can be applied to various types of systems (eg, fuzzy logic systems), including adaptive systems, machine learning systems, artificial neural networks, and the like.
  • intelligent emulation ie, a knowledge-based system, an inference system, and a knowledge acquisition system.
  • systems eg, fuzzy logic systems
  • adaptive systems e.g, machine learning systems, artificial neural networks, and the like.
  • the processor 180 may also include speech and natural language speech processing, such as an I/O processing module, an environmental condition module, a speech-to-text (STT) processing module, a natural language processing module, a work flow processing module, and a service processing module. It may include sub-modules that enable computation.
  • speech and natural language speech processing such as an I/O processing module, an environmental condition module, a speech-to-text (STT) processing module, a natural language processing module, a work flow processing module, and a service processing module. It may include sub-modules that enable computation.
  • Each of these submodules may have access to one or more systems or data and models in the terminal, or a subset or superset thereof.
  • each of these submodules may provide various functions, including vocabulary index, user data, work flow model, service model, and automatic speech recognition (ASR) system.
  • ASR automatic speech recognition
  • processor 180 or another aspect of the terminal may be implemented as the sub-module, system, or data and model.
  • the processor 180 may be configured to detect and detect a requirement based on a context condition expressed as a user input or natural language input, or a user's intention.
  • the processor 180 may actively derive and acquire information necessary to completely determine a requirement based on a context condition or a user's intention. For example, the processor 180 may actively derive necessary information to determine requirements by analyzing historical data including historical inputs and outputs, pattern matching, unambiguous words, input intentions, and the like.
  • the processor 180 may determine a task flow for executing a function in response to a requirement based on a context condition or a user's intention.
  • the processor 180 collects, detects, extracts, and detects signals or data used in data analysis and machine learning tasks through one or more sensing components in the terminal in order to collect information for processing and storage in the learning processor 130 And/or may be configured to receive.
  • Information collection may include sensing information through a sensor, extracting information stored in the memory 170, or receiving information from another terminal, entity, or external storage device through a communication means.
  • the processor 180 may collect and store usage history information in the terminal.
  • the processor 180 may use the stored usage history information and predictive modeling to determine the best match to perform a particular function.
  • the processor 180 may receive or detect surrounding environment information or other information through the sensing unit 140.
  • the processor 180 may receive a broadcast signal and/or broadcast related information, a wireless signal, and wireless data through the wireless communication unit 110.
  • the processor 180 may receive image information (or a corresponding signal), audio information (or a corresponding signal), data, or user input information from the input unit 120.
  • the processor 180 collects information in real time, processes or classifies information (eg, knowledge graph, command policy, personalization database, conversation engine, etc.), and stores the processed information in the memory 170 or the learning processor 130 ).
  • information eg, knowledge graph, command policy, personalization database, conversation engine, etc.
  • the processor 180 may control components of the terminal to execute the determined operation. Further, the processor 180 may perform the determined operation by controlling the terminal according to the control command.
  • the processor 180 analyzes the history information representing the execution of the specific operation through data analysis and machine learning algorithms and techniques, and performs an update of previously learned information based on the analyzed information. I can.
  • the processor 180 may improve accuracy of future performance of data analysis and machine learning algorithms and techniques based on the updated information.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, information on surrounding environments surrounding the mobile terminal, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • Optical sensor for example, camera (see 121)), microphone (microphone, see 122), battery gauge, environmental sensor (for example, barometer, hygrometer, thermometer, radiation detection sensor, It may include at least one of a heat sensor, a gas sensor, etc.), and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the mobile terminal disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to visual, auditory or tactile sense, and includes at least one of the display unit 151, the sound output unit 152, the hap tip module 153, and the light output unit 154 can do.
  • the display unit 151 displays (outputs) information processed by the terminal 100.
  • the display unit 151 may display execution screen information of an application program driven in the terminal 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information.
  • UI User Interface
  • GUI Graphic User Interface
  • the display unit 151 may implement a touch screen by forming a layer structure or integrally with the touch sensor.
  • a touch screen may function as a user input unit 123 that provides an input interface between the terminal 100 and a user, and may provide an output interface between the terminal 100 and a user.
  • the sound output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.
  • the haptic module 153 generates various tactile effects that a user can feel.
  • a typical example of the tactile effect generated by the haptic module 153 may be vibration.
  • the light output unit 154 outputs a signal for notifying the occurrence of an event using light from a light source of the terminal 100.
  • Examples of events occurring in the terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, e-mail reception, and information reception through an application.
  • the interface unit 160 serves as a passage between various types of external devices connected to the terminal 100.
  • the interface unit 160 connects a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a device equipped with an identification module. It may include at least one of a port, an audio input/output (I/O) port, an input/output (video I/O) port, and an earphone port.
  • the terminal 100 may perform appropriate control related to the connected external device.
  • the identification module is a chip that stores various types of information for authenticating the right to use the terminal 100, and includes a user identification module (UIM), a subscriber identity module (SIM), and a universal user authentication module. (universal subscriber identity module; USIM), etc. may be included.
  • a device equipped with an identification module hereinafter,'identification device' may be manufactured in the form of a smart card. Accordingly, the identification device may be connected to the terminal 100 through the interface unit 160.
  • the memory 170 stores data supporting various functions of the terminal 100.
  • the memory 170 includes a plurality of application programs (application programs or applications) driven by the terminal 100, data for the operation of the terminal 100, instructions, and data for the operation of the learning processor 130. Can be stored (for example, at least one algorithm information for machine learning).
  • the processor 180 In addition to the operation related to the application program, the processor 180 generally controls the overall operation of the terminal 100.
  • the processor 180 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • the processor 180 may control at least some of the components described with reference to FIG. 1 in order to drive the application program stored in the memory 170. Furthermore, in order to drive the application program, the processor 180 may operate by combining at least two or more of the components included in the terminal 100 with each other.
  • the power supply unit 190 receives external power and internal power under the control of the processor 180 and supplies power to each component included in the terminal 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • the processor 180 controls an operation related to an application program and, in general, an overall operation of the terminal 100. For example, when the state of the mobile terminal satisfies a set condition, the processor 180 may execute or release a locked state that restricts the user's input of a control command for applications.
  • FIG. 3 is a block diagram illustrating a configuration of a laundry treatment apparatus according to an embodiment of the present invention.
  • the laundry treatment apparatus 300 may include a terminal 100 and a washing unit 310 shown in FIG. 2.
  • the terminal 100 may be modularized and configured as an internal component of the laundry treatment apparatus 300.
  • the laundry treatment apparatus 300 may include internal components of the terminal 100 shown in FIG. 2 and the washing unit 310 as parallel components.
  • the laundry unit 310 includes at least one of a laundry module 311 performing a function related to laundry, a drying module 312 performing a function related to drying, and a clothing management module 313 performing other functions related to clothing management. It may include.
  • the washing module 311 may perform functions related to washing such as immersion, washing, rinsing and dehydration.
  • the drying module 312 may perform a function of drying laundry using various methods, and may typically dry laundry using wind (hot air or cold air).
  • the clothing management module 313 may perform various functions related to clothing management, such as clothing mounting, dry cleaning, dust removal, sterilization, wrinkle removal, and ironing.
  • the control processor 314 provided in the processor 180 or the washing unit 310 controls components included in the washing module 311, the drying module 312, or the clothes management module 313 of the washing unit 310 to control various Provides a washing function.
  • the input unit 120 and the sensor unit 140 may collect data related to user interaction related to use and control of the washing unit 310.
  • the input unit 120 and the sensor unit 140 may collect course selection information and control information through voice or interaction.
  • the output unit 150 may output information related to use and control of the washing unit 310.
  • the output unit 150 may output course information, usage records, control information, etc. corresponding to washing, drying, and clothing management.
  • the memory 170 may store information related to use and control of the washing unit 310.
  • the memory 170 may store course information, usage records, control information, etc. corresponding to washing, drying, and clothing management.
  • the washing module 311 is a tub 311a in which washing water is stored, a drum 311b rotatably installed in the tub into which laundry is injected, a driving unit 311c that rotates the drum, and supplies the washing water.
  • a water supply unit 311d, a pump 311e for circulating or discharging the washing water, and a drain unit 311f for discharging the discharged washing water may be included.
  • a drum 311b containing laundry may be rotatably provided in the tub 311a.
  • the drum 311b accommodates laundry, is disposed such that an inlet into which the laundry is input is located on the front or upper surface, and is rotated about a substantially horizontal or vertical rotation center line.
  • a plurality of through holes may be formed in the drum 311b so that water in the tub 311a can flow into the drum 311b.
  • the water supply part 311d may include a water supply valve, a water supply pipe, and a water supply hose.
  • the washing water that has passed through the water supply valve and the water supply pipe may be mixed with detergent in a detergent dispenser and then supplied to the tub 311a through a water supply hose.
  • the direct water supply pipe is connected to the water supply valve so that the washing water can be directly supplied into the tub 311a without being mixed with the detergent through the direct water supply pipe.
  • the pump 311e functions as a drain pump 311e for discharging the washing water to the outside and a circulation pump 311e for circulating the washing water, but unlike this, the drain pump 311e and the circulation pump 311e are separately Can be installed.
  • the pump 311e may be connected to a drain pipe provided in the drain portion 311f to discharge washing water to the outside through the drain pipe.
  • the pump 311e is connected to the circulating water supply pipe, and sprays the washing water stored in the tub 311a into the drum 311b through the circulating water supply pipe to circulate the washing water.
  • One or more protrusions protruding toward the inside of the drum 311b may be included on the inner side of the drum 311b.
  • the protrusion may be a lifter disposed on the inner surface of the drum 311b or an integrally formed embossing.
  • a lifter When a lifter is provided or embossed on the inner surface of the drum 311b, the laundry may be lifted by the lifter and then dropped when the drum 311b rotates.
  • the driving unit 311c rotates the drum 311b, and a driving shaft rotated by the driving unit 311c may pass through the rear portion of the tub 311a and be coupled to the drum 311b.
  • the driving unit 311c may include a motor capable of speed control.
  • the motor may be a direct drive type inverter motor.
  • the control processor 314 receives an output value (for example, an output current) of the motor of the driving unit 311c as an input, and based on this, the rotational speed (or rotational speed) of the motor of the driving unit 311c is preset target rotation. It can be controlled to follow the number (or target rotational speed). Also, the control processor 314 may control the driving of the motor of the driving unit 311c according to the driving pattern.
  • an output value for example, an output current
  • the rotational speed (or rotational speed) of the motor of the driving unit 311c is preset target rotation. It can be controlled to follow the number (or target rotational speed). Also, the control processor 314 may control the driving of the motor of the driving unit 311c according to the driving pattern.
  • the drying module 312 includes a drum 312a into which laundry is injected, a driving unit 312b for rotating the drum, a heating unit 312c for heating air, a blowing fan 312d for circulating internal air, and internal air. It may include an exhaust unit (312e) and the like to discharge.
  • the drum 312a is a space in which a building is dried, and is rotatably installed inside the main body.
  • one or more lifters may be provided inside the drum 312a to raise and drop the dry matter.
  • the drum 312a is connected to an intake port (not shown), and air may be introduced into the inside by the blowing fan 312d.
  • the driving unit 312b rotates the drum 312a, and a driving shaft rotated by the driving unit 312b may be coupled to the drum 312a.
  • the driving unit 312b may include a motor capable of speed control.
  • the motor may be a direct drive type inverter motor.
  • the control processor 314 receives the output value (eg, output current) of the motor of the driving unit 312b as an input, and based on this, the rotational speed (or rotational speed) of the motor of the driving unit 312b is preset target rotation. It can be controlled to follow the number (or target rotational speed). Also, the control processor 314 may control the driving of the motor of the driver 312b according to the driving pattern.
  • the output value eg, output current
  • the rotational speed (or rotational speed) of the motor of the driving unit 312b is preset target rotation. It can be controlled to follow the number (or target rotational speed). Also, the control processor 314 may control the driving of the motor of the driver 312b according to the driving pattern.
  • the heating unit 312c may include a heating unit that heats air inside the drum 312a or air introduced from the outside.
  • the heating unit heats air using various energy sources such as gas type or electric type, and in the case of electric type, a coil heater can be used.
  • the heating unit 312c may include a plurality of heating units, and each heating unit may not be the same as each other and may use various energy sources, and each may have different performances.
  • the blowing fan 312d circulates air heated by the heating unit 312c or the air inside the drum 312a.
  • the exhaust part 312e serves to guide the air inside the drum 312a to be discharged to the outside, and may include an exhaust duct and an air filter.
  • the clothing management module 313 includes a clothing container 313a, which is a space in which clothing can be mounted, a driving unit 313b that moves a cradle provided in the clothing container 313a, a blowing fan 313c for circulating internal air, An air filter 313d, a sterilization unit 313e, and a pleat management unit 313f may be included.
  • the clothes container 313a is a space for storing clothes (or laundry) to be managed or processed, and may include a holder for fixing clothes.
  • the clothing container may include a hanger and a hook for mounting the hanger, or a three-dimensional shape such as a torso and a mannequin.
  • the clothing container 313a is connected to an intake port (not shown), and air may be introduced by the blowing fan 313c.
  • the driving unit 313b may drive the cradle to induce a preset movement with respect to the clothes mounted on the cradle.
  • the driving unit 313b may operate to vibrate the cradle and the clothes mounted on the cradle according to a certain vibration pattern. By vibrating the mounted clothing, dust or foreign matter attached or adhered to the clothing can be removed.
  • the driving unit 313b may include a motor capable of speed control.
  • the motor may be a direct drive type inverter motor.
  • the control processor 314 receives the output value (eg, output current) of the motor of the driving unit 313b as an input, and based on this, the rotational speed (or rotational speed) of the motor of the driving unit 313b is preset target rotation. It can be controlled to follow the number (or target rotational speed). Also, the control processor 314 may control the driving of the motor of the driver 313b according to the driving pattern.
  • the output value eg, output current
  • the rotational speed (or rotational speed) of the motor of the driving unit 313b is preset target rotation. It can be controlled to follow the number (or target rotational speed). Also, the control processor 314 may control the driving of the motor of the driver 313b according to the driving pattern.
  • the blower fan 313c circulates air by supplying air introduced from the outside of the clothing container 313a or air inside the clothing container 313a into the clothing container.
  • the blowing fan 313c may be installed such that air supplied to clothes mounted on the clothes container 313a collides, or the air supply direction may be controlled.
  • the blower fan 313c may induce dust attached or adhered to the clothing to fall off the clothing by spraying air on the mounted clothing, or may remove moisture from the clothing.
  • the air filter 313d filters dust or the like when the internal air of the clothing container 313a is circulated or when the internal air is discharged to the outside.
  • the sterilization unit 313e may include various sterilization devices that sterilize the mounted clothing.
  • the sterilization device may include a sterilization device using ozone and a sterilization device using ultraviolet rays.
  • the wrinkle management unit 313f reduces or removes wrinkles on the installed clothing, and may include a steam supply, iron, ironing board, and the like.
  • the steam supplier heats the supplied water to make steam, and the steam may be naturally supplied to the clothing container 313a or directly sprayed onto the mounted clothing.
  • the iron and ironing board are provided inside the clothing container 313a.
  • the operation may be controlled according to the ironing operation information determined in consideration of the shape, location, and material of the clothes to be ironed.
  • the ironing operation information may include the location/movement line of the iron and the ironing board, and ironing temperature/time.
  • the control processor 314 may control the movement of the iron and the ironing board by controlling a driving unit separately provided in the driving unit 313b or the wrinkle management unit 313f, and may control the iron and the ironing board according to the ironing operation information. .
  • FIG. 4 is a flowchart illustrating a method of determining a washing course of a laundry treatment apparatus according to an embodiment of the present invention.
  • the processor 180 of the laundry treatment apparatus 300 acquires laundry information (S401).
  • the processor 180 may obtain laundry information of the laundry based on an image captured by the camera 121.
  • the laundry information may include one or more of a material mixing ratio of laundry, precautions for handling laundry, and color of laundry.
  • the image captured by the camera 121 may include a tag image attached to the laundry.
  • the processor 180 may acquire laundry information by recognizing a text included in the tag image or a laundry handling image.
  • the processor 180 when an NFC tag or an RFID tag is attached to the laundry, the processor 180 recognizes the tag through an NFC reader or an RFID reader provided by itself to obtain laundry information. May be.
  • the processor 180 may recognize the QR code and obtain laundry information.
  • the processor 180 may obtain laundry information through a sensor capable of recognizing the material of the laundry.
  • FIG. 5 is a diagram illustrating a process of acquiring laundry information by using a tag image captured through a camera according to an embodiment of the present invention.
  • a tag 510 is attached to the laundry 500.
  • the tag 510 includes laundry handling images 513 indicating a material mixing ratio (or fiber composition, 511) of the laundry 500 and handling precautions.
  • the camera 121 of the laundry treatment device 300 may capture a tag image including the tag 510.
  • the processor 180 may recognize the captured tag image and obtain laundry information including a material mixing ratio and laundry handling images.
  • the processor 180 may recognize text included in a tag image using an optical character recognition (OCR) technique.
  • OCR optical character recognition
  • the processor 180 may recognize a laundry handling image included in the tag image using a known image recognition algorithm.
  • the processor 180 may additionally acquire color information of the laundry by recognizing the unique model number of the laundry included in the tag image.
  • the processor 180 of the laundry treatment device 300 may store the acquired laundry information. Pre-stored Baseline information and By matching , Generates laundry encoding data (S403).
  • the baseline information may include one or more of a recommended laundry course for each material, a quality damage level when performing a recommended laundry course for each material, and material laundry handling information.
  • the memory 170 may store baseline information. Baseline information may be periodically received from the learning device 1000 or a cloud server.
  • the base line information will be described with reference to FIG. 6.
  • 6 and 7 are diagrams for explaining baseline information according to an embodiment of the present invention.
  • the baseline information may include laundry handling information 600 for each material, and a table 700 including recommended laundry courses and quality damages for each material.
  • material laundry handling information 600 representing laundry handling image information for each material is shown.
  • the material laundry handling information 600 may include laundry handling images for each of a plurality of materials and text corresponding to each laundry handling image.
  • the laundry handling images for each material may be used to recognize laundry handling images 513 included in the tag 510.
  • the baseline information may further include laundry handling information on materials other than the plurality of materials shown in FIG. 6.
  • a table 700 including a recommended washing course and a degree of damage corresponding to each of a plurality of materials is shown.
  • the washing time is 15 minutes
  • the number of rinses is 3 times
  • the spin strength is strong
  • the water spray strength is strong.
  • the degree of damage to the surface may be set to 1.
  • the number of dehydration may be used, and instead of the current strength, a numerical value capable of expressing the current strength may be used.
  • the damage degree has a value from 0 to 10, and may indicate the degree of quality damage of the material when performing the recommended washing course.
  • the degree of damage may be set high when the material is made of a material that is easily damaged.
  • the processor 180 may generate laundry encoding data by comparing the obtained laundry information with the baseline information shown in FIGS. 6 and 7.
  • FIG. 8 is a flowchart illustrating a process of generating laundry encoding data that can be input into a learning model using laundry information and baseline information recognized through a tag according to an embodiment of the present invention.
  • the processor 180 sets a vector having as many elements as the types of materials based on the baseline information (S801).
  • a vector may have 12 elements.
  • the 12 elements may be pre-ordered.
  • 12 numbers are only examples.
  • the processor 180 is the material of the laundry recognized through the tag Mixing ratio Using, each of the vectors To the element A value is assigned (S803).
  • the processor 180 may allocate a material ratio value to an element corresponding to each material according to the material mixing ratio.
  • the processor 180 compares the laundry handling images recognized through the tag and the baseline information, and converts the laundry methods into a data set (S805).
  • the processor 180 may compare laundry handling images with material laundry handling information 600 included in the baseline information, and convert laundry methods into binary data or real data.
  • the processor 180 may convert the corresponding laundry handling image to 1 when washing is possible, and convert the laundry handling image to 0 when washing is impossible.
  • the processor 180 may convert the corresponding laundry handling image to 40 when the appropriate washing water temperature is 40 degrees through the laundry handling image including the appropriate washing water temperature.
  • the processor 180 is Elements The vector to which the values are assigned and the data set are combined to generate laundry encoding data (S807).
  • Steps S801 to S807 will be described in detail with reference to FIG. 9.
  • FIG. 9 is a diagram illustrating a specific example of generating laundry encoded data through tag recognition according to an embodiment of the present invention.
  • the tag 910 may include a material mixing ratio 911 of laundry and laundry handling images 913.
  • the processor 180 may recognize the tag 910 and obtain a material mixing ratio 911.
  • the processor 180 may generate a vector 930 in which the material mixing ratio 911 is applied to each of the 12 elements.
  • the processor 180 may allocate a value to the element only for the upper two materials having a large ratio among the three or more materials.
  • the processor 180 may convert each of the laundry handling images 913 included in the tag 910 into binary data or real data.
  • the processor 180 may convert the washable image to 1.
  • the processor 180 may convert the image to 40.
  • the processor 180 may convert the corresponding value into 2 indicating that only hot water washing is possible.
  • the processor 180 may convert the corresponding value to 1 indicating that cold/hot water washing is possible.
  • the processor 180 may convert the corresponding value to 0 indicating that only cold water washing is possible.
  • the processor 180 may generate the laundry encoding data 970 in which the vector 930 and the data set 950 are combined.
  • the laundry encoding data 970 may be used as input data of a laundry course learning model.
  • the processor 180 of the laundry treatment apparatus 300 applies a laundry course learning model to the generated laundry encoded data to determine an optimal laundry course (S405).
  • the laundry course learning model may be a model for providing an optimal laundry course for laundry made of a composite material.
  • the laundry course learning model may be a model learned in advance based on the baseline information.
  • the laundry course learning model learns optimal weight values of laundry control variables using baseline information for each of a plurality of laundry groups, and learns values of laundry control variables using the learned optimal weight values. It can be a model.
  • the laundry course learning model may be received from an external server such as the learning device 1000 described in FIG. 1.
  • FIG. 10 is a flowchart illustrating a process of generating a laundry course learning model according to an embodiment of the present invention.
  • the processor 180 determines a main material for determining a washing course based on a material mixing ratio of each laundry stored in the baseline information (S1001).
  • the processor 180 may determine, as the main material, a material having the largest product of the ratio of the material and the degree of damage for one laundry composed of a plurality of materials.
  • the baseline information may be reference information for generating a laundry course learning model.
  • FIG. 11 is a diagram illustrating a process of determining a main material for laundry composed of a plurality of materials according to an embodiment of the present invention.
  • the baseline information may include vectors including information on a material mixing ratio corresponding to each of the plurality of laundry.
  • a first vector 930 including information on a material mixing ratio with respect to the first laundry 1101 is shown.
  • the first laundry 1101 it is composed of brushed, wool, polyester, and hair, and each ratio is 0.1/0.5/0.3/0.3.
  • the processor 180 may extract the degree of damage to each material by using the table 700 stored in the baseline information.
  • the processor 180 may calculate a product of the mixing ratio of each material and the degree of damage of the material. Referring to FIG. 10, a first table 1105 in which the product of the mixing ratio of each material and the degree of damage of the material is calculated for the first laundry 1101 is shown.
  • the product of the mixing ratio and the degree of damage is 0.5 (0.1X5).
  • the product of the mixing ratio and the degree of damage is 2.5 (0.5X5).
  • the product of the mixing ratio and the degree of damage is 0.1 (0.1X1).
  • the product of mixing ratio and damage is 2.7 (0.3X9).
  • the processor 180 may determine the hair corresponding to the material having the largest product of the mixing ratio and the degree of damage as the main material of the first laundry 1101.
  • the processor 180 may generate the second table 1113 by using the second vector 1113 including information on the material mixing ratio of the second laundry 1111 and the degree of damage to each material.
  • the processor 180 may determine the leather corresponding to the material having the greatest product of the mixing ratio and the degree of damage as the main material of the second laundry 1111.
  • the processor 180 may generate the third table 1133 using the third vector 1123 including information on the material mixing ratio of the third laundry 1121 and the degree of damage to each material.
  • the processor 180 may determine the wool corresponding to the material having the greatest product of the mixing ratio and the degree of damage as the main material of the third laundry 1111.
  • the processor 180 may determine a main material for each laundry and label the determined main material.
  • the processor 180 classifies the determined main materials into a plurality of laundry groups (S1003).
  • the processor 180 may classify the determined main materials into three laundry groups according to whether water can be washed, whether the laundry treatment device 300 can be used, and whether it can be boiled.
  • the reason for classifying the determined main materials into a plurality of laundry groups is that whether water can be washed, whether or not the laundry treatment device 300 can be used, and whether or not it can be boiled can be the most influential factor on the degree of damage to the laundry. to be.
  • FIG. 12 is a diagram showing a result of classifying main materials into three laundry groups according to an embodiment of the present invention.
  • the first laundry group 1210 may be a group including materials capable of washing with water, using the laundry treatment apparatus 300, and boilable.
  • the second laundry group 1230 may be washed with water, and the laundry treatment apparatus 300 may be used, but may be a group including materials that cannot be boiled.
  • the third laundry group 1250 may be a group including materials that cannot be washed with water.
  • the processor 180 determines laundry characteristic values of each of the classified plurality of laundry groups (S1005).
  • the processor 180 may extract laundry characteristic values of each laundry group based on the table 700 included in the baseline information.
  • the processor 180 may extract the washing time, the number of rinsing, the dehydration strength, the appropriate water temperature, and the water spray strength of each of the materials included in the laundry group from the table 700.
  • the processor 180 includes the highest and minimum values among the extracted washing times, the highest and minimum values among the number of rinsing times, the highest degree and the minimum degree of dehydration strength, the highest and minimum values of an appropriate water temperature, and the highest degree of the water phase strength. And a minimum degree can be extracted.
  • the processor 180 may determine the extraction result as characteristic values of the corresponding laundry group.
  • FIG. 13 is a diagram illustrating a result of extracting characteristic values of a laundry group according to an embodiment of the present invention.
  • a first characteristic value table 1310 including characteristic values of a first washing group 1210 and a second characteristic value table 1330 including characteristic values of a second washing group 1230 are shown. Is shown.
  • the first characteristic value table 1310 shows that the maximum washing time is 12 minutes, the minimum washing time is 9 minutes, the maximum number of rinsing times is 2, the minimum number of rinsing times is 2, the maximum and minimum dehydration strength is weak, and the maximum appropriate water temperature. This hot/cold, minimum appropriate water temperature indicates that the cold, the highest water phase strength is medium, and the minimum water spray strength is weak.
  • the longest washing time is 17 minutes
  • the minimum washing time is 15 minutes
  • the maximum number of rinsing times is 3
  • the minimum number of rinsing times is 3 times
  • the maximum and minimum dehydration strength are strong
  • the maximum appropriate water temperature is warm
  • the maximum water phase strength is strong
  • the minimum current strength is strong.
  • the processor 180 is Deep learning Using the algorithm, for each laundry group To the degree of damage Optimal weight values of the washing control variables for are determined (S1007).
  • the processor 180 may determine optimal weight values at which the value of the loss function is the minimum, using a loss function.
  • the fact that the value of the loss function is minimized may mean minimizing the difference between the actual damage degree and the estimated damage degree of the laundry.
  • Equation 1 The loss function can be expressed as Equation 1 below.
  • y is an actual damage vector representing the actual damage
  • x is a laundry control variable vector including laundry control variables that determine the laundry course
  • W is a weight vector representing the degree to which each laundry control variable affects the damage.
  • b may represent an external factor damage vector due to factors other than the washing control variable.
  • the external factor damage level set may be a set previously stored in the baseline information.
  • W may be a vector including weights of 5 laundry control variables for each of the N laundry groups.
  • (Wx+b) represents the estimated impairment degree that best describes the actual impairment degree y
  • the loss function L(x;W,b) is intended to obtain a set of weights that minimize the difference between the actual and estimated impairment. There is a purpose to do.
  • the actual damage y and the estimated damage (Wx+b) may be expressed as a matrix, as shown in FIG. 14.
  • FIG. 14 is a diagram illustrating an actual degree of damage y and an estimated degree of damage (Wx+b) using a matrix equation.
  • W may include a plurality of weight sets corresponding to each of the plurality of laundry groups.
  • the first weight set 1410 is a set including weight values corresponding to laundry control variables of the first laundry group 1210.
  • the second weight set 1420 is a set including weight values corresponding to laundry control variables of the second laundry group 1220.
  • step S1007 will be described.
  • the washing control variable set is a washing time variable representing the washing time (x1), a rinsing frequency variable representing the number of rinses (x2), a spin count variable representing the number of spins or spin strength (or spin strength) (x3), and a washing water temperature. It may include a washing water temperature variable (x4) and a current intensity variable (x5) representing the current intensity.
  • the processor 180 uses the washing time, rinsing frequency, dehydration frequency, water spray intensity, proper water temperature, actual damage degree, and external factor damage as input data for each material included in the baseline information, and a deep learning algorithm or gradient descent method. Using the (Gradient descent method), it is possible to determine (or learn) a set of weights that minimizes the value of the loss function.
  • any one of supervised learning and meta learning may be used, but is only an example.
  • a gradient descent method such as a multi-layer perceptron (MLP) may be used to determine optimal weight values, but this is only an example.
  • MLP multi-layer perceptron
  • the weight values may be evolved as input new laundry information is accumulated and learned.
  • the processor 180 may obtain an optimal weight set including weight values corresponding to each washing group for minimizing the loss function.
  • the processor 180 may obtain a first optimal weight set corresponding to the first laundry group 1210 and a second optimal weight set corresponding to the second laundry group 1230.
  • the processor 180 determines values of washing control variables for optimal weight values corresponding to each washing group by using a control optimization technique (S1009).
  • the processor 180 may determine values of washing control variables for minimizing damage to laundry and maximizing washing power for an objective function, using a Hamiltonian-based control optimization technique.
  • a Hamiltonian-based control optimization technique may be used to find a value of xi that minimizes the value of the objective function expressed by the following [Equation 2].
  • the objective function can be expressed by the following [Equation 2].
  • W corresponds to the laundry group and may represent weight sets determined in step S1007.
  • xi may represent a washing control variable.
  • x1 is a variable representing the washing time
  • x2 is a variable representing the number of rinsing times
  • x3 is a variable representing the number of spins or spin strength
  • x4 is a variable representing the washing water temperature
  • x5 may be a variable representing the water spray intensity.
  • is a Lagrangian coefficient constant.
  • the value of the washing course control variables is determined according to the use of the objective function.
  • the scope may be limited.
  • the determined values of the laundry control variables may be used to perform an optimal washing course for laundry injected into the laundry treatment device 300.
  • Equation 3 is end When a larger situation occurs, as another objective function for imparting a constraint limiting the value to approximate their average value, instead of [Equation 2] including the maximum constraint function and the minimum constraint function Can be used.
  • 15 is a diagram illustrating a process of obtaining values of laundry control variables for an optimal laundry course by applying a laundry course learning model to laundry encoded data according to an embodiment of the present invention.
  • the processor 180 determines one or more laundry groups based on the laundry encoded data generated in step S403 (S1501).
  • the processor 180 may determine a laundry group to which the laundry belongs using a material mixing ratio included in the laundry encoding data 900 shown in FIG. 9.
  • the processor 180 may obtain laundry encoding data of each of the plurality of laundry items.
  • the processor 180 may determine a laundry group to which each of the plurality of laundry belongs, based on the laundry encoding data corresponding to each of the plurality of laundry.
  • the processor 180 acquires values of washing control variables corresponding to the determined one or more laundry groups (S1403).
  • the processor 180 may determine an optimal weight set corresponding to each laundry group through step S1007.
  • the processor 180 applies the determined characteristic values of the laundry group and the determined optimal weight values to the objective function expressed by [Equation 2] to obtain the values of the laundry control variables whose objective function is the minimum. have.
  • the processor 180 when a plurality of laundry is classified into a plurality of laundry groups, the processor 180 applies characteristic value sets and weight sets corresponding to the plurality of laundry groups to the objective function, It is possible to obtain the values of the washing control variables that become the minimum.
  • the processor 180 transmits a washing control command including values of the obtained washing control variables to the washing module 311 (S1405).
  • the washing module 311 may perform washing to which values of washing control variables are applied according to the washing control command received from the processor 180.
  • the processor 180 of the laundry treatment apparatus 300 performs washing in a washing course according to the values of the determined washing control variables (S407).
  • 16 is a view for explaining a scenario in which laundry is automatically recommended an optimal washing course when laundry is put into the laundry treatment apparatus 300 according to an embodiment of the present invention.
  • a plurality of laundry items 1600 may be put into the laundry treatment apparatus 300.
  • the laundry treatment device 300 may acquire laundry information by recognizing a tag of laundry through a camera (not shown) provided in the laundry treatment device 300.
  • the laundry treatment apparatus 300 may provide an optimal laundry course by converting laundry information into laundry encoded data and applying a laundry course learning model to the converted laundry encoded data.
  • the laundry processing apparatus 300 may obtain values of laundry control variables corresponding to an optimal laundry course by using the laundry encoded data as input data and using a pre-learned weight set.
  • the laundry treatment apparatus 300 may control the laundry module 311 to wash the plurality of laundry 1600 in a laundry course suitable for the values of the acquired laundry control variables.
  • the laundry treatment apparatus 300 sets the washing time to 13 minutes and the number of rinses to 3 times, It is possible to obtain a washing course in which the number of spins is set to 4 times, the washing water temperature is set to cold water, and the current intensity is set to medium.
  • the laundry treatment apparatus 300 sets the washing time to 9 minutes and the number of rinses to 2 times, It is possible to design a washing course in which the number of spins is three times, the washing water temperature is hot water, and the wave strength is strong.
  • the laundry treatment device 300 sets the washing time to 11 minutes, the number of rinsing times to three times, the number of spins to three times, washing water temperature to cold water, and flushing. You can design a laundry course that puts the intensity in the middle.
  • the user can obtain a laundry result in which the degree of damage to the plurality of laundry is minimized and the washing power is maximized by only recognizing the tag for a plurality of laundry with different materials.
  • 17 is a diagram illustrating a user scenario for providing an optimal laundry course according to an embodiment of the present invention.
  • the laundry treatment apparatus 300 may include an artificial washing button 399.
  • the artificial washing button 399 may be a button that automatically recommends an optimal washing course when a plurality of laundry items are put into the laundry treatment apparatus 300.
  • the laundry treatment device 300 may display a material analysis screen 1710 for analyzing materials of the laundry.
  • the laundry treatment apparatus 300 may convert laundry information into encoded data and determine a material of the laundry using the converted encoded data.
  • the laundry treatment apparatus 300 may transmit information on the material analysis screen 1710 to the mobile terminal 100.
  • the material analysis screen 1710 may be displayed on the user's mobile terminal 100.
  • the laundry treatment apparatus 300 may display a notification message 1720 indicating whether materials of different laundry groups have been detected and whether to perform laundry separately or together. .
  • the notification message 1720 may also be output through the sound output unit 152.
  • the notification message 1720 may be transmitted to the mobile terminal 100 and displayed on the mobile terminal 100.
  • the laundry treatment apparatus 300 may determine values of laundry control variables based on the laundry encoding data when receiving an input for performing laundry of laundry of different laundry groups together.
  • the laundry treatment apparatus 300 may display a progress message 1730 notifying that a washing course that matches the values of the determined washing control variables is performed.
  • the progress message 1730 may be output through the sound output unit 152 or may be transmitted to the mobile terminal 100 and displayed on the mobile terminal 100.
  • the laundry treatment device 300 may output a warning message 1750 indicating that laundry is impossible when laundry material that cannot be washed with water or that must be dry-cleaned is detected as a result of material analysis of the laundry. have.
  • the warning message 1750 may be output through the sound output unit 152 or may be transmitted to the mobile terminal 100 and displayed on the mobile terminal 100.
  • the user may receive a guide on a correct washing method for laundry through the warning message 1750.
  • FIG. 18 is a flowchart illustrating a method of operating a laundry treatment apparatus according to another embodiment of the present invention.
  • the processor 180 of the laundry treatment device 300 detects a plurality of external laundry treatment devices located in the vicinity (S1801).
  • the processor 180 may detect whether there are a plurality of external laundry treatment devices located in the vicinity through the short-range communication module 114.
  • the processor 180 may detect external laundry treatment devices located within a certain distance from itself.
  • the processor 180 may transmit a request signal for requesting identification information of a device to the outside through the short-range communication module 114 in a broadcasting method, and in response to the transmitted request signal, the processor 180 transmits a response signal including the identification information. Can receive.
  • the processor 180 may recognize an external laundry treatment device located in the vicinity through identification information included in the received response signal.
  • the identification information may include one or more of the model name of the device and the name of the device.
  • the processor 180 acquires characteristic information of each of the sensed external laundry treatment devices (S1803).
  • the characteristic information of the external laundry treatment device may include one or more of capacity, whether a boil function is possible, whether a steam function is available, whether a small amount of washing is possible, washing power, average damage, and power consumption.
  • the washing power and average damage degree of the external laundry treatment device may be obtained based on statistical values that can be obtained through experiments when the device is developed.
  • the average degree of damage may be a relative value.
  • the processor 180 may obtain characteristic information of the external laundry treatment device by using the sensed model name of the external laundry treatment device.
  • the processor 180 may transmit the model name of the external laundry treatment device to a cloud server, and receive characteristic information of the external laundry treatment device from the cloud server.
  • FIG. 19 is a diagram illustrating a process of acquiring characteristic information of an external laundry treatment device by a laundry treatment device according to an embodiment of the present invention.
  • the laundry treatment device 300 may detect the presence of external laundry treatment devices 300-1 to 300-3 located within a predetermined distance.
  • the laundry treatment device 300 may serve as a manager for managing other external laundry treatment devices 300-1 to 300-3 according to a user's request.
  • the manager role may be a role of detecting an external laundry treatment device in the vicinity and collecting identification information of the detected external laundry treatment device.
  • the manager role may collect laundry information corresponding to laundry and may determine a laundry treatment device to wash laundry.
  • the laundry treatment device 300 may receive a model name from each of the external laundry treatment devices 300-1 to 300-3.
  • the laundry treatment apparatus 300 may transmit a request for characteristic information including the received model names to the cloud server 1900 through the wireless Internet module 113.
  • the cloud server 1900 may extract characteristic information corresponding to each model name according to a request for characteristic information received from the laundry treatment apparatus 300.
  • the cloud server 1900 may store characteristic information corresponding to each of the laundry treatment devices.
  • the laundry treatment device 300 may receive characteristic information of each of the external laundry treatment devices 300-1 to 300-3 from the cloud server 1900.
  • the cloud server 1900 may be the learning device 1000 illustrated in FIG. 1, but this is only an example and may be a separate device from the learning device 1000.
  • the laundry treatment apparatus 300 may store the characteristic information of each of the plurality of external laundry treatment devices in the memory 170 in correspondence with the model name.
  • the laundry treatment device 300 may search the memory 170 and obtain characteristic information of the external laundry treatment device without needing to transmit the received model name of the external laundry treatment device to the cloud server 1900. .
  • each of the first to third external laundry treatment devices 300-1 to 300-3 may include all of the components illustrated in FIG. 3.
  • 20 is a diagram including characteristic information of external laundry treatment apparatuses according to an embodiment of the present invention.
  • characteristic information of each of the external laundry treatment devices collected by the laundry treatment device 300 is shown.
  • boil function it can be divided into three, such as X / O / ⁇ .
  • X may indicate that the boil function is impossible
  • O is the boil function
  • may indicate that the boil function is selectively possible depending on the type of laundry.
  • X may indicate that the steam function is not possible
  • O may indicate that the steam function is possible
  • X may indicate that a small amount washing function is impossible
  • O may indicate that a small amount washing function is possible.
  • the small amount may represent a preset weight of laundry.
  • the cleaning power can have a value from 0 to 5.
  • the washing power represents the degree of washing of laundry and may be a relative value.
  • Average damage can have a value from 0 to 5.
  • the average degree of damage represents an average value at which the laundry is damaged when washing the laundry, and this may also be a relative value.
  • the power consumption represents the power consumed by each external laundry treatment device.
  • the processor 180 acquires laundry information including information on the laundry (S1805).
  • the laundry information may include one or more of a material mixing ratio of laundry, precautions for handling laundry, and color of laundry.
  • the processor 180 may capture a tag image attached to the laundry through the camera 121 and acquire laundry information from the captured tag image.
  • the processor 180 may acquire laundry information by recognizing a text included in the tag image or a laundry handling image. This is as described in FIG. 5.
  • the processor 180 may acquire laundry information by recognizing the tag through an NFC reader or an RFID reader, which is provided by itself.
  • the processor 180 may determine a laundry group for laundry based on the obtained laundry information.
  • the process of determining the laundry group of laundry may be performed using the embodiments of FIGS. 11 and 12.
  • the processor 180 is applied to the matching rule model. Based on , A laundry treatment device corresponding to the obtained laundry information is determined among a plurality of external laundry treatment devices (S1807).
  • the matching rule model may be a model in which a laundry group and a laundry treatment apparatus most suitable for the laundry group are matched.
  • the matching rule model may be a model for matching (or determining) any one of the external laundry treatment devices to perform laundry by using the property information of the laundry group and the property information of the external laundry treatment device.
  • the matching rule model may be a model that calculates a score according to a result of matching between characteristic elements of a laundry group and characteristic elements of an external laundry treatment device to determine an external laundry treatment device to perform laundry. .
  • the matching rule model may be received from the learning device 1000 and stored in the memory 170.
  • the matching rule model may be a model obtained by the running processor 130 or the processor 180 of the laundry treatment apparatus 300.
  • 21 is a flowchart illustrating a process of determining an external laundry treatment apparatus using a matching rule model according to an embodiment of the present invention.
  • the laundry treatment device 300 acquires a matching rule model as an example, but it is not necessary to be limited thereto, and the learning device 1000 acquires the matching rule model, and the laundry treatment device 300 learns.
  • the matching rule model may be received from the device 1000.
  • the processor 180 includes characteristic elements of the laundry group. Each and Characteristics of related external laundry treatment devices Each Compare (S2101).
  • the laundry group may be a group determined according to the embodiments of FIGS. 11 and 12.
  • the characteristic elements of the laundry group may be elements extracted according to the characteristic values of the laundry group.
  • the values of the characteristic elements of the laundry group may be values that encode the characteristic values of the laundry group.
  • FIG. 22 is a diagram showing examples of a laundry group and characteristic values of a laundry group according to an embodiment of the present invention
  • FIG. 23 is a characteristic element of a laundry group processed with a characteristic value of the laundry group according to an embodiment of the present invention It is a diagram illustrating an example of encoding values of
  • one laundry group 2210 including a plurality of main materials is shown.
  • the laundry group may be determined according to a main material constituting the laundry.
  • the laundry group 2210 may be a group classified as capable of washing with water and capable of being boiled.
  • the characteristic value table 2230 of the laundry group 2210 shows that the maximum washing time is 17 minutes, the minimum washing time is 15 minutes, the maximum number of rinsing times is 3 times, the minimum number of rinsing times is 3 times, the maximum spin strength and the minimum spin strength are strong. , It shows that the maximum appropriate water temperature is warm, the minimum appropriate water temperature is warm, the maximum water phase strength is strong, and the minimum current strength is strong.
  • the processor 180 may obtain characteristic elements of the laundry group 2210 and encoding values of each characteristic element by using the classification characteristic and characteristic value table 2230 of the laundry group 2210.
  • the classification characteristic of the laundry group 2210 may be a characteristic capable of washing with water and boiling.
  • the characteristic elements of the laundry group 2210 may include boilability, steamability, number of laundry, average damage, average washing time, average number of rinses, and average spin-drying strength.
  • the processor 180 may assign an encoding value to 2 when the laundry group 2210 is capable of boiled laundry, 1 when boiled laundry is possible, and 0 when boiled laundry is not possible.
  • the processor 180 may assign an encoding value to 1 when the laundry group 2210 is capable of steam washing, and 0 when steam washing is not possible.
  • the processor 180 may assign the number of laundry belonging to the laundry group 2210 as an encoding value.
  • the processor 180 may average the damage levels of each of the laundry (main materials) belonging to the laundry group 2210 and assign the obtained value as an encoding value of the average damage level.
  • the processor 180 may assign an average value of the longest washing time and the minimum washing time in the characteristic value table 2230 as an encoding value of the average washing time.
  • the processor 180 may assign an average value between the maximum number of rinses and the minimum number of rinses in the feature value table 2230 as an encoding value of the average number of rinses.
  • the processor 180 may assign an average value of the maximum and minimum spin strength in the characteristic value table 2230 as an encoding value of the average spin strength.
  • a bar graph 2300 showing encoded values for each of the characteristic elements of the laundry group 2210 is shown.
  • the encoding value of boil-washable is 2
  • the encoding value of steam-washable is 1
  • the encoding value of the number of laundry is 5
  • the encoding value of the average damage degree is 5
  • the average washing It shows that the encoding value of time is 17, and the encoding value of average rinse time is 3.
  • 24 is a diagram illustrating a graph including values of encoding characteristic elements of an external laundry treatment apparatus according to an embodiment of the present invention.
  • FIG. 24 a bar graph 2400 showing encoding values for characteristic elements of a drum washing machine is shown.
  • Characteristic factors of the drum washing machine may include whether boiled washing is possible, whether steam washing is possible, a small amount washing function, an average degree of damage that the drum washing machine averages to the laundry, and washing power.
  • the encoding value for whether the drum washing machine can be boiled is 2, the encoding value for whether steam washing is possible is 1, the encoding value for whether a small amount of washing is possible is 1, and the average applied by the drum washing machine to the laundry.
  • the encoding value of the damage degree may be 3, and the encoding value of the cleaning power may be 3.
  • the processor 180 allocates a score corresponding to each characteristic element according to the comparison result (S2103).
  • the processor 180 may compare encoding values of characteristic elements of the laundry group 2210 with encoding values of characteristic elements of the drum washing machine.
  • 25 is a diagram illustrating an example of a matching rule model according to an embodiment of the present invention.
  • the matching rule model 2500 may be a model that compares each of the characteristic elements of the laundry group 2210 with each of the characteristic elements of a corresponding drum washing machine, allocates a score, and outputs a summation result of the scores.
  • the processor 180 may match and compare each of the characteristic elements of the laundry group 2210 with each of the associated characteristic elements of the drum washing machine.
  • the range of the encoding value of each corresponding characteristic element may be predetermined.
  • the range of the encoding value of whether boiled washing is possible may be a value between 0 and 2.
  • the range of the encoding value for whether steam washing is possible may be a value between 0 and 1.
  • the range of the encoding value for the number of laundry may be a value between 0 and 15.
  • the range of the encoding value of the average damage degree may be a value between 0 and 5.
  • the range of the encoding value of the cleaning power may be a value between 0 and 5.
  • the processor 180 may compare the encoding value 2 for whether the laundry group can be boiled and washed with the encoding value 2 for whether the drum washing machine can be boiled.
  • the processor 180 may allocate a score based on the difference between the encoding values.
  • a larger score may be allocated to a laundry treatment apparatus having a smaller encoding value of the average damage degree.
  • a larger score may be assigned to a laundry treatment device having a larger encoding value of washing power.
  • allocated scores are shown according to encoding values of characteristic elements of the laundry group 2210 and encoding values between characteristic elements of the laundry treatment apparatus matched thereto.
  • 25 shows scores allocated for each characteristic element according to matching between the laundry group 2210 and the drum washing machine.
  • the processor 180 adds up the allocated scores (S2105), and determines the external laundry treatment device with the largest summation result as a device to perform laundry washing (S2107).
  • the processor 180 may perform matching of the laundry group 2210 with each of the plurality of external laundry treatment devices according to FIG. 25.
  • processor 180 may also perform matching with the laundry group according to FIG. 25.
  • the processor 180 may determine the laundry treatment device 300 and the external laundry treatment device having the highest score among the detected plurality of external laundry treatment devices as a device to perform laundry.
  • 26 is a diagram illustrating a score summation result for each of a plurality of external laundry treatment devices, according to an embodiment of the present invention.
  • the laundry treatment device 300 may calculate a score for each of the first to third external laundry treatment devices 300-1 to 300-3 detected in the surroundings, based on the matching rule model.
  • the total score of the first external laundry treatment device 300-1 is 34 points
  • the total score of the second external laundry treatment device 300-2 is 41 points
  • the third external laundry treatment device 300 The combined score of -3) is 29 points.
  • the processor 180 may determine the second external laundry treatment device 300-2 having the largest sum score as the most suitable device for washing laundry.
  • an optimal laundry treatment device for washing laundry As described above, according to an embodiment of the present invention, as an optimal laundry treatment device for washing laundry is selected, damage to the laundry is minimized, and washing power may be maximized.
  • the laundry treatment device Since the user does not need to select a laundry treatment device to wash laundry, the laundry treatment device is automatically selected, so that convenience may be improved.
  • the processor 180 transmits laundry information to the determined external laundry treatment device (S1809).
  • the processor 180 may transmit laundry information to an external laundry processing device determined to perform laundry through the short-range communication module 114.
  • the transmitted laundry information can later be used to determine an optimal laundry course.
  • the external laundry treatment apparatus may determine values of laundry control variables using laundry information according to the embodiment of FIG. 4, and perform laundry in a laundry course according to the determined laundry control variables values.
  • each step of FIGS. 18 and 21 is described as being performed by the laundry treatment apparatus 300, but is not limited thereto and may be performed by the terminal 100.
  • the terminal 100 may detect neighboring laundry treatment devices and obtain identification information of the detected laundry treatment devices.
  • the terminal 100 may obtain the detected characteristic information of the laundry treatment device by using the obtained identification information, and may determine the optimal laundry treatment device to wash the laundry based on the obtained characteristic information and laundry information. have.
  • the terminal 100 may be referred to as an artificial intelligence device.
  • FIG. 27 is a diagram illustrating an example in which each of a plurality of laundry groups is mapped to any one external laundry treatment device according to an embodiment of the present invention.
  • Each laundry group contains multiple laundry items.
  • the laundry treatment device 300 may determine an external laundry treatment device that matches each laundry group based on the matching roll model.
  • the laundry treatment device 300 may match the laundry group A 2710 to the first external laundry treatment device 300-1.
  • the laundry treatment device 300 may match the laundry group B 2730 to the second external laundry treatment device 300-2.
  • the laundry treatment device 300 may match the laundry group C 2750 to the third external laundry treatment device 300-3.
  • FIG. 28 is a view for explaining an example in which the laundry treatment device outputs information on a laundry treatment device to perform washing for each laundry group according to an embodiment of the present invention.
  • the laundry treatment apparatus 300 may output the laundry treatment information 2800 through the output unit 150.
  • the laundry treatment information 2800 may be displayed through the display unit 151.
  • the laundry treatment information 2800 may be output as a voice.
  • the laundry processing information 2800 may include the number of main materials and main materials of laundry included in each of the plurality of laundry groups, whether boiled laundry is possible, whether steam laundry is possible, and the number of colored laundry having a high possibility of dyeing.
  • the laundry treatment information 2800 may further include guide information for guiding which external laundry treatment device to put the laundry group into.
  • the guide information may further include options that need to be specified by the user (whether to add a boil course function, whether to add a steam function, etc.).
  • the laundry treatment apparatus may recommend a laundry treatment device suitable for the laundry group when a plurality of laundry products form one laundry group.
  • the laundry can be washed in an optimal washing situation.
  • 29 is a ladder diagram illustrating a method of operating a laundry system according to an embodiment of the present invention.
  • the laundry system may include a terminal 100, a learning device 1000, and a laundry treatment device 300.
  • the processor 180 of the terminal 100 obtains a laundry registration image and a laundry label image through the camera 121 (S2901).
  • the laundry registration image may be an image of laundry photographed through the camera 121 in order to register the user's laundry.
  • the laundry label image is an image containing information on laundry and may be an image representing a tag attached to the laundry.
  • FIG. 30 is a diagram illustrating an example of photographing laundry and tags through a terminal according to an embodiment of the present invention.
  • a user may take a picture of a laundry 3010 and a tag 3030 attached to the laundry 3010 through the camera 121 of the terminal 100.
  • the tag 3030 may include a composition 3031 of the fiber, laundry handling images 3033 representing the handling precautions of the laundry 3010, and text 3035 representing the handling precautions.
  • the laundry registration image of the laundry 3010 photographed through the terminal 100 and the laundry label image of the tag 3030 may be matched and transmitted to the learning apparatus 1000.
  • the user may take a picture of one laundry 3010 multiple times through the camera 121 of the terminal 100.
  • the laundry registration images captured multiple times may be used as training data for a cloth recognition model, which will be described later.
  • FIG. 29 will be described.
  • the processor 180 of the terminal 100 transmits the laundry registration image and the laundry label image acquired through the wireless communication unit 110 to the learning apparatus 1000 (S2903).
  • the processor 180 may transmit a laundry registration image and a laundry label image to the learning apparatus 1000 through the mobile communication module 112 or the wireless Internet module 113 or the short-range communication module 114.
  • the processor 1020 of the learning apparatus 1000 acquires cloth data from the laundry registration image received from the terminal 100 (S2905).
  • the cloth data may include one or more of a color, fabric, and design pattern of the laundry corresponding to the laundry registration image.
  • the material of the laundry may represent the fiber composition of the laundry
  • the pattern of the laundry may represent the design pattern of the laundry.
  • the processor 1020 of the learning device 1000 may extract cloth data using a previously stored cloth recognition model.
  • the cloth recognition model may be a model for recognizing laundry included in laundry image data.
  • the cloth recognition model may be a model for extracting cloth data from laundry image data.
  • the cloth recognition model may be a recognition model learned using a machine learning algorithm or a deep learning algorithm.
  • the cloth recognition model can be composed of an artificial neural network.
  • the processor 1020 may train a cloth recognition model through supervised learning using the laundry image data for training and the cloth data labeled on the laundry image data for training.
  • the processor 1020 may train a cloth recognition model such that a loss function corresponding to a difference between the cloth data, which is a result of inference on the laundry image data, and the labeled cloth data is minimized.
  • the processor 1020 may extract an input feature vector from the laundry image data for training.
  • an inference result for the cloth data may be output as a target feature vector.
  • the processor 1020 may train a laundry recognition model so that a value of a loss function corresponding to a difference between the output cloth data and the labeled cloth data is minimized.
  • FIG. 31 is a diagram illustrating a process of acquiring cloth data of a laundry using laundry image data and a cloth recognition model according to an embodiment of the present invention.
  • the cloth recognition model 3100 is configured with an artificial neural network.
  • the cloth recognition model 3100 may be a model in which a relationship between laundry image data and cloth data is learned by using laundry image data as input data and cloth data as output data.
  • the cloth recognition model 3100 may be stored in the memory 170 of the laundry processing device 300.
  • FIG. 29 will be described.
  • the processor 1020 of the learning apparatus 1000 acquires laundry label data from the laundry label image received from the terminal 100 (S2907).
  • the processor 1020 may obtain laundry label data from a laundry label image using a text recognition technique or an image recognition technique.
  • the processor 1020 may recognize text included in the tag 3030 by using an optical character recognition (OCR) technique illustrated in FIG. 30.
  • OCR optical character recognition
  • the processor 102 may recognize text indicating the composition of fibers and handling precautions from the laundry label image including the tag 3030, and obtain the recognized text as laundry label data.
  • the processor 1020 recognizes the laundry handling images 3033 from the laundry label image including the tag 3030 using a known image recognition algorithm, and acquires the recognized laundry handling images 3033 as laundry label data. can do.
  • 32 is a diagram showing examples of cloth data and laundry label data obtained according to an embodiment of the present invention.
  • FIG. 32 a training set 3200 input to a laundry recognition model to be described later is shown.
  • the training set 3200 may include cloth data 3210 obtained from the laundry registration image 3010 and laundry label data 3230 obtained from the laundry label image.
  • the training set 3200 is input to a laundry recognition model for identifying laundry information, and may be used for learning a laundry recognition model.
  • FIG. 29 will be described.
  • the processor 1020 of the learning apparatus 1000 or the artificial neural network 1030 learns the relationship between the cloth data and the laundry label data by using the laundry label data as a label (S2909).
  • Learning the relationship between the cloth data and the laundry label data may mean learning a laundry recognition model.
  • the processor 1020 may label laundry label data on cloth data, which is training data, to train a laundry recognition model.
  • the laundry recognition model may be a model for identifying laundry information of laundry.
  • Laundry information may include items to be noted when washing laundry.
  • the laundry information may further include a color of the laundry and a material mixing ratio of the laundry.
  • the training data, the cloth data and the corresponding laundry label data may constitute one training set.
  • the training set can be input into the laundry recognition model.
  • the laundry recognition model may infer a correlation between the cloth data and the laundry label data using cloth data and laundry label data.
  • the laundry recognition model may infer a function of a correlation between cloth data and laundry label data.
  • the loss function of the laundry recognition model may be expressed as a square mean of a difference between laundry label data corresponding to each fabric data and laundry data inferred from each fabric data.
  • model parameters may be determined so that the value of the loss function is minimized.
  • the processor 1020 of the learning device 1000 or the artificial neural network 1030 is based on the learning result, Learned A laundry recognition model is generated (S2911).
  • the laundry recognition model may be an artificial neural network model trained using a machine learning algorithm or a deep learning algorithm.
  • the laundry recognition model may be a supervised learning model using the training cloth data and laundry label data labeled on the training cloth data.
  • the processor 1020 of the learning device 1000 may extract an input feature vector from the training cloth data.
  • an inference result for the laundry label data may be output as a target feature vector.
  • the processor 1020 may train a laundry recognition model such that a value of a loss function corresponding to a difference between the output laundry label data and the labeled laundry label data is minimized.
  • the laundry recognition model may be a personalized model that is individually trained for each user who uses the laundry treatment device 300.
  • the laundry recognition model may be separately learned and generated for each laundry treatment device located in the house.
  • the processor 1020 of the learning device 1000 is a wireless communication unit ( Not shown ), the generated laundry recognition model is transmitted to the laundry processing device 300 (S2913).
  • the laundry treatment device 300 may store the laundry recognition model received from the learning device 1000 in the memory 170.
  • the laundry processing device 300 may receive the updated laundry recognition model from the learning device 1000.
  • the laundry treatment device 300 acquires a laundry image for laundry through a camera 121 provided therein (S2915).
  • the processor 180 of the laundry processing device 300 uses the obtained laundry image as input data and uses the laundry recognition model to obtain laundry information (S2917).
  • the processor 180 of the laundry processing device 300 may obtain cloth data by using the cloth recognition model and image data of the laundry image stored in the memory 170.
  • the processor 180 may obtain the inferred cloth data by inputting image data to the cloth recognition model.
  • the processor 180 may acquire laundry information by using the acquired cloth data and a laundry recognition model. That is, the processor 180 may obtain laundry information as an output result by inputting cloth data into the laundry recognition model.
  • the laundry information may include the material of the laundry and precautions for handling the laundry.
  • the processor 180 of the laundry treatment device 300 sequentially performs the steps S403 to S407 of FIG. 4 (S2919).
  • the processor 180 may generate laundry encoding data by matching the obtained laundry information with the previously stored baseline information.
  • the processor 180 may determine values of laundry control variables based on the generated laundry encoding data.
  • the processor 180 may perform washing in a washing course according to values of the determined washing control variables. Accordingly, the laundry treatment device 300 may wash laundry in an optimal laundry course.
  • FIG 33 is a diagram illustrating a scenario performed when laundry is put into a laundry treatment device according to an embodiment of the present invention.
  • the user puts the laundry 3310 into the laundry treatment device 300.
  • the camera 121 provided inside the laundry treatment device 300 may photograph the laundry 3310.
  • the laundry treatment device 300 may obtain the laundry information 3330 based on the photographed laundry image.
  • the laundry processing device 300 may obtain cloth data from a laundry image using a cloth recognition model.
  • the laundry processing device 300 may acquire laundry information 3330 from cloth data by using a laundry recognition model.
  • the laundry information 3330 may include a material of the laundry 3310, an appropriate washing temperature, and a washing method.
  • the laundry treatment device 300 may determine an optimal laundry course based on the obtained laundry information, and process the laundry with the determined laundry course.
  • laundry information is automatically obtained even when a laundry label is removed from the laundry or text or image engraved on the laundry label is removed, so that the laundry label is not restricted.
  • 34 and 35 are views for explaining a scenario in which the laundry treatment device transmits a notification to the user's terminal when laundry with different laundry handling is input into the laundry container of the laundry treatment device.
  • the laundry treatment device 300 assumes that the first laundry 3410 and the second laundry 3430 are input.
  • the laundry treatment device 300 may photograph the first laundry 3410 and the second laundry 3430 through a camera.
  • the laundry processing device 300 may acquire first laundry information based on the captured image of the first laundry 3410 and acquire second laundry information based on the captured image of the second laundry 3430. I can.
  • the laundry treatment device 300 may compare the first laundry information and the second laundry information to determine whether the first laundry 3410 and the second laundry 3430 are laundry that can be washed together.
  • the laundry treatment device 300 may transmit a notification that the first laundry 3410 and the second laundry 3430 cannot be washed to the terminal 100 at the same time.
  • the terminal 100 displays a message 3510 indicating that wool and cotton cannot be washed together according to a notification received from the laundry treatment device 300 on the display unit 151. I can.
  • the user may recognize that the first laundry 3410 and the second laundry 3430 cannot be washed at the same time through the received message 3510. Accordingly, when a plurality of laundry items are put into the laundry treatment device 300, a correct washing method may be guided to the user. That is, according to the message notification, at the same time, laundry that should not be washed can be prevented from being washed.
  • the processor 180 of the laundry treatment device 300 sends a notification indicating that the first laundry 3410 and the second laundry 3430 cannot be washed simultaneously with the sound output unit 152. ) Or may be output through the display unit 151.
  • 36 is a ladder diagram illustrating a method of operating a laundry system according to another embodiment of the present invention.
  • FIG. 36 is an example in which the laundry treatment device 300 directly generates a laundry recognition model.
  • the processor 180 of the terminal 100 acquires a laundry registration image and a laundry label image through the camera 121 (S3601).
  • the processor 180 of the terminal 100 transmits the laundry registration image and the laundry label image acquired through the wireless communication unit 110 to the laundry processing device 300 (S3603).
  • the processor 180 of the laundry treatment device 300 acquires cloth data from the laundry registration image received from the terminal 100 (S3605).
  • the processor 180 of the laundry processing device 300 acquires laundry label data from the laundry label image received from the terminal 100 (S3607).
  • the processor 180 of the laundry treatment device 300 or running The processor 130 is Using the laundry label data as a label, a relationship between the cloth data and the laundry label data is learned (S3609).
  • the processor 180 of the laundry treatment device 300 or running The processor 130 is Based on the learning outcome, Learned A laundry recognition model is generated (S3611).
  • the processor 180 of the laundry treatment device 300 acquires a laundry image of the laundry through the camera 121 provided therein (S3613).
  • the processor 180 of the laundry processing device 300 uses the obtained laundry image as input data and uses the laundry recognition model to obtain laundry information (S3615).
  • the processor 180 of the laundry treatment device 300 sequentially performs steps S403 to S407 of FIG. 4.
  • the laundry treatment device 300 may automatically acquire information on the laundry input to the laundry module 311 by using the laundry recognition model learned by itself.
  • the laundry treatment device 300 may process laundry in an optimal laundry course based on the obtained laundry information.
  • the present invention described above can be implemented as a computer-readable code in a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this. Also, the computer may include the processor 180 of the terminal.

Abstract

본 발명의 일 실시 예에 따른 인공 지능 세탁물 처리 기기는 세탁 모듈과 세탁물의 이미지를 획득하는 카메라와 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습되고, 상기 세탁물의 세탁물 정보를 인식하기 위한 세탁물 인식 모델을 저장하는 메모리 및 상기 획득된 이미지에 대한 이미지 데이터 및 상기 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는 프로세서를 포함할 수 있다.

Description

인공 지능 세탁물 처리 기기 및 그의 동작 방법
본 발명은 인공 지능을 이용한 세탁물 처리 기기에 관한 것으로, 머신 러닝 알고리즘을 이용하여, 세탁물 정보를 획득할 수 있는 세탁물 처리 기기에 관한 것이다.
현대에서 세탁물 처리 장치 또는 세탁 보조 장치는 모든 가정에서 필수적인 가전 제품이다.
세탁을 필요로 하는 의류, 침구 또는 인형 등은 다양한 소재로 구성되어 있으며, 각 소재 별로 세탁시 요구되는 사항이 상이하다. 따라서, 현재의 세탁 장치 또는 세탁 보조 장치들은 다양한 소재에 대하여 적합한 세탁 기능을 제공하기 위하여 여러 세탁 코스를 제공하고 있다.
기존의 세탁물 처리 장치 또는 세탁 보조 장치들은 미리 정해진 세탁 코스를 사용자가 선택하면 해당 세탁 코스를 제공하거나, 사용자가 매 세탁시마다 각 세탁 단계에 대한 파라미터를 설정하면 해당 파라미터를 반영한 세탁 코스를 제공하는 기능만을 제공하고 있다.
또한, 세탁물 처리 기기에 세탁물을 투입 할 시, 세탁물의 정보를 획득하기 위해, 세탁물 처리 기기에 구비된 카메라를 통해 세탁물의 세탁 라벨을 인식하기도 한다. 획득된 세탁물의 정보는 추후, 최적의 세탁 코스를 선정하는데 사용될 수 있다.
그러나, 사용자가 세탁물에 부착된 세탁 라벨을 제거하거나, 세탁 라벨에 기재된 세탁물 정보를 나타내는 텍스트나 이미지가 지워지는 경우, 세탁 라벨을 인식할 수 없는 문제가 있다.
또한, 사용자가 세탁 시 마다, 세탁물에서 세탁 라벨을 찾아, 세탁 라벨을 촬영하는 것은 큰 불편함을 초래한다.
본 발명은 머신 러닝을 이용하여, 세탁물의 이미지를 분석하여, 세탁물의 세탁 라벨을 인식할 필요 없이, 자동으로, 세탁물의 정보를 획득할 수 있는 세탁물 처리 기기의 제공을 목적으로 한다.
또한, 본 발명은 세탁물 처리 기기에 투입된 세탁물들을 자동으로 인식하여, 각각에 대한 소재 혼용율을 분석하고, 세탁 코스 학습 모델을 통해, 맞춤형 세탁 코스를 제공하는 것에 그 목적이 있다.
또한, 본 발명은 개인화된 세탁물 인식 모델을 획득하기 위한 인공 지능 세탁물 처리 기기의 제공을 그 목적으로 한다.
본 발명의 일 실시 예에 따른 인공 지능 세탁물 처리 기기는 세탁 모듈과 세탁물의 이미지를 획득하는 카메라와 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습되고, 상기 세탁물의 세탁물 정보를 인식하기 위한 세탁물 인식 모델을 저장하는 메모리 및 상기 획득된 이미지에 대한 이미지 데이터 및 상기 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는 프로세서를 포함할 수 있다.
상기 프로세서는 상기 이미지 데이터로부터 상기 세탁물의 옷감을 식별하는 옷감 데이터를 추출하고, 상기 추출된 옷감 데이터 및 상기 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득할 수 있다.
상기 프로세서는 상기 세탁 모듈에 제1 세탁물 및 제2 세탁물이 투입된 경우, 상기 제1 세탁물의 제1 이미지 데이터, 상기 제2 세탁물의 제2 이미지 데이터 및 상기 세탁물 인식 모델에 기반하여, 상기 제1 세탁물에 대응하는 제1 세탁물 정보 및 상기 제2 세탁물에 대응하는 제2 세탁물 정보를 획득하고, 상기 제1 세탁물 정보 및 상기 제2 세탁물 정보에 기반하여, 동시 세탁이 불가능하다고 판단한 경우, 이를 알리는 알림을 출력할 수 있다.
상기 프로세서는 상기 동시 세탁이 불가능함을 알리는 알림을 음향 출력부를 통해 음성으로 출력하거나, 디스플레이부를 통해 표시할 수 있다.
상기 인공 지능 세탁물 처리 기기는 상기 알림을 출력하는 사용자의 단말기에 전송할 수 있다.
상기 세탁물 정보는 상기 세탁물의 소재 혼용율, 상기 세탁물의 취급 주의 사항, 적정 세탁 온도 중 하나 이상을 포함할 수 있다.
상기 세탁물 인식 모델은 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습된 인공 신경망 모델이고, 외부 인공 신경망의 학습 장치 또는 상기 인공 신경망의 학습을 수행하는 상기 세탁물 처리 기기에 포함된 러닝 프로세서를 통해 학습될 수 있다.
상기 세탁물 인식 모델은 학습용 옷감 데이터 및 상기 학습용 옷감 데이터에 라벨링된 세탁물 라벨 데이터를 이용하여, 지도 학습된 모델일 수 있다.
상기 프로세서는 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습된 세탁 코스 학습 모델에 기초하여, 상기 획득된 세탁물 정보에 맞는 세탁 제어 변수들의 값들을 획득하고, 상기 세탁 제어 변수들은 세탁 시간 변수, 헹굼 횟수 변수, 탈수 횟수 변수, 세탁 수온 변수 및 물살 강도 변수를 포함할 수 있다.
상기 프로세서는 상기 세탁 제어 변수들의 값들에 대응하는 세탁 코스로, 세탁을 수행하도록 상기 세탁 모듈을 제어할 수 있다.
본 발명의 실시 예에 따른 인공 지능 세탁물 처리 기기의 동작 방법은 세탁물의 이미지를 획득하는 단계와 상기 획득된 이미지에 대한 이미지 데이터로부터 상기 세탁물의 옷감을 식별하는 옷감 데이터를 추출하는 단계 및 상기 추출된 옷감 데이터 및 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습되고, 상기 세탁물의 세탁물 정보를 인식하기 위한 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 세탁물 정보가 자동으로 획득되므로, 사용자가 세탁물에 부착된 세탁 라벨을 별도로 촬영할 필요 없게 되어, 사용자의 편의성이 크게 향상될 수 있다.
본 발명의 실시 예에 따르면, 복수의 세탁물들이 세탁물 처리 기기에 투입 시, 올바른 세탁 방법이 사용자에게 가이드될 수 있다. 즉, 세탁 방법의 가이드에 따라, 동시에, 세탁이 되면 안되는 세탁물들이, 세탁되는 상황이 미연에 방지될 수 있다.
도 1은 인공 신경망의 학습 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 단말기의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 세탁물 처리 장치의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 세탁물 처리 장치의 세탁 코스 결정 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따라, 카메라를 통해 촬영된 태그 영상을 이용하여, 세탁물 정보를 획득하는 과정을 설명하는 도면이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 베이스 라인 정보를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따라, 태그를 통해 인식된 세탁물 정보와 베이스 라인 정보를 이용하여, 학습 모델에 입력 가능한 형태인 세탁 인코딩 데이터를 생성하는 과정을 설명하는 흐름도이다.
도 9는 본 발명의 실시 예에 따라 태그 인식을 통해, 세탁 인코딩 데이터를 생성하는 구체적인 예를 설명하는 도면이다.
도 10은 본 발명의 일 실시 예에 따라 세탁 코스 학습 모델을 생성하는 과정을 설명하는 흐름도이다.
도 11은 본 발명의 일 실시 예에 따라, 복수의 소재들로 구성된 세탁물에 대해, 메인 소재를 결정하는 과정을 설명하는 도면이다.
도 12는 본 발명의 일 실시 예에 따라 메인 소재들이 3개의 세탁 그룹들로 분류된 결과를 보여주는 도면이다.
도 13은 본 발명의 실시 예에 따라, 세탁 그룹의 특성 값들을 추출한 결과를 보여주는 도면이다.
도 14는 실제 손상도 y와 추정 손상도 (Wx+b)를 행렬식으로 표현한 도면이다.
도 15는 본 발명의 실시 예에 따라 세탁물 인코딩 데이터에 세탁 코스 학습 모델을 적용하여, 최적 세탁 코스를 위한 세탁 제어 변수들의 값들을 획득하는 과정을 설명하는 도면이다.
도 16은 본 발명의 일 실시 예에 따라, 세탁물들을 세탁물 처리 장치에 투입 시, 자동으로, 최적의 세탁 코스를 추천해 주는 시나리오를 설명하는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 최적 세탁 코스 제공을 위한 사용자 시나리오를 설명하는 도면이다.
도 18은 본 발명의 또 다른 실시 예에 따른 세탁물 처리 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 일 실시 예에 따라 세탁물 처리 장치가 외부 세탁물 처리 기기의 특성 정보를 획득하는 과정을 설명하는 도면이다.
도 20은 본 발명의 일 실시 예에 따른 외부 세탁물 처리 장치들의 특성 정보를 포함하는 도면이다.
도 21은 본 발명의 일 실시 예에 따라 매칭 룰 모델을 이용하여, 외부 세탁물 처리 장치를 결정하는 과정을 설명하기 위한 흐름도이다.
도 22는 본 발명의 일 실시 예에 따라 세탁물 그룹 및 세탁물 그룹의 특성 값들의 예를 보여주는 도면이고, 도 23은 본 발명의 일 실시 예에 따라 세탁물 그룹의 특성 값을 가공한 세탁물 그룹의 특성 요소들의 인코딩 값들의 예를 설명하는 도면이다.
도 24는 본 발명의 일 실시 예에 따라 외부 세탁물 처리 장치의 특성 요소들을 인코딩한 값들을 포함하는 그래프를 설명하는 도면이다.
도 25는 본 발명의 일 실시 예에 따른 매칭 룰 모델의 일 예를 설명하는 도면이다.
도 26은 본 발명의 일 실시 예에 따라, 복수의 외부 세탁물 처리 장치들 각각에 대한 스코어 합산 결과를 나타내는 도면이다.
도 27은 본 발명의 실시 예에 따라 복수의 세탁물 그룹들 각각이 어느 하나의 외부 세탁물 처리 기기에 매핑된 예를 도시한 도면이다.
도 28은 본 발명의 일 실시 예에 따라 세탁물 처리 장치가 각 세탁물 그룹에 대해 세탁을 수행할 세탁물 처리 장치에 대한 정보를 출력하는 예를 설명하는 도면이다.
도 29는 본 발명의 실시 예에 따른 세탁 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 30은 본 발명의 실시 예에 따라 단말기를 통해 세탁물 및 태그를 촬영하는 예를 설명하는 도면이다.
도 31은 본 발명의 실시 예에 따라 세탁물 이미지 데이터 및 옷감 인식 모델을 이용하여, 세탁물의 옷감 데이터를 획득하는 과정을 설명하는 도면이다.
도 32는 본 발명의 실시 예에 따라 획득된 옷감 데이터 및 세탁 라벨 데이터의 예시를 보여주는 도면이다.
도 33은 본 발명의 실시 예에 따른 세탁물을 세탁물 처리 기기에 투입할 시, 수행되는 시나리오를 설명하는 도면이다.
도 34 및 도 35는 세탁물 처리 기기의 세탁통 내에, 세탁 취급이 다른 세탁물들이 투입된 경우, 세탁물 처리 기기가 사용자의 단말기에, 알림을 전송하는 시나리오를 설명하는 도면이다.
도 36은 본 발명의 또 다른 실시 예에 따른 세탁 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야이다.
구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.
용어 '머신 러닝'은 용어 '기계 학습'과 혼용되어 사용될 수 있다.
기계 학습에서 데이터를 어떻게 분류할 것인가를 놓고, 많은 기계 학습 알고리즘이 개발되었다. 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(support vector machine, SVM), 그리고 인공신경망(Artificial neural network) 등이 대표적이다.
의사결정나무는 의사결정규칙(Decision Rule)을 나무구조로 도표화하여 분류와 예측을 수행하는 분석방법이다.
베이지안 망은 다수의 변수들 사이의 확률적 관계(조건부독립성:conditional independence)를 그래프 구조로 표현하는 모델이다. 베이지안 망은 비지도 학습(unsupervised learning)을 통한 데이터마이닝(data mining)에 적합하다.
서포트벡터머신은 패턴인식과 자료분석을 위한 지도 학습(supervised learning)의 모델이며, 주로 분류와 회귀분석을 위해 사용한다.
인공신경망(Artificial Neural Network, ANN)은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(Layer) 구조의 형태로 연결된 정보처리 시스템이다.
인공 신경망(Artificial Neural Network, ANN)은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.
구체적으로 인공신경망(Artificial Neural Network, ANN)은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
용어 인공신경망(Artificial Neural Network, ANN)은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있다.
인공신경망(Artificial Neural Network, ANN)은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망(Artificial Neural Network, ANN)은 뉴런(neuron)과 뉴런(neuron)을 연결하는 시냅스(synapse)를 포함할 수 있다.
인공 신경망(Artificial Neural Network, ANN)은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어(layer)의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어(layer)로부터 수신되는 입력에 대하여 가중 합을 취하여 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.
인공 신경망(Artificial Neural Network, ANN)은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
본 명세서에서 용어 '레이어'는 용어 '계층'과 혼용되어 사용될 수 있다.
인공신경망(Artificial Neural Network, ANN)은 계층(layer) 수에 따라 단층 신경망(Single Layer Neural Networks)과 다층 신경망(Multi Layer Neural Networks)으로 구분된다.
일반적인 단층 신경망(Single Layer Neural Networks)은, 입력층과 출력층으로 구성된다.
또한 일반적인 다층신경망(Multi Layer Neural Networks)은 입력층과 은닉층, 출력층으로 구성된다.
입력층(input layer)은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층(hidden layer)은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층(output layer)은 은닉층으로부터 신호를 받아 외부로 출력한다. 뉴런간의 입력신호는 0에서 1 사이의 값을 갖는 각각의 연결강도와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 출력값으로 구현된다.
한편 입력층(input layer)과 출력 층(output layer) 사이에 복수의 은닉층(hidden layer)을 포함하는 심층 신경망(Deep Neural Network, DNN)은, 기계 학습(machine learning) 기술의 한 종류인 딥 러닝(deep learning)을 구현하는 대표적인 인공 신경망일 수 있다.
한편 용어 '딥 러닝'은 용어 '심층 학습'과 혼용되어 사용될 수 있다.
인공 신경망(Artificial Neural Network, ANN)은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습(training)이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망(Artificial Neural Network, ANN)의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다. 인공 신경망(Artificial Neural Network, ANN)의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다.
훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류(classification)하거나 군집화 (clustering)할 수 있다.
한편 훈련 데이터를 이용하여 학습된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭할 수 있다.
다음은 인공 신경망(Artificial Neural Network, ANN)의 학습 방식에 대하여 설명한다.
인공 신경망(Artificial Neural Network, ANN)의 학습 방식은 크게, 지도 학습(Supervised Learning), 비 지도 학습(Unsupervised Learning), 준 지도 학습(semi-supervised learning), 강화 학습(Reinforcement learning)으로 분류될 수 있다.
지도 학습(Supervised Learning)은 훈련 데이터(Training Data)로부터 하나의 함수를 유추해내기 위한 기계 학습(Machine Learning)의 한 방법이다.
그리고 이렇게 유추되는 함수 중, 연속 적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것을 분류(Classification)라고 할 수 있다.
지도 학습에서는, 훈련 데이터(training data)에 대한 레이블(label)이 주어진 상태에서 인공 신경망(Artificial Neural Network, ANN)을 학습시킨다.
여기서 레이블(label)이란, 훈련 데이터(training data)가 인공 신경망(Artificial Neural Network, ANN)에 입력되는 경우 인공 신경망(Artificial Neural Network, ANN)이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다.
본 명세서에서는 훈련 데이터(training data)가 입력되는 경우 인공 신경망(Artificial Neural Network, ANN)이 추론해 내야 하는 정답(또는 결과값)을 레이블(label) 또는 레이블링 데이터(labeling data)이라 명칭 한다.
또한 본 명세서에서는, 인공 신경망(Artificial Neural Network, ANN)의 학습을 위하여 훈련 데이터(training data)에 레이블(label)을 다는 것을, 훈련 데이터(training data)에 레이블링 데이터(labeling data)를 레이블링 한다(labeling)라고 명칭 한다.
이 경우 훈련 데이터(training data)와 훈련 데이터에 대응하는 레이블(label)은 하나의 트레이닝 셋(training set)을 구성하고, 인공 신경망(Artificial Neural Network, ANN)에는 트레이닝 셋(training set)의 형태로 입력될 수 있다.
한편 훈련 데이터(training data)는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블(label)이 레이블링(labeling)된다는 것은 훈련 데이터(training data)가 나타내는 특징에 레이블(label)이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터(training data)는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.
인공 신경망(Artificial Neural Network, ANN)은 훈련 데이터와 레이블링 데이터(labeling data)를 이용하여, 훈련 데이터와 레이블링 데이터(labeling data)의 연관 관계에 대한 함수를 유추할 수 있다. 또한 인공 신경망(Artificial Neural Network, ANN)은 유추된 함수에 대한 평가를 통해 인공 신경망(Artificial Neural Network, ANN)의 파라미터를 결정(최적화) 할 수 있다.
비 지도 학습(Unsupervised Learning)은 기계 학습의 일종으로, 훈련 데이터에 대한 레이블(label)이 주어지지 않는다.
구체적으로, 비 지도 학습(Unsupervised Learning)은, 훈련 데이터 및 훈련 데이터에 대응하는 레이블(label)의 연관 관계 보다는, 훈련 데이터 자체에서 패턴을 찾아 분류하도록 인공 신경망을 학습시키는 학습 방법일 수 있다.
비 지도 학습(Unsupervised Learning)의 예로는, 군집화(Clustering) 또는 독립 성분 분석(Independent Component Analysis)을 들 수 있다.
본 명세서에서 용어 '군집화'는 용어 '클러스터링'과 혼용되어 사용될 수 있다.
비지도 학습을 이용하는 인공 신경망의 일례로 생성적 적대 신경망(Generative Adversarial Network, GAN), 오토 인코더(Autoencoder, AE)를 들 수 있다.
생성적 적대 신경망(Generative Adversarial Network, GAN)이란, 생성기(generator)와 판별기(discriminator), 두 개의 서로 다른 인공지능이 경쟁하며 성능을 개선하는 머신러닝 방법이다.
이 경우 생성기(generator)는 새로운 데이터를 창조하는 모형으로, 원본 데이터를 기반으로 새로운 데이터를 생성할 수 있다.
또한 판별기(discriminator)는 데이터의 패턴을 인식하는 모형으로, 원본데이터를 기반으로 생성기(generator)에서 생성한 새로운 데이터에 대한 진위 여부를 감별하는 역할을 수행할 수 있다.
그리고 생성기(generator)는 판별기(discriminator)를 속이지 못한 데이터를 입력 받아 학습하며, 판별기(discriminator)는 생성기(generator)로부터 속은 데이터를 입력 받아 학습할 수 있다. 이에 따라 생성기(generator)는 판별기(discriminator)를 최대한 잘 속이도록 진화할 수 있고, 판별기(discriminator)의 원본 데이터와 생성기(generator)에 의해 생성된 데이터를 잘 구분하도록 진화할 수 있다.
오토 인코더(Autoencoder, AE)는 입력 자체를 출력으로 재현하는 것을 목표로 하는 신경망이다.
오토 인코더(Autoencoder, AE)는 입력층, 은닉층 및 출력층을 포함하며, 입력 데이터는 입력 데이터가 입력 계층을 통과하여 은닉 계층으로 들어간다.
이 경우 은닉 계층의 노드 수가 입력 계층의 노드 수보다 적으므로 데이터의 차원이 줄어들게 되며, 이에 따라 압축 또는 인코딩이 수행되게 된다.
또한 은닉 계층에서 출력한 데이터는 출력 계층으로 들어간다. 이 경우 출력 계층의 노드 수는 은닉 계층의 노드 수보다 많으므로, 데이터의 차원이 늘어나게 되며, 이에 따라 압축 해제 또는 디코딩이 수행되게 된다.
한편 오토 인코더(Autoencoder, AE)는 학습을 통해 뉴런의 연결 강도를 조절함으로써 입력 데이터가 은닉층 데이터로 표현된다. 은닉층에서는 입력층보다 적은 수의 뉴런으로 정보를 표현하는데 입력 데이터를 출력으로 재현할 수 있다는 것은, 은닉층이 입력 데이터로부터 숨은 패턴을 발견하여 표현했다는 것을 의미할 수 있다.
준 지도 학습(Semi-Supervised Learning)은 기계 학습의 일종으로, 레이블(label)이 주어진 훈련 데이터와 레이블(label)이 주어지지 않은 훈련 데이터를 모드 사용하는 학습 방법을 의미할 수 있다.
준지도 학습의 기법 중 하나로, 레이블이 주어지지 않은 훈련 데이터의 레이블을 추론한 후 추론된 라벨을 이용하여 학습을 수행하는 기법이 있으며, 이러한 기법은 레이블링에 소요되는 비용이 큰 경우에 유용하게 사용될 수 있다.
강화 학습(Reinforcement learning)은, 에이전트(Agent)가 매순간 어떤 행동을 해야 좋을지 판단할 수 있는 환경이 주어진다면, 데이터 없이 경험으로 가장 좋을 길을 찾을 수 있다는 이론이다.
강화 학습(Reinforcement Learning)은 주로 마르코프 결정 과정(Markov Decision Process, MDP)에 의하여 수행될 수 있다.
마르코프 결정 과정(Markov Decision Process, MDP)을 설명하면, 첫번째로 에이전트가 다음 행동을 하기 위해 필요한 정보들이 구성된 환경이 주어지며, 두번째로 그 환경에서 에이전트가 어떻게 행동할지 정의하고, 세번째로 에이전트가 무엇을 잘하면 보상(reward)를 주고 무엇을 못하면 벌점(penalty)을 줄지 정의하며, 네번째로 미래의 보상이 최고점에 이를 때까지 반복 경험하여 최적의 정책(policy)을 도출하게 된다.
도 1은 인공 신경망의 학습 장치(1000)를 설명하기 위한 블록도이다.
인공 신경망의 학습 장치(1000)는, 데이터 입력부(1010), 프로세서(1020) 및 인공 신경망(1030)을 포함할 수 있다.
데이터 입력부(1010)는 입력 데이터를 수신할 수 있다. 이 경우 데이터 입력부(1010)는 훈련 데이터를 수신할 수 있으며, 가공되지 않은 데이터를 수신할 수도 있다.
데이터 입력부(1010)가 가공되지 않은 데이터를 수신한 경우, 프로세서(1020)는 수신된 데이터를 전처리 하여 인공 신경망(1030)에 입력이 가능한 훈련데이터를 생성할 수 있다.
인공 신경망(1030)은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 인공 신경망(1030)의 일부 또는 전부가 소프트웨어로 구현되는 경우 인공 신경망(1030)을 구성하는 하나 이상의 명령어는 인공 신경망의 학습 장치(1000)에 포함되는 메모리(미도시)에 저장될 수 있다.
프로세서(1020)는 훈련 데이터 또는 트레이닝 셋(training set)을 인공 신경망(1030)에 입력하여 인공 신경망(1030)을 훈련(training)시킬 수 있다.
구체적으로 프로세서(1020)는 앞서 설명한 다양한 학습 기법을 이용하여 인공 신경망(Artificial Neural Network, ANN)을 반복적으로 학습시킴으로써, 인공 신경망(Artificial Neural Network, ANN)의 파라미터를 결정(최적화)할 수 있다
이와 같이 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭할 수 있다.
한편 학습 모델(a trained model)은 훈련 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있다.
한편 학습 모델(a trained model)은 인공 신경망의 학습 장치(1000)에 탑재된 상태에서 결과 값을 추론할 수도 있으며, 다른 장치로 전송되어 탑재될 수도 있다.
학습 모델(a trained model)을 다른 장치로 전송하는 경우, 인공 신경망의 학습 장치(1000)는 다른 장치와 통신하기 위한 통신부(미도시)를 포함할 수 있다.
도 2에서는 다른 장치로 사용될 수 있는 단말기(100)를 설명한다.
본 명세서에서 설명되는 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 단말기(100)는 스마트 TV, 데스크탑 컴퓨터, 디지털사이니지 등과 같은 고정 단말기에도 적용될 수도 있다.
또한, 본 발명의 실시 예에 따른 단말기(100)는 고정 또는 이동 가능한 로봇에도 적용될 수 있다.
또한, 본 발명의 실시 예에 따른 단말기(100)는 음성 에이전트의 기능을 수행할 수 있다. 음성 에이전트는 사용자의 음성을 인식하고, 인식된 사용자의 음성에 적합한 응답을 음성으로 출력하는 프로그램일 수 있다.
단말기(100)는 무선 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 프로세서(180) 및 전원 공급부(190)를 포함할 수 있다.
학습 모델(a trained model)은 단말기(100)에 탑재될 수 있다.
한편 학습 모델(a trained model)은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델(a trained model)의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델(a trained model)을 구성하는 하나 이상의 명령어는 메모리(170)에 저장될 수 있다.
무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
위치정보 모듈(115)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 단말기의 위치를 획득할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123)를 포함할 수 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 단말기(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면,
프로세서(180)는 입력된 정보에 대응되도록 단말기(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 단말기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성 될 수 있다.
러닝 프로세서(130)는 단말기에 의해 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 출력되거나 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 다른 컴포넌트, 디바이스, 단말기 또는 단말기와 통신하는 장치에 의해 출력되는 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함 할 수 있다.
러닝 프로세서(130)는 단말기에 통합되거나 구현된 메모리를 포함 할 수 있다. 일부 실시 예에서, 러닝 프로세서(130)는 메모리(170)를 사용하여 구현 될 수 있다.
선택적으로 또는 부가 적으로, 러닝 프로세서(130)는 단말기에 직접 결합된 외부 메모리 또는 단말기와 통신하는 서버에서 유지되는 메모리와 같이 단말기와 관련된 메모리를 사용하여 구현 될 수 있다.
다른 실시 예에서, 러닝 프로세서(130)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 단말기에 의해 액세스 가능한 다른 원격 메모리 위치를 이용하여 구현 될 수 있다.
러닝 프로세서(130)는 일반적으로 감독 또는 감독되지 않은 학습, 데이터 마이닝, 예측 분석 또는 다른 머신에서 사용하기 위해 데이터를 식별, 색인화, 카테고리화, 조작, 저장, 검색 및 출력하기 위해 데이터를 하나 이상의 데이터베이스에 저장하도록 구성될 수 있다.
러닝 프로세서(130)에 저장된 정보는 다양한 상이한 유형의 데이터 분석 알고리즘 및 기계 학습 알고리즘 중 임의의 것을 사용하여 프로세서(180) 또는 단말기의 하나 이상의 다른 제어기에 의해 이용될 수 있다.
이러한, 알고리즘의 예로는, k-최근 인접 시스템, 퍼지 논리 (예: 가능성 이론), 신경 회로망, 볼츠만 기계, 벡터 양자화, 펄스 신경망, 지원 벡터 기계, 최대 마진 분류기, 힐 클라이밍, 유도 논리 시스템 베이지안 네트워크, 페리트넷 (예: 유한 상태 머신, 밀리 머신, 무어 유한 상태 머신), 분류기 트리 (예: 퍼셉트론 트리, 지원 벡터 트리, 마코프 트리, 의사 결정 트리 포리스트, 임의의 포리스트), 판돈 모델 및 시스템, 인공 융합, 센서 융합, 이미지 융합, 보강 학습, 증강 현실, 패턴 인식, 자동화 된 계획 등을 포함한다.
프로세서(180)는 데이터 분석 및 기계 학습 알고리즘을 사용하여 결정되거나, 생성된 정보에 기초하여 단말기의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위해, 프로세서(180)는 러닝 프로세서(130)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 상기 단말기를 제어할 수 있다.
프로세서(180)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다.
프로세서(180)는, 또한 I/O 처리 모듈, 환경 조건 모듈, 음성 - 텍스트 (STT) 처리 모듈, 자연어 처리 모듈, 작업 흐름 처리 모듈 및 서비스 처리 모듈과 같이, 음성 및 자연 언어 음성 처리를 수반하는 연산을 가능하게 하는 서브 모듈을 포함할 수 있다.
이들 서브 모듈들 각각은, 단말기에서의 하나 이상의 시스템 또는 데이터 및 모델, 또는 이들의 서브셋 또는 수퍼 셋에 대한 액세스를 가질 수 있다. 또한, 이들 서브 모듈들 각각은, 어휘 색인, 사용자 데이터, 작업 흐름 모델, 서비스 모델 및 자동 음성 인식 (ASR) 시스템을 비롯한 다양한 기능을 제공할 수 있다.
다른 실시 예에서, 프로세서(180) 또는 단말기의 다른 양태는 상기 서브 모듈, 시스템, 또는 데이터 및 모델로 구현 될 수 있다.
일부 예에서, 러닝 프로세서(130)의 데이터에 기초하여, 프로세서(180)는 사용자 입력 또는 자연 언어 입력으로 표현된 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 검출하고 감지하도록 구성 될 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 완전히 결정하는데 필요한 정보를 능동적으로 이끌어 내고, 획득할 수 있다. 예를 들어, 프로세서(180)는 역사적 입력 및 출력, 패턴 매칭, 모호하지 않은 단어, 입력 의도 등을 포함하는 과거 데이터를 분석함으로써 요구 사항을 결정하는데, 필요한 정보를 능동적으로 이끌어낼 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항에 응답하는 기능을 실행하기 위한 태스크 흐름을 결정할 수 있다.
프로세서(180)는 러닝 프로세서(130)에서 프로세싱 및 저장을 위한 정보를 수집하기 위해, 단말기에서 하나 이상의 감지 컴포넌트를 통해 데이터 분석 및 기계 학습 작업에 사용되는 신호 또는 데이터를 수집, 감지, 추출, 검출 및/또는 수신하도록 구성 될 수 있다.
정보 수집은 센서를 통해 정보를 감지하는 것, 메모리(170)에 저장된 정보를 추출하는 것 또는 통신 수단을 통해 다른 단말기, 엔티티 또는 외부 저장 장치로부터 정보를 수신하는 것을 포함 할 수 있다.
프로세서(180)는 단말기에서 사용 히스토리 정보를 수집하여, 저장할 수 있다.
프로세서(180)는 저장된 사용 히스토리 정보 및 예측 모델링을 사용하여 특정 기능을 실행하기 위한 최상의 매치를 결정할 수 있다.
프로세서(180)는 센싱부(140)를 통해 주변 환경 정보 또는 기타 정보를 수신하거나 감지 할 수 있다.
프로세서(180)는 무선 통신부(110)을 통해 방송 신호 및/또는 방송 관련 정보, 무선 신호, 무선 데이터를 수신할 수 있다.
프로세서(180)는 입력부(120)로부터 이미지 정보 (또는 해당 신호), 오디오 정보 (또는 해당 신호), 데이터 또는 사용자 입력 정보를 수신 할 수 있다.
프로세서(180)는 정보를 실시간으로 수집하고, 정보 (예를 들어, 지식 그래프, 명령 정책, 개인화 데이터베이스, 대화 엔진 등)를 처리 또는 분류하고, 처리 된 정보를 메모리(170) 또는 러닝 프로세서(130)에 저장할 수 있다.
단말기의 동작이 데이터 분석 및 기계 학습 알고리즘 및 기술에 기초하여 결정될 때, 프로세서(180)는 결정된 동작을 실행하기 위해 단말기의 구성 요소를 제어 할 수 있다. 그리고 프로세서(180)는 제어 명령에 따라 단말을 제어하여 결정된 동작을 수행 할 수 있다.
프로세서(180)는 특정 동작이 수행되는 경우, 데이터 분석 및 기계 학습 알고리즘 및 기법을 통해 특정 동작의 실행을 나타내는 이력 정보를 분석하고, 분석된 정보에 기초하여 이전에 학습 한 정보의 업데이트를 수행 할 수 있다.
따라서, 프로세서(180)는 러닝 프로세서(130)과 함께, 업데이트 된 정보에 기초하여 데이터 분석 및 기계 학습 알고리즘 및 기법의 미래 성능의 정확성을 향상시킬 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱 하기 위한 하나 이상의 센서를 포함할 수 있다.
예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
인터페이스부(160)는 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port)중 적어도 하나를 포함할 수 있다. 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
한편, 식별 모듈은 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 단말기(100)와 연결될 수 있다.
메모리(170)는 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다.
메모리(170)는 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단말기(100)의 동작을 위한 데이터들, 명령어들을, 러닝 프로세서(130)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다.
프로세서(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 단말기(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용프로그램의 구동을 위하여, 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 프로세서(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
한편, 앞서 살펴본 것과 같이, 프로세서(180)는 응용 프로그램과 관련된 동작과, 통상적으로 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 세탁물 처리 장치의 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 세탁물 처리 장치(300)는 도 2에 도시된 단말기(100) 및 세탁부(310) 등을 포함할 수 있다.
단말기(100)는 세탁물 처리 장치(300)의 내부 구성 요소로서 모듈화되어 구성될 수도 있다.
세탁물 처리 장치(300)는 도 2에 도시된 단말기(100)의 내부 구성 요소들과 세탁부(310)를 병렬적인 구성 요소로서 포함할 수 있다.
세탁부(310)는 세탁과 관련된 기능을 수행하는 세탁 모듈(311), 건조와 관련된 기능을 수행하는 건조 모듈(312) 및 기타 의류 관리와 관련된 기능을 수행하는 의류 관리 모듈(313) 중에서 적어도 하나 이상을 포함할 수 있다.
세탁 모듈(311)은 담금, 세탁, 헹굼 및 탈수 등의 세탁과 관련된 기능을 수행할 수 있다.
건조 모듈(312)은 다양한 방법을 이용하여 세탁물을 건조하는 기능을 수행할 수 있으며, 대표적으로 바람(열풍이나 냉풍)을 이용하여 세탁물을 건조할 수 있다.
의류 관리 모듈(313)은 의류 거치, 드라이클리닝, 먼지 제거, 살균, 주름 제거 및 다림질 등의 다양한 의류 관리와 관련된 기능을 수행할 수 있다.
프로세서(180) 또는 세탁부(310)에 구비된 제어 프로세서(314)는 세탁부(310)의 세탁 모듈(311), 건조 모듈(312) 또는 의류 관리 모듈(313)에 포함된 구성 요소들을 제어하여 다양한 세탁 기능을 제공한다.
입력부(120)와 센서부(140)는 세탁부(310)의 사용 및 제어와 관련된 사용자의 상호작용에 관련된 데이터를 수집할 수 있다. 예컨대, 입력부(120)와 센서부(140)는 음성이나 상호작용을 통한 코스 선택 정보 및 제어 정보 등을 수집할 수 있다.
출력부(150)는 세탁부(310)의 사용 및 제어와 관련된 정보를 출력할 수 있다. 예컨대, 출력부(150)는 세탁, 건조 및 의류 관리에 상응하는 코스 정보, 사용 기록, 제어 정보 등을 출력할 수 있다.
메모리(170)는 세탁부(310)의 사용 및 제어와 관련된 정보를 저장할 수 있다. 예컨대, 메모리(170)는 세탁, 건조 및 의류 관리에 상응하는 코스 정보, 사용 기록, 제어 정보 등을 저장할 수 있다.
구체적으로, 세탁 모듈(311)은 세탁수가 저장되는 터브(311a), 상기 터브 내에 회전 가능하도록 설치되어 세탁물이 투입되는 드럼(311b), 상기 드럼을 회전시키는 구동부(311c), 상기 세탁수를 공급하는 급수부(311d), 상기 세탁수를 순환 또는 배출시키는 펌프(311e) 및 상기 배출되는 세탁수를 배출하는 배수부(311f) 등을 포함할 수 있다.
터브(311a) 내에는 세탁물이 수용되는 드럼(311b)이 회전 가능하게 구비될 수 있다. 드럼(311b)은 세탁물을 수용하며, 세탁물이 투입되는 입구가 전면 또는 상면에 위치하도록 배치되며, 대략 수평한 또는 수직한 회전 중심선을 중심으로 회전된다. 터브(311a) 내의 물이 드럼(311b) 내로 유입될 수 있도록, 드럼(311b)에는 다수의 통공이 형성될 수 있다.
다만, 여기서의 "수평" 또는 "수직"은 수학적으로 엄밀한 의미로써 사용된 용어는 아니다. 즉, 실시예에서와 같이 회전 중심선이 수평 또는 수직에 대해 소정의 각도로 기울어진 경우에도 수평에 근접하기 때문에, 실질적으로 수평 또는 수직하다고 할 수 있다.
급수부(311d)는 급수밸브, 급수관 및 급수호스 등을 포함할 수 있다.
급수시 급수밸브, 급수관을 통과한 세탁수는 세제 디스펜서에서 세제와 혼합된 다음, 급수호스를 통하여 터브(311a)로 공급될 수 있다.
한편, 급수밸브에 직수 공급관이 연결되어 직수 공급관을 통하여 세탁수가 세제와 혼합되지 않고 터브(311a) 내로 직접 공급될 수 있다.
펌프(311e)는 세탁수를 외부로 배출시키는 배수 펌프(311e)와 세탁수를 순환시키는 순환 펌프(311e)로서의 기능을 수행하나, 이와 달리 배수 펌프(311e) 및 순환 펌프(311e)가 별개로 설치될 수 있다.
펌프(311e)는 배수부(311f)에 구비된 배수관과 연결되어, 배수관을 통하여 세탁수를 외부로 배출할 수 있다. 또한, 펌프(311e)는 순환수 공급관과 연결되어, 순환수 공급관을 통해 터브(311a) 내에 저장된 세탁수를 드럼(311b) 내부로 분사하여 세탁수를 순환시킬 수 있다.
드럼(311b)의 내측면에 드럼(311b)의 내부를 향하여 돌출된 하나 이상의 돌출부를 포함할 수 있다.
돌출부는 드럼(311b)의 내측면에 배치되는 리프터 또는 일체로 형성된 엠보싱일 수 있다. 드럼(311b)의 내측면에 리프터가 구비되거나 엠보싱이 형성되는 경우, 드럼(311b)의 회전시 세탁물이 리프터에 의해 들어올려졌다가 낙하되는 것을 반복할 수 있다.
구동부(311c)는 드럼(311b)을 회전시키며, 구동부(311c)에 의해 회전되는 구동축이 터브(311a)의 후면부를 통과하여 드럼(311b)과 결합될 수 있다.
구동부(311c)는 속도 제어가 가능한 모터를 포함할 수 있다.
이때, 모터는 직접 구동 방식의 인버터 모터(Inverter Direct Drive Motor)일 수 있다.
제어 프로세서(314)는 구동부(311c)의 모터의 출력값(예를 들어, 출력 전류)을 입력으로 받아, 이를 바탕으로 구동부(311c)의 모터의 회전수(또는, 회전속도)가 기 설정된 목표 회전수(또는, 목표 회전속도)를 추종하도록 제어할 수 있다. 또한, 제어 프로세서(314)는 구동 패턴에 따라 구동부(311c)의 모터의 구동을 제어할 수 있다.
그리고, 건조 모듈(312)은 세탁물이 투입되는 드럼(312a), 상기 드럼을 회전시키는 구동부(312b), 공기를 가열시키는 가열부(312c), 내부 공기를 순환시키는 송풍팬(312d) 및 내부 공기를 배출하는 배기부(312e) 등을 포함할 수 있다.
드럼(312a)은 건조물이 건조되는 공간으로, 본체의 내부에 회전 가능하게 설치된다. 그리고, 드럼(312a)의 내부에는 건조물을 상승시켜 낙하시키기 위한 하나 이상의 리프터가 구비될 수 있다.
드럼(312a)은 흡기구(미도시)와 연결되고, 송풍팬(312d)에 의해 내부로 공기가 유입될 수 있다.
구동부(312b)는 드럼(312a)을 회전시키며, 구동부(312b)에 의해 회전되는 구동축이 드럼(312a)와 결합될 수 있다.
구동부(312b)는 속도 제어가 가능한 모터를 포함할 수 있다.
이때, 모터는 직접 구동 방식의 인버터 모터(Inverter Direct Drive Motor)일 수 있다.
제어 프로세서(314)는 구동부(312b)의 모터의 출력값(예를 들어, 출력 전류)을 입력으로 받아, 이를 바탕으로 구동부(312b)의 모터의 회전수(또는, 회전속도)가 기 설정된 목표 회전수(또는, 목표 회전속도)를 추종하도록 제어할 수 있다. 또한, 제어 프로세서(314)는 구동 패턴에 따라 구동부(312b)의 모터의 구동을 제어할 수 있다.
가열부(312c)는 드럼(312a) 내부의 공기 또는 외부에서 유입되는 공기를 가열하는 가열부를 포함할 수 있다.
가열부는 가스식 혹은 전기식 등의 다양한 에너지원을 이용하여 공기를 가열시키며, 전기식의 경우 코일 히터를 이용할 수 있다.
가열부(312c)는 복수의 가열부를 포함할 수 있고, 각 가열부는 서로 동일하지 않고 다양한 에너지원을 이용할 수도 있고, 각각의 성능이 상이할 수도 있다.
송풍팬(312d)은 가열부(312c)에서 가열된 공기 또는 드럼(312a) 내부의 공기를 순환시킨다.
배기부(312e)는 드럼(312a) 내부의 공기가 외부로 배출될 수 있도록 안내하는 역할을 하며, 배기 덕트 및 에어필터 등을 포함할 수 있다.
그리고, 의류 관리 모듈(313)은 의류를 거치할 수 있는 공간인 의류 컨테이너(313a), 의류 컨테이너(313a)에 구비된 거치대를 움직이는 구동부(313b), 내부 공기를 순환시키는 송풍팬(313c), 에어 필터(313d), 살균부(313e) 및 주름 관리부(313f) 등을 포함할 수 있다.
의류 컨테이너(313a)는 관리 또는 처리의 대상이 되는 의류(또는 세탁물)을 담는 공간으로, 의류를 고정할 수 있는 거치대를 포함할 수 있다. 예컨대, 의류 컨테이너는 옷걸이와 옷걸이를 거치할 수 있는 후크, 또는 토르소와 마네킹 같은 입체 형상 등을 포함할 수 있다.
의류 컨테이너(313a)는 흡기구(미도시)와 연결되어, 송풍팬(313c)에 의해 공기가 유입될 수 있다.
구동부(313b)는 거치대를 구동하여 거치대에 거치된 의류에 대하여 기 설정된 움직임을 유도할 수 있다.
예컨대, 구동부(313b)는 일정한 진동 패턴에 따라 거치대와 거치대에 거치된 의류가 진동하도록 동작할 수 있다. 거치된 의류를 진동시킴에 따라 의류에 부착 또는 점착된 먼지나 이물질 등을 제거할 수 있다.
구동부(313b)는 속도 제어가 가능한 모터를 포함할 수 있다.
이때, 모터는 직접 구동 방식의 인버터 모터(Inverter Direct Drive Motor)일 수 있다.
제어 프로세서(314)는 구동부(313b)의 모터의 출력값(예를 들어, 출력 전류)을 입력으로 받아, 이를 바탕으로 구동부(313b)의 모터의 회전수(또는, 회전속도)가 기 설정된 목표 회전수(또는, 목표 회전속도)를 추종하도록 제어할 수 있다. 또한, 제어 프로세서(314)는 구동 패턴에 따라 구동부(313b)의 모터의 구동을 제어할 수 있다.
송풍팬(313c)은 의류 컨테이너(313a)의 외부에서 유입된 공기 또는 의류 컨테이너 내부(313a)의 공기를 의류 컨테이너 내부로 공급하여 공기를 순환시킨다.
송풍팬(313c)은 의류 컨테이너(313a)에 거치된 의류에 공급하는 공기가 부딪히도록 설치되거나, 공기 공급 방향이 제어될 수 있다.
예컨대, 송풍팬(313c)은 거치된 의류에 공기를 분사하여 의류에 부착 또는 점착된 먼지를 의류에서 떨어지도록 유도하거나, 의류의 습기를 제거할 수 있다.
에어 필터(313d)는 의류 컨테이너(313a)의 내부 공기가 순환될 때 혹은 내부 공기가 외부로 배출될 때 먼지 등을 필터링한다.
살균부(313e)는 거치된 의류를 살균하는 다양한 살균 장치를 포함할 수 있다.
예컨대, 살균 장치에는 오존을 이용하는 살균 장치 및 자외선을 이용하는 살균 장치 등이 포함될 수 있다.
주름 관리부(313f)는 거치된 의류의 주름을 줄이거나 제거하며, 스팀 공급기, 다리미 및 다림질판 등을 포함할 수 있다.
스팀 공급기는 공급된 물을 가열하여 스팀으로 만들고, 스팀을 의류 컨테이너(313a)에 자연 공급하거나 거치된 의류에 직접 분사할 수 있다.
다리미 및 다림질판은 의류 컨테이너(313a)의 내부에 구비된다. 그리고, 다림질 대상 의류의 모양, 위치 및 소재 등을 고려하여 결정된 다림질 작동 정보에 따라 그 작동이 제어될 수 있다.
이때, 다림질 작동 정보에는 다리미와 다림질판의 위치/동선, 다림질 온도/시간 등이 포함될 수 있다.
제어 프로세서(314)는 구동부(313b) 또는 주름 관리부(313f)에 별도로 구비된 구동부를 제어하여 다리미와 다림질판을 움직임을 제어할 수 있으며, 다림질 작동 정보에 따라 다리미 및 다림질판을 제어할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 세탁물 처리 장치의 세탁 코스 결정 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 세탁물 처리 장치(300)의 프로세서(180)는 세탁물 정보를 획득한다(S401).
일 실시 예에서, 프로세서(180)는 카메라(121)를 통해 촬영된 영상에 기초하여, 세탁물의 세탁물 정보를 획득할 수 있다.
세탁물 정보는 세탁물의 소재 혼용율, 세탁 취급 주의 사항, 세탁물의 색상 중 하나 이상을 포함할 수 있다.
카메라(121)를 통해 촬영된 영상은 세탁물에 부착된 태그 영상을 포함할 수 있다.
프로세서(180)는 태그 영상에 포함된 텍스트 또는 세탁물 취급 이미지를 인식하여, 세탁물 정보를 획득할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 세탁물에 NFC 태그 또는 RFID 태그가 부착된 경우, 프로세서(180)는 자체적으로 구비된, NFC 리더기, RFID 리더기를 통해 해당 태그를 인식하여, 세탁물 정보를 획득할 수도 있다.
또 다른 예로, 프로세서(180)는 세탁물에 QR 코드가 부착된 경우, QR 코드를 인식하여, 세탁물 정보를 획득할 수 있다.
또한, 프로세서(180)는 세탁물의 소재를 인식할 수 있는 센서를 통해, 세탁물 정보를 획득할 수도 있다.
도 5는 본 발명의 일 실시 예에 따라, 카메라를 통해 촬영된 태그 영상을 이용하여, 세탁물 정보를 획득하는 과정을 설명하는 도면이다.
도 5를 참조하면, 세탁물(500)에는 태그(510)가 부착되어 있다.
태그(510)는 세탁물(500)의 소재 혼용율(또는 섬유의 조성, 511) 및 취급 주의 사항을 나타내는 세탁물 취급 이미지들(513)을 포함한다.
세탁물 처리 기기(300)의 카메라(121)는 태그(510)를 포함하는 태그 영상을 촬영할 수 있다.
프로세서(180)는 촬영된 태그 영상을 인식하여, 소재 혼용율 및 세탁물 취급 이미지들을 포함하는 세탁물 정보를 획득할 수 있다.
프로세서(180)는 광학적 문자 인식(Optical Character Recognition, OCR) 기법을 이용하여, 태그 영상에 포함된 텍스트의 인식할 수 있다.
프로세서(180)는 공지의 이미지 인식 알고리즘을 이용하여, 태그 영상에 포함된 세탁물 취급 이미지를 인식할 수 있다.
프로세서(180)는 태그 영상에 포함된 세탁물의 고유 모델 번호를 인식하여, 세탁물의 색상 정보를 추가로 획득할 수 있다.
다시, 도 4를 설명한다.
세탁물 처리 장치(300)의 프로세서(180)는 획득된 세탁물 정보를 기 저장된 베이스 라인 정보와 매칭하여 , 세탁물 인코딩 데이터를 생성한다(S403).
베이스 라인 정보는 소재 별 권고 세탁 코스, 소재 별 권고 세탁 코스 수행 시, 품질 손상도, 소재 세탁 취급 정보 중 하나 이상을 포함할 수 있다.
메모리(170)는 베이스 라인 정보를 저장할 수 있다. 베이스 라인 정보는 학습 장치(1000) 또는 클라우드 서버로부터 주기적으로, 수신될 수 있다.
베이스 라인 정보에 대해서는, 도 6을 참조하여, 설명한다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 베이스 라인 정보를 설명하기 위한 도면이다.
베이스 라인 정보는 소재별 세탁 취급 정보(600) 및 소재별 권고 세탁 코스와 품질 손상도를 포함하는 테이블(700)을 포함할 수 있다.
도 6을 참조하면, 소재 별 세탁 취급 이미지 정보를 나타내는 소재 세탁 취급 정보(600)가 도시되어 있다.
소재 세탁 취급 정보(600)는 복수의 소재들 각각에 대한 세탁 취급 이미지들 및 세탁 취급 이미지들 각각에 대응하는 텍스트를 포함할 수 있다.
각 소재에 대한 세탁 취급 이미지들은 태그(510)에 포함된 세탁 취급 이미지들(513)을 인식하는데 사용될 수 있다.
한편, 베이스 라인 정보는 도 6에 도시된, 복수의 소재들 이외의 소재에 대한 세탁 취급 정보도 더 포함할 수 있다.
도 7을 참조하면, 복수의 소재들 각각에 대응하는 권고 세탁 코스 및 손상도를 포함하는 테이블(700)이 도시되어 있다.
예를 들어, 면의 권고 세탁 코스의 경우, 세탁 시간은 15분, 헹굼 횟수는 3회, 탈수 강도는 강, 물살 강도는 강이다. 이 경우, 면의 손상도는 1로 설정될 수 있다.
본 발명의 또 다른 실시 예에 따르면, 탈수 강도 대신, 탈수 횟수가 사용될 수 있고, 물살 강도 대신, 물살 강도를 표현할 수 있는 수치가 사용될 수 있다.
손상도는, 0에서 10까지의 값을 가지고, 권고 세탁 코스를 수행 시, 소재의 품질 손상 정도를 나타낼 수 있다.
손상도는 소재가 손상되기 쉬한 소재로 구성될 경우, 그 값이 높게 설정될 수 있다.
프로세서(180)는 획득된 세탁물 정보와, 도 6 및 도 7에 도시된 베이스 라인 정보를 비교하여, 세탁 인코딩 데이터를 생성할 수 있다.
획득된 세탁물 정보 및 베이스 라인 정보를 이용하여, 세탁 인코딩 데이터를 생성하는 과정에 대해 설명한다.
도 8은 본 발명의 일 실시 예에 따라, 태그를 통해 인식된 세탁물 정보와 베이스 라인 정보를 이용하여, 학습 모델에 입력 가능한 형태인 세탁 인코딩 데이터를 생성하는 과정을 설명하는 흐름도이다.
도 8을 참조하면, 프로세서(180)는 베이스 라인 정보에 기초하여, 소재들의 종류만큼의 엘리먼트들을 갖는 벡터를 설정한다(S801).
예를 들어, 베이스 라인 정보에 저장된 소재들의 종류가 12개인 경우, 벡터는 12개의 엘리먼트들을 가질 수 있다.
또한, 12개의 엘리먼트들은 미리 순서가 지정될 수 있다. 여기서, 12개는 예시에 불과한 수치이다.
프로세서(180)는 태그를 통해 인식된 세탁물의 소재 혼용율을 이용하여, 벡터의 각 엘리먼트에 값을 할당한다(S803).
프로세서(180)는 소재 혼용율에 따라 각 소재에 대응하는 엘리먼트에 소재의 비율 값을 할당할 수 있다.
프로세서(180)는 태그를 통해 인식된 세탁 취급 이미지들과, 베이스 라인 정보를 비교하여, 세탁 방법들을 데이터 세트로 변환한다(S805).
일 실시 예에서, 프로세서(180)는 세탁 취급 이미지들과, 베이스 라인 정보에 포함된 소재 세탁 취급 정보(600)를 비교하여, 세탁 방법들을 바이너리 데이터 또는 리얼 데이터로, 변환할 수 있다.
예를 들어, 프로세서(180)는 비교 결과, 물 세탁이 가능한 경우에는 해당 세탁물 취급 이미지를 1로, 물 세탁이 불가능한 경우에는, 해당 세탁물 취급 이미지를 0으로, 변환할 수 있다.
또 다른 예로, 프로세서(180)는 적정 세탁 수온을 포함하는 세탁 취급 이미지를 통해, 적정 세탁 수온이 40도인 경우, 해당 세탁 취급 이미지를 40으로 변환할 수 있다.
프로세서(180)는 엘리먼트들에 값이 할당된 벡터와 데이터 세트를 조합하여, 세탁 인코딩 데이터를 생성한다(S807).
단계 S801 내지 S807에 대해 도 9를 참조하여, 자세히 설명한다.
도 9는 본 발명의 실시 예에 따라 태그 인식을 통해, 세탁 인코딩 데이터를 생성하는 구체적인 예를 설명하는 도면이다.
도 9를 참조하면, 태그(910)는 세탁물의 소재 혼용율(911) 및 세탁 취급 이미지들(913)을 포함할 수 있다.
프로세서(180)는 태그(910)를 인식하여, 소재 혼용율(911)을 획득할 수 있다.
만약, 베이스 라인 정보에 저장된 소재의 종류가 12개인 경우, 프로세서(180)는 12개의 엘리먼트들 각각에, 소재 혼용율(911)을 적용한 벡터(930)를 생성할 수 있다.
구체적으로, 하나의 세탁물에 대해 면의 비율이 96%이고, 스판덱스의 비율이 4%인 경우, 벡터(930)의 면 엘리먼트(931)에 0.96을 할당하고, 스판덱스 엘리먼트(933)에 0.4를 할당하고, 나머지 엘리먼트들에 0을 할당할 수 있다.
일 실시 예에서, 하나의 세탁물에 대해 3개 이상의 소재들이 혼합된 경우, 프로세서(180)는 3개 이상의 소재들 중 비율이 큰 상위 2개의 소재들에 대해서만, 엘리먼트에 값을 할당시킬 수 있다.
또한, 프로세서(180)는 태그(910)에 포함된 세탁 취급 이미지들(913) 각각을 바이너리 데이터 또는 리얼 데이터로 변환할 수 있다.
예를 들어, 물세탁 가능 이미지가 포함되어 있는 경우, 프로세서(180)는 물세탁 가능 이미지를 1로 변환할 수 있다.
예를 들어, 40도의 적정 세탁 수온 이미지가 포함되어 있는 경우, 프로세서(180)는 해당 이미지를 40으로 변환할 수 있다. 프로세서(180)는, 해당 수치가 미리 지정된 제1 특정 값 이상인 경우, 해당 수치를 온수 세탁만이 가능함을 나타내는 2로 변환할 수 있다.
프로세서(180)는, 해당 수치가 미리 지정된 제1 특정 값 미만 제2 특정 값 이상인 경우, 해당 수치를 냉/온수 세탁이 가능함을 나타내는 1로 변환할 수 있다.
프로세서(180)는, 해당 수치가 미리 지정된 제2 특정 값 미만인 경우, 해당 수치를 냉수 세탁만이 가능함을 나타내는 0으로 변환할 수 있다.
프로세서(180)는 벡터(930)와 데이터 세트(950)가 조합된 세탁 인코딩 데이터(970)를 생성할 수 있다.
세탁 인코딩 데이터(970)는 세탁 코스 학습 모델의 입력 데이터로 사용될 수 있다.
다시, 도 4를 설명한다.
세탁물 처리 장치(300)의 프로세서(180)는 생성된 세탁물 인코딩 데이터에 세탁 코스 학습 모델을 적용하여, 최적의 세탁 코스를 결정한다(S405).
일 실시 예에서, 세탁 코스 학습 모델은 복합 소재로 이루어진 세탁물에 대해, 최적의 세탁 코스를 제공하기 위한 모델일 수 있다.
세탁 코스 학습 모델은 베이스 라인 정보에 기반하여, 미리 학습된 모델일 수 있다.
세탁 코스 학습 모델은 복수의 세탁 그룹들 각각에 대해, 베이스 라인 정보를 이용하여, 세탁 제어 변수들의 최적 가중치 값들을 학습하고, 학습된 최적 가중치 값들을 이용하여, 세탁 제어 변수들의 값들을 학습하는 학습 모델일 수 있다.
세탁 코스 학습 모델은 도 1에서 설명된 학습 장치(1000)와 같은 외부 서버로부터 수신될 수 있다.
이하에서는, 세탁 코스 학습 모델을 생성하는 과정에 대해, 설명한다.
도 10은 본 발명의 일 실시 예에 따라 세탁 코스 학습 모델을 생성하는 과정을 설명하는 흐름도이다.
도 10을 참조하면, 프로세서(180)는 베이스 라인 정보에 저장된 각 세탁물의 소재 혼용율을 기반으로, 세탁 코스를 결정지을 메인 소재를 결정한다(S1001).
일 실시 예에서, 프로세서(180)는 복수의 소재들로 구성된 하나의 세탁물에 대해, 소재의 비율과 손상도의 곱이 가장 큰 소재를 메인 소재로 결정할 수 있다.
베이스 라인 정보는 세탁 코스 학습 모델을 생성하기 위한 레퍼런스 정보일 수 있다.
이에 대해서는 도 11을 참조하여 설명한다.
도 11은 본 발명의 일 실시 예에 따라, 복수의 소재들로 구성된 세탁물에 대해, 메인 소재를 결정하는 과정을 설명하는 도면이다.
베이스 라인 정보는 복수의 세탁물들 각각에 대응하는 소재 혼용율에 대한 정보를 포함하는 벡터들을 포함할 수 있다.
도 11을 참조하면, 제1 세탁물(1101)에 대해 소재 혼용율에 대한 정보를 포함하는 제1 벡터(930)가 도시되어 있다.
제1 세탁물(1101)의 경우, 기모, 울, 폴리에스테르, 헤어로 구성되어 있고, 각 비율은 0.1/0.5/0.3/0.3이다.
프로세서(180)는 베이스 라인 정보에 저장된 테이블(700)을 이용하여, 각 소재에 대한 손상도를 추출할 수 있다.
프로세서(180)는 각 소재의 혼용율과 해당 소재의 손상도의 곱을 계산할 수 있다. 도 10을 참조하면, 제1 세탁물(1101)에 대해 각 소재의 혼용율과 해당 소재의 손상도의 곱이 계산된 제1 테이블(1105)이 도시되어 있다.
예를 들어, 기모의 경우, 혼용율과 손상도의 곱은 0.5(0.1X5)이다.
울의 경우, 혼용율과 손상도의 곱은 2.5(0.5X5)이다. 폴리에스테르의 경우, 혼용율과 손상도의 곱은 0.1(0.1X1)이다. hair의 경우, 혼용율과 손상도의 곱은 2.7(0.3X9)이다.
프로세서(180)는 혼용율과 손상도의 곱이 가장 큰 소재에 대응하는 hair를 제1 세탁물(1101)의 메인 소재로 결정할 수 있다.
프로세서(180)는 제2 세탁물(1111)의 소재 혼용율에 대한 정보를 포함하는 제2 벡터(1113) 및 각 소재에 대한 손상도를 이용하여, 제2 테이블(1113)을 생성할 수 있다.
프로세서(180)는 혼용율과 손상도의 곱이 가장 큰 소재에 대응하는 가죽을 제2 세탁물(1111)의 메인 소재로 결정할 수 있다.
프로세서(180)는 제3 세탁물(1121)의 소재 혼용율에 대한 정보를 포함하는 제3 벡터(1123) 및 각 소재에 대한 손상도를 이용하여, 제3 테이블(1133)을 생성할 수 있다.
프로세서(180)는 혼용율과 손상도의 곱이 가장 큰 소재에 대응하는 울을 제3 세탁물(1111)의 메인 소재로 결정할 수 있다.
이와 같이, 프로세서(180)는 각 세탁물에 대한 메인 소재를 결정하고, 결정된 메인 소재를 레이블링 할 수 있다.
다시, 도 10을 설명한다.
프로세서(180)는 결정된 메인 소재들을 복수의 세탁 그룹들로 분류한다(S1003).
프로세서(180)는 결정된 메인 소재들을 물 세탁 가능 여부, 세탁물 처리 장치(300)의 사용 가능 여부, 삶음 가능 여부에 따라 3개의 세탁 그룹들로 분류할 수 있다.
결정된 메인 소재들을 복수의 세탁 그룹들로 분류하는 이유는, 물 세탁 가능 여부, 세탁물 처리 장치(300)의 사용 가능 여부, 삶음 가능 여부가 세탁물의 손상도에 가장 영향이 큰 요인이 될 수 있기 때문이다.
도 12는 본 발명의 일 실시 예에 따라 메인 소재들이 3개의 세탁 그룹들로 분류된 결과를 보여주는 도면이다.
도 12를 참조하면, 제1 세탁 그룹(1210)은 물 세탁이 가능하며, 세탁물 처리 장치(300)의 사용이 가능하며, 삶음이 가능한 소재들을 포함하는 그룹일 수 있다.
제2 세탁 그룹(1230)은 물 세탁이 가능하며, 세탁물 처리 장치(300)의 사용이 가능하나, 삶음이 불가능한 소재들을 포함하는 그룹일 수 있다.
제3 세탁 그룹(1250)은 물 세탁이 불 가능한 소재들을 포함하는 그룹일 수 있다.
다시, 도 10을 설명한다.
프로세서(180)는 분류된 복수의 세탁 그룹들 각각의 세탁 특성 값들을 결정한다(S1005).
프로세서(180)는 베이스 라인 정보에 포함된 테이블(700)에 기반하여, 각 세탁 그룹의 세탁 특성 값들을 추출할 수 있다.
구체적으로, 프로세서(180)는 테이블(700)로부터 세탁 그룹에 포함된 소재들 각각의 세탁 시간, 헹굼 횟수, 탈수 강도, 적정 수온, 물살 강도를 추출할 수 있다.
프로세서(180)는 추출된 세탁 시간들 중 최고 값 및 최소 값, 헹굼 횟수들 중 최고 값 및 최소 값, 탈수 강도의 최고 정도 및 최소 정도, 적정 수온의 최고 값 및 최소 값, 물상 강도의 최고 정도 및 최소 정도를 추출할 수 있다.
프로세서(180)는 추출 결과를, 해당 세탁 그룹의 특성 값들로, 결정할 수 있다.
도 13은 본 발명의 실시 예에 따라, 세탁 그룹의 특성 값들을 추출한 결과를 보여주는 도면이다.
도 13을 참조하면, 제1 세탁 그룹(1210)의 특성 값들을 포함하는 제1 특성 값 테이블(1310) 및 제2 세탁 그룹(1230)의 특성 값들을 포함하는 제2 특성 값 테이블(1330)이 도시되어 있다.
제1 특성 값 테이블(1310)은 최장 세탁 시간이 12분, 최소 세탁 시간이 9분, 최대 헹굼 횟수가 2회, 최소 헹굼 횟수가 2회, 최대 탈수 강도 및 최소 탈수 강도가 약함, 최고 적정 수온이 온/냉, 최저 적정 수온이 냉, 최고 물상 강도가 중간, 최소 물살 강도가 약함을 나타내고 있다.
제2 특성 값 테이블(1330)은 최장 세탁 시간이 17분, 최소 세탁 시간이 15분, 최대 헹굼 횟수가 3회, 최소 헹굼 횟수가 3회, 최대 탈수 강도 및 최소 탈수 강도가 강함, 최고 적정 수온이 온 최저 적정 수온이 온, 최고 물상 강도가 강함, 최소 물살 강도가 강함을 나타내고 있다.
다시, 도 10을 설명한다.
프로세서(180)는 딥러닝 알고리즘을 이용하여, 각 세탁 그룹에 대해 손상도에 대한 세탁 제어 변수들의 최적 가중치 값들을 결정한다(S1007).
프로세서(180)는 각 세탁 그룹에 대해, 로스 함수(Loss function)를 이용하여, 로스 함수의 값이 최소가 되는 최적 가중치 값들을 결정할 수 있다.
로스 함수의 값이 최소가 된다는 것은 세탁물의 실제 손상도와 추정된 손상도 간의 차이를 최소화시킴을 의미할 수 있다.
로스 함수는 다음의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure PCTKR2019004573-appb-I000001
y는 실제 손상도를 나타내는 실제 손상도 벡터이고, x는 세탁 코스를 결정하는 세탁 제어 변수들을 포함하는 세탁 제어 변수 벡터이고, W는 각 세탁 제어 변수가 손상도에 영향을 미치는 정도를 나타내는 가중치 벡터이고, b는 세탁 제어 변수 이외의 요인으로 인한 외부 요인 손상도 벡터를 나타낼 수 있다.
외부 요인 손상도 세트는 베이스 라인 정보에 미리 저장된 세트일 수 있다.
특히, W는 N개의 세탁물 그룹들 각각에 대한 5개의 세탁 제어 변수들의 가중치들을 포함하는 벡터일 수 있다.
(Wx+b)는 실제 손상도 y를 가장 잘 묘사할 수 있는 추정 손상도를 나타내며, 로스 함수 L(x;W,b)는 실제 손상도와 추정 손상도 간의 차이를 최소화하는 가중치 세트를 얻고자 하는 것에 목적이 있다.
실제 손상도 y와 추정 손상도 (Wx+b)는 도 14와 같이, 행렬로 표현될 수 있다.
도 14는 실제 손상도 y와 추정 손상도 (Wx+b)를 행렬식으로 표현한 도면이다.
특히, W는 복수의 세탁 그룹들 각각에 대응하는 복수의 가중치 세트들을 포함할 수 있다.
예를 들어, 제1 가중치 세트(1410)는 제1 세탁 그룹(1210)의 세탁 제어 변수들에 대응하는 가중치 값들을 포함하는 세트이다.
제2 가중치 세트(1420)는 제2 세탁 그룹(1220)의 세탁 제어 변수들에 대응하는 가중치 값들을 포함하는 세트이다.
다시, 단계 S1007을 설명한다.
세탁 제어 변수 세트는 세탁 시간을 나타내는 세탁 시간 변수(x1), 헹굼 횟수를 나타내는 헹굼 횟수 변수(x2), 탈수 횟수 또는 탈수 강도를 나타내는 탈수 횟수 변수(또는 탈수 강도)(x3), 세탁 수온을 나타내는 세탁 수온 변수(x4), 물살 강도를 나타내는 물살 강도 변수(x5)를 포함할 수 있다.
프로세서(180)는 베이스 라인 정보에 포함된 각 소재에 대한 세탁 시간, 헹굼 횟수, 탈수 횟수, 물살 강도, 적정 수온, 실제 손상도, 외부 요인 손상도를 입력 데이터로, 딥 러닝 알고리즘 또는 경사 하강법(Gradient descent method)을 이용하여, 로스 함수의 값이 최소가 되도록 하는, 가중치 세트를 결정(또는 학습)할 수 있다.
여기서, 딥 러닝 알고리즘은 지도 학습, 메타 학습 중 어느 하나의 학습 방식이 사용될 수 있으나, 예시에 불과하다.
또한, 최적의 가중치 값들을 결정하기 위해 MLP(Multi-layer perceptron) 와 같은 경사 하강법이 사용될 수 있으나, 이는 예시에 불과하다.
또한, 가중치 값들은 사용자가 세탁물 처리 기기(300)를 사용할 시, 입력된 새로운 세탁물 정보가 축적되어, 학습됨에 따라, 진화될 수 있다.
프로세서(180)는 로스 함수를 최소화시키도록 하는 각 세탁 그룹에 대응되는 가중치 값들을 포함하는 최적 가중치 세트를 획득할 수 있다.
예를 들어, 프로세서(180)는 제1 세탁 그룹(1210)에 대응하는 제1 최적 가중치 세트 및 제2 세탁 그룹(1230)에 대응하는 제2 최적 가중치 세트를 획득할 수 있다.
프로세서(180)는 각 세탁 그룹에 대응하는 최적 가중치 값들에 대해, 제어 최적화 기법을 이용하여, 세탁 제어 변수들의 값들을 결정한다(S1009).
프로세서(180)는 Hamiltonian 기반 제어 최적화 기법을 이용하여, 목적 함수에 대해, 세탁물의 손상도를 최소화하고, 세척력을 최대화하는 세탁 제어 변수들의 값들을 결정할 수 있다.
Hamiltonian 기반 제어 최적화 기법은 x,y에 대한 함수 f의 궤도(trajectory)가 합리적인 값으로, 존재할 때, 매개변수가 추정된 모델 a=f(x,y;c)에 대해 a 값을 최소화하는 x와 y 값을 찾는 기법이다.
본 발명의 실시 예에서는 Hamiltonian 기반 제어 최적화 기법이 다음의 [수학식 2]로 표현되는 목적 함수의 값을 최소화시키는 xi 값을 찾는데 사용될 수 있다.
목적 함수는 다음의 [수학식 2]로 표현될 수 있다.
[수학식 2]
Figure PCTKR2019004573-appb-I000002
W는 세탁 그룹에 대응되고, 단계 S1007에서 결정된 가중치 세트들을 나타낼 수 있다.
xi는 세탁 제어 변수를 나타낼 수 있다.
x1은 세탁 시간을 나타내는 변수이고, x2는 헹굼 횟수를 나타내는 변수이고, x3은 탈수 횟수 또는 탈수 강도를 나타내는 변수이고, x4는 세탁 수온을 나타내는 변수이고, x5는 물살 강도를 나타내는 변수일 수 있다.
λ는 라그랑지언(Lagrangian coefficient) 상수이다.
Figure PCTKR2019004573-appb-I000003
는 하나의 세탁 그룹 내 또는 복수의 세탁 그룹들 내에서, 세탁 제어 변수의 최대 값을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000004
는 도 13에 도시된, 각 세탁 그룹 별 특성 값들로부터, 얻어질 수 있다.
복수의 세탁물들이 세탁물 처리 기기(300)에 인식되어, 복수의 세탁물 그룹들로, 분류되는 경우,
Figure PCTKR2019004573-appb-I000005
는 복수의 세탁물 그룹들 내에서, 세탁 제어 변수의 최대 값을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000006
는 손상도를 보장하는 권고 세탁 코스 범주 내에서, 최적의 세탁 코스가 얻어지도록 하는 제약을 부여할 수 있다.
Figure PCTKR2019004573-appb-I000007
는 하나의 세탁 그룹 내에서 최장 세탁 시간 또는 복수의 세탁 그룹들 내에서, 최장 세탁 시간을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000008
는 하나의 세탁 그룹 내에서 최대 헹굼 횟수 또는 복수의 세탁 그룹들 내에서, 최대 헹굼 횟수를 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000009
는 하나의 세탁 그룹 내에서 최대 탈수 횟수(또는 강도) 또는 복수의 세탁 그룹들 내에서, 최대 탈수 횟수(또는 강도)를 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000010
는 하나의 세탁 그룹 내에서 최대 세탁 수온 또는 복수의 세탁 그룹들 내에서, 최대 수탁 수온을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000011
는 하나의 세탁 그룹 내에서 최대 물살 강도 또는 복수의 세탁 그룹들 내에서, 최대 물살 강도를 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000012
는 하나의 세탁 그룹 내 또는 복수의 세탁 그룹들 내에서, 세탁 제어 변수의 최소 값을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000013
는 도 13에 도시된, 각 세탁 그룹 별 특성 값들로부터, 얻어질 수 있다.
복수의 세탁물들이 세탁물 처리 기기(300)에 인식되어, 복수의 세탁물 그룹들로, 분류되는 경우,
Figure PCTKR2019004573-appb-I000014
는 복수의 세탁물 그룹들 내에서, 세탁 제어 변수의 최소 값을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000015
는 세척력을 보장하는 권고 세탁 코스 범주 내에서, 최적의 세탁 코스가 얻어지도록 하는 제약을 부여할 수 있다.
Figure PCTKR2019004573-appb-I000016
는 하나의 세탁 그룹 내에서 최소 세탁 시간 또는 복수의 세탁 그룹들 내에서, 최소 세탁 시간을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000017
는 하나의 세탁 그룹 내에서의 최소 헹굼 횟수 또는 복수의 세탁 그룹들 내에서, 최소 헹굼 횟수를 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000018
는 하나의 세탁 그룹에서의 최소 탈수 횟수(또는 강도) 또는 복수의 세탁 그룹들 내에서, 최소 탈수 횟수(또는 강도)를 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000019
는 하나의 세탁 그룹에서의 최소 세탁 수온 또는 복수의 세탁 그룹들 내에서, 최소 수탁 수온을 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000020
는 하나의 세탁 그룹에서의 최소 물살 강도 또는 복수의 세탁 그룹들 내에서, 최소 물살 강도를 나타낼 수 있다.
Figure PCTKR2019004573-appb-I000021
는 세탁 제어 변수들의 최대 값 내에서, 최적 값을 찾도록 제약 조건을 부여하는 최대 제약 함수이다.
Figure PCTKR2019004573-appb-I000022
는 세탁 제어 변수들의 최소 값 내에서, 최적 값을 찾도록 제약 조건을 부여하는 최소 제약 함수이다.
위에서 설명된 로스 함수만을 이용할 경우, 세탁 제어 변수들의 최적 값을 찾아가는 과정에서, 최적 값이, 적용 불가능한 결과 값으로, 얻어질 수 있기 때문에, 목적 함수가 이용됨에 따라 세탁 코스 제어 변수들의 값에 대한 범위가 제한될 수 있다.
결정된 세탁 제어 변수들의 값은 세탁물 처리 기기(300)에 투입된 세탁물의 최적 세탁 코스를 수행하는데 사용될 수 있다.
한편,
Figure PCTKR2019004573-appb-I000023
Figure PCTKR2019004573-appb-I000024
보다 큰 상황이 발생 시, 다음의 [수학식 3]으로 목적 함수가 대체될 수 있다.
[수학식 3]
Figure PCTKR2019004573-appb-I000025
[수학식 3]은
Figure PCTKR2019004573-appb-I000026
Figure PCTKR2019004573-appb-I000027
보다 큰 상황이 발생 시, 이들의 평균 값에 근사하도록, 그 값을 제한하는 제약 조건을 부여하기 위한 또 다른 목적함수로, 상기 최대 제약 함수 및 상기 최소 제약 함수를 포함하는 [수학식 2] 대신 사용될 수 있다.
도 15는 본 발명의 실시 예에 따라 세탁물 인코딩 데이터에 세탁 코스 학습 모델을 적용하여, 최적 세탁 코스를 위한 세탁 제어 변수들의 값들을 획득하는 과정을 설명하는 도면이다.
도 15를 참조하면, 프로세서(180)는 단계 S403에서 생성된 세탁물 인코딩 데이터에 기초하여, 하나 이상의 세탁물 그룹들을 결정한다(S1501).
프로세서(180)는 도 9에 도시된 세탁물 인코딩 데이터(900)에 포함된 소재 혼용율을 이용하여, 세탁물이 속한 세탁물 그룹을 결정할 수 있다.
또 다른 실시 예에서, 복수의 세탁물들이, 세탁물 처리 장치(300)에 투입되는 경우, 프로세서(180)는 복수의 세탁물들 각각의 세탁물 인코딩 데이터를 획득할 수 있다.
프로세서(180)는 복수의 세탁물들 각각에 대응하는 세탁물 인코딩 데이터에 기초하여, 복수의 세탁물들 각각이 속한 세탁물 그룹을 결정할 수 있다.
프로세서(180)는 결정된 하나 이상의 세탁물 그룹에 대응하는 세탁 제어 변수들의 값을 획득한다(S1403).
프로세서(180)는 단계 S1007을 통해 각 세탁물 그룹에 대응하는 최적 가중치 세트를 결정할 수 있다.
프로세서(180)는 결정된 세탁물 그룹의 특성 값들 및 결정된 최적 가중치 값들을, [수학식 2]로 표현된 목적 함수에 적용하여, 목적 함수의 값이, 최소가 되는 세탁 제어 변수들의 값들을 획득할 수 있다.
일 실시 예에서, 복수의 세탁물들이 복수의 세탁 그룹들로 분류된 경우, 프로세서(180)는 복수의 세탁물 그룹들에 대응하는 특성 값 세트들 및 가중치 세트들을 목적 함수에 적용하여, 목적 함수의 값이 최소가 되는 세탁 제어 변수들의 값들을 획득할 수 있다.
프로세서(180)는 획득된 세탁 제어 변수들의 값들을 포함하는 세탁 제어 명령을 세탁 모듈(311)에 전송한다(S1405).
세탁 모듈(311)은 프로세서(180)로부터 수신된 세탁 제어 명령에 따라 세탁 제어 변수들의 값들이 적용된 세탁을 수행할 수 있다.
다시, 도 4를 설명한다.
세탁물 처리 장치(300)의 프로세서(180)는 결정된 세탁 제어 변수들의 값들에 따른 세탁 코스로, 세탁을 수행한다(S407).
이에 대해서는, 도 16을 참조하여 설명한다.
도 16은 본 발명의 일 실시 예에 따라, 세탁물들을 세탁물 처리 장치(300)에 투입 시, 자동으로, 최적의 세탁 코스를 추천해 주는 시나리오를 설명하는 도면이다.
도 16을 참조하면, 복수의 세탁물들(1600)이 세탁물 처리 장치(300)에 투입될 수 있다.
세탁물 처리 장치(300)는 세탁물 처리 장치(300)에 구비된 카메라(미도시)를 통해 세탁물의 태그를 인식하여, 세탁물 정보를 획득할 수 있다.
세탁물 처리 장치(300)는 세탁물 정보를 세탁물 인코딩 데이터로 변환하고, 변환된 세탁물 인코딩 데이터에 세탁 코스 학습 모델을 적용하여, 최적의 세탁 코스를 제공할 수 있다.
세탁물 처리 장치(300)는 세탁물 인코딩 데이터를 입력 데이터로, 미리 학습된 가중치 세트를 이용하여, 최적의 세탁 코스에 대응하는 세탁 제어 변수들의 값들을 획득할 수 있다.
세탁물 처리 장치(300)는 획득된 세탁 제어 변수들의 값들에 맞는 세탁 코스로, 복수의 세탁물들(1600)을 세탁하도록 세탁 모듈(311)을 제어할 수 있다.
예를 들어, 복수의 세탁물들(1600)이 모두 그룹 A(도 12의 제1 세탁 그룹, 1210)에 속하는 경우, 세탁물 처리 장치(300)는 세탁 시간을 13분으로, 헹굼 횟수를 3회로, 탈수 횟수를 4회로, 세탁 수온을 냉수로, 물살 강도를 중으로 설정하는 세탁 코스를 획득할 수 있다.
또 다른 예로, 복수의 세탁물들(1600)이 모두 그룹 B(도 12의 제2 세탁 그룹, 1230)에 속하는 경우, 세탁물 처리 장치(300)는 세탁 시간을 9분으로, 헹굼 횟수를 2회로, 탈수 횟수를 3회로, 세탁 수온을 온수로, 물살 강도를 강으로 하는 세탁 코스를 설계할 수 있다.
복수의 세탁물들(1600)이 그룹 A 또는 그룹 B에 속하는 경우, 세탁물 처리 장치(300)는 세탁 시간을 11분으로, 헹굼 횟수를 3회로, 탈수 횟수를 3회로, 세탁 수온을 냉수로, 물살 강도를 중으로 하는 세탁 코스를 설계할 수 있다.
이에 따라, 사용자는 소재가 다른 복수의 세탁물들에 대해, 태그를 인식시키는 행위 만으로, 복수의 세탁물들의 손상도가 최소화되고, 세척력이 최대화되는 세탁 결과를 얻을 수 있다.
도 17은 본 발명의 일 실시 예에 따른 최적 세탁 코스 제공을 위한 사용자 시나리오를 설명하는 도면이다.
도 17을 참조하면, 세탁물 처리 장치(300)는 인공 세탁 버튼(399)을 구비할 수 있다.
인공 세탁 버튼(399)은 복수의 세탁물들을 세탁물 처리 장치(300)에 투입 시, 자동으로, 최적의 세탁 코스를 추천해주는 버튼일 수 있다.
복수의 세탁물들이 세탁물 처리 장치(300)에 투입되고, 인공 세탁 버튼(399)이 선택된 경우, 세탁물 처리 장치(300)는 세탁물들의 소재를 분석하는 소재 분석 화면(1710)을 표시할 수 있다.
세탁물 처리 장치(300)는 세탁물 정보를 인코딩 데이터로 변환하고, 변환된 인코딩 데이터를 이용하여, 세탁물의 소재를 결정할 수 있다.
세탁물 처리 장치(300)는 소재 분석 화면(1710)에 대한 정보를 이동 단말기(100)에 전송할 수 있다. 이 경우, 소재 분석 화면(1710)은 사용자의 이동 단말기(100) 상에 표시될 수도 있다.
만약, 서로 다른 세탁 그룹의 소재들이 검출된 경우, 세탁물 처리 장치(300)는 서로 다른 세탁 그룹의 소재들이 검출되었고, 따로 또는 함께 세탁을 수행할 것인지를 알리는 알림 메시지(1720)를 표시할 수 있다.
알림 메시지(1720)는 음향 출력부(152)를 통해서도 출력될 수 있다.
알림 메시지(1720)는 이동 단말기(100)에 전송되어, 이동 단말기(100) 상에서 표시될 수 있다.
세탁물 처리 장치(300)는 서로 다른 세탁 그룹의 세탁물들을 함께 세탁을 수행하도록 하는 입력을 수신한 경우, 세탁물 인코딩 데이터에 기반하여, 세탁 제어 변수들의 값들을 결정할 수 있다.
세탁물 처리 장치(300)는 결정된 세탁 제어 변수들의 값들에 맞는 세탁 코스를 진행함을 알리는 진행 메시지(1730)를 표시할 수 있다.
진행 메시지(1730)는 음향 출력부(152)를 통해 출력되거나, 이동 단말기(100)로 전송되어, 이동 단말기(100) 상에 표시될 수도 있다.
한편, 세탁물 처리 장치(300)는 세탁물의 소재 분석 결과, 물 세탁이 불가능하거나, 드라이 크리닝을 반드시 해야 하는 소재의 세탁물이 검출된 경우, 세탁물이 불가능함을 알리는 경고 메시지(1750)를 출력할 수 있다.
경고 메시지(1750)는 음향 출력부(152)를 통해 출력되거나, 이동 단말기(100)로 전송되어, 이동 단말기(100) 상에 표시될 수 있다.
사용자는 경고 메시지(1750)를 통해 세탁물에 대한 올바른 세탁 방법을 가이드 받을 수 있다.
도 18은 본 발명의 또 다른 실시 예에 따른 세탁물 처리 장치의 동작 방법을 설명하기 위한 흐름도이다.
세탁물 처리 장치(300)의 프로세서(180)는 주변에 위치한 복수의 외부 세탁물 처리 장치들을 감지한다(S1801).
프로세서(180)는 근거리 통신 모듈(114)을 통해, 주변에 위치한 복수의 외부 세탁물 처리 장치들의 존재 여부를 감지할 수 있다.
프로세서(180)는 자신으로부터 일정 거리 내에 위치한 외부 세탁물 처리 장치들을 감지할 수 있다.
프로세서(180)는 근거리 통신 모듈(114)을 통해, 기기의 식별 정보를 요청하는 요청 신호를 브로드캐스팅 방식으로 외부에 전송할 수 있고, 전송된 요청 신호에 응답하여, 식별 정보를 포함하는 응답 신호를 수신할 수 있다.
프로세서(180)는 수신된 응답 신호에 포함된 식별 정보를 통해, 주변에 위치한 외부 세탁물 처리 장치를 인식할 수 있다. 식별 정보는 기기의 모델명, 기기의 명칭 중 하나 이상을 포함할 수 있다.
프로세서(180)는 감지된 복수의 외부 세탁물 처리 장치들 각각의 특성 정보를 획득한다(S1803).
외부 세탁물 처리 장치의 특성 정보는 용량, 삶음 기능 가능 여부, 스팀 기능 가능 여부, 소량 세탁 가능 여부, 세척력, 평균 손상도, 소비 전력 중 하나 이상을 포함할 수 있다.
외부 세탁물 처리 장치의 세척력 및 평균 손상도는 기기 개발 시, 실험을 통해 얻을 수 있는 통계 값들을 기반으로 얻어진 것일 수 있다.
특히, 평균 손상도는 상대적인 값일 수 있다.
프로세서(180)는 감지된 외부 세탁물 처리 장치의 모델명을 이용하여, 외부 세탁물 처리 기기의 특성 정보를 획득할 수 있다.
프로세서(180)는 외부 세탁물 처리 장치의 모델명을 클라우드 서버에 전송하고, 클라우드 서버로부터 외부 세탁물 처리 장치의 특성 정보를 수신할 수 있다.
이에 대해서는, 도 19를 참조하여 설명한다.
도 19는 본 발명의 일 실시 예에 따라 세탁물 처리 장치가 외부 세탁물 처리 기기의 특성 정보를 획득하는 과정을 설명하는 도면이다.
세탁물 처리 장치(300)는 일정 거리 내에 위치한 외부 세탁물 처리 장치들(300-1 내지 300-3)의 존재를 감지할 수 있다.
세탁물 처리 장치(300)는 사용자의 요청에 따라 다른 외부 세탁물 처리 장치들(300-1 내지 300-3)을 관리하는 매니저 역할을 수행할 수 있다.
매니저 역할은 주변의 외부 세탁물 처리 장치를 감지하고, 감지된 외부 세탁물 처리 장치의 식별 정보를 수집하는 역할일 수 있다. 또한, 매니저 역할은 세탁물에 대응하는 세탁물 정보를 수집하고, 세탁물을 세탁할 세탁물 처리 장치를 결정하는 역할을 수행할 수 있다.
세탁물 처리 장치(300)는 외부 세탁물 처리 장치들(300-1 내지 300-3) 각각으로부터, 모델명을 수신할 수 있다.
세탁물 처리 장치(300)는 수신된 모델명들을 포함하는 특성 정보 요청을 무선 인터넷 모듈(113)을 통해 클라우드 서버(1900)에 전송할 수 있다.
클라우드 서버(1900)는 세탁물 처리 장치(300)로부터 수신된 특성 정보 요청에 따라 각 모델명에 대응하는 특성 정보를 추출할 수 있다.
클라우드 서버(1900)는 세탁물 처리 장치들 각각에 대응하는 특성 정보를 저장하고 있을 수 있다.
세탁물 처리 장치(300)는 클라우드 서버(1900)로부터 외부 세탁물 처리 장치들(300-1 내지 300-3) 각각의 특성 정보를 수신할 수 있다.
클라우드 서버(1900)는 도 1에 도시된 학습 장치(1000)일 수 있으나, 이는 예시에 불과하고, 학습 장치(1000)와 별개의 장치일 수 있다.
한편, 또 다른 예로, 세탁물 처리 장치(300)는 복수의 외부 세탁물 처리 장치들 각각의 특성 정보를 모델명과 대응시켜, 메모리(170)에 저장하고 있을 수 있다. 이 경우, 세탁물 처리 장치(300)는 수신된 외부 세탁물 처리 장치의 모델명을 클라우드 서버(1900)에 전송할 필요 없이, 메모리(170)를 검색하여, 해당 외부 세탁물 처리 장치의 특성 정보를 획득할 수 있다.
한편, 제1 내지 제3 외부 세탁물 처리 장치들(300-1 내지 300-3) 각각은 도 3에 도시된 구성 요소들을 모두 포함할 수 있다.
도 20은 본 발명의 일 실시 예에 따른 외부 세탁물 처리 장치들의 특성 정보를 포함하는 도면이다.
도 20을 참조하면, 세탁물 처리 장치(300)가 수집된 외부 세탁물 처리 장치들 각각의 특성 정보가 도시되어 있다.
삶음 기능의 경우, X / O / △와 같이, 3개로 구분될 수 있다.
X는 삶음 기능이 불가능하고, O는 삶음 기능이 가능하며, △는 세탁물의 종류에 따라 삶음 기능이 선택적으로 가능함을 나타낼 수 있다.
스팀 기능의 경우, X / O 와 같이, 2개로 구분될 수 있다.
X는 스팀 기능이 불가능하고, O는 스팀 기능이 가능함을 나타낼 수 있다.
소량 세탁 기능의 경우, X / O 와 같이, 2개로 구분될 수 있다.
X는 소량 세탁 기능이 불가능하고, O는 소량 세탁 기능이 가능함을 나타낼 수 있다. 여기서, 소량은 기 설정된 세탁물의 무게를 나타낼 수 있다.
세척력은 0에서 5까지의 값을 가질 수 있다. 세척력은 세탁물의 세척 정도를 나타내며, 상대적인 값일 수 있다.
평균 손상도는 0에서 5까지의 값을 가질 수 있다. 평균 손상도는 세탁물의 세탁 시, 세탁물이 손상되는 평균적인 값을 나타내며, 이 또한, 상대적인 값을 수 있다.
소비 전력은 각 외부 세탁물 처리 장치가 소비하는 전력을 나타낸다.
다시, 도 18을 설명한다.
그 후, 프로세서(180)는 세탁물에 대한 정보를 포함하는 세탁물 정보를 획득한다(S1805).
세탁물 정보는 세탁물의 소재 혼용율, 세탁 취급 주의 사항, 세탁물의 색상 중 하나 이상을 포함할 수 있다.
프로세서(180)는 카메라(121)를 통해 세탁물에 부착된 태그 이미지를 촬영할 수 있고, 촬영된 태그 이미지로부터, 세탁물 정보를 획득할 수 있다.
구체적으로, 프로세서(180)는 태그 이미지에 포함된 텍스트 또는 세탁물 취급 이미지를 인식하여, 세탁물 정보를 획득할 수 있다. 이에 대해서는, 도 5에 설명된 내용과 같다.
또 다른 예로, 세탁물에 NFC 태그 또는 RFID 태그가 부착된 경우, 프로세서(180)는 자체적으로 구비된, NFC 리더기, RFID 리더기를 통해 해당 태그를 인식하여, 세탁물 정보를 획득할 수도 있다.
한편, 프로세서(180)는 획득된 세탁 정보에 기반하여, 세탁물의 세탁 그룹을 결정할 수 있다.
세탁물의 세탁 그룹을 결정하는 과정은 도 11 및 도 12의 실시 예가 이용될 수 있다.
프로세서(180)는 매칭 룰 모델에 기반하여 , 복수의 외부 세탁물 처리 장치들 중 획득된 세탁물 정보에 상응하는 세탁물 처리 장치를 결정한다(S1807).
일 실시 예에서, 매칭 룰 모델은 세탁물 그룹과 세탁물 그룹에 가장 적합한 세탁물 처리 장치를 매칭시킨 모델일 수 있다.
매칭 룰 모델은 세탁물 그룹의 특성 정보와 외부 세탁물 처리 장치의 특성 정보를 이용하여, 세탁물의 세탁을 수행할 어느 하나의 외부 세탁물 처리 장치를 매칭(또는 결정)하는 모델일 수 있다.
구체적으로, 매칭 룰 모델은 세탁물 그룹의 특성 요소들과 외부 세탁물 처리 장치의 특성 요소들 간의 매칭 결과에 따라, 스코어를 계산하여, 세탁물의 세탁을 수행할 외부 세탁물 처리 장치를 결정하는 모델일 수 있다.
매칭 룰 모델은 학습 장치(1000)로부터 수신되어, 메모리(170)에 저장될 수 있다.
또 다른 예로, 매칭 룰 모델은 세탁물 처리 장치(300)의 러닝 프로세서(130) 또는 프로세서(180)에 의해 얻어진 모델일 수 있다.
도 21은 본 발명의 일 실시 예에 따라 매칭 룰 모델을 이용하여, 외부 세탁물 처리 장치를 결정하는 과정을 설명하기 위한 흐름도이다.
도 21에서는 세탁물 처리 장치(300)가 매칭 룰 모델을 획득하는 것을 예로 들어 설명하나, 이에 한정될 필요는 없고, 학습 장치(1000)가 매칭 룰 모델을 획득하고, 세탁물 처리 장치(300)가 학습 장치(1000)로부터, 매칭 룰 모델을 수신한 것일 수 있다.
프로세서(180)는 세탁물 그룹의 특성 요소들 각각과 연관된 외부 세탁물 처리 장치들의 특성 요소들 각각을 비교한다(S2101).
일 실시 예에서, 세탁물 그룹은 도 11 및 도 12의 실시 예에 따라 결정된 그룹일 수 있다.
세탁물 그룹의 특성 요소들은 세탁 그룹의 특성 값에 따라 추출된 요소들일 수 있다.
세탁물 그룹의 특성 요소들의 값은 세탁물 그룹의 특성 값을 인코딩한 값일 수 있다.
이에 대해서는 도 22 및 도 23을 참조하여 설명한다.
도 22는 본 발명의 일 실시 예에 따라 세탁물 그룹 및 세탁물 그룹의 특성 값들의 예를 보여주는 도면이고, 도 23은 본 발명의 일 실시 예에 따라 세탁물 그룹의 특성 값을 가공한 세탁물 그룹의 특성 요소들의 인코딩 값들의 예를 설명하는 도면이다.
도 22를 참조하면, 복수의 메인 소재들을 포함하는 하나의 세탁물 그룹(2210)이 도시되어 있다. 세탁물은 세탁물을 구성하는 메인 소재에 따라 세탁 그룹이 결정될 수 있다.
또한, 세탁물 그룹(2210)은 물세탁이 가능하며, 삶음이 가능한 것으로 분류된 그룹일 수 있다.
세탁물 그룹(2210)의 특성 값 테이블(2230)은 최장 세탁 시간이 17분, 최소 세탁 시간이 15분, 최대 헹굼 횟수가 3회, 최소 헹굼 횟수가 3회, 최대 탈수 강도 및 최소 탈수 강도가 강함, 최고 적정 수온이 온 최저 적정 수온이 온, 최고 물상 강도가 강함, 최소 물살 강도가 강함을 나타내고 있다.
프로세서(180)는 세탁물 그룹(2210)의 분류 특성 및 특성 값 테이블(2230)을 이용하여, 세탁물 그룹(2210)의 특성 요소들 및 각 특성 요소의 인코딩 값을 획득할 수 있다.
세탁물 그룹(2210)의 분류 특성은 물 세탁 및 삶음이 가능한 특성일 수 있다.
세탁물 그룹(2210)의 특성 요소들은 삶음 가능, 스팀 가능, 세탁물 수, 평균 손상도, 평균 세탁 시간, 평균 헹굼 횟수, 평균 탈수 강도를 포함할 수 있다.
프로세서(180)는 세탁물 그룹(2210)이 삶음 세탁이 가능한 경우, 2로, 삶음 세탁이 경우에 따른 경우, 1로, 삶음 세탁이 불가능한 경우, 0으로 각각 인코딩 값을 부여할 수 있다.
프로세서(180)는 세탁물 그룹(2210)이 스팀 세탁이 가능한 경우, 1로, 스팀 세탁이 불가능한 경우, 0으로, 각각 인코딩 값을 부여할 수 있다.
프로세서(180)는 세탁물 그룹(2210)에 속한 세탁물의 개수를 인코딩 값으로 부여할 수 있다.
프로세서(180)는 세탁물 그룹(2210)에 속한 세탁물들(메인 소재들) 각각의 손상도를 평균하여, 얻어진 값을 평균 손상도의 인코딩 값으로 부여할 수 있다.
프로세서(180)는 특성 값 테이블(2230)의 최장 세탁 시간 및 최소 세탁 시간의 평균 값을 평균 세탁 시간의 인코딩 값으로 부여할 수 있다.
프로세서(180)는 특성 값 테이블(2230)의 최대 헹굼 횟수 및 최소 헹굼 횟수 간의 평균 값을 평균 헹굼 횟수의 인코딩 값으로 부여할 수 있다.
프로세서(180)는 특성 값 테이블(2230)의 최대 탈수 강도 및 최소 탈수 강도의 평균 값을 평균 탈수 강도의 인코딩 값으로 부여할 수 있다.
도 23을 참조하면, 세탁물 그룹(2210)의 특성 요소들 각각에 대해 인코딩된 값을 도시한 막대 그래프(2300)가 도시되어 있다.
막대 그래프(2300)를 참조하면, 삶음 세척 가능의 인코딩 값은 2이고, 스팀 세척 가능의 인코딩 값은 1이고, 세탁물 수의 인코딩 값은 5이고, 평균 손상도의 인코딩 값은 5이고, 평균 세탁 시간의 인코딩 값은 17이고, 평균 헹굼 시간의 인코딩 값은 3임을 보여준다.
도 24는 본 발명의 일 실시 예에 따라 외부 세탁물 처리 장치의 특성 요소들을 인코딩한 값들을 포함하는 그래프를 설명하는 도면이다.
도 24를 참조하면, 드럼 세탁기의 특성 요소들에 대한 인코딩 값들을 보여주는 막대 그래프(2400)가 도시되어 있다.
드럼 세탁기의 특성 요소들은 삶음 세탁 가능 여부, 스팀 세탁 가능 여부, 소량 세탁 기능, 드럼 세탁기가 세탁물에 평균적으로 가하는 평균 손상도, 세척력을 포함할 수 있다.
드럼 세탁기의 삶음 세탁의 가능 여부에 대한 인코딩 값은 2이고, 스팀 세탁의 가능 여부에 대한 인코딩 값은 1이고, 소량 세탁 가능 여부에 대한 인코딩 값은 1이고, 드럼 세탁기가 세탁물에 평균적으로 가하는 평균 손상도의 인코딩 값은 3이고, 세척력의 인코딩 값은 3일 수 있다.
다시, 도 21을 설명한다.
프로세서(180)는 비교 결과에 따라 각 특성 요소에 대응하는 스코어를 할당한다(S2103).
프로세서(180)는 세탁물 그룹(2210)의 특성 요소들의 인코딩 값과 드럼 세탁기의 특성 요소들의 인코딩 값들을 비교할 수 있다.
이에 대해서는, 도 25를 참조하여 설명한다.
도 25는 본 발명의 일 실시 예에 따른 매칭 룰 모델의 일 예를 설명하는 도면이다.
매칭 룰 모델(2500)은 세탁물 그룹(2210)의 특성 요소들 각각과 대응하는 드럼 세탁기의 특성 요소들 각각을 비교하여, 스코어를 할당하고, 스코어의 합산 결과를 출력하는 모델일 수 있다.
프로세서(180)는 세탁물 그룹(2210)의 특성 요소들 각각을 연관되는 드럼 세탁기의 특성 요소들 각각에 매칭시켜, 비교할 수 있다.
각 대응되는 특성 요소의 인코딩 값의 범위는 미리 정해져 있을 수 있다. 예를 들어, 삶음 세탁 가능 여부의 인코딩 값의 범위는 0 내지 2 사이의 값일 수 있다.
스팀 세탁 가능 여부에 대한 인코딩 값의 범위는 0 내지 1 사이의 값일 수 있다.
세탁물 수에 대한 인코딩 값의 범위는 0 내지 15 사이의 값일 수 있다.
평균 손상도의 인코딩 값의 범위는 0 내지 5 사이의 값일 수 있다.
세척력의 인코딩 값의 범위는 0 내지 5 사이의 값일 수 있다.
프로세서(180)는 세탁물 그룹의 삶음 세탁 가능 여부에 대한 인코딩 값(2)과 드럼 세탁기의 삶음 세탁 가능 여부에 대한 인코딩 값(2)을 비교할 수 있다.
프로세서(180)는 인코딩 값의 차이에 기반하여, 스코어를 할당할 수 있다.
예를 들어, 삶음 세탁 가능 여부, 스팀 세탁 가능 여부는 인코딩 값이 일치하는 경우, 큰 스코어가 부여될 수 있다.
또 다른 예로, 세탁물 그룹(2210)에 포함된 세탁물 수의 인코딩 값이 기 설정된 값 이하이고, 세탁물 처리 장치의 소량 세탁 가능 여부의 인코딩 값이 1인 경우, 큰 스코어가 부여될 수 있다.
또 다른 예로, 세탁물 그룹(2210)의 평균 손상도의 인코딩 값이 클수록, 평균 손상도의 인코딩 값이 작은 세탁물 처리 장치에 큰 스코어가 할당될 수 있다.
또 다른 예로, 세탁물 그룹(2210)의 평균 세탁 시간 및 평균 헹굼 시간의 인코딩 값들이 클수록, 세척력의 인코딩 값이 큰 세탁물 처리 기기에, 큰 스코어가 할당될 수 있다.
도 25의 매칭 룰 모델(2500)을 참조하면, 세탁물 그룹(2210)의 특성 요소들의 인코딩 값들과 이에 매칭되는 세탁물 처리 장치의 특성 요소들 간의 인코딩 값들에 따라, 할당된 스코어들이 도시되어 있다.
도 25는 세탁물 그룹(2210)과 드럼 세탁기 간의 매칭에 따른 각 특성 요소별 할당된 스코어를 보여준다.
다시, 도 21을 설명한다.
프로세서(180)는 할당된 스코어를 합산하고(S2105), 합산 결과가 가장 큰 외부 세탁물 처리 장치를 세탁물의 세탁을 수행할 기기로 결정한다(S2107).
프로세서(180)는 세탁물 그룹(2210)에 대해, 복수의 외부 세탁물 처리 장치들 각각과 도 25에 따른 매칭을 수행할 수 있다.
물론, 프로세서(180)는 세탁물 그룹에 대해 자신과도, 도 25에 따른 매칭을 수행할 수 있다.
프로세서(180)는 세탁물 처리 장치(300) 및 감지된 복수의 외부 세탁물 처리 장치들 중, 스코어가 가장 높은 외부 세탁물 처리 장치를 세탁물의 세탁을 수행할 기기로 결정할 수 있다.
도 26은 본 발명의 일 실시 예에 따라, 복수의 외부 세탁물 처리 장치들 각각에 대한 스코어 합산 결과를 나타내는 도면이다.
즉, 세탁물 처리 장치(300)는 주변에서 감지된 제1 내지 제3 외부 세탁물 처리 장치들(300-1 내지 300-3) 각각에 대해, 매칭 룰 모델에 기반하여, 스코어를 산출할 수 있다.
도 26을 참조하면, 제1 외부 세탁물 처리 장치(300-1)의 합산 스코어는 34점이고, 제2 외부 세탁물 처리 장치(300-2)의 합산 스코어는 41점이고, 제3 외부 세탁물 처리 장치(300-3)의 합산 스코어는 29점이다.
프로세서(180)는 합산 스코어가 가장 큰 제2 외부 세탁물 처리 장치(300-2)를 세탁물의 세탁을 수행할 가장 적합한 기기로 결정할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 세탁물의 세탁할 최적의 세탁물 처리 장치가 선정됨에 따라, 세탁물의 손상도가 최소화되면서, 세척력이 극대화될 수 있다.
사용자는 세탁물을 세탁할 세탁물 처리 장치를 선정할 필요 없이, 자동으로, 세탁물 처리 장치가 선정되므로, 편의성이 향상될 수 있다.
다시, 도 18을 설명한다.
프로세서(180)는 결정된 외부 세탁물 처리 장치에 세탁물 정보를 전송한다(S1809).
프로세서(180)는 근거리 통신 모듈(114)을 통해 세탁을 수행하기로 결정된 외부 세탁물 처리 장치로, 세탁물 정보를 전송할 수 있다.
전송된 세탁물 정보는 추후, 최적의 세탁 코스를 결정하기 위해 사용될 수 있다.
해당 외부 세탁물 처리 장치는 도 4의 실시 예에 따라 세탁물 정보를 이용하여, 세탁 제어 변수들의 값들을 결정하고, 결정된 세탁 제어 변수들의 값들에 따른 세탁 코스로, 세탁물의 세탁을 수행할 수 있다.
한편, 도 18 및 도 21의 각 단계는 세탁물 처리 장치(300)가 수행하는 것으로 기재하였으나, 이에 한정될 필요는 없고, 단말기(100)가 수행할 수도 있다.
즉, 단말기(100)는 주변의 세탁물 처리 장치들을 감지하고, 감지된 세탁물 처리 장치들의 식별 정보를 획득할 수 있다.
단말기(100)는 획득된 식별 정보를 이용하여, 감지된 세탁물 처리 장치의 특성 정보를 획득할 수 있고, 획득된 특성 정보 및 세탁물 정보에 기반하여, 세탁물을 세탁할 최적의 세탁물 처리 장치를 결정할 수 있다.
한편, 단말기(100)는 인공 지능 기기로 명명될 수도 있다.
도 27은 본 발명의 실시 예에 따라 복수의 세탁물 그룹들 각각이 어느 하나의 외부 세탁물 처리 기기에 매핑된 예를 도시한 도면이다.
각 세탁물 그룹은 복수의 세탁물들을 포함하고 있다.
세탁물 처리 장치(300)는 매칭 롤 모델에 기반하여, 각 세탁물 그룹에 매칭되는 외부 세탁물 처리 장치를 결정할 수 있다.
예를 들어, 세탁물 처리 장치(300)는 세탁물 그룹 A(2710)를 제1 외부 세탁물 처리 장치(300-1)에 매칭시킬 수 있다.
세탁물 처리 장치(300)는 세탁물 그룹 B(2730)를 제2 외부 세탁물 처리 장치(300-2)에 매칭시킬 수 있다.
세탁물 처리 장치(300)는 세탁물 그룹 C(2750)를 제3 외부 세탁물 처리 장치(300-3)에 매칭시킬 수 있다.
도 28은 본 발명의 일 실시 예에 따라 세탁물 처리 장치가 각 세탁물 그룹에 대해 세탁을 수행할 세탁물 처리 장치에 대한 정보를 출력하는 예를 설명하는 도면이다.
세탁물 처리 장치(300)는 세탁 처리 정보(2800)를 출력부(150)를 통해 출력할 수 있다.
예를 들어, 세탁물 처리 장치(300)가 디스플레이부(151)를 구비하는 경우, 디스플레이부(151)를 통해, 세탁 처리 정보(2800)를 표시할 수 있다.
세탁물 처리 장치(300)가 음향 출력부(152)를 구비하는 경우, 세탁 처리 정보(2800)를 음성으로, 출력할 수 있다.
세탁 처리 정보(2800)는 복수의 세탁물 그룹들 각각에 포함된 세탁물의 메인 소재 및 메인 소재의 개수, 삶음 세탁 가능 여부, 스팀 세탁 가능 여부, 이염 가능성이 높은 색상의 세탁물 개수를 포함할 수 있다.
세탁 처리 정보(2800)는 세탁물 그룹을 어느 외부 세탁물 처리 장치에 넣을지를 가이드하는 가이드 정보도 더 포함할 수 있다.
가이드 정보는 사용자의 지정이 필요한 옵션(삶음 코스 기능 추가 여부, 스팀 기능 추가 여부 등)들을 더 포함할 수 있다.
이와 같이, 본 발명의 실시 예에 따른 세탁물 처리 장치는 복수의 세탁물들이 하나의 세탁물 그룹을 형성하는 경우, 해당 세탁물 그룹에 적합한 세탁물 처리 장치를 추천해 줄 수 있다.
이에 따라, 해당 세탁물들이, 최적의 세탁 상황에서 세탁될 수 있다.
도 29는 본 발명의 실시 예에 따른 세탁 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 29를 참조하면, 세탁 시스템은 단말기(100), 학습 장치(1000), 세탁물 처리 기기(300)를 포함할 수 있다.
먼저, 단말기(100)의 프로세서(180)는 카메라(121)를 통해 세탁물 등록 이미지 및 세탁 라벨 이미지를 획득한다(S2901).
세탁물 등록 이미지는 사용자의 세탁물을 등록 하기 위해, 카메라(121)를 통해 촬영된 세탁물의 이미지일 수 있다.
세탁 라벨 이미지는 세탁물에 대한 정보를 담고 있는 이미지로, 세탁물에 부착된 태그를 나타내는 이미지일 수 있다.
도 30은 본 발명의 실시 예에 따라 단말기를 통해 세탁물 및 태그를 촬영하는 예를 설명하는 도면이다.
도 30을 참조하면, 사용자는 단말기(100)의 카메라(121)를 통해, 세탁물(3010) 및 세탁물(3010)에 부착된 태그(3030)를 촬영할 수 있다.
태그(3030)는 섬유의 조성(3031), 세탁물(3010)의 취급 주의 사항을 나타내는 세탁물 취급 이미지들(3033) 및 취급 주의 사항을 나타내는 텍스트(3035)를 포함할 수 있다.
단말기(100)를 통해 촬영된 세탁물(3010)의 세탁물 등록 이미지 및 태그(3030)의 세탁 라벨 이미지는 매칭되어, 학습 장치(1000)에 전송될 수 있다.
한편, 사용자는 하나의 세탁물(3010)을 단말기(100)의 카메라(121)를 통해 복수 회 촬영할 수 있다. 복수 회 촬영된 세탁물 등록 이미지들은 후술할, 옷감 인식 모델의 훈련 데이터로 사용될 수 있다.
다시, 도 29를 설명한다.
단말기(100)의 프로세서(180)는 무선 통신부(110)를 통해 획득된 세탁물 등록 이미지 및 세탁 라벨 이미지를 학습 장치(1000)에 전송한다(S2903).
프로세서(180)는 이동통신 모듈(112) 또는 무선 인터넷 모듈(113) 또는 근거리 통신 모듈(114)을 통해, 세탁물 등록 이미지 및 세탁 라벨 이미지를 학습 장치(1000)에 전송할 수 있다.
학습 장치(1000)의 프로세서(1020)는 단말기(100)로부터 수신된 세탁물 등록 이미지로부터, 옷감 데이터를 획득한다(S2905).
옷감 데이터는 세탁물 등록 이미지에 상응하는 세탁물의 컬러, 소재(fabric), 디자인 패턴 중 하나 이상을 포함할 수 있다.
여기서, 세탁물의 소재는 세탁물의 섬유 조성을 나타낼 수 있고, 세탁물의 패턴은 세탁물의 디자인 패턴을 나타낼 수 있다.
학습 장치(1000)의 프로세서(1020)는 기 저장된 옷감 인식 모델을 이용하여, 옷감 데이터를 추출할 수 있다.
옷감 인식 모델은 세탁물 이미지 데이터에 포함된 세탁물을 인식하기 위한 모델일 수 있다.
옷감 인식 모델은 세탁물 이미지 데이터로부터, 옷감 데이터를 추출하기 위한 모델일 수 있다.
옷감 인식 모델은 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여, 학습된 인식 모델일 수 있다.
옷감 인식 모델은 인공 신경망으로 구성될 수 있다.
프로세서(1020)는 학습용 세탁물 이미지 데이터 및 학습용 세탁물 이미지 데이터에 라벨링된 옷감 데이터 이용하여, 지도 학습을 통해, 옷감 인식 모델을 학습시킬 수 있다.
프로세서(1020)는 세탁물 이미지 데이터에 대한 추론 결과인 옷감 데이터와 라벨링된 옷감 데이터 간의 차이에 상응하는 손실 함수가 최소가 되도록 옷감 인식 모델을 학습시킬 수 있다.
프로세서(1020)는 학습용 세탁물 이미지 데이터로부터 입력 특징 벡터를 추출할 수 있다. 입력 특징 벡터가 옷감 인식 모델에 입력되면, 옷감 데이터에 대한 추론 결과가 대상 특징 벡터로 출력될 수 있다.
프로세서(1020)는 출력된 옷감 데이터 및 라벨링된 옷감 데이터의 차이에 상응하는 손실 함수의 값이 최소화되도록 세탁물 인식 모델을 학습시킬 수 있다.
도 31은 본 발명의 실시 예에 따라 세탁물 이미지 데이터 및 옷감 인식 모델을 이용하여, 세탁물의 옷감 데이터를 획득하는 과정을 설명하는 도면이다.
도 31에서, 옷감 인식 모델(3100)은 인공 신경망으로 구성됨을 가정하여 설명한다.
옷감 인식 모델(3100)은 세탁물 이미지 데이터를 입력 데이터로, 옷감 데이터를 출력 데이터로 하여, 세탁물 이미지 데이터 및 옷감 데이터 간의 관계가 학습된 모델일 수 있다.
옷감 인식 모델(3100)은 세탁물 처리 기기(300)의 메모리(170)에 저장될 수도 있다.
다시, 도 29를 설명한다.
학습 장치(1000)의 프로세서(1020)는 단말기(100)로부터 수신된 세탁 라벨 이미지로부터 세탁 라벨 데이터를 획득한다(S2907).
프로세서(1020)는 텍스트 인식 기법 또는 이미지 인식 기법을 이용하여, 세탁 라벨 이미지로부터, 세탁 라벨 데이터를 획득할 수 있다.
구체적으로, 프로세서(1020)는 도 30에 도시된, 광학 문자 인식(Optical Character Recognition, OCR) 기법을 이용하여, 태그(3030)에 포함된 텍스트를 인식할 수 있다.
즉, 프로세서(102)는 태그(3030)를 포함하는 세탁 라벨 이미지로부터 섬유의 조성, 취급 주의 사항을 나타내는 텍스트를 인식하고, 인식된 텍스트를 세탁 라벨 데이터로 획득할 수 있다.
프로세서(1020)는 공지의 이미지 인식 알고리즘을 이용하여, 태그(3030)를 포함하는 세탁 라벨 이미지로부터 세탁물 취급 이미지들(3033)을 인식하고, 인식된 세탁물 취급 이미지(3033)들을 세탁 라벨 데이터로 획득할 수 있다.
도 32는 본 발명의 실시 예에 따라 획득된 옷감 데이터 및 세탁 라벨 데이터의 예시를 보여주는 도면이다.
도 32를 참조하면, 후술할 세탁물 인식 모델에 입력되는 트레이닝 셋(3200)이 도시되어 있다.
트레이닝 셋(3200)은 세탁물 등록 이미지(3010)로부터 획득된 옷감 데이터(3210) 및 세탁 라벨 이미지로부터 획득된 세탁 라벨 데이터(3230)을 포함할 수 있다.
트레이닝 셋(3200)은 세탁물 정보를 식별하기 위한 세탁물 인식 모델에 입력되어, 세탁물 인식 모델의 학습에 사용될 수 있다.
다시, 도 29를 설명한다.
학습 장치(1000)의 프로세서(1020) 또는, 인공 신경망(1030)은 세탁 라벨 데이터를 레이블로 하여, 옷감 데이터와 세탁 라벨 데이터 간의 관계를 학습한다(S2909).
옷감 데이터와 세탁 라벨 데이터 간의 관계를 학습하는 것은 세탁물 인식 모델을 학습하는 것을 의미할 수 있다.
프로세서(1020)는 훈련 데이터인 옷감 데이터에, 세탁 라벨 데이터를 레이블링하여, 세탁물 인식 모델을 학습시킬 수 있다. 세탁물 인식 모델은 세탁물의 세탁물 정보를 식별하기 위한 모델일 수 있다.
세탁물 정보는 세탁물의 세탁 시, 주의해야 하는 사항을 포함할 수 있다.
세탁물 정보는 세탁물의 색상, 세탁물의 소재 혼용율을 더 포함할 수 있다.
훈련 데이터인 옷감 데이터 및 이에 대응하는 세탁 라벨 데이터는 하나의 트레이닝 셋을 구성할 수 있다.
트레이닝 셋은 세탁물 인식 모델에 입력될 수 있다.
세탁물 인식 모델은 옷감 데이터와 세탁 라벨 데이터를 이용하여, 옷감 데이터와 세탁 라벨 데이터 간의 연관 관계를 유추할 수 있다.
구체적으로, 세탁물 인식 모델은 옷감 데이터와 세탁 라벨 데이터의 연관 관계에 대한 함수를 유추할 수 있다.
세탁물 인식 모델의 손실 함수는 각 옷감 데이터에 상응하는 세탁 라벨 데이터와 각 옷감 데이터로부터 추론된 세탁물 데이터 간의 차이의 제곱 평균으로 표현될 수 있다.
세탁물 인식 모델은 손실 함수의 값이 최소가 되도록 모델 파라미터들이 결정될 수 있다.
학습 장치(1000)의 프로세서(1020) 또는, 인공 신경망(1030)은 학습 결과에 기초하여, 학습된 세탁물 인식 모델을 생성한다(S2911).
세탁물 인식 모델은 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습된 인공 신경망 모델일 수 있다.
세탁물 인식 모델은 학습용 옷감 데이터 및 학습용 옷감 데이터에 라벨링된 세탁물 라벨 데이터를 이용하여, 지도 학습된 모델일 수 있다.
학습 장치(1000)의 프로세서(1020)는 학습용 옷감 데이터로부터 입력 특징 벡터를 추출할 수 있다. 입력 특징 벡터가 세탁물 인식 모델에 입력되면, 세탁물 라벨 데이터에 대한 추론 결과가 대상 특징 벡터로 출력될 수 있다.
프로세서(1020)는 출력된 세탁물 라벨 데이터 및 라벨링된 세탁물 라벨 데이터의 차이에 상응하는 손실 함수의 값이 최소화되도록 세탁물 인식 모델을 학습시킬 수 있다.
세탁물 인식 모델은 세탁물 처리 기기(300)를 사용하는 사용자 마다 개별적으로 학습화된 개인화된 모델일 수도 있다.
즉, 세탁물 인식 모델은 댁 내 위치하는 세탁물 처리 기기 마다 따로, 학습되어, 생성될 수 있다.
학습 장치(1000)의 프로세서(1020)는 무선 통신부( 미도시 )를 통해, 생성된 세탁물 인식 모델을 세탁물 처리 기기(300)에 전송한다(S2913).
세탁물 처리 기기(300)는 학습 장치(1000)로부터 수신된 세탁물 인식 모델을 메모리(170)에 저장할 수 있다.
세탁물 인식 모델이 업데이트되는 경우, 세탁물 처리 기기(300)는 업데이트된 세탁물 인식 모델을 학습 장치(1000)로부터 수신할 수 있다.
세탁물 처리 기기(300)는 내부에 구비된 카메라(121)를 통해 세탁물에 대한 세탁물 이미지를 획득한다(S2915).
세탁물 처리 기기(300)의 프로세서(180)는 획득된 세탁물 이미지를 입력 데이터로, 세탁물 인식 모델을 이용하여, 세탁물 정보를 획득한다(S2917).
세탁물 처리 기기(300)의 프로세서(180)는 메모리(170)에 저장된 옷감 인식 모델 및 세탁물 이미지의 이미지 데이터를 이용하여, 옷감 데이터를 획득할 수 있다.
즉, 프로세서(180)는 옷감 인식 모델에, 이미지 데이터를 입력하여, 추론된 옷감 데이터를 획득할 수 있다.
프로세서(180)는 획득된 옷감 데이터 및 세탁물 인식 모델을 이용하여, 세탁물 정보를 획득할 수 있다. 즉, 프로세서(180)는 세탁물 인식 모델에, 옷감 데이터를 입력하여, 출력 결과로서, 세탁물 정보를 획득할 수 있다.
세탁물 정보는 세탁물의 소재, 세탁물의 취급 주의 사항을 포함할 수 있다.
그 후, 세탁물 처리 기기(300)의 프로세서(180)는 도 4의 S403 내지 S407의 단계들을 순차적으로 수행한다(S2919).
즉, 프로세서(180)는 획득된 세탁물 정보를 기 저장된 베이스 라인 정보와 매칭하여, 세탁물 인코딩 데이터를 생성할 수 있다.
프로세서(180)는 생성된 세탁물 인코딩 데이터에 기초하여, 세탁 제어 변수들의 값들을 결정할 수 있다.
프로세서(180)는 결정된 세탁 제어 변수들의 값들에 따른 세탁 코스로, 세탁을 수행할 수 있다. 이에 따라, 세탁물 처리 기기(300)는 최적의 세탁 코스로, 세탁물을 세탁할 수 있다.
도 33은 본 발명의 실시 예에 따른 세탁물을 세탁물 처리 기기에 투입할 시, 수행되는 시나리오를 설명하는 도면이다.
사용자는 세탁물(3310)을 세탁물 처리 기기(300)에 투입한다.
세탁물 처리 기기(300)의 내부에 구비된 카메라(121)는 세탁물(3310)을 촬영할 수 있다.
세탁물 처리 기기(300)는 촬영된 세탁물 이미지에 기초하여, 세탁 정보(3330)를 획득할 수 있다.
구체적으로, 세탁물 처리 기기(300)는 옷감 인식 모델을 이용하여, 세탁물 이미지로부터, 옷감 데이터를 획득할 수 있다.
세탁물 처리 기기(300)는 세탁물 인식 모델을 이용하여, 옷감 데이터로부터 세탁물 정보(3330)를 획득할 수 있다.
세탁물 정보(3330)는 세탁물(3310)의 소재, 적정 세탁 온도, 세탁 방법 등을 포함할 수 있다.
그 후, 세탁물 처리 기기(300)는 획득된 세탁물 정보에 기초하여, 최적의 세탁 코스를 결정하고, 결정된 세탁 코스로, 세탁물을 처리할 수 있다.
이와 같이, 세탁물 처리 기기(300)에 세탁물이 투입될 시, 별도로 세탁물에 부착된 세탁 라벨(또는 태그)를 촬영할 필요 없으므로, 사용자의 편의성이 크게 향상될 수 있다.
즉, 본 발명의 실시 예에 따르면, 세탁물에 세탁 라벨이 제거되거나, 세탁 라벨에 새겨진 텍스트나 이미지가 지워진 경우에도, 세탁물 정보가 자동으로 획득되므로, 세탁 라벨에 구애 받지 않는다.
도 34 및 도 35는 세탁물 처리 기기의 세탁통 내에, 세탁 취급이 다른 세탁물들이 투입된 경우, 세탁물 처리 기기가 사용자의 단말기에, 알림을 전송하는 시나리오를 설명하는 도면이다.
도 34를 참조하면, 세탁물 처리 기기(300)는 제1 세탁물(3410) 및 제2 세탁물(3430)이 투입되었음을 가정한다.
세탁물 처리 기기(300)는 카메라를 통해 제1 세탁물(3410) 및 제2 세탁물(3430)을 촬영할 수 있다.
세탁물 처리 기기(300)는 촬영된 제1 세탁물(3410)의 이미지에 기초하여, 제1 세탁물 정보를 획득하고, 촬영된 제2 세탁물(3430)의 이미지에 기초하여, 제2 세탁물 정보를 획득할 수 있다.
세탁물 처리 기기(300)는 제1 세탁물 정보를 및 제2 세탁물 정보를 비교하여, 제1 세탁물(3410)과 제2 세탁물(3430)이 함께 세탁이 가능한 세탁물들인지를 결정할 수 있다.
예를 들어, 제1 세탁물(3410)의 소재가 면이고, 제2 세탁물(3430)의 소재가 울이고, 동일한 세탁 코스로 세탁이 수행될 경우, 제2 세탁물(3430)의 손상도가 큰 경우, 세탁물 처리 기기(300)는 제1 세탁물(3410) 및 제2 세탁물(3430)이 동시에, 세탁이 불가하다는 알림을 단말기(100)에 전송할 수 있다.
단말기(100)는 도 35에 도시된 바와 같이, 세탁물 처리 기기(300)로부터 수신된 알림에 따라 울과 면은 함께 세탁될 수 없음을 나타내는 메시지(3510)을 디스플레이부(151) 상에 표시할 수 있다.
사용자는 수신된 메시지(3510)를 통해, 제1 세탁물(3410)과 제2 세탁물(3430)이 동시에 세탁될 수 없음을 인지할 수 있다. 이에 따라, 복수의 세탁물들이 세탁물 처리 기기(300)에 투입 시, 올바른 세탁 방법이 사용자에게 가이드될 수 있다. 즉, 메시지 알림에 따라, 동시에, 세탁이 되면 안되는 세탁물들이, 세탁되는 상황이 미연에 방지될 수 있다.
본 발명의 또 다른 실시 예에 따르면, 세탁물 처리 기기(300)의 프로세서(180)는 제1 세탁물(3410)과 제2 세탁물(3430)이 동시 세탁이 불가능함을 알리는 알림을 음향 출력부(152) 또는 디스플레이부(151)를 통해 출력할 수도 있다.
도 36은 본 발명의 또 다른 실시 예에 따른 세탁 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
특히, 도 36은 도 29와 비교하여, 세탁물 처리 기기(300)가 세탁물 인식 모델을 직접 생성하는 실시 예이다.
이하의 각 단계에서, 도 29와 중복되는 자세한 설명은 도 29의 설명으로 대체한다.
단말기(100)의 프로세서(180)는 카메라(121)를 통해 세탁물 등록 이미지 및 세탁 라벨 이미지를 획득한다(S3601).
단말기(100)의 프로세서(180)는 무선 통신부(110)를 통해 획득된 세탁물 등록 이미지 및 세탁 라벨 이미지를 세탁물 처리 기기(300)에 전송한다(S3603).
세탁물 처리 기기(300)의 프로세서(180)는 단말기(100)로부터 수신된 세탁물 등록 이미지로부터, 옷감 데이터를 획득한다(S3605).
세탁물 처리 기기(300)의 프로세서(180)는 단말기(100)로부터 수신된 세탁 라벨 이미지로부터 세탁 라벨 데이터를 획득한다(S3607).
세탁물 처리 기기(300)의 프로세서(180) 또는, 러닝 프로세서(130)은 세탁 라벨 데이터를 레이블로 하여, 옷감 데이터와 세탁 라벨 데이터 간의 관계를 학습한다(S3609).
세탁물 처리 기기(300)의 프로세서(180) 또는, 러닝 프로세서(130)은 학습 결과에 기초하여, 학습된 세탁물 인식 모델을 생성한다(S3611).
세탁물 처리 기기(300)의 프로세서(180)는 내부에 구비된 카메라(121)를 통해 세탁물에 대한 세탁물 이미지를 획득한다(S3613).
세탁물 처리 기기(300)의 프로세서(180)는 획득된 세탁물 이미지를 입력 데이터로, 세탁물 인식 모델을 이용하여, 세탁물 정보를 획득한다(S3615).
그 후, 세탁물 처리 기기(300)의 프로세서(180)는 도 4의 S403 내지 S407의 단계들을 순차적으로 수행한다.
이와 같이, 본 발명의 실시 예에 따르면, 세탁물 처리 기기(300)는 자체적으로 학습한 세탁물 인식 모델을 이용하여, 세탁 모듈(311)에 투입된 세탁물의 정보를 자동으로 획득할 수 있다.
세탁물 처리 기기(300)는 획득된 세탁물의 정보에 기반하여, 최적의 세탁 코스로 세탁물을 처리할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 프로세서(180)를 포함할 수도 있다.

Claims (15)

  1. 인공 지능 세탁물 처리 기기에 있어서,
    세탁 모듈;
    세탁물의 이미지를 획득하는 카메라;
    머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습되고, 상기 세탁물의 세탁물 정보를 인식하기 위한 세탁물 인식 모델을 저장하는 메모리; 및
    상기 획득된 이미지에 대한 이미지 데이터 및 상기 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는 프로세서를 포함하는
    인공 지능 세탁물 처리 기기.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 이미지 데이터로부터 상기 세탁물의 옷감을 식별하는 옷감 데이터를 추출하고, 상기 추출된 옷감 데이터 및 상기 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는
    인공 지능 세탁물 처리 기기.
  3. 제1항에 있어서,
    상기 프로세서는
    상기 세탁 모듈에 제1 세탁물 및 제2 세탁물이 투입된 경우, 상기 제1 세탁물의 제1 이미지 데이터, 상기 제2 세탁물의 제2 이미지 데이터 및 상기 세탁물 인식 모델에 기반하여, 상기 제1 세탁물에 대응하는 제1 세탁물 정보 및 상기 제2 세탁물에 대응하는 제2 세탁물 정보를 획득하고,
    상기 제1 세탁물 정보 및 상기 제2 세탁물 정보에 기반하여, 동시 세탁이 불가능하다고 판단한 경우, 이를 알리는 알림을 출력하는
    인공 지능 세탁물 처리 기기.
  4. 제3항에 있어서,
    음향 출력부 또는 디스플레이부를 더 포함하고,
    상기 프로세서는
    상기 동시 세탁이 불가능함을 알리는 알림을 상기 음향 출력부를 통해 음성으로 출력하거나, 상기 디스플레이부를 통해 표시하는
    인공 지능 세탁물 처리 기기.
  5. 제3항에 있어서,
    무선 통신부를 더 포함하고,
    상기 알림을 출력하는 사용자의 단말기에 전송하는
    인공 지능 세탁물 처리 기기.
  6. 제2항에 있어서,
    상기 세탁물 정보는
    상기 세탁물의 소재 혼용율, 상기 세탁물의 취급 주의 사항, 적정 세탁 온도 중 하나 이상을 포함하는
    인공 지능 세탁물 처리 기기.
  7. 제2항에 있어서,
    상기 세탁물 인식 모델은
    머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습된 인공 신경망 모델이고, 외부 인공 신경망의 학습 장치 또는 상기 인공 신경망의 학습을 수행하는 상기 세탁물 처리 기기에 포함된 러닝 프로세서를 통해 학습되는
    인공 지능 세탁물 처리 기기.
  8. 제7항에 있어서,
    상기 세탁물 인식 모델은
    학습용 옷감 데이터 및 상기 학습용 옷감 데이터에 라벨링된 세탁물 라벨 데이터를 이용하여, 지도 학습된 모델인
    인공 지능 세탁물 처리 기기.
  9. 제1항에 있어서,
    상기 프로세서는
    머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습된 세탁 코스 학습 모델에 기초하여, 상기 획득된 세탁물 정보에 맞는 세탁 제어 변수들의 값들을 획득하고,
    상기 세탁 제어 변수들은
    세탁 시간 변수, 헹굼 횟수 변수, 탈수 횟수 변수, 세탁 수온 변수 및 물살 강도 변수를 포함하는
    인공 지능 세탁물 처리 기기.
  10. 제9항에 있어서,
    상기 프로세서는
    상기 세탁 제어 변수들의 값들에 대응하는 세탁 코스로, 세탁을 수행하도록 상기 세탁 모듈을 제어하는
    인공 지능 세탁물 처리 기기.
  11. 인공 지능 세탁물 처리 기기의 동작 방법에 있어서,
    세탁물의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 데이터로부터 상기 세탁물의 옷감을 식별하는 옷감 데이터를 추출하는 단계; 및
    상기 추출된 옷감 데이터 및 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습되고, 상기 세탁물의 세탁물 정보를 인식하기 위한 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는 단계를 포함하는
    인공 지능 세탁물 처리 기기의 동작 방법.
  12. 제11항에 있어서,
    상기 세탁 모듈에 제1 세탁물 및 제2 세탁물이 투입된 경우, 상기 제1 세탁물의 제1 이미지 데이터, 상기 제2 세탁물의 제2 이미지 데이터 및 상기 세탁물 인식 모델에 기반하여, 상기 제1 세탁물에 대응하는 제1 세탁물 정보 및 상기 제2 세탁물에 대응하는 제2 세탁물 정보를 획득하는 단계; 및
    상기 제1 세탁물 정보 및 상기 제2 세탁물 정보에 기반하여, 동시 세탁이 불가능하다고 판단한 경우, 이를 알리는 알림을 출력하는 단계를 더 포함하는
    인공 지능 세탁물 처리 기기의 동작 방법.
  13. 제11항에 있어서,
    상기 세탁물 정보는
    상기 세탁물의 소재 혼용율, 상기 세탁물의 취급 주의 사항, 적정 세탁 온도 중 하나 이상을 포함하는
    인공 지능 세탁물 처리 기기의 동작 방법.
  14. 제11항에 있어서,
    상기 세탁물 인식 모델은
    학습용 옷감 데이터 및 상기 학습용 옷감 데이터에 라벨링된 세탁물 라벨 데이터를 이용하여, 지도 학습된 모델이고, 외부 인공 신경망의 학습 장치 또는 상기 인공 신경망의 학습을 수행하는 상기 세탁물 처리 기기에 포함된 러닝 프로세서를 통해 학습되는
    인공 지능 세탁물 처리 기기의 동작 방법.
  15. 인공 지능 세탁물 처리 기기의 동작 방법을 수행하기 위한 프로그램이 기록된 기록 매체에 있어서,
    상기 동작 방법은
    세탁물의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 데이터로부터 상기 세탁물의 옷감을 식별하는 옷감 데이터를 추출하는 단계; 및
    상기 추출된 옷감 데이터 및 머신 러닝 또는 딥 러닝 알고리즘을 이용하여, 학습되고, 상기 세탁물의 세탁물 정보를 인식하기 위한 세탁물 인식 모델을 이용하여, 상기 세탁물 정보를 획득하는 단계를 포함하는
    기록 매체.
PCT/KR2019/004573 2019-04-16 2019-04-16 인공 지능 세탁물 처리 기기 및 그의 동작 방법 WO2020213751A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/497,778 US11692293B2 (en) 2019-04-16 2019-04-16 AI-based laundry treatment apparatus and operation method thereof
EP19925285.9A EP3957791A4 (en) 2019-04-16 2019-04-16 ARTIFICIAL INTELLIGENCE LAUNDRY HANDLING DEVICE AND METHOD OF OPERATION
PCT/KR2019/004573 WO2020213751A1 (ko) 2019-04-16 2019-04-16 인공 지능 세탁물 처리 기기 및 그의 동작 방법
KR1020190089569A KR20190094297A (ko) 2019-04-16 2019-07-24 인공 지능 세탁물 처리 기기 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/004573 WO2020213751A1 (ko) 2019-04-16 2019-04-16 인공 지능 세탁물 처리 기기 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020213751A1 true WO2020213751A1 (ko) 2020-10-22

Family

ID=67624602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004573 WO2020213751A1 (ko) 2019-04-16 2019-04-16 인공 지능 세탁물 처리 기기 및 그의 동작 방법

Country Status (4)

Country Link
US (1) US11692293B2 (ko)
EP (1) EP3957791A4 (ko)
KR (1) KR20190094297A (ko)
WO (1) WO2020213751A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113417107A (zh) * 2021-06-30 2021-09-21 青岛海尔科技有限公司 洗涤模式的确定方法及系统、存储介质、电子装置
WO2023279932A1 (zh) * 2021-07-05 2023-01-12 重庆海尔洗衣机有限公司 衣物处理设备的控制方法
EP4239116A4 (en) * 2021-01-21 2024-04-24 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273033B1 (ko) * 2019-08-21 2021-07-06 엘지전자 주식회사 인공지능 기반의 세제량 조절 방법 및 그 장치
US20220396907A1 (en) * 2019-11-18 2022-12-15 Electrolux Appliances Aktiebolag A laundry treating appliance having a vapor and/or mist and/or aerosol generator
KR20210092071A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US20210272259A1 (en) * 2020-03-01 2021-09-02 Polytex Technologies Ltd. Smart textile items dispensing and return systems
CN113622144B (zh) * 2020-05-07 2023-11-07 云米互联科技(广东)有限公司 洗衣控制方法、系统、洗衣机及计算机可读存储介质
AU2021278071A1 (en) 2020-05-29 2022-12-22 Ecolab Usa Inc. Automated cleaning machine processing using shortened cycle times
CN113818191B (zh) * 2020-06-19 2023-11-14 青岛海尔洗衣机有限公司 基于图像识别的洗涤控制方法、装置、设备及存储介质
CN113774627B (zh) * 2021-08-30 2022-08-12 珠海格力电器股份有限公司 洗衣机控制方法、装置、设备及存储介质
CN114214812A (zh) * 2021-12-16 2022-03-22 海信(山东)冰箱有限公司 基于洗衣机的排水控制方法、洗衣机和可读存储介质
CN114040118B (zh) * 2021-12-24 2022-10-28 珠海格力电器股份有限公司 衣物处理方法、装置、电子设备及计算机可读存储介质
KR20230119498A (ko) * 2022-02-07 2023-08-16 엘지전자 주식회사 세탁 코스를 가이드하는 방법 및 장치
WO2024071816A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 라벨 이미지를 처리하는 방법, 전자 장치 및 기록매체
CN117273769A (zh) * 2023-08-15 2023-12-22 青岛美瑞泰洗涤服务科技有限公司 一种衣物数据收集分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142327A (ja) * 2008-12-17 2010-07-01 Panasonic Corp 洗濯機
KR20140073197A (ko) * 2012-12-06 2014-06-16 삼성전기주식회사 이미지 인식을 이용한 세탁기 및 그 구동방법
CN107893309A (zh) * 2017-10-31 2018-04-10 珠海格力电器股份有限公司 洗涤方法及装置、洗衣方法及装置
US20180165486A1 (en) * 2016-12-12 2018-06-14 Filip Bajovic Electronic care and content clothing label
KR20190029676A (ko) * 2016-07-15 2019-03-20 헨켈 아게 운트 코. 카게아아 구조 정보에 의해 직물의 처리 파라미터를 확인하기 위한 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130044764A (ko) 2011-10-24 2013-05-03 엘지전자 주식회사 세탁기 및 세탁기 제어 시스템
KR101631542B1 (ko) * 2012-03-19 2016-06-20 삼성전자 주식회사 세탁기 및 그 제어 방법
US10975509B2 (en) * 2016-11-23 2021-04-13 Motorola Mobility Llc RFID-tagged textile article cleaning
DE102017209857A1 (de) 2017-06-12 2018-12-13 Henkel Ag & Co. Kgaa Erkennung einer Verunreinigung und/oder einer Eigenschaft zumindest eines Teils einer Textilie
US10612175B2 (en) * 2017-09-28 2020-04-07 Midea Group Co., Ltd. Automatic color composition detection for laundry washing machine
US10563338B2 (en) * 2017-12-04 2020-02-18 Midea Group Co., Ltd. Personalized laundry appliance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142327A (ja) * 2008-12-17 2010-07-01 Panasonic Corp 洗濯機
KR20140073197A (ko) * 2012-12-06 2014-06-16 삼성전기주식회사 이미지 인식을 이용한 세탁기 및 그 구동방법
KR20190029676A (ko) * 2016-07-15 2019-03-20 헨켈 아게 운트 코. 카게아아 구조 정보에 의해 직물의 처리 파라미터를 확인하기 위한 방법
US20180165486A1 (en) * 2016-12-12 2018-06-14 Filip Bajovic Electronic care and content clothing label
CN107893309A (zh) * 2017-10-31 2018-04-10 珠海格力电器股份有限公司 洗涤方法及装置、洗衣方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3957791A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4239116A4 (en) * 2021-01-21 2024-04-24 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR
CN113417107A (zh) * 2021-06-30 2021-09-21 青岛海尔科技有限公司 洗涤模式的确定方法及系统、存储介质、电子装置
CN113417107B (zh) * 2021-06-30 2024-03-22 青岛海尔科技有限公司 洗涤模式的确定方法及系统、存储介质、电子装置
WO2023279932A1 (zh) * 2021-07-05 2023-01-12 重庆海尔洗衣机有限公司 衣物处理设备的控制方法

Also Published As

Publication number Publication date
US20210324561A1 (en) 2021-10-21
KR20190094297A (ko) 2019-08-13
EP3957791A1 (en) 2022-02-23
US11692293B2 (en) 2023-07-04
EP3957791A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
WO2020213751A1 (ko) 인공 지능 세탁물 처리 기기 및 그의 동작 방법
WO2020184735A1 (ko) 인공 지능 기기 및 그의 동작 방법
WO2020138523A1 (ko) 세탁물 처리 장치 및 그의 세탁 코스 결정 방법
WO2020130177A1 (ko) 세탁 스케줄링 장치 및 그 방법
WO2020122294A1 (ko) 세탁기
WO2020204221A1 (ko) 공기 조화기
WO2020218632A1 (ko) 인공지능 장치
WO2020138624A1 (en) Apparatus for noise canceling and method for the same
WO2020213750A1 (ko) 객체를 인식하는 인공 지능 장치 및 그 방법
WO2018088794A2 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
WO2018199543A1 (ko) 의류처리장치와 의류처리장치의 제어방법 및 상기 의류처리장치를 포함하는 온라인 시스템
WO2020130180A1 (ko) 세탁물 처리 기기 및 그의 동작 방법
WO2019139461A2 (ko) 식기 세척기와 통신하는 서버
WO2017111234A1 (en) Method for electronic device to control object and electronic device
WO2018038553A1 (ko) 이동 로봇 및 그 제어방법
WO2020138564A1 (ko) 전자 장치
WO2020213758A1 (ko) 음성으로 상호작용하는 인공 지능 장치 및 그 방법
WO2020122293A1 (ko) 세탁 스케쥴링 장치
WO2019151846A2 (ko) 공기 청정기
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2018084576A1 (en) Electronic device and controlling method thereof
WO2019027240A1 (en) ELECTRONIC DEVICE AND METHOD FOR PROVIDING A RESEARCH RESULT THEREOF
WO2019151845A2 (ko) 에어컨
WO2021137345A1 (ko) 인공 지능 냉장고 및 그의 동작 방법
WO2021006405A1 (ko) 인공지능 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925285

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019925285

Country of ref document: EP

Effective date: 20211116