WO2020122293A1 - 세탁 스케쥴링 장치 - Google Patents

세탁 스케쥴링 장치 Download PDF

Info

Publication number
WO2020122293A1
WO2020122293A1 PCT/KR2018/015955 KR2018015955W WO2020122293A1 WO 2020122293 A1 WO2020122293 A1 WO 2020122293A1 KR 2018015955 W KR2018015955 W KR 2018015955W WO 2020122293 A1 WO2020122293 A1 WO 2020122293A1
Authority
WO
WIPO (PCT)
Prior art keywords
laundry
washing
processor
word
information
Prior art date
Application number
PCT/KR2018/015955
Other languages
English (en)
French (fr)
Inventor
이태호
김재홍
김효은
정한길
한종우
이도영
전혜정
최다미
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2018/015955 priority Critical patent/WO2020122293A1/ko
Priority to KR1020217011766A priority patent/KR20210092197A/ko
Priority to US16/600,294 priority patent/US11227596B2/en
Priority to EP19211999.8A priority patent/EP3667549B1/en
Priority to CN201911282458.XA priority patent/CN111325349B/zh
Publication of WO2020122293A1 publication Critical patent/WO2020122293A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04—Signal transfer or data transmission arrangements
    • D06F34/05—Signal transfer or data transmission arrangements for wireless communication between components, e.g. for remote monitoring or control
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00—Control of operations performed in washing machines or washer-dryers 
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a laundry scheduling device that extracts various characteristics of a plurality of laundry from a user's utterance and schedules washing of the plurality of laundry according to the acquired characteristics.
  • Artificial intelligence is a field of computer science and information technology that studies how computers can do thinking, learning, and self-development that human intelligence can do. It means to be able to imitate.
  • the characteristics of laundry are very diverse, and the washing method may vary according to the characteristics of laundry.
  • underwear is fragile, so a washing method that can minimize it is required, and in the case of a shirt, a washing method that minimizes wrinkles is required, and white clothes are washed with white clothes without mixing with other colored clothes. Washing method is required.
  • the present invention is to solve the above-described problem, the object of the present invention, extracting various characteristics of each of a plurality of laundry from the user's utterance, and a laundry scheduling device for scheduling the washing of a plurality of laundry according to the obtained characteristics Is to provide.
  • the laundry scheduling apparatus includes: an input unit that receives a voice including a plurality of words each representing a plurality of laundry items from a user; and inputs voice data corresponding to the received voice into a learning model. And a processor that acquires one or more characteristics indicated by each of the plurality of words by embedding the words, and schedules a washing schedule of the plurality of laundry based on one or more characteristics indicated by each of the plurality of words.
  • the present invention has an advantage of accurately acquiring characteristics required in a washing apparatus from various expressions representing laundry.
  • the present invention has the advantage that it is possible to schedule the washing schedule so that the optimum washing can be performed in various washing devices using the identified characteristics.
  • FIG. 1 is a view for explaining a laundry scheduling system according to an embodiment of the present invention.
  • FIG. 2A is a block diagram illustrating a laundry scheduling apparatus according to an embodiment of the present invention.
  • FIG. 2B is a view for explaining a voice system according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining an operation method of a laundry scheduling device according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a training method of a learning model installed in the laundry scheduling device.
  • FIG. 6 is a diagram for explaining a method of word embedding a plurality of words included in a voice according to an embodiment of the present invention.
  • FIG. 7 illustrates a vector space according to a word-to-vector (Word2Vec) technique according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a method of obtaining laundry information suitable for laundry, according to an embodiment of the present invention.
  • FIG. 9 is a view for explaining a laundry scheduling method according to an embodiment of the present invention.
  • 10 is a view for explaining a method of outputting a scheduled washing schedule.
  • FIG. 11 is a view for explaining a method of providing laundry service in a laundry scheduling system according to an embodiment of the present invention.
  • FIG. 12 is a view for explaining an operation method when adding some laundry according to an embodiment of the present invention.
  • components may be subdivided for convenience of description, but these components may be implemented in one device or module, or one component may be divided into multiple devices or modules. Can also be implemented.
  • AI artificial intelligence
  • AI Artificial intelligence
  • Machine learning is a field of artificial intelligence that is a research field that gives computers the ability to learn without explicit programming.
  • machine learning can be said to be a technology that studies and builds systems and algorithms for learning and performing predictions based on empirical data and improving one's own performance. Rather than performing strictly defined static program instructions, machine learning algorithms take the form of building a specific model to make predictions or decisions based on input data.
  • machine learning' can be used interchangeably with the term'machine learning'.
  • Decision trees are an analysis method that performs classification and prediction by charting decision rules in a tree structure.
  • Bayesian network is a model that expresses the probabilistic relationship (conditional independence) between multiple variables in a graph structure. Bayesian networks are suitable for data mining through unsupervised learning.
  • the support vector machine is a model of supervised learning for pattern recognition and data analysis, and is mainly used for classification and regression analysis.
  • An artificial neural network is a model of a biological neuron's operation principle and a connection relationship between neurons.
  • a number of neurons, called nodes or processing elements, are connected in the form of a layer structure. It is an information processing system.
  • ANN Artificial Neural Network
  • an artificial neural network may mean an overall model having a problem-solving ability by changing the strength of synaptic binding through artificial neurons (nodes) forming a network through synaptic combination.
  • ANN Artificial Neural Network
  • An artificial neural network may include a plurality of layers, and each of the layers may include a plurality of neurons. Also, an artificial neural network (ANN) may include a neuron and a synapse connecting a neuron.
  • ANNs Artificial Neural Networks
  • the pattern of connections between neurons in different layers (2) the process of updating the weight of connections (3) the previous layer ( layer) can be defined by an activation function that takes a weighted sum of the input and generates an output value.
  • ANN Artificial Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BPDNN Bidirectional Recurrent Deep Neural Network
  • MLP Multilayer Perceptron
  • CNN Convolutional Neural Network
  • Network models may be included, but are not limited thereto.
  • ANNs Artificial neural networks are divided into single layer neural networks and multi layer neural networks according to the number of layers.
  • General single layer neural networks are composed of an input layer and an output layer.
  • general multi-layer neural networks are composed of an input layer, a hidden layer, and an output layer.
  • the input layer is a layer that accepts external data
  • the number of neurons in the input layer is the same as the number of input variables
  • the hidden layer is located between the input layer and the output layer and receives signals from the input layer. Take and extract the characteristics and transfer them to the output layer.
  • the output layer receives a signal from the hidden layer and outputs it to the outside.
  • the input signal between neurons is multiplied and multiplied by each connection strength having a value between 0 and 1, and when this sum is greater than the threshold value of the neuron, the neuron is activated and implemented as an output value through an activation function.
  • a deep neural network including a plurality of hidden layers between an input layer and an output layer is deep learning, which is a type of machine learning technology. It may be a representative artificial neural network that implements (deep learning).
  • deep learning may be used interchangeably with the term “deep learning”.
  • ANNs Artificial neural networks
  • training refers to parameters of an artificial neural network (ANN) using training data in order to achieve purposes such as classification, regression, or clustering of input data. It can mean the process of determining (parameter).
  • ANN artificial neural network
  • ANN artificial neural network
  • ANN artificial neural network
  • the artificial neural network learned by the training data may classify or cluster input data according to a pattern of the input data.
  • an artificial neural network trained using training data may be referred to as a trained model in this specification.
  • the artificial neural network (ANN) learning method can be largely classified into supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning. have.
  • Supervised learning is a method of machine learning to infer a function from training data.
  • outputting a continuous value is called regression, and predicting and outputting a class of an input vector can be called classification.
  • ANN artificial neural network
  • the label means a correct answer (or a result value) that an artificial neural network (ANN) should infer when training data is input to an artificial neural network (ANN). Can be.
  • a correct answer (or a result value) that an artificial neural network (ANN) should infer is called a label or labeling data.
  • labeling training data for training of an artificial neural network ANN
  • labeling data for training data labeling
  • training data and a label corresponding to the training data constitute one training set, and in the form of a training set for an artificial neural network (ANN). Can be entered.
  • ANN artificial neural network
  • the training data indicates a plurality of features
  • the labeling of the training data means that the features indicated by the training data are labeled. can do.
  • the training data may represent the characteristics of the input object in vector form.
  • An artificial neural network may infer a function for an association relationship between training data and labeling data using training data and labeling data. Also, an artificial neural network (ANN) can determine (optimize) the parameters of an artificial neural network (ANN) through evaluation of an inferred function.
  • Unsupervised learning is a type of machine learning, and is not given a label for training data.
  • unsupervised learning may be a learning method of training an artificial neural network to find and classify patterns in training data itself, rather than an association relationship between training data and labels corresponding to training data.
  • unsupervised learning examples include clustering or independent component analysis.
  • Examples of artificial neural networks using unsupervised learning include a generative adversarial network (GAN) and an autoencoder (AE).
  • GAN generative adversarial network
  • AE autoencoder
  • a generative adversarial network is a machine learning method that improves performance by competing between two different AIs, a generator and a discriminator.
  • the generator is a model for creating new data, and new data can be generated based on the original data.
  • a discriminator is a model that recognizes a pattern of data, and may serve to discriminate whether or not the new data generated by the generator is based on the original data.
  • the generator can learn by receiving the data that did not deceive the discriminator (discriminator), and the discriminator (discriminator) can receive the deceived data from the generator (generator). Accordingly, the generator may evolve to deceive the discriminator as best as possible, and may evolve to discriminate the discriminator original data from the data generated by the generator.
  • Autoencoder is a neural network that aims to reproduce the input itself as an output.
  • Autoencoder includes an input layer, a hidden layer, and an output layer, and input data passes through the input layer and enters the hidden layer.
  • data output from the hidden layer enters the output layer.
  • the dimension of the data is increased, and accordingly decompression or decoding is performed.
  • the autoencoder adjusts the connection strength of neurons through learning, so that input data is represented as hidden layer data.
  • information is expressed in fewer neurons than the input layer.
  • the input data can be reproduced as output, which may mean that the hidden layer has found and expressed a hidden pattern from the input data.
  • Semi-supervised learning is a type of machine learning, and may mean a learning method using a mode of training data with a label and training data without a label.
  • Reinforcement learning is the theory that if given an environment where agents can judge what to do every moment, they can find the best way through experience without data.
  • Reinforcement learning may be performed mainly by a Markov Decision Process (MDP).
  • MDP Markov Decision Process
  • MDP Markov Decision Process
  • FIG. 1 is a view for explaining a laundry scheduling system according to an embodiment of the present invention.
  • the laundry scheduling system may include a laundry scheduling device 100 and one or more laundry devices 200, 300, and 400.
  • the laundry device may mean a laundry treatment device having a function of managing laundry, such as water washing, dry cleaning, ironing, dust removal, drying, and sterilization.
  • the plurality of washing devices may be classified into various types according to driving methods and functions.
  • the laundry device may include at least one of a washing machine, a clothing manager (throm styler, air dresser, clothing cleaner, etc.) and a dryer.
  • the washing machine may be classified into a drum washing machine and a rolling washing machine according to the operation method, and may be classified into a large washing machine, a general washing machine, and a mini washing machine according to the size/capacity.
  • the dryer may be classified into a gas dryer and an electric dryer according to the operation method, and may mean a device for drying laundry.
  • the clothes manager means a device that provides at least one function among functions of dry cleaning clothes, removing dust, sterilizing or ironing with steam, and not washing clothes with water. Can be.
  • laundry objects including washable cloth or fabric, such as clothes, blankets, and dolls, are collectively referred to as laundry.
  • the laundry scheduling device 100 may communicate with one or more laundry devices 200, 300, and 400.
  • the laundry scheduling apparatus 100 may be implemented as a television (TV), a projector, a smartphone, a tablet, a set top box (STB), a DMB receiver, a radio, a washing machine, a refrigerator, a fixed robot, and a movable robot. That is, it can be implemented in the form of various home appliances used at home.
  • the laundry scheduling device 100 may be integrally formed with any one of the one or more laundry devices 200, 300, and 400.
  • the laundry scheduling apparatus 100 may be controlled based on a user's voice.
  • the user's voice may be converted into voice data through the laundry scheduling apparatus 100.
  • the laundry scheduling device 100 may analyze the voice data directly or through a server (not shown) communicating with the laundry scheduling device 100 to obtain semantic information corresponding to the voice data.
  • FIG. 2A is a block diagram illustrating a laundry scheduling apparatus according to an embodiment of the present invention.
  • terminal 100 may mean “washing scheduling device 100”.
  • the terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, and slate PCs. It may include a tablet PC (tablet PC), ultrabook (ultrabook), wearable device (wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display), etc. .
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PC
  • It may include a tablet PC (tablet PC), ultrabook (ultrabook), wearable device (wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display), etc.
  • the terminal 100 may also be applied to a fixed terminal such as a smart TV, a desktop computer, and a digital signage.
  • the terminal 100 may be applied to a fixed or movable robot.
  • the terminal 100 may perform the function of a voice agent.
  • the voice agent may be a program that recognizes a user's voice and outputs a response suitable for the recognized user's voice as a voice.
  • the terminal 100 includes a wireless communication unit 110, an input unit 120, a running processor 130, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a processor 180, and A power supply unit 190 may be included.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115.
  • the broadcast receiving module 111 receives a broadcast signal and/or broadcast related information from an external broadcast management server through a broadcast channel.
  • the mobile communication module 112 includes technical standards or communication methods for mobile communication (eg, Global System for Mobile Communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), EV -Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO), Wideband CDMA (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced), etc.) to transmit and receive wireless signals to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
  • GSM Global System for Mobile Communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • DO EV -Enhanced Voice-Data Optimized or Enhanced Voice-Data Only
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • the wireless Internet module 113 refers to a module for wireless Internet access, and may be built in or external to the terminal 100.
  • the wireless Internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless Internet technologies.
  • Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World) Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A).
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Wireless Fidelity
  • Direct Wireless Internet technologies
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • the short-range communication module 114 is for short-range communication, BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IRDA), Ultra Wideband (UWB), ZigBee, NFC (Near Field Communication), by using at least one of Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) technology, it can support short-range communication.
  • RFID Radio Frequency Identification
  • IRDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the location information module 115 is a module for obtaining a location (or current location) of a mobile terminal, and examples thereof include a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module.
  • GPS Global Positioning System
  • WiFi Wireless Fidelity
  • the terminal utilizes a GPS module, the location of the mobile terminal can be obtained using a signal sent from a GPS satellite.
  • the input unit 120 may include a camera 121 for inputting a video signal, a microphone 122 for receiving an audio signal, and a user input unit 123 for receiving information from a user.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed by a user's control command.
  • the input unit 120 is for input of image information (or signals), audio information (or signals), data, or information input from a user.
  • the terminal 100 includes one or more cameras It may be provided with (121).
  • the camera 121 processes image frames such as still images or moving pictures obtained by an image sensor in a video call mode or a shooting mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170.
  • the microphone 122 processes external sound signals as electrical voice data.
  • the processed voice data may be used in various ways according to a function (or a running application program) performed by the terminal 100. Meanwhile, various noise reduction algorithms for removing noise generated in the process of receiving an external sound signal may be implemented in the microphone 122.
  • the user input unit 123 is for receiving information from a user. When information is input through the user input unit 123,
  • the processor 180 may control the operation of the terminal 100 to correspond to the inputted information.
  • the user input unit 123 is a mechanical input means (or a mechanical key, for example, a button located on the front or rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc.) ) And a touch-type input means.
  • the touch-type input means is made of a virtual key, a soft key or a visual key displayed on the touch screen through software processing, or a part other than the touch screen It may be made of a touch key (touch key) disposed on.
  • the learning processor 130 may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision making, and machine learning algorithms and techniques.
  • the learning processor 130 may be received, detected, detected, generated, predefined, or otherwise output by the terminal or communicated with other components, devices, terminals, or terminals in a received, detected, detected, generated, predefined, or otherwise manner It may include one or more memory units configured to store data output by the device.
  • the learning processor 130 may include a memory integrated or implemented in a terminal. In some embodiments, the learning processor 130 may be implemented using the memory 170.
  • the learning processor 130 may be implemented using memory associated with the terminal, such as external memory coupled directly to the terminal or memory maintained in a server communicating with the terminal.
  • the learning processor 130 may be implemented using memory maintained in a cloud computing environment, or other remote memory location accessible by a terminal through a communication method such as a network.
  • the learning processor 130 typically includes one or more databases for identifying, indexing, categorizing, manipulating, storing, retrieving, and outputting data for use in supervised or unsupervised learning, data mining, predictive analytics, or other machines. It can be configured to store on.
  • the information stored in the learning processor 130 may be utilized by the processor 180 or one or more other controllers of the terminal using any of a variety of different types of data analysis algorithms and machine learning algorithms.
  • fuzzy logic e.g probability theory
  • neural networks Boltzmann machines, vector quantization, pulse neural networks, support vector machines, maximum margin classifier, hill climbing, inductive logic system Bayesian network , Peritnet (e.g. finite state machine, milli machine, moore finite state machine), classifier tree (e.g. perceptron tree, support vector tree, Markov tree, decision tree forest, random forest), stake models and systems, artificial Convergence, sensor fusion, image fusion, reinforcement learning, augmented reality, pattern recognition, automated planning, and more.
  • fuzzy logic e.g probability theory
  • neural networks Boltzmann machines, vector quantization, pulse neural networks, support vector machines, maximum margin classifier, hill climbing, inductive logic system Bayesian network , Peritnet (e.g. finite state machine, milli machine, moore finite state machine), classifier tree (e.g. perceptron tree, support vector tree, Markov tree, decision tree forest, random forest), stake models and systems, artificial Convergence, sensor
  • the processor 180 may determine or predict at least one executable action of the terminal based on the generated information, or determined using data analysis and machine learning algorithms. To this end, the processor 180 may request, search, receive, or utilize data of the learning processor 130, and may use the terminal to perform a predicted operation or an operation determined to be desirable among the at least one executable operation. Can be controlled.
  • the processor 180 may perform various functions for implementing intelligent emulation (ie, a knowledge-based system, a reasoning system, and a knowledge acquisition system). It can be applied to various types of systems (eg, fuzzy logic systems), including adaptive systems, machine learning systems, artificial neural networks, and the like.
  • intelligent emulation ie, a knowledge-based system, a reasoning system, and a knowledge acquisition system. It can be applied to various types of systems (eg, fuzzy logic systems), including adaptive systems, machine learning systems, artificial neural networks, and the like.
  • the processor 180 also involves speech and natural language speech processing, such as I/O processing modules, environmental condition modules, speech-to-text (STT) processing modules, natural language processing modules, work flow processing modules, and service processing modules. It may include sub-modules that enable calculation.
  • speech and natural language speech processing such as I/O processing modules, environmental condition modules, speech-to-text (STT) processing modules, natural language processing modules, work flow processing modules, and service processing modules. It may include sub-modules that enable calculation.
  • Each of these sub-modules can have access to one or more systems or data and models at the terminal, or a subset or superset thereof.
  • each of these sub-modules can provide various functions, including vocabulary index, user data, work flow model, service model, and automatic speech recognition (ASR) system.
  • ASR automatic speech recognition
  • processor 180 or terminal may be implemented with the submodules, systems, or data and models.
  • the processor 180 may be configured to detect and detect requirements based on the user's intention or contextual conditions expressed in user input or natural language input.
  • the processor 180 may actively derive and acquire information necessary to completely determine a requirement based on context conditions or a user's intention. For example, the processor 180 may actively derive information necessary to determine a requirement by analyzing historical data including historical input and output, pattern matching, unambiguous words, and input intention.
  • the processor 180 may determine a task flow for executing a function that responds to a requirement based on a context condition or a user's intention.
  • the processor 180 collects, detects, extracts, and detects signals or data used in data analysis and machine learning operations through one or more sensing components in the terminal in order to collect information for processing and storage in the learning processor 130 And/or receive.
  • Collecting information may include sensing information through a sensor, extracting information stored in the memory 170, or receiving information from another terminal, entity, or external storage device through communication means.
  • the processor 180 may collect and store usage history information in the terminal.
  • the processor 180 may use the stored usage history information and predictive modeling to determine the best match for executing a specific function.
  • the processor 180 may receive or sense surrounding environment information or other information through the sensing unit 140.
  • the processor 180 may receive a broadcast signal and/or broadcast-related information, a radio signal, and radio data through the radio communication unit 110.
  • the processor 180 may receive image information (or a corresponding signal), audio information (or a corresponding signal), data, or user input information from the input unit 120.
  • the processor 180 collects information in real time, processes or classifies information (for example, a knowledge graph, a command policy, a personalization database, a conversation engine, etc.), and processes the processed information in a memory 170 or a learning processor 130 ).
  • information for example, a knowledge graph, a command policy, a personalization database, a conversation engine, etc.
  • the processor 180 can control the components of the terminal to perform the determined operation. In addition, the processor 180 may perform the determined operation by controlling the terminal according to the control command.
  • the processor 180 analyzes historical information indicating execution of a specific operation through data analysis and machine learning algorithms and techniques, and performs update of previously learned information based on the analyzed information. Can be.
  • the processor 180 may improve the accuracy of future performance of data analysis and machine learning algorithms and techniques based on the updated information along with the learning processor 130.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity G-sensor, gyroscope sensor, motion sensor, RGB sensor, infrared sensor (IR sensor), fingerprint scan sensor, ultrasonic sensor , Optical sensor (e.g., camera (see 121)), microphone (see 122), battery gauge, environmental sensor (e.g. barometer, hygrometer, thermometer, radioactivity sensor, Thermal sensor, gas sensor, and the like), and a chemical sensor (eg, an electronic nose, a health care sensor, a biometric sensor, etc.).
  • the mobile terminal disclosed in this specification may combine and use information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating output related to vision, hearing, or tactile sense, and includes at least one of a display unit 151, an audio output unit 152, a hap tip module 153, and an optical output unit 154 can do.
  • the display unit 151 displays (outputs) information processed by the terminal 100.
  • the display unit 151 may display execution screen information of an application program driven by the terminal 100, or user interface (UI) or graphical user interface (GUI) information according to the execution screen information.
  • UI user interface
  • GUI graphical user interface
  • the display unit 151 may form a mutual layer structure with the touch sensor or may be integrally formed, thereby realizing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the terminal 100 and the user, and at the same time, provide an output interface between the terminal 100 and the user.
  • the audio output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, call mode or recording mode, voice recognition mode, broadcast reception mode, or the like.
  • the audio output unit 152 may include at least one of a receiver, a speaker, and a buzzer.
  • the haptic module 153 generates various tactile effects that the user can feel.
  • a typical example of the tactile effect generated by the haptic module 153 may be vibration.
  • the light output unit 154 outputs a signal for notifying the occurrence of an event using the light of the light source of the terminal 100.
  • Examples of events generated in the terminal 100 may include receiving messages, receiving call signals, missed calls, alarms, schedule notifications, receiving emails, and receiving information through applications.
  • the interface unit 160 serves as a passage with various types of external devices connected to the terminal 100.
  • the interface unit 160 connects a device equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • I/O audio input/output
  • I/O video input/output
  • earphone port an earphone port
  • the identification module is a chip that stores various information for authenticating the usage rights of the terminal 100, a user identification module (UIM), a subscriber identity module (SIM), and a universal user authentication module (universal subscriber identity module; USIM).
  • the device provided with the identification module (hereinafter referred to as'identification device') may be manufactured in a smart card format. Accordingly, the identification device may be connected to the terminal 100 through the interface unit 160.
  • the memory 170 stores data supporting various functions of the terminal 100.
  • the memory 170 is a plurality of application programs (application programs or applications) driven in the terminal 100, data for the operation of the terminal 100, instructions, data for the operation of the running processor 130 Fields (eg, at least one algorithm information for machine learning, etc.).
  • the processor 180 controls the overall operation of the terminal 100 in addition to the operations related to the application program.
  • the processor 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • the processor 180 may control at least some of the components described with reference to FIG. 2A in order to drive an application program stored in the memory 170. Furthermore, the processor 180 may operate by combining at least two or more of the components included in the terminal 100 for driving the application program.
  • the power supply unit 190 receives external power and internal power to supply power to each component included in the terminal 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • the processor 180 controls the operation related to the application program and generally the overall operation of the terminal 100. For example, when the state of the mobile terminal satisfies a set condition, the processor 180 may execute or release a lock state that restricts input of a user's control command to applications.
  • FIG. 2B is a view for explaining a voice system according to an embodiment of the present invention.
  • the speech system 1 includes a terminal 100, a speech to text (STT) server 10, a natural language processing (NLP) server 20, and a speech synthesis server ( 30).
  • STT speech to text
  • NLP natural language processing
  • 30 speech synthesis server
  • the terminal 100 may transmit voice data to the STT server 10.
  • the STT server 10 may convert voice data received from the terminal 100 into text data.
  • the STT server 10 may increase the accuracy of speech-to-text conversion using a language model.
  • the language model may mean a model that can calculate a probability of a sentence or a probability that a next word will appear when given previous words.
  • the language model may include probabilistic language models such as a Unigram model, a Bigram model, an N-gram model, and the like.
  • the unigram model is a model that assumes that the use of all words is completely independent of each other. It is a model that calculates the probability of a word sequence as the product of the probability of each word.
  • the bigram model assumes that the use of words depends only on the previous one word.
  • the N-gram model is a model that assumes the use of words depends on the previous (n-1) words.
  • the STT server 10 may use a language model to determine whether text data converted from speech data is appropriately converted, thereby improving accuracy of conversion to text data.
  • the NLP server 20 may receive text data from the STT server 10.
  • the NLP server 20 may perform intention analysis on the text data based on the received text data.
  • the NLP server 20 may transmit intention analysis information indicating a result of performing the intention analysis to the terminal 100.
  • the NLP server 20 may generate intention analysis information by sequentially performing a morpheme analysis step, a syntax analysis step, a speech act analysis step, and a conversation processing step on text data.
  • the morpheme analysis step is a step of classifying text data corresponding to a voice spoken by a user into morpheme units, which are the smallest units having meaning, and determining what parts of speech each morpheme has.
  • the parsing step is a step of classifying text data into noun phrases, verb phrases, adjective phrases, and the like, using the results of the morphological analysis step, and determining what relationship exists between the divided phrases.
  • the subject, object, and modifiers of the voice spoken by the user may be determined.
  • the speech act analysis step is a step of analyzing an intention of a voice spoken by a user using the result of the syntax analysis step.
  • the dialogue act analysis step is a step of determining the intention of a sentence such as whether the user asks a question, makes a request, or expresses a simple emotion.
  • the conversation processing step is a step of determining whether to answer or respond to the user's speech or to ask a question inquiring additional information using the result of the dialogue act analysis step.
  • the NLP server 20 may generate intention analysis information including one or more of an answer to a user's intention, response, and additional information inquiry.
  • the NLP server 20 may receive text data from the terminal 100.
  • the terminal 100 may convert voice data into text data and transmit the converted text data to the NLP server 20.
  • the voice synthesis server 30 may combine pre-stored voice data to generate synthesized voice.
  • the voice synthesis server 30 may record the voice of a person selected as a model, and divide the recorded voice into syllables or words.
  • the speech synthesis server 30 may store the divided speech in a syllable or word unit in an internal or external database.
  • the speech synthesis server 30 may search for syllables or words corresponding to given text data from a database, and synthesize the searched syllables or word combinations to generate a synthesized speech.
  • the speech synthesis server 30 may store a plurality of speech language groups corresponding to each of the plurality of languages.
  • the voice synthesis server 30 may include a first voice language group recorded in Korean and a second voice language group recorded in English.
  • the speech synthesis server 30 may translate text data of the first language into text of the second language, and generate a synthesized speech corresponding to the translated text of the second language using the second speech language group.
  • the voice synthesis server 30 may transmit the generated synthesized voice to the terminal 100.
  • the speech synthesis server 30 may receive intention analysis information from the NLP server 20.
  • the voice synthesis server 30 may generate a synthesized voice reflecting the user's intention based on the intention analysis information.
  • the STT server 10, the NLP server 20 and the speech synthesis server 30 may be implemented as one server.
  • each of the STT server 10, the NLP server 20, and the speech synthesis server 30 described above may also be performed in the terminal 100.
  • the terminal 100 may include a plurality of processors.
  • FIG. 3 is a view for explaining an operation method of a laundry scheduling device according to an embodiment of the present invention.
  • an operation method of a laundry scheduling apparatus includes receiving voices including a plurality of words representing each of a plurality of laundry (S310), and receiving voice data corresponding to the received voices.
  • Step S370 may be included.
  • FIG. 4 Prior to describing the above-described steps, reference is made to FIG. 4 for characteristics required to schedule washing, and a method of training a learning model is described with reference to FIG. 5.
  • the characteristics required to schedule the washing may mean characteristics recognized by the laundry scheduling apparatus and reflected in the washing schedule among the numerous characteristics that the laundry may have.
  • various characteristics may be required to schedule washing.
  • the characteristics required to schedule washing can be classified into various criteria.
  • characteristics required for scheduling laundry may be classified into laundry type, cloth, color, brand, and target age.
  • the type of laundry may include tops, bottoms, underwear, jumpers, and coats.
  • the fabric may include materials such as cotton, silk, polyester, and hemp.
  • the color may include black, white, blue, red, and the like.
  • the target age may include adult men, infants, children, the elderly, and adult women.
  • the characteristic “black” can actually be called “dark”, “black”, “black”, “black”, etc. from the user.
  • FIG. 5 is a diagram for explaining a training method of a learning model installed in the laundry scheduling device.
  • Word embedding refers to a technique of quantifying a word and representing it on a vector space.
  • the neural network may be trained to perform word embedding on received voice data.
  • the neural network may be provided with voice data including numerous expressions representing laundry as training data.
  • T-shirt for the same laundry called a T-shirt, there may be various expressions such as a T-shirt pronounced in various dialects, a T-shirt pronounced in various accents, T-shirts, and T-shirts.
  • jeans For another example, for the same laundry called jeans, there may be various expressions such as jeans, jeans, and Levis.
  • modifiers can be used for laundry. That is, various expressions such as black tee, black tee, black tee, white tee, white tee, long-sleeved tee, and short-sleeved tee may exist.
  • voice data including numerous expressions representing laundry may be provided as training data to a neural network.
  • the neural network can find a pattern from the training data and update the parameters of the neural network so that the training data is clustered according to the pattern.
  • the neural network can express words related to laundry as vectors and embed words in a vector space through a word-to-vector (Word2Vec) technique.
  • Word2Vec word-to-vector
  • an auto-encoder In order to perform such a word-to-vector (Word2Vec) technique, an auto-encoder, CBOW, or Skip-Gram may be used in a neural network.
  • Word2Vec word-to-vector
  • training data may be clustered according to a pattern.
  • clusters of words having the same meaning or high relevance may exhibit one or more characteristics of laundry.
  • the first cluster may exhibit characteristics of laundry called a T-shirt.
  • word embedding using the word-to-vector (Word2Vec) technique is generally accomplished by unsupervised learning.
  • Word2Vec word-to-vector
  • jeans, jeans, and Levis have very different pronunciations, but should be interpreted as a meaning (jeans) when scheduling laundry.
  • panties and girdle are different, but may be interpreted as a single meaning (underwear) when scheduling laundry.
  • characteristics necessary for scheduling laundry can be labeled with the training data and input together with the training data.
  • jeans or jeans, feature vectors representing jeans
  • voice data such as jeans, jeans, and Levis
  • the underwear can be labeled on the panties and the girdle and entered together with the training data.
  • words may be clustered according to characteristics required for scheduling laundry.
  • vectors corresponding to jeans, jeans, and Levis may be collected into a second cluster.
  • the second cluster may exhibit characteristics required for scheduling laundry, called jeans.
  • vectors corresponding to panties and girdle, respectively may be gathered into a third cluster.
  • the third cluster may exhibit characteristics required for scheduling laundry, called underwear.
  • one word may be composed of a plurality of detailed words. And the training course described above can be applied to the detailed words as they are.
  • Such a training process may be performed in a learning apparatus of an artificial neural network.
  • the artificial neural network learning apparatus may include a data input unit, a processor, and a neural network.
  • the data input unit may receive training data or receive training data and data labeled to the training data.
  • the processor may train an artificial neural network by inputting training data or a training set including training data and data labeled to the training data into a neural network. Accordingly, the parameters of the neural network can be determined.
  • the artificial neural network whose parameters are determined by learning using the training data as described above may be referred to as a trained model in this specification.
  • a trained model may be used to infer a result value for new input data rather than training data.
  • the learning model may be newly installed in the laundry scheduling device or replace the existing learning model in the washing machine.
  • the learning model may be implemented in hardware, software, or a combination of hardware and software, and when part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the memory of the laundry scheduling device. .
  • the processor may receive a voice including a plurality of words each representing a plurality of laundry from the user through the input unit.
  • the word may refer to one laundry.
  • black tee refers to one laundry and may be one word.
  • black adult jeans refers to one laundry and may be a word.
  • the user utters “pants and skirts”, “pants” and “skirts” refer to separate laundry, so the user's voice may include two words.
  • the processor may convert the received voice to generate voice data, and input the generated voice data into a learning model.
  • FIG. 6 is a diagram for explaining a method of word embedding a plurality of words included in a voice according to an embodiment of the present invention.
  • the processor may perform word embedding by inputting speech data corresponding to the received speech into a learning model.
  • the processor may input voice data corresponding to the received voice into the learning model.
  • the learning model may embed each of a plurality of words included in the speech data according to the set parameters.
  • each of a plurality of words can be represented as a vector and embedded in a vector space as shown in FIG. 6.
  • the learning model may cluster the first word into the first cluster and the second word into the second cluster.
  • each of the plurality of clusters may correspond to one or more characteristics required for scheduling laundry.
  • jeans for the first cluster white clothes for the second cluster
  • shirts for the third cluster black for the fourth cluster
  • white for the fifth cluster white for the fifth cluster
  • underwear for the sixth cluster the first cluster in which the shirt is clustered may correspond to the characteristics of a shirt, cotton, white, and adult men.
  • the processor may acquire one or more characteristics represented by each of the plurality of words according to a result of clustering each of the plurality of words.
  • the learning model may cluster the first word representing the first laundry and the second word representing the first laundry into one cluster representing the first laundry.
  • the processor may acquire the same characteristic from the first word and the second word.
  • the word “tee shirt” may refer to the first laundry, and the word “tee shirt” may also refer to the first laundry.
  • the learning model can cluster the words “tee shirt” and the word “tee shirt” into the same cluster.
  • the processor can acquire a tee shirt having the same characteristics from the words “tee shirt” and the word “tee shirt”.
  • the learning model can cluster “jeans” of a particular intonation and “jeans” without an accent into the same cluster.
  • the processor can acquire the same characteristic tee shirt from the "jeans" of a particular accent and the "jeans" without an accent.
  • one word may include a plurality of detailed words
  • the processor may acquire one or more characteristics represented by each of the plurality of detailed words.
  • the processor may acquire a plurality of characteristics indicated by the first word by inputting the first word representing the first laundry into the learning model.
  • the processor may input voice data corresponding to the received voice into the learning model.
  • the learning model may embed each of a plurality of words included in the speech data according to the set parameters.
  • each of the plurality of detailed words may be represented as a vector and embedded in a vector space as illustrated in FIG. 6.
  • the learning model clusters the first detailed word into the first cluster and the second The detailed word may be clustered into the second cluster, and the second word may be clustered into the third cluster.
  • the processor may acquire characteristics represented by each of the plurality of detailed words according to a result of clustering each of the plurality of detailed words. Accordingly, the processor may acquire a plurality of characteristics from one word.
  • “white pants” may include a first detailed word “white” and a second detailed word “pants”.
  • the learning model may cluster the first detailed word (white) into a first cluster corresponding to the characteristic of white, and the second detailed word (pants) into a second cluster corresponding to the characteristic of pants.
  • the processor can acquire the characteristic of white and the characteristic of trousers from one word “white trousers”.
  • the processor may acquire a plurality of characteristics represented by one word through vector operations.
  • the processor when the learning model receiving the first word outputs the first feature vector, the processor performs a vector operation on the first feature vector with a second feature vector related to the first feature vector, and a plurality of features represented by the first word Can be obtained.
  • FIG. 7 illustrates a vector space according to a word-to-vector (Word2Vec) technique according to an embodiment of the present invention.
  • Word2Vec word-to-vector
  • words related to the word'eat' such as'eat','eat' or'eat' are located nearby. can do.
  • words that can be used with “eat” such as chicken, pizza, and cake may be located in the vicinity.
  • a word and a word may be similar or used together, and thus a relationship that is gathered in a similar space on a vector space is referred to as “a word and a word are related.” Or, “the characteristic vector of a word and the characteristic vector of a word are related”.
  • underwear may be arranged in a space similar to “white underwear” and “black underwear”.
  • the processor performs a vector operation with the second feature vector related to the first feature vector to calculate a plurality of features represented by the first word. Can be obtained.
  • clustering is performed on a word-by-word basis without using detailed words described above.
  • a “black tee” is input to the learning model and a first characteristic vector corresponding to the “black tee” is output.
  • the processor may perform a vector operation on the first feature vector and the second feature vector related to the first feature vector.
  • a first characteristic vector of a black tee may relate to a second characteristic vector of a tee shirt, and if the first characteristic vector is [9, 7] and the second characteristic vector is [6, 4],
  • the processor may calculate a third characteristic vector called [3, 3] through vector operations.
  • the third characteristic vector may be “black”, excluding the tee shirt from the black tee.
  • the processor may acquire a plurality of characteristics represented by one word from one word.
  • FIG. 8 is a view for explaining a method of obtaining laundry information suitable for laundry, according to an embodiment of the present invention.
  • the processor may acquire laundry information for each of the plurality of laundry items by searching the database using one or more characteristics indicated by each of the plurality of words.
  • one or more characteristics of the first word “shirt” may be a top 810, a cotton 820, a white 830, an adult male 840, and a shirt 850.
  • the washing information may be information indicating a washing method for laundry.
  • the washing information of the waterproof jacket 860 includes washing methods for the waterproof jacket, such as washing machine, 30 degrees Celsius or less, wool/silk detergent, bleach not available, additional rinse required, dehydration prohibited, dryer not available, etc. can do.
  • the washing information for socks/underwear 890 is a washing machine, washing according to a standard program, 30 degrees Celsius or less, no additional rinsing, dehydration possible, drying possible, and drying is almost eliminated, so no additional hot air drying is required.
  • it may include a washing method for socks / underwear.
  • the processor may search for all laundry information corresponding to one or more characteristics indicated by the first word.
  • the characteristic 810 of the “top” may correspond to the washing information 900 of the shirt/jersey and the washing information 890 of the socks/underwear.
  • the characteristic 830 of “white” may correspond to the washing information 870 of the soft shell and the washing information 900 of the shirt/jersey.
  • the processor may determine laundry information to be used for the first word (first laundry) as the most frequently searched laundry information.
  • laundry information to be used for the second word may also be determined.
  • the search process of the database may be performed on the database server as well as the laundry scheduling device.
  • FIG. 9 is a view for explaining a laundry scheduling method according to an embodiment of the present invention.
  • the processor may schedule washing of a plurality of laundry in a single washing device
  • the processor uses the first laundry information and the second laundry information to generate the first laundry and the first laundry. 2 You can schedule washing of laundry.
  • the processor may schedule the first laundry and the second laundry to be washed separately in the washing machine.
  • the processor may classify a plurality of laundry to be divided and washed in a plurality of laundry devices based on one or more characteristics indicated by each of the plurality of words.
  • the processor may classify a plurality of laundry to be divided and washed in a plurality of laundry devices using laundry information corresponding to each of the plurality of laundry.
  • the processor may classify the jeans to be washed in a styler instead of the washing machine.
  • the processor may classify the white shirt to be washed in a washing machine, dryer, and styler. In this case, the processor may decide to order the washing, so that the white shirt is first washed in the washing machine, dried in the dryer, and then styled in the styler.
  • the processor may classify the specific laundry to be washed in the washing machine.
  • the processor may schedule a washing schedule of a plurality of laundry so that the fastest washing can be performed while satisfying various conditions.
  • the processor may classify a plurality of laundry to be divided and washed in a plurality of laundry devices based on a plurality of conditions and laundry information of each of the plurality of laundry.
  • the plurality of conditions may include at least one of a user setting, laundry precautions, laundry that cannot be washed together, and an optimum washing machine per laundry.
  • the user setting may refer to a user input set to affect scheduling of the washing schedule. For example, when an input of “the jeans should be washed separately” or “the jeans should be washed first” is received from the user, the processor may schedule according to these conditions.
  • the washing precaution refers to a prohibition of washing hot water, prohibition of drying, prohibition of using a specific detergent, etc., and may be obtained from washing information.
  • laundry that should not be washed together may mean jeans and white clothes
  • an optimal washing machine may mean a washing device most suitable for a particular laundry.
  • Laundry that should not be washed and optimum washing equipment can also be obtained from laundry information.
  • the processor may classify a plurality of laundry to be divided and washed in a plurality of laundry devices in consideration of washing information of each of a plurality of conditions and a plurality of laundry and priority of a plurality of conditions.
  • the priority may be set as a default in the laundry scheduling device, or may be modified by user input.
  • 10 is a view for explaining a method of outputting a scheduled washing schedule.
  • the processor may output a scheduled washing schedule.
  • the processor may control the display unit to visually display the washing schedule, or the audio output unit to output a voice corresponding to the washing schedule.
  • FIG. 11 is a view for explaining a method of providing laundry service in a laundry scheduling system according to an embodiment of the present invention.
  • the processor may transmit information and laundry schedules for laundry classified to each of the plurality of laundry devices.
  • the processor may transmit information on laundry classified as the first laundry device and the first laundry schedule of the first laundry device 200 to the first laundry device 200 among the plurality of laundry devices.
  • the processor may transmit information about laundry classified as the second laundry device and the second laundry schedule of the second laundry device 300 to the second laundry device 300 among the plurality of laundry devices.
  • each of the plurality of washing devices may determine the washing mode based on the received washing schedule.
  • the washing schedule may include information on washing methods such as washing time, washing course, water temperature, and detergent used.
  • the first washing device may set the washing mode based on the first washing schedule.
  • the second washing device may set a washing mode based on the second washing schedule.
  • each of the plurality of laundry devices may output at least one of information about laundry performed by the corresponding laundry device, that is, information about laundry classified as the corresponding laundry device, and a set laundry mode.
  • the first laundry device 200 please put three baby clothes on me. Baby clothes washing mode. Can output the voice.
  • a plurality of washing devices may be equipped with a detection sensor for detecting the approach of a person.
  • the plurality of laundry devices may output at least one of laundry information classified as a corresponding laundry device and a preset laundry mode.
  • the first laundry device 200 For example, if a person first moves to the first laundry device 200, please put the first laundry device 200 in three sets of baby clothes. Baby clothes washing mode. Can output the voice. And when a user who puts three sets of baby clothes on the first laundry device 200 moves to the second laundry device 300, the second laundry device 300 says, “Please put the shirt and jacket on me. Proceed in standard mode.”
  • a plurality of laundry devices may be equipped with a person recognition device that distinguishes people by using the captured image.
  • the plurality of laundry devices may output at least one of information about laundry classified as a corresponding laundry device and a set laundry mode when the same user accessing the laundry command is accessed.
  • the plurality of laundry devices may set the laundry mode without performing a separate user input for setting the laundry mode in the corresponding laundry device, and perform washing according to the set laundry mode.
  • the first washing device is in a state in which the first washing schedule is received, and the washing mode can be set using the first washing schedule without user input.
  • the first washing device is set to the determined washing mode without user input to set the washing mode. Accordingly, washing can be performed.
  • FIG. 12 is a view for explaining an operation method when adding some laundry according to an embodiment of the present invention.
  • the processor may select a laundry device in which the additional laundry is washed based on the operation state of the plurality of laundry devices.
  • the processor may determine the operation state of the plurality of laundry devices and determine that additional laundry is to be washed in other laundry devices except the currently operating laundry device. have.
  • the processor may reset the washing mode of the selected washing device.
  • the processor may generate and output a new laundry schedule reflecting the laundry information of the added laundry, and transmit a new laundry schedule to the selected laundry device.
  • the present invention has an advantage of accurately acquiring characteristics required in a washing apparatus from various expressions representing laundry.
  • the present invention has the advantage that it is possible to schedule the washing schedule so that the optimum washing can be performed in various washing devices using the identified characteristics.
  • the present invention described above can be embodied as computer readable codes on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. There is this.
  • the computer may include a control unit 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all respects, but should be considered illustrative. The scope of the invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

세탁 스케쥴링 장치가 개시된다. 본 발명의 실시 예에 따른 세탁 스케쥴링 장치는, 사용자로부터 복수의 세탁물을 각각 나타내는 복수의 단어가 포함된 음성을 수신하는 입력부, 및, 상기 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력하여 워드 임베딩(word embedding) 함으로써 상기 복수의 단어 각각이 나타내는 하나 이상의 특성을 획득하고, 상기 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 상기 복수의 세탁물의 세탁 일정을 스케쥴링 하는 프로세서를 포함한다.

Description

세탁 스케쥴링 장치
본 발명은, 사용자의 발화로부터 복수의 세탁물 들이 각각 가지는 다양한 특성들을 추출하고, 획득한 특성에 따라 복수의 세탁물의 세탁을 스케쥴링 하는 세탁 스케쥴링 장치에 관한 것이다.
인공 지능(artificial intelligence)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
한편, 인공지능을 이용하여 주변의 상황을 인지 및 학습하고 사용자가 원하는 정보를 원하는 형태로 제공하거나 사용자가 원하는 동작이나 기능을 수행하는 기술이 활발하게 연구되고 있다.
한편 세탁물의 특성은 매우 다양하며, 세탁물의 특성에 따라 세탁 방법이 달라질 수 있다.
예를 들어 속옷은 옷감이 상하기 쉬우므로 이를 최소화 할 수 있는 세탁 방법이 요구되며, 셔츠의 경우 구김 발생이 최소화 되는 세탁 방법이 요구되고, 흰 옷은 다른 색상의 옷과 섞지 않고 흰 옷끼리 세탁하는 세탁 방식이 요구된다.
다만 세탁 장치가 세탁물 들의 다양한 특성을 파악하기는 쉽지 않다.
구체적으로 센서 들로 세탁물들의 특성을 파악하기에는 감지 능력의 한계가 문제될 수 있으며, 센서의 설치로 인한 비용이 증가하게 된다.
또한 사용자의 버튼 입력 또는 텍스트 입력을 통하여 세탁물의 특성을 파악할 수도 있으나, 매우 다양한 특성에 대하여 사용자에게 입력하기를 요구하게 되면 사용자는 그러한 기능을 사용하지 않을 가능성이 높다.
한편 최근에는 음성 인식 기술이 발달하였으며, 사용자의 발화를 이용하여 세탁물의 특성을 파악하는 방법을 고려해 볼 수 있다.
다만 동일한 세탁물을 나타내는 표현은 매우 다양할 수 있다. 따라서 이러한 다양한 표현들로부터, 세탁물의 특성을 파악하기 위하여 필요한 정보를 추출하는 것이 요구된다.
또한 다양한 세탁물들의 특성이 파악된 경우, 파악된 특성을 이용하여 최적의 세탁이 수행될 수 있도록 적절히 스케쥴링 하는 것이 요구된다.
또한 최근에는 세탁기, 스타일러, 건조기 등, 세탁 기능을 수행할 수 있는 다양한 세탁 장치가 개발되고 있다. 따라서 다양한 세탁물들의 특성이 파악된 경우, 파악된 특성을 이용하여 다양한 세탁 장치에서 최적의 세탁이 수행될 수 있도록 적절히 스케쥴링 하는 것이 요구된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 사용자의 발화로부터 복수의 세탁물 들이 각각 가지는 다양한 특성들을 추출하고, 획득한 특성에 따라 복수의 세탁물의 세탁을 스케쥴링 하는 세탁 스케쥴링 장치를 제공하기 위함이다.
본 발명의 실시 예에 따른 세탁 스케쥴링 장치는, 사용자로부터 복수의 세탁물을 각각 나타내는 복수의 단어가 포함된 음성을 수신하는 입력부, 및, 상기 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력하여 워드 임베딩(word embedding) 함으로써 상기 복수의 단어 각각이 나타내는 하나 이상의 특성을 획득하고, 상기 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 상기 복수의 세탁물의 세탁 일정을 스케쥴링 하는 프로세서를 포함한다.
이와 같이 본 발명은, 세탁물을 나타내는 다양한 표현들로부터 세탁 장치에서 필요한 특성을 정확히 획득할 수 있는 장점이 있다.
또한 본 발명은 파악된 특성을 이용하여 다양한 세탁 장치에서 최적의 세탁이 수행될 수 있도록 세탁 일정을 스케쥴링 할 수 있는 장점이 있다.
도 1은 본 발명의 실시 예에 따른, 세탁 스케쥴링 시스템을 설명하기 위한 도면이다.
도 2a는 본 발명의 실시 예에 따른 세탁 스케쥴링 장치를 설명하기 위한 블록도이다.
도 2b는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 에에 따른 세탁 스케쥴링 장치의 동작 방법을 설명하기 위한 도면이다.
도 4는 세탁을 스케쥴링 하기 위하여 필요한 특성을 도시한 도면이다.
도 5는 세탁 스케쥴링 장치에 탑재되는 학습 모델의 트레이닝 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른, 음성에 포함되는 복수의 단어를 워드 임베딩 하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른, 워드투벡터(Word2Vec) 기법에 따른 벡터 공간을 도시한다.
도 8은 본 발명의 실시 예에 따른, 세탁물에 적합한 세탁 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 세탁 스케쥴링 방법을 설명하기 위한 도면이다.
도 10은 스케쥴링된 세탁 일정의 출력 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 세탁 스케쥴링 시스템의 세탁 서비스 제공 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른, 일부 세탁물의 추가시의 동작 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
먼저 인공 지능(artificial intelligence, AI)에 대하여 간략히 설명한다.
인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야이다.
구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.
용어 ‘머신 러닝’은 용어 ‘기계 학습’과 혼용되어 사용될 수 있다.
기계 학습에서 데이터를 어떻게 분류할 것인가를 놓고, 많은 기계 학습 알고리즘이 개발되었다. 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(support vector machine, SVM), 그리고 인공신경망(Artificial neural network) 등이 대표적이다.
의사결정나무는 의사결정규칙(Decision Rule)을 나무구조로 도표화하여 분류와 예측을 수행하는 분석방법이다.
베이지안 망은 다수의 변수들 사이의 확률적 관계(조건부독립성：conditional independence)를 그래프 구조로 표현하는 모델이다. 베이지안 망은 비지도 학습(unsupervised learning)을 통한 데이터마이닝(data mining)에 적합하다.
서포트벡터머신은 패턴인식과 자료분석을 위한 지도 학습(supervised learning)의 모델이며, 주로 분류와 회귀분석을 위해 사용한다.
인공신경망(Artificial Neural Network, ANN)은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(Layer) 구조의 형태로 연결된 정보처리 시스템이다.
인공 신경망(Artificial Neural Network, ANN)은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.
구체적으로 인공신경망(Artificial Neural Network, ANN)은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
용어 인공신경망(Artificial Neural Network, ANN)은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있다.
인공신경망(Artificial Neural Network, ANN)은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망(Artificial Neural Network, ANN)은 뉴런(neuron)과 뉴런(neuron)을 연결하는 시냅스(synapse)를 포함할 수 있다.
인공 신경망(Artificial Neural Network, ANN)은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어(layer)의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어(layer)로부터 수신되는 입력에 대하여 가중 합을 취하여 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.
인공 신경망(Artificial Neural Network, ANN)은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
본 명세서에서 용어 ‘레이어’는 용어 ‘계층’과 혼용되어 사용될 수 있다.
인공신경망(Artificial Neural Network, ANN)은 계층(layer) 수에 따라 단층 신경망(Single Layer Neural Networks)과 다층 신경망(Multi Layer Neural Networks)으로 구분된다.
일반적인 단층 신경망(Single Layer Neural Networks)은, 입력층과 출력층으로 구성된다.
또한 일반적인 다층신경망(Multi Layer Neural Networks)은 입력층과 은닉층, 출력층으로 구성된다.
입력층(input layer)은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층(hidden layer)은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층(output layer)은 은닉층으로부터 신호를 받아 외부로 출력한다. 뉴런간의 입력신호는 0에서 1 사이의 값을 갖는 각각의 연결강도와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 출력값으로 구현된다.
한편 입력층(input layer)과 출력 층(output layer) 사이에 복수의 은닉층(hidden layer)을 포함하는 심층 신경망(Deep Neural Network, DNN)은, 기계 학습(machine learning) 기술의 한 종류인 딥 러닝(deep learning)을 구현하는 대표적인 인공 신경망일 수 있다.
한편 용어 ‘딥 러닝’은 용어 ‘심층 학습’과 혼용되어 사용될 수 있다.
인공 신경망(Artificial Neural Network, ANN)은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습(training)이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망(Artificial Neural Network, ANN)의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다.
인공 신경망(Artificial Neural Network, ANN)의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다. 이러한 파라미터는 내부 파라미터로써, 인공 신경망(Artificial Neural Network, ANN)의 트레이닝을 통하여 결정되거나 업데이트 될 수 있다.
인공 신경망(Artificial Neural Network, ANN)의 파라미터의 또 다른 예시로써, 레이어의 개수, 뉴런의 개수, 다른 레이어(layer)의 뉴런들 사이의 연결 패턴, 이전 레이어(layer)로부터 수신되는 입력에 대하여 가중 합을 취하여 출력값을 생성하는 활성화 함수를 들 수 있다. 이러한 파라미터는 외부 파라미터로써, 사용자에 의하여 설정될 수 있다.
훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류(classification)하거나 군집화 (clustering)할 수 있다.
한편 훈련 데이터를 이용하여 학습된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭할 수 있다.
다음은 인공 신경망(Artificial Neural Network, ANN)의 학습 방식에 대하여 설명한다.
인공 신경망(Artificial Neural Network, ANN)의 학습 방식은 크게, 지도 학습(Supervised Learning), 비 지도 학습(Unsupervised Learning), 준 지도 학습(semi-supervised learning), 강화 학습(Reinforcement learning)으로 분류될 수 있다.
지도 학습(Supervised Learning)은 훈련 데이터(Training Data)로부터 하나의 함수를 유추해내기 위한 기계 학습(Machine Learning)의 한 방법이다.
그리고 이렇게 유추되는 함수 중, 연속 적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것을 분류(Classification)라고 할 수 있다.
지도 학습에서는, 훈련 데이터(training data)에 대한 레이블(label)이 주어진 상태에서 인공 신경망(Artificial Neural Network, ANN)을 학습시킨다.
여기서 레이블(label)이란, 훈련 데이터(training data)가 인공 신경망(Artificial Neural Network, ANN)에 입력되는 경우 인공 신경망(Artificial Neural Network, ANN)이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다.
본 명세서에서는 훈련 데이터(training data)가 입력되는 경우 인공 신경망(Artificial Neural Network, ANN)이 추론해 내야 하는 정답(또는 결과값)을 레이블(label) 또는 레이블링 데이터(labeling data)이라 명칭 한다.
또한 본 명세서에서는, 인공 신경망(Artificial Neural Network, ANN)의 학습을 위하여 훈련 데이터(training data)에 레이블(label)을 다는 것을, 훈련 데이터(training data)에 레이블링 데이터(labeling data)를 레이블링 한다(labeling)라고 명칭 한다.
이 경우 훈련 데이터(training data)와 훈련 데이터에 대응하는 레이블(label)은 하나의 트레이닝 셋(training set)을 구성하고, 인공 신경망(Artificial Neural Network, ANN)에는 트레이닝 셋(training set)의 형태로 입력될 수 있다.
한편 훈련 데이터(training data)는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블(label)이 레이블링(labeling)된다는 것은 훈련 데이터(training data)가 나타내는 특징에 레이블(label)이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터(training data)는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.
인공 신경망(Artificial Neural Network, ANN)은 훈련 데이터와 레이블링 데이터(labeling data)를 이용하여, 훈련 데이터와 레이블링 데이터(labeling data)의 연관 관계에 대한 함수를 유추할 수 있다. 또한 인공 신경망(Artificial Neural Network, ANN)은 유추된 함수에 대한 평가를 통해 인공 신경망(Artificial Neural Network, ANN)의 파라미터를 결정(최적화) 할 수 있다.
비 지도 학습(Unsupervised Learning)은 기계 학습의 일종으로, 훈련 데이터에 대한 레이블(label)이 주어지지 않는다.
구체적으로, 비 지도 학습(Unsupervised Learning)은, 훈련 데이터 및 훈련 데이터에 대응하는 레이블(label)의 연관 관계 보다는, 훈련 데이터 자체에서 패턴을 찾아 분류하도록 인공 신경망을 학습시키는 학습 방법일 수 있다.
비 지도 학습(Unsupervised Learning)의 예로는, 군집화(Clustering) 또는 독립 성분 분석(Independent Component Analysis)을 들 수 있다.
본 명세서에서 용어 ‘군집화’는 용어 ‘클러스터링’과 혼용되어 사용될 수 있다.
비지도 학습을 이용하는 인공 신경망의 일례로 생성적 적대 신경망(Generative Adversarial Network, GAN), 오토 인코더(Autoencoder, AE)를 들 수 있다.
생성적 적대 신경망(Generative Adversarial Network, GAN)이란, 생성기(generator)와 판별기(discriminator), 두 개의 서로 다른 인공지능이 경쟁하며 성능을 개선하는 머신러닝 방법이다.
이 경우 생성기(generator)는 새로운 데이터를 창조하는 모형으로, 원본 데이터를 기반으로 새로운 데이터를 생성할 수 있다.
또한 판별기(discriminator)는 데이터의 패턴을 인식하는 모형으로, 원본데이터를 기반으로 생성기(generator)에서 생성한 새로운 데이터에 대한 진위 여부를 감별하는 역할을 수행할 수 있다.
그리고 생성기(generator)는 판별기(discriminator)를 속이지 못한 데이터를 입력 받아 학습하며, 판별기(discriminator)는 생성기(generator)로부터 속은 데이터를 입력 받아 학습할 수 있다. 이에 따라 생성기(generator)는 판별기(discriminator)를 최대한 잘 속이도록 진화할 수 있고, 판별기(discriminator) 원본 데이터와 생성기(generator)에 의해 생성된 데이터를 잘 구분하도록 진화할 수 있다.
오토 인코더(Autoencoder, AE)는 입력 자체를 출력으로 재현하는 것을 목표로 하는 신경망이다.
오토 인코더(Autoencoder, AE)는 입력층, 은닉층 및 출력층을 포함하며, 입력 데이터는 입력 데이터가 입력 계층을 통과하여 은닉 계층으로 들어간다.
이 경우 은닉 계층의 노드 수가 입력 계층의 노드 수보다 적으므로 데이터의 차원이 줄어들게 되며, 이에 따라 압축 또는 인코딩이 수행되게 된다.
또한 은닉 계층에서 출력한 데이터는 출력 계층으로 들어간다. 이 경우 출력 계층의 노드 수는 은닉 계층의 노드 수보다 많으므로, 데이터의 차원이 늘어나게 되며, 이에 따라 압축 해제 또는 디코딩이 수행되게 된다.
한편 오토 인코더(Autoencoder, AE)는 학습을 통해 뉴런의 연결 강도를 조절함으로써 입력 데이터가 은닉층 데이터로 표현된다. 은닉층에서는 입력층보다 적은 수의 뉴런으로 정보를 표현하는데 입력 데이터를 출력으로 재현할 수 있다는 것은, 은닉층이 입력 데이터로부터 숨은 패턴을 발견하여 표현했다는 것을 의미할 수 있다.
준 지도 학습(Semi-Supervised Learning)은 기계 학습의 일종으로, 레이블(label)이 주어진 훈련 데이터와 레이블(label)이 주어지지 않은 훈련 데이터를 모드 사용하는 학습 방법을 의미할 수 있다.
준지도 학습의 기법 중 하나로, 레이블이 주어지지 않은 훈련 데이터의 레이블을 추론한 후 추론된 라벨을 이용하여 학습을 수행하는 기법이 있으며, 이러한 기법은 레이블링에 소요되는 비용이 큰 경우에 유용하게 사용될 수 있다.
강화 학습(Reinforcement learning)은, 에이전트(Agent)가 매순간 어떤 행동을 해야 좋을지 판단할 수 있는 환경이 주어진다면, 데이터 없이 경험으로 가장 좋을 길을 찾을 수 있다는 이론이다.
강화 학습(Reinforcement Learning)은 주로 마르코프 결정 과정(Markov Decision Process, MDP)에 의하여 수행될 수 있다.
마르코프 결정 과정(Markov Decision Process, MDP)을 설명하면, 첫번째로 에이전트가 다음 행동을 하기 위해 필요한 정보들이 구성된 환경이 주어지며, 두번째로 그 환경에서 에이전트가 어떻게 행동할지 정의하고, 세번째로 에이전트가 무엇을 잘하면 보상(reward)를 주고 무엇을 못하면 벌점(penalty)을 줄지 정의하며, 네번째로 미래의 보상이 최고점에 이를 때까지 반복 경험하여 최적의 정책(policy)을 도출하게 된다.
도 1은 본 발명의 실시 예에 따른, 세탁 스케쥴링 시스템을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 세탁 스케쥴링 시스템은, 세탁 스케쥴링 장치(100) 및 하나 이상의 세탁 장치(200, 300, 400)를 포함할 수 있다.
세탁 장치는, 물세탁, 드라이클리닝, 다림질, 먼지 제거, 건조, 살균 등 세탁물을 관리하는 기능을 가지는 세탁물 처리 기기를 의미할 수 있다.
복수의 세탁 장치는, 구동 방식이나 기능에 따라 여러 종류로 구분될 수 있다. 예컨대, 세탁 장치는 세탁기, 의류 관리기(트롬 스타일러, 에어드레서, 의류청정기 등) 및 건조기 중 적어도 하나를 포함할 수 있다.
세탁기는 그 동작 방법에 따라 드럼 세탁기 및 통돌이 세탁기 등으로 구분할 수 있고, 크기/용량에 따라 대형 세탁기, 일반 세탁기 및 미니 세탁기 등으로 구분할 수 있다.
건조기는 그 동작 방법에 따라 가스식 건조기 및 전기식 건조기 등으로 구분할 수 있으며, 세탁물을 건조시키는 장치를 의미할 수 있다.
의류관리기는 통상적인 세탁 장치와는 달리 물로 의류 등을 세탁하는 것이 아닌, 의류 등을 드라이 클리닝하거나 먼지를 제거하거나 스팀을 이용하여 살균하거나 다림질하는 기능 중에서 적어도 하나 이상의 기능을 제공하는 장치를 의미할 수 있다.
본 명세서에서 의복이나 이불, 인형과 같이 세탁 가능한 옷감이나 섬유를 포함하는 사물들을 통칭하여 세탁물이라고 한다.
세탁 스케쥴링 장치(100)는 하나 이상의 세탁 장치(200, 300, 400)와 통신할 수 있다.
여기서, 세탁 스케줄링 장치(100)는 텔레비전(TV), 프로젝터, 스마트폰, 태블릿, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 고정형 로봇 및 이동 가능한 로봇 등으로 구현될 수 있다. 즉, 가정에서 이용하는 다양한 가전의 형태로 구현될 수 있다.
한편 세탁 스케쥴링 장치(100)는 하나 이상의 세탁 장치(200, 300, 400) 중 어느 하나와 일체로 형성될 수 있다.
세탁 스케줄링 장치(100)는 사용자의 음성을 기반으로 제어될 수 있다.
사용자의 음성은 세탁 스케줄링 장치(100)를 통하여 음성 데이터로 변환될 수 있다.
세탁 스케줄링 장치(100)는 직접, 또는 세탁 스케쥴링 장치(100)와 통신하는 서버(미도시)를 통하여 음성 데이터를 분석하여 음성 데이터에 상응하는 의미 정보를 획득할 수 있다.
도 2a는 본 발명의 실시 예에 따른 세탁 스케쥴링 장치를 설명하기 위한 블록도이다.
본 명세서에서 “단말기(100)”는 “세탁 스케쥴링 장치(100)”를 의미할 수 있다.
본 명세서에서 설명되는 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 단말기(100)는 스마트 TV, 데스크탑 컴퓨터, 디지털사이니지 등과 같은 고정 단말기에도 적용될 수도 있다.
또한, 본 발명의 실시 예에 따른 단말기(100)는 고정 또는 이동 가능한 로봇에도 적용될 수 있다.
또한, 본 발명의 실시 예에 따른 단말기(100)는 음성 에이전트의 기능을 수행할 수 있다. 음성 에이전트는 사용자의 음성을 인식하고, 인식된 사용자의 음성에 적합한 응답을 음성으로 출력하는 프로그램일 수 있다.
단말기(100)는 무선 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 프로세서(180) 및 전원 공급부(190)를 포함할 수 있다.
무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
위치정보 모듈(115)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 단말기의 위치를 획득할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123)를 포함할 수 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 단말기(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면,
프로세서(180)는 입력된 정보에 대응되도록 단말기(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 단말기(100)의 전?후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성 될 수 있다.
러닝 프로세서(130)는 단말기에 의해 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 출력되거나 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 다른 컴포넌트, 디바이스, 단말기 또는 단말기와 통신하는 장치에 의해 출력되는 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함 할 수 있다.
러닝 프로세서(130)는 단말기에 통합되거나 구현된 메모리를 포함 할 수 있다. 일부 실시 예에서, 러닝 프로세서(130)는 메모리(170)를 사용하여 구현 될 수 있다.
선택적으로 또는 부가 적으로, 러닝 프로세서(130)는 단말기에 직접 결합된 외부 메모리 또는 단말기와 통신하는 서버에서 유지되는 메모리와 같이 단말기와 관련된 메모리를 사용하여 구현 될 수 있다.
다른 실시 예에서, 러닝 프로세서(130)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 단말기에 의해 액세스 가능한 다른 원격 메모리 위치를 이용하여 구현 될 수 있다.
러닝 프로세서(130)는 일반적으로 감독 또는 감독되지 않은 학습, 데이터 마이닝, 예측 분석 또는 다른 머신에서 사용하기 위해 데이터를 식별, 색인화, 카테고리화, 조작, 저장, 검색 및 출력하기 위해 데이터를 하나 이상의 데이터베이스에 저장하도록 구성될 수 있다.
러닝 프로세서(130)에 저장된 정보는 다양한 상이한 유형의 데이터 분석 알고리즘 및 기계 학습 알고리즘 중 임의의 것을 사용하여 프로세서(180) 또는 단말기의 하나 이상의 다른 제어기에 의해 이용될 수 있다.
이러한, 알고리즘의 예로는, k-최근 인접 시스템, 퍼지 논리 (예: 가능성 이론), 신경 회로망, 볼츠만 기계, 벡터 양자화, 펄스 신경망, 지원 벡터 기계, 최대 마진 분류기, 힐 클라이밍, 유도 논리 시스템 베이지안 네트워크, 페리트넷 (예: 유한 상태 머신, 밀리 머신, 무어 유한 상태 머신), 분류기 트리 (예: 퍼셉트론 트리, 지원 벡터 트리, 마코프 트리, 의사 결정 트리 포리스트, 임의의 포리스트), 판돈 모델 및 시스템, 인공 융합, 센서 융합, 이미지 융합, 보강 학습, 증강 현실, 패턴 인식, 자동화 된 계획 등을 포함한다.
프로세서(180)는 데이터 분석 및 기계 학습 알고리즘을 사용하여 결정되거나, 생성된 정보에 기초하여 단말기의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위해, 프로세서(180)는 러닝 프로세서(130)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 상기 단말기를 제어할 수 있다.
프로세서(180)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다.
프로세서(180)는, 또한 I/O 처리 모듈, 환경 조건 모듈, 음성 - 텍스트 (STT) 처리 모듈, 자연어 처리 모듈, 작업 흐름 처리 모듈 및 서비스 처리 모듈과 같이, 음성 및 자연 언어 음성 처리를 수반하는 연산을 가능하게 하는 서브 모듈을 포함할 수 있다.
이들 서브 모듈들 각각은, 단말기에서의 하나 이상의 시스템 또는 데이터 및 모델, 또는 이들의 서브셋 또는 수퍼 셋에 대한 액세스를 가질 수 있다. 또한, 이들 서브 모듈들 각각은, 어휘 색인, 사용자 데이터, 작업 흐름 모델, 서비스 모델 및 자동 음성 인식 (ASR) 시스템을 비롯한 다양한 기능을 제공할 수 있다.
다른 실시 예에서, 프로세서(180) 또는 단말기의 다른 양태는 상기 서브 모듈, 시스템, 또는 데이터 및 모델로 구현 될 수 있다.
일부 예에서, 러닝 프로세서(130)의 데이터에 기초하여, 프로세서(180)는 사용자 입력 또는 자연 언어 입력으로 표현된 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 검출하고 감지하도록 구성 될 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 완전히 결정하는데 필요한 정보를 능동적으로 이끌어 내고, 획득할 수 있다. 예를 들어, 프로세서(180)는 역사적 입력 및 출력, 패턴 매칭, 모호하지 않은 단어, 입력 의도 등을 포함하는 과거 데이터를 분석함으로써 요구 사항을 결정하는데, 필요한 정보를 능동적으로 이끌어낼 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항에 응답하는 기능을 실행하기 위한 태스크 흐름을 결정할 수 있다.
프로세서(180)는 러닝 프로세서(130)에서 프로세싱 및 저장을 위한 정보를 수집하기 위해, 단말기에서 하나 이상의 감지 컴포넌트를 통해 데이터 분석 및 기계 학습 작업에 사용되는 신호 또는 데이터를 수집, 감지, 추출, 검출 및/또는 수신하도록 구성 될 수 있다.
정보 수집은 센서를 통해 정보를 감지하는 것, 메모리(170)에 저장된 정보를 추출하는 것 또는 통신 수단을 통해 다른 단말기, 엔티티 또는 외부 저장 장치로부터 정보를 수신하는 것을 포함 할 수 있다.
프로세서(180)는 단말기에서 사용 히스토리 정보를 수집하여, 저장할 수 있다.
프로세서(180)는 저장된 사용 히스토리 정보 및 예측 모델링을 사용하여 특정 기능을 실행하기 위한 최상의 매치를 결정할 수 있다.
프로세서(180)는 센싱부(140)를 통해 주변 환경 정보 또는 기타 정보를 수신하거나 감지 할 수 있다.
프로세서(180)는 무선 통신부(110)을 통해 방송 신호 및/또는 방송 관련 정보, 무선 신호, 무선 데이터를 수신할 수 있다.
프로세서(180)는 입력부(120)로부터 이미지 정보 (또는 해당 신호), 오디오 정보 (또는 해당 신호), 데이터 또는 사용자 입력 정보를 수신 할 수 있다.
프로세서(180)는 정보를 실시간으로 수집하고, 정보 (예를 들어, 지식 그래프, 명령 정책, 개인화 데이터베이스, 대화 엔진 등)를 처리 또는 분류하고, 처리 된 정보를 메모리(170) 또는 러닝 프로세서(130)에 저장할 수 있다.
단말기의 동작이 데이터 분석 및 기계 학습 알고리즘 및 기술에 기초하여 결정될 때, 프로세서(180)는 결정된 동작을 실행하기 위해 단말기의 구성 요소를 제어 할 수 있다. 그리고 프로세서(180)는 제어 명령에 따라 단말을 제어하여 결정된 동작을 수행 할 수 있다.
프로세서(180)는 특정 동작이 수행되는 경우, 데이터 분석 및 기계 학습 알고리즘 및 기법을 통해 특정 동작의 실행을 나타내는 이력 정보를 분석하고, 분석된 정보에 기초하여 이전에 학습 한 정보의 업데이트를 수행 할 수 있다.
따라서, 프로세서(180)는 러닝 프로세서(130)과 함께, 업데이트 된 정보에 기초하여 데이터 분석 및 기계 학습 알고리즘 및 기법의 미래 성능의 정확성을 향상시킬 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱 하기 위한 하나 이상의 센서를 포함할 수 있다.
예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
인터페이스부(160)는 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port)중 적어도 하나를 포함할 수 있다. 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
한편, 식별 모듈은 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 단말기(100)와 연결될 수 있다.
메모리(170)는 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다.
메모리(170)는 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단말기(100)의 동작을 위한 데이터들, 명령어들을, 러닝 프로세서(130)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다.
프로세서(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 단말기(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 2a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용프로그램의 구동을 위하여, 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 프로세서(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
한편, 앞서 살펴본 것과 같이, 프로세서(180)는 응용 프로그램과 관련된 동작과, 통상적으로 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
도 2b는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 2b를 참조하면, 음성 시스템(1)은 단말기(100), 음성 텍스트 변환(Speech To Text, STT) 서버(10), 자연어 처리(Natural Language Processing, NLP) 서버(20) 및 음성 합성 서버(30)를 포함할 수 있다.
단말기(100)는 음성 데이터를 STT 서버(10)에 전송할 수 있다.
STT 서버(10)는 단말기(100)로부터 수신된 음성 데이터를 텍스트 데이터로 변환할 수 있다.
STT 서버(10)는 언어 모델을 이용하여 음성-텍스트 변환의 정확도를 높일 수 있다.
언어 모델은 문장의 확률을 계산하거나, 이전의 단어들이 주어졌을 때 다음 단어가 나올 확률을 계산할 수 있는 모델을 의미할 수 있다.
예컨대, 언어 모델은 유니그램(Unigram) 모델, 바이그램(Bigram) 모델, N-그램(N-gram) 모델 등과 같은 확률론적 언어 모델들을 포함할 수 있다.
유니그램 모델은 모든 단어의 활용이 완전히 서로 독립적이라고 가정하는 모델로, 단어 열의 확률을 각 단어의 확률의 곱으로 계산하는 모델이다.
바이그램 모델은 단어의 활용이 이전 1개의 단어에만 의존한다고 가정하는 모델이다.
N-그램 모델은 단어의 활용이 이전 (n-1)개의 단어에 의존한다고 가정하는 모델이다.
즉, STT 서버(10)는 언어 모델을 이용하여 음성 데이터로부터 변환된 텍스트 데이터가 적합하게 변환된 것인지 판단할 수 있고, 이를 통해 텍스트 데이터로의 변환의 정확도를 높일 수 있다.
NLP 서버(20)는 STT 서버(10)로부터 텍스트 데이터를 수신할 수 있다. NLP 서버(20)는 수신된 텍스트 데이터에 기초하여, 텍스트 데이터에 대한 의도 분석을 수행할 수 있다.
NLP 서버(20)는 의도 분석의 수행 결과를 나타내는 의도 분석 정보를 단말기(100)에 전송할 수 있다.
NLP 서버(20)는 텍스트 데이터에 대해, 형태소 분석 단계, 구문 분석 단계, 화행 분석 단계, 대화 처리 단계를 순차적으로, 수행하여, 의도 분석 정보를 생성할 수 있다.
형태소 분석 단계는 사용자가 발화한 음성에 대응하는 텍스트 데이터를 의미를 지닌 가장 작은 단위인 형태소 단위로 분류하고, 분류된 각 형태소가 어떤 품사를 가지는지를 결정하는 단계이다.
구문 분석 단계는 형태소 분석 단계의 결과를 이용하여, 텍스트 데이터를 명사구, 동사구, 형용사 구 등으로 구분하고, 구분된 각 구들 사이에, 어떠한 관계가 존재하는지를 결정하는 단계이다.
구문 분석 단계를 통해, 사용자가 발화한 음성의 주어, 목적어, 수식어들이 결정될 수 있다.
화행 분석 단계는 구문 분석 단계의 결과를 이용하여, 사용자가 발화한 음성에 대한 의도를 분석하는 단계이다. 구체적으로, 화행 분석 단계는 사용자가 질문을 하는 것인지, 요청을 하는 것인지, 단순한 감정 표현을 하는 것인지와 같은 문장의 의도를 결정하는 단계이다.
대화 처리 단계는 화행 분석 단계의 결과를 이용하여, 사용자의 발화에 대해 대답을 할지, 호응을 할지, 추가 정보를 문의하는 질문을 할지를 판단하는 단계이다.
NLP 서버(20)는 대화 처리 단계 후, 사용자가 발화한 의도에 대한 답변, 호응, 추가 정보 문의 중 하나 이상을 포함하는 의도 분석 정보를 생성할 수 있다.
한편, NLP 서버(20)는 단말기(100)로부터 텍스트 데이터를 수신할 수도 있다. 예를 들어, 단말기(100)가 음성 텍스트 변환 기능을 지원하는 경우, 단말기(100)는 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 NLP 서버(20)에 전송할 수 있다.
음성 합성 서버(30)는 기 저장된 음성 데이터들을 조합하여, 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 모델로 선정된 한 사람의 음성을 녹음하고, 녹음된 음성을 음절 또는 단어 단위로 분할할 수 있다. 음성 합성 서버(30)는 음절 또는 단어 단위로, 분할된 음성을 내부 또는 외부의 데이터 베이스에 저장할 수 있다.
음성 합성 서버(30)는 주어진 텍스트 데이터에 대응하는 음절 또는 단어를 데이터 베이스로부터 검색하고, 검색된 음절 또는 단어들의 조합을 합성하여, 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 복수의 언어들 각각에 대응하는 복수의 음성 언어 그룹들을 저장하고 있을 수 있다.
예를 들어, 음성 합성 서버(30)는 한국어로 녹음된 제1 음성 언어 그룹, 영어로, 녹음된 제2 음성 언어 그룹을 포함할 수 있다.
음성 합성 서버(30)는 제1 언어의 텍스트 데이터를 제2 언어의 텍스트로 번역하고, 제2 음성 언어 그룹을 이용하여, 번역된 제2 언어의 텍스트에 대응하는 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 생성된 합성 음성을 단말기(100)에 전송할 수 있다.
음성 합성 서버(30)는 NLP 서버(20)로부터 의도 분석 정보를 수신할 수 있다.
음성 합성 서버(30)는 의도 분석 정보에 기초하여, 사용자의 의도를 반영한, 합성 음성을 생성할 수 있다.
일 실시 예에서, STT 서버(10), NLP 서버(20) 및 음성 합성 서버(30)는 하나의 서버로 구현될 수 있다.
위에서, 설명된 STT 서버(10), NLP 서버(20) 및 음성 합성 서버(30) 각각의 기능은 단말기(100)에서도 수행될 수도 있다. 이를 위해, 단말기(100)는 복수의 프로세서들을 포함할 수 있다.
도 3은 본 발명의 실시 에에 따른 세탁 스케쥴링 장치의 동작 방법을 설명하기 위한 도면이다.
도 3을 참고하면 본 발명의 실시 예에 따른 세탁 스케쥴링 장치의 동작 방법은, 복수의 세탁물을 각각 나타내는 복수의 단어가 포함된 음성을 수신하는 단계(S310), 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력하여 워드 임베딩 하는 단계(S330), 복수의 단어 각각이 나타내는 하나 이상의 특성을 획득하는 단계(S350) 및 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 복수의 세탁물의 세탁을 스케쥴링 하는 단계(S370)를 포함할 수 있다.
상술한 단계들을 설명함에 앞서, 세탁을 스케쥴링 하기 위하여 필요한 특성에 대해서는 도 4를 참고하며, 학습 모델을 트레이닝 하는 방법에 대하여 도 5를 참고하여 설명한다.
도 4는 세탁을 스케쥴링 하기 위하여 필요한 특성을 도시한 도면이다.
여기서 세탁을 스케쥴링 하기 위하여 필요한 특성이란, 세탁물이 가질 수 있는 수많은 특성 중 세탁 스케쥴링 장치에서 인식하여 세탁의 스케쥴링에 반영하는 특성을 의미할 수 있다.
구체적으로, 세탁을 스케쥴링 하기 위하여 필요한 특성은 다양하게 존재할 수 있다. 이 경우 세탁을 스케쥴링 하기 위하여 필요한 특성은 다양한 기준으로 분류될 수 있다.
예를 들어 세탁을 스케쥴링 하기 위하여 필요한 특성은, 세탁물의 종류, 옷감, 색상, 브랜드, 대상 연령 등으로 분류될 수 있다.
여기서 세탁물의 종류는 상의, 하의, 속옷, 점퍼, 코트 등을 포함할 수 있다.
또한 옷감은, 면, 실크, 폴리에스터, 마 등의 재질 등을 포함할 수 있다.
또한 색상은 검은, 흰, 파란, 빨강 등을 포함할 수 있다.
또한 대상 연령은, 성인 남성, 유아, 어린이, 노인, 성인 여성 등을 포함할 수 있다.
한편 세탁을 스케쥴링 하기 위하여 필요한 하나의 특성은 다양하게 불릴 수 있다. 예를 들어 “검은”이라는 특성은 실제로 사용자로부터 “어두운”, “블랙”, “검정”, “깜장” 등으로 불릴 수 있다.
따라서 세탁과 관련된 다양한 표현들을 세탁기에서 인식해야 하는 특성으로 분류하는 것이 필요하다.
도 5는 세탁 스케쥴링 장치에 탑재되는 학습 모델의 트레이닝 방법을 설명하기 위한 도면이다.
워드 임베딩(word embedding)은, 단어를 수치화 하여 벡터 공간 상에 나타내는 기법을 의미한다.
그리고 뉴럴 네트워크는, 수신되는 음성 데이터에 대하여 워드 임베딩(word embedding)을 수행하도록 학습될 수 있다.
구체적으로 뉴럴 네트워크는 훈련 데이터로써 세탁물을 나타내는 수많은 표현들을 포함하는 음성 데이터를 제공받을 수 있다.
예를 들어 티셔츠라는 동일한 세탁물에 대하여, 다양한 사투리로 발음한 티셔츠, 다양한 억양으로 발음한 티셔츠, 티, 티샤쓰 등의 다양한 표현이 있을 수 있다.
다른 예를 들어 청바지라는 동일한 세탁물에 대하여, 청바지, 진, 리바이스 등의 다양한 표현이 있을 수 있다.
다른 예를 들어 세탁물에는 수많은 수식어가 사용될 수 있다. 즉 검은 티, 검정 티, 깜장 티, 하얀 티, 흰 티, 긴팔 티, 반팔 티 등의 다양한 표현이 존재할 수 있다.
그리고, 이와 같이 세탁물을 나타내는 수많은 표현들을 포함하는 음성 데이터는 뉴럴 네트워크에 훈련 데이터로써 제공될 수 있다.
한편 훈련 과정에서 뉴럴 네트워크는 훈련 데이터로부터 패턴을 찾고, 훈련 데이터가 패턴에 따라 클러스터링 되도록 뉴럴 네트워크의 파라미터를 업데이트 할 수 있다.
한편 뉴럴 네트워크는 워드투벡터(Word2Vec) 기법을 통하여 세탁물과 관련된 단어를 벡터로 표현하고 벡터 공간 상에 단어를 임베딩 할 수 있다.
이러한 워드투벡터(Word2Vec) 기법을 수행하기 위하여, 뉴럴 네트워크에는 오토 인코더(Auto Encoder), CBOW, Skip-Gram 등이 사용될 수 있다.
한편 훈련 데이터를 통하여 학습이 진행될 수록, 동일한 의미이거나 관련도가 높은 단어들끼리 벡터 공간 상에서 하나의 군집으로 모이게 되기 때문에, 훈련 데이터가 패턴이 따라 클러스터링 될 수 있다.
이 경우 동일한 의미이거나 관련도가 높은 단어가 모인 군집은 세탁물의 하나 이상의 특성을 나타낼 수 있다.
예를 들어 다양한 사투리로 발음한 티셔츠, 다양한 억양으로 발음한 티셔츠, 티, 티샤쓰 와 같은 음성 데이터들이 트레이닝된 뉴럴 네트워크에 입력되는 경우, 다양한 억양으로 발음한 티셔츠, 티, 티샤쓰에 각각 대응하는 벡터들은 제1 군집으로 모일 수 있다. 그리고 제1 군집은 티셔츠라는 세탁물의 특성을 나타낼 수 있다.
한편 워드투벡터(Word2Vec) 기법을 이용한 워드 임베딩(word embedding)은 일반적으로 비 지도 학습에 의해 이루어 진다. 다만 지도 학습을 일부 병행함으로써, 발음이 상이하거나 의미가 다소 다르지만, 세탁물의 스케쥴링에 있어서는 하나의 의미로 해석되어도 되는 단어들이 하나의 영역에 모일 수 있다.
구체적으로 청바지, 진, 리바이스는 발음이 전혀 상이하나, 세탁물의 스케쥴링에 있어서는 하나의 의미(청바지)로 해석되어야 한다.
또한 팬티와 거들은 실제 의미와 발음은 상이하나, 세탁물의 스케쥴링에 있어서는 하나의 의미(속옷)으로 해석되어도 된다.
따라서 뉴럴 네트워크에는 세탁물의 스케쥴링에 필요한 특성이 훈련 데이터에 레이블링 되어 훈련 데이터와 함께 입력될 수 있다.
에를 들어 청바지, 진, 리바이스라는 음성 데이터에는 청바지(또는 청바지를 나타내는 특징 벡터)가 레이블링 되어 훈련 데이터와 함께 입력될 수 있다. 또 다른 예를 들어 팬티와 거들에는 속옷이 레이블링 되어 훈련 데이터와 함께 입력될 수 있다.
이 경우 훈련 데이터를 통하여 학습이 진행될 수록, 단어들이 세탁물의 스케쥴링에 필요한 특성에 따라 클러스터링 될 수 있다.
예를 들어 청바지, 진, 리바이스에 각각 대응하는 벡터는 제2 군집으로 모일 수 있다. 이 경우 제2 군집은 청바지라는, 세탁물의 스케쥴링에 필요한 특성을 나타낼 수 있다.
다른 예를 들어 팬티와 거들에 각각 대응하는 벡터는 제3 군집으로 모일 수 있다. 이 경우 제3 군집은 속옷이라는, 세탁물의 스케쥴링에 필요한 특성을 나타낼 수 있다.
한편 하나의 단어는 복수의 세부 단어로 구성될 수 있다. 그리고 앞서 설명한 훈련 과정은 세부 단어에도 그대로 적용될 수 있다.
한편 이러한 트레이닝 과정은 인공 신경망의 학습 장치에서 수행될 수 있다.
인공 신경망의 학습 장치는, 데이터 입력부, 프로세서 및 뉴럴 네트워크를 포함할 수 있다.
데이터 입력부는 훈련 데이터를 수신하거나 훈련 데이터 및 훈련 데이터에 레이블링된 데이터를 수신할 수 있다.
프로세서는 훈련 데이터(training data) 또는 훈련 데이터 및 훈련 데이터에 레이블링된 데이터를 포함하는 트레이닝 셋(training set)을 뉴럴 네트워크에 입력하여 인공 신경망을 학습시킬 수 있다. 이에 따라 뉴럴 네트워크의 파라미터가 결정될 수 있다.
이와 같이 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭할 수 있다.
한편 학습 모델(a trained model)은 훈련 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있다.
한편 학습 모델은 세탁 스케쥴링 장치에 새롭게 탑재되거나 세탁기 내 기존의 학습 모델을 대체할 수 있다.
한편 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 세탁 스케쥴링 장치의 메모리에 저장될 수 있다.
다시 도 3으로 돌아가 S310 및 S330에 대하여 설명한다.
프로세서는 사용자로부터 복수의 세탁물을 각각 나타내는 복수의 단어가 포함된 음성을 입력부를 통하여 수신할 수 있다.
본 명세서에서 단어는, 하나의 세탁물을 지칭하는 것일 수 있다. 예를 들어 “검은 티”은 하나의 세탁물을 지칭하는 것으로 하나의 단어일 수 있다. 또한 “검은 어른 청바지”도 하나의 세탁물을 지칭하는 것으로 하나의 단어일 수 있다. 다른 예를 들어 사용자가 “바지하고 치마”라고 발화한 경우, “바지”와 “치마”는 각각 별도의 세탁물을 지칭하는 것이기 때문에, 사용자의 음성에는 두 개의 단어가 포함될 수 있다.
한편 프로세서는 수신된 음성을 변환하여 음성 데이터를 생성하고, 생성된 음성 데이터를 학습 모델에 입력할 수 있다.
다음은 S350에 대하여 도 6을 참고하여 설명한다.
도 6은 본 발명의 실시 예에 따른, 음성에 포함되는 복수의 단어를 워드 임베딩 하는 방법을 설명하기 위한 도면이다.
프로세서는 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력하여 워드 임베딩(word embedding) 할 수 있다.
구체적으로 프로세서는 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력할 수 있다.
이 경우 학습 모델은 설정된 파라미터에 따라 음성 데이터에 포함되는 복수의 단어 각각을 임베딩 할 수 있다. 그리고 학습 모델이 워드투벡터(Word2Vec) 기법을 사용하는 경우, 복수의 단어 각각은 벡터로 표현되어 도 6에서 도시하는 바와 같이 벡터 공간 상에 임베딩 될 수 있다.
즉 사용자의 음성에 제1 단어 및 제2 단어가 포함된 경우, 학습 모델은 제1 단어를 제1 군집으로 클러스터링 하고, 제2 단어를 제2 군집으로 클러스터링 할 수 있다.
한편 복수의 군집 각각은 세탁을 스케쥴링 하기 위하여 필요한 하나 이상의 특성에 대응할 수 있다. 예를 들어 제1 군집은 청바지, 제2 군집은 흰옷, 제3 군집은 셔츠, 제4 군집은 검정, 제5 군집은 하얀, 제6 군집은 속옷에 대응할 수 있다. 다른 예를 들어 와이셔츠가 클러스터링되는 제1 군집은, 와이셔츠의 특성인 상의, 면, 흰색, 성인 남성의 특성에 대응할 수 있다.
따라서 프로세서는 복수의 단어 각각이 클러스터링 된 결과에 따라 복수의 단어 각각이 나타내는 하나 이상의 특성을 획득할 수 있다.
한편 학습 모델은 제1 세탁물을 나타내는 제1 단어 및 제1 세탁물을 나타내는 제2 단어를 제1 세탁물을 나타내는 하나의 군집으로 클러스터링 할 수 있다. 이 경우 프로세서는 제1 단어 및 제2 단어로부터 동일한 특성을 획득할 수 있다.
예를 들어 제1 세탁물이 티 셔츠 인 경우, 단어 “티 셔츠”는 제1 세탁물을 나타내고, 단어 “티 샤쓰” 역시 제1 세탁물을 나타낼 수 있다. 이 경우 학습 모델은 단어 “티 셔츠”와 단어 “티 샤쓰”를 동일한 군집으로 클러스터링 할 수 있다. 그리고 프로세서는 단어 “티 셔츠”와 단어 “티 샤쓰”로부터 동일한 특성인 티 셔츠를 획득할 수 있다.
다른 예를 들어 제2 세탁물이 청바지인 경우, 특정 억양의 “청바지”는 제2 세탁물을 나타내고, 억양이 없는 “청바지” 역시 제2 세탁물을 나타낼 수 있다. 이 경우 학습 모델은 특정 억양의 “청바지”와 억양이 없는 “청바지”를 동일한 군집으로 클러스터링 할 수 있다. 그리고 프로세서는 특정 억양의 “청바지”와 억양이 없는 “청바지”로부터 동일한 특성인 티 셔츠를 획득할 수 있다.
한편 하나의 단어는 복수의 세부 단어를 포함할 수 있으며, 프로세서는 복수의 세부 단어 각각이 나타내는 하나 이상의 특성을 획득할 수 있다. 예를 들어, 프로세서는 제1 세탁물을 나타내는 제1 단어를 학습모델에 입력하여 제1 단어가 나타내는 복수의 특성을 획득할 수 있다.
구체적으로 프로세서는 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력할 수 있다.
이 경우 학습 모델은 설정된 파라미터에 따라 음성 데이터에 포함되는 복수의 단어 각각을 임베딩 할 수 있다. 그리고 학습 모델이 워드투벡터(Word2Vec) 기법을 사용하는 경우, 복수의 세부 단어 각각은 벡터로 표현되어 도 6에서 도시하는 바와 같이 벡터 공간 상에 임베딩 될 수 있다.
즉 사용자의 음성에 제1 단어 및 제2 단어가 포함되고 제1 단어는 제1 세부 단어 및 제2 세부 단어를 포함하는 경우, 학습 모델은 제1 세부 단어를 제1 군집으로 클러스터링 하고, 제2 세부 단어를 제2 군집으로 클러스터링 하고, 제2 단어를 제3 군집으로 클러스터링 할 수 있다.
그리고 프로세서는 복수의 세부 단어 각각이 클러스터링 된 결과에 따라 복수의 세부 단어 각각이 나타내는 특성을 획득할 수 있다. 이에 따라 프로세서는 하나의 단어로부터 복수의 특성을 획득할 수 있다.
예를 들어 단어가 “흰 바지”인 경우, “흰 바지”는 “흰”이라는 제1 세부 단어 및 “바지”라는 제2 세부 단어를 포함할 수 있다.
이 경우 학습 모델은 제1 세부 단어(흰)를 하얀이라는 특성에 대응하는 제1 군집으로 클러스터링 하고, 제2 세부 단어(바지)를 바지라는 특성에 대응하는 제2 군집으로 클러스터링 할 수 있다.
이에 따라 프로세서는 하나의 단어 “흰 바지”로부터 하얀이라는 특성 및 바지라는 특성을 획득할 수 있다.
한편 프로세서는 벡터 연산을 통하여 하나의 단어가 나타내는 복수의 특성을 획득할 수 있다.
구체적으로, 제1 단어를 입력 받은 학습 모델이 제1 특성 벡터를 출력하면, 프로세서는 제1 특성 벡터를 제1 특성 벡터와 관계하는 제2 특성 벡터와 벡터 연산 하여 제1 단어가 나타내는 복수의 특성을 획득할 수 있다.
이와 관련해서는 도 7을 참고하여 설명한다.
도 7은 본 발명의 실시 예에 따른, 워드투벡터(Word2Vec) 기법에 따른 벡터 공간을 도시한다.
워드 임베딩(word embedding) 및 워드투벡터(Word2Vec) 기법의 특성 상, 유사한 의미의 단어나 함께 쓰일 수 있는 단어들은 유사한 공간에 모일 수 있다.
예를 들어, ‘먹다’라는 단어가 벡터 공간의 특정 지점에 위치하는 경우, 그 근처에는 ‘먹었다’, ‘먹을 거다’, ‘먹고 싶다’ 등 ‘먹다’라는 단어와 유사한 관계가 있는 단어들이 위치할 수 있다.
다른 예를 들어, ‘먹다’라는 단어가 벡터 공간의 특정 지점에 위치하는 경우, 그 근처에는 치킨, 피자, 케이크 등 “먹다”와 함께 쓰일 수 있는 단어들이 위치할 수 있다.
이와 같이 단어와 단어가 유사하거나 함께 쓰일 수 있어서 벡터 공간 상에 유사한 공간에 모이는 관계를, 본 명세서에서는 “단어와 단어가 관계한다.” 또는 “단어의 특성 벡터와 단어의 특성 벡터가 관계한다”고 표현할 수 있다.
도 6을 참고하면, 본 발명에 따른 학습 모델의 특성 상 “속옷”은 “흰 속옷” 및 “검은 속옷”와 유사한 공간에 배치될 수 있다.
그리고 프로세서는 제1 단어를 입력 받은 학습 모델이 제1 특성 벡터를 출력하면, 제1 특성 벡터를 상기 제1 특성 벡터와 관계하는 제2 특성 벡터와 벡터 연산 하여 제1 단어가 나타내는 복수의 특성을 획득할 수 있다.
구체적으로, 앞서 설명한 세부 단어를 사용하는 것 없이, 단어 단위로 클러스터링을 한다고 가정한다. 그리고 “검은 티”가 학습 모델에 입력되어 “검은 티”에 대응하는 제1 특성 벡터가 출력되었다고 가정한다.
이 경우 프로세서는 제1 특성 벡터를, 제1 특성 벡터와 관계하는 제2 특성 벡터와 벡터 연산 할 수 있다.
예를 들어 검은 티의 제1 특성 벡터는 티 셔츠의 제2 특성 벡터와 관계할 수 있다, 그리고 제1 특성 벡터가 [9, 7]이고, 제2 특성 벡터가 [6, 4]인 경우, 프로세서는 벡터 연산을 통하여 [3, 3]이라는 제3 특성 벡터를 산출할 수 있다. 이 경우 제3 특성 벡터는, 검은 티로부터 티 셔츠를 뺀, “검은 색”일 수 있다.
이와 같은 방식으로 프로세서는 하나의 단어로부터 하나의 단어가 나타내는 복수의 특성을 획득할 수 있다.
도 8은 본 발명의 실시 예에 따른, 세탁물에 적합한 세탁 정보를 획득하는 방법을 설명하기 위한 도면이다.
프로세서는 복수의 단어 각각이 나타내는 하나 이상의 특성을 이용하여 데이터 베이스를 검색함으로써, 복수의 세탁물 각각의 세탁 정보를 획득할 수 있다.
예를 들어 제1 단어 “와이셔츠”가 나타내는 하나 이상의 특성은 상의(810), 면(820), 흰색(830), 성인 남성(840), 셔츠(850)일 수 있다.
한편 세탁 정보는 세탁물에 대한 세탁 방식을 나타내는 정보일 수 있다.
예를 들어 방수 자켓의 세탁 정보(860)는 세탁기 가능, 섭씨 30도 이하, 울/실크 세제, 표백제 사용 불가, 추가 헹굼 필요, 탈수 금지, 건조기 사용 불가 등의, 방수 자켓에 대한 세탁 방식을 포함 할 수 있다.
다른 예를 들어 양말/속옷의 세탁 정보(890)는 세탁기 가능, 표준 프로그램에 의한 세탁, 섭씨 30도 이하, 추가 헹굼 불필요, 탈수 가능, 건조 가능, 탈수 시 거의 건조 됨으로써 별도의 열풍 건조 필요 없음 등의, 양말/속옷에 대한 세탁 방식을 포함할 수 있다.
이 경우 프로세서는 제1 단어가 나타내는 하나 이상의 특성에 대응하는 세탁 정보들을 모두 검색할 수 있다.
예를 들어 “상의”의 특성(810)은 셔츠/저지의 세탁 정보(900)와 양말/속옷의 세탁 정보(890)에 대응할 수 있다.
다른 예를 들어 “흰색”의 특성(830)은 소프트 쉘의 세탁 정보(870)와 셔츠/저지의 세탁 정보(900)에 대응할 수 있다.
그리고 프로세서는 가장 많이 검색되는 세탁 정보를 제1 단어(제1 세탁물)에 사용할 세탁 정보로 결정할 수 있다.
이와 같은 방식으로 제2 단어(제2 세탁물)에 사용될 세탁 정보도 결정될 수 있다.
한편 데이터 베이스의 검색 과정은 세탁 스케쥴링 장치뿐만 아니라 데이터베이스 서버에서도 수행될 수 있다.
도 9는 본 발명의 실시 예에 따른 세탁 스케쥴링 방법을 설명하기 위한 도면이다.
프로세서는 복수의 세탁물의 세탁을 하나의 세탁 장치에서 세탁하도록 스케쥴링 할 수 있다,
구체적으로 제1 세탁물에 대응하는 제1 세탁 정보를 획득하고, 제2 세탁물에 대응하는 제2 세탁 정보가 획득된 경우, 프로세서는 제1 세탁 정보 및 제2 세탁 정보를 이용하여 제1 세탁물 및 제2 세탁물의 세탁을 스케쥴링 할 수 있다.
예를 들어 제1 세탁물이 청바지이고 제1 세탁 정보에 흰옷과 함께 세탁 불가라는 정보가 포함되며, 제2 세탁물이 와이셔츠이고 제2 세탁 정보에 어두운 옷과 함께 세탁 불가라는 정보가 포함되는 경우, 프로세서는 제1 세탁물과 제2 세탁물이 세탁기에서 별도로 세탁되도록 스케쥴링 할 수 있다.
이하에서는 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 스케쥴링 하는 방식을 설명한다.
프로세서는, 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 분류 할 수 있다.
구체적으로 프로세서는, 복수의 세탁물에 각각 대응하는 세탁 정보를 이용하여 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 분류 할 수 있다.
예를 들어 청바지가 세탁기에서 세탁되면 안되는 경우, 프로세서는 청바지를 세탁기 대신 스타일러에서 세탁되도록 분류할 수 있다.
다른 예를 들어 흰 셔츠에 물세탁, 건조 및 스타일러에 의한 구김 방지가 필요한 경우, 프로세서는 흰 셔츠가 세탁기, 건조기 및 스타일러에서 세탁되도록 분류할 수 있다. 이 경우 프로세서는 세탁의 순서까지 지정하여, 흰 셔츠를 먼저 세탁기에서 세탁하고 건조기에서 건조한 후 스타일러에서 스타일링 할 것을 결정할 수 있다.
또 다른 예를 들어 특정 세탁물은 세탁기를 이용하면 되고 건조기를 이용할 필요가 없는 경우, 프로세서는 특정 세탁물이 세탁기에서 세탁되도록 분류할 수 있다.
한편 프로세서는, 다양한 조건들을 만족하면서도 가장 빠른 세탁이 수행될 수 있도록, 복수의 세탁물의 세탁 일정을 스케쥴링 할 수 있다.
한편 프로세서는 복수의 조건 및 복수의 세탁물 각각의 세탁 정보에 기초하여 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 분류할 수 있다.
여기서 복수의 조건은, 사용자 설정, 세탁 유의점, 함께 세탁 불가능 세탁물 및 세탁물 당 최적 세탁 기기 중 적어도 하나를 포함할 수 있다.
여기서 사용자 설정은, 세탁 일정의 스케쥴링에 영향을 미치도록 설정한 사용자의 입력을 의미할 수 있다. 예를 들어 사용자로부터 “청바지는 따로 빨꺼야”, “청바지를 먼저 빨꺼야”라는 입력이 수신된 경우, 프로세서는 이러한 조건을 고려하여 스케쥴링을 할 수 있다.
또한 세탁 유의점은, 더운 물 세탁 금지, 건조 금지, 특정 세제 사용 금지 등을 의미하는 것으로, 세탁 정보로부터 획득될 수 있다.
또한 같이 세탁하면 안되는 세탁물은 청바지와 흰옷 등을 의미할 수 있다며, 최적의 세탁기기는 특정 세탁물에 가장 적합한 세탁 장치를 의미할 수 있다. 세탁하면 안되는 세탁물과 최적의 세탁 기기 역시 세탁 정보로부터 획득될 수 있다.
한편 프로세서는 복수의 조건 및 복수의 세탁물 각각의 세탁 정보 및 복수의 조건의 우선 순위까지 고려하여 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 분류할 수 있다.
이 경우 우선 순위는 세탁 스케쥴링 장치에 디폴트로 설정될 수도 있으며, 사용자 입력에 의하여 수정될 수도 있다.
도 10은 스케쥴링된 세탁 일정의 출력 방법을 설명하기 위한 도면이다.
프로세서는 스케쥴링 된 세탁 일정을 출력할 수 있다. 이 경우 프로세서는 세탁 일정을 시각적으로 디스플레이하도록 디스플레이부를 제어하거나, 세탁 일정에 대응하는 음성을 출력하도록 음향 출력부를 제어할 수 있다.
도 11은 본 발명의 실시 예에 따른 세탁 스케쥴링 시스템의 세탁 서비스 제공 방법을 설명하기 위한 도면이다.
프로세서는 복수의 세탁 장치 각각에 분류된 세탁물에 대한 정보 및 세탁 일정을 전송할 수 있다.
구체적으로 프로세서는 복수의 세탁 장치 중 제1 세탁 장치(200)에 제1 세탁 장치로 분류된 세탁물에 대한 정보 및 제1 세탁 장치(200)의 제1 세탁 일정을 전송할 수 있다.
또한 프로세서는 복수의 세탁 장치 중 제2 세탁 장치(300)에 제2 세탁 장치로 분류된 세탁물에 대한 정보 및 제2 세탁 장치(300)의 제2 세탁 일정을 전송할 수 있다.
한편 복수의 세탁 장치 각각은, 수신된 세탁 일정에 기초하여 세탁 모드를 결정할 수 있다.
구체적으로 세탁 일정에는, 세탁 시간, 세탁 코스, 물 온도, 사용 세제 등의 세탁 방식에 대한 정보가 포함될 수 있다.
이 경우 제1 세탁 장치는 제1 세탁 일정에 기초하여 세탁 모드를 설정할 수 있다.
또한 제2 세탁 장치는 제2 세탁 일정에 기초하여 세탁 모드를 설정할 수 있다.
한편 복수의 세탁 장치 각각은, 해당하는 세탁 장치에서 수행되는 세탁에 대한 안내, 즉 해당하는 세탁 장치로 분류된 세탁물에 대한 정보 및 설정된 세탁 모드 중 적어도 하나를 출력할 수 있다.
예를 들어 제1 세탁 장치(200)는, 아기옷 3벌은 저에게 넣어주세요. 아기옷 세탁 모드로 진행합니다. 라는 음성을 출력할 수 있다.
한편 복수의 세탁 장치에는 사람의 접근을 감지하는 감지 센서가 탑재될 수 있다. 이 경우 복수의 세탁 장치는 사용자의 접근이 감지되는 경우 해당하는 세탁 장치로 분류된 세탁물에 대한 정보 및 설정된 세탁 모드 중 적어도 하나를 출력할 수 있다.
예를 들어 사람이 먼저 제1 세탁 장치(200)로 이동하는 경우, 제1 세탁 장치(200)는, 아기옷 3벌은 저에게 넣어주세요. 아기옷 세탁 모드로 진행합니다. 라는 음성을 출력할 수 있다. 그리고 제1 세탁 장치(200)에 아기옷 3벌을 넣은 사용자가 제2 세탁 장치(300)로 이동하는 경우, 제2 세탁 장치(300)는 “셔츠와 쟈켓은 저에게 넣어 주세요. 표준 모드로 진행합니다.”라는 음성을 출력할 수 있다.
한편 복수의 세탁 장치에는 촬영된 영상을 이용하여 사람을 구분하는 사람 인식 장치가 탑재될 수 있다. 이 경우 복수의 세탁 장치는 세탁 명령을 발화한 사용자와 동일한 사용자가 접근할 때 해당하는 세탁 장치로 분류된 세탁물에 대한 정보 및 설정된 세탁 모드 중 적어도 하나를 출력할 수 있다.
한편 복수의 세탁 장치는, 해당하는 세탁 장치에서 세탁 모드를 설정하기 위한 별도의 사용자 입력 없이도 세탁 모드를 설정하고, 설정된 세탁 모드에 따라 세탁을 수행할 수 있다.
예를 들어 제1 세탁 장치는 제1 세탁 일정을 수신한 상태이며, 제1 세탁 일정을 이용하여 사용자의 별도 입력 없이도 세탁 모드를 설정할 수 있다.
그리고 사용자로부터의 명시적인 입력(세탁 시작해줘 라는 음성 입력)이나 묵시적인 입력(세탁물을 넣고 도어를 닫는 입력)이 감지되면, 제1 세탁 장치는 세탁 모드를 설정하기 위한 사용자 입력 없이도, 결정된 세탁 모드에 따라 세탁을 수행할 수 있다.
도 12는 본 발명의 실시 예에 따른, 일부 세탁물의 추가시의 동작 방법을 설명하기 위한 도면이다.
추가 세탁물 투입을 위한 입력이 수신되는 경우, 프로세서는 복수의 세탁 장치의 동작 상태에 기초하여 추가 세탁물이 세탁되는 세탁 장치를 선택할 수 있다.
예를 들어 “셔츠를 안 넣었는데 추가해줘”라는 입력이 수신된 경우, 프로세서는 복수의 세탁 장치의 동작 상태를 파악하고, 현재 동작 중인 세탁 장치를 제외한 다른 세탁 장치에서 추가 세탁물이 세탁되도록 결정할 수 있다.
이 경우 프로세서는 선택된 세탁 장치의 세탁 모드를 재 설정할 수 있다.
구체적으로 추가되는 세탁물의 특성에 기초하여, 프로세서는 추가되는 세탁물의 세탁 정보를 반영한 새로운 세탁 일정을 생성하여 출력하고, 선택된 세탁 장치에 새로운 세탁 일정을 전송할 수 있다.
이와 같이 본 발명은, 세탁물을 나타내는 다양한 표현들로부터 세탁 장치에서 필요한 특성을 정확히 획득할 수 있는 장점이 있다.
또한 본 발명은 파악된 특성을 이용하여 다양한 세탁 장치에서 최적의 세탁이 수행될 수 있도록 세탁 일정을 스케쥴링 할 수 있는 장점이 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (12)

  1. 사용자로부터 복수의 세탁물을 각각 나타내는 복수의 단어가 포함된 음성을 수신하는 입력부; 및
    상기 수신된 음성에 대응하는 음성 데이터를 학습 모델에 입력하여 워드 임베딩(word embedding) 함으로써 상기 복수의 단어 각각이 나타내는 하나 이상의 특성을 획득하고, 상기 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 상기 복수의 세탁물의 세탁 일정을 스케쥴링 하는 프로세서;를 포함하는
    세탁 스케쥴링 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 상기 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 분류 하는
    세탁 스케쥴링 장치.
  3. 제 1항에 있어서,
    상기 학습 모델은,
    제1 세탁물을 나타내는 제1 단어 및 상기 제1 세탁물을 나타내는 제2 단어를 상기 제1 세탁물을 나타내는 하나의 군집으로 클러스터링 하여, 상기 제1 단어 및 상기 제2 단어로부터 동일한 특성을 획득하는
    세탁 스케쥴링 장치.
  4. 제 1항에 있어서,
    상기 프로세서는,
    제1 세탁물을 나타내는 제1 단어를 상기 학습 모델에 입력하여 상기 제1 단어가 나타내는 복수의 특성을 획득하는
    세탁 스케쥴링 장치.
  5. 제 4항에 있어서,
    상기 프로세서는,
    상기 제1 단어를 입력 받은 상기 학습 모델이 제1 특성 벡터를 출력하면, 상기 제1 특성 벡터를 상기 제1 특성 벡터와 관계하는 제2 특성 벡터와 벡터 연산 하여 상기 제1 단어가 나타내는 복수의 특성을 획득하는
    세탁 스케쥴링 장치.
  6. 제 1항에 있어서,
    상기 하나 이상의 특성은,
    세탁물의 종류, 옷감, 색상, 브랜드 및 대상 연령 중 적어도 하나로 분류되는
    세탁 스케쥴링 장치.
  7. 제 2항에 있어서,
    상기 프로세서는,
    상기 복수의 단어 각각이 나타내는 하나 이상의 특성을 이용하여 데이터베이스를 검색함으로써 상기 복수의 세탁물 각각의 세탁 정보를 획득하고, 상기 복수의 세탁물 각각의 세탁 정보에 기초하여 상기 복수의 세탁물이 상기 복수의 세탁 장치에서 나뉘어 세탁되도록 분류하는
    세탁 스케쥴링 장치.
  8. 제 7항에 있어서,
    상기 프로세서는,
    복수의 조건의 우선 순위 및 상기 복수의 세탁물 각각의 세탁 정보에 기초하여 상기 복수의 세탁물이 상기 복수의 세탁 장치에서 나뉘어 세탁되도록 분류하고,
    상기 복수의 조건은,
    사용자 설정, 세탁 유의점, 함께 세탁 불가능 세탁물 및 세탁물 당 최적 세탁 기기 중 적어도 하나를 포함하는
    세탁 스케쥴링 장치.
  9. 제 2항에 있어서,
    상기 복수의 세탁 장치와 통신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 복수의 세탁 장치 중 제1 세탁 장치에 상기 제1 세탁 장치로 분류된 세탁물에 대한 정보 및제1 세탁 장치의 세탁 일정을 전송하고,
    상기 복수의 세탁 장치 중 제2 세탁 장치에 상기 제2 세탁 장치로 분류된 세탁물에 대한 정보 및제2 세탁 장치의 세탁 일정을 전송하는
    세탁 스케쥴링 장치.
  10. 제 2항에 있어서,
    상기 프로세서는,
    추가 세탁물 투입을 위한 입력이 수신되는 경우, 상기 복수의 세탁 장치의 동작 상태에 기초하여 상기 추가 세탁물이 세탁되는 세탁 장치를 선택하고 상기 선택된 세탁 장치의 세탁 모드를 재설정 하기 위한 명령을 전송하는
    세탁 스케쥴링 장치.
  11. 제1 기능의 세탁을 수행하는 제1 세탁 장치;
    제2 기능의 세탁을 수행하는 제2 세탁 장치; 및
    복수의 세탁물을 각각 나타내는 복수의 단어를 학습 모델에 입력하여 워드 임베딩 함으로써 상기 복수의 단어 각각이 나타내는 하나 이상의 특성을 획득하고, 상기 복수의 단어 각각이 나타내는 하나 이상의 특성에 기초하여 상기 복수의 세탁물이 복수의 세탁 장치에서 나뉘어 세탁되도록 분류하고, 상기 복수의 세탁 장치 중 제1 세탁 장치에 상기 제1 세탁 장치의 제1 세탁 일정을 전송하고, 상기 복수의 세탁 장치 중 제2 세탁 장치에 상기 제2 세탁 장치의 제2 세탁 일정을 전송하는 세탁 스케쥴링 장치를 포함하고,
    상기 제1 세탁 장치는,
    상기 제1 세탁 일정에 기초하여 세탁 모드를 설정한 후, 상기 제1 세탁 일정에 기초하여 설정된 세탁 모드에 따라 세탁을 수행하고,
    상기 제2 세탁 장치는,
    상기 제2 세탁 일정에 기초하여 세탁 모드를 설정한 후, 상기 제2 세탁 일정에 기초하여 설정된 세탁 모드에 따라 세탁을 수행하는
    세탁 스케쥴링 시스템.
  12. 제 11항에 있어서,
    상기 제1 세탁 장치는,
    상기 제1 세탁 장치로의 사용자의 접근이 감지되면 상기 제1 세탁 장치에서 수행되는 세탁에 대한 안내를 출력하고,
    상기 제2 세탁 장치는,
    상기 제2 세탁 장치로의 사용자의 접근이 감지되면 상기 제2 세탁 장치에서 수행되는 세탁에 대한 안내를 출력하는
    세탁 스케쥴링 시스템.
PCT/KR2018/015955 2018-12-14 2018-12-14 세탁 스케쥴링 장치 WO2020122293A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2018/015955 WO2020122293A1 (ko) 2018-12-14 2018-12-14 세탁 스케쥴링 장치
KR1020217011766A KR20210092197A (ko) 2018-12-14 2018-12-14 세탁 스케쥴링 장치
US16/600,294 US11227596B2 (en) 2018-12-14 2019-10-11 Laundry scheduling device
EP19211999.8A EP3667549B1 (en) 2018-12-14 2019-11-28 Laundry scheduling device
CN201911282458.XA CN111325349B (zh) 2018-12-14 2019-12-13 衣物调度装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/015955 WO2020122293A1 (ko) 2018-12-14 2018-12-14 세탁 스케쥴링 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/600,294 Continuation US11227596B2 (en) 2018-12-14 2019-10-11 Laundry scheduling device

Publications (1)

Publication Number Publication Date
WO2020122293A1 true WO2020122293A1 (ko) 2020-06-18

Family

ID=68731758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015955 WO2020122293A1 (ko) 2018-12-14 2018-12-14 세탁 스케쥴링 장치

Country Status (5)

Country Link
US (1) US11227596B2 (ko)
EP (1) EP3667549B1 (ko)
KR (1) KR20210092197A (ko)
CN (1) CN111325349B (ko)
WO (1) WO2020122293A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113818191B (zh) * 2020-06-19 2023-11-14 青岛海尔洗衣机有限公司 基于图像识别的洗涤控制方法、装置、设备及存储介质
CN113862954B (zh) * 2020-06-30 2024-03-12 青岛海尔洗衣机有限公司 语音处理方法及洗衣机
CN112882448B (zh) * 2021-01-12 2022-11-22 上海威士机械有限公司 吊袋式物流系统控制方法
CN113774639A (zh) * 2021-09-29 2021-12-10 广东好太太智能家居有限公司 一种智能晾衣机控制方法、装置、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173729A (ja) * 2002-11-25 2004-06-24 Sanyo Electric Co Ltd 洗濯機、乾燥機及びランドリー店システム
KR20070067386A (ko) * 2005-12-23 2007-06-28 엘지전자 주식회사 세탁기기 제어 시스템 및 제어방법
KR20090017826A (ko) * 2007-08-16 2009-02-19 엘지전자 주식회사 복합의류처리시스템
KR20140095779A (ko) * 2013-01-25 2014-08-04 엘지전자 주식회사 세탁기 및 세탁기 제어방법
KR20170122774A (ko) * 2015-03-10 2017-11-06 칭다오 하이어 워싱 머신 캄파니 리미티드 지능형 의류 세탁 관리 장치, 방법 및 세탁기

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096601B2 (en) 2003-12-26 2006-08-29 Lg Electronics Inc. Apparatus and method for controlling washing/drying system
US9003317B2 (en) 2011-10-03 2015-04-07 Whirlpool Corporation Method of sorting articles for treatment according to a cycle of operation implemented by an appliance
CN104240701B (zh) * 2013-06-10 2019-12-06 青海科瑞特富创业管理股份有限公司 汉语自然人语音控制洗衣机工作的方法
CN105637139A (zh) * 2013-10-16 2016-06-01 萨罗尼科斯贸易与服务一人有限公司 具有语音识别和响应能力的洗衣机和用于操作该洗衣机的方法
US9196243B2 (en) * 2014-03-31 2015-11-24 International Business Machines Corporation Method and system for efficient spoken term detection using confusion networks
GB2544070B (en) * 2015-11-04 2021-12-29 The Chancellor Masters And Scholars Of The Univ Of Cambridge Speech processing system and method
CN106245270B (zh) * 2016-08-31 2019-06-18 无锡小天鹅股份有限公司 洗衣机及其控制方法和控制系统
WO2018199543A1 (ko) 2017-04-25 2018-11-01 엘지전자 주식회사 의류처리장치와 의류처리장치의 제어방법 및 상기 의류처리장치를 포함하는 온라인 시스템
KR102070783B1 (ko) 2017-04-25 2020-01-29 엘지전자 주식회사 사용자가 수행한 코스 및 옵션의 패턴을 인공지능을 통해 학습하여 맞춤형 코스와 옵션을 추천하는 의류처리장치와 그 제어방법 및 상기 의류처리장치를 포함하는 온라인 시스템
KR102375800B1 (ko) * 2017-04-28 2022-03-17 삼성전자주식회사 음성 인식 서비스를 제공하는 전자 장치 및 그 방법
CN107574625A (zh) * 2017-08-18 2018-01-12 珠海格力电器股份有限公司 衣物的洗涤方法、装置、存储设备、移动终端及洗衣机
CN107481722A (zh) * 2017-08-21 2017-12-15 无锡小天鹅股份有限公司 语音控制方法、衣物处理装置及服务器
CN108130683A (zh) 2017-12-21 2018-06-08 迪尔阿扣基金两合公司 一种家用电器以及用于运行家用电器的方法
CN108914489B (zh) 2018-07-27 2021-02-05 北京儒博科技有限公司 洗衣机的控制方法、装置、洗衣机及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173729A (ja) * 2002-11-25 2004-06-24 Sanyo Electric Co Ltd 洗濯機、乾燥機及びランドリー店システム
KR20070067386A (ko) * 2005-12-23 2007-06-28 엘지전자 주식회사 세탁기기 제어 시스템 및 제어방법
KR20090017826A (ko) * 2007-08-16 2009-02-19 엘지전자 주식회사 복합의류처리시스템
KR20140095779A (ko) * 2013-01-25 2014-08-04 엘지전자 주식회사 세탁기 및 세탁기 제어방법
KR20170122774A (ko) * 2015-03-10 2017-11-06 칭다오 하이어 워싱 머신 캄파니 리미티드 지능형 의류 세탁 관리 장치, 방법 및 세탁기

Also Published As

Publication number Publication date
CN111325349B (zh) 2024-01-30
US20200193988A1 (en) 2020-06-18
EP3667549A1 (en) 2020-06-17
CN111325349A (zh) 2020-06-23
KR20210092197A (ko) 2021-07-23
US11227596B2 (en) 2022-01-18
EP3667549B1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
WO2020138624A1 (en) Apparatus for noise canceling and method for the same
WO2020122294A1 (ko) 세탁기
WO2020235712A1 (ko) 콘텐츠 기반의 스타일을 갖는 텍스트 또는 음성을 생성하는 인공 지능 장치 및 그 방법
WO2020122293A1 (ko) 세탁 스케쥴링 장치
WO2020235696A1 (ko) 스타일을 고려하여 텍스트와 음성을 상호 변환하는 인공 지능 장치 및 그 방법
WO2020213750A1 (ko) 객체를 인식하는 인공 지능 장치 및 그 방법
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019182265A1 (ko) 인공 지능 기기 및 그의 동작 방법
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2020138564A1 (ko) 전자 장치
WO2020246634A1 (ko) 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
WO2020213758A1 (ko) 음성으로 상호작용하는 인공 지능 장치 및 그 방법
WO2020138523A1 (ko) 세탁물 처리 장치 및 그의 세탁 코스 결정 방법
WO2020130177A1 (ko) 세탁 스케줄링 장치 및 그 방법
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2020230933A1 (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
WO2020213751A1 (ko) 인공 지능 세탁물 처리 기기 및 그의 동작 방법
WO2020204221A1 (ko) 공기 조화기
WO2018084576A1 (en) Electronic device and controlling method thereof
WO2021006404A1 (ko) 인공지능 서버
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2020196955A1 (ko) 인공 지능 기기 및 인공 지능 기기의 동작 방법
WO2020184753A1 (ko) 음성 추출 필터를 이용하여 음성 제어를 수행하는 인공 지능 장치 및 그 방법
WO2020218650A1 (ko) 전자기기
WO2020184748A1 (ko) 교통 정보에 기반한 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18943346

Country of ref document: EP

Kind code of ref document: A1