WO2024080562A1 - 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 - Google Patents

가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 Download PDF

Info

Publication number
WO2024080562A1
WO2024080562A1 PCT/KR2023/013415 KR2023013415W WO2024080562A1 WO 2024080562 A1 WO2024080562 A1 WO 2024080562A1 KR 2023013415 W KR2023013415 W KR 2023013415W WO 2024080562 A1 WO2024080562 A1 WO 2024080562A1
Authority
WO
WIPO (PCT)
Prior art keywords
home appliance
state
information processing
home
service
Prior art date
Application number
PCT/KR2023/013415
Other languages
English (en)
French (fr)
Inventor
유현선
강민정
오경인
임숙현
김혜란
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2024080562A1 publication Critical patent/WO2024080562A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/80—Homes; Buildings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]

Definitions

  • the present invention relates to an information processing method for home appliances, an information processing system for home appliances, and an information processing device for home appliances.
  • Home appliances mainly refer to devices installed in the user's home to help the user with housework.
  • Home appliances can be fixed in the user's home and operate according to the user's commands. Users can schedule and operate home appliances. For example, if you are scheduled to return home at 5 o'clock, you can make a reservation in advance to have the air conditioner operate from 4:30 o'clock. According to this example, users who return home can enjoy a clean indoor environment.
  • Home appliances can access the Internet through a wired or wireless communication network, such as Wi-Fi. Users can collect information about the operation of home appliances through the Internet. Users can transmit control commands to home appliances through the Internet. In this way, various services are possible because users and home appliances in remote locations can communicate with each other. For example, even if the operation of a home appliance has not been reserved, the home appliance can be reserved or operated in real time through the terminal. As a detailed example, even if you do not reserve the operation of the air conditioner when going to work, you can operate the air conditioner in advance through the terminal when you leave work.
  • KR20090025059A introduces a drum washing machine with a touch-up function and its touch-up method, including tumbling or spraying steam on dehydrated laundry cloth. This problem can also occur if the user forgets to make a reservation for the home appliance.
  • the present invention proposes a home appliance information processing method, a home appliance information processing system, and a home appliance information processing device that can respond to a user's changeable schedule.
  • the present invention proposes a home appliance information processing method, a home appliance information processing system, and a home appliance information processing device that can optimally operate home appliances even when the user is not aware of them.
  • the present invention proposes a home appliance information processing method, a home appliance information processing system, and a home appliance information processing device that further activate reservation operations of home appliances.
  • the information processing system for home appliances includes at least one home appliance; A terminal capable of processing information of the at least one home appliance: an individual service area where individual services are provided; And it may include an information processing device that is connected to the terminal and the at least one home appliance through a network and provides an application service using the individual service.
  • This system can identify user needs for individual services and provide corresponding application services.
  • the information processing device is configured to: receive basic information about a change in the schedule of a user using the at least one home appliance; And it may include confirming the user's schedule information using the individual service from the basic information. You can check information related to the user's schedule information. The confirmed information can be used to control home appliances.
  • the information processing device is configured to: confirm a first state of the at least one home appliance, which is current information; And it may include changing the at least one home appliance from the first state to the second state in response to the schedule information.
  • a first state of the at least one home appliance which is current information
  • the information processing device may include changing the at least one home appliance from the first state to the second state in response to the schedule information.
  • users do not need to know what state the home appliance is currently in.
  • the state of the home appliance can be changed to the state desired by the user without specific instructions from the user. Users can conveniently use multiple home appliances.
  • the basic information can be input from the terminal. Users can conveniently transmit their own voice and text messages.
  • the basic information may be information related to the user's delay in returning home.
  • the first state may be information on a currently reserved home appliance.
  • the second state may be reservation information on a home appliance to be changed in response to the schedule information. According to this, when the user's return home is delayed, the usage state of at least one home appliance can be collectively changed to the state desired by the user. According to this, user convenience can be increased.
  • the information processing device may transmit the schedule information to the terminal.
  • the user Before controlling the home appliance, the user can confirm that his or her basic information has been identified by the individual service.
  • the information processing device may transmit at least one of the first state of the at least one home appliance and the second state of the home appliance to the terminal. This has the effect of increasing user convenience.
  • the information processing device for home appliances of the present invention includes a confirmation module that checks the operating state of at least one home appliance in response to a node request; And when there is a trigger signal containing the user's schedule information, it may include an operation determination module that changes the operating state of the at least one home appliance from the first state to the second state. According to the present invention, the state of home appliances can be conveniently changed at once to a state desired by the user.
  • the operation determination module includes an operation sequence determination unit, and the operation sequence determination unit is configured to cause the first home appliance among the at least one home appliance to operate before the second home appliance among the at least one home appliance. You can decide to do it.
  • the operation order of two or more home appliances can be changed in response to the user's schedule information. Ultimately, user convenience can be improved.
  • the present invention has the advantage of being able to operate at least two home appliances in a state desired by the user even without user instructions.
  • the operation determination module may include an operation mode determination unit, and the operation mode determination unit may determine operation in a delay mode in which the operation of the at least one home appliance is delayed.
  • the operation mode determination unit may determine operation in a delay mode in which the operation of the at least one home appliance is delayed.
  • the operation determination module may include an operation time determination unit, and the operation time determination unit may change the operation time of the at least one home appliance.
  • the present invention has the advantage of being able to operate at least two home appliances in a state desired by the user even without user instructions.
  • the information processing method for home appliances of the present invention includes: an information processing device receiving a trigger signal from a node; Understanding the meaning of the trigger signal using an individual service;
  • the information processing device includes: determining a first state of at least one home appliance; And it may include performing an application service that changes the state of the at least one home appliance from a first state to a second state in response to the meaning of the trigger signal.
  • home appliances can be conveniently used by using a simple trigger signal presented by the user (here, the trigger signal is information such as voice or text that the user uses to express his/her intention in daily social life).
  • the information processing device may include notifying the meaning of the trigger signal to the terminal through a first result reply. Users can conveniently check the analysis results of the trigger signal.
  • the information processing device may notify the terminal of the first state of the home appliance through a second result reply.
  • the user can check the current state of the home appliance by checking the first state of the home appliance.
  • the information processing device may notify the terminal of the second status of the home appliance through a third result reply.
  • the user can confirm that the home appliance operates preferably in response to the trigger signal, whether the user wants it or not.
  • the trigger signal may be a change in the schedule of the user using the home appliance.
  • the first state may be a current state of the at least one home appliance.
  • the second state may be to change the operating state of the home appliance in response to a change in the user's schedule. According to this, user convenience can be increased.
  • the schedule change may be a delay in the user's return home.
  • the second state may be one in which the at least one home appliance operates with a delay. According to this, user convenience can be increased.
  • the second state is an operation of the first home appliance among the at least one home appliance. It may include deciding to precede the second home appliance among the home appliances.
  • the home appliance can operate preferably in response to the trigger signal, even if the user wants it or does not want it.
  • the first home appliance may be a robot vacuum cleaner
  • the second home appliance may be an air purifier. According to this, an optimal indoor environment can be provided.
  • the first state may be a state in which operation reservation is set.
  • operation reservation By automatically changing reservation settings, users can conveniently use home appliances.
  • the first state is a state in which operation reservation is not set, and the second state is changed to a reservation state. It can be included. According to this, even if the reservation is not made because the user does not want it, the home appliance can operate preferably in response to the trigger signal.
  • the home appliance that changes from the first state to the second state may include a ventilation device. Accordingly, the user's indoor environment can be maintained in a cleaner state.
  • the meaning of the trigger signal may be a return delay.
  • the at least one home appliance may be a washing machine.
  • the first state may be a current state of the at least one home appliance.
  • the operation of the washing machine can be delayed in response to the delay in returning home. Accordingly, the washing machine can be started to operate at an appropriate time.
  • the second state may operate the washing machine with a delay. Accordingly, the laundry can be kept clean.
  • a tumbling step may be performed after dehydration. Accordingly, it is possible to prevent wrinkles in the laundry cloth.
  • the first state is a state in which an operation reservation is not set, and the at least one operation reservation is not set in the application service.
  • It may include recommending home appliances to the terminal.
  • home appliances that the user does not want can be recommended as desirable home appliances.
  • the device subject to the recommendation may include a clothing management machine. According to this, it is possible to recommend home appliances that do not damage clothing and are suitable for processing clothing. Users can use home appliances conveniently and reliably.
  • a user can change the reservation operation of a home appliance simply by informing the user of his or her schedule. According to this, there is an advantage in that the optimal operation of the home appliance is possible even when the user is not aware of the reserved operation.
  • the present invention even if there is no scheduled operation of the home appliance, it is possible to operate the home appliance in an energy-saving environment according to the user's actual return home time.
  • the user's life is enriched by artificial intelligence tasks that match the operation of home appliances and the user's schedule.
  • the reservation operation of home appliances is further activated, thereby providing the advantage of making the user's life more convenient.
  • At least two home appliances can perform cooperative operation. According to this, an optimal indoor environment can be established.
  • FIG. 1 is a diagram showing an information processing system for home appliances according to an embodiment.
  • Figure 2 is a configuration diagram of an information processing system for home appliances showing the cloud system in more detail.
  • Figure 3 is a diagram illustrating an information processing device for a home appliance in an embodiment.
  • Figure 4 is a diagram illustrating an embodiment of providing a learning model.
  • Figure 5 is a diagram showing the flow of an information processing method according to an embodiment.
  • Figure 6 is a diagram showing the interface of the information processing method of the embodiment.
  • FIG. 7 is a flowchart of an information processing method for home appliances according to an embodiment.
  • FIG. 8 is a flowchart of an information processing method for home appliances according to an embodiment.
  • FIG. 9 is a flowchart of an information processing method for home appliances according to an embodiment.
  • Figure 10 is a flowchart of an information processing method for home appliances according to an embodiment.
  • FIG. 11 is a flowchart of an information processing method for home appliances according to an embodiment.
  • Figure 12 is a flowchart of an information processing method for home appliances according to an embodiment.
  • Singular expressions may include plural expressions, unless the context clearly dictates otherwise.
  • home appliances may also include devices of the same type, but used for commercial, public, and other purposes other than at home.
  • the service may include a processor that provides processing results for requests for a specific purpose.
  • service may be an abbreviation for a service module.
  • the processor may include hardware, software running on specific hardware, or software running on general-purpose hardware.
  • the service may refer to certain data.
  • the first step eg, S1
  • the second step eg, S2
  • the steps may change.
  • Figure 1 is a diagram showing an information processing system for home appliances according to an embodiment.
  • the information processing system for home appliances may include a user area (1) and an operator area (2).
  • the user area 1 may be a dominant area for users who use home appliances.
  • the operator area 2 may be the control area of an operator who provides home appliances, operates a system, or provides services.
  • the user area 1 may include a building 1a.
  • Home appliances 1b can be placed in the building 1a.
  • the building 1a may be connected to any structure to which a network is connected.
  • the home appliance 1b may include home appliances such as massagers, water purifiers, vacuum cleaners, clothes care machines, refrigerators, washing machines, air purifiers, cookers, and air conditioners. It is not limited to this, and may include various devices such as automobiles, plant cultivators, and pumps.
  • the user area 1 may include a terminal 1c.
  • the user 1d can perform communication using the terminal 1c.
  • the terminal 1c can be linked to any structure to which a network is connected.
  • the terminal may be compatible with the home appliance.
  • the terminal may include at least one.
  • the terminal may include at least two for direct or indirect interaction between terminals.
  • the operator area 2 may include a server 2c.
  • the server 2c can perform at least some functions of the information processing device of the present invention.
  • the server 2c may be an operation server that operates the home appliance. In this case, the operation information of the home appliance can be obtained.
  • the server 2c may be a communication server that communicates with the terminal.
  • the server 2c may be a server of the manufacturer of the home appliance.
  • the server 2c may be a server of an operator of the home appliance. In this case, management of the home appliance can be performed. For example, quality control can be performed.
  • the server 2c may include a first server 2a that communicates with the home appliance 1b.
  • the server 2c may include a second server 2b that communicates with the terminal 1c.
  • the first and second servers 2a and 2b can communicate with each other.
  • the first and second servers 2a and 2b may not be separated but may be configured as a single device.
  • the first and second servers 2a and 2b may be implemented by at least
  • the first server 2a may receive usage information including the operating status of the home appliance 1b. For example, usage information such as operation time, operation mode, and failure status of the home appliance 1b can be received.
  • the first server 2a can control the operation of the home appliance.
  • the second server 2b can transmit the operating status of the home appliance 1b and necessary information to the terminal 1c.
  • the necessary information may include all information helpful to the user 1d in relation to the home appliance.
  • the second server 2b can receive request information from the terminal 1c.
  • the request information may be control information of the home appliance (1b) desired by the user.
  • the first server 2a may transmit status information of the home appliance 1b to the second server 2b.
  • the second server 2b may transmit control information of the home appliance 1b to the first server 2a.
  • the second server 2a can provide services to users.
  • the service may include operating the home appliance in response to the user's needs.
  • the server can manage all home appliances that are the target of the service in order to perform the service.
  • the home appliance is connected to the server through communication and can execute commands sent from the server.
  • the server can receive service requests.
  • the service request may be received by the server through the home appliance.
  • the terminal can apply for a service request.
  • the terminal may refer to devices having a communication module, such as mobile phones, smartphones, laptops, and computers.
  • the terminal can communicate directly with the server.
  • the server can communicate with the home appliance.
  • the home appliance may have a unique device ID.
  • the ID may be registered and managed on the server.
  • the server can specify the home appliance through the device ID.
  • the server may manage characteristic information of the home appliance along with the device ID.
  • the home appliance may be fixed within a building. Stable communication with the server may be possible through an AP within the building.
  • the terminal may communicate indirectly with the home appliance through the server.
  • Users can request and receive services for home appliances registered on the server through the home appliances.
  • the service can be requested from the server through a device carried by the user, such as a terminal.
  • an application program capable of implementing this may be installed in the terminal.
  • Users can request service by accessing the server and entering the unique device ID of the home appliance for which they wish to receive service. Users may be given a user ID and password. Users can log in to the site operated by the server and register all of their home appliances. Home appliances registered to the server may be registered to the server along with the corresponding user ID. This can be done by transmitting the user ID and the unique device ID of the home appliance matched with the user ID to the server through the site. Through these processes, the server can store user information related to the user and home appliance information related to the home appliance. User information and home appliance information can be matched and stored on the server.
  • the user can register as a member of the site through an application installed on the terminal and be given a user ID and password.
  • the user can recognize the application as the applicant's ThinQ app. Users can register all of their home appliances with the above application.
  • the application may be provided for remote service of at least one home appliance.
  • the service processing process includes receiving a service request to a server through at least one of the site, the terminal, and the home appliance, processing the service request by the server, and processing the service according to the processing code. This may include executing a command for a service.
  • Figure 2 is a configuration diagram of an information processing system for home appliances showing the cloud system in more detail.
  • the information processing system of the embodiment can be divided into an individual service area (10) and an application service area (11).
  • the individual service area 10 basic information for operating the information processing method, information processing device, and information processing system of the embodiment can be processed.
  • the basic information may be the first information for requesting an application service. For example, it may be the user's voice saying that he or she will be late returning home.
  • the voice is basic information, and the service of the individual service area 10 can understand the meaning of the voice.
  • the individual service area 10 may include at least one processor for individual services.
  • the application service area 11 can provide application services to users by applying individual services supplied from the individual service area 10.
  • the application service area 10 may include one or more processors for application services.
  • the processor may include hardware and software running on the hardware.
  • the servers 2a and 2b may be implemented on the cloud system 3.
  • the servers 2a and 2b may be implemented as one component of the cloud system, but for ease of understanding and differences in operation, they are displayed separately as shown in the drawing.
  • a home appliance 1b and a server 2c can be placed.
  • the home appliance may include a number of devices already described.
  • the server may communicate with the home appliance.
  • Application services provided in the application service area may include services directly requested by the user, services indirectly requested by the user, services that can be considered requested by the user, and services that can be assumed to have been requested by the user.
  • the application service can be determined by the server.
  • the server can control home appliances.
  • the server can receive information about home appliances.
  • the server can communicate with the user through a terminal or home appliance.
  • the individual service area 10 may include a cloud system 3 and an edge device.
  • the edge device may be a user's terminal 1c as an example. Here, the terminal may mean at least two terminals beyond the terminal of a single individual.
  • the cloud system 3 can have large capacity and high-speed information processing capabilities.
  • the cloud system can perform heavy individual services 352 that require a lot of resources to operate the service.
  • the edge device may have small capacity and low-speed information processing capabilities.
  • the edge device can provide a lightweight individual service 351 that requires high-speed operation relative to accuracy.
  • the server 2c may initiate service in response to any one of several requests, such as a request from the terminal 1c, a request from the home appliance 1b, and fulfillment of preset requirements.
  • the server 2c can perform information processing corresponding to the requested service.
  • the information processing can be performed by referring to information previously stored in the memory 40.
  • the server may call at least one service of the individual service area 10 to perform the requested service.
  • the server can use a combination of two or more services from individual service areas.
  • the server can use edge devices for individual services that require rapid performance.
  • the server can use the cloud system 3 for individual services that require accurate performance.
  • the performance results of the requested service may be in various forms, such as reporting to the user, controlling home appliances, and information storage.
  • the performance result of the requested service may correspond to the requested service.
  • the performance process and results of the requested service can be notified to the terminal 1c and the home appliance 1b.
  • a number of individual services may be provided in the cloud system.
  • the individual service may be performed by various service nodes such as cloud virtual/physical machines, virtual/physical boxes, virtual/physical switches, and clusters.
  • the individual service area may include an external management service 31 that manages cloud and edge devices.
  • the management service may include an interface.
  • the management service can be provided to cloud and edge devices.
  • the individual service area may include an expression service 32 that provides a method to increase recognition corresponding to the user.
  • the individual service area may include a butler service 33 that identifies the user's needs.
  • the individual service area may include a recognition enhancement service 34 to improve the performance of the butler service and the service.
  • the individual service area can provide recognition service 35.
  • the individual services may include various services presented below.
  • the management service 31 may include an application programming interface (API).
  • API application programming interface
  • the API may be a connection between computers or computer programs. It is a type of software interface and can provide services to other types of software.
  • the API can be applied to edge devices.
  • the management service 31 may include an API gateway.
  • the API gateway may be a traffic manager that connects to the actual backend service or data and protects sensitive data by applying policies, authentication, and general access controls to API calls.
  • the API gateway can perform authentication/authorization, security, statistics, and monitoring.
  • a REST API may be an API that adheres to the design principles of the REST (REpresentational State Transfer) architectural style. REST API can be said to comply with several principles applied in cloud services.
  • the expression service 32 may include text-to-speech (TTS), that is, voice synthesis.
  • TTS is a technology in which a machine automatically generates sound waves of speech sounds. For example, the speech sounds of a person selected as a model were recorded, divided into certain speech units, then coded and input into a speech synthesizer (speech computer, speech synthesizer). Then, according to instructions, only the necessary speech units were recombined to create speech sounds artificially. It is a technology that creates The TTS may have various implementation methods.
  • the expression service 32 may include AI sound.
  • the AI sound refers to a technology that uses artificial intelligence (AI) to listen to sound and recognize the situation. For example, a scream or a sudden stop of a vehicle can be judged by listening to the sound.
  • AI artificial intelligence
  • the expression service 32 may include appearance technology.
  • An example of the facial expression technology is technology that estimates feelings by looking at a face.
  • the Butler service (33) receives text, image information, sensor information, and situation information, which are the results of recognizing the user's voice input, as input data, and judges it based on the user's profile, context, and knowledge to provide natural control and response. It can be made possible.
  • the Butler service may use recognition technology to analyze data received as input.
  • the Butler service can be linked to external services by determining it as a knowledge base built on a Knowledge Management System (KMS).
  • KMS Knowledge Management System
  • the Butler service 33 may include user behavior analysis, external knowledge connection, external knowledge analysis, situation judgment and response proposal, and intention execution judgment.
  • the Butler service 33 can provide control and response tailored to the conversation context and user situation by utilizing the functions of the AI module that existed independently. Users can feel customized services for themselves through the Butler service 33.
  • the Butler service 33 may include a service gateway that can access external knowledge.
  • the service gateway is a gateway for accessing external services.
  • the gateway may refer to a computer or software that enables communication between networks using different communication networks and protocols in a computer network. For example, it may be a network point that acts as an entrance from one network to another network.
  • the recognition enhancement service 34 may include a learning processor.
  • the cognitive enhancement service 34 may include continuous learning.
  • the continuous learning is a method of upgrading one model little by little to enable it to handle multiple tasks. In other words, it is a method of improving model performance by continuously learning new data/tasks each time new learning is done, without forgetting previously learned data.
  • the recognition enhancement service 34 may include a knowledge graph.
  • the Knowledge Graph may refer to a collection of interconnected descriptions of entities such as entities, events, or concepts.
  • the knowledge graph can store linking and semantic metadata within the context. This approach can provide a framework for data integration, unification, analysis, and sharing.
  • the recognition service 35 may include a speech service.
  • the speech module may include various processors.
  • the speech module can be used most accurately and conveniently by remote users.
  • the speech module has developed a lot compared to other modules.
  • the speech service may include a speech signal processing (SSP) service.
  • the voice signal processing service is a function for applications such as voice communication and voice recognition.
  • the sound source input to the microphone is of poor quality because it contains various noises from the surrounding area. Since low-quality sound sources cannot be used as is in voice calls or voice recognition programs, the SSP engine can be used to remove noise and improve the quality of the sound source.
  • the speech may include a voice recognition (ASR: Automatic Speech Recognition) service.
  • ASR Automatic Speech Recognition
  • the voice recognition service can provide a service that receives the user's voice data and converts the voice into text. The sound ‘going home’ can be changed to the word ‘going home’.
  • the speech may include a Natural Language Processing (NLP) service.
  • Natural language processing service can mean converting natural language, which is human language, into a semantic structure that machines can understand.
  • the word 'returning home' can mean understanding it as returning home.
  • the speech may include a Hybrid Trigger Word Detection (HTWD) service.
  • the HTWD service may include firstly performing embedded-based startup word detection and secondly performing server-based startup word detection to minimize misrecognition of startup words.
  • the speech may include a Trigger Word Detection (TWD) service.
  • TWD Trigger Word Detection
  • the TWD service can construct speech data sets and implement algorithms for trigger word detection (also known as keyword detection or wake word detection).
  • Trigger word detection allows devices such as Amazon Alexa, Google Home, Apple Siri, and Baidu DuerOS to hear a specific word and trigger the device to wake up.
  • TWD may mean performing maneuver word detection with a small capacity engine. For example, when a user says, 'It's late to get home late,' the word 'Homecoming' can be searched as a trigger word.
  • the speech may include a Multi-device Wakeup Arbitration (MWA) service.
  • MWA Multi-device Wakeup Arbitration
  • the MWA service may be a service that selects the most appropriate device for the user when multiple devices recognize the same startup word at the same time.
  • the MWA service measures the user's direction, distance, etc., selects the device that can best recognize the user's voice commands, and provides feedback to the user. For example, when a startup word is recognized for an air conditioner, a television, and an oven at the same time, a service for selecting a suitable device can be provided.
  • the Speech Signal Processing (SSP) service and the Trigger Word Detection (TWD) service may be included in the edge device 1c. Because these two services are lightweight, they can fully run on the edge device's capacity. This is because the above two services can be conveniently used for edge device purposes.
  • SSP Speech Signal Processing
  • TWD Trigger Word Detection
  • the recognition service 35 can express a vision service.
  • the vision service may include various sub-services.
  • the vision service may correspond to services that users can perceive with their eyes.
  • the vision service may include food recognition service.
  • the food recognition service can recognize the location of food stored in the refrigerator. For example, using an image of an egg, you can photograph the egg and find out the location of the egg from the photographed image.
  • the food recognition service can recognize food in various ways, such as shape and barcode. Recognized foods can be managed on the server.
  • the vision service may include object/person recognition services.
  • the person/object recognition service can distinguish the target person/object using the two-dimensional and three-dimensional shape of the object.
  • the classified information can be used for various purposes such as identification, movement, and recognition.
  • the vision service may include a Driver State Monitoring (DSM) service.
  • DSM Driver State Monitoring
  • the driver state detection service can detect the user's face from video image data, track gaze, and track eye closure and eye blinking to provide the location of the face, head direction, facial feature points, gaze direction and angle, and degree of eye closure.
  • the driver state detection service can detect the driver's drowsiness and issue a warning.
  • the vision service may include a behavior recognition service.
  • the behavior recognition service may be a service that recognizes the user's behavior as an activation signal. For example, it may be a service that starts the terminal by the user shaking the terminal.
  • the DSM service and behavior recognition service can be implemented in edge devices.
  • the recognition service 35 may include a biometric service.
  • the biometric service may be an example of any service that determines the user's health information.
  • a diagnostic assistance service can be performed using heart rate, information, and sleep information transmitted using a smartwatch.
  • the recognition service 35 may include a sensor service.
  • the sensor service can perform services such as recognizing the environment and biometrics through transmitted information.
  • the recognition service 35 may include an emotion service.
  • the emotion service may include an emotion recognition (ER) service.
  • Emotion recognition service is a service that recognizes emotions from the user's facial expression, voice, or text entered by the user. ER services that recognize emotions enable natural verbal and non-verbal communication between users and machines, helping people and machines communicate and interact smoothly.
  • Each service in the individual service area 10 can provide other services by linking one service with another service.
  • the services of the edge device 1c may be equipped with services that require speed.
  • the services of the individual service area 10 can be linked to other external networks.
  • the cloud system may be equipped with services that require accuracy and complexity.
  • the edge device and the cloud system can cooperate with each other. For example, after starting up with a word recognized in the TWD of the edge device 1c, the cloud system 3 can accurately determine using the HTWD.
  • behavior recognition recognized in the vision service of the edge device (1c) can be used as information for other purposes in the object/person recognition service of the cloud system (3).
  • Each service in the individual service area 10 can operate as a learning model of artificial intelligence.
  • the recognition enhancement service 34 can be constructed as a learning model.
  • at least one of the expression service 32, the butler service 33, the recognition enhancement service 34, and the recognition service 35 may be provided as a learning model using artificial intelligence.
  • Each service in the individual service area 10 may be implemented as a table or an operation formula constructed as a mathematical formula.
  • Each service in an individual service area may contain a mixture of learning models and calculation formulas using artificial intelligence.
  • Each service in the individual service area 10, that is, the service module, can return the processing result of the service request to the application service area.
  • the service module of the individual service area called by the application service area there may be no specific mention of the service module of the individual service area called by the application service area.
  • all individual service modules that can reply can reply to the service request, corresponding to the nature of the call by the application service in the application service area.
  • Figure 3 is a diagram explaining an information processing device for a home appliance of an embodiment.
  • the information processing device 12 of the embodiment includes a confirmation module 20 that checks the status of each node, a memory 40 that stores information necessary for information processing, and a situation confirmed by the confirmation module. It may include an operation determination module 30 that determines the operation of each node in response.
  • the node may include home appliances and terminals. The nodes do not exclude terminals, cloud systems, and edge devices. Information flow between the confirmation module, the memory, and the operation decision module may be performed by an internal bus.
  • the confirmation module, the memory, and the operation decision module may share information with each other.
  • the information processing device 12 can use individual services of the individual service area 10.
  • the information processing device 12 can provide application services.
  • the information processing device 12 may be a main processor that provides application services.
  • the information processing device 12 may include a separate processor that provides application services.
  • the information processing device 12 can be connected to the terminal 1c and the home appliances 1b1 and 1b2 through a wired or wireless network.
  • the information processing device 12 may be implemented by the server 2c.
  • the information processing device 12 can start operation by a trigger signal.
  • the trigger signal may mean a starting signal.
  • the trigger signal may be basic information.
  • the basic information may be a simple signal that is not interpreted in itself.
  • the trigger signal may be a direct or indirect signal from the user.
  • the trigger signal may be a user's voice message. In this case, the meaning can be understood after the voice message is processed into natural language.
  • the individual service used at this time may be the natural language processing service described above.
  • the trigger signal may be a direct or indirect signal generated from each node connected to the home appliance.
  • the trigger signal may be the fulfillment of a reserved condition. For example, when waking up in the morning is scheduled for 6 o'clock, it may be a signal from the clock that has reached 6 o'clock. As another example, it may be a user detection signal when automatically detecting a user.
  • the information processing device 12 can request an individual service from the individual service area using basic information.
  • the individual service may include understanding the meaning of the trigger signal, which is the basic information.
  • the speech service of the recognition service 35 can be used as an individual service. In the case of fulfillment of the reserved condition, the meaning has already been interpreted, so understanding the meaning may not be necessary even though it is a trigger signal.
  • the confirmation module 20 can receive the trigger signal.
  • the confirmation module 20 can confirm each node in response to the trigger signal.
  • the operating state of the home appliance can be known in response to the confirmation module 20.
  • the application service may include checking the operating status of home appliances.
  • the above home appliance can be used by multiple people.
  • the home appliance may have a reservation operation scheduled in advance.
  • the confirmation module can determine information such as whether the home appliance is currently operating, waiting for operation, whether operation has ended, and what the specific contents of the operation standby state are.
  • the information identified by the confirmation module 20 may be stored in the confirmation module for each home appliance.
  • the operation determination module 30 can determine the operation of the home appliance.
  • the application service may include determining the operation of the home appliance.
  • the operation decision module may determine an operation in response to the trigger signal.
  • the operation determination module can determine an operation corresponding to the user's service request.
  • the operation decision module may include an operation sequence determination unit 31.
  • the operation sequence determination unit 31 may determine the operation sequence of at least two home appliances that interoperate with each other. Here, the operation sequence may be different from the operation sequence of the home appliance confirmed by the confirmation module.
  • the operation decision module may include an operation mode determination unit 31.
  • the operation mode determination unit 31 may determine the operation mode of at least one home appliance. Here, the operation mode may be different from the operation mode of the home appliance confirmed by the confirmation module.
  • the operation determination module may include an operation time determination unit 33.
  • the operation time determination unit 33 may determine the operation time of at least one home appliance. Here, the operation time may be different from the operation time of the home appliance confirmed by the confirmation module.
  • the operation decision module 30 can operate with artificial intelligence.
  • the operation decision module 30 can operate using the individual service of the individual service area 10. For example, it can be operated using the learning model of the recognition enhancement service 34.
  • Figure 4 is a diagram explaining an embodiment of providing a learning model.
  • the AI (Artificial Intelligence) server 2d may refer to a device that trains an artificial neural network using a machine learning algorithm or uses a learned artificial neural network.
  • the AI server 2d may be composed of a plurality of servers to perform distributed processing, and may be defined as a 5G network.
  • the AI server 2d may be included as a part of the display device 25 and may perform at least part of the AI processing.
  • the AI server 2d may be part of the server 2c.
  • the AI server 2d may include a communication unit 21, a memory 23, a learning processor 24, and a response processor 26.
  • the communication unit 21 can transmit and receive data with an external device such as the display device 25.
  • the memory 23 may include a model storage unit 23-1.
  • the model storage unit 23-1 may store a model being trained or learned (or an artificial neural network, 23-2) through the learning processor 24.
  • the learning processor 24 can train the artificial neural network 23-2 using training data.
  • the learning model may be used while mounted on the AI server 2d of the artificial neural network, or may be mounted and used on an external device such as the display device 25.
  • the learning model may be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the memory 63.
  • the response processor 26 can infer a result value for new input data using a learning model and generate a response or control command based on the inferred result value.
  • the learning model implemented by the AI server can be provided for each service provided in the individual service area. Each learning model can provide a response for each service.
  • the operation decision module 30 can receive a response using each learning model.
  • Figure 5 is a diagram showing the flow of an information processing method according to an embodiment.
  • the information processing device 12 can receive the trigger signal from the node (S2).
  • the node may be a terminal or a home appliance.
  • the information processing device can request an individual service from the individual service area (S2).
  • the individual service may include understanding the meaning of the trigger signal.
  • the speech service of the recognition service 35 can be used.
  • the individual service area can perform result notification as a result of responding to the request of the information processing device (S3).
  • the result notification may include at least one of the meaning of the trigger signal, a list of required operations corresponding to the trigger signal, and a list of operations required for the node.
  • the information processing device may perform functions such as selecting a required operation of a home appliance in response to a trigger signal, and selecting an operation required by a user in response to a trigger signal.
  • the information processing device can provide application services.
  • the information processing device can notify the node of the meaning of the trigger signal, the necessary operation corresponding to the trigger signal, the operation required from the node, and the confirmation result as a first result reply (S4).
  • the information processing device may transmit a first control signal to the first home appliance (S5).
  • the first home appliance may transmit an Eck signal and a status report signal including the execution result of the first control signal (S6).
  • the information processing device can transmit a second control signal to the second home appliance (S7).
  • the second home appliance may transmit an Eck signal and a status report signal including the execution result of the second control signal (S8).
  • the information processing device may notify the node of the performance results of the first and second home appliances as a second result reply to the node (S9).
  • the node may include more home appliances in addition to the first and second home appliances.
  • the node may include any one of the first and second home appliances.
  • At least one step of the information processing method may be omitted in the information processing method of another embodiment. At least one step of the information processing method of another embodiment may be added to the information processing method.
  • FIG. 6 is a diagram showing the interface of the information processing method of the embodiment. Terms used in the interface in the drawings are directly quoted from the description of the embodiment for convenience of understanding. Other terms and methods with similar meaning may be used.
  • the user 1d can use the terminal 1c to transmit that his/her return home time will be late.
  • the trigger signal may be “I’m going to go to bed two hours later than usual today.”
  • the transmission method to the effect that the return home time will be delayed is exemplified by voice.
  • it can be delivered to the information processing device 10 in various ways, such as text messages and agreed actions.
  • This step may correspond to the notification step (S1) in FIG. 5.
  • both cases where return home is delayed and cases where return home is accelerated may be included in the embodiment. This can be called a change in the return schedule. Other schedule changes may also be included. The same may apply below.
  • the user's message can be interpreted to mean that it will be late to return home.
  • the effect of late return home can be interpreted by at least one service among the recognition service (35), butler service (33), and recognition enhancement service (34) provided as a service in the individual service area (10).
  • the interpreted results may include the effect that the user's homecoming time is delayed and the actions that the home appliance should take in response to the user's late homecoming time. This step may correspond to the inquiry step (S2) and result notification step (S3) in FIG. 5.
  • a reply may be provided from the information processing device to the terminal 1c in the form of “Yes, you are late today.”
  • the user (1d) who received the reply can confirm that the information processing system has operated correctly.
  • This step may correspond to the first result response step (S4) of FIG. 5.
  • the information processing device can determine the current state of the home appliance by transmitting a control signal to the device.
  • the home appliance may transmit an ec/status report in response to the control signal. This step may correspond to the control signal and ec/status report (S5 to S8) of FIG. 5. If there is information that the user should pay attention to in the check/status reports (S6) (S8) of the home appliance, the second result response step (S9) of FIG. 5 can be performed. For example, if there is no signal because the home appliance is not operating normally, that effect can be sent as a second result reply. The second result reply may be omitted.
  • the information processing device can provide an application service.
  • the information processing device can determine control signals for performing application services.
  • the information processing device can transmit and control the control signal to the home appliance.
  • the check/status report (S6) (S8) of the home appliance has been performed normally.
  • the application service may include at least one of the operation sequence, operation mode, and operation time of the home appliance.
  • the information processing device may determine at least one of the operation sequence, operation mode, and operation time of at least one home appliance.
  • the information processing device can control the home appliance using at least one of the determined operation sequence, operation mode, and operation time.
  • the information processing device can notify the terminal 1c of the results of controlling the home appliance. This step may correspond to the third result response step (S16) in FIG. 7.
  • the information processing device may reply to the terminal with “Yes, it will operate in a one-hour delay mode” regarding the dryer.
  • the information processing device can reply to the terminal with “Yes, it will operate in a two-hour delay mode.”
  • the information processing device can reply to the terminal with “We will start cooling comfortably at the set temperature 30 minutes before arrival.”
  • the air purifier the information processing device can reply to the terminal with “I will start operating the artificial intelligence purification mode 30 minutes before arrival.”
  • the robot vacuum cleaner the information processing device can reply to the terminal with “I will complete cleaning 30 minutes before arrival.”
  • the information processing device can reply to the terminal with “I will complete cleaning 30 minutes before arrival.”
  • the clothing management device the information processing device can reply to the terminal with “I will prepare the styler operation when you return home.”
  • the third result reply step may have more diverse cases depending on the information processing method of the home appliance. The user can know that the application service has been properly performed through the third result reply.
  • FIG. 7 is a flowchart of an information processing method for home appliances according to an embodiment.
  • the user 1d can transmit that his/her return home time will be late using the terminal 1c.
  • the terminal When the terminal is connected to the company's network even though it is time to return home, or is located far from home using location-based services (LBS), etc., the terminal can notify the fact ( S11).
  • the trigger signal may be location information of the terminal.
  • the location information of the user terminal can be determined to indicate that the homecoming time will be delayed.
  • the effect of late return home can be understood by at least one service among the recognition service 35, butler service 33, and recognition enhancement service 34 provided as a service in the individual service area 10.
  • the recognition enhancement service 34 delays returning home by one hour if one is at work at the current time.
  • application services can be provided.
  • the interpreted result may include the effect that the user's homecoming time is late and the actions that the home appliance should take in response to the user's late homecoming time (S12) (S13).
  • the confirmation module 20 may perform a first result reply step (S14) to confirm to the user whether the delay is correct.
  • the confirmation module 20 can determine the current state of the home appliance by transmitting a control signal to the home appliance.
  • the identified results can be delivered to the user as a second result including the status of the home appliance (S15)
  • the operation decision module 30 may determine at least one of the operation order, operation mode, and operation time of at least one home appliance.
  • the information processing device can control the home appliance using at least one of the determined operation sequence, operation mode, and operation time.
  • the information processing device can notify the terminal 1c of the control result of the home appliance as a third result (S16).
  • the confirmation module and the operation decision module may use individual services in the individual service area.
  • the user can know the progress and results of the application service through the first, second, and third result replies.
  • FIG. 8 is a flowchart of an information processing method for home appliances according to an embodiment.
  • This embodiment may be an embodiment after the purpose of delaying the user's return home is identified.
  • this may be an information processing method after the user's delayed return home is identified by the information processing method of FIG. 5.
  • the confirmation module 20 can determine the current state of the home appliance (1b) by transmitting the first control signal to the home appliance (1b) (S21).
  • the home appliance can transmit an ACK message and a status report message (S22).
  • the home appliance may transmit an ACK message and a status report signal to at least one of the confirmation module 20 and the operation decision module 30.
  • each module of the information processing device can share information.
  • the ACK message can be transmitted to the confirmation module.
  • the status report message may be transmitted to the operation decision module.
  • the operation mode determination unit 32 may receive the status report message.
  • the operation mode determination unit may determine the operation mode of the home appliance by referring to the status report message. Depending on the type of the home appliance and/or the status report message, the operation mode of the home appliance may be determined differently.
  • the mode determined by the operation mode determination unit 32 can be notified to the operation time determination unit 33 (S23).
  • the operation time determination unit 33 may determine the operation time of the home appliance according to the determined mode and notify the home appliance of the determined operation time (S25). Likewise, the operation mode determination unit 32 may notify the determined mode to the home appliance (S24).
  • the status report message includes whether the washing machine is running on schedule, if the washing machine is running, which cycle it is in, whether the washing machine operation is scheduled and waiting to start, and whether there are no instructions from the washing machine. can do.
  • the status report message may be a response to the first control signal.
  • the washing machine's mode can be determined differently. The reason for this is that if the washing machine is left for a long time after washing, the wrinkles in the laundry are permanently maintained, and a bad smell is created due to bacterial growth in the laundry. This is explained in more detail below.
  • the current cycle of the washing machine is additionally determined. Accordingly, when the spin-drying process is in progress, a tumbling mode in which the washing machine is periodically tumpled after the spin-drying process is completed can be performed. Accordingly, it is possible to prevent wrinkles in laundry cloths and generation of bad odors.
  • the current cycle of the washing machine is additionally determined. Accordingly, when washing or rinsing is in progress, a delay mode in which washing or rinsing is performed with a delay can be performed. As an example of the delay mode, a soaking operation can be performed by introducing a stop mode between washing and rinsing.
  • the tumbling mode can be performed.
  • the operation time of the washing machine can be redetermined by predicting the user's return time. For example, let's say that the scheduled laundry end time was 7 o'clock, the time off from work. At this time, if the scheduled return time is delayed to 8 o'clock, the scheduled laundry end time can be moved to 8 o'clock. This can be called a recrystallization mode. After operation according to the recrystallization mode, the tumbling mode can be performed. Fourth, if there are no instructions from the washing machine, it can remain in that state.
  • the operation mode determination unit 32 may notify the operation time determination unit 33 and the operation sequence determination unit 31 of the results according to the determined mode (S23). Since collaboration with other home appliances is not presented in this embodiment, the operation sequence determination unit may not work.
  • the operation time determination unit 33 may reset the operation time of the washing machine according to the re-determination mode.
  • the operation mode determination unit 32 and the operation time determination unit 33 may transmit the newly determined operation mode and operation time of the washing machine to the device (S24) (S25). Matters decided afterward can be reported to the user through the third result reply.
  • a new operation of the washing machine can be determined in response to the user's delay in returning home. According to this, the user can re-establish the operation of the washing machine simply by notifying the fact of a delay in returning home or automatically determining the delay in returning home. In the end, it has the effect of preventing wrinkles and bad smells in the laundry cloth.
  • the status report message may be a scheduled operation to adjust the cold water temperature corresponding to the user's return home time. For example, when the user returns home at 7 o'clock, the cooling system can be started at 6 o'clock while the cooling system is turned off so that cold water can be dispensed immediately. This can greatly increase power saving effect.
  • the operation mode determination unit 32 may move the operation time of the cooling system to 7 o'clock if the user's return home is delayed to 8 o'clock. This can be called a recrystallization mode.
  • a new operation of the water purifier can be determined in response to the user's delay in returning home. According to this, the user can re-establish the operation of the water purifier simply by notifying the fact of a delay in returning home or automatically identifying the delay in returning home. Ultimately, it has the effect of preventing unnecessary waste of power.
  • the status report message may be a scheduled operation that operates the air conditioner in advance in response to the user's return home time.
  • the cooling system can be turned on at 6:55 with the cooling system turned off so that the user can immediately feel the coolness when they return home at 7:00. This can maximize power saving effect.
  • the operation mode determination unit 32 may move the operation time of the cooling system from 7 o'clock to 55 minutes if the user's return home is delayed to 8 o'clock. This can be called a recrystallization mode. After performing the recrystallization mode, after the air conditioner reaches the desired temperature, a power saving operation can be performed by minimizing the frequency of the inverter.
  • a new operation of the air conditioner can be determined in response to the user's delay in returning home. According to this, the user can re-establish the operation of the air conditioner simply by notifying the fact of a delay in returning home or automatically identifying the delay in returning home. Ultimately, it has the effect of preventing unnecessary waste of power.
  • the driving mode and driving time of individual home appliances can be changed to the optimal operating state in response to the user's delay in returning home.
  • FIG. 9 is a flowchart of an information processing method for home appliances according to an embodiment.
  • This embodiment may be an embodiment after the purpose of delaying the user's return home is identified.
  • this may be an information processing method after the user's delayed return home is identified by the information processing method of FIG. 5.
  • the confirmation module 20 can determine the current state of the device by transmitting the first control signal to the first home appliance (1b1) (S31).
  • the first home appliance may transmit an ACK message and a status report message (S32).
  • the first home appliance may transmit an ACK message and a status report signal to at least one of the confirmation module 20 and the operation decision module 30.
  • each module of the information processing device can share information.
  • the ACK message can be transmitted to the confirmation module.
  • the status report message may be transmitted to the operation decision module.
  • the confirmation module 20 can determine the current state of the device by transmitting the second control signal to the second home appliance (1b2) (S33).
  • the second home appliance may transmit an ACK message and a status report message (S35).
  • the second home appliance may transmit an ACK message and a status report signal to at least one of the confirmation module 20 and the operation decision module 30.
  • each module of the information processing device can share information.
  • the ACK message can be transmitted to the confirmation module.
  • the status report message may be transmitted to the operation decision module.
  • the first and second home appliances may be different home appliances.
  • the first and second home appliances may be home appliances that cooperate with each other.
  • the first home appliance 1b1 may be an air purifier
  • the second home appliance 1b2 may be a robot vacuum cleaner.
  • the information processing device for home appliances of the embodiment may further include other home appliances other than the third home appliance in addition to the first and second home appliances.
  • the operation mode determination unit 32 may receive the two status report messages.
  • the operation mode determination unit 32 will notify at least one of the two status report messages and the operation mode determined by itself to at least one of the operation sequence determination unit 31 and the operation time determination unit 33.
  • the operation sequence determination unit 31 and the operation time determination unit 33 may determine the operation sequence and operation time by referring to at least one of the two status report messages and the decision mode.
  • the operation mode determination unit 32 may determine the operation mode of the home appliance by referring to the status report message. Depending on the type of the first and second home appliances and/or the status report message, the operation mode, operation time, and operation sequence of the first and second home appliances may be determined differently.
  • the operation sequence determination unit 31 may determine that the robot vacuum cleaner is operated with priority over the air purifier. This is because the indoor environment can be kept cleaner if the air purifier removes fine flying dust caused by the robot vacuum cleaner.
  • the operation mode determination unit 32 may operate in a guiding mode that allows the robot vacuum cleaner to finally clean an area close to where the air purifiers are installed. This is because as much flying dust as possible can be removed by the air purifier after the robot vacuum cleaner stops operating.
  • the air purifier may decide to operate in turbo mode after operating the robot vacuum cleaner. This is because the air purifier can remove more flying dust.
  • the operation time determination unit 33 may determine the operation time of the first and second home appliances according to at least one information of the determined mode and order. To this end, at least one of the operation mode determination unit 32 and the operation sequence determination unit 31 may transmit its decision to the operation time determination unit 33.
  • the drawing shows notification of an operation sequence as an example.
  • the operation time determination unit may determine that the air purifier operates immediately at the time when operation of the robot vacuum cleaner ends. Accordingly, flying dust does not settle on the floor and can be filtered by the air purifier as much as possible.
  • the operation mode determination unit 32 may notify the determined mode to the home appliance (S38) (S39).
  • the operation time determination unit 33 may notify the determined operation time to the home appliance (S40) (S41). At least one of the operation sequence, operation mode, and operation time may be reported to the user through the third result reply.
  • the information processing method for at least two home appliances as described above, it is possible to respond to the user's return home delay regardless of the user's preset. At this time, the response to the delay in returning home can be determined by referring to the roles and properties of the at least two home appliances.
  • the robot vacuum cleaner can be operated first, and the air purifier can be operated subsequently.
  • the first washing machine performs washing but has a weak drying function.
  • the dryer can use the side that is mainly used after the washing machine is used. Accordingly, when only the operation of the washing machine is reserved, the preheating operation of the dryer can be performed in advance. At this time, the washing machine's end time and the dryer's preheating completion time may coincide with the user's return home time.
  • the driving time, driving mode, and driving time of at least two home appliances may be changed to an optimal cooperative operation state in response to the user's delay in returning home.
  • FIG. 10 is a flowchart of an information processing method for home appliances according to an embodiment.
  • This embodiment may be an embodiment after the purpose of delaying the user's return home is identified.
  • this may be an information processing method after the user's delayed return home is identified by the information processing method of FIG. 5.
  • the confirmation module 20 can determine the current state of the device by transmitting the first control signal to the first home appliance (1b) (S51).
  • the first home appliance may transmit an ACK message and a status report message (S52).
  • the first home appliance may transmit an ACK message and a status report signal to at least one of the confirmation module 20 and the operation decision module 30.
  • each module of the information processing device can share information.
  • the ACK message can be transmitted to the confirmation module.
  • the status report message may be transmitted to the operation decision module.
  • the operation mode determination unit 32 may receive the status report message.
  • the operation mode determination unit may determine the operation mode of the first home appliance by referring to the status report message. Depending on the type of the first home appliance and/or the status report message, the operation mode of the first home appliance may be determined differently.
  • the operation mode determination unit 32 may notify the determined mode to the first home appliance (S54).
  • the mode determined by the operation mode determination unit 32 can be notified to at least one of the operation sequence determination unit 31 and the operation time determination unit 33 (S53).
  • the operation time determination unit 33 may determine the operation time of the first home appliance according to the determined mode and notify the determined operation time to the first home appliance (S55).
  • the operation sequence determination unit 31 may select a second home appliance that operates in priority or delay to other appliances.
  • the operation sequence determination unit 31 may transmit an operation sequence determination signal to the determined second home appliance (S56).
  • home appliances that the user has not reserved can be guided to be used if the conditions for cooperation are met.
  • the first home appliance may be an air purifier
  • the second home appliance may be a ventilation device.
  • the air purifier is scheduled to operate according to the time of returning home, and the ventilation device is not scheduled to operate. If the user's return home is delayed, the outside air may be pleasant. In this case, the operation of the ventilation device may be given priority over the air purifier.
  • These operation results can be reported to the user through the third result reply.
  • a confirmation message can be sent to the user before performing the priority operation of the ventilation device.
  • the consumption of air purifier filters can be reduced. According to this example, energy consumption can be reduced.
  • FIG. 11 is a flowchart of an information processing method for home appliances according to an embodiment.
  • the purpose of the user's delay in returning home may be recognized, and the decision to operate the washing machine and dryer may be completed.
  • the information processing method of FIG. 9 may be an information processing method after the operation decision for cooperative driving is completed.
  • it may be determined that it is preferable to use a clothes care machine rather than drying the current laundry in a dryer after dehydration. This is because it is not advisable to use weak fibers such as silk in the dryer.
  • the confirmation module 20 can determine the current state of the appliance by transmitting the first control signal to the home appliance 1b (S61).
  • the home appliance can transmit an ACK message and a status report message (S62).
  • the home appliance may transmit an ACK message and a status report signal to at least one of the confirmation module 20 and the operation decision module 30.
  • each module of the information processing device can share information.
  • the ACK message can be transmitted to the confirmation module.
  • the status report message may be transmitted to the operation decision module.
  • the embodiment shows that the confirmation module 20 transmits a status report message to the operation decision module 30.
  • the operation mode determination unit 32 may receive the status report message.
  • the operation mode determination unit may determine the operation mode of the home appliance by referring to the status report message. Depending on the type of the home appliance and/or the status report message, the operation mode of the home appliance may be determined differently.
  • the operation mode determination unit 32 may notify the determined mode to the home appliance (S64). At this time, the home appliance may assume a preparation state for proceeding with the determined mode.
  • the operation mode determination unit 32 may transmit the determined mode to the terminal (S65). Using the terminal, users can receive recommendations for home appliances. The user may send a message confirming that the determined mode is being performed (S66).
  • the operation mode determination unit 32 may perform the operation mode of the home appliance according to the recommendation (S67)
  • the confirmation module 20 can confirm the status of the clothes management machine. If the clothing management machine can operate, the operation mode determination unit determines and notifies the operation mode of the clothing management machine. After obtaining the user's confirmation, the clothing manager's operation mode can be executed.
  • Figure 12 is a flowchart of an information processing method for home appliances according to an embodiment. This embodiment is a diagram explaining an information processing method for multiple home appliances.
  • an application program is installed on the user's home appliance, and the home appliance can be connected to the server through a network (S71).
  • the application may be a ThinQ app.
  • the application program can be installed by the server 2c.
  • the change in home time is notified (S72).
  • the normal return time can be known through the average of the time when the user's terminal connects to the Wi-Fi network used by the home appliance, and the average of the time the user is in the same location as the home appliance based on LBS.
  • the change in the curfew time can be automatically notified when the user does not return home even at the usual curfew time.
  • a confirmation message can be sent to the user.
  • the change in the curfew time can be performed by the user informing the server by voice or message through the terminal. For example, you can use voice information such as “I won’t be home until 2 hours from now, so put it in delay mode.”
  • the application program can notify the server of a change in curfew time (S73).
  • the server can transmit predetermined control commands for home appliances.
  • the server can determine the leading and following operations of at least two home appliances (S74). At least two home appliances can operate according to the control command.
  • the washing machine can operate in the following information processing method according to the above control command.
  • the washing machine it is possible to determine whether the washing machine is already operating (S75). If the washing machine is not operating in the washing machine operation detection step (S75), the operating time of the washing machine can be delayed by delaying the return time by recalculating the time (S79). If the user returns home during the delay operation step (S79), the washing process may be started immediately.
  • the washing machine is operating in the washing machine operation detection step (S75), it is further determined whether it is in the washing or rinsing cycle (S76). If it is a washing or rinsing cycle in the washing cycle determination step (S76), the washing and rinsing cycles can be delayed and operated (S77). For example, to improve washing performance, the washing machine can be operated on a gentler wash cycle for a longer period of time. For example, the rinsing time can be lengthened to improve rinsing performance. When the delayed operation step (S77) ends, the washing machine may perform periodic tumbling to prevent wrinkles and bad smells in the laundry (S78).
  • the periodic tumbling step (S78) can be performed immediately after dehydration is completed. Even after performing the delay operation step (S79), the user does not return home, and accordingly, the laundry cloth may be left there. At this time, the tumbling step (S78) can be performed.
  • Robot vacuum cleaners and air purifiers can operate in the following information processing methods according to the above control commands.
  • the cleaning completion time of the robot vacuum cleaner can be found by recalculating the user's return home time (S81). Afterwards, when the robot vacuum cleaner's start time comes, cleaning can begin. At this time, the operation of the air purifier can be stopped (S82). The ventilation system can be started while the air purifier is stopped. After the robot vacuum cleaner continues to operate and cleaning is completed (S83), the air purifier can start operating (S84). At this time, since there may be a lot of flying dust from the robot vacuum cleaner in the air, the air purifier may operate in turbo mode.
  • the air purifier can change to normal mode and operate (S85).
  • the filter life of the air purifier can be extended.
  • the water purifier can operate in the following information processing method according to the above control command.
  • the user's return time can be calculated backwards to calculate the time when cold water can be dispensed at the time of return (S86).
  • the time when cold water can be discharged may be the user's return home time.
  • the operation time of the cooling system required for purified water to reach the cold water temperature for discharge can be known in advance.
  • the cooling system can be operated at a time preceding the cooling system operation time (S87).
  • the energy required for the operation of the water purifier can be saved.
  • the air conditioner can operate in the following information processing method according to the above control command.
  • the user's return time can be calculated backwards to obtain the target time at which the desired indoor temperature must be achieved (S91).
  • the air conditioner can be operated at a time preceding the target time (S92).
  • the preceding time may vary depending on the efficiency and operation mode of the air conditioning system.
  • the air conditioner can be operated in power saving mode (S93).
  • consumption of the remote control function of home appliances can be activated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Selective Calling Equipment (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명에 따른 가전기기를 위한 정보처리시스템에는, 적어도 하나의 가전기기; 상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말: 개별서비스를 제공되는 개별서비스영역; 및 상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함할 수 있다. 본 시스템은, 사용자의 니즈를 개별서비스에 파악하고, 그에 대응하는 응용서비스를 제공할 수 있다.

Description

가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치
본 발명은 가전기기의 정보처리방법, 가전기기의 정보처리시스템, 및 가전기기의 정보처리장치에 관한 것이다.
가전기기는 주로 사용자의 집에 마련되어 사용자의 가사에 도움이 되는 기기를 의미한다. 가전기기는 사용자의 집에 고정되어 사용자의 명령에 따라 동작할 수 있다. 사용자는 가전기기의 동작을 예약하여 동작시킬 수 있다. 예를 들어, 5시에 귀가 예정이면 4시30분부터 공조기가 동작하도록 미리 예약해 둘 수 있다. 이 예에 따르면 귀가한 사용자는 청정한 실내환경을 즐길 수 있다.
가전기기는 와이파이로 예시되는 유무선통신망을 통하여 인터넷에 접속할 수 있다. 사용자는 인터넷을 통하여 가전기기의 동작에 관한 정보를 수집할 수 있다. 사용자는 인터넷을 통하여 가전기기로 제어명령을 전송할 수 있다. 이와 같이 원격지에 있는 사용자와 가전기기가 서로 통신을 수행할 수 있는 것을 계기로, 다양한 서비스가 가능하다. 예를 들어, 가전기기의 동작을 예약해 두지 않았더라도, 단말로 실시간으로 가전기기를 예약하거나 동작시킬 수 있다. 상세한 예로, 출근 시에 공조기 동작을 예약하지 않았더라도, 퇴근시에 단말를 통하여 미리 공조기를 동작시킬 수 있다.
상기 기술들에 의해서, 사용자는 더 편리하게 가전기기를 사용할 수 있다. 이들 다양한 가전기기 예약동작은 실생활을 크게 바꿀 수 있을 것으로 기대되었음에도, 기대만큼의 큰 활용은 안되고 있는 것이 현실이다. 발명자는 이 문제를 깊이 고민하고 본 발명에 이르게 되었다.
발명자는, 사용자가 가전기기의 예약동작을 하였더라도, 동작이 종료한 가전기기에 필요한 처리를 하는 시간이 달라질 수 있는 문제가 큰 것을 알았다. 예를 들어, 예약동작을 해서 세탁이 종료된 세탁포의 대기 상태가 지속되면, 세탁포의 구김이 심해지거나 세탁포의 건조가 지연되어 악취가 발생할 수 있다. 결과적으로, 예약동작이 더 나쁜 결과를 초래할 수 있는 것이 문제가 될 수 있는 것이다. 이 문제를 해소하기 위하여, KR20090025059A 터치업 기능을 구비한 드럼세탁기 및 이의 터치업 방법에는, 탈수된 세탁포를 텀블링시키거나 증기를 분사하는 등의 기술을 소개한다. 이 문제는 사용자가 가전기기의 예약동작을 한 사실을 잊는 경우에도 마찬가지로 발생할 수 있다.
발명자는, 예약한 가전기기의 동작이 자신이 원하는 상황으로 동작하지 않는 경우가 많다는 것을 알았다. 예를 들어, 공기질이 좋지 않은 경우에 공기청정기가 동작하도록 예약설정을 하였다고 하자. 환기를 하는 것이 유리함에도 불구하고 공기청정기를 필요없이 운전하는 경우가 발생할 수도 있다.
그 외의 다양한 경우에 가전기기의 자동운전이, 과도한 에너지 낭비, 불필요한 훼손, 및 원하지 않는 상태의 초래 등 여러 문제를 일으킬 수 있다.
본 발명은, 사용자의 변경 가능한 일정에 대응할 수 있는 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치를 제안한다.
본 발명은, 사용자가 인식하지 않는 중에도 가전기기를 최적으로 동작시킬 수 있는 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치를 제안한다.
본 발명은, 가전기기의 예약동작을 더욱 활성화시키는 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치를 제안한다.
본 발명의 기술적 과제는 발명의 효과 및 실시예에도 제시한다.
본 발명에 따른 가전기기를 위한 정보처리시스템에는, 적어도 하나의 가전기기; 상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말: 개별서비스를 제공되는 개별서비스영역; 및 상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함할 수 있다. 본 시스템은, 사용자의 니즈를 개별서비스에 파악하고, 그에 대응하는 응용서비스를 제공할 수 있다.
선택적으로, 상기 정보처리장치는, 상기 적어도 하나의 가전기기를 사용하는 사용자의 일정이 변경되는 기초정보를 수신하는 것; 및 상기 기초정보로부터 상기 개별서비스를 이용하여, 사용자의 일정정보를 확인하는 것을 포함할 수 있다. 사용자의 일정정보와 관련되는 정보를 확인할 수 있다. 확인된 정보는 가전기기의 제어에 사용할 수 있다.
선택적으로, 상기 정보처리장치는, 현재 정보인, 상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것; 및 상기 일정정보에 대응하여 상기 적어도 하나의 가전기기를 상기 제 1 상태에서 제 2 상태로 변경하는 것을 포함할 수 있다. 이 시스템에 따르면 사용자는 현재 가전기기가 어떠한 상태에 있는지를 알고 있을 필요가 없다. 이 시스템에 따르면, 사용자의 구체적인 지시가 없이도, 가전기기의 상태가 사용자가 원하는 상태로 변경될 수 있다. 사용자는 편리하게 다수의 가전기기를 사용할 수 있다.
선택적으로, 상기 기초정보는 상기 단말로부터 입력할 수 있다. 사용자가 편리하게 자신의 음성, 및 문자 등의 메시지는 편리하게 전달할 수 있다.
선택적으로, 상기 기초정보는 사용자의 귀가가 늦어지는 것과 관련되는 정보일 수 있다. 선택적으로, 상기 제 1 상태는 현재 예약된 가전기기의 정보일 수 있다 선택적으로, 상기 제 2 상태는 상기 일정정보에 대응하여 변경될 가전기기의 예약정보일 수 있다. 이에 따르면, 사용자의 귀가가 지연될 때, 적어도 하나의 가전기기의 사용상태를 사용자가 원하는 상태로 일괄적으로 변경할 수 있다. 이에 따르면, 사용자의 편의성이 커질 수 있다.
선택적으로, 상기 정보처리장치는, 상기 일정정보를 상기 단말로 전송할 수 있다. 사용자는 가전기기를 제어하기 전에, 자신의 기초정보가 개별서비스에 의해서 파악된 것을 확인할 수 있다.
선택적으로, 상기 정보처리장치는, 상기 적어도 하나의 가전기기의 제 1 상태 및, 상기 가전기기의 제 2 상태 중의, 적어도 어느 하나는 상기 단말로 전송할 수 있다. 사용자의 편의가 증진하는 효과가 있다.
본 발명의 가전기기를 위한 정보처리장치는, 노드의 요청에 응하여 적어도 하나의 가전기기의 동작상태를 확인하는 확인모듈; 및 사용자의 일정정보를 포함하는 트리거 신호가 있을 때, 상기 적어도 하나의 가전기기의 동작상태를 제 1 상태에서 제 2 상태로 변경하는 동작결정모듈을 포함할 수 있다. 본 발명에 따르면, 가전기기의 상태를 사용자가 원하는 상태로 일괄적으로 편리하게 변경할 수 있다.
선택적으로, 상기 동작결정모듈은 동작순서결정부를 포함하고, 상기 동작순서결정부는, 상기 적어도 하나의 가전기기 중의 제 1 가전기기가, 상기 적어도 하나의 가전기기 중의 제 2 가전기기보다, 선행하여 동작하도록 결정할 수 있다. 본 발명에 따르면, 두 개 이상의 가전기기의 동작순서를 사용자의 일정정보에 대응하여 변경할 수 있다. 결국, 사용자의 편의가 증진할 수 있다. 본 발명은 사용자의 지시가 없는 중에도 사용자가 원하는 상태로 적어도 두 개의 가전기기를 동작시킬 수 있는 장점이 있다.
선택적으로, 상기 동작결정모듈은 동작모드결정부를 포함하고, 상기 동작모드결정부는, 상기 적어도 하나의 가전기기의 동작이 지연되는 지연모드로의 동작을 결정할 수 있다. 본 발명에 따르면, 사용자의 편의가 증진할 수 있다. 본 발명은 사용자의 지시가 없는 중에도 사용자가 원하는 상태로 가전기기를 동작시킬 수 있는 장점이 있다.
선택적으로, 상기 동작결정모듈은 동작시간결정부를 포함하고, 상기 동작시간결정부는, 상기 적어도 하나의 가전기기의 동작시간을 변경할 수 있다. 본 발명에 따르면, 사용자의 편의가 증진할 수 있다. 본 발명은 사용자의 지시가 없는 중에도 사용자가 원하는 상태로 적어도 두 개의 가전기기를 동작시킬 수 있는 장점이 있다.
본 발명의 가전기기를 위한 정보처리방법은, 정보처리장치가 노드로부터 트리거신호를 수신하는 것; 상기 트리거 신호의 의미를 개별서비스를 이용하여 파악하는 것; 상기 정보처리장치는, 적어도 하나의 가전기기의 제 1 상태를 파악하는 것; 및 상기 트리거 신호의 의미에 대응하여, 상기 적어도 하나의 가전기기의 상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스를 수행하는 것을 포함할 수 있다. 본 발명에 따르면, 사용자가 제시하는 간단한 트리거신호(여기서 트리거신는 사용자가 일상 사회 생활에서 의사표시로 사용하는 음성, 도는 문자 등의 정보이다)를 이용하여 가전기기를 편리하게 사용할 수 있다.
선택적으로, 상기 정보처리장치가, 상기 트리거 신호의 의미를 단말로 제 1 결과회신으로 통지하는 것을 포함할 수 있다. 사용자는 상기 트리거 신호의 해석결과를 편리하게 확인할 수 있다.
선택적으로, 상기 정보처리장치가, 상기 가전기기의 제 1 상태를 상기 단말로 제 2 결과회신으로 통지할 수 있다. 사용자는 상기 가전기기의 제 1 상태를 확인하는 것으로서, 가전기기의 현재 상태를 확인할 수 있다.
선택적으로, 상기 정보처리장치가, 상기 가전기기의 제 2 상태를 상기 단말로 제 3 결과회신으로 통지할 수 있다. 사용자는 자신이 원하거나, 자신이 원하지 않았더라도, 상기 트리거 신호에 대응하여 상기 가전기기가 바람직하게 동작하는 것을 확인할 수 있다.
선택적으로, 상기 트리거신호는 상기 가전기기를 사용하는 사용자의 일정변경일 수 있다. 선택적으로, 상기 제 1 상태는 상기 적어도 하나의 가전기기의 현재상태일 수 있다. 선택적으로, 상기 제 2 상태는 상기 사용자의 일정변경에 대응하여 가전기기의 동작상태를 변경하는 것일 수 있다. 이에 따르면, 사용자의 편의성이 커질 수 있다.
선택적으로, 상기 일정변경은 사용자의 귀가가 지연되는 것일 수 있다. 선택적으로, 상기 제 2 상태는 상기 적어도 하나의 가전기기가 지연하여 동작하는 것일 수 있다. 이에 따르면, 사용자의 편의성이 커질 수 있다.
선택적으로, 상기 적어도 하나의 가전기기의 상태를, 제 1 상태에서 제 2 상태로 변경하는 응용서비스에서, 상기 제 2 상태는, 상기 적어도 하나의 가전기기 중의 제 1 가전기기의 동작이 상기 적어도 하나의 가전기기 중의 제 2 가전기기보다 선행하도록 결정하는 것을 포함할 수 있다. 이에 따르면, 사용자는 자신이 원하거나, 자신이 원하지 않았더라도, 상기 트리거 신호에 대응하여 상기 가전기기가 바람직하게 동작할 수 있다.
선택적으로, 상기 제 1 가전기기는 로봇청소기이고, 상기 제 2 가전기기는 공기청정기일 수 있다. 이에 따르면, 실내환경을 최적으로 제공할 수 있다.
선택적으로, 상기 제 1 상태는 동작예약이 설정되어 있는 상태일 수 있다. 예약설정이 자동으로 변경됨으로써, 사용자가 편리하게 가전기기를 사용할 수 있다.
선택적으로, 상기 적어도 하나의 가전기기의 상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스에서, 상기 제 1 상태는 동작예약이 설정되지 않은 상태이고, 상기 제 2 상태는 예약상태로 바꾸는 것을 포함할 수 있다. 이에 따르면, 자신이 원하지 않아서 예약이 되지 않았더라도, 상기 트리거 신호에 대응하여 상기 가전기기가 바람직하게 동작할 수 있다. 여기서, 상기 제 1 상태에서 상기 제 2 상태로 바꾸는 가전기기는 환기장치를 포함할 수 있다. 이에 따라서, 사용자의 실내환경이 더욱 청정상태를 유지할 수 있다.
선택적으로, 상기 트리거신호의 의미는 귀가지연일 수 있다. 상기 적어도 하나의 가전기기는 세탁기일 수 있다. 상기 제 1 상태는 상기 적어도 하나의 가전기기의 현재상태일 수 있다. 여기서, 상기 제 1 상태가 예약동작인 경우에는 세탁기의 동작을 귀가지연에 대응하여 지연할 수 있다. 이에 따라서, 적절한 시각에 세탁기의 동작이 시작하도록 할 수 있다. 여기서, 상기 제 1 상태가 세탁 또는 헹굼인 경우에는 제 2 상태는 세탁기를 지연하여 구동할 수 있다. 이에 따라서, 세탁포를 청결하게 유지할 수 있다. 여기서, 상기 제 1 상태가 탈수인 경우에는 탈수 후에 텀플링 단계를 수행할 수 있다. 이에 따라서, 세탁포의 구김을 방지할 수 있다.
선택적으로, 상기 적어도 하나의 가전기기의 상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스에서, 상기 제 1 상태는 동작예약이 설정되지 않은 상태이고, 동작예약이 설정되지 않은 상기 적어도 하나의 가전기기를 상기 단말로 추천하는 단계를 포함할 수 있다. 이에 따르면, 사용자가 원하지 않는 가전기기를 바람직한 가전기기로서 추천할 수 있다. 여기서, 상기 추천의 대상이 되는 기기는 의류관리기를 포함할 수 있다. 이에 따르면, 의류의 손상이 없고, 의류처리에 적합한 가전기기를 추천할 수 있다. 사용자는 편리하고 신뢰성있게 가전기기를 사용할 수 있다.
본 발명에 따르면, 사용자가 자신의 일정을 알리는 것만으로 가전기기 예약동작을 변경할 수 있다. 이에 따르면, 사용자가 예약동작을 인식하지 않는 중에도 스스로 가전기기의 최적동작이 가능하게 되는 장점이 있다.
본 발명에 따르면, 가전기기의 예약동작이 없더라도 사용자의 실제 귀가 시각에 맞추어 에너지 저감환경에서 가전기기를 동작시킬 수 있다.
본 발명에 따르면, 가전기기의 동작과 사용자의 일정이 매칭되는 인공지능작업에 의해서, 사용자의 생활이 윤택하게 되는 장점이 있다.
본 발명에 따르면, 가전기기의 예약동작이 더욱 활성화됨으로써, 사용자의 생활을 더 편리하게 하는 장점을 얻을 수 있다.
본 발명에 따르면, 적어도 두 개의 가전기기가 협업운전을 수행할 수 있다. 이에 따르면, 최적의 실내환경을 구축할 수 있다.
도 1은 실시예에 따른 가전기기를 위한 정보처리시스템을 보이는 도면.
도 2는 클라우드 시스템을 더 구체적으로 보이는 가전기기를 위한 정보처리시스템의 구성도.
도 3은 실시예의 가전기기를 위한 정보처리장치를 설명하는 도면.
도 4는 학습모델을 제공하는 실시예를 설명하는 도면.
도 5는 실시예에 따른 정보처리방법의 흐름을 보이는 도면.
도 6은 실시예의 정보처리방법의 인터페이스를 보이는 도면.
도 7은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 8은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 9는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 10은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 11은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 12는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소나 구성요소에 대한 한정사항의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. 본 발명은, 그 사상이 구현되는 많은 실시예를 가질 수 있고, 각 실시예는, 어느 일 부분이 다른 실시예의 대응되는 부분 또는 연관작용을 하는 부분으로 치환될 수 있다. 본 발명은, 아래에서 제시되는 예들 중 어느 하나이거나 2개 이상이 조합된 예일 수 있다.
본 출원에서 정보처리방법, 정보처리시스템, 및 정보처리장치는, 같은 발명사상을 다른 측면으로 관찰하는 것이다. 어느 하나의 실시예에서 부족한 부분은 다른 실시예의 설명에 의해서 보충될 수 있다. 어느 하나의 실시예에서 어느 부분은 다른 실시예의 설명에 의해서 확장, 변경될 수 있다.
도면이 설명에 있어서, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략할 수 있다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 출원에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 출원에서, 가전기기에는 같은 류의 기기이면서도, 집이 아닌 상업적인, 공익적, 및 기타목적을 위하여 사용하는 기기도 포함할 수 있다.
본 출원에서, 서비스는 특정의 목적을 위하여 요청에 대한 처리결과를 제공하는 프로세서를 포함할 수 있다. 이때 서비스는 서비스모듈의 약칭일 수 있다. 여기서, 프로세서는 하드웨어, 또는 특정 하드웨어에서 구동하는 소프트웨어, 또는 범용 하드웨어에서 동작하는 소프트웨어를 포함할 수 있다. 상기 서비스는 소정의 데이터를 참조할 수 있다.
본 출원의 방법의 설명에 있어서, 제 1 단계(예를 들어, S1)가 제 2 단계(예를 들어, S2)의 앞에 위치하더라도 반드시, 제 1 단계가 제 2 단계보다 선행하는 것은 아니다. 실시예의 내용에 따라서, 그 단계는 바뀔 수 있다.
도 1은 실시예에 따른 가전기기를 위한 정보처리시스템을 보이는 도면이다.
도 1을 참조하면, 가전기기를 위한 정보처리시스템은 사용자 영역(1)과, 운용자 영역(2)을 포함할 수 있다. 상기 사용자 영역(1)은 가전기기를 사용하는 사용자의 지배영역일 수 있다. 상기 운용자 영역(2)은 가전기기를 제공하거나 시스템을 운용하거나 서비스를 제공하는 운용자의 지배영역일 수 있다.
상기 사용자 영역(1)에는 건물(1a)이 포함될 수 있다. 상기 건물(1a)에는 가전기기(1b)가 놓일 수 있다. 상기 건물(1a)은 네트워크가 연결되는 어떠한 구조물과 연계될 수 있다. 상기 가전기기(1b)는 안마기, 정수기, 청소기, 의류관리기, 냉장고, 세탁기, 공기청정기, 조리기, 및 공조기 등의 가전기기를 포함할 수 있다. 이에 제한되지 않고, 자동차, 식물재배기, 및 펌프 등의 여러 기기를 포함할 수 있다. 상기 사용자 영역(1)에는 단말(1c)이 포함될 수 있다. 상기 단말(1c)을 이용하여 사용자(1d)가 통신을 수행할 수 있다. 상기 단말(1c)은 네트워크가 연결되는 어떠한 구조물과 연계될 수 있다. 상기 단말은 상기 가전기기에 부합될 수 있다. 상기 단말은 적어도 하나가 포함될 수 있다. 상기 단말은 단말 간의 직접 또는 간접의 상호작용을 위하여 적어도 두 개가 포함될 수 있다.
상기 운용자 영역(2)에는 서버(2c)가 포함될 수 있다. 상기 서버(2c)는 본 발명의 정보처리장치의 적어도 일부 기능을 수행할 수 있다. 상기 서버(2c)는 상기 가전기기를 운용하는 운용서버일 수 있다. 이 경우에는 가전기기의 운용정보를 파악할 수 있다. 상기 서버(2c)는 상기 단말과 통신을 수행하는 통신서버일 수 있다. 상기 서버(2c)는 상기 가전기기의 제조사의 서버일 수 있다. 상기 서버(2c)는 상기 가전기기의 운영사의 서버일 수 있다. 이 경우에는, 상기 가전기기의 관리를 수행할 수 있다. 예를 들어, 품질관리를 수행할 수 있다. 상기 서버(2c)는 상기 가전기기(1b)와 통신하는 제 1 서버(2a)를 포함할 수 있다. 상기 서버(2c)는 상기 단말(1c)과 통신하는 제 2 서버(2b)를 포함할 수 있다. 상기 제 1, 2 서버(2a)(2b)는 서로 통신할 수 있다. 상기 제 1, 2 서버(2a)(2b)는 분리되지 않고 단일의 기기로 구성될 수 있다. 상기 제 1, 2 서버(2a)(2b)는 적어도 하나의 클라우드 시스템에 의해서 구현될 수 있다.
상기 제 1 서버(2a)는 상기 가전기기(1b)의 운용상태를 포함하는 사용정보를 전송받을 수 있다. 예를 들어, 상기 가전기기(1b)의 운전시간, 운전모드, 및 고장상태 등의 사용정보를 전송받을 수 있다. 상기 제 1 서버(2a)는 상기 가전기기의 운전을 제어할 수 있다. 상기 제 2 서버(2b)는 상기 단말(1c)로 가전기기(1b)의 운용상태, 및 필요정보를 송신할 수 있다. 여기서, 상기 필요정보는 상기 가전기기와 관련하여 사용자(1d)에게 도움이 되는 모든 정보를 포함할 수 있다. 상기 제 2 서버(2b)는 상기 단말(1c)로부터의 요청정보를 받을 수 있다. 여기서, 상기 요청정보는 사용자가 원하는 상기 가전기기(1b)의 제어정보일 수 있다.
상기 제 1 서버(2a)는 상기 제 2 서버(2b)로 상기 가전기기(1b)의 상태정보를 전송할 수 있다. 상기 제 2 서버(2b)는 상기 제 1 서버(2a)로 상기 가전기기(1b)의 제어정보를 전송할 수 있다. 상기 제 2 서버(2a)는 사용자에 대한 서비스를 제공할 수 있다. 여기서 상기 서비스는 사용자의 니즈에 대응하는 상기 가전기기의 운전을 포함할 수 있다.
상기 서버(2c)와 상기 가전기기(1b)와 상기 단말(1c)와 상기 사용자(1d)의 상호 작용을 개략적으로 설명한다.
상기 서버는, 서비스를 수행하기 위해서 서비스의 대상이 되는 모든 가전기기를 관리할 수 있다. 상기 가전기기는 상기 서버에 통신으로 연결되어 상기 서버로부터 전송된 명령을 수행할 수 있다. 상기 서버는 서비스 요청을 접수할 수 있다. 상기 서비스 요청은 상기 가전기기를 통해서 서버로 접수될 수 있다. 상기 단말이 서비스 요청을 신청할 수 있다. 상기 단말은 휴대폰, 스마트폰, 노트북, 및 컴퓨터 등의 통신 모듈을 가지는 기기들을 의미할 수 있다. 상기 단말은 상기 서버와 직접 통신할 수 있다. 상기 서버는 상기 가전기기와 통신할 수 있다.
상기 가전기기는 고유 디바이스 ID를 가질 수 있다. 상기 ID는 상기 서버에 등록되어 관리될 수 있다. 상기 가전기기가 상기 서버에 억세스하면 상기 서버는 상기 디바이스 ID를 통해 그 가전기기를 특정할 수 있다. 상기 서버에는 상기 디바이스 ID와 함께, 그 가전기기의 특성정보가 관리될 수 있다.
상기 가전기기는 건물 내에 고정될 수 있다. 건물 내의 AP를 통해 안정적으로 상기 서버와 통신이 가능할 수 있다. 상기 단말은 상기 서버를 거쳐 상기 가전기기와 간접적으로 통신할 수 있다.
사용자는, 상기 서버에 등록된 가전기기에 대해서는 그 가전기기를 통해서 서비스를 요청하여 받을 수 있다. 그러나 가전기기를 통해 서버로 해당 서비스를 요청하는 것이 용이하지 않을 수 있다. 이 경우에는, 단말과 같이 사용자가 휴대하고 있는 기기를 통해 상기 서비스를 서버로 요청할 수 있다. 이를 위해서는 상기 단말에는 이를 구현할 수 있는 응용프로그램이 설치될 수 있다.
사용자는 서버에 접속하여 서비스를 받고자 하는 가전기기의 고유 디바이스 ID를 입력하면서 서비스를 요청할 수 있다. 사용자는 사용자 ID와 패스워드를 부여받을 수 있다. 사용자는 서버가 운용하는 사이트에 로그인하여 자신이 보유한 가전기기를 모두 등록할 수 있다. 상기 서버에 등록된 가전기기들은 서버에 해당 사용자 ID와 함께 등록될 수 있다. 상기 사이트를 통하여, 상기 서버에 사용자 ID와 사용자 ID와 매칭된 가전기기의 고유 디바이스 ID를 전송하는 것에 의해 이루어질 수 있다. 이러한 과정들을 통해서, 상기 서버는 사용자와 관련된 사용자 정보와 가전기기에 관련된 가전기기 정보를 저장할 수 있다. 사용자 정보와 가전기기 정보는 매칭되어 서버에 저장될 수 있다.
사용자는, 단말에 설치된 응용프로그램을 통해서 상기 사이트에 회원으로 가입하여 사용자 ID와 패스워드를 부여받을 수 있다. 사용자는 상기 응용프로그램을 출원인의 ThinQ앱으로 인식할 수 있다. 사용자는 상기 응용프로그램으로 자신이 보유한 가전기기를 모두 등록할 수 있다. 상기 응용프로그램은 적어도 하나의 가전기기의 원격 서비스를 위해 마련될 수 있다.
사용자는 단말을 통해 서비스를 요청하고 서비스 수행 및 완료 등과 같은 정보를 용이하게 파악할 수 있다. 상기 서비스의 처리과정은, 상기 사이트, 상기 단말, 및 상기 가전기기 중의 적어도 하나를 통해 서버에 서비스요청이 접수되는 것, 상기 서비스 요청을 서버가 요청한 서비스를 처리하는 것, 및 처리코드에 따라서 해당 서비스를 위한 명령이 수행되는 것을 포함할 수 있다.
도 2는 클라우드 시스템을 더 구체적으로 보이는 가전기기를 위한 정보처리시스템의 구성도이다.
도 2를 참조하면, 실시예의 정보처리시스템은. 개별서비스영역(10)과 응용서비스영역(11)으로 구획될 수 있다. 상기 개별서비스영역(10)에서는, 실시예의 정보처리방법, 정보처리장치, 및 정보처리시스템을 동작하기 위한 기초정보를 처리할 수 있다. 상기 기초정보는 응용서비스를 요청하는 최초의 정보일 수 있다. 예를 들어, 귀가가 늦어진다는 사용자의 음성일 수 있다. 상기 음성은 기초정보로서 상기 개별서비스영역(10)의 서비스는 그 음성의 의미를 파악할 수 있다.
상기 개별서비스영역(10)에는 개별 서비스를 위한 적어도 하나 이상의 프로세서가 포함될 수 있다. 상기 응용서비스영역(11)은 상기 개별서비스영역(10)으로부터 공급되는 개별서비스를 응용하여 사용자에 대한 응용서비스를 제공할 수 있다. 상기 응용서비스영역(10)에는 응용 서비스를 위한 하나 이상의 프로세서가 포함될 수 있다. 상기 프로세서는 하드웨어와 그 하드웨어에서 구동하는 소프트웨어를 포함할 수 있다. 상기 서버(2a)(2b)는 클라우드 시스템(3) 상에서 구현될 수 있다. 상기 서버(2a)(2b)는 상기 클라우드 시스템의 일 구성으로 구현할 수도 있으나, 이해의 편의 및 동작 상의 차별점으로 인하여 도면과 같이 구분하여 표시한다.
상기 응용서비스영역(11)에는, 가전기기(1b)와, 서버(2c)가 놓일 수 있다. 상기 가전기기는 이미 설명한 다수의 기기를 포함할 수 있다. 상기 서버는 상기 가전기기와 통신을 수행할 수 있다. 상기 응용서비스영역에서 제공하는 응용서비스는, 사용자가 직접 요청한 서비스, 사용자가 간접 요청한 서비스, 사용자가 요청한 것으로 간주할 수 있는 서비스, 및 사용자가 요청한 것으로 추측할 수 있는 서비스를 포함할 수 있다. 상기 응용서비스는 상기 서버가 판단할 수 있다. 상기 서버는 가전기기를 제어할 수 있다. 상기 서버는 가전기기의 정보를 받을 수 있다. 상기 서버는 단말 또는 가전기기를 통하여 사용자와 통신을 수행할 수 있다.
상기 개별서비스영역(10)에는, 클라우드 시스템(3)와 엣지 디바이스(edge device)를 포함할 수 있다. 상기 엣지 디바이스는 사용자의 단말(1c)를 예로 들 수 있다. 여기서 단말은 단일 개인의 단말을 벗어나 적어도 두 개의 단말을 의미할 수 있다. 상기 클라우드 시스템(3)은, 대용량 및 고속의 정보처리능력을 가질 수 있다. 상기 클라우드 시스템은, 서비스의 동작에 많은 자원이 소요되는 중량 개별서비스(352)를 수행할 수 있다. 상기 엣지 디바이스는 소용량 및 저속의 정보처리능력을 가질 수 있다. 상기 엣지 디바이스는, 정확도에 비하여 고속동작이 요구되는 경량 개별서비스(351)을 제공할 수 있다.
상기 서버(2c)는, 상기 단말(1c)의 요청, 상기 가전기기(1b)로부터의 요청, 및 미리 설정된 요건의 충족 등 여러 요청 중의 어느 하나에 의해서 서비스를 개시할 수 있다.
상기 서비스의 요청이 있으면, 상기 서버(2c)는 요청 서비스에 대응하는 정보처리를 수행할 수 있다. 상기 정보처리는 메모리(40)에 미리 저장된 정보를 참조하여 수행할 수 있다. 상기 서버는 상기 요청 서비스의 수행을 위하여 상기 개별서비스영역(10)의 서비스를 적어도 하나 호출할 수 있다. 서버는 개별서비스영역의 서비스를 두 개 이상 조합하여 이용할 수 있다. 상기 서버는 신속한 수행이 요청되는 개별서비스는 엣지 디바이스를 이용할 수 있다. 상기 서버는 정확한 수행이 요청되는 개별서비스는 클라우드 시스템(3)을 이용할 수 있다.
상기 요청 서비스의 수행결과는, 사용자에게의 보고, 가전기기의 제어, 및 정보저장 등과 같은 다양한 형식일 수 있다. 상기 요청 서비스의 수행결과는 상기 요청 서비스에 대응하는 것일 수 있다.
상기 요청 서비스의 수행과정 및 수행결과는, 상기 단말(1c) 및 상기 가전기기(1b)에 통보할 수 있다.
상기 클라우드 시스템에는 다수의 개별서비스가 제공될 수 있다. 상기 개별서비스는 클라우드의 가상/물리 머신, 가상/물리 박스, 가상/물리 스위치, 및 클러스터 등의 다양한 서비스 노드에 의해서 수행될 수 있다.
상기 개별서비스영역은, 클라우드 및 엣지 디바이스를 관리하는 외부에 대하여 관리서비스(31)를 포함할 수 있다. 상기 관리서비스는 인터페이스를 포함할 수 있다. 상기 관리서비스는 클라우드 및 엣지 디바이스에 제공될 수 있다. 상기 개별서비스영역은, 사용자에 대응하는 인식성을 높이는 방법을 제공하는 표현서비스(32)를 포함할 수 있다. 상기 개별서비스영역은, 사용자의 니즈를 파악하는 버틀러서비스(33)를 포함할 수 있다. 상기 개별서비스영역은, 상기 버틀러서비스의 성능향상 및 서비스의 성능향상을 위한 인식강화서비스(34)를 포함할 수 있다. 상기 개별서비스영역은, 인식서비스(35)를 제공할 수 있다.
상기 개별서비스 각각에 대하여 더 상세하게 설명한다. 상기 개별서비스는 이하에 제시되는 다양한 서비스를 포함할 수 있다.
상기 관리서비스(31)는, API(Application Programming Interface) (애플리케이션 프로그램 인터페이스)를 포함할 수 있다. 상기 API는 컴퓨터나 컴퓨터 프로그램 사이의 연결일 수 있다. 일종의 소프트웨어 인터페이스이며 다른 종류의 소프트웨어에 서비스를 제공할 수 있다. 상기 API는 엣지 디바이스에 적용할 수 있다.
상기 관리서비스(31)는 API 게이트웨이를 포함할 수 있다. 상기 API 게이트웨이는 실제 백엔드 서비스 또는 데이터와 접속하고 API 호출에 대한 정책, 인증 및 일반 액세스 제어를 적용하여 중요한 데이터를 보호하는 트래픽 관리자일 수 있다. 상기 API 게이트웨이는, 인증/인가, 보안, 통계, 및 모니터링을 수행할 수 있다. REST API는 REST(REpresentational State Transfer) 아키텍처 스타일의 디자인 원칙을 준수하는 API일 수 있다. REST API는 클라우드 서비스에서 적용되는 여러 원칙을 준수하는 것을 말할 수 있다.
상기 표현서비스(32)는, TTS(text-to-speech), 즉 음성합성을 포함할 수 있다. 상기 TTS는, 말소리의 음파를 기계가 자동으로 만들어 내는 기술이다. 예를 들어, 모델로 선정된 사람의 말소리를 녹음하여 일정한 음성 단위로 분할한 다음, 부호를 붙여 합성기(speech computer, speech synthesizer)에 입력하였다가 지시에 따라 필요한 음성 단위만을 다시 합쳐 말소리를 인위로 만들어내는 기술이다. 상기 TTS는 다양한 구현방식을 가질 수 있다.
상기 표현서비스(32)는, AI음향을 포함할 수 있다. 상기 AI음향은 인공지능(AI)을 이용해 소리를 듣고 어떠한 상황인지를 인식하는 기술을 말할 수 있다. 예를 들어, 비명소리 또는 차량의 급정거를 소리를 듣고서 판단할 수 있다.
상기 표현서비스(32)는, 표정(appearance)기술을 포함할 수 있다. 상기 표정기술은 얼굴을 보고서 느낌을 추정하는 기술을 예로 들 수 있다.
상기 Butler 서비스(33)는 사용자의 음성 입력을 인식한 결과인 텍스트, 이미지 정보, 센서 정보, 및 상황 정보 등을 입력 데이터로 받아 사용자의 프로파일, 맥락, 및 지식 기반으로 판단하여 자연스러운 제어와 응답이 가능하도록 할 수 있다. 상기 버틀러 서비스는, 입력으로 받은 데이터를 분석하기 위해 인식기술을 사용할 수 있다. 상기 버틀러 서비스는, 지식관리시스템(KMS: Knowledge Management System)에 구축 지식 기반으로 판단하여 외부서비스와 연동할 수 있다. 상기 Butler 서비스(33)는, 사용자 행동분석, 외부지식연결, 외부지식분석, 상황판단 및 대응제안, 및 의도수행판단 등을 포함할 수 있다.
상기 Butler 서비스(33)는, 독립적으로 존재하던 AI 모듈의 기능들을 활용하여 대화 문맥, 사용자 상황에 맞는 제어와 응답을 제공할 수 있다. 사용자는 상기 Butler 서비스(33)에 의해서 자신에 대한 맞춤형 서비스를 느낄 수 있다.
상기 Butler 서비스(33)가 외부지식에 접근할 수 있는 서비스 게이트웨이를 포함할 수 있다. 상기 서비스 게이트웨이(service gateway)는 외부의 서비스에 접속하기 위한 게이트웨이이다. 상기 게이트 웨이는, 컴퓨터 네트워크에서 서로 다른 통신망, 프로토콜을 사용하는 네트워크 간의 통신을 가능하게 하는 컴퓨터나 소프트웨어를 지칭할 수 있다. 예를 들어, 어느 네트워크에서 다른 네트워크로 들어가는 입구 역할을 하는 네트워크 포인트일 수 있다.
상기 인식강화서비스(34)는 학습프로세서를 포함할 수 있다. 상기 인식강화서비스(34)는 계속학습(Continual Learning)을 포함할 수 있다. 상기 계속학습은, 하나의 모델을 조금씩 업그레이드시키면서, 여러 태스크를 처리할 수 있도록 만드는 방법이다. 다른 표현으로는, 이전에 학습된 데이터를 잊지 않으면서, 새로 학습을 할 때마다 새로운 데이터/태스크를 지속적으로 학습하여 모델의 성능을 향상하는 방법이다.
상기 인식강화서비스(34)는, 지식 그래프(Knowledge Graph)를 포함할 수 있다. 상기 지식 그래프(Knowledge Graph)는, 개체, 사건 또는 개념과 같은 실체에 대한 상호 연결된 설명 모음을 의미할 수 있다. 상기 지식 그래프는 컨텍스트 내의 링킹 및 의미론적인 메타데이터를 저장할 수 있다. 이 방식으로 데이터 통합, 통일, 분석, 및 공유를 위한 프레임 워크를 제공할 수 있다.
상기 인식서비스(35)는, 스피치(speech) 서비스를 포함할 수 있다. 상기 스피치모듈은 다양한 프로세서를 포함할 수 있다. 상기 스피치 모듈은 원격지의 사용자가 가장 정확하게 편리하게 사용할 수 있다. 상기 스피치 모듈은 다른 모듈에 비하여 많이 발전하였다.
상기 스피치 서비스는, 음성신호처리(SSP: Speech Signal Processing) 서비스를 포함할 수 있다. 상기 음성신호처리서비스는 음성 통신, 음성 인식과 같은 애플리케이션을 위한 기능이다. 마이크에 입력되는 음원은 주변에서 발생한 여러 잡음이 포함되어 있어 품질이 좋지 않다. 낮은 품질의 음원은 음성 통화나 음성 인식 프로그램에서 그대로 사용할 수 없기 때문에 SSP 엔진을 사용하여 잡음을 제거하고 음원의 품질을 향상시킬 수 있다.
상기 스피치는, 음성인식(ASR:Automatic Speech Recognition) 서비스를 포함할 수 있다. 음성인식서비스는, 사용자의 음성 데이터를 입력받아 해당 음성을 텍스트로 변환하는 서비스를 제공할 수 있다. '귀가'라는 소리를 '귀가'라는 단어로 바꿀 수 있다.
상기 스피치는, 자연어처리(NLP:Natural Language Processing) 서비스를 포함할 수 있다. 자연어처리서비스는 사람의 언어인 자연어를 기계가 이해할 수 있는 의미 구조로 변환하는 것을 의미할 수 있다. '귀가'라는 단어를 귀가:집에 들어오는 것으로 이해하는 것을 의미할 수 있다.
상기 스피치는, 하이브리드 트리거 단어 감지(HTWD: Hybrid Trigger Word Detection)서비스를 포함할 수 있다. HTWD 서비스는 기동어의 오인식을 최소화하기 위해 1차로 임베디드 기반의 기동어 검출을 수행하고, 2차로 서버 기반의 기동어 검출을 수행하는 것을 포함할 수 있다.
상기 스피치는, 트리거 단어 감지(TWD: Trigger Word Detection)서비스를 포함할 수 있다. TWD서비스는 음성 데이터 세트를 구성하고 트리거 단어 감지 (키워드 감지 또는 웨이크 워드 감지라고도 함)를 위한 알고리즘을 구현할 수 있다. 트리거 단어 감지는 Amazon Alexa, Google Home, Apple Siri 및 Baidu DuerOS와 같은 장치가 특정 단어를 듣고 기기가 기동하도록 할 수 있다. TWD는 작은 용량의 엔진으로 기동어 검출을 수행하는 것을 의미할 수 있다. 예를 들어, 사용자가 '귀가시간이 늦어'라는 말을 할 때, '귀가'라는 말을 기동어로서 검색할 수 있다.
상기 스피치는, 동시 기동어 제어(MWA: Multi-device Wakeup Arbitration)서비스를 포함할 수 있다. MWA 서비스는 여러 기기가 동일한 기동어를 동시에 인식했을 경우에 사용자에게 가장 적합한 기기를 선택하는 서비스일 수 있다. MWA 서비스는 사용자의 방향, 거리 등을 측정해서 사용자의 음성 명령을 가장 잘 인식할 수 있는 기기를 선택하고 사용자에게 피드백을 제공할 수 있다. 예를 들어, 공조기, 텔레비전, 및 오븐에 동시에 기동어가 인식되었을 때, 어느 하나의 적합한 기기를 선택하는 서비스를 제공할 수 있다.
상기 스피치 서비스 중에서, 상기 음성신호처리(SSP: Speech Signal Processing) 서비스, 및 상기 트리거 단어 감지(TWD: Trigger Word Detection)서비스는 엣지 디바이스(1c)에 포함될 수 있다. 이 두 서비스는 경량이기 때문에, 엣지 디바이스의 용량에 충분히 구동할 수 있다. 상기 두 서비스는, 엣지 디바이스의 용도에 편리하게 사용할 수 있기 때문이다.
상기 인식서비스(35)는, 비전(Vision)서비스를 표현할 수 있다. 상기 비전서비스는 다양한 하위 서비스를 포함할 수 있다. 상기 비전서비스는 사용자가 눈으로 인지할 수 있는 서비스에 대응할 수 있다.
상기 비전서비스는 음식인식(food recognition)서비스를 포함할 수 있다. 상기 음식인식서비스는 냉장고에 수용되는 음식물의 위치를 인식할 수 있다. 예를 들어, 계란의 이미지를 이용하여 계란을 촬영하고 촬영된 이미지에서 계란의 위치를 알아낼 수 있다. 상기 음식인식서비스는 음식을 형상 및 바코드 등의 여러 방식으로 인식할 수 있다. 인식된 음식은 서버에서 관리될 수 있다.
상기 비전서비스는 사물/사람인식 서비스를 포함할 수 있다. 상기 사람/사물인식서비스는 물체의 2차원 및 3차원 형상을 이용하여, 대상인 사람/사물을 구분할 수 있다. 구분된 정보는 식별, 이동, 및 인식 등의 여러 정보로 사용할 수 있다.
상기 비전서비스는, 운전자상태감지(DSM: Driver State Monitoring) 서비스를 포함할 수 있다. 상기 운전자상태감지서비스는 영상 이미지 데이터로부터 사용자 얼굴 검출, 시선 추적 및 눈감음 여부와 눈깜박임을 추적하여 얼굴의 위치와 머리 방향, 얼굴 특징점, 시선 방향 및 각도, 눈 감음 정도를 제공할 수 있다. 상기 운전자상태감지서비스는 운전자의 졸음을 감지하여 경고할 수 있다.
상기 비전서비스는, 행동인식서비스를 포함할 수 있다. 상기 행동인식서비스는 사용자의 행동을 기동신호로 인식하는 서비스일 수 있다. 예를 들어, 사용자가 단말을 흔드는 행동으로 단말을 기동시키는 서비스일 수 있다. 상기 DSM서비스와 행동인식서비스는 엣지 디바이스에서 구현될 수 있다.
상기 인식서비스(35)는, 바이오메트릭(Biometric) 서비스를 포함할 수 있다. 상기 바이오메트릭서비스는 사용자의 건강정보를 파악하는 어떠한 서비스를 예시할 수 있다. 예를 들어, 스마트워치를 이용하여 전송하는 심박, 정보, 및 수면 정보 등을 이용하여 진단보조 서비스를 수행할 수 있다.
상기 인식서비스(35)는, 센서(sensor) 서비스를 포함할 수 있다. 상기 센서서비스는, 전달되는 정보를 통하여 환경을 인지하는 것, 및 생체를 인지하는 등의 서비스를 수행할 수 있다.
상기 인식서비스(35)는, 감정(emotion) 서비스를 포함할 수 있다. 상기 감정서비스는, 감성인식(ER:Emotion Recognition)서비스를 포함할 수 있다. 감성인식서비스는 사용자의 표정이나 목소리, 사용자가 입력한 문자로부터 감성을 인지하는 서비스이다. 감성을 인식하는 ER 서비스는 사용자와 기계 간의 자연스러운 언어적/비언어적 소통을 가능하게 하여 사람과 기계가 부드럽게 교감하고 상호작용할 수 있도록 돕는다.
상기 개별서비스영역(10)에는, 보행추적, 및 행동예측 등과 같은 다양한 다른 서비스가 적용될 수 있다. 상기 개별서비스영역(10)에 있는 각 서비스는 어느 하나의 서비스가 다른 서비스와 연동하여 다른 서비스를 제공할 수 있다. 상기 엣지 디바이스(1c)의 서비스는 신속함이 요청되는 서비스 들이 탑재될 수 있다. 상기 개별서비스영역(10)의 서비스는 다른 외부 네트워크와 연계할 수 있다.
상기 클라우드 시스템에는 정확도 및 복잡함이 요청되는 서비스들이 탑재될 수 있다. 상기 엣지 디바이스와 상기 클라우드 시스템은 서로 협력할 수 있다. 예를 들어, 엣지 디바이스(1c)의 TWD에서 인식된 단어로 기동한 후에, 클라우드 시스템(3)은, HTWD를 이용하여 정확하게 판단할 수 있다. 다른 예로, 엣지 디바이스(1c)의 비전서비스에서 인식된 행동인식을, 클라우드 시스템(3)의 사물/사람인식 서비스에서 다른 목적을 위한 정보로 활용할 수 있다.
상기 개별서비스영역(10)의 각 서비스는 인공지능의 학습모델로 동작할 수 있다. 상기 인식강화서비스(34)는 학습모델로 구축할 수 있다. 예를 들어, 상기 표현서비스(32), 상기 버틀러서비스(33), 상기 인식강화서비스(34), 및 상기 인식서비스(35) 중의 적어도 하나는 인공지능을 이용하는 학습모델로 제공될 수 있다. 상기 개별서비스영역(10)의 각 서비스는 테이블 또는 수학식으로 구축된 연산식으로 구현될 수 있다. 개별서비스영역의 각 서비스는 인공지능을 이용하는 학습모델 및 연산식이 혼재할 수 있다.
상기 개별서비스영역(10)의 각 서비스, 즉, 서비스 모듈은 응용서비스영역으로 서비스요청에 대한 처리결과를 회신할 수 있다.
이하의 모든 실시예에 있어서, 상기 응용서비스영역이 호출하는 개별서비스영역의 서비스모듈에 대한 구체적인 언급이 없을 수도 있다. 이 경우에는, 응용서비스영역의 응용서비스가 호출하는 성격에 대응하여, 회신할 수 있는 모든 개별서비스모듈은 그 서비스요청에 회신할 수 있다. 상기 응용서비스영역이 호출하는 개별서비스영역의 서비스모듈에 대한 구체적인 언급이 있을 수 있다. 이 경우에는, 바람직한 어느 예를 기재한 것이고, 다른 개별서비스영역의 서비스모듈이 회신하는 것을 제외하지는 않는다.
도 3은 실시예의 가전기기를 위한 정보처리장치를 설명하는 도면이다.
도 3을 참조하면, 실시예의 정보처리장치(12)는 각 노드의 상태를 확인하는 확인모듈(20), 정보처리에 필요한 정보가 저장되는 메모리(40), 및 상기 확인모듈에 의해서 확인된 상황에 대응하여 각 노드의 동작을 결정하는 동작결정모듈(30)을 포함할 수 있다. 상기 노드는, 가전기기, 및 단말을 포함할 수 있다. 상기 노드는, 단말, 클라우드시스템, 및 엣지디바이스를 배제하지 않는다. 상기 확인모듈, 상기 메모리, 상기 동작결정모듈 간의 정보흐름은 내부 버스에 의해서 수행될 수 있다. 상기 확인모듈, 상기 메모리, 상기 동작결정모듈은 정보를 서로 공유할 수 있다.
상기 정보처리장치(12)는 상기 개별서비스영역(10)의 개별서비스를 이용할 수 있다. 상기 정보처리장치(12)는 응용서비스를 제공할 수 있다. 상기 정보처리장치(12)는 응용서비스를 제공하는 메인 프로세서일 수 있다. 상기 정보처리장치(12)는 응용서비스를 제공하는 별도의 프로세서를 포함할 수 있다. 상기 정보처리장치(12)는 단말(1c), 및 가전기기(1b1)(1b2)와 유무선 네트워크로 연결될 수 있다. 상기 정보처리장치(12)는 상기 서버(2c)에 의해서 구현될 수 있다.
상기 정보처리장치(12)는 트리거 신호에 의해서 동작이 시작할 수 있다. 상기 트리거 신호는 기동신호를 의미할 수 있다. 상기 트리거 신호는 기초정보가 될 수 있다. 상기 기초정보는 그 자체로는 해석되지 않은 단순 신호일 수 있다. 상기 트리거 신호는 사용자로부터의 직접 또는 간접 신호일 수 있다. 예를 들어, 상기 트리거 신호는 사용자의 음성메시지일 수 있다. 이때 음성메시지의 자연어처리가 된 다음에 의미가 파악될 수 있다. 이때 사용하는 개별서비스는 상기 자연어처리 서비스일 수 있다.
상기 트리거 신호는 가전기기의 서로 연계되는 각 노드에서 발생하는 직접 또는 간접 신호일 수 있다. 상기 트리거 신호는 예약된 조건의 성취일 수 있다. 예를 들어, 아침 기상을 6시로 예약하였을 때 6시에 도달한 시계로부터의 신호일 수 있다. 다른 예로, 사용자를 자동으로 감지할 때의 사용자 감지신호일 수도 있다.
상기 정보처리장치(12)는 기초정보를 이용하여 상기 개별서비스영역에 개별서비스를 요청할 수 있다. 여기서, 개별 서비스에는, 상기 기초정보인 트리거 신호의 의미를 파악하는 것을 포함할 수 있다. 이때 개별서비스로는 상기 인식서비스(35)의 스피치서비스를 이용할 수 있다. 상기 예약된 조건의 성취의 경우에는 이미 의미가 해석된 것이므로, 트리거 신호임에도 의미의 파악이 필요하지 않을 수도 있다.
상기 확인모듈(20)은 상기 트리거 신호를 수신할 수 있다. 상기 확인모듈(20)은 상기 트리거 신호에 대응하여 각 노드를 확인할 수 있다. 상기 확인모듈(20)에 대응하여 상기 가전기기의 동작상태를 알 수 있다. 상기 응용서비스는 가전기기의 동작상태를 확인하는 것을 포함할 수 있다. 상기 가전기기는 여러 사람이 함께 사용할 수 있다. 상기 가전기기는 사전에 예약된 예약동작이 있을 수 있다. 상기 확인모듈은, 예를 들어, 상기 가전기기가 현재 동작 중인지, 동작을 대기 중인지, 동작을 종료하였는지, 및 동작대기상태의 구체적인 내용은 무엇인지 등의 정보를 파악할 수 있다. 상기 확인모듈(20)이 파악한 정보는 각 가전기기 별로 확인모듈에 저장될 수 있다.
상기 확인모듈(20)에 의해서 파악된 정보를 참조하여, 동작결정모듈(30)은 가전기기의 동작을 결정할 수 있다. 상기 응용서비스는 가전기기의 동작을 결정하는 것을 포함할 수 있다. 상기 동작결정모듈은 상기 트리거 신호에 대응하여 동작을 결정할 수 있다. 상기 동작결정모듈은, 사용자의 서비스 요청에 대응하는 동작을 결정할 수 있다.
상기 동작결정모듈은 동작순서결정부(31)를 포함할 수 있다. 상기 동작순서결정부(31)는 서로 연동하는 적어도 두 개의 가전기기의 동작순서를 결정할 수 있다. 여기서, 동작순서는 상기 확인모듈에 의해서 확인된 가전기기의 동작순서와 다를 수 있다. 상기 동작결정모듈은 동작모드결정부(31)를 포함할 수 있다. 상기 동작모드결정부(31)는 적어도 하나의 가전기기의 동작모드를 결정할 수 있다. 여기서 동작모드는 상기 확인모듈에 의해서 확인된 가전기기의 동작모드와 다를 수 있다. 상기 동작결정모듈은 동작시간결정부(33)를 포함할 수 있다. 상기 동작시간결정부(33)는 적어도 하나의 가전기기의 동작시간을 결정할 수 있다. 여기서, 동작시간은 상기 확인모듈에 의해서 확인된 가전기기의 동작시간과 다를 수 있다.
상기 동작결정모듈(30)은 인공지능으로 동작할 수 있다. 상기 동작결정모듈(30)은 개별서비스영역(10)의 상기 개별 서비스를 이용하여 동작할 수 있다. 예를 들어, 인식강화서비스(34)의 학습모델을 이용하여 동작할 수 있다.
도 4는 학습모델을 제공하는 실시예를 설명하는 도면이다.
도 4를 참조하면, AI(Artificial Intelligence) 서버(2d)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(2d)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(2d)는 디스플레이 장치(25)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다. 상기 AI 서버(2d)는 서버(2c)의 일 부분이 될 수 있다.
상기 AI 서버(2d)는 통신부(21), 메모리(23), 러닝 프로세서(24) 및 응답 프로세서(26) 등을 포함할 수 있다. 통신부(21)는 디스플레이 장치(25) 등의 외부 장치와 데이터를 송수신할 수 있다.
상기 메모리(23)는 모델 저장부(23-1)를 포함할 수 있다. 모델 저장부(23-1)는 러닝 프로세서(24)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 23-2)을 저장할 수 있다.
상기 러닝 프로세서(24)는 학습 데이터를 이용하여 인공 신경망(23-2)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(2d)에 탑재된 상태에서 이용되거나, 디스플레이 장치(25) 등의 외부 장치에 탑재되어 이용될 수도 있다.
상기 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(63)에 저장될 수 있다.
상기 응답 프로세서(26)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결괏값을 추론하고, 추론한 결괏값에 기초한 응답이나 제어 명령을 생성할 수 있다.
상기 AI 서버로 구현되는 학습모델은, 개별서비스영역에 제공되는 각 서비스 별로 제공될 수 있다. 각 학습모델은 각 서비스를 위한 응답을 제공할 수 있다. 상기 동작결정모듈(30)은 각 학습모델을 이용하여 응답을 제공받을 수 있다.
도 5는 실시예에 따른 정보처리방법의 흐름을 보이는 도면이다.
도 5를 참조하면, 상기 노드로부터의 상기 트리거 신호를 정보처리장치(12)가 수신할 수 있다(S2). 상기 노드는 단말, 또는 가전기기 일 수 있다. 상기 정보처리장치는 상기 개별서비스영역에 개별서비스를 요청할 수 있다(S2). 여기서, 개별 서비스에는, 트리거 신호의 의미를 파악하는 것을 포함할 수 있다. 예를 들어 상기 인식서비스(35)의 스피치서비스를 이용할 수 있다.
상기 개별서비스영역은 정보처리장치의 요청에 대응하는 것을 결과로서 결과통지를 수행할 수 있다(S3). 상기 결과통지에는, 트리거신호의 의미, 트리거신호에 대응하는 필요한 동작의 목록, 및 상기 노드에게 요구되는 동작의 목록 중의 적어도 하나를 포함할 수 있다.
상기 정보처리장치는, 트리거 신호에 대응하여 필요한 가전기기의 동작을 선정하는 것, 및 트리거 신호에 대응하여 사용자에게 요구되는 동작을 선정하는 것 등을 수행할 수 있다. 상기 정보처리장치는 응용서비스를 제공할 수 있다. 정보처리장치는, 트리거신호의 의미, 트리거 신호에 대응하는 필요한 동작, 노드에게 요구되는 동작, 및 확인결과를 제 1 결과회신으로서 노드에게 통지할 수 있다(S4).
상기 정보처리장치는 제 1 가전기기로 제 1 제어신호를 송신할 수 있다(S5). 제 1 가전기기는 상기 제 1 제어신호의 수행결과를 포함하는 에크신호 및 상태보고신호를 송신할 수 있다(S6). 상기 정보처리장치는 제 2 가전기기로 제 2 제어신호를 송신할 수 있다(S7). 제 2 가전기기는 상기 제 2 제어신호의 수행결과를 포함하는 에크신호 및 상태보고신호를 송신할 수 있다(S8).
상기 정보처리장치는, 상기 제 1, 2 가전기기의 수행결과를 상기 노드에 제 2 결과회신으로서 노드에게 통지할 수 있다(S9). 상기 노드에는, 상기 제 1, 2 가전기기 외에 더 많은 가전기기를 포함할 수 있다. 상기 노드에는, 상기 제 1, 2 가전기기 중의 어느 한 가전기기를 포함할 수 있다. 상기 정보처리방법의 적어도 하나의 단계가 다른 실시예의 정보처리방법에서는 생략될 수 있다. 상기 정보처리방법에는 다른 실시예의 정보처리방법의 적어도 하나의 단계가 추가될 수 있다.
실시예의 가전기기를 위한 정보처리방법을 설명한다.
도 6은 실시예의 정보처리방법의 인터페이스를 보이는 도면이다. 도면 상의 인터페이스에서 사용하는 용어는 이해의 편의를 위하여 실시예의 설명에서 그대로 인용하였다. 유사한 의미의 다른 용어 및 방법을 사용할 수 있다.
도 6을 참조하면, 사용자(1d)는 단말(1c)를 이용하여 자신의 귀가시간이 늦어진다는 것을 송신할 수 있다. 상기 트리거 신호는 "오늘 평소보다 두 시간 늦게 들어갈 꺼야" 일 수 있다. 귀가시간이 늦어진다는 취지의 전송방법은 음성을 예시한다. 그 외에 문자메시지, 및 약정된 행동 등의 여러 방식으로 정보처리장치(10)로 전달될 수 있다. 본 단계는 도 5의 통지단계(S1)에 해당할 수 있다. 실시예의 설명에서 귀가가 지연되는 경우나 귀가가 빨라지는 경우, 모두가 실시예에 포함될 수 있다. 이를 귀가일정변경이라고 할 수 있다. 이 외의 다른 일정변경도 포함할 수 있다. 이하 마찬가지일 수 있다.
사용자의 메시지는 귀가시간이 늦는다는 취지로 파악할 수 있다. 귀가시간이 늦어진다는 취지는 개별서비스영역(10)의 서비스로 제공되는, 인식서비스(35), 버틀러 서비스(33), 및 인식강화서비스(34) 중의 적어도 하나의 서비스에 의해서 해석될 수 있다. 해석된 결과는 사용자의 귀가시간이 늦어지는 취지, 사용자의 귀가시간이 늦어지는 것에 대응하여 가전기기가 해야하는 동작을 포함할 수 있다. 본 단계는 도 5의 조회단계(S2), 및 결과통지단계(S3)에 해당할 수 있다.
상기 해석된 결과에 대응하여, "네, 오늘은 늦으시는군요"의 형식으로 정보처리장치에서 단말(1c)로 회신을 줄 수 있다. 회신을 받은 사용자(1d)는 정보처리시스템이 올바르게 동작하였음을 확인할 수 있다. 본 단계는 도 5의 제 1 결과회신단계(S4)해당할 수 있다.
상기 해석된 결과에 대응하여, 상기 정보처리장치는 기기로 제어신호를 송신하여 가전기기의 현재의 상태를 파악할 수 있다. 가전기기는 상기 제어신호에 대응하여 에크/상태보고를 송신할 수 있다. 본 단계는 도 5의 제어신호 및 에크/상태보고(S5 내지 S8)에 해당할 수 있다. 가전기기의 에크/상태보고(S6)(S8)에서, 사용자가 주목해야 하는 정보가 있는 경우에는, 도 5의 제 2 결과회신단계(S9)를 수행할 수 있다. 예를 들어, 가전기기가 정상으로 동작되지 않아서 에크가 없는 경우에는 그 취지를 제 2 결과회신으로 송신할 수 있다. 상기 제 2 결과회신은 생략할 수도 있다.
상기 해석된 결과에 대응하여, 상기 정보처리장치는 응용서비스를 제공할 수 있다. 상기 정보처리장치는 응용서비스의 수행을 위한 제어신호를 결정할 수 있다. 상기 정보처리장치는 상기 제어신호를 가전기기를 송신하고 제어할 수 있다. 이 때에는 상기 가전기기의 에크/상태보고(S6)(S8)가 정상적으로 수행된 경우일 수 있다. 상기 응용서비스는 가전기기의 동작순서, 동작모드, 및 동작시간 중의 적어도 하나를 포함할 수 있다.
상기 해석된 결과에 대응하여, 상기 정보처리장치는 적어도 하나의 가전기기의 동작순서, 동작모드, 및 동작시간 중의 적어도 하나를 결정할 수 있다. 상기 정보처리장치는 결정된 동작순서, 동작모드, 및 동작시간 중의 적어도 하나로, 가전기기를 제어할 수 있다. 상기 정보처리장치는 가전기기를 제어결과는 단말(1c)로 통지할 수 있다. 이 단계는 도 7의 제 3 결과회신단계(S16)에 해당할 수 있다.
상기 제 3 결과회신단계(S16)의 각 회신의 예를 제시한다. 상기 정보처리장치는, 건조기에 대해서는 "네 한 시간 지연모드로 동작하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 세탁기에 대해서는, "네 두 시간 지연모드로 동작하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 에어컨에 대해서는, "도착하기 30분 전에 설정온도로 쾌적하게 냉방을 시작하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 공기청정기에 대해서는, "도착하기 30분 전에 인공지능청정 모드 동작을 시작하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 로봇청소기에 대해서는, "도착하기 30분 전에 청소를 완료하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 정수기에 대해서는, "도착하기 30분 전에 청소를 완료하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 의류관리기에 대해서는, "귀가시에 스타일러의 동작을 준비해 두겠습니다."로 단말로 회신할 수 있다.
상기 제 3 결과회신단계는, 가전기기의 정보처리방법에 따라서, 더 다양한 경우를 가질 수 있다. 사용자는 상기 제 3 결과회신을 통하여 응용서비스가 적절히 수행된 것을 알 수 있다.
이하에서는 가전기기를 위한 정보처리방법의 다양한 실시예를 설명한다.
도 7은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다.
도 7을 참조하면, 사용자(1d)가 단말(1c)을 이용하여 자신의 귀가시간이 늦어진다는 것을 송신할 수 있다. 상기 단말이, 귀가시간임에도 불구하고 회사의 네트워크에 접속해 있거나, 위치기반서비스(LBS:Location Based service) 등을 이용하여 집과는 먼 위치에 있을 때, 단말이 그 사실을 통지할 수 있다(S11). 이때 트리거 신호는 단말의 위치정보일 수 있다. 사용자 단말의 위치정보는 귀가시간이 늦어진다는 취지로 파악할 수 있다.
귀가시간이 늦어진다는 취지는 개별서비스영역(10)의 서비스로 제공되는, 인식서비스(35), 버틀러 서비스(33), 및 인식강화서비스(34) 중의 적어도 하나의 서비스에 의해서 파악될 수 있다. 예를 들어, 인식강화서비스(34)에 의해서 현재 시각에 회사에 있는 경우에는 귀가가 한 시간 늦어지는 학습모델이 있을 수 있다. 이후에는 응용서비스를 제공할 수 있다. 예를 들어, 해석된 결과는 사용자의 귀가시간이 늦어지는 취지, 사용자의 귀가시간이 늦어지는 것에 대응하여 가전기기가 해야하는 동작을 포함할 수 있다(S12)(S13)
상기 해석된 결과에 대응하여, 상기 확인모듈(20)은 사용자에게 늦어지는 것이 맞는지 사용자에게 확인하는 제 1 결과회신단계(S14)를 수행할 수 있다.
상기 해석된 결과에 대응하여, 상기 확인모듈(20)은 가전기기로 제어신호를 송신하여 가전기기의 현재의 상태를 파악할 수 있다. 파악된 결과는, 가전기기의 상태를 포함하는 제 2 결과로 사용자에게 전달될 수 있다(S15)
상기 해석된 결과에 대응하여, 상기 동작결정모듈(30)은 적어도 하나의 가전기기의 동작순서, 동작모드, 및 동작시간 중의 적어도 하나를 결정할 수 있다. 상기 정보처리장치는 결정된 동작순서, 동작모드, 및 동작시간 중의 적어도 하나로, 가전기기를 제어할 수 있다. 상기 정보처리장치는 가전기기의 제어결과를 제 3 결과로 단말(1c)로 통지할 수 있다(S16).
상기 정보처리방법의 수행 중에, 상기 확인모듈 및 상기 동작결정모듈은, 상기 개별서비스영역의 개별서비스를 이용할 수 있다. 사용자는 상기 제 1, 2, 3 결과회신에 의해서 상기 응용서비스의 진행 및 결과를 알 수 있다.
도 8은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 귀가 지연취지가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 지연 귀가가 파악된 이후의 정보처리방법일 수 있다.
도 8을 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 가전기기(1b)로 송신하여 가전기기의 현재상태를 파악할 수 있다(S21). 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S22). 상기 가전기기는 확인모듈(20) 및 또는 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 송신될 수 있다.
상기 동작모드결정부(32)는 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부는 상기 상태보고메시지를 참조하여, 가전기기의 동작모드를 결정할 수 있다. 상기 가전기기의 종류별로 및/또는 상기 상태보고메시지에 따라서, 가전기기의 동작모드는 서로 다르게 결정할 수 있다.
상기 동작모드결정부(32)에 의해서 결정된 모드는 상기 동작시간결정부(33)에 통지할 수 있다(S23). 상기 동작시간결정부(33)는 결정된 모드에 따라서 가전기기의 동작시간을 결정하고, 결정된 동작시간을 가전기기로 통지할 수 있다(S25). 마찬가지로 동작모드결정부(32)는 결정된 모드를 가전기기로 통지할 수 있다(S24).
상기 정보처리방법을 예를 들어 설명한다.
세탁기의 경우에, 상기 상태보고메시지에는, 예약에 따라 세탁기가 동작 중인지, 세탁기가 동작 중이면 어느 행정인지, 세탁기의 동작이 예약되어 있고 시작을 대기 중인지, 및 세탁기의 아무 지시사항이 없는지를 포함할 수 있다. 상기 상태보고메시지는 상기 제 1 제어신호에 대한 응답일 수 있다. 상기 상태보고메시지에 따라서 세탁기의 모드를 다르게 결정할 수 있다. 그 인자는 세탁기는 세탁이 종료된 후에 오랜시간 방치하면 세탁포의 주름이 항구적으로 유지되는 문제, 및 세탁포 세균번식으로 인하여 악취가 나는 문제가 있기 때문이다. 이하에서 더 구체적으로 설명한다.
첫째, 세탁기의 동작 중인 경우에, 세탁기의 현재행정을 추가로 판단한다. 이에 따라서, 탈수행정이 진행 중인 경우에는, 탈수를 종료한 후에 세탁기를 주기적으로 텀플링하는 텀플링모드를 수행할 수 있다. 이에 따라서 세탁포의 구김 및 악취발생을 방지할 수 있다. 둘째, 세탁기의 동작 중인 경우에, 세탁기의 현재행정을 추가로 판단한다. 이에 따라서, 세탁 또는 헹굼이 진행 중인 경우에는 세탁 또는 헹굼을 지연해서 수행하는 지연모드를 진행할 수 있다. 상기 지연모드의 예로는, 세탁 및 헹굼의 사이에 정지모드를 도입하여 불림작업을 수행할 수 있다. 지연모드의 종료 후에는 상기 텀플링모드를 수행할 수 있다. 셋째, 동작이 예약되고 아직 세탁기의 동작 중이 아닌 경우에는 사용자의 귀가시간을 예측하여 세탁기의 동작시간을 다시 결정할 수 있다. 예를 들어, 예약된 세탁종료시각이 퇴근시간인 7시였다고 하자. 이때 귀가예정시간이 8시로 지연되었으면, 예약된 세탁종료시각을 8시로 이동할 수 있다. 이를 재결정모드라고 할 수 있다. 상기 재결정모드에 따른 동작 후에는 텀플링모드를 수행할 수 있다. 넷째, 세탁기의 아무 지시사항이 없는 경우 그 상태를 유지할 수 있다.
상기 동작모드결정부(32)는 결정된 모드에 따른 결과를 동작시간결정부(33) 및 동작순서결정부(31)에 통지할 수 있다(S23). 본 실시예는 다른 가전기기와의 협업이 제시되지 않으므로 동작순서결정부는 작업을 하지 않을 수 있다. 상기 동작시간결정부(33)는 상기 재결정모드에 따른 세탁기의 동작시간을 재설정할 수 있다.
상기 동작모드결정부(32) 및 상기 동작시간결정부(33)는, 기기로 새로이 결정된 세탁기의 동작모드, 및 동작시간을 기기로 송신할 수 있다(S24)(S25). 이후에 결정된 사항은 상기 제 3 결과회신으로 사용자에게 보고할 수 있다.
상기되는 바와 같은 세탁기를 위한 정보처리방법에 따르면, 사용자의 귀가지연에 대응하여 세탁기의 새로운 동작이 결정될 수 있다. 이에 따르면, 사용자는 귀가지연의 사실을 알리거나, 자동으로 자신의 귀가지연이 파악되는 것만으로, 세탁기의 동작을 다시 수립할 수 있다. 결국, 세탁포의 구김 및 악취발생을 미연에 방지하는 효과가 있다.
정수기의 경우에, 상기 상태보고메시지는 사용자의 귀가시간에 대응하는 냉수온도를 맞추는 예약운전일 수 있다. 예를 들어, 사용자가 7시에 귀가하면 바로 냉수를 취출할 수 있도록, 냉각시스템의 가동을 중지한 상태에서, 6시부터 냉각시스템을 가동할 수 있다. 이는 절전효과를 크게 할 수 있다.
이 경우에, 상기 동작모드결정부(32)는 사용자의 귀가가 8시로 지연되면, 7시로 냉각시스템의 가동시각을 이동할 수 있다. 이를 재결정모드라고 할 수 있다.
상기되는 정수기를 위한 정보처리방법에 따르면, 사용자의 귀가지연에 대응하여 정수기의 새로운 동작이 결정될 수 있다. 이에 따르면, 사용자는 귀가지연의 사실을 알리거나, 자동으로 자신의 귀가지연이 파악되는 것만으로, 정수기의 동작을 다시 수립할 수 있다. 결국, 필요없는 전원의 낭비를 미연에 방지하는 효과가 있다.
공조기의 경우에, 상기 상태보고메시지는 사용자의 귀가시간에 대응하여 공조기를 미리 동작시키는 예약운전일 수 있다. 예를 들어, 사용자가 7시에 귀가하면 바로 냉감을 느낄 수 있도록, 냉각시스템의 가동을 중지한 상태에서, 6시55분부터 냉각시스템을 가동할 수 있다. 이는 절전효과를 극대화할 수 있다.
이 경우에, 상기 동작모드결정부(32)는 사용자의 귀가가 8시로 지연되면, 7시로 55분으로 냉각시스템의 가동시각을 이동할 수 있다. 이를 재결정모드라고 할 수 있다. 상기 재결정모드의 수행 후에, 공조기가 원하는 온도에 도달한 후에는, 인버터의 주파수를 최소로 하는 절전운전을 수행할 수 있다.
상기되는 공조기를 위한 정보처리방법에 따르면, 사용자의 귀가지연에 대응하여 공조기의 새로운 동작이 결정될 수 있다. 이에 따르면, 사용자는 귀가지연의 사실을 알리거나, 자동으로 자신의 귀가지연이 파악되는 것만으로, 공조기의 동작을 다시 수립할 수 있다. 결국, 필요없는 전원의 낭비를 미연에 방지하는 효과가 있다.
본 실시예에 따르면, 개별적인 가전기기가 사용자의 귀가지연에 대응하여 최적의 운전상태로 운전모드 및 운전시간이 바뀔 수 있다.
도 9는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 귀가 지연취지가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 지연 귀가가 파악된 이후의 정보처리방법일 수 있다.
도 9를 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 제 1 가전기기(1b1)로 송신하여 기기의 현재상태를 파악할 수 있다(S31). 제 1 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S32). 상기 제 1 가전기기는 확인모듈(20) 및 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 전송될 수 있다.
상기 확인모듈(20)은, 상기 제 2 제어신호를 제 2 가전기기(1b2)로 송신하여 기기의 현재상태를 파악할 수 있다(S33). 제 2 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S35). 상기 제 2 가전기기는 확인모듈(20) 및 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 전송될 수 있다. 상기 제 1, 2 가전기기는 서로 다른 가전기기일 수 있다. 상기 제 1, 2 가전기기는 서로 협력운전을 수행하는 가전기기일 수 있다. 예를 들어, 상기 제 1 가전기기(1b1)는 공기청정기이고, 상기 제 2 가전기기(1b2)는 로봇청소기일 수 있다.
실시예의 가전기기를 위한 정보처리장치는, 제 1, 2 가전기기 외에 제 3 외의 다른 가전기기를 더 포함할 수 있다.
상기 동작모드결정부(32)는 두 개의 상기 상태보고메시지를 수신할 수 있다.
상기 동작모드결정부(32)는, 상기 두 개의 상태보고메시지 및 자기가 결정한 동작모드 중의 적어도 하나를, 상기 동작순서결정부(31) 및 상기 동작시간결정부(33) 중의 적어도 하나에 통지할 수 있다(S34)(S36).
상기 동작순서결정부(31) 및 상기 동작시간결정부(33)는, 상기 두 개의 상태보고메시지 및 결정모드 중의 적어도 하나를 참조하여 동작순서, 및 동작시간을 결정할 수 있다. 상기 동작모드결정부(32)는 상기 상태보고메시지를 참조하여, 가전기기의 동작모드를 결정할 수 있다. 상기 제 1, 2 가전기기의 종류별 및/또는 상기 상태보고메시지에 따라서, 상기 제 1, 2 가전기기의 동작모드, 동작시간, 및 동작순서는 서로 다르게 결정할 수 있다.
예를 들어 설명한다. 로봇청소기와 공기청정기가 모두 귀가시간인 7시에 맞추어서 종료하는 예약이 있다고 하자. 이 경우에 귀가시간이 8시에 지연되었다. 이 경우에 상기 동작결정모듈(30)의 동작을 설명한다.
상기 동작순서결정부(31)는 로봇청소기와 공기청정기의 역할을 참조할 때, 로봇청소기를 공기청정기에 비하여 우선동작하도록 결정할 수 있다. 로봇청소기에 의한 미세한 비산먼지가 공기청정기가 제거하도록 하는 경우에는 실내환경을 더욱 청결하게 유지할 수 있기 때문이다.
상기 동작모드결정부(32)는, 로봇청소기와 공기청정기의 역할을 참조할 때, 로봇청소기가 공기청정기 들이 설치된 곳과 가까운 영역을 마지막으로 청소하도록 하는 가이딩모드로 운전할 수 있다. 로봇청소기가 운전종료 된 후에 가급적 많은 비산먼지가 공기청정기에 의해서 제거되도록 할 수 있기 때문이다. 공기청정기는 로봇청소기의 운전 후에 터보모드로 운전하도록 결정할 수 있다. 상기 공기청정기가 더 많은 비산먼지를 제거할 수 있기 때문이다.
상기 동작시간결정부(33)는 결정된 모드 및 순서 중의 적어도 하나의 정보에 따라서 제 1, 2 가전기기의 동작시간을 결정할 수 있다. 이를 위하여 상기 동작모드결정부(32) 및 상기 동작순서결정부(31) 중의 적어도 하나는, 상기 동작시간결정부(33)로 자기의 결정사항을 전달할 수 있다. 도면은 어느 일 예로, 동작순서의 통지를 보였다. 상기 로봇청소기와 공기청정기의 모드와 순서를 참조할 때, 상기 동작시간결정부는, 로봇청소기의 운전이 종료되는 시각에 바로 공기청정기가 운전하도록 결정할 수 있다. 이에 따라서, 비산먼지가 바닥에 가라앉지 않고, 가급적 많이 공기청정기에 걸러질 수 있다.
상기 동작모드결정부(32)는 결정된 모드를 가전기기로 통지할 수 있다(S38)(S39). 상기 동작시간결정부(33)는 결정된 동작시간을 가전기기로 통지할 수 있다(S40)(S41). 동작순서, 동작모드, 및 동작시간 중의 적어도 하나는 사용자에게 상기 제 3 결과회신으로 사용자에게 보고할 수 있다.
상기되는 바와 같은 적어도 두 개의 가전기기를 위한 정보처리방법에 따르면, 사용자의 사전 설정과 무관하게 사용자의 귀가지연에 대응할 수 있다. 이 때 귀가지연의 대응은 상기 적어도 두 개의 가전기기의 역할과 성질을 참조하여 결정할 수 있다.
예를 들어, 로봇청소기와 공기청정기의 경우에는, 첫째 로봇청소기의 바닥청소와 미세비산먼지의 발생, 둘째 공기청정기의 미세먼지제거 및 필터의 소모라는 두 개의 서로 다른 측면을 이용할 수 있다. 이에 따라서, 로봇청소기를 먼저 동작시키고, 공기청정기를 후속으로 동작시킬 수 있다.
다른 예로, 세탁기와 건조기의 경우에는, 첫째 세탁기는 세탁을 수행하지만 건조기능은 약한 점. 둘째 건조기는 세탁기의 사용 후에 주로 사용되는 측면을 이용할 수 있다. 이에 따라서, 세탁기의 동작만을 예약한 경우에는 건조기의 예열작업을 미리 수행할 수 있다. 이때 세탁기의 종료시간 및 건조기의 예열완료시간이, 사용자의 귀가시간과 일치할 수 있다. 추가로 건조기의 동작 후에는 의류관리기를 추가로 사용하는 것을 고려할 수도 있다. 상기 의류관리기를 통하여 건조기에서 건조된 의류의 주름을 제거할 수 있다.
본 실시예에 따르면, 적어도 두 개의 가전기기가 사용자의 귀가지연에 대응하여 최적의 협력운전상태로 운전시간, 운전모드, 및 운전시간이 바뀔 수 있다.
도 10은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 귀가 지연취지가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 지연 귀가가 파악된 이후의 정보처리방법일 수 있다.
도 10을 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 제 1 가전기기(1b)로 송신하여 기기의 현재상태를 파악할 수 있다(S51). 제 1 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S52). 상기 제 1 가전기기는 확인모듈(20) 및 또는 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 전송될 수 있다.
상기 동작모드결정부(32)는 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부 상기 상태보고메시지를 참조하여, 제 1 가전기기의 동작모드를 결정할 수 있다. 상기 제 1 가전기기의 종류별로 및/또는 상기 상태보고메시지에 따라서, 제 1 가전기기의 동작모드는 서로 다르게 결정할 수 있다. 동작모드결정부(32)는 결정된 모드를 제 1 가전기기로 통지할 수 있다(S54).
상기 동작모드결정부(32)에 의해서 결정된 모드는, 상기 동작순서결정부(31) 및 상기 동작시간결정부(33) 중의 적어도 하나에 통지할 수 있다(S53). 상기 동작시간결정부(33)는 결정된 모드에 따라서 제 1 가전기기의 동작시간을 결정하고, 결정된 동작시간을 제 1 가전기기로 통지할 수 있다(S55). 상기 동작순서결정부(31)는 결정된 모드를 참조할 때, 다른 기기에 우선하거나 지연하여 동작하는 제 2 가전기기를 선택할 수 있다. 상기 동작순서결정부(31)는 결정된 제 2 가전기기로 동작순서결정신호를 송신할 수 있다(S56).
본 실시예에 따르면, 사용자가 예약하지 않은 가전기기도 협력이 가능한 조건이 충족되면 사용하도록 가이드할 수 있다.
예를 들어 설명한다. 상기 제 1 가전기기는 공기청정기이고, 상기 제 2 가전기기는 환기장치라고 할 수 있다. 상기 공기청정기는 귀가시간에 맞추어 예약동작이 되어 있고, 상기 환기장치는 예약동작이 되어 있지 않다. 만약, 사용자의 귀가시간이 지연되고, 외부공기가 쾌적한 상태일 수 있다. 이 경우에는 환기장치의 동작을 공기청정기에 비하여 우선할 수 있다. 이러한 동작결과는 사용자에게 상기 제 3 결과회신으로 사용자에게 보고할 수 있다. 본 예는 환기장치의 우선동작을 수행하기 전에 사용자에게 확인메시지를 송신할 수 있다. 본 예에 따르면 공기청정기 필터의 소모를 줄일 수 있다. 본 예에 따르면, 에너지소모를 줄일 수 있다.
도 11은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 귀가 지연취지가 파악되고, 세탁기와 건조기의 동작결정이 완료된 상태일 수 있다. 예를 들어, 도 9의 정보처리방법에 의해서 협력운전을 위한 동작결정이 완료된 후의 정보처리방법일 수 있다. 이 때에, 세탁기의 동작을 시작하려고 할 때, 현재의 세탁포는 탈수 후에 건조기에 건조하는 것보다 의류관리기를 활용하는 것이 바람직한 것으로 판단한 때일 수 있다. 실크와 같은 약한섬유는 건조기에 사용하는 것이 바람직하지 않기 때문이다.
도 11을 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 가전기기(1b)로 송신하여 기기의 현재상태를 파악할 수 있다(S61). 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S62). 상기 가전기기는 확인모듈(20) 및 또는 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 전송될 수 있다. 실시예는 확인모듈(20)이 동작결정모듈(30)로 상태보고메시지를 송신하는 것을 보였다.
상기 동작모드결정부(32)는 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부는 상기 상태보고메시지를 참조하여, 가전기기의 동작모드를 결정할 수 있다. 상기 가전기기의 종류별로 및/또는 상기 상태보고메시지에 따라서, 가전기기의 동작모드는 서로 다르게 결정할 수 있다. 동작모드결정부(32)는 결정된 모드를 가전기기로 통지할 수 있다(S64). 이때 가전기기는 결정된 모드의 진행을 위한 준비상태를 취할 수 있다. 동작모드결정부(32)는 결정된 모드를 단말로 송신할 수 있다(S65). 단말을 이용하여 사용자는 가전기기를 추천받을 수 있다. 사용자는 결정된 모드를 수행하는 것을 확인하는 메시지를 송신할 수 있다(S66). 상기 동작모드결정부(32)는 추천에 따라서 상기 가전기기의 동작모드를 수행할 수 있다(S67)
예를 들어 설명한다. 상기 가전기기가 의류관리기라고 하자. 이 경우에, 확인모듈(20)은 의류관리기의 상태를 확인하는 것을 수행할 수 있다. 의류관리기의 동작이 가능한 경우에는, 동작모드결정부에서 의류관리기의 동작모드를 결정하고 통지한다. 이후에 사용자의 확인을 얻을 후에 의류관리기의 동작모드를 실행할 수 있다.
도 12는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 다수의 가전기기를 위한 정보처리방법을 설명하는 도면이다.
도 12를 참조하면, 사용자의 가전기기에는 응용프로그램이 설치되어 있고, 가전기기는 네트워크로 서버와 연결될 수 있다(S71). 예시로 든 바와 같이, 상기 응용프로그램은 ThinQ app일 수 있다. 상기 응용프로그램은 서버(2c)에 의해서 설치될 수 있다.
이 상태에서 평상시와 달리 사용자의 귀가시간이 변경되면 귀가시간의 변경을 알린다(S72). 상기 평상시의 귀가시간은, 사용자의 단말이 가전기기가 사용하는 와이파이 망에 접속하는 시각의 평균, 및 LBS기반으로 사용자가 가전기기와 동일위치에 있는 시간의 평균 등을 통하여 알 수 있다. 상기 귀가시간의 변경은, 평상시의 귀가시간에도 사용자의 귀가가 이루어지지 않을 때 자동으로 알려질 수 있다. 이때 사용자에게 확인 메시지를 송부할 수 있다. 상기 귀가시간의 변경은, 사용자가 단말을 통하여 음성 또는 메시지로 서버로 알리는 것에 의해서 수행될 수 있다. 예를 들어, "지금부터 2시간은 넘어야 귀가하니 지연모드로 해 줘" 등의 음성정보를 활용할 수 있다.
상기 응용프로그램은 서버로 귀가시간의 변경을 통지할 수 있다(S73). 서버는 가전기기의 소정의 제어명령을 전송할 수 있다. 서버는 적어도 두 개의 가전기기의 동작의 선행과 후행을 결정할 수 있다(S74). 적어도 두 개의 가전기기는 상기 제어명령에 따라서 동작할 수 있다.
세탁기는 상기 제어명령에 의해서 다음의 정보처리방법으로 동작할 수 있다.
먼저, 세탁기가 이미 동작중인지를 파악할 수 있다(S75). 세탁기동작파악단계(S75)에서 세탁기가 동작 중이 아니면, 시간의 역산으로 귀가시간을 지연하여 세탁기의 동작시간을 지연할 수 있다(S79). 상기 지연동작단계(S79) 중에 사용자가 귀가하는 경우에는, 바로 세탁과정을 시작할 수도 있다.
상기 세탁기동작파악단계(S75)에서 세탁기가 동작 중이면, 세탁 또는 헹굼의 행정에 있는지의 여부를 추가로 판단한다(S76). 상기 세탁행정판단단계(S76)에서 세탁 또는 헹굼행정이면, 세탁 및 헹굼행정을 지연하여 구동할 수 있다(S77). 예를 들어, 세탁성능의 향상을 위하여 더 오랜시간동안 더 부드러운 세탁코스로 세탁기를 동작시킬 수 있다. 예를 들어, 헹굼성능의 향상을 위한 헹굼시간을 길게 할 수 있다. 상기 지연구동단계(S77)가 종료하면, 세탁기는 세탁포의 주름 및 악취를 방지하기 위하여 주기적인 텀플링을 수행할 수 있다(S78).
상기 세탁행정판단단계(S76)에서 세탁 및 헹굼행정이 아니면, 탈수를 완료한 후에 상기 주기적 텀플링단계(S78)을 바로 수행할 수 있다. 상기 지연동작단계(S79)를 수행한 후에도 사용자가 귀가하지 않고, 그에 따라서 세탁포가 그대로 들어 있을 수 있다. 이 때에는 상기 텀플링단계(S78)를 수행할 수 있다.
위의 정보처리방법에 따르면, 세탁포의 구김 및 악취발생을 방지할 수 있다.
로봇청소기와 공기청정기는 상기 제어명령에 의해서 다음의 정보처리방법으로 동작할 수 있다.
먼저, 사용자의 귀가시간을 역산하여 로봇청소기의 청소완료시간을 알아낼 수 있다(S81). 이후에 로봇청소기의 시작시간이 되면 청소를 시작할 수 있다. 이 때에는 공기청정기의 동작은 정지할 수 있다(S82). 공기청정기의 동작정지와 함께 환기장치를 가동할 수 있다. 로봇청소기의 동작이 계속 된 후에 청소가 완료되면(S83), 공기청정기의 동작을 시작할 수 있다(S84). 이때 공기 중에서 로봇청소기의 비산먼지가 많이 있을 수 있으므로, 상기 공기청정기는 터보모드로 동작할 수 있다.
사용자가 귀가한 때, 또는 지연 후의 귀가시간에 이른 때에는 공기청정기는 일반모드로 변경하여 동작할 수 있다(S85).
위의 정보처리방법에 따르면, 공기청정기의 필터수명을 길게 할 수 있다.
정수기는 상기 제어명령에 의해서 다음의 정보처리방법으로 동작할 수 있다.
먼저, 사용자의 귀가시간을 역산하여 귀가 시간에 냉수출수가 가능한 시간을 계산할 수 있다(S86). 여기서 냉수출수가 가능한 시간은 사용자의 귀가시간일 수 있다. 정수가 출수를 위한 냉수온도에 이르기 위하여 필요한 냉각시스템의 구동시간은 미리 알 수 있다. 지연된 귀가 시간에서 상기 냉각시스템의 구동시간 만큼 선행하는 시각에 냉각시스템을 동작할 수 있다(S87)
위의 정보처리방법에 따르면, 정수기의 동작에 필요한 에너지를 절감할 수 있다.
공조기는 상기 제어명령에 의해서 다음의 정보처리방법으로 동작할 수 있다.
먼저, 사용자의 귀가시간을 역산하여 희망실내온도가 달성되어야 하는 목표시각을 구할 수 있다(S91). 목표시각으로부터 선행하는 시각에 공조기를 동작시킬 수 있다(S92). 여기서, 상기 선행하는 시각은 공조시스템의 효율 및 운전모드 등에 따라서 달라질 수 있다. 이후에 상기 희망실내온도에 이르렀을 때에는, 공조기를 절전모드로 동작시킬 수 있다(S93).
위의 정보처리방법에 따르면, 열손실을 줄이고 에너지 낭비를 방지할 수 있다.
본 발명에 따르면, 가전기기의 원격제어기능의 소비를 활성화할 수 있다.

Claims (21)

  1. 적어도 하나의 가전기기;
    상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말:
    개별서비스를 제공되는 개별서비스영역; 및
    상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함하고,
    상기 정보처리장치는,
    상기 적어도 하나의 가전기기를 사용하는 사용자의 일정이 변경되는 기초정보를 수신하는 것;
    상기 개별서비스를 이용하여, 상기 기초정보로부터 사용자의 일정정보를 확인하는 것;
    현재 정보인, 상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것; 및
    상기 일정정보에 대응하여 상기 적어도 하나의 가전기기를 상기 제 1 상태에서 제 2 상태로 변경하는 것을 포함하는,
    가전기기를 위한 정보처리시스템.
  2. 제 1 항에 있어서,
    상기 기초정보는 상기 단말로부터 입력되는, 가전기기를 위한 정보처리시스템.
  3. 제 1 항에 있어서,
    상기 기초정보는 사용자의 귀가가 늦어지는 것과 관련되는 정보이고,
    상기 제 1 상태는 현재 예약된 가전기기의 정보이고,
    상기 제 2 상태는 상기 일정정보에 대응하여 변경될 가전기기의 예약정보인 가전기기를 위한 정보처리시스템.
  4. 제 1 항에 있어서,
    상기 정보처리장치는, 상기 일정정보를 상기 단말로 전송하는 가전기기를 위한 정보처리스템.
  5. 제 1 항에 있어서,
    상기 정보처리장치는, 상기 적어도 하나의 가전기기의 제 1 상태 및, 상기 가전기기의 제 2 상태 중의, 적어도 어느 하나는 상기 단말로 전송하는 가전기기를 위한 정보처리시스템.
  6. 노드의 요청에 응하여 적어도 하나의 가전기기의 동작상태를 확인하는 확인모듈; 및
    사용자의 일정정보를 포함하는 트리거 신호가 있을 때, 상기 적어도 하나의 가전기기의 동작상태를 제 1 상태에서 제 2 상태로 변경하는 동작결정모듈을 포함하는 가전기기를 위한 정보처리장치.
  7. 제 6 항에 있어서,
    상기 동작결정모듈은 동작순서결정부를 포함하고,
    상기 동작순서결정부는, 상기 적어도 하나의 가전기기 중의 제 1 가전기기가, 상기 적어도 하나의 가전기기 중의 제 2 가전기기보다, 선행하여 동작하도록 결정하는 가전기기를 위한 정보처리장치.
  8. 제 6 항에 있어서,
    상기 동작결정모듈은 동작모드결정부를 포함하고,
    상기 동작모드결정부는, 상기 적어도 하나의 가전기기의 동작이 지연되는 지연모드로의 동작을 결정하는 가전기기를 위한 정보처리장치.
  9. 제 6 항에 있어서,
    상기 동작결정모듈은 동작시간결정부를 포함하고,
    상기 동작시간결정부는, 상기 적어도 하나의 가전기기의 동작시간을 변경하는, 가전기기를 위한 정보처리장치.
  10. 정보처리장치가 노드로부터 트리거신호를 수신하는 것;
    상기 트리거 신호의 의미를 개별서비스를 이용하여 파악하는 것;
    상기 정보처리장치는, 적어도 하나의 가전기기의 제 1 상태를 파악하는 것; 및
    상기 트리거 신호의 의미에 대응하여, 상기 적어도 하나의 가전기기의 상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스를 수행하는 것을 포함하는 가전기기의 정보처리방법.
  11. 제 10 항에 있어서,
    상기 정보처리장치가, 상기 트리거 신호의 의미를 단말로 제 1 결과회신으로 통지하는 것,
    상기 정보처리장치가, 상기 가전기기의 제 1 상태를 상기 단말로 제 2 결과회신으로 통지하는 것, 및
    상기 정보처리장치가, 상기 가전기기의 제 2 상태를 상기 단말로 제 3 결과회신으로 통지하는 것,
    중의 적어도 하나를 수행하는 것을 포함하는 가전기기의 정보처리방법.
  12. 제 10 항에 있어서,
    상기 트리거신호는 상기 가전기기를 사용하는 사용자의 일정변경이고,
    상기 제 1 상태는 상기 적어도 하나의 가전기기의 현재상태이고,
    상기 제 2 상태는 상기 사용자의 일정변경에 대응하여 가전기기의 동작상태를 변경하는 것인 가전기기를 위한 정보처리방법.
  13. 제 12 항에 있어서,
    상기 일정변경은 사용자의 귀가가 지연되는 것이고,
    상기 제 2 상태는 상기 적어도 하나의 가전기기가 지연하여 동작하는 것인 가전기기를 위한 정보처리방법.
  14. 제 10 항에 있어서,
    상기 적어도 하나의 가전기기의 상태를, 제 1 상태에서 제 2 상태로 변경하는 응용서비스에서,
    상기 제 2 상태는, 상기 적어도 하나의 가전기기 중의 제 1 가전기기의 동작이 상기 적어도 하나의 가전기기 중의 제 2 가전기기보다 선행하도록 결정하는 것을 포함하는 가전기기를 위한 정보처리방법.
  15. 제 14 항에 있어서,
    상기 제 1 가전기기는 로봇청소기이고, 상기 제 2 가전기기는 공기청정기인 가전기기를 위한 정보처리방법
  16. 제 14 항에 있어서,
    상기 제 1 상태는 동작예약이 설정되어 있는 상태인, 가전기기를 위한 정보처리방법.
  17. 제 10 항에 있어서,
    상기 적어도 하나의 가전기기의 상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스에서,
    상기 제 1 상태는 동작예약이 설정되지 않은 상태이고, 상기 제 2 상태는 예약상태로 바꾸는 것을 포함하는 가전기기를 위한 정보처리방법.
  18. 제 17 항에 있어서,
    상기 제 1 상태에서 상기 제 2 상태로 바꾸는 가전기기는 환기장치를 포함하는 정보처리장치.
  19. 제 10 항에 있어서,
    상기 트리거신호의 의미는 귀가지연이고, 상기 적어도 하나의 가전기기는 세탁기이고, 상기 제 1 상태는 상기 적어도 하나의 가전기기의 현재상태이고,
    상기 제 1 상태가 예약동작인 경우에는 세탁기의 동작을 귀가지연에 대응하여 지연하고,
    상기 제 1 상태가 세탁 또는 헹굼인 경우에는 제 2 상태는 세탁기를 지연하여 구동하고,
    상기 제 1 상태가 탈수인 경우에는 탈수 후에 텀플링 단계를 수행하는 것을 포함하는 가전기기를 위한 정보처리방법.
  20. 제 10 항에 있어서,
    상기 적어도 하나의 가전기기의 상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스에서, 상기 제 1 상태는 동작예약이 설정되지 않은 상태이고,
    동작예약이 설정되지 않은 상기 적어도 하나의 가전기기를 상기 단말로 추천하는 단계를 포함하는, 가전기기를 위한 정보처리방법.
  21. 제 20 항에 있어서,
    상기 추천의 대상이 되는 기기는 의류관리기를 포함하는 가전기기를 위한 정보처리방법.
PCT/KR2023/013415 2022-10-11 2023-09-07 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 WO2024080562A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220129580A KR20240049989A (ko) 2022-10-11 2022-10-11 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치
KR10-2022-0129580 2022-10-11

Publications (1)

Publication Number Publication Date
WO2024080562A1 true WO2024080562A1 (ko) 2024-04-18

Family

ID=90669493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013415 WO2024080562A1 (ko) 2022-10-11 2023-09-07 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치

Country Status (2)

Country Link
KR (1) KR20240049989A (ko)
WO (1) WO2024080562A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019258A (ko) * 2015-08-11 2017-02-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20210023112A (ko) * 2019-08-22 2021-03-04 주식회사 지금컴퍼니 세탁기 제어 시스템
KR20210067785A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 사용자 단말 및 그 제어 방법
KR20220007805A (ko) * 2020-07-10 2022-01-19 엘지전자 주식회사 다수의 가전기기를 이용한 실내 공기질 케어 시스템, 공기질 케어 방법, 및 모바일 디바이스
KR20220047078A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 전자 장치 및 이의 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941536B1 (ko) 2007-09-05 2010-02-10 엘지전자 주식회사 터치업 기능을 구비한 드럼세탁기 및 이의 터치업 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019258A (ko) * 2015-08-11 2017-02-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20210023112A (ko) * 2019-08-22 2021-03-04 주식회사 지금컴퍼니 세탁기 제어 시스템
KR20210067785A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 사용자 단말 및 그 제어 방법
KR20220007805A (ko) * 2020-07-10 2022-01-19 엘지전자 주식회사 다수의 가전기기를 이용한 실내 공기질 케어 시스템, 공기질 케어 방법, 및 모바일 디바이스
KR20220047078A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
KR20240049989A (ko) 2024-04-18

Similar Documents

Publication Publication Date Title
WO2019124909A1 (en) Method and apparatus for controlling appliance based on failure prediction
WO2019132159A1 (en) Method and apparatus for managing operation data of appliance for failure prediction
WO2019088802A1 (ko) 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
WO2015072619A1 (ko) 실시간 양방향 통신을 이용한 애완 동물 보호 시스템 및 방법
WO2020155359A1 (zh) 家电设备的控制方法、服务器、家电设备及存储介质
CN109068087A (zh) 智能会议投影系统
WO2016065745A1 (zh) 一种情景感知控制装置、系统及方法
CN104834222A (zh) 家用电器的控制方法和装置
WO2013062341A1 (en) System and method for controlling an electronic device
WO2017206883A1 (zh) 一种应用处理方法、装置、存储介质及电子设备
WO2019045455A2 (ko) 가전 기기의 음성 인식을 위한 시스템과 서버, 방법
WO2020130180A1 (ko) 세탁물 처리 기기 및 그의 동작 방법
EP4248619A1 (en) Methods and systems for controlling operations of devices in an internet of things (iot) environment
WO2024080562A1 (ko) 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치
WO2020256161A1 (ko) 인공지능 홈 로봇 및 그의 제어 방법
CN111190353A (zh) 智能家电指令冲突处理方法和装置、存储介质及电子装置
WO2024080563A1 (ko) 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치
WO2024080564A1 (ko) 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치
KR101193234B1 (ko) 명령 온톨로지 기반의 네트워크 제어방법 및 장치
WO2017217014A1 (ja) 操作者推定システム
WO2021071166A1 (en) Electronic apparatus and control method thereof
WO2021125886A1 (en) Method and systems for achieving collaboration between resources of iot devices
WO2023090534A1 (en) Method and apparatus for operating devices in iot environment
WO2022059883A1 (ko) 음성 인식을 수행하기 위한 전자 장치를 식별하기 위한 전자 장치 및 그 동작 방법
WO2014046369A1 (ko) 협동적 상황 모니터링을 수행하는 모바일 장치, 이를 이용하는 협동적 상황 모니터링 방법 및 이를 포함하는 협동적 상황 모니터링 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877492

Country of ref document: EP

Kind code of ref document: A1