WO2018117610A1 - 홈 네트워크를 관리하는 서버 및 이의 제어방법 - Google Patents

홈 네트워크를 관리하는 서버 및 이의 제어방법 Download PDF

Info

Publication number
WO2018117610A1
WO2018117610A1 PCT/KR2017/015044 KR2017015044W WO2018117610A1 WO 2018117610 A1 WO2018117610 A1 WO 2018117610A1 KR 2017015044 W KR2017015044 W KR 2017015044W WO 2018117610 A1 WO2018117610 A1 WO 2018117610A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensing data
sensors
determined
sensor
operation state
Prior art date
Application number
PCT/KR2017/015044
Other languages
English (en)
French (fr)
Inventor
김재덕
장새봄
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170145918A external-priority patent/KR102367395B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/464,989 priority Critical patent/US11303977B2/en
Publication of WO2018117610A1 publication Critical patent/WO2018117610A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/70—Arrangements in the main station, i.e. central controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/86—Performing a diagnostic of the sensing device

Definitions

  • the present disclosure relates to a server managing a home network and a control method thereof, and more particularly, to a server capable of automatically detecting an error of a device in a home network and a control method thereof.
  • the present disclosure relates to a server for automatically detecting an error of a device using an artificial intelligence (AI) system that simulates the functions of the human brain by using a machine learning algorithm, and a control method thereof.
  • AI artificial intelligence
  • All information appliances in the home connected to the home network can transmit data to each other and can communicate with various user terminal devices.
  • a user may control all home appliances connected to a home network regardless of time or place using a user interface (UI) provided in a user terminal device such as a mobile phone.
  • UI user interface
  • the home network environment is not structured in a predetermined form, but the environment in which the devices are configured is variously determined as desired by the user. Therefore, it is impossible to assume a specific environment and to predict a device failure situation suitable for the environment. .
  • Artificial intelligence systems that implement human-level intelligence have been used in various fields.
  • Artificial intelligence systems unlike conventional rule-based smart systems, are machines that learn and judge themselves and become smart. As the artificial intelligence system is used, the recognition rate is improved and the user's taste can be understood more accurately, and the existing rule-based smart system is gradually replaced by the deep learning-based artificial intelligence system.
  • Machine learning e.g. deep learning
  • machine learning e.g., deep learning
  • Machine learning is an algorithm technology that classifies / learns characteristics of input data by itself
  • element technology is a technology that simulates the functions of human brain cognition and judgment by using machine learning algorithms such as deep learning. It consists of technical areas such as understanding, reasoning / prediction, knowledge representation, and motion control.
  • Linguistic understanding is a technology for recognizing and applying / processing human language / characters and includes natural language processing, machine translation, dialogue system, question and answer, speech recognition / synthesis, and the like.
  • Visual understanding is a technology that recognizes and processes objects as human vision, and includes object recognition, object tracking, image retrieval, person recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference Prediction is a technique for judging, logically inferring, and predicting information. It includes knowledge / probability-based inference, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation / classification) and knowledge management (data utilization).
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), operation control (action control), and the like.
  • the present disclosure is to solve the above-described problem, and an object of the present disclosure is to provide a server and a control method thereof capable of automatically detecting an error of a device in a home network.
  • Another object of the present disclosure is to provide a server and a control method thereof capable of automatically detecting an error of a device in a home network using an artificial intelligence system.
  • a server managing a home network may include a storage unit configured to store an operation state of at least one electronic device in the home network and reference sensing data for each of a plurality of sensors; The operation state of the communication unit receiving the sensing data from the plurality of sensors and the at least one electronic device are determined, and the stored reference sensing data corresponding to the determined operating state is compared with the received sensing data. It includes a sensor and a processor for determining whether the at least one electronic device is an error.
  • the processor determines whether each of the sensing data received from the plurality of sensors is within a preset allowable range of the plurality of sensor-based reference sensing data corresponding to the determined operation state, and based on the determination It may be determined whether a plurality of sensors and the at least one electronic device are errors.
  • the processor determines that the at least one electronic device is in an error state in relation to the determined operation state when a sensor out of the preset allowable range among the plurality of sensors is equal to or larger than a preset ratio. If a sensor outside the preset allowable range is less than the preset ratio among the sensors of the sensor, it may be determined that the sensor outside the preset allowable range is in an error state.
  • the processor corresponds to the new operation state by sensing data received from each of the plurality of sensors at a time corresponding to the new operation state.
  • the reference sensing data may be stored in the storage unit.
  • the processor changes a sensing value at a time point corresponding to the new operation state among the plurality of sensing data received from the plurality of sensors, respectively.
  • Sensing data showing may be stored as the reference sensing data corresponding to the new operation situation in the storage unit.
  • the processor determines the sensing data received from the new sensor at a time corresponding to the determined operation state. It may be stored in the storage unit as the reference sensing data of the new sensor for the operation state.
  • the processor may receive state information from the at least one electronic device, and determine an operation state of the at least one electronic device based on the received state information.
  • the processor may control the communication unit to transmit information about a device determined to have an error among the at least one electronic device and the plurality of sensors to the user terminal device.
  • the processor may control the communication unit to transmit information on the determined operation status to the user terminal device together with information about a device determined to have an error among the at least one electronic device and a plurality of sensors. have.
  • the control method of the server for managing a home network the step of storing the operating status of the at least one electronic device in the home network and the reference sensing data for each of the plurality of sensors, the plurality of sensors Receiving sensing data from the at least one electronic device; determining an operating state of the at least one electronic device; comparing the stored reference sensing data with the received sensing data corresponding to the determined operating state; Determining whether an error occurs in at least one electronic device.
  • the determining of the error may include determining whether each of the sensing data received from the plurality of sensors is within a preset allowable range of reference sensing data for each of the sensors corresponding to the determined operation state, Based on the determination, whether the plurality of sensors and the at least one electronic device are in error may be determined.
  • the determining of the error may include determining that the at least one electronic device is in an error state in relation to the determined operation state when a sensor out of the preset allowable range is greater than or equal to a preset ratio among the plurality of sensors. If the sensor that is out of the preset tolerance range among the plurality of sensors is less than the preset ratio, it may be determined that the sensor that is out of the preset tolerance range is in an error state.
  • the storing of the sensing data received from each of the plurality of sensors at a time corresponding to the new operation state is performed. It may be stored as reference sensing data corresponding to.
  • the storing may include a sensing value at a time point corresponding to the new operation state among the plurality of sensing data received from the plurality of sensors, respectively. Sensing data showing a change may be stored as reference sensing data corresponding to the new operation situation.
  • the storing of the sensing data received from the new sensor at a time corresponding to the determined operation state It may be stored as the reference sensing data of the new sensor for the determined operation status.
  • the determining of the operation state may include receiving state information from the at least one electronic device, and determining the operation state of the at least one electronic device based on the received state information.
  • the method for controlling a server according to the present disclosure may further include transmitting information about a device determined to have an error among the at least one electronic device and a plurality of sensors to a user terminal device.
  • control method of the server transmitting the information on the determined operation status to the user terminal device together with the information on the device determined to have an error of the at least one electronic device and a plurality of sensors. It may further comprise a step.
  • the control method is, at least one electronic device in the home network Storing an operation state and reference sensing data for each of the plurality of sensors, receiving sensing data from the plurality of sensors, determining an operation state of the at least one electronic device, and corresponding to the determined operation state And comparing the stored reference sensing data with the received sensing data to determine whether the plurality of sensors and the at least one electronic device are in error.
  • FIG. 1 is a view for explaining a home network system according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram illustrating a configuration of a server according to an embodiment of the present disclosure for managing a home network
  • 3 to 5 are diagrams for describing an error determination method of a server according to various embodiments of the present disclosure.
  • FIG. 6 is a view for explaining reference sensing data for error determination according to an embodiment of the present disclosure stored in the form of a lookup table
  • FIG. 7 is a view for explaining a method according to an embodiment of the present disclosure for determining an error of a sensor in a specific situation
  • FIG. 8 is a flowchart illustrating an error determination method of a server according to an exemplary embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a control method of a server according to an exemplary embodiment.
  • FIG. 10 is a diagram for describing an error determination process, according to an exemplary embodiment.
  • 11 to 13 illustrate a data learner and a data recognizer generated by a processor of a server according to an exemplary embodiment of the present disclosure.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the module or unit performs at least one function or operation, and may be implemented in hardware or software, or in a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module except for 'modules' or 'units' that need to be implemented by specific hardware, and may be implemented as at least one processor.
  • FIG. 1 is a diagram illustrating a home network system 1000 according to an exemplary embodiment.
  • the home network system 1000 includes a server 100 and a plurality of client devices 11 to 18 connected to the server 100.
  • the server 100 may be connected to a plurality of client devices 11 to 18 included in a home network by wire or wireless communication.
  • the server 100 may be in charge of controlling, managing, and interworking the plurality of client devices 11 to 18.
  • the server 100 may exist as an independent device or may be mounted on another device.
  • the server 100 may serve as a gateway for interconnecting and arbitrating a home network and an external network.
  • the server 100 may transmit a control command provided from an external device to the plurality of client devices 11 to 18, or collect state information of the plurality of client devices 11 to 18 and transmit the control command to the external device. .
  • the server 100 may control the plurality of client devices 11 to 18 by receiving a control command from the user terminal device, collect state information of the plurality of client devices 11 to 18, and transmit the collected state information to the user terminal device.
  • the user terminal device may be a device such as a smartphone, a desktop computer, a notebook computer, a tablet PC, a PDA, or the like.
  • the server 100 may automatically determine errors of the plurality of client devices 11 to 18.
  • the client device may be referred to as an electronic device included in the home network or a sensor included in the home network.
  • the plurality of client devices 11 to 18 may include sensors capable of sensing an environment, for example, sensors such as temperature / illumination sensors 11, 12, 17, power measurement sensors 15, 18, etc. in FIG. 1.
  • the device to be detected may include, for example, a device such as a light bulb 10, 14, a TV 13, an air conditioner 16, or the like in FIG. 1.
  • devices such as light bulbs 10, 14, TV 13, air conditioner 16, etc. may also have sensor functions.
  • the bulbs 10 and 14 may include an illumination sensor, and the brightness of the bulbs 10 and 14 may be automatically adjusted based on the ambient brightness detected by the sensor.
  • the TV 13 may include an illuminance sensor, and the brightness of the display of the TV 13 may be automatically adjusted based on the ambient brightness detected by the sensor.
  • the air conditioner 16 may include a temperature sensor, and the cooling temperature may be automatically controlled based on the temperature sensed by the sensor.
  • the server 100 may detect a device in which an error occurs based on an operation relationship between the plurality of client devices 11 to 18.
  • the first temperature / illumination sensor 10 around the TV may detect a change in illuminance, and the power measurement sensor 15 may supply power to the TV.
  • the power consumption as it is supplied can be measured. This situation is no error.
  • the power measurement sensor 15 measures power consumption as power is supplied to the TV, and the first temperature / illuminance sensor ( 10) No change in illuminance is detected. That is, it can be seen that the problem occurs in the first temperature / illuminance sensor 10 when compared with the normal situation.
  • the server 100 stores information on the operation relationship of the plurality of client devices 11 to 18 in the normal operation state, and based on the information, the operation state of the plurality of client devices 11 to 18 currently determined. Can detect which client device has an error.
  • the present disclosure since the information about the operation relationship of the plurality of client devices 11 to 18 in the normal operating situation can be obtained in the process of using the client devices of the home network, it is necessary to construct such information separately. The cost and time can be reduced. Above all, this information can be adaptively updated even with changes in the environment, such as adding new devices to the home network, so the present disclosure is suitable for application to the IoT environment.
  • the server 100 may inform the user by transmitting information on the device in which the error occurs and information on the operation situation in which the error occurs to the user terminal device.
  • the present disclosure is not limited to being used only in a home environment, and may be applied to various environments such as a school and a company.
  • the server 100 has been described as one, the home network system 1000 may have several servers.
  • the server 100 includes a communication unit 110, a storage unit 120, and a processor 130.
  • the communication unit 110 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication unit 110 may be connected to an external device through, for example, a local area network (LAN) or an internet network, and may communicate wirelessly (eg, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS). , Weightless, Edge Zigbee, ANT +, NFC, IrDA, DECT, WLAN, Bluetooth, Wi-Fi, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO, etc.
  • the communication unit 110 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, and a wireless communication chip.
  • the communication unit 110 may be connected to client devices included in the home network managed by the server 100 to receive status information. In addition, the communication unit 110 may receive sensing data from sensors included in the home network.
  • the storage unit 120 is a component in which various programs and information necessary for the control of the server 100 may be stored.
  • the storage unit 120 may be implemented as a nonvolatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the storage unit may be implemented not only as a storage medium in the server 100 but also as an external storage medium, for example, a micro SD card, a USB memory, or an external server.
  • the storage unit 120 may store various information necessary for home network management.
  • the storage unit 120 may include information about client devices connected to the server 100.
  • the client device is a sensor
  • information about an object that can be detected by the sensor may be stored in the storage 120.
  • the storage unit 120 may store a list of control commands for controlling the client devices.
  • the list of control commands may be stored in the storage 120 for each client device.
  • the storage unit 120 may store information generated by using client devices.
  • the storage unit 120 may store a history of controlling the client devices.
  • the storage unit 120 may store a history of sensing data generated by a sensor among client devices.
  • the storage unit 120 may store an operation state of at least one electronic device and a plurality of sensor-based reference sensing data in the home network.
  • the reference sensing data may be stored in the storage 120 in the form of a lookup table for each of the plurality of sensors according to the operation situation.
  • the processor 130 is a component for controlling the overall operation of the server 100.
  • processor 130 may include at least one CPU (or DSP, MPU, etc.), RAM, ROM, system bus.
  • the processor may be implemented with a MICOM (MICRO COMPUTER), an application specific integrated circuit (ASIC), or the like.
  • the processor 130 may determine an operation state of client devices included in the home network.
  • the operating situation may involve one or a plurality of client devices.
  • the processor 130 may receive state information from the client devices, and determine an operation state of the client devices based on the received state information.
  • the state information is information capable of grasping the operation state of the client device on the server 100 side, and specifically, may be information capable of grasping the operation state of the client device on the server 100 side.
  • information indicating whether the TV is currently on or off, or whether the operation mode is a power saving mode may be the status information.
  • the air conditioner In the case of an air conditioner, the air conditioner is currently operating in a cooling state.
  • State information may be information indicating whether the air conditioner or the dehumidification function is being performed in the air conditioner.
  • the state information may be information indicating a sensing state of the sensor.
  • state information may be determined based on sensing data received from the sensor.
  • a presense sensor may transmit sensing data to the server 100, and the processor 130 may determine whether the occupancy sensor has detected a room based on the received sensing data.
  • the temperature sensor may transmit sensing data to the server 100, and the processor 130 may determine how many degrees the temperature sensor has sensed based on the received sensing data.
  • the status information may be continuously or periodically transmitted to the server 100.
  • the processor 130 may request through the communication unit 110 to transmit the status information to the client device, and the client device may transmit the status information to the server 100 according to the request.
  • the processor 130 may control the communication unit 110 to transmit a control command for performing a specific operation to the client device, and the client device performs an operation on the received control command and informs that the operation has been performed.
  • Status information can be transmitted as the information.
  • the processor 130 may determine the operation status of the client devices of the current home network based on the state information received from the at least one client device.
  • the operation state may be determined based on the sensing data instead of the state information.
  • the processor 130 stores the reference sensing data corresponding to the operation state based on the sensing data received from the sensors included in the home network at a time corresponding to the operation state. 120). Thereafter, when sensing data is received from the sensors, the current operating situation may be determined by comparing the received sensing data with the stored reference sensing data.
  • the processor 130 may use the sensing data itself received from the sensor or process the received sensing data by using the processed sensing data. For example, the processor 130 may store the temperature value itself received from the temperature sensor as reference sensing data, or store information on the increase or decrease of the temperature determined based on the temperature value received from the temperature sensor, as the reference sensing data.
  • the processor 130 may store the reference sensing data of each of the plurality of sensors included in the home network in the storage 120 for various operating situations of the client devices.
  • the reference sensing data is for use in determining whether the client devices are defective.
  • the reference sensing data is not predefined, but data generated by using client devices.
  • the processor 130 determines an operation state of the client devices, and if the determined operation state is a new operation state, the processor 130 applies the sensing data received from the sensors included in the home network at a time corresponding to the new operation state. On the basis of this, the reference sensing data corresponding to the new operation situation may be stored in the storage 120.
  • the reference sensing data of each of the plurality of sensors may be stored in the storage 120 in the form of a lookup table.
  • the processor 130 determines the current operation status of the client devices, and if the determined operation status is registered in the lookup table, the processor 130 receives reference sensing data of a plurality of sensors corresponding to the operation status and each of the current sensors. By comparing the plurality of sensing data, it is determined whether each of the plurality of received sensing data is within a predetermined allowable range of the reference sensing data of each of the plurality of sensors, and based on the determination, it is determined whether an error of the client devices related to the operation situation is determined. can do.
  • determining whether the value is within a preset allowable range may mean determining whether a mismatch between the compared sensing data is within a preset error range.
  • the TV 31 is powered on, and the TV 31 transmits state information indicating that the power is turned on to the server 100.
  • the processor 130 may determine an operating state that the TV is turned on based on the state information received from the TV 31, and if the operating state is a new operating state, that is, the first determined operating state, when the TV is turned on, Sensing data received from the power measurement sensor 32 and the illuminance sensor 33 may be stored in the storage 120 as reference sensing data corresponding to an operation state of 'TV power on'. Since the display unit of the TV would be turned on as the TV 31 was turned on, the brightness sensor 33 would have detected a change in brightness, and the power measurement sensor 32 would have detected power consumption. Each of the sensing data may be stored as reference sensing data corresponding to an operation state in which the TV is powered on.
  • the processor 130 determines the operation state in which the power of the TV 31 is turned on, based on the state information received from the TV 31, the processor 130 is powered on.
  • the sensing data received from the measuring sensor 32 and the illuminance sensor 33 are compared with the reference sensing data stored as described above. As a result of the comparison, the sensing data received from the illuminance sensor 33 is within a preset allowable range of the reference sensing data of the illuminance sensor 33, but the sensing data received from the power measuring sensor 32 is determined by the power measuring sensor 32.
  • the processor 130 may determine that an error occurs in the power measurement sensor 32.
  • both the sensing data received from the illuminance sensor 33 and the sensing data received from the power measurement sensor 32 deviate from a preset allowable range of the reference sensing data
  • the illuminance sensor 33 and the power measurement are performed. It is more likely that an error has occurred in the TV 31 than an error has occurred in the sensor 32. In this situation, for example, the TV 31 sends status information indicating that the power is turned on to the server 100, but the display of the actual TV may not be turned on due to a problem with the internal components of the TV 31.
  • the illuminance sensor 33 cannot detect the brightness change because the display of the TV is not turned on, and the power measurement sensor 32 does not operate the display of the TV 31 as much as the display operates normally. Power consumption is not detected. Therefore, the processor 130 determines that the sensing data received from the power measurement sensor 32 and the illuminance sensor 33 does not coincide with the reference sensing data even though it is determined that the TV 31 is powered on. It can be determined that an error has occurred.
  • the sensing data used for determining whether the error may be the raw data received from the sensor, or may be processed by analyzing the data received from the sensor.
  • the temperature value received from the temperature sensor may be used as sensing data for determining whether there is an error, and information about an increase state or a decrease state of temperature obtained by analyzing and processing the temperature value received from the temperature sensor may also be used. It can be used as sensing data.
  • the processor 130 determines an operation state of the electronic devices in the home network, and reference sensing data of each of the plurality of sensors corresponding to the determined operation state and a plurality of sensing data received from the plurality of sensors. By comparing the sensor for each sensor, it is possible to determine whether errors between the sensors and the electronic devices.
  • the reference sensing data is generated when it is determined that a new operating situation is determined.
  • the present invention is not limited thereto, and the processor 130 newly collects the reference sensing data even for the regenerated operating situation. Compared with the newly collected reference sensing data and the previously stored reference sensing data, if it is determined that they match each other within the preset allowable range, the newly collected reference sensing data is merged with the previously stored reference sensing data, and the average data thereof is merged. New reference sensing data corresponding to the operation may be generated.
  • the processor 130 detects the sensing data received from the new sensor at a time corresponding to the determined operation state. It may be stored in the storage unit 120 as the reference sensing data of the new sensor for the determined operation status. That is, reference sensing data of the new sensor for the determined operation state may be added to the lookup table. Whenever a new operation situation associated with the new sensor occurs, reference sensing data may be generated and added to the lookup table based on the sensing data of the new sensor.
  • the processor 130 is based on the sensing data received from the second illuminance sensor when the sensing data received from the second illuminance sensor is the first time when the operating state occurs.
  • the reference sensing data of the second illuminance sensor corresponding to the operating state in which the power of 31 is turned on may be generated and added to the storage 120.
  • the corresponding reference sensing data can be automatically added to the lookup table, so that the error detection related database is directly modified whenever the environment of the home network changes. No work is required.
  • the reference sensing data may store not only a sensing value but also information on a time taken until a sensing value corresponding to the operating state is detected before and after the corresponding operating state occurs.
  • the reference sensing data may include only the time information as described above. This will be described with reference to FIG. 4.
  • the cooling of the air conditioner 41 is operated, and the air conditioner 41 transmits state information indicating that the cooling is operated to the server 100.
  • the status information may also include information on the cooling temperature.
  • the processor 130 may determine an operating situation in which cooling of the air conditioner 41 is started based on the state information received from the air conditioner 41, and the processor 130 measures power at a time corresponding to the determined operating condition.
  • the sensing data received from the sensor 44 and the temperature sensors 42, 43 are analyzed.
  • the processor 130 may calculate the time taken from the cooling operation time until the temperature change is sensed by the temperature sensors 42 and 43.
  • the processor 130 stores the time information as reference sensing data of the first temperature sensor 42 and reference sensing data of the second temperature sensor 43, respectively, corresponding to the operation condition of 'air conditioning cooling operation'. ) Can be stored.
  • the processor 130 may determine the temperature.
  • the sensing data received by the sensors 42 and 43 and the power measurement sensor 44 are compared with the reference sensing data stored as described above.
  • the processor 130 analyzes the sensing data received from the first temperature sensor 42 to determine whether a temperature change is detected within a preset allowable range based on 10 minutes from the cooling operation time.
  • the processor 130 analyzes the sensing data received from the second temperature sensor 43 to determine whether a temperature change is detected within a preset allowable range based on one minute from the cooling operation time.
  • the processor 130 compares the sensing data received from the power measurement sensor 44 with the reference sensing data of the power sensor 44.
  • the processor 130 may determine that the sensing data received from the first temperature sensor 42 is out of a preset allowable range of the first temperature sensor 42. If the processor 130 determines that the sensing data received from the remaining second temperature sensor 42 and the power measurement sensor 44 is within a preset allowable range of the reference sensing data, the processor 130 may only error the first temperature sensor 42. Can be judged that
  • the processor 130 determines the operation status of all the electronic devices included in the home network, and the reference sensing corresponding to the determined operation status Based on the data, it may be determined whether the device has an error.
  • the reference sensing data may be stored in the storage unit 120 even in a complex operation situation in which a plurality of electronic devices are associated, such as an operation situation in which the TV is turned on and air conditioner operates cooling at the same time. Accordingly, the processor 130 may accurately detect an error even in a complex operation situation involving a plurality of electronic devices. This will be described with reference to FIG. 5.
  • the cooling of the air conditioner 51 is operated, and the food is heated in the cooking apparatus 52.
  • the air conditioner 51 and the cooking device 52 transmit state information to the server 100, and the processor 130 is based on the state information received from the air conditioner 51 and the state information received from the cooking device 52. It is possible to determine the combined operation state that the cooling of the air conditioner 51 is started and the food is being heated in the cooking apparatus 52 at the same time.
  • the processor 130 compares the sensing data received from the temperature sensor 53 and the reference sensing data of the temperature sensor 53 corresponding to the complex operating situation at a time corresponding to the determined complex operating situation.
  • the reference sensing data corresponding to the complex operation state includes the first reference sensing data of the temperature sensor 53 corresponding to the operation state in which air conditioning of the air conditioner 51 is operated, and the food is heated in the cooking apparatus 52.
  • the second reference sensing data of the temperature sensor 53 corresponding to an operation situation may be combined data.
  • the sensing data received by the temperature sensor 53 is stored in the storage 120 as separate reference sensing data different from the first reference sensing data and the second reference sensing data. Can be.
  • the processor 130 may determine an error in consideration of the complex operating situation as described above, for example, the air conditioner 51 is set based on the 18 degree cooling based on the temperature sensor 53 while the air conditioning 51 is operated at 18 degrees. Even if the sensing value corresponding to the temperature higher than the allowable range is output or the time taken until the temperature change state is increased, this is due to the heating in the cooking apparatus 53, and thus it is determined that there is an error in the temperature sensor 53. This can prevent errors.
  • FIG. 6 is a diagram for describing reference sensing data for each operation situation stored in the form of a lookup table.
  • reference sensing data of sensors included in a home network may be stored in the storage 120 in the form of a lookup table for each operation state of the electronic devices included in the home network.
  • Reference sensing data (xx) of the first sensor corresponding to the operating condition A, reference sensing data (xxx) of the second sensor corresponding to the operating condition A, reference sensing data of the third sensor corresponding to the operating condition A (xxxx) Can be included in the lookup table.
  • reference sensing data (x) of the first sensor corresponding to the B operation state, reference sensing data (-) of the second sensor corresponding to the B operation state, and reference sensing data of the third sensor corresponding to the B operation state (xx). ) May be included in the lookup table.
  • the operation state A corresponds to a situation in which the TV 13 is powered on in FIG. 1, and the reference sensing data xx of the first sensor corresponding to the operation state A is in the case where the TV 13 is powered on.
  • Reference sensing data of the first temperature / illumination sensor 11 and reference sensing data xxx of the second sensor corresponding to the A operating condition is reference sensing of the illuminance sensor 14 when the TV 13 is powered on.
  • the reference sensing data xxxx of the third sensor corresponding to the operation state A may be reference sensing data of the second temperature / illuminance sensor 17 when the power of the TV 13 is turned on.
  • the operation B of FIG. 1 corresponds to a situation in which the TV 13 is in the power saving mode and at the same time, cooling of the air conditioner 16 is operated
  • reference sensing data of the first sensor corresponding to the operation B of FIG. xx) is the reference sensing data of the first temperature / illumination sensor 11 when the TV 13 is in the power saving mode and at the same time the cooling of the air conditioner 16 is operated
  • the data (-) is reference sensing data of the illuminance sensor 14 when the TV 13 is in the power saving mode and at the same time cooling of the air conditioner 16 is operated
  • reference sensing data of the third sensor corresponding to the B operation state ( xx may be reference sensing data of the second temperature / illumination sensor 17 when the TV 13 is in a power saving mode and at the same time cooling of the air conditioner 16 is activated.
  • the reference sensing data of the plurality of sensors stored in the storage 120 for each operation state may include sensing data of all sensors included in the home network.
  • the reference sensing data stored in the storage 120 may be configured as sensing data of only sensors related to an operation situation among the sensors included in the home network. Sensors associated with an operating situation may be selected as sensors that output a changed sensing value when an operating situation occurs.
  • the processor 130 performs cooling when analyzing the sensing data received from the power measurement sensor 18 and the temperature sensors 12 and 17 in an operating state in which cooling of the air conditioner 16 is operated in FIG. 1.
  • the power measurement sensor 18 and the temperature sensors 12 and 17 may be selected as sensors related to the operating situation in which the cooling of the air conditioner 16 is operated. have.
  • the processor 130 determines that the temperature sensor 11 is not related to the operating state in which the cooling operation is performed when the change in the sensing value is not seen in the temperature sensor 11 in the operating situation in which the cooling of the air conditioner 16 is operated. can do.
  • the processor 130 converts sensing data showing a change in a sensing value at a time point corresponding to the determined operating state among the plurality of sensing data received from the plurality of sensors, as reference sensing data corresponding to the determined operating state.
  • the storage unit 120 may store the same.
  • the processor 130 may determine an operation state based on sensing data received from a plurality of sensors, and the received sensing data is stored in the storage unit 120 as reference sensing data corresponding to the determined operation state. Can be stored.
  • the processor 130 determines that the same operating situation reoccurs, the processor 130 compares the sensing data received from the plurality of sensors with the previously stored reference sensing data at a time corresponding to the corresponding operating situation, and thus the error of the plurality of sensors. It can be determined. Specific examples related to the present embodiment will be described with reference to FIG. 7.
  • FIG. 7 is a diagram for describing a method of determining a defect of a sensor in an operating situation configured by the sensors.
  • the sensor A 73 for detecting the opening and closing of the front door is disposed in the front door
  • the sensor B 72 for detecting the motion is disposed in the front door home
  • the sensor C for detecting the occupancy 71 is arranged in the house.
  • the situation where a presence is detected in the sensor C 71 corresponds to a situation where someone enters the house.
  • the opening and closing of the front door is detected by the sensor A (73) and the motion is detected by the sensor B (72). Therefore, the sensing data generated in each of the sensor B 72 and the sensor A 73 at the time point corresponding to the situation in which the presence of the sensor C 71 is detected is the presence in the sensor C 71.
  • the reference sensing data corresponding to the detected situation may be stored in the storage 120.
  • the processor 130 may determine which sensor among the plurality of sensors has a defect, based on the reference sensing data.
  • the processor 130 may determine that a situation in which someone enters the house has occurred, and the B sensor 72 and the A sensor 73 at a time corresponding to the determined situation.
  • the sensing data received by the reference data is compared with the reference sensing data of the B sensor 72 and the reference sensing data of the A sensor 73 to determine whether the received sensing data are within an allowable range of the reference sensing data.
  • the sensor B You can determine that there is an error.
  • the door opening and closing is detected by sensor A and the occupancy of sensor C, which means that sensor B has an error because motion is not detected by sensor B.
  • the processor 130 determines an operation state of at least one electronic device included in the home network, and the sensing data received from the plurality of sensors is preset of the plurality of sensor-based reference sensing data corresponding to the determined operation state. It may be determined whether it is within an allowable range, and based on the determination, whether the plurality of sensors and the at least one electronic device are in error may be determined.
  • the processor 130 may determine that the at least one electronic device is in an error state in relation to the determined operation state when a sensor out of the preset allowable range among the plurality of sensors is greater than or equal to a preset ratio. .
  • the processor 130 may determine that the sensor that is out of the predetermined allowable range is in an error state when the sensor that is out of the predetermined allowable range among the plurality of sensors is less than the predetermined ratio.
  • the processor 130 determines an operating situation in which cooling of the air conditioner 41 is operated, sensors associated with the determined operating situation, that is, the first temperature sensor 42 and the second temperature sensor 43 are determined. ) And the power sensor 44 compare the sensing data received from the three sensors with reference sensing data corresponding to the operating situation in which the air conditioner 41 of each of the three sensors is operated.
  • the processor 130 determines whether each of the sensing data received from the three sensors is within a preset allowable range of each of the three reference sensing data, and the ratio of the sensor that is out of the preset allowable range is preset. Determine if it is below the ratio. If the ratio is set to 2/3, if the sensing data of one of the three sensors is out of the allowable range of the reference sensing data, the processor 130 determines that there is an error in the sensor. The processor 130 may determine that the cooling function of the air conditioner 31 is in error when it is determined that sensing data of two or more sensors out of the three sensors is outside the allowable range of the reference sensing data. have.
  • the preset allowable range which is a reference for the comparison operation may mean a preset error range.
  • the preset ratio which is a reference of the comparison operation, may be determined according to the total number of sensing data to be compared. For example, if the total number of sensing data to be compared is five, the ratio may be determined as 3/5, and if the total number of sensing data to be compared is two, the ratio may be determined to be 2/2. have.
  • a predetermined ratio may be determined to compare scores based on the degree of inconsistency. For example, even if there are two sensing data to be compared, the ratio may be set to 1.5 / 2.
  • the processor 130 out of the preset allowable range among the plurality of sensors is less than the preset ratio
  • the error determination process may be performed on the sensor again. This will be described with reference to FIG. 10.
  • FIG. 10 is a diagram for describing an error determination process, according to an exemplary embodiment.
  • sensors associated with the determined operating situation that is, the first illuminance sensor 1007 and the second illuminance sensor 1030, may be used.
  • the third illuminance sensor 1040 compares the sensing data received from the three sensors with reference sensing data corresponding to the operating situation in which the first bulb 1005 of each of the three sensors is turned on for each sensor.
  • the processor 130 determines whether each of the sensing data received from the three sensors is within a preset allowable range of each of the three reference sensing data, and the ratio of the sensor that is out of the preset allowable range is preset. Determine if it is less than ratio. If the ratio is set to 2/3, if the sensing data of the sensor of the third illuminance sensor 1040 out of the three sensors is out of the allowable range of the reference sensing data, the processor 130 is the third illuminance sensor It is determined that there is a possibility of error in 1040.
  • the processor 130 performs an error determination process on the third illuminance sensor 1040 that is determined to have an error possibility.
  • the processor 130 determines an operating situation in which the second light bulb 1060 is turned on at another time point
  • the sensors related to the determined operating situation that is, the third illuminance sensor 1040 and the fourth illuminance sensor 1050 may be used.
  • the sensing data received from the two sensors is compared with reference sensing data corresponding to the operating situation in which the second bulb 1060 of each of the two sensors is turned on for each sensor.
  • the processor 130 determines whether each of the sensing data received from the two sensors is within a preset allowable range of each of the two reference sensing data, and determines that there is a possibility of error if it is within the preset allowable range.
  • the three illuminance sensors 1040 finally determine that the error condition is not.
  • the door of the room in which the third light sensor 1040 is located is closed, so that the first light bulb 1005 of the third light sensor 1040 is closed.
  • the problem that the third illuminance sensor 1040 is prematurely determined to be an error can be prevented.
  • the error state of the sensor can be determined more accurately as a result of several error determination processes.
  • FIG. 8 is a flowchart illustrating an error detection method of the server 100 according to an exemplary embodiment.
  • information 810 of client devices is stored in the storage 120 of the server 100.
  • Client devices can be divided into sensors and actuators.
  • a sensor is a device for sensing temperature, humidity, motion, occupancy, power consumption, etc.
  • an actuator is a device that performs a specific function to cause an environmental change that can be detected by the sensor, and means a TV, an air conditioner, a cooking device, and the like. do.
  • the information 810 of the client devices includes information about an object that the sensor can measure and a list of control commands for controlling the actuator.
  • the server 100 determines the operation performance (action execution) of the client devices (IoT devices) (S820), the server 100 determines information (or action performance information) about the determined operation status and the corresponding operation status.
  • the sensing data (or sensor information) of the sensor is stored in the storage 120 (S830).
  • the server 100 analyzes the recorded information and extracts information on attributes of the sensing data generated by the sensor during the operation state (during action) (S840).
  • the attribute of the sensing data may include a sensing value of a sensor corresponding to an action execution and / or a time taken from the execution of the action until the sensing value is measured.
  • the sensing values (temperature values) of the temperature sensors 42 and 43 and the temperature sensors 42, corresponding to the operating conditions in which the air conditioner 41 is cooled are operated.
  • operation 43 information about the time taken to detect the temperature change (10 minutes, 1 minute) may be extracted.
  • sensing values of the motion sensor 72 and the front door opening / closing sensor 73 may be extracted at a time corresponding to an operation situation in which the occupancy is detected in the occupancy sensor 71. Before and after the occupancy is detected in the occupancy sensor 71, information about the time taken by the motion sensor 72 and the front door opening and closing detection sensor 73 until the motion is detected or the front door opening and closing is detected is extracted. Can be.
  • the server 100 In operation S850, the server 100 generates a relationship graph for a change in an attribute of sensing data generated by a plurality of sensors in response to an operation situation. For example, referring to FIG. 4, the server 100 defines a relationship between attributes of a plurality of sensing data generated by each of the plurality of temperature sensors 42 and 43 when cooling of the air conditioner 41 is operated. Create a graph. As another example, referring to FIG. 7, the server 100 may detect the presence of the sensing data generated by the motion sensor 72 and the front door opening / closing sensor 73 when the occupancy is detected by the occupancy sensor 71. Create a graph that defines the relationship.
  • the server 100 stores the generated relationship graph 870 in the storage 120.
  • the server 100 stores information 880 about sensors associated with the operation situation (or action) in the storage 120.
  • the server 100 stores information about the motion sensor 72 and the front door opening / closing sensor 73 in association with an action where a room is detected.
  • the stored information is used for error detection later when the same operation situation is determined. Building such information may be performed offline.
  • the error detection operation can be performed online.
  • the server 100 performs an operation of determining whether there is a defect (or an error) in an actuator associated with the operation state. (S880). For example, when it is determined that an operation state in which air conditioning of the air conditioner is operated is determined, the server 100 determines whether the air conditioner is defective. Alternatively, when a sensor other than an actuator is associated with the determined operation situation, the server 100 may perform an operation of determining whether the sensor is defective (S885). Whether the sensor is defective may be performed periodically instead of being performed every time an operating situation is determined.
  • the server 100 extracts a device related to an operation situation (S890).
  • the server 100 determines whether each of the associated devices is defective.
  • the server 100 compares the change of the attribute of the sensing data S830 received from the sensor related to the operation situation with the pre-stored association graph 870.
  • the server 100 determines whether or not a device is defective in operation S892 by scoring a score based on the degree of inconsistency between the compared sensing data (S892). As a result of the determination, if there is a defect, the user terminal device informs the information about the defect (S894).
  • the server 100 may transmit information about the device determined to be in error to the user terminal device. In this case, the server 100 may notify the user terminal device only when the number of times determined to be an error exceeds a preset number.
  • the server 100 may transmit not only the information on the device in error, but also information on the determined operation status to the user terminal device. That is, for example, referring to FIG. 4, the server 100 may provide information indicating that an error has occurred in the first temperature sensor 42 together with information indicating that an operation condition in which air conditioning 41 is operated is generated. It can transmit to the terminal device.
  • FIG. 9 is a flowchart illustrating a control method of a server according to an exemplary embodiment.
  • the server 100 stores an operation state of at least one electronic device in a home network and reference sensing data for each of a plurality of sensors (S910).
  • reference sensing data of each of the plurality of sensors may be stored in the form of a lookup table for each operation situation.
  • the server 100 transmits sensing data received from each of the plurality of sensors to the new operation state at a time corresponding to the new operation state. It may be stored as corresponding reference sensing data.
  • the server 100 may store only the sensing data related to the determined operation situation as the reference sensing data.
  • the server 100 may determine that the sensing data showing the change in the sensing value at the time corresponding to the determined operating situation is the sensing data related to the operating situation. For example, if a sensing value change due to a temperature change appears in sensing data received from a specific temperature sensor in a specific operating situation and a change in sensing value due to a change in brightness appears in sensing data received from a specific illuminance sensor, the server 100 In the specific operating situation, the sensing data received from the specific temperature sensor and the specific illuminance sensor may be determined to be sensing data associated with the specific operating situation.
  • the server 100 when it is determined that the operation state of the at least one electronic device in the home network is the new operation state, the server 100 corresponds to the new operation state among the plurality of sensing data received from the plurality of sensors, respectively. Sensing data showing a change in a sensing value may be stored as reference sensing data corresponding to the new operation situation.
  • the server 100 determines the sensing data received from the new sensor at a time corresponding to the determined operation state. It may be stored as the reference sensing data of the new sensor for the operation state.
  • the server 100 receives sensing data from a plurality of sensors in the home network.
  • the server 100 may continuously receive and store sensing data from a plurality of sensors.
  • the server 100 may receive and store sensing data from a plurality of sensors at predetermined periods.
  • the server 100 determines an operation state of at least one electronic device included in the home network.
  • the server 100 may determine an operation state based on the state information received from the at least one electronic device.
  • the server 100 compares the stored reference sensing data with the received sensing data corresponding to the determined operation condition.
  • the server 100 compares the plurality of sensing data stored for each of the plurality of sensors corresponding to the determined operation situation with each of the plurality of sensors and the at least one sensor by comparing the plurality of sensing data received from the plurality of sensors with each sensor.
  • operation S950 it is determined whether an electronic device has an error.
  • the server 100 determines whether each of the sensing data received from the plurality of sensors is within a preset allowable range of the reference sensing data for each of the sensors corresponding to the determined operation state, and based on the determination The error of the plurality of sensors and the at least one electronic device may be determined.
  • the difference between the reference sensing data and the received sensing data is calculated, and when the calculated difference is within a preset error range, it may be determined that the received sensing data is within the preset allowable range of the reference sensing data.
  • the server 100 determines that the at least one electronic device is in an error state in relation to the determined operation state when a sensor out of the preset allowable range among the plurality of sensors is equal to or greater than a preset ratio, and the plurality of sensors If the sensor that is out of the predetermined allowable range is less than the predetermined ratio, it may be determined that the sensor that is out of the predetermined allowable range is in an error state.
  • the ratio may be set according to the number of sensors to be compared. For example, when the number of sensors to be compared is 3, the ratio may be set to 2/3. When the number of sensors to be compared is 4, the ratio may be set to 3/4. When the number of sensors to be compared is five, the ratio may be set to 3/5.
  • the value obtained from the reference scores of each device may be used as a ratio. For example, when the number of sensors to be compared is three and each reference score is given as 0.8, 0.5, and 0.2, 1.5 / 3 may be set as a ratio.
  • the present disclosure is not limited to the above ratio.
  • the server 100 may transmit information about a device determined to have an error among the at least one electronic device and the plurality of sensors to the user terminal device.
  • the user terminal device may be a device having a display, and according to the information received from the server 100 on the display of the user terminal device, the name of the device having an error, the type of the device having the error, and the device having the error are homed. Information of the device, such as the date of initial registration in the network, may be displayed.
  • the server 100 may transmit not only information on the device determined to have an error among the at least one electronic device and the plurality of sensors, but also information on the determined operation status to the user terminal device.
  • the server 100 may transmit a message to the user terminal, such as, 'The sensor has detected that an error has occurred in the temperature sensor A while the air conditioner is being cooled, and the user terminal device may display the received message. have. Based on this message, the user can first check the temperature sensors in the room where the air conditioner is present to find the temperature sensor A in error.
  • maintenance of devices may be more easily performed in an IoT environment in which a plurality of devices exist.
  • a user can easily determine whether a device, such as a sensor, that is difficult for a user to check for a failure, and also a function of an electronic device, for example, energy, for which the user does not recognize a failure. The user can easily identify the saving mode function.
  • the database required for detecting the occurrence of an error can be automatically built in the process of using the device, there is an advantage that it takes no effort and time to produce such a database separately, and according to the present disclosure Even in an informal IoT environment in which a user can freely arrange devices and freely give functions to devices, a database for error detection suitable for each environment can be constructed.
  • the processor 130 of the server may determine whether an error occurs in a plurality of sensors and an electronic device by using a learning algorithm, and provide information about the determination result to a user.
  • 11 to 13 illustrate a data learner and a data recognizer generated by a processor of a server according to an exemplary embodiment of the present disclosure.
  • a processor 130 may include a data learner 1010 and a data recognizer 1020.
  • the data learner 1010 may generate or train the data recognition model to have a criterion for determining whether the plurality of sensors and the electronic device have an error. In order to determine a predetermined situation, the data learner 1010 may apply the training data to the data recognition model and generate a data recognition model having a determination criterion.
  • the data learner 1010 may generate or learn a data recognition model using state information of a plurality of sensors and electronic devices as learning data.
  • the data recognizer 1020 may determine a situation based on the recognized data.
  • the data recognizer 1020 may determine whether the client devices are defective from predetermined recognition data by using the learned data recognition model.
  • the data recognizing unit 1020 acquires predetermined recognition data according to a predetermined criterion, and applies the acquired recognition data to the data recognition model as an input value, thereby detecting whether the plurality of sensors and the electronic device based on the predetermined recognition data are errors. Can be determined (or estimated).
  • the result value obtained by applying the acquired recognition data as an input value to the data recognition model may be used to update the data recognition model.
  • the data recognizer 1020 may obtain a result of determining whether the client devices are defective by applying state information of the client devices as an input value to the data recognition model.
  • At least a part of the data learner 1010 and at least a part of the data recognizer 1020 may be implemented as a software module or manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data learner 1010 and the data recognizer 1020 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general purpose processor (eg, a CPU).
  • the server may be manufactured as a part of an application processor or a graphics dedicated processor (eg, a GPU) and mounted on a server.
  • a dedicated hardware chip for artificial intelligence is a dedicated processor specialized for probability calculation, and has higher parallelism performance than a conventional general-purpose processor, so that a computational task in artificial intelligence such as machine learning can be processed quickly.
  • the software module may be a computer readable non-transitory readable recording medium ( non-transitory computer readable media).
  • the software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the software modules may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • FIG. 12 is a block diagram of a data learner 1010 according to an exemplary embodiment of the present disclosure.
  • a data learner 1010 may include a data acquirer 1010-1 and a model learner 1010-4.
  • the data learner 1010 may further include at least one of a preprocessor 1010-2, a training data selector 1010-3, and a model evaluator 1010-5.
  • the data acquirer 1010-1 may acquire learning data necessary for learning for defect determination of the client devices.
  • the training data may be data collected or tested by the data learner 1010 or a manufacturer of client devices.
  • the learning data may include sensing data of sensors according to the present disclosure and information on an operating situation of the electronic device. That is, it may include operation status information and sensing data of the electronic device.
  • the model learner 1010-4 may train the data recognition model to have a criterion for determining whether the data recognition model determines whether or not the client devices are defective. For example, the model learner 1010-4 may train the data recognition model through supervised learning using at least some of the training data as a criterion. Alternatively, the model learner 1010-4 may learn, for example, by using the training data without any guidance, through unsupervised learning that finds a criterion for determining whether the client devices have failed. In addition, the data recognition model can be trained.
  • model learner 1010-4 may learn a selection criterion about what training data should be used to determine whether the client devices are defective.
  • model learner 1010-4 may generate or learn a data recognition model by using operation state information of the electronic device and sensing data of a plurality of sensors as learning data.
  • the data recognition model may be a model that is previously built and updated by learning of the model learner 1010-4.
  • the data recognition model may be built in advance by receiving basic training data (for example, operation status information of electronic devices and sensing data of a plurality of sensors).
  • the data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • the data recognition model can be designed to simulate the human brain structure on a computer.
  • the data recognition model may include a plurality of weighted network nodes that simulate neurons in a human neural network.
  • the plurality of network nodes may form a connection relationship so that neurons simulate synaptic activity through which signals are sent and received through synapses.
  • the data recognition model may include, for example, a neural network model or a deep learning model developed from the neural network model. In the deep learning model, a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • a model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the data recognition model, but is not limited thereto.
  • DNN deep neural network
  • RNN recurrent neural network
  • BTDNN bidirectional recurrent deep neural network
  • the model learner 1010-4 may be a data recognition model for learning a data recognition model having a high correlation between input training data and basic training data. You can decide.
  • the basic training data may be previously classified by the type of data, and the data recognition model may be pre-built by the type of data. For example, the basic training data is classified based on various criteria such as the region where the training data is generated, the time at which the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, and the types of objects in the training data. It may be.
  • model learner 1010-4 may train the data recognition model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method. .
  • model learner 1010-4 may train the data recognition model through, for example, supervised learning using a criterion as an input value for learning.
  • the model learner 1010-4 learns the data recognition model through unsupervised learning that finds a criterion for determining a situation, for example, by learning by itself using necessary learning data without any guidance. You can.
  • the model learner 1010-4 may train the data recognition model through, for example, reinforcement learning using feedback on whether the result of the situation determination according to the learning is correct.
  • the model learner 1010-4 may store the trained data recognition model.
  • the model learner 1010-4 may store the learned data recognition model in the memory of the server 130.
  • the data learner 1010 may improve the recognition result of the data recognition model or save resources or time necessary for generating the data recognition model.
  • the data processor 1010 and the learning data selector 1010-3 may be used. It may further include.
  • the preprocessor 1010-2 may preprocess the data acquired by the data acquirer 1010-1 to use it for learning to determine whether the client devices are defective.
  • the preprocessor 1010-2 may process the acquired data into a predefined format so that the model learner 1010-4 can easily use the data for learning the data recognition model.
  • the preprocessed data may be provided to the model learner 1010-4 as training data.
  • the training data selection unit 1010-3 may selectively select the training data required for learning from the preprocessed data.
  • the selected training data may be provided to the model learner 1010-4.
  • the training data selection unit 1010-3 may select the training data necessary for learning from the preprocessed data according to a predetermined selection criterion.
  • the training data selector 1010-3 may select training data required for learning based on a predetermined selection criterion by the training by the model learner 1010-4.
  • the training data selector 1010-3 may select only sensing data related to a specific client device from among input sensing data.
  • the data learner 1010 may further include a model evaluator 1010-5 to improve the recognition result of the data recognition model.
  • the model evaluator 1010-5 may input the evaluation data into the data recognition model, and cause the model learner 1010-4 to relearn when the recognition result output from the evaluation data does not satisfy a predetermined criterion. have.
  • the evaluation data may be predefined data for evaluating the data recognition model.
  • the model evaluator 1010-5 may determine a predetermined criterion when the number or ratio of the evaluation data in which the recognition result is not accurate among the recognition results of the learned data recognition model for the evaluation data exceeds a preset threshold. It can be evaluated as not satisfied. For example, when a predetermined criterion is defined at a ratio of 2%, the model evaluator 1010-5 when the learned data recognition model outputs an incorrect recognition result for more than 20 evaluation data out of a total of 1000 evaluation data. Can be judged that the learned data recognition model is not suitable.
  • the model evaluator 1010-5 evaluates whether each learned data recognition model satisfies a predetermined criterion, and recognizes the final data as a model that satisfies the predetermined criterion. Can be determined as a model. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 1010-5 may determine any one or a predetermined number of models which are preset in the order of the highest evaluation score as the final data recognition model.
  • At least one of the above-described data acquisition unit 1010-1, preprocessor 1010-2, training data selection unit 1010-3, model learner 1010-4, and model evaluation unit 1010-5 May be implemented as a software module or manufactured in the form of at least one hardware chip and mounted on a server.
  • at least one of the data acquirer 1010-1, the preprocessor 1010-2, the training data selector 1010-3, the model learner 1010-4, and the model evaluator 1010-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as a part of an existing general purpose processor (eg, a CPU or application processor) or a graphics dedicated processor (eg, a GPU). It can also be mounted on a server.
  • AI artificial intelligence
  • At least one of the data acquirer 1010-1, the preprocessor 1010-2, the training data selector 1010-3, the model learner 1010-4, and the model evaluator 1010-5 may be used. It may be implemented as a software module. At least one of the data acquirer 1010-1, the preprocessor 1010-2, the training data selector 1010-3, the model learner 1010-4, and the model evaluator 1010-5 is a software module. (Or a program module including instructions), the software module may be stored in a computer readable non-transitory computer readable media. In this case, at least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • OS operating system
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • FIG. 13 is a block diagram of a data recognizer 1020 according to some embodiments.
  • the data recognizer 1020 may include a data acquirer 1020-1 and a recognition result provider 1020-4.
  • the data recognizer 1020 may further include at least one of a preprocessor 1020-2, a recognition data selector 1020-3, and a model updater 1020-5.
  • the data acquirer 1020-1 may acquire recognition data necessary for determining whether the client devices are defective.
  • the recognition result providing unit 1020-4 may determine whether the client devices are defective by applying the data acquired by the data obtaining unit 1020-1 to the data recognition model learned as an input value.
  • the recognition result providing unit 1020-4 may provide a recognition result according to the recognition purpose of the data.
  • the recognition result providing unit 1020-4 may provide the recognition result by applying the data preprocessed by the preprocessor 1020-2 to be described later to the data recognition model learned as an input value.
  • the recognition result providing unit 1020-4 may provide the recognition result by applying the data selected by the recognition data selection unit 1020-3 to be described below as an input value to the data recognition model.
  • the data recognizer 1210 may use the preprocessor 1020-2 and the recognition data selector 1020-3 to improve the recognition result of the data recognition model or to save resources or time for providing the recognition result. It may further include.
  • the preprocessor 1020-2 may preprocess the data acquired by the data acquirer 1020-1 to use the recognition for determining whether the electronic device has an error.
  • the preprocessing unit 1020-2 may process the acquired data into a predefined format so that the recognition result providing unit 1020-4 can easily use the data for determining the situation.
  • the data acquisition unit 1020-1 acquires sensing data of a plurality of sensors to determine whether the client devices are defective, and the preprocessor 1020-2 as described above.
  • the sensing data may be preprocessed in a predefined format.
  • the recognition data selector 1020-3 may select recognition data necessary for determining a situation from the preprocessed data.
  • the selected recognition data may be provided to the recognition result providing unit 1020-4.
  • the recognition data selector 1020-3 may select recognition data necessary for determining whether the client devices are defective from the preprocessed data according to a preset selection criterion.
  • the recognition data selector 1020-3 may select data according to a predetermined selection criterion by learning by the model learner 1010-4 described above.
  • the model updater 1020-5 may control the data recognition model to be updated based on the evaluation of the recognition result provided by the recognition result provider 1020-4. For example, the model updater 1020-5 provides the recognition result provided by the recognition result provider 1020-4 to the model learner 1010-4 so that the model learner 1010-4 can be used. Control to update the data recognition model.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device by using software, hardware, or a combination thereof.
  • the embodiments described in the present disclosure may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), Processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • Processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • control method of the server according to various embodiments of the present disclosure described above may be stored in a non-transitory readable medium.
  • Such non-transitory readable media can be mounted and used in a variety of devices.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • programs for performing the above-described various methods may be stored and provided in a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, or a ROM.
  • the method according to the disclosed embodiments may be provided as a computer program product.
  • the computer program product may include a S / W program, a computer readable storage medium on which the S / W program is stored, or a product traded between a seller and a buyer.
  • a computer program product may be an electronic device or a manufacturer of an electronic device or a product (eg, a downloadable app) in the form of a software program distributed electronically through an electronic market (eg, Google Play Store or App Store). It may include.
  • an electronic market eg, Google Play Store or App Store.
  • the storage medium may be a server of a manufacturer or an electronic market, or a storage medium of a relay server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

홈 네트워크를 관리하는 서버가 개시된다. 본 서버는, 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장하는 저장부, 복수의 센서로부터 센싱 데이터를 수신하는 통신부 및 적어도 하나의 전자 장치의 동작 상황을 판단하고, 판단된 동작 상황에 대응되는 저장된 기준 센싱 데이터와 수신된 센싱 데이터를 비교하여 복수의 센서, 및 적어도 하나의 전자 장치의 에러 여부를 판단하는 프로세서를 포함한다.

Description

홈 네트워크를 관리하는 서버 및 이의 제어방법
본 개시는 홈 네트워크를 관리하는 서버 및 이의 제어방법에 관한 것으로, 더욱 상세하게는 홈 네트워크 내의 기기의 에러를 자동으로 감지할 수 있는 서버 및 이의 제어방법에 대한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템을 이용하여 기기의 에러를 자동으로 감지하는 서버 및 이의 제어 방법에 대한 것이다.
컴퓨터 기술, 통신 기술 및 홈 일렉트로닉스 기술의 발달과 함께, 가정 내의 기기 및 시스템이 홈 네트워크로 연결되어 관리되는 홈 네트워크 관리 서비스가 등장하였고, 미래지향적 기술로서 각광받고 있다.
홈 네트워크로 연결되는 가정 내의 모든 정보가전기기들은 상호 간의 데이터 전송이 가능하며, 다양한 사용자 단말 장치와 통신할 수 있다. 예를 들어, 사용자는 휴대폰 등과 같은 사용자 단말 장치에 마련된 유저 인터페이스(User Interface;UI)를 이용하여 홈 네트워크로 연결된 가정 내의 모든 가전기기를 시간, 장소에 구애받지 않고 제어할 수 있다.
하지만, 이러한 환경에서 여러 대의 기기를 유지, 관리 및 보수하는 것에 어려움이 있었다. 예컨대, 홈 네트워크 내에 포함된 특정 센서가 고장 나더라도, 이러한 기기의 고장은 눈으로 확인될 수 있는 사항이 아니어서, 사용자가 고장을 인지하기엔 어려움이 있었다.
또한, 홈 네트워크 환경은 정해진 형태로 구조화되는 것이 아니라, 사용자가 원하는 대로 기기들이 구성하는 환경이 다양하게 결정되는 것이어서, 특정 환경을 가정해 두고, 그 환경에 맞는 기기 고장 상황을 예측하는 것도 불가능하였다.
한편, 근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 홈 네트워크 내의 기기의 에러를 자동으로 감지할 수 있는 서버 및 이의 제어방법을 제공하기 위한 것이다.
또한 본 개시의 다른 목적은 인공지능 시스템을 이용하여 홈 네트워크 내의 기기의 에러를 자동으로 감지할 수 있는 서버 및 이의 제어방법을 제공하기 위한 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 홈 네트워크를 관리하는 서버는, 상기 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장하는 저장부, 상기 복수의 센서로부터 센싱 데이터를 수신하는 통신부 및 상기 적어도 하나의 전자 장치의 동작 상황을 판단하고, 상기 판단된 동작 상황에 대응되는 상기 저장된 기준 센싱 데이터와 상기 수신된 센싱 데이터를 비교하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 복수의 센서로부터 수신된 센싱 데이터 각각이 상기 판단된 동작 상황에 대응되는 복수의 센서별 기준 센싱 데이터의 기설정된 허용 범위 내인지를 판단하고, 상기 판단에 기초하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단할 수 있다.
이 경우, 상기 프로세서는, 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 이상이면 상기 판단된 동작 상황과 관련하여 상기 적어도 하나의 전자 장치가 에러 상태인 것으로 판단하고, 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 상기 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서가 에러 상태인 것으로 판단할 수 있다.
한편, 상기 프로세서는, 상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 신규 동작 상황과 대응되는 시점에 상기 복수의 센서 각각으로부터 수신된 센싱 데이터를 상기 신규 동작 상황에 대응되는 기준 센싱 데이터로 상기 저장부에 저장할 수 있다.
한편, 상기 프로세서는, 상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 복수의 센서로부터 각각 수신된 복수의 센싱 데이터 중 상기 신규 동작 상황과 대응되는 시점에 센싱 값의 변화를 보이는 센싱 데이터를 상기 신규 동작 상황에 대응하는 기준 센싱 데이터로 상기 저장부에 저장할 수 있다.
한편, 상기 프로세서는, 상기 홈 네트워크에 신규 센서가 등록된 이후, 상기 적어도 하나의 전자 장치의 동작 상황이 판단되면, 판단된 동작 상황과 대응되는 시점에 상기 신규 센서로부터 수신된 센싱 데이터를 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터로 상기 저장부에 저장할 수 있다.
한편, 상기 프로세서는, 상기 적어도 하나의 전자 장치로부터 상태 정보를 수신하고, 수신된 상태 정보에 기초하여 상기 적어도 하나의 전자 장치의 동작 상황을 판단할 수 있다.
한편, 상기 프로세서는, 상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보를 사용자 단말 장치로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 프로세서는, 상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보와 함께 상기 판단된 동작 상황에 대한 정보를 사용자 단말 장치로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 홈 네트워크를 관리하는 서버의 제어방법은, 상기 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장하는 단계, 상기 복수의 센서로부터 센싱 데이터를 수신하는 단계, 상기 적어도 하나의 전자 장치의 동작 상황을 판단하는 단계 및 상기 판단된 동작 상황에 대응되는 상기 저장된 기준 센싱 데이터와 상기 수신된 센싱 데이터를 비교하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 단계를 포함한다.
이 경우, 상기 에러 여부를 판단하는 단계는, 상기 복수의 센서로부터 수신된 센싱 데이터 각각이 상기 판단된 동작 상황에 대응되는 복수의 센서별 기준 센싱 데이터의 기설정된 허용 범위 내인지를 판단하고, 상기 판단에 기초하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단할 수 있다.
이 경우, 상기 에러 여부를 판단하는 단계는, 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 이상이면 상기 판단된 동작 상황과 관련하여 상기 적어도 하나의 전자 장치가 에러 상태인 것으로 판단하고, 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 상기 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서가 에러 상태인 것으로 판단할 수 있다.
한편, 상기 저장하는 단계는, 상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 신규 동작 상황과 대응되는 시점에 상기 복수의 센서 각각으로부터 수신된 센싱 데이터를 상기 신규 동작 상황에 대응되는 기준 센싱 데이터로 저장할 수 있다.
한편, 상기 저장하는 단계는, 상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 복수의 센서로부터 각각 수신된 복수의 센싱 데이터 중 상기 신규 동작 상황과 대응되는 시점에 센싱 값의 변화를 보이는 센싱 데이터를 상기 신규 동작 상황에 대응하는 기준 센싱 데이터로 저장할 수 있다.
한편, 상기 저장하는 단계는, 상기 홈 네트워크에 신규 센서가 등록된 이후, 상기 적어도 하나의 전자 장치의 동작 상황이 판단되면, 판단된 동작 상황과 대응되는 시점에 상기 신규 센서로부터 수신된 센싱 데이터를 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터로 저장할 수 있다.
한편, 상기 동작 상황을 판단하는 단계는, 상기 적어도 하나의 전자 장치로부터 상태 정보를 수신하고, 수신된 상태 정보에 기초하여 상기 적어도 하나의 전자 장치의 동작 상황을 판단할 수 있다.
한편, 본 개시에 따른 서버의 제어 방법은, 상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보를 사용자 단말 장치로 전송하는 단계를 더 포함할 수 있다.
한편, 본 개시에 따른 서버의 제어 방법은, 상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보와 함께 상기 판단된 동작 상황에 대한 정보를 사용자 단말 장치로 전송하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 홈 네트워크를 관리하는 서버의 제어방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어방법은, 상기 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장하는 단계, 상기 복수의 센서로부터 센싱 데이터를 수신하는 단계, 상기 적어도 하나의 전자 장치의 동작 상황을 판단하는 단계 및 상기 판단된 동작 상황에 대응되는 상기 저장된 기준 센싱 데이터와 상기 수신된 센싱 데이터를 비교하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 홈 네트워크 시스템을 설명하기 위한 도면,
도 2는 홈 네트워크를 관리하는 본 개시의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블럭도,
도 3 내지 도 5는 본 개시의 다양한 실시 예에 따른 서버의 에러 판단 방법을 설명하기 위한 도면,
도 6은 룩업 테이블 형태로 저장된 본 개시의 일 실시 예에 따른 에러 판단을 위한 기준 센싱 데이터를 설명하기 위한 도면,
도 7은 특정 상황에서 센서의 에러를 판단하는 본 개시의 일 실시 예에 따른 방법을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 서버의 에러 판단 방법을 설명하기 위한 흐름도, 그리고
도 9는 본 개시의 일 실시 예에 따른 서버의 제어방법을 설명하기 위한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 에러 판단 과정을 설명하기 위한 도면이다.
도 11 내지 도 13은 본 개시의 일 실시예에 따른 서버의 프로세서에서 생성되는 데이터 학습부 및 데이터 인식부를 도시한다.
본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 홈 네트워크 시스템(1000)을 도시한 도면이다.
도 1을 참고하면, 홈 네트워크 시스템(1000)은 서버(100) 및 서버(100)와 연결된 복수의 클라이언트 기기(11~18)를 포함한다.
서버(100)는 홈 네트워크에 포함된 복수의 클라이언트 기기(11~18)와 유선 또는 무선 통신 방식으로 연결될 수 있다. 그리고 서버(100)는 복수의 클라이언트 기기(11~18)의 제어, 관리 및 연동 등을 담당할 수 있다. 서버(100)는 독립적인 기기로 존재할 수 있고, 다른 기기에 탑재될 수도 있다.
서버(100)는 가정 내의 네트워크와 외부 네트워크를 상호 접속, 중재하는 게이트 웨이의 역할을 수행할 수도 있다. 이 경우, 서버(100)는 외부 기기에서 제공되는 제어 명령을 복수의 클라이언트 기기(11~18)로 전송하거나, 복수의 클라이언트 기기(11~18)의 상태 정보를 수집하여 외부 기기로 전송할 수 있다.
그리고 서버(100)는 사용자 단말 장치로부터 제어 명령을 수신하여 복수의 클라이언트 기기(11~18)를 제어할 수 있고, 복수의 클라이언트 기기(11~18)의 상태 정보를 수집하여 사용자 단말 장치로 전송할 수 있다. 이 경우 사용자 단말 장치는 스마트폰, 데스크톱 컴퓨터, 노트북, 테블릿 PC, PDA 등과 같은 기기일 수 있다.
도 1에 도시된 것과 같은 다수의 클라이언트 기기를 관리, 유지, 보수하기 위해서 서버(100)는 복수의 클라이언트 기기(11~18)의 에러를 자동으로 판단할 수 있다. 한편, 본 명세서에서 클라이언트 기기는 다른 말로 홈 네트워크에 포함된 전자 장치 또는 홈 네트워크에 포함된 센서 등으로 나타내어질 수 있다.
복수의 클라이언트 기기(11~18)는 환경을 센싱할 수 있는 센서, 예컨대 도 1에서 온도/조도 센서(11, 12, 17), 전력 측정 센서(15, 18) 등과 같은 센서와, 이러한 센서의 감지 대상이 되는 장치, 예컨대 도 1에서 전구(10, 14), TV(13), 에어컨(16) 등과 같은 장치를 포함할 수 있다. 물론, 전구(10, 14), TV(13), 에어컨(16) 등과 같은 장치도 센서 기능을 가질 수 있다.
예컨대, 전구(10, 14)는 조도 센서를 포함할 수 있고, 센서에서 감지된 주변 밝기에 기초하여 자동으로 전구(10, 14)의 밝기가 조절될 수 있다. 그리고 TV(13)는 조도 센서를 포함할 수 있고, 센서에서 감지된 주변 밝기에 기초하여 자동으로 TV(13)의 디스플레이의 밝기가 조절될 수 있다. 그리고 에어컨(16)은 온도 센서를 포함할 수 있고, 센서에서 감지된 온도에 기초하여 냉방 온도가 자동으로 제어될 수 있다.
서버(100)는 복수의 클라이언트 기기(11~18) 간의 동작 관계를 바탕으로 에러가 발생한 기기를 검출해낼 수 있다.
예컨대, TV(13)의 전원이 켜지면 TV의 디스플레이가 켜지게 되므로 TV 주변의 제1 온도/조도 센서(10)에서 조도 변화를 감지할 수 있고, 전력측정센서(15)에선 TV에 전원이 공급됨에 따른 전력 소모를 측정할 수 있다. 이와 같은 상황은 에러가 없는 상황이다. 그런데 제1 온도/조도 센서(10)에 에러가 발생한 경우, TV(13)가 켜지면 전력측정센서(15)에선 TV에 전원이 공급됨에 따른 전력 소모가 측정되고, 제1 온도/조도 센서(10)에선 조도 변화가 감지되지 않는다. 즉, 정상 상황일 때와 비교해보면 제1 온도/조도 센서(10)에 문제가 생겼음을 알 수 있다.
서버(100)는 정상 동작 상황에서의 복수의 클라이언트 기기(11~18)의 동작 관계에 대한 정보를 저장하고 있고, 이러한 정보를 바탕으로 현재 판단된 복수의 클라이언트 기기(11~18)의 동작 상황에서 어떠한 클라이언트 기기에 에러가 있는지를 검출해낼 수 있다.
특히, 본 개시에 따르면, 정상 동작 상황에서의 복수의 클라이언트 기기(11~18)의 동작 관계에 대한 정보는 홈 네트워크의 클라이언트 기기들이 사용되는 과정에서 획득될 수 있는 것이므로, 이러한 정보를 별도로 구축하는데 드는 비용, 시간이 줄어들 수 있다. 무엇보다도, 이러한 정보는 홈 네트워크에 신규 기기를 추가하는 등의 환경의 변화에도 적응적으로 갱신될 수 있으므로, 본 개시는 IoT 환경에 적용되기에 적절하다.
또한, 서버(100)는 에러가 발생한 기기에 대한 정보 및 에러가 발생한 동작 상황에 대한 정보를 사용자 단말 장치에 전송함으로써 사용자에게 알릴 수 있다.
한편, '홈' 네트워크 시스템으로 설명하였으나, 본 개시가 집안 환경에만 사용되는 것을 한정한 것은 아니고, 학교, 회사 등 다양한 환경에 적용될 수 있다.
또 한편, 서버(100)가 한 개인 것으로 설명하였으나, 홈 네트워크 시스템(1000)에는 여러 대의 서버가 존재할 수도 있다.
이하, 도 2를 참고하여 서버(100)에 대해 좀 더 자세히 설명하도록 한다.
도 2를 참고하면, 서버(100)는 통신부(110), 저장부(120) 및 프로세서(130)를 포함한다.
통신부(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(110)는 예컨대, 근거리 통신망(LAN: Local Area Network) 또는 인터넷망을 통해 외부 기기에 접속될 수 있고, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부(110)는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다.
통신부(110)는 서버(100)가 관리하는 홈 네트워크에 포함된 클라이언트 장치들과 연결되어 상태 정보를 수신할 수 있다. 또한, 통신부(110)는 홈 네트워크에 포함된 센서들로부터 센싱 데이터를 수신할 수 있다.
저장부(120)는 서버(100)의 제어를 위해 필요한 각종 프로그램, 정보가 저장될 수 있는 구성이다. 예컨대, 저장부(120)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 한편, 저장부는 서버(100) 내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, micro SD 카드, USB 메모리, 외부 서버로 구현될 수도 있다.
저장부(120)는 홈 네트워크 관리에 필요한 각종 정보를 저장할 수 있다. 예컨대, 저장부(120)는 서버(100)에 연결된 클라이언트 기기들에 대한 정보를 포함할 수 있다. 구체적으로, 클라이언트 기기가 센서인 경우, 그 센서가 감지 가능한 대상에 대한 정보가 저장부(120)에 저장되어 있을 수 있다.
그리고 저장부(120)는 클라이언트 기기들을 제어하기 위한 제어 명령의 리스트가 저장할 수 있다. 제어 명령의 리스트는 클라이언트 기기별로 저장부(120)에 저장될 수 있다.
그리고 저장부(120)는 클라이언트 기기들을 사용함에 따라 생성되는 정보를 저장할 수 있다. 구체적으로 저장부(120)는 클라이언트 기기들을 제어한 이력을 저장할 수 있다. 그리고 저장부(120)는 클라이언트 기기들 중 센서에서 생성된 센싱 데이터의 이력을 저장할 수 있다.
특히, 저장부(120)는 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장할 수 있다. 이러한 기준 센싱 데이터는 동작 상황별로 복수의 센서마다 룩업 테이블 형태로 저장부(120)에 저장될 수 있다.
프로세서(130)는 서버(100)의 전반적인 동작을 제어하기 위한 구성이다. 예컨대 프로세서(130)는 적어도 하나의 CPU(또는 DSP, MPU 등), RAM, ROM, 시스템 버스를 포함할 수 있다. 프로세서는 MICOM(MICRO COMPUTER), ASIC(application specific integrated circuit) 등으로 구현될 수 있다.
프로세서(130)는 홈 네트워크에 포함된 클라이언트 기기들의 동작 상황을 판단할 수 있다. 동작 상황은 한 대 또는 복수 대의 클라이언트 기기가 연관될 수 있다.
일 예로, 프로세서(130)는 클라이언트 기기들로부터 상태 정보를 수신하여, 수신된 상태 정보에 기초하여 클라이언트 기기들의 동작 상황을 판단할 수 있다.
상태 정보란 서버(100) 측에서 클라이언트 기기의 동작 상황을 파악할 수 있는 정보로, 구체적으로는, 클라이언트 기기의 동작 상태를 서버(100) 측에서 파악할 수 있는 정보일 수 있다. 예컨대, TV의 경우, 현재 TV에 전원이 온되었는지, 오프되었는지, 동작 모드가 절전 모드인지 등을 알리는 정보가 상태 정보가 될 수 있고, 에어컨의 경우, 현재 에어컨이 냉방 가동 중인지, 냉방 온도는 몇도인지, 에어컨에서 제습 기능이 수행되고 있는지 등을 알리는 정보가 상태 정보가 될 수 있다.
또 다른 예로, 상태 정보는 센서의 감지 상태를 나타내는 정보일 수 있다. 이 경우, 센서로부터 수신되는 센싱 데이터에 기초하여 상태 정보가 결정될 수 있다. 예컨대, 재실 센서(precense sensor)는 센싱 데이터를 서버(100)로 전송하고, 프로세서(130)는 수신된 센싱 데이터에 기초하여 재실 센서가 재실을 감지한 상태인지 여부를 판단할 수 있다. 또 다른 예로, 온도 센서는 센싱 데이터를 서버(100)로 전송하고, 프로세서(130)는 수신된 센싱 데이터에 기초하여 온도 센서가 몇도의 온도를 감지한 상태인지 판단할 수 있다.
클라이언트 장치에 따라, 상태 정보를 지속적으로 또는 기 설정된 주기로 서버(100)로 전송할 수 있다. 또는, 프로세서(130)는 클라이언트 기기로 상태 정보를 전송할 것을 통신부(110)를 통해 요청할 수 있고, 요청에 따라 클라이언트 기기는 서버(100)로 상태 정보를 전송할 수 있다. 또는, 프로세서(130)는 클라이언트 기기로 특정 동작 수행을 위한 제어 명령을 전송하도록 통신부(110)를 제어할 수 있고, 클라이언트 기기는 수신된 제어 명령에 대한 동작을 수행하고, 동작이 수행되었음을 알리는 응답 정보로서 상태 정보를 전송할 수 있다.
상기와 같이 프로세서(130)는 적어도 하나의 클라이언트 기기에서 수신된 상태 정보에 기초하여 현재 홈 네트워크의 클라이언트 기기들의 동작 상황을 판단할 수 있다.
또 다른 실시 예에선, 상태 정보 대신, 센싱 데이터에 기초하여 동작 상황이 판단될 수 있다. 구체적으로, 프로세서(130)는 동작 상황이 판단되면, 해당 동작 상황에 대응되는 시점에 홈 네트워크에 포함된 센서들로부터 수신된 센싱 데이터에 기초하여 해당 동작 상황에 대응되는 기준 센싱 데이터를 저장부(120)에 저장할 수 있다. 이후, 상기 센서들로부터 센싱 데이터가 수신되면, 수신된 센싱 데이터와 상기 저장된 기준 센싱 데이터를 비교하여, 현재 동작 상황을 판단할 수 있다.
한편, 프로세서(130)는 센서로부터 수신되는 센싱 데이터 자체를 이용하거나, 수신된 센싱 데이터를 가공하여 가공된 센싱 데이터를 이용할 수 있다. 예컨대, 프로세서(130)는 온도 센서로부터 수신된 온도 값 자체를 기준 센싱 데이터로 저장하거나, 온도 센서로부터 수신된 온도 값에 기초하여 판단된 온도의 증감에 대한 정보를 기준 센싱 데이터로 저장할 수 있다.
프로세서(130)는 클라이언트 기기들의 다양한 동작 상황별로, 홈 네트워크에 포함된 복수의 센서 각각의 기준 센싱 데이터를 저장부(120)에 저장할 수 있다. 기준 센싱 데이터는 클라이언트 기기들의 결함 여부를 판단하는데 사용하기 위한 것이다. 기준 센싱 데이터는 미리 정의되는 것이 아니고, 클라이언트 기기들을 사용함에 따라 생성되는 데이터이다.
구체적으로, 프로세서는(130)는 클라이언트 기기들의 동작 상황을 판단하고, 판단된 동작 상황이 새로운 동작 상황이면, 상기 새로운 동작 상황에 대응되는 시점에 홈 네트워크에 포함된 센서들로부터 수신된 센싱 데이터에 기초하여 상기 새로운 동작 상황에 대응되는 기준 센싱 데이터를 저장부(120)에 저장할 수 있다.
동작 상황별로, 복수의 센서 각각의 기준 센싱 데이터는 룩업 테이블(Lookup table)의 형태로 저장부(120)에 저장될 수 있다.
그리고 프로세서(130)는 클라이언트 기기들의 현재 동작 상황을 판단하고, 판단된 동작 상황이 룩업 테이블에 등록되어 있으면, 해당 동작 상황에 대응되는 복수의 센서의 기준 센싱 데이터와, 현재 복수의 센서로부터 각각 수신된 복수의 센싱 데이터를 비교하여, 수신된 복수의 센싱 데이터 각각이 복수의 센서별 기준 센싱 데이터의 기 설정된 허용 범위 내인지를 판단하고, 판단에 기초하여 동작 상황에 연관된 클라이언트 기기들의 에러 여부를 판단할 수 있다.
여기서 기 설정된 허용 범위 내인지 여부를 판단하는 것은, 비교된 센싱 데이터들 간의 불일치가 기 설정된 오차 범위 이내인지를 판단하는 것을 의미할 수 있다.
기준 센싱 데이터 저장과 관련한 실시 예를 도 3을 참고하여 설명하도록 한다.
도 3을 참고하면, TV(31)가 전원이 온 되었고, TV(31)는 전원이 온 되었음을 알리는 상태 정보를 서버(100)로 전송한다. 프로세서(130)는 TV(31)로부터 수신된 상태 정보에 기초하여 TV가 온 되었다는 동작 상황을 판단할 수 있고, 이 동작 상황이 새로운 동작 상황, 즉 최초로 판단된 동작 상황이면, TV가 온된 시점에 전력 측정 센서(32) 및 조도 센서(33)로부터 각각 수신된 센싱 데이터들을 'TV 전원 온'이라는 동작 상황에 대응하는 기준 센싱 데이터로 저장부(120)에 저장할 수 있다. TV(31)의 전원이 온됨에 따라 TV의 디스플레이부가 켜졌을 것이므로, 조도 센서(33)에선 밝기 변화가 감지되었을 것이고, 전력 측정 센서(32)에선 전력의 소모가 감지되었을 것이다. 이와 같은 센싱 데이터들 각각이 TV의 전원이 온된 동작 상황에 대응하는 기준 센싱 데이터로서 저장될 수 있다.
이와 같이 기준 센싱 데이터들이 저장된 이후에, 프로세서(130)는 TV(31)로부터 수신된 상태 정보에 기초하였을 때, TV(31)의 전원이 온되는 동작 상황이 판단되면, 프로세서(130)는 전력 측정 센서(32) 및 조도 센서(33)에서 각각 수신된 센싱 데이터를 상기와 같이 저장된 기준 센싱 데이터들과 비교한다. 비교 결과, 조도 센서(33)로부터 수신된 센싱 데이터가 조도 센서(33)의 기준 센싱 데이터의 기 설정된 허용 범위 내이지만, 전력 측정 센서(32)에서 수신된 센싱 데이터는 전력 측정 센서(32)의 기준 센싱 데이터의 기 설정된 허용 범위를 벗어나는 경우(예컨대, 전력 변화가 감지 되지 않은 경우), 프로세서(130)는 전력 측정 센서(32)에 에러가 생겼다고 판단할 수 있다.
그런데 만약, 비교 결과, 조도 센서(33)로부터 수신된 센싱 데이터와 전력 측정 센서(32)로부터 수신된 센싱 데이터 모두 기준 센싱 데이터들의 기 설정된 허용 범위를 벗어나는 경우라면, 조도 센서(33)와 전력 측정 센서(32)에 에러가 발생하였다기 보단 TV(31)에 에러가 생겼을 가능성이 크다. 이러한 상황은 예컨대, TV(31)는 서버(100)로 전원이 온 되었음을 알리는 상태 정보를 보냈으나, TV(31) 내부 부품의 문제로 실제 TV의 디스플레이가 켜지지 않는 상황일 수 있다.
이 경우, 조도 센서(33)는 TV의 디스플레이가 켜지지 않았으므로 밝기 변화를 감지할 수 없으며, 전력 측정 센서(32)에선 TV(31)의 디스플레이가 작동되지 않음에 따라 정상적으로 디스플레이가 동작할 때만큼의 전력 소비가 감지되지 않는다. 따라서, 프로세서(130)는 TV(31)가 전원 온 되는 동작 상황이 판단되었는데도 전력 측정 센서(32)와 조도 센서(33)로부터 수신된 센싱 데이터가 모두 기준 센싱 데이터와 일치하지 않으면 TV(31)에 에러가 생긴 것으로 판단할 수 있다.
한편, 에러 여부 판단에 이용되는 센싱 데이터는 센서로부터 수신된 데이터가 미가공된 것이거나, 센서로부터 수신된 데이터를 분석하여 가공한 것일 수 있다. 예컨대, 온도 센서로부터 수신한 온도 값을 에러 여부 판단을 위한 센싱 데이터로서 사용될 수 있으며, 온도 센서로부터 수신한 온도 값을 분석하고 가공하여 얻은 온도의 증가 상태 또는 온도의 감소 상태에 대한 정보도 하나의 센싱 데이터로서 사용될 수 있다.
상술한 바와 같이, 프로세서(130)는 홈 네트워크 내의 전자 장치들의 동작 상황을 판단하고, 판단된 동작 상황에 대응되는 복수의 센서 각각의 기준 센싱 데이터들과 상기 복수의 센서로부터 수신된 복수의 센싱 데이터를 센서별로 비교하여, 센서들과 전자 장치들의 에러 여부를 판단할 수 있다.
한편, 상술한 예에선 기준 센싱 데이터가 새로운 동작 상황이 판단된 경우에 생성되는 것으로 설명하였으나, 이에 한정되는 것은 아니고, 프로세서(130)는 재 발생된 동작 상황에 대해서도 새롭게 기준 센싱 데이터를 수집하고, 새롭게 수집된 기준 센싱 데이터와 기 저장된 기준 센싱 데이터와 비교하여, 기 설정된 허용 범위 내에서 서로 일치한 것으로 판단되면, 새롭게 수집된 기준 센싱 데이터를 기 저장된 기준 센싱 데이터와 병합하고, 그것의 평균 데이터를 해당 동작 상황에 대응되는 기준 센싱 데이터로 새로 생성할 수 있다.
한편, 프로세서(130)는 홈 네트워크에 신규 센서가 등록된 이후, 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황이 판단되면, 상기 판단된 동작 상황과 대응되는 시점에 신규 센서로부터 수신된 센싱 데이터를 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터로 저장부(120)에 저장할 수 있다. 즉, 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터가 룩업 테이블에 추가될 수 있다. 신규 센서과 연관된 동작 상황이 새롭게 발생할 때마다 신규 센서의 센싱 데이터에 기초하여 기준 센싱 데이터가 생성되어 룩업 테이블에 추가될 수 있다.
예컨대, 도 3과 같은 상황에서 전력 측정 센서(32)와 제1 조도 센서(33)뿐만 아니라 TV(31)에 인접하여 신규의 제2 조도 센서가 새롭게 배치된 경우, TV(31)의 전원이 온 되는 동작 상황이 판단되면, 프로세서(130)는 그 동작 상황이 발생하였을 때 제2 조도 센서로부터 수신되는 센싱 데이터가 최초인 경우, 이 때에 제2 조도 센서로부터 수신된 센싱 데이터에 기초하여 TV(31)의 전원이 온 되는 동작 상황에 대응되는 제2 조도 센서의 기준 센싱 데이터를 생성하여 저장부(120)에 추가할 수 있다.
이와 같이 본 개시에 따르면, 새로운 동작 상황 발생 또는 새로운 센서 추가에 따라, 해당 기준 센싱 데이터가 자동으로 룩업 테이블에 추가될 수 있으므로, 홈 네트워크의 환경이 변화할 때마다 에러 검출 관련 데이터 베이스를 직접 수정하는 작업이 요구되지 않는다.
한편, 기준 센싱 데이터에는 센싱 값뿐만 아니라, 해당 동작 상황이 발생한 전후에 해당 동작 상황에 대응하는 센싱 값이 검출될 때까지 걸린 시간에 대한 정보도 저장되어 있을 수 있다. 또는, 기준 센싱 데이터에는 상기와 같은 시간 정보만 포함되어 있을 수도 있다. 이에 대해선 도 4를 참고하여 설명하도록 한다.
도 4를 참고하면, 에어컨(41)의 냉방이 가동되었고, 에어컨(41)은 냉방이 가동되었음을 알리는 상태 정보를 서버(100)로 전송한다. 상태 정보에는 냉방 온도에 대한 정보도 포함되어 있을 수 있다. 프로세서(130)는 에어컨(41)으로부터 수신된 상태 정보에 기초하여 에어컨(41)의 냉방이 가동되었다는 동작 상황을 판단할 수 있고, 프로세서(130)는 판단된 동작 상황에 대응되는 시점에 전력 측정 센서(44) 및 온도 센서들(42, 43)로부터 수신된 센싱 데이터를 분석한다. 특히, 프로세서(130)는 냉방 가동 시점으로부터 온도 센서들(42, 43)에서 온도 변화가 감지될 때까지 걸린 시간을 계산할 수 있다.
도 4에 도시한 것처럼 제1 온도 센서(42)의 경우 온도 변화 감지까지 10분이 소요되었고, 제2 온도 센서(43)의 경우 1분이 소요되었다. 그리고 프로세서(130)는 이러한 시간 정보를 '에어컨 냉방 가동'이라는 동작 상황에 대응하는 제1 온도 센서(42)의 기준 센싱 데이터와 제2 온도 센서(43)의 기준 센싱 데이터로 각각 저장부(120)에 저장할 수 있다.
이와 같이 기준 센싱 데이터들이 저장된 이후, 프로세서(130)는 에어컨(41)으로부터 수신된 상태 정보에 기초하였을 때, 에어컨(41)의 냉방이 가동되는 동작 상황이 다시 판단되면, 프로세서(130)는 온도 센서들(42, 43) 및 전력 측정 센서(44)에서 수신된 센싱 데이터를 상기와 같이 저장된 기준 센싱 데이터들과 비교한다.
구체적으로, 프로세서(130)는 제1 온도 센서(42)로부터 수신된 센싱 데이터를 분석하여, 냉방 가동 시점으로부터 10분을 기준으로 기 설정된 허용 범위 내에 온도 변화가 감지되었는지를 판단한다. 그리고 프로세서(130)는 제2 온도 센서(43)로부터 수신된 센싱 데이터를 분석하여, 냉방 가동 시점으로부터 1분을 기준으로 기 설정된 허용 범위 내에 온도 변화가 감지되었는지를 판단한다. 그리고 프로세서(130)는 전력 측정 센서(44)로부터 수신된 센싱 데이터를 전력 센서(44)의 기준 센싱 데이터와 비교한다.
예컨대, 제1 온도 센서(42)로부터 수신된 센싱 데이터를 분석하였을 때, 냉방 가동 시점으로부터 10분을 기준으로 한 기설정된 허용 범위(ex. 9 내지 11분) 내에서 온도 변화가 감지되지 않은 경우, 프로세서(130)는 제1 온도 센서(42)로부터 수신된 센싱 데이터가 제1 온도 센서(42)의 기 설정된 허용 범위를 벗어난 것으로 판단할 수 있다. 그리고 프로세서(130)는 나머지 제2 온도 센서(42)와 전력 측정 센서(44)로부터 수신된 센싱 데이터는 기준 센싱 데이터들의 기 설정된 허용 범위 이내인 것으로 판단하면, 제1 온도 센서(42)에만 에러가 생겼다고 판단할 수 있다.
한편, 도 3과 도 4에선 한 대의 전자 장치와 관련된 동작 상황에 대해 설명하였으나, 프로세서(130)는 홈 네트워크에 포함된 모든 전자 장치들의 동작 상황을 판단하고, 판단된 동작 상황에 대응되는 기준 센싱 데이터에 기초하여 장치의 에러 여부를 판단할 수 있다. 예컨대, TV의 전원이 온되고, 동시에 에어컨이 냉방을 가동되는 동작 상황과 같이 여러 대의 전자 장치가 연관되는 복합 동작 상황에 대해서도 저장부(120)에는 기준 센싱 데이터가 저장되어 있을 수 있다. 따라서, 프로세서(130)는 여러 대의 전자 장치가 관련된 복합 동작 상황에서도 정확하게 에러 검출을 할 수 있다. 이에 대해선 도 5를 참고하여 설명하도록 한다.
도 5를 참고하면, 에어컨(51)의 냉방이 가동되었고, 조리 장치(52)에서 조리물을 가열되고 있다. 에어컨(51)과 조리 장치(52)는 상태 정보를 서버(100)로 전송하고, 프로세서(130)는 에어컨(51)으로부터 수신된 상태 정보와 조리 장치(52)로부터 수신된 상태 정보에 기초하여 에어컨(51)의 냉방이 가동되었고 동시에 조리 장치(52)에서 조리물이 가열되고 있다는 복합 동작 상황을 판단할 수 있다. 프로세서(130)는 판단된 복합 동작 상황에 대응되는 시점에 온도 센서(53)로부터 수신된 센싱 데이터와, 해당 복합 동작 상황에 대응되는 온도 센서(53)의 기준 센싱 데이터를 비교한다.
이러한 복합 동작 상황에 대응하는 기준 센싱 데이터는, 에어컨(51)의 냉방이 가동된 동작 상황에 대응되는 온도 센서(53)의 제1 기준 센싱 데이터와 조리 장치(52)에서 조리물이 가열되고 있는 동작 상황에 대응되는 온도 센서(53)의 제2 기준 센싱 데이터가 조합되어 생성된 데이터일 수 있다. 또는, 이러한 복합 동작 상황이 발생하였을 때 온도 센서(53)에서 수신된 센싱 데이터가 상기 제1 기준 센싱 데이터와 상기 제2 기준 센싱 데이터와는 다른 별개의 기준 센싱 데이터로 저장부(120)에 저장될 수 있다.
프로세서(130)는 이와 같이 복합적인 동작 상황을 고려하여 에러 여부를 판단할 수 있으므로, 예컨대 에어컨(51)이 18도 냉방이 가동되는 상황에서 온도 센서(53)에서 18도 냉방을 기준으로 기 설정된 허용 가능한 범위보다 높은 온도에 대응하는 센싱 값이 출력되거나, 온도 변화 상태가 감지될 때까지 걸린 시간이 증가하더라도 이것은 조리 장치(53)에서의 가열 때문이므로, 온도 센서(53)에 에러가 있다고 판단되는 오류를 막을 수 있다.
도 5와 같은 상황에선 온도 값만으로 온도 센서의 에러를 판단하긴 어려울 수 있다. 이는, 온도 값이 기기의 상황뿐만 아니라 날씨 등의 영향을 받을 수 있기 때문이다. 따라서, 상술한 바와 같이 온도의 증감까지 분석하게 되면 에러 여부 검출이 가능하게 된다.
도 6은 룩업 테이블 형태로 저장된 동작 상황별 기준 센싱 데이터를 설명하기 위한 도면이다.
도 6을 참고하면, 홈 네트워크에 포함된 전자 장치들의 동작 상황별로 홈 네트워크에 포함된 센서들의 기준 센싱 데이터가 저장부(120)에 룩업 테이블 형태로 저장되어 있을 수 있다. A 동작 상황에 대응되는 제1 센서의 기준 센싱 데이터(xx), A 동작 상황에 대응되는 제2 센서의 기준 센싱 데이터(xxx), A 동작 상황에 대응되는 제3 센서의 기준 센싱 데이터(xxxx)가 룩업 테이블에 포함될 수 있다. 그리고 B 동작 상황에 대응되는 제1 센서의 기준 센싱 데이터(x), B 동작 상황에 대응되는 제2 센서의 기준 센싱 데이터(-), B 동작 상황에 대응되는 제3 센서의 기준 센싱 데이터(xx)가 룩업 테이블에 포함될 수 있다.
예컨대, A 동작 상황은 도 1에서 TV(13)가 전원이 온된 상황에 대응되는 것이고, A 동작 상황에 대응되는 제1 센서의 기준 센싱 데이터(xx)는 TV(13)의 전원이 온 되었을 때 제1 온도/조도 센서(11)의 기준 센싱 데이터이고, A 동작 상황에 대응되는 제2 센서의 기준 센싱 데이터(xxx)는 TV(13)의 전원이 온 되었을 때 조도 센서(14)의 기준 센싱 데이터이고, A 동작 상황에 대응되는 제3 센서의 기준 센싱 데이터(xxxx)는 TV(13)의 전원이 온 되었을 때 제2 온도/조도 센서(17)의 기준 센싱 데이터일 수 있다.
그리고 예컨대, B 동작 상황은 도 1에서 TV(13)가 절전 모드이고, 동시에, 에어컨(16)의 냉방이 가동되는 상황에 대응되는 것이고, B 동작 상황에 대응되는 제1 센서의 기준 센싱 데이터(xx)는 TV(13)가 절전 모드이고 동시에, 에어컨(16)의 냉방이 가동될 때 제1 온도/조도 센서(11)의 기준 센싱 데이터이고, B 동작 상황에 대응되는 제2 센서의 기준 센싱 데이터(-)는 TV(13)가 절전 모드이고 동시에, 에어컨(16)의 냉방이 가동될 때 조도 센서(14)의 기준 센싱 데이터이고, B 동작 상황에 대응되는 제3 센서의 기준 센싱 데이터(xx)는 TV(13)가 절전 모드이고 동시에, 에어컨(16)의 냉방이 가동될 때 제2 온도/조도 센서(17)의 기준 센싱 데이터일 수 있다.
이와 같이 동작 상황별로 저장부(120)에 저장된 복수의 센서의 기준 센싱 데이터는 홈 네트워크에 포함된 모든 센서들의 센싱 데이터를 포함할 수 있다. 또는, 저장부(120)에 저장되는 기준 센싱 데이터는, 홈 네트워크에 포함된 센서들 중에서 동작 상황에 연관된 센서들만의 센싱 데이터로 구성될 수도 있다. 동작 상황에 연관된 센서는 동작 상황이 발생하였을 때 이에 대응하여 변화된 센싱 값을 출력하는 센서들로 선택될 수 있다. 예컨대, 프로세서(130)는 도 1에서 에어컨(16)의 냉방이 가동되는 동작 상황에 전력 측정 센서(18) 및 온도 센서들(12, 17)에서 수신된 센싱 데이터를 분석하였을 때 냉방이 가동되는 동작 상황에 대응하는 시점에 센싱 값 변화가 보인 것으로 판단되면, 에어컨(16)의 냉방이 가동되는 동작 상황에 연관된 센서로서, 전력 측정 센서(18) 및 온도 센서들(12, 17)을 선택할 수 있다. 그리고 프로세서(130)는 에어컨(16)의 냉방이 가동되는 동작 상황에 온도 센서(11)에서 센싱 값의 변화가 보이지 않는다면, 온도 센서(11)는 냉방이 가동되는 동작 상황에 연관되어 있지 않다고 판단할 수 있다.
다시 말해, 프로세서(130)는 복수의 센서로부터 각각 수신된 복수의 센싱 데이터 중 판단된 동작 상황과 대응되는 시점에 센싱 값의 변화를 보이는 센싱 데이터를 상기 판단된 동작 상황에 대응하는 기준 센싱 데이터로 저장부(120)에 저장할 수 있다.
이처럼 동작 상황별로 연관된 센서를 지정해두면, 특정 동작 상황 발생 시, 그 동작 상황에 연관된 센서들만 선택하여 기준 센싱 데이터와 비교하는 작업을 수행하면 되므로, 데이터 처리에 소모되는 비용을 줄일 수 있다.
한편, 이상에서는 TV, 에어컨과 같은 제품이 구성하는 동작 상황에서 에러를 판단하는 경우에 대해 설명하였으나, 센서들에 의해서도 특정한 동작 상황이 구성될 수 있다.
구체적으로, 프로세서(130)는 복수의 센서에서 수신되는 센싱 데이터에 기초하여 동작 상황을 판단할 수 있고, 상기 수신된 센싱 데이터를 판단된 동작 상황에 대응되는 기준 센싱 데이터로 저장부(120)에 저장할 수 있다. 그리고 프로세서(130)는 동일한 동작 상황이 재발생한 것으로 판단되면, 해당 동작 상황과 대응되는 시점에 상기 복수의 센서에서 수신된 센싱 데이터들과 기 저장된 기준 센싱 데이터들을 비교하여, 상기 복수의 센서의 에러 여부를 판단할 수 있다. 본 실시 예에 관련한 구체적인 예시는 도 7을 참고하여 설명하도록 한다.
도 7은 센서들에 의해 구성된 동작 상황에서 센서의 결함을 판단하는 방법을 설명하기 위한 도면이다.
도 7을 참고하면, 현관문의 여닫힘을 감지하는 센서 A(73)가 현관문에 배치되어 있고, 모션을 감지하는 센서 B(72)가 현관문쪽 집안에 배치되어 있고, 재실을 감지하는 센서 C(71)가 집 안에 배치되어 있다. 센서 C(71)에서 존재(presence)가 감지되는 상황은 '집 안에 누군가 들어온 상황'에 해당된다. 이러한 상황에선 센서 A(73)에서 현관문의 여닫힘이 감지되고 센서 B(72)에서 모션이 감지된다. 따라서, 센서 C(71)에서 존재(presence)가 감지되는 상황에 대응하는 시점에 센서 B(72)와 센서 A(73) 각각에서 생성된 센싱 데이터는 센서 C(71)에서 존재(presence)가 감지되는 상황에 대응하는 기준 센싱 데이터들로서 저장부(120)에 저장될 수 있다.
프로세서(130)는 이러한 기준 센싱 데이터들에 기초하여, 복수의 센서들 중에서 어떤 센서에 결함이 발생하였는지 판단할 수 있다. 프로세서(130)는 센서 C(71)에서 존재가 감지되면, '집안에 누군가 들어온 상황'이 발생하였음을 판단할 수 있고, 판단된 상황에 대응하는 시점에 B 센서(72)와 A 센서(73)에서 각각 수신된 센싱 데이터를 B 센서(72)의 기준 센싱 데이터와 A 센서(73)의 기준 센싱 데이터와 비교하여, 수신된 센싱 데이터들이 기준 센싱 데이터들의 허용 범위 내에 있는지 판단한다. 판단 결과, 센서 A에서 수신된 데이터는 센서 A의 기준 센싱 데이터의 기 설정된 허용 범위 내에 있는데, 센서 B에서 수신된 데이터는 센서 B의 기준 센싱 데이터의 기 설정된 허용 범위 밖에 있는 것으로 판단되면, 센서 B에 에러가 있는 것으로 판단할 수 있다. 다시 말해, 사람이 집 안에 들어오면서 센서 A에서 현관 여닫힘이 감지되고 센서 C에서 재실이 감지되었는데, 센서 B에선 모션이 감지되지 않은 것이므로 이는 센서 B에 에러가 있음을 의미한다.
이하에선, 기준 센싱 데이터와 수신된 센싱 데이터를 비교한 결과에 기초하여 에러가 발생한 기기가 어떤 것인지를 판단하는 방법에 관하여 구체적으로 설명하도록 한다.
프로세서(130)는 홈 네트워크 내에 포함된 적어도 하나의 전자 장치의 동작 상태를 판단하고, 복수의 센서로부터 수신된 센싱 데이터 각각이 상기 판단된 동작 상황에 대응되는 복수의 센서별 기준 센싱 데이터의 기설정된 허용 범위 내인지를 판단하고, 상기 판단에 기초하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단할 수 있다.
이 경우, 프로세서(130)는 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 이상이면 상기 판단된 동작 상황과 관련하여 상기 적어도 하나의 전자 장치가 에러 상태인 것으로 판단할 수 있다. 그리고, 프로세서(130)는 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 상기 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서가 에러 상태인 것으로 판단할 수 있다. 본 실시 예를 도 4를 다시 참고하여 설명하도록 한다.
도 4를 참고하면, 프로세서(130)가 에어컨(41)의 냉방이 가동되는 동작 상황을 판단하면, 판단된 동작 상황에 연관된 센서들, 즉 제1 온도 센서(42), 제2 온도 센서(43) 및 전력 센서(44) 이 3개의 센서로부터 수신된 센싱 데이터를, 상기 3개의 센서들 각각의 에어컨(41)의 냉방이 가동되는 동작 상황에 대응하는 기준 센싱 데이터들과 센서별로 비교한다.
그리고 프로세서(130)는 상기 3개의 센서로부터 수신된 센싱 데이터들 각각이 상기 3개의 기준 센싱 데이터들 각각의 기 설정된 허용 범위 내인지를 판단하고, 상기 기 설정된 허용 범위를 벗어나는 센서의 비율이 기 설정된 비율 미만인지　 판단한다. 그 비율이 2/3로 설정되어 있는 경우라면, 상기 3개의 센서 중에 하나의 센서의 센싱 데이터가 기준 센싱 데이터의 허용 범위를 벗어나면, 프로세서(130)는 그 센서에 에러가 있는 것으로 판단한다. 그리고 프로세서(130)는 상기 3개의 센서 중에 두 개 이상의 센서의 센싱 데이터가 기준 센싱 데이터의 허용 범위를 벗어나는 것으로 판단되면 프로세서(130)는 에어컨(31)의 냉방 기능에 에러가 있는 것으로 판단할 수 있다.
한편, 상기 비교 동작의 기준이 되는 기 설정된 허용 범위는 기 설정된 오차 범위를 의미할 수 있다. 그리고 상기 비교 동작의 기준이 되는 기 설정된 비율은, 비교 대상이 되는 센싱 데이터의 총 개수가 몇 개인지에 따라 결정될 수 있다. 예컨대, 비교 대상이 되는 센싱 데이터의 총 갯수가 5개라면, 그 비율은 3/5로 결정될 수 있고, 비교 대상이 되는 센싱 데이터의 총 갯수가 2개라면, 그 비율은 2/2로 결정될 수 있다. 또는, 불일치도 정보에 기초하여 점수를 비교할 수 있도록 기 설정된 비율을 결정할 수 있다. 예컨대, 비교 대상이 되는 센싱 데이터가 총 2개더라도 그 비율을 1.5/2로 설정할 수도 있다.
한편, 상기 실시 예에선 프로세서(130)가 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서를 바로 에러 상태에 있다고 판단하는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 바로 에러 상태에 있다고 판단하기보단, 그 센서에 대해서 에러 판단 과정을 다시 수행할 수도 있다. 이에 대해선 도 10을 참고하여 설명하도록 한다.
도 10은 본 개시의 일 실시 예에 따른 에러 판단 과정을 설명하기 위한 도면이다.
도 10을 참고하면, 프로세서(130)가 제1 전구(1005)가 켜진 동작 상황을 판단하면, 판단된 동작 상황에 연관된 센서들, 즉 제1 조도 센서(1007), 제2 조도 센서(1030), 제3 조도 센서(1040) 이 3 개의 센서로부터 수신된 센싱 데이터를, 상기 3개의 센서들 각각의 제1 전구(1005)가 켜진 동작 상황에 대응하는 기준 센싱 데이터들과 센서별로 비교한다.
그리고 프로세서(130)는 상기 3개의 센서로부터 수신된 센싱 데이터들 각각이 상기 3개의 기준 센싱 데이터들 각각의 기 설정된 허용 범위 내인지를 판단하고, 상기 기 설정된 허용 범위를 벗어나는 센서의 비율이 기 설정된 비율 미만인지　판단한다. 그 비율이 2/3로 설정되어 있는 경우라면, 상기 3개의 센서 중에 제3 조도 센서(1040)의 센서의 센싱 데이터가 기준 센싱 데이터의 허용 범위를 벗어나면, 프로세서(130)는 제3 조도 센서(1040)에 에러 가능성이 있는 것으로 판단한다.
그리고 프로세서(130)는 에러 가능성이 있는 것으로 판단된 제3 조도 센서(1040)에 대해서 에러 판단 과정을 다시 수행한다.
구체적으로, 다른 시점에 프로세서(130)가 제2 전구(1060)가 켜진 동작 상황을 판단하면, 판단된 동작 상황에 연관된 센서들, 즉 제3 조도 센서(1040) 및 제4 조도 센서(1050) 이 2 개의 센서로부터 수신된 센싱 데이터를, 상기 2 개의 센서들 각각의 제2 전구(1060)가 켜진 동작 상황에 대응하는 기준 센싱 데이터들과 센서별로 비교한다. 그리고 프로세서(130)는 상기 2개의 센서로부터 수신된 센싱 데이터들 각각이 상기 2개의 기준 센싱 데이터들 각각의 기 설정된 허용 범위 내인지를 판단하여 기 설정된 허용 범위 내에 있으면, 앞서 에러 가능성이 있다고 판단한 제3 조도 센서(1040)는 에러 상태가 아닌 것으로 최종 판단한다.
도 10을 참고하여 상술한 실시 예에 따르면, 제1 전구(1005)가 켜졌음에도 제3 조도 센서(1040)가 있는 방의 문이 닫혀 있어서 제3 조도 센서(1040)에서 제1 전구(1005)의 켜짐을 센싱을 하지 못하는 경우와 같은 상황에서, 제3 조도 센서(1040)에 에러가 있다고 섣불리 판단하게 되는 문제를 막을 수 있다. 즉, 이와 같이 여러 번의 에러 판단 과정을 거침에 따라 더 정확하게 센서의 에러 상태를 판단할 수 있게 된다.
도 8은 본 개시의 일 실시 예에 따른 서버(100)의 에러 검출 방법을 설명하기 위한 흐름도이다.
도 8을 참고하면 먼저, 서버(100)의 저장부(120)에는 클라이언트 기기들(또는 IoT 디바이스들)의 정보(810)가 저장되어 있다. 클라이언트 기기는 센서와 액츄에이터로 구분될 수 있다. 센서는 온도, 습도, 모션, 재실, 전력 소비 등을 감지하기 위한 장치이고, 액츄에이터는 특정 기능을 수행하여 상기 센서에서 감지될 수 있는 환경 변화를 일으키는 장치로서, TV, 에어컨, 조리 장치 등을 의미한다.
클라이언트 기기들의 정보(810)는 센서가 측정할 수 있는 대상에 대한 정보와 액츄에이터를 제어하기 위한 제어 명령 리스트를 포함한다.
서버(100)에서 클라이언트 기기들(IoT 디바이스들)의 동작 수행(액션 수행)상황이 판단되면(S820), 서버(100)는 판단된 동작 상황에 대한 정보(또는 액션 수행 정보)와 해당 동작 상황 동안 센서의 센싱 데이터(또는 센서 정보)를 저장부(120)에 기록한다(S830). 서버(100)는 상기 기록된 정보를 분석하여, 해당 동작 상황 동안(액션 수행 동안) 센서에서 생성된 센싱 데이터의 속성(attribute)에 대한 정보를 추출한다(S840).
센싱 데이터의 속성은 액션 수행에 대응한 센서의 센싱 값 및/또는 액션 수행 이후로부터 상기 센싱 값이 측정되기까지 걸린 시간을 포함할 수 있다. 예를 들어, 도 4를 참고하여 설명하면, 에어컨(41)의 냉방이 가동되는 동작 상황에 대응한 온도 센서들(42, 43)의 센싱 값(온도 값)들과, 온도 센서들(42, 43)에서 온도 변화가 감지되기까지 걸린 시간(10분, 1분)에 대한 정보가 추출될 수 있다. 또 다른 예로, 도 7을 참고하면, 재실 센서(71)에서 재실이 감지되는 동작 상황에 대응되는 시점에 모션 센서(72) 및 현관문 여닫힘 감지 센서(73)의 센싱 값이 추출될 수 있고, 재실 센서(71)에서 재실이 감지되기 전후에 모션 센서(72)와 현관문 여닫힘 감지 센서(73)에서 모션이 감지되거나 현관문 여닫힘이 감지될 때까지 걸린 시간에 대한 정보가 추출될 수 있다.
그리고 서버(100)는 동작 상황에 대응하여 복수의 센서에서 생성된 센싱 데이터의 속성의 변화에 대한 관계 그래프를 생성한다(S850). 예를 들어, 도 4를 참고하면 서버(100)는 에어컨(41)의 냉방이 가동되었을 때, 복수의 온도 센서(42, 43) 각각에서 생성된 복수의 센싱 데이터의 속성들 간의 관계를 정의하는 그래프를 생성한다. 또 다른 예로, 도 7을 참고하면, 서버(100)는 재실 센서(71)에서 재실이 감지되었을 때 모션 센서(72)와 현관문 여닫힘 감지 센서(73)에서 생성된 센싱 데이터의 속성들 간의 관계를 정의하는 그래프를 생성한다.
그리고 서버(100)는, 상기 생성된 관계 그래프(870)를 저장부(120)에 저장한다. 그리고 서버(100)는 해당 동작 상황(또는 액션)과 연관된 센서들에 대한 정보(880)를 저장부(120)에 저장한다. 예컨대 도 7을 참고하면, 서버(100)는 모션 센서(72)와 현관문 여닫힘 감지 센서(73)에 대한 정보를 재실이 감지되는 액션과 연관시켜 저장한다.
이와 같이 저장된 정보들은 추후 동일한 동작 상황이 판단되었을 때 에러 감지를 위해 사용된다. 상기와 같은 정보들을 구축하는 것은 오프라인에서 수행될 수 있다.
이하에선 에러 감지 동작에 대해 설명하도록 한다. 에러 감지 동작은 온라인에서 수행될 수 있다.
먼저, 서버(100)에서 클라이언트 기기들(IoT 디바이스들)의 동작 수행(액션 수행)상황이 판단되면(S820), 그 동작 상황에 연관된 액추에이터에 결함(또는 에러)이 있는지 판단하는 동작을 수행한다(S880). 예컨대, 서버(100)는 에어컨의 냉방이 가동되는 동작 상황이 판단되면, 에어컨에 결함이 있는지 판단한다. 또는 서버(100)는 판단된 동작 상황에 액추에이터가 아닌 센서가 연관된 경우, 센서에 결함이 있는지 판단하는 동작을 수행할 수 있다(S885). 센서에 결함이 있는지 여부는, 동작 상황이 판단될 때마다 수행되는 대신, 주기적으로 수행될 수 있다.
먼저, 서버(100)는 동작 상황에 연관된 기기를 추출한다(S890). 그리고 서버(100)는 연관 기기 각각의 결함 여부를 판단한다(S891). 구체적으로, 서버(100)는 해당 동작 상황에 연관된 센서에서 수신되는 센싱 데이터(S830)의 속성의 변화를 기 저장된 연관 관계 그래프(870)와 비교한다.
서버(100)는 비교된 센싱 데이터들 간의 불일치도 정보에 기초하여 점수를 매김으로써(S892), 해당 동작 상황에 연관된 기기의 결함 여부를 판단한다(S893). 판단 결과, 결함이 있는 경우, 사용자 단말 장치로 결함에 대한 정보를 알린다(S894).
서버(100)는 에러가 있는 것으로 판단된 기기에 대한 정보를 사용자 단말 장치로 전송할 수 있다. 이 경우, 서버(100)는 에러가 있는 것으로 판단된 횟수가 기 설정된 횟수를 초과하는 경우에만 사용자 단말 장치로 통지할 수 있다.
한편, 서버(100)는 에러가 있는 기기에 대한 정보뿐만 아니라, 판단된 동작 상황에 대한 정보도 사용자 단말 장치에 전송할 수 있다. 즉, 예컨대, 도 4를 참고하면, 서버(100)는 에어컨(41)의 냉방이 가동되는 동작 상황이 발생하였다는 정보와 함께, 제1 온도 센서(42)에 에러가 생겼음을 알리는 정보를 사용자 단말 장치로 전송할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 서버의 제어방법을 설명하기 위한 흐름도이다.
도 9를 참고하면 먼저, 서버(100)는 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장한다(S910).
이 경우, 동작 상황별로 복수의 센서 각각의 기준 센싱 데이터를 룩업 테이블 형태로 저장할 수 있다.
한편, 서버(100)는 상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 신규 동작 상황과 대응되는 시점에 상기 복수의 센서 각각으로부터 수신된 센싱 데이터를 상기 신규 동작 상황에 대응되는 기준 센싱 데이터로 저장할 수 있다.
또는 서버(100)는 복수의 센서 각각으로부터 수신된 센싱 데이터 모두를 기준 센싱 데이터로 저장하는 대신, 판단된 동작 상황에 연관된 센싱 데이터만을 기준 센싱 데이터로 저장할 수 있다.
이 경우, 서버(100)는, 판단된 동작 상황에 대응되는 시점에 센싱 값에 변화를 보인 센싱 데이터가 그 동작 상황에 연관된 센싱 데이터라고 결정할 수 있다. 예컨대, 특정 동작 상황에서 특정 온도 센서로부터 수신된 센싱 데이터에서 온도 변화에 의한 센싱 값 변화가 나타나고, 특정 조도 센서로부터 수신된 센싱 데이터에서 밝기 변화에 의한 센싱 값의 변화가 나타나면, 서버(100)는 그 특정 동작 상황에 상기 특정 온도 센서와 상기 특정 조도 센서에서 수신된 센싱 데이터가 그 특정 동작 상황에 연관된 센싱 데이터라고 결정할 수 있다.
구체적으로, 서버(100)는 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 복수의 센서로부터 각각 수신된 복수의 센싱 데이터 중 상기 신규 동작 상황과 대응되는 시점에 센싱 값의 변화를 보이는 센싱 데이터를 상기 신규 동작 상황에 대응하는 기준 센싱 데이터로 저장할 수 있다.
또한, 서버(100)는 홈 네트워크에 신규 센서가 등록된 이후, 상기 적어도 하나의 전자 장치의 동작 상황이 판단되면, 판단된 동작 상황과 대응되는 시점에 상기 신규 센서로부터 수신된 센싱 데이터를 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터로 저장할 수 있다.
그리고 서버(100)는 홈 네트워크 내의 복수의 센서로부터 센싱 데이터를 수신한다(S920). 서버(100)는 지속적으로 복수의 센서로부터 센싱 데이터를 수신하여 저장할 수 있다. 또는, 서버(100)는 기 설정된 주기마다 복수의 센서로부터 센싱 데이터를 수신하여 저장할 수 있다.
그리고 서버(100)는 홈 네트워크 내에 포함된 적어도 하나의 전자 장치의 동작 상황을 판단한다(S930).
이 경우, 서버(100)는 상기 적어도 하나의 전자 장치로부터 수신된 상태 정보에 기초하여 동작 상황을 판단할 수 있다.
그리고 서버(100)는 상기 판단된 동작 상황에 대응되는 상기 저장된 기준 센싱 데이터와 상기 수신된 센싱 데이터를 비교한다(S940).
이 경우, 서버(100)는 상기 판단된 동작 상황에 대응되는, 상기 복수의 센서 별로 저장된 복수의 센싱 데이터를 상기 복수의 센서로부터 수신된 복수의 센싱 데이터와 센서별로 비교하여 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단한다(S950).
구체적으로, 서버(100)는 상기 복수의 센서로부터 수신된 센싱 데이터 각각이 상기 판단된 동작 상황에 대응되는 복수의 센서별 기준 센싱 데이터의 기설정된 허용 범위 내인지를 판단하고, 상기 판단에 기초하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단할 수 있다.
이 경우, 기준 센싱 데이터와 수신된 센싱 데이터의 차이를 계산하고, 계산된 차이가 기 설정된 오차 범위 이내인 경우, 수신된 센싱 데이터가 기준 센싱 데이터의 상기 기 설정된 허용 범위 내인 것으로 판단할 수 있다.
서버(100)는 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 이상이면 상기 판단된 동작 상황과 관련하여 상기 적어도 하나의 전자 장치가 에러 상태인 것으로 판단하고, 상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 상기 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서가 에러 상태인 것으로 판단할 수 있다.
이 경우, 비교 대상이 되는 센서의 개수에 따라 상기 비율은 설정될 수 있다. 예컨대, 비교 대상이 되는 센서의 개수가 3인 경우, 상기 비율은 2/3으로 설정될 수 있고, 비교 대상이 되는 센서의 개수가 4인 경우, 상기 비율은 3/4로 설정될 수 있다. 비교 대상이 되는 센서의 개수가 5인 경우, 상기 비율은 3/5로 설정될 수 있다. 또는, 각 기기의 기준 점수들로부터 얻은 값을 비율로 사용할 수도 있다. 예컨대, 비교 대상이 되는 센서의 개수가 3개이고 각각의 기준 점수가 0.8, 0.5, 0.2로 주어지는 경우에는 1.5/3이 비율로 설정될 수 있다. 다만, 본 개시가 상기 제시한 비율에 한정되는 것은 아니다.
한편, 서버(100)는 상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보를 사용자 단말 장치로 전송할 수 있다.
사용자 단말 장치는 디스플레이를 구비한 장치일 수 있고, 사용자 단말 장치의 디스플레이에선 서버(100)로부터 수신된 정보에 따라, 에러가 있는 기기의 이름, 에러가 있는 기기의 종류, 에러가 있는 기기가 홈 네트워크에 최초 등록된 날짜 등과 같은 그 기기의 정보가 표시될 수 있다.
또한, 서버(100)는 상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보뿐만 아니라, 상기 판단된 동작 상황에 대한 정보도 사용자 단말 장치로 전송할 수 있다.
집안 내에 다양한 종류의 기기가 존재하는 환경에서 사용자는 기기 정보만 가지고 에러가 있는 기기가 어느 곳에 배치되어 있는지 파악하기 어려울 수 있다. 그러나 본 실시 예에 따르면, 사용자는 에러가 판단된 동작 상황도 고려하여 에러가 발생된 기기를 좀 더 용이하게 찾을 수 있다. 예컨대, 서버(100)는 '에어컨의 냉방이 가동되는 상황에서 온도 센서 A에서 에러가 발생한 것을 감지하였습니다.'와 같은 메시지를 사용자 단말에 전송할 수 있고, 사용자 단말 장치는 수신한 메시지를 표시할 수 있다. 이러한 메시지에 기초하여 사용자는 에어컨이 존재하는 안방에 있는 온도 센서들을 먼저 확인하여 에러가 있는 온도 센서 A를 찾을 수 있다.
상술한 다양한 실시 예에 따르면, 여러 대의 디바이스가 존재하는 IoT 환경에서 디바이스들의 유지 보수를 좀 더 용이하게 할 수 있다. 특히 상술한 다양한 실시 예에 따르면, 센서와 같이 사용자가 고장 여부를 확인하기 어려운 기기들의 고장 여부를 사용자가 용이하게 파악할 수 있으며, 또한, 사용자가 고장 여부를 인지하기 어려운 전자 장치의 기능, 예컨대 에너지 절약 모드 기능 등도 사용자가 용이하게 파악할 수 있다. 무엇보다도, 에러 발생 여부 감지를 위해 필요한 데이터 베이스는 기기를 사용하는 과정에서 자동적으로 구축될 수 있으므로, 별도로 이러한 데이터 베이스를 제작하는데 노력, 시간이 소요되지 않는다는 장점이 있으며, 또한, 본 개시에 따르면 사용자가 자유롭게 기기들을 배치하고, 자유롭게 기기들에 기능을 부여할 수 있는 비 정형화된 IoT 환경에서도, 환경마다 적합한 에러 검출을 위한 데이터 베이스가 구축될 수 있다.
한편 본 개시의 실시예에 따른 서버의 프로세서(130)는 학습 알고리즘을 이용하여 복수의 센서 및 전자 장치의 에러 여부를 판단하고, 판단 결과에 대한 정보를 사용자에게 제공할 수 있다.
도 11 내지 도 13은 본 개시의 일 실시예에 따른 서버의 프로세서에서 생성되는 데이터 학습부 및 데이터 인식부를 도시한다.
도 11을 참조하면, 일부 실시예에 따른 프로세서(130)는 데이터 학습부(1010) 및 데이터 인식부(1020)를 포함할 수 있다.
데이터 학습부(1010)는 데이터 인식 모델이 복수의 센서 및 전자 장치의 에러 여부 판단을 위한 기준을 갖도록 생성 또는 학습시킬 수 있다. 데이터 학습부(1010)는 소정의 상황을 판단하기 위하여, 학습 데이터를 데이터 인식 모델에 적용하여, 판단 기준을 갖는 데이터 인식 모델을 생성할 수 있다.
일 예로, 본 개시의 일 실시예에 따른, 데이터 학습부(1010)는 복수의 센서 및 전자 장치의 상태 정보를 학습 데이터로 이용하여 데이터 인식 모델을 생성 또는 학습시킬 수 있다.
데이터 인식부(1020)는 인식 데이터에 기초하여 상황을 판단할 수 있다. 데이터 인식부(1020)는 학습된 데이터 인식 모델을 이용하여, 소정의 인식 데이터로부터 클라이언트 기기들의 결함 여부를 판단할 수 있다. 데이터 인식부(1020)는 기 설정된 기준에 따라 소정의 인식 데이터를 획득하고, 획득된 인식 데이터를 입력 값으로 데이터 인식 모델에 적용함으로써, 소정의 인식 데이터에 기초한 복수의 센서 및 전자 장치의 에러 여부를 판단할 수 있다(또는, 추정(estimate)할 수 있다).
또한, 획득된 인식 데이터를 입력 값으로 데이터 인식 모델에 적용하여 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
특히, 본 개시의 일 실시예에 따른, 데이터 인식부(1020)는 클라이언트 기기들의 상태 정보를 입력 값으로 데이터 인식 모델에 적용함으로써 클라이언트 기기들의 결함 여부를 판단한 결과를 획득할 수 있다.
데이터 학습부(1010)의 적어도 일부 및 데이터 인식부(1020)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1010) 및 데이터 인식부(1020) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 서버에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 데이터 학습부(1010) 및 데이터 인식부(1020)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 12는 본 개시의 실시예에 따른 데이터 학습부(1010)의 블록도이다.
도 12를 참조하면, 일부 실시예에 따른 데이터 학습부(1010)는 데이터 획득부(1010-1) 및 모델 학습부(1010-4)를 포함할 수 있다. 또한, 데이터 학습부(1010)는 전처리부(1010-2), 학습 데이터 선택부(1010-3) 및 모델 평가부(1010-5) 중 적어도 하나를 선택적으로 더 포함할 수도 있다.
데이터 획득부(1010-1)는 클라이언트 기기들의 결함 판단을 위한 학습을 위해 필요한 학습 데이터를 획득할 수 있다.
학습 데이터는 데이터 학습부(1010) 또는 클라이언트 기기들의 제조사에 의하여 수집 또는 테스트한 데이터가 이용될 수도 있다. 예컨대, 학습 데이터는 본 개시에 따른 센서들의 센싱 데이터 및 전자 장치의 동작 상황에 대한 정보를 포함할 수 있다. 즉, 전자 장치의 동작 상황 정보 및 센싱 데이터를 포함할 수 있다.
모델 학습부(1010-4)는 학습 데이터를 이용하여, 데이터 인식 모델이 클라이언트 기기들의 결함 여부를 어떻게 판단할 지에 관한 판단 기준을 갖도록 학습시킬 수 있다. 예로, 모델 학습부(1010-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(1010-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 클라이언트 기기들의 고장 여부 판단을 위한 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1010-4)는 클라이언트 기기들의 결함 여부 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 선별 기준을 학습할 수도 있다.
특히, 본 개시의 일 실시예에 따른, 모델 학습부(1010-4)는 전자 장치의 동작 상황 정보 및 복수의 센서의 센싱 데이터를 학습 데이터로 이용하여 데이터 인식 모델을 생성 또는 학습시킬 수 있다.
한편, 데이터 인식 모델은 미리 구축되어, 모델 학습부(1010-4)의 학습에 의하여 업데이트되는 모델일 수 있다. 이 경우, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 전자 장치들의 동작 상황 정보 및 복수의 센서의 센싱 데이터 등)을 입력 받아 미리 구축된 상태일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다.　 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.
예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(1010-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1010-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1010-4)는, 예를 들어, 판단 기준을 학습을 위한 입력 값으로 이용하는 지도 학습을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(1010-4)는, 예를 들어, 별다른 지도 없이 필요한 학습 데이터를 이용하여 스스로 학습함으로써, 상황의 판단을 위한 판단 기준을 발견하는 비지도 학습을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1010-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1010-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1010-4)는 학습된 데이터 인식 모델을 서버(130)의 메모리에 저장할 수 있다.
데이터 학습부(1010)는 데이터 인식 모델의 인식 결과를 향상시키거나, 데이터 인식 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 전처리부(1010-2) 및 학습 데이터 선택부(1010-3)를 더 포함할 수도 있다.
전처리부(1010-2)는 클라이언트 기기들의 결함 여부 판단을 위한 학습에 이용하기 위하여 데이터 획득부(1010-1)에서 획득된 데이터를 전처리할 수 있다.
예로, 전처리부(1010-2)는 모델 학습부(1010-4)가 데이터 인식 모델의 학습을 위한 데이터의 이용이 용이하도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다. 전처리된 데이터는 학습 데이터로서 모델 학습부(1010-4)에게 제공될 수 있다.
또는, 학습 데이터 선택부(1010-3)가 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선별적으로 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(1010-4)에 제공될 수 있다. 학습 데이터 선택부(1010-3)는 기 설정된 선별 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선별할 수 있다. 또한, 학습 데이터 선택부(1010-3)는 모델 학습부(1010-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습에 필요한 학습 데이터를 선별할 수도 있다. 본 개시의 일 실시예로, 학습 데이터 선택부(1010-3)는 입력된 센싱 데이터 중 특정 클라이언트 기기와 관련된 센싱 데이터만을 선택할 수 있다.
데이터 학습부(1010)는 데이터 인식 모델의 인식 결과를 향상시키기 위하여, 모델 평가부(1010-5)를 더 포함할 수도 있다.
모델 평가부(1010-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1010-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(1010-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1010-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1010-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1010-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
전술한, 데이터 획득부(1010-1), 전처리부(1010-2), 학습 데이터 선택부(1010-3), 모델 학습부(1010-4) 및 모델 평가부(1010-5) 중 적어도 하나는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 서버에 탑재될 수 있다. 예를 들어, 데이터 획득부(1010-1), 전처리부(1010-2), 학습 데이터 선택부(1010-3), 모델 학습부(1010-4) 및 모델 평가부(1010-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 서버에 탑재될 수도 있다.
또한, 데이터 획득부(1010-1), 전처리부(1010-2), 학습 데이터 선택부(1010-3), 모델 학습부(1010-4) 및 모델 평가부(1010-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1010-1), 전처리부(1010-2), 학습 데이터 선택부(1010-3), 모델 학습부(1010-4) 및 모델 평가부(1010-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 13은 일부 실시예에 따른 데이터 인식부(1020)의 블록도이다.
도 13을 참조하면, 일부 실시예에 따른 데이터 인식부(1020)는 데이터 획득부(1020-1) 및 인식 결과 제공부(1020-4)를 포함할 수 있다. 또한, 데이터 인식부(1020)는 전처리부(1020-2), 인식 데이터 선택부(1020-3) 및 모델 갱신부(1020-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
데이터 획득부(1020-1)는 클라이언트 기기들의 결함 여부 판단에 필요한 인식 데이터를 획득할 수 있다.
인식 결과 제공부(1020-4)는 데이터 획득부(1020-1)에서 획득된 데이터를 입력 값으로 학습된 데이터 인식 모델에 적용하여 클라이언트 기기들의 결함 여부를 판단할 수 있다. 인식 결과 제공부(1020-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 또는, 인식 결과 제공부(1020-4)는 후술할 전처리부(1020-2)에서 전처리된 데이터를 입력 값으로 학습된 데이터 인식 모델에 적용하여 인식 결과를 제공할 수 있다. 또는, 인식 결과 제공부(1020-4)는 후술할 인식 데이터 선택부(1020-3)에 의해 선택된 데이터를 입력 값으로 데이터 인식 모델에 적용하여 인식 결과를 제공할 수 있다.
데이터 인식부(1210)는 데이터 인식 모델의 인식 결과를 향상시키거나, 인식 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 전처리부(1020-2) 및 인식 데이터 선택부(1020-3)를 더 포함할 수도 있다.
전처리부(1020-2)는 전자 장치의 에러 여부 판단을 위한 인식에 이용하기 위하여 데이터 획득부(1020-1)에서 획득된 데이터를 전처리할 수 있다.
전처리부(1020-2)는 인식 결과 제공부(1020-4)가 상황 판단을 위한 데이터의 이용이 용이하도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다. 특히, 본 개시의 일 실시예에 따르면, 데이터 획득부(1020-1)는 클라이언트 기기들의 결함 여부 판단을 위해 복수의 센서의 센싱 데이터를 획득하고, 전처리부(1020-2)는 전술한 바와 같이, 기 정의된 포맷으로 센싱 데이터를 전처리할 수 있다.
인식 데이터 선택부(1020-3)는 전처리된 데이터 중에서 상황 판단에 필요한 인식 데이터를 선택할 수 있다. 선택된 인식 데이터는 인식 결과 제공부(1020-4)에게 제공될 수 있다. 인식 데이터 선택부(1020-3)는 기 설정된 선별 기준에 따라, 전처리된 데이터 중에서 클라이언트 기기들의 결함 여부 판단에 필요한 인식 데이터를 선별할 수 있다. 또한, 인식 데이터 선택부(1020-3)는 전술한 모델 학습부(1010-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(1020-5)는 인식 결과 제공부(1020-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(1020-5)는 인식 결과 제공부(1020-4)에 의해 제공되는 인식 결과를 모델 학습부(1010-4)에게 제공함으로써, 모델 학습부(1010-4)가 데이터 인식 모델을 갱신하도록 제어할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 서버의 제어방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)으로 제공될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체 또는 판매자 및 구매자 간에 거래되는 상품을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램 제품은 전자 장치 또는 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 홈 네트워크를 관리하는 서버에 있어서,
    상기 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장하는 저장부;
    상기 복수의 센서로부터 센싱 데이터를 수신하는 통신부; 및
    상기 적어도 하나의 전자 장치의 동작 상황을 판단하고, 상기 판단된 동작 상황에 대응되는 상기 저장된 기준 센싱 데이터와 상기 수신된 센싱 데이터를 비교하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 프로세서;를 포함하는 서버.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 센서로부터 수신된 센싱 데이터 각각이 상기 판단된 동작 상황에 대응되는 복수의 센서별 기준 센싱 데이터의 기설정된 허용 범위 내인지를 판단하고, 상기 판단에 기초하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 서버.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 이상이면 상기 판단된 동작 상황과 관련하여 상기 적어도 하나의 전자 장치가 에러 상태인 것으로 판단하고,
    상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 상기 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서가 에러 상태인 것으로 판단하는 서버.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 신규 동작 상황과 대응되는 시점에 상기 복수의 센서 각각으로부터 수신된 센싱 데이터를 상기 신규 동작 상황에 대응되는 기준 센싱 데이터로 상기 저장부에 저장하는 서버.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 복수의 센서로부터 각각 수신된 복수의 센싱 데이터 중 상기 신규 동작 상황과 대응되는 시점에 센싱 값의 변화를 보이는 센싱 데이터를 상기 신규 동작 상황에 대응하는 기준 센싱 데이터로 상기 저장부에 저장하는 서버.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 홈 네트워크에 신규 센서가 등록된 이후, 상기 적어도 하나의 전자 장치의 동작 상황이 판단되면, 판단된 동작 상황과 대응되는 시점에 상기 신규 센서로부터 수신된 센싱 데이터를 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터로 상기 저장부에 저장하는 서버.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 전자 장치로부터 상태 정보를 수신하고, 수신된 상태 정보에 기초하여 상기 적어도 하나의 전자 장치의 동작 상황을 판단하는 서버.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보를 사용자 단말 장치로 전송하도록 상기 통신부를 제어하는 서버.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 전자 장치 및 복수의 센서 중 에러가 있는 것으로 판단된 기기에 대한 정보와 함께 상기 판단된 동작 상황에 대한 정보를 사용자 단말 장치로 전송하도록 상기 통신부를 제어하는 서버.
  10. 홈 네트워크를 관리하는 서버의 제어방법에 있어서,
    상기 홈 네트워크 내의 적어도 하나의 전자 장치의 동작 상황 및 복수의 센서별 기준 센싱 데이터를 저장하는 단계;
    상기 복수의 센서로부터 센싱 데이터를 수신하는 단계;
    상기 적어도 하나의 전자 장치의 동작 상황을 판단하는 단계; 및
    상기 판단된 동작 상황에 대응되는 상기 저장된 기준 센싱 데이터와 상기 수신된 센싱 데이터를 비교하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 단계;를 포함하는 서버의 제어방법.
  11. 제10항에 있어서,
    상기 에러 여부를 판단하는 단계는,
    상기 복수의 센서로부터 수신된 센싱 데이터 각각이 상기 판단된 동작 상황에 대응되는 복수의 센서별 기준 센싱 데이터의 기설정된 허용 범위 내인지를 판단하고, 상기 판단에 기초하여 상기 복수의 센서 및 상기 적어도 하나의 전자 장치의 에러 여부를 판단하는 서버의 제어방법.
  12. 제11항에 있어서,
    상기 에러 여부를 판단하는 단계는,
    상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 기설정된 비율 이상이면 상기 판단된 동작 상황과 관련하여 상기 적어도 하나의 전자 장치가 에러 상태인 것으로 판단하고,
    상기 복수의 센서 중 상기 기설정된 허용 범위를 벗어나는 센서가 상기 기설정된 비율 미만이면, 상기 기설정된 허용 범위를 벗어나는 센서가 에러 상태인 것으로 판단하는 서버의 제어방법.
  13. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 신규 동작 상황과 대응되는 시점에 상기 복수의 센서 각각으로부터 수신된 센싱 데이터를 상기 신규 동작 상황에 대응되는 기준 센싱 데이터로 저장하는 서버의 제어방법.
  14. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 적어도 하나의 전자 장치의 동작 상황이 신규 동작 상황인 것으로 판단되면, 상기 복수의 센서로부터 각각 수신된 복수의 센싱 데이터 중 상기 신규 동작 상황과 대응되는 시점에 센싱 값의 변화를 보이는 센싱 데이터를 상기 신규 동작 상황에 대응하는 기준 센싱 데이터로 저장하는 서버의 제어방법.
  15. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 홈 네트워크에 신규 센서가 등록된 이후, 상기 적어도 하나의 전자 장치의 동작 상황이 판단되면, 판단된 동작 상황과 대응되는 시점에 상기 신규 센서로부터 수신된 센싱 데이터를 상기 판단된 동작 상황에 대한 상기 신규 센서의 기준 센싱 데이터로 저장하는 서버의 제어방법.
PCT/KR2017/015044 2016-12-20 2017-12-19 홈 네트워크를 관리하는 서버 및 이의 제어방법 WO2018117610A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/464,989 US11303977B2 (en) 2016-12-20 2017-12-19 Server for managing home network and control method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160174785 2016-12-20
KR10-2016-0174785 2016-12-20
KR10-2017-0145918 2017-11-03
KR1020170145918A KR102367395B1 (ko) 2016-12-20 2017-11-03 홈 네트워크를 관리하는 서버 및 이의 제어방법

Publications (1)

Publication Number Publication Date
WO2018117610A1 true WO2018117610A1 (ko) 2018-06-28

Family

ID=62626879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/015044 WO2018117610A1 (ko) 2016-12-20 2017-12-19 홈 네트워크를 관리하는 서버 및 이의 제어방법

Country Status (2)

Country Link
US (1) US11303977B2 (ko)
WO (1) WO2018117610A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10993101B2 (en) * 2017-12-27 2021-04-27 Intel Corporation Discovery of network resources accessible by internet of things devices
KR102644957B1 (ko) 2018-12-31 2024-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114424231A (zh) * 2019-09-25 2022-04-29 夏普Nec显示器解决方案株式会社 电子设备、电子设备的管理方法及程序
US11605021B1 (en) * 2019-09-30 2023-03-14 Amazon Technologies, Inc. Iterative model training and deployment for automated learning systems
CN113452542A (zh) * 2020-03-27 2021-09-28 华为技术有限公司 故障检测方法及设备
US11637744B2 (en) 2020-11-19 2023-04-25 Samsung Electronics Co., Ltd. Methods and systems for managing health of devices in an IoT environment using inter-device correlation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100863126B1 (ko) * 2007-01-25 2008-10-15 주식회사 케이티 센서 네트워크의 에러위치 및 에러원인 제공방법
US20090113232A1 (en) * 2007-10-31 2009-04-30 Electronics And Telecommunications Research Institute Apparatus and method for managing wireless sensor network
KR100991136B1 (ko) * 2008-12-26 2010-11-01 재단법인 광양만권 유아이티연구소 무선 센서 네트워크 장치 및 무선 센서 네트워크 장치의 센서노드 고장 탐지 방법
KR101208857B1 (ko) * 2011-03-25 2012-12-05 순천대학교 산학협력단 센서 네트워크 기반의 노드 진단 방법 및 시스템
KR20140028369A (ko) * 2012-08-28 2014-03-10 주식회사 센서웨이 센서 네트워크 관리 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510975A (en) * 1994-07-01 1996-04-23 Atlantic Software, Inc. Method of logical operations in home automation
KR100976443B1 (ko) * 2008-09-04 2010-08-18 한국전자통신연구원 홈네트워크 오류 예측 시스템 및 그 방법
KR101709478B1 (ko) 2010-05-17 2017-02-23 엘지전자 주식회사 가전기기 시스템 및 그 동작방법
US20140309853A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle diagnostics and roadside assistance
KR20140118925A (ko) 2013-03-29 2014-10-08 이순호 사물 인터넷 클라우드 서비스를 위한 애플리케이션의 개발 시스템 및 사물 인터넷 클라우드 서비스 방법과 그 시스템.
US9762407B2 (en) * 2013-09-12 2017-09-12 Panasonic Intellectual Property Corporation Of America Information notification method
US9989942B2 (en) 2013-12-30 2018-06-05 Qualcomm Incorporated Preemptively triggering a device action in an Internet of Things (IoT) environment based on a motion-based prediction of a user initiating the device action
US9477541B2 (en) 2014-02-20 2016-10-25 City University Of Hong Kong Determining faulty nodes via label propagation within a wireless sensor network
EP2950510B1 (en) 2014-05-28 2018-07-11 Samsung Electronics Co., Ltd Apparatus and method for controlling internet of things devices
KR20160010785A (ko) 2014-07-18 2016-01-28 삼성전자주식회사 가전기기 및 그 제어 방법
JP2016095751A (ja) 2014-11-17 2016-05-26 富士通株式会社 異常機器特定プログラム、異常機器特定方法、及び、異常機器特定装置
DE102014223954B4 (de) 2014-11-25 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Diagnosemodul und Fahrzeug zur Ermittlung eines defekten Bauteils eines Fahrzeugs
KR101591754B1 (ko) 2015-02-05 2016-02-04 주식회사 큐버 댁내 IoT 센서의 생애주기 관리를 위한 클러스터 기반의 IoT 센서의 현황 표시 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
US10579971B1 (en) * 2015-08-10 2020-03-03 State Farm Mutual Automobile Insurance Company Systems and methods for scheduling repair of home equipment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100863126B1 (ko) * 2007-01-25 2008-10-15 주식회사 케이티 센서 네트워크의 에러위치 및 에러원인 제공방법
US20090113232A1 (en) * 2007-10-31 2009-04-30 Electronics And Telecommunications Research Institute Apparatus and method for managing wireless sensor network
KR100991136B1 (ko) * 2008-12-26 2010-11-01 재단법인 광양만권 유아이티연구소 무선 센서 네트워크 장치 및 무선 센서 네트워크 장치의 센서노드 고장 탐지 방법
KR101208857B1 (ko) * 2011-03-25 2012-12-05 순천대학교 산학협력단 센서 네트워크 기반의 노드 진단 방법 및 시스템
KR20140028369A (ko) * 2012-08-28 2014-03-10 주식회사 센서웨이 센서 네트워크 관리 장치

Also Published As

Publication number Publication date
US20190297401A1 (en) 2019-09-26
US11303977B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
WO2018117610A1 (ko) 홈 네트워크를 관리하는 서버 및 이의 제어방법
WO2019098573A1 (en) Electronic device and method for changing chatbot
WO2019172559A1 (en) Air conditioner and method for control thereof
WO2020067633A1 (en) Electronic device and method of obtaining emotion information
WO2020213762A1 (ko) 전자장치, 그 동작방법, 및 복수의 인공지능장치를 포함한 시스템
WO2019194451A1 (ko) 인공지능을 이용한 음성 대화 분석 방법 및 장치
KR102367395B1 (ko) 홈 네트워크를 관리하는 서버 및 이의 제어방법
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
WO2021015308A1 (ko) 로봇 및 그의 기동어 인식 방법
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2019231130A1 (ko) 전자 장치 및 그의 제어방법
WO2019216732A1 (ko) 전자 장치 및 이의 제어 방법
WO2020085796A1 (en) Electronic device and method for controlling electronic device thereof
WO2019132410A1 (en) Electronic device and control method thereof
WO2018093229A1 (en) Method and device applying artificial intelligence to send money by using voice input
EP3523710A1 (en) Apparatus and method for providing sentence based on user input
EP3820369A1 (en) Electronic device and method of obtaining emotion information
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input
EP3533015A1 (en) Method and device applying artificial intelligence to send money by using voice input
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2020130260A1 (en) Mobile terminal and method of operating the same
WO2018186625A1 (ko) 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2019221458A1 (ko) 공기 조화 장치 및 이의 제어 방법
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2019231068A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17884149

Country of ref document: EP

Kind code of ref document: A1