KR20140063392A - Home network system - Google Patents

Home network system Download PDF

Info

Publication number
KR20140063392A
KR20140063392A KR1020130096111A KR20130096111A KR20140063392A KR 20140063392 A KR20140063392 A KR 20140063392A KR 1020130096111 A KR1020130096111 A KR 1020130096111A KR 20130096111 A KR20130096111 A KR 20130096111A KR 20140063392 A KR20140063392 A KR 20140063392A
Authority
KR
South Korea
Prior art keywords
home
home appliances
appliance
appliances
agents
Prior art date
Application number
KR1020130096111A
Other languages
Korean (ko)
Inventor
마사카즈 매하라
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/081,285 priority Critical patent/US20140135952A1/en
Publication of KR20140063392A publication Critical patent/KR20140063392A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)

Abstract

A home network system preforms autonomous and distributed learning control of a plurality of home devices, enables optimal control of the home devices by resolving inconvenience according to extraction of a sensor, and easily moves a model of a home device unit to another master device. The home network system is connected to the home devices (2a-2e) via a communication network (NT) and has a master device(3) which controls the home devices (2a-2e), wherein the master device (3) includes: a plurality of home device agents (30a-30e) respectively corresponding to the home devices (2a-2e); and an agent manager (37) for inputting device information obtained from the home devices (2a-2e) to each of the home device agents (30a-30e), outputting a control command obtained from the home device agents (30a-30e) to the home devices (2a-2e), calculating a pay value according to a state variation obtained from the home devices (2a-2e), and updating a value function of the home device agents (30a-30e) by using the pay value as a parameter.

Description

가전 네트워크 시스템{Home network system} Home network system < RTI ID = 0.0 >

본 발명은, 복수의 가전 기기와 그 복수의 가전 기기를 제어하는 마스터 기기가 통신 네트워크를 개재하여 접속된 것에 있어서, 마스터 기기가 상기 복수의 가전 기기를 학습 제어하는 가전 네트워크 시스템에 관한 것이다.The present invention relates to an appliance network system in which a plurality of home appliances and a master appliance for controlling the plurality of home appliances are connected via a communication network and a master appliance controls learning of the plurality of home appliances.

종래의 가전 네트워크 시스템으로서는, 특허문헌 1에 나타내는 바와 같이 복수의 센서가 존재하는 지능화 주택에 있어서, 적어도 하나의 가전 기기와 그 가전 기기의 제어를 행하는 기기 제어 장치(에이전트)를 갖는 것이 생각된다. 구체적으로 기기 제어 장치는, 임의의 가전 기기의 제어에 관해 그 가전 기기와 상관관계가 큰 센서를 특정하고, 뉴럴네트(neural net)를 이용하여 특정된 센서에 대한 제어를 학습하여 임의의 가전 기기의 제어를 최적화하도록 구성되어 있다.As a conventional home network system, as shown in Patent Document 1, it is conceivable to have at least one home appliance and an appliance control device (agent) for controlling the home appliance in an intelligent house in which a plurality of sensors exist. Specifically, the device control apparatus specifies a sensor having a large correlation with the home appliance in relation to the control of any home appliance, and learns the control on the sensor specified using the neural net, The control of the control unit 20 is optimized.

그러나, 특허문헌 1의 가전 네트워크 시스템에서는, 최적의 제어를 행하기 위해 임의의 가전 기기와의 상관관계가 큰 센서를 특정하여, 그 센서에 대한 가전 기기의 최적의 동작을 학습시키는 것으로, 각 가전 기기에 대해 상관관계가 큰 센서를 추출할 필요가 있고, 그 추출에 필요한 시계열 데이터의 저장이나 연산 처리가 필요하여 효율적이 아니다.However, in the home appliance network system of Patent Document 1, a sensor having a large correlation with an arbitrary household appliance is specified in order to perform optimal control, and the optimum operation of the household appliance is learned for the sensor. It is necessary to extract a sensor having a large correlation with respect to the device, and it is not efficient to store the time series data necessary for the extraction and to perform arithmetic processing.

또한, 여러 가지의 가전 기기가 난립하는 환경에서는, 복수의 가전 기기 각각에 있어서 상관관계가 큰 센서를 추출하기가 어렵다. 추가로 말하면, 모든 센서가 적잖이 각 가전 기기와 상관관계를 갖고 있을 가능성이 있으므로, 상관관계가 큰 센서를 추출하여 제어하는 것만으로는 가전 기기의 최적의 제어를 행하기가 어렵거나 특정 센서에 관한 제어에 치우칠 가능성이 있다.Further, in an environment in which various kinds of home appliances are buried, it is difficult to extract a sensor having a large correlation in each of a plurality of home appliances. In addition, there is a possibility that all the sensors have a correlation with each of the home appliances. Therefore, it is difficult to control the home appliances only by extracting and controlling the sensor having a large correlation, There is a possibility of bias to the control.

또, 상기 기기 제어 장치는 단일 에이전트를 구성하여 임의의 가전 기기의 제어를 집중적으로 학습시키고 있으므로, 다른 기기 제어 장치에 가전 기기 단위로의 모델을 이행하기가 어렵고, 또한 폴트 톨러런트(fault-tolerant)성이 나쁜 문제가 있다.In addition, since the device control device concentrates on the control of an arbitrary home appliance by constructing a single agent, it is difficult to transfer the model to the appliance control device on a per household appliance basis, and a fault-tolerant There is a problem of bad sex.

<선행기술문헌><Prior Art Literature>

특허문헌 1:국제공개 WO2005/083531호 공보Patent Document 1: International Publication WO2005 / 083531

그래서, 본 발명은 상기 과제를 해결하기 위해 이루어진 것으로, 복수의 가전 기기를 자율적 분산적으로 학습 제어함과 동시에, 센서의 추출에 따른 불편함을 해소하여 복수의 가전 기기의 최적 제어를 가능하게 할 뿐만 아니라, 가전 기기 단위의 모델을 다른 마스터 기기에 대해 이행 용이하게 하는 것을 소기 과제로 하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a device and method for controlling a plurality of home appliances in an autonomous and distributed manner, In addition, it is required that the model of the home appliance unit is made easy to transfer to another master device.

즉, 본 발명에 관한 가전 네트워크 시스템은, 각각 표준화된 임의의 프로토콜을 갖는 복수의 가전 기기에 통신 네트워크를 개재하여 접속되고, 상기 복수의 가전 기기를 제어하는 마스터 기기를 갖는 가전 네트워크 시스템으로서, 상기 마스터 기기가, 상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트와, 상기 복수의 가전 기기 에이전트 각각에 대해 상기 복수의 가전 기기로부터 얻어지는 기기 정보를 입력하여, 상기 복수의 가전 기기 에이전트로부터 얻어지는 제어 커맨드를 상기 복수의 가전 기기에 출력하고, 그 결과, 상기 복수의 가전 기기로부터 얻어지는 상태 변화량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 에이전트 관리부를 갖는 것을 특징으로 한다.That is, the home network system according to the present invention is a home network system having a master device connected to a plurality of home appliances each having a standardized arbitrary protocol via a communication network, and controlling the plurality of home appliances, The master device includes a plurality of home appliance agents corresponding to each of the plurality of home appliances and device information obtained from the plurality of home appliances for each of the plurality of home appliance agents, And outputting a control command to the plurality of home appliances as a result of which the maintenance is calculated based on a state change amount obtained from the plurality of home appliances, .

이러한 것이면, 마스터 기기가 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트를 갖고 있고, 에이전트 관리부가 각 가전 기기 에이전트에 복수의 가전 기기로부터 얻어지는 기기 정보를 입력하여 제어 커맨드를 생성하고 있으므로, 복수의 가전 기기를 자율적 분산적으로 학습 제어함과 동시에, 센서의 추출에 따른 불편함을 해소하여 복수의 가전 기기의 최적 제어를 가능하게 할 수 있다.In this case, since the master device has a plurality of home appliance agents corresponding to each of the plurality of home appliances, and the agent management section inputs device information obtained from a plurality of home appliances to each home appliance agent to generate control commands, It is possible to autonomously and decentrally control the home appliances of the home appliances, and at the same time, it is possible to eliminate the inconvenience caused by the sensor extraction, thereby enabling optimum control of a plurality of home appliances.

또한, 에이전트 관리부가 복수의 가전 기기로부터 얻어지는 상태 변화량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하고 있으므로, 미지의 환경에서도 학습할 수 있고 최적의 동작을 각 가전 기기에 행하게 할 수 있다.Further, since the agent management section calculates the maintenance by the state change amount obtained from the plurality of home appliances and updates the value function of the plurality of home appliance agents using the maintenance as a parameter, the agent management section can learn in an unknown environment, To each of the home appliances.

또, 마스터 기기가 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트를 갖고 있으므로, 일부 에이전트를 다른 마스터 기기로 이동시키는 것이 비교적 용이하고, 또한 폴트 톨러런트성이 뛰어나다.In addition, since the master device has a plurality of home appliance agents corresponding to each of a plurality of home appliances, it is relatively easy to move some of the agents to another master device, and the fault tolerance is excellent.

상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트를 생성하는 에이전트 생성부를 갖는 것이 바람직하다. 이에 따르면, 통신 네트워크를 개재하여 접속되는 가전 기기를 늘려도 그 가전 기기에 대응하는 가전 기기 에이전트를 자동으로 생성할 수 있다.And an agent generating unit for generating a plurality of home appliance agents corresponding to each of the plurality of home appliances. According to this, even if the number of household appliances connected through a communication network is increased, home appliance agents corresponding to the household appliances can be automatically generated.

상기 에이전트 관리부가 상기 복수의 가전 기기로부터 얻어지는 상태 변화량으로서 전력 소비량 차이를 이용하여 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기에서의 전력 소비량을 최소화하기 위해 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 것임이 바람직하다.Wherein the agent management unit calculates the maintenance by using the difference in power consumption as a state change amount obtained from the plurality of home appliances and sets the maintenance of the plurality of home appliance agents to minimize the power consumption of the plurality of home appliances It is desirable to update the value function.

상기 마스터 기기가 가전 기기에 의해 구성되어 있는 것이 바람직하다. 이에 따르면, 별도 기기 제어용 제어 장치를 마련할 필요가 없다.It is preferable that the master device is constituted by a home appliance. Accordingly, it is not necessary to provide a separate device control device.

또한, 본 발명에 관한 가전 제어 프로그램은, 각각 표준화된 임의의 프로토콜을 갖는 복수의 가전 기기에 통신 네트워크를 개재하여 접속되고, 상기 복수의 가전 기기를 제어하는 마스터 기기를 갖는 가전 네트워크 시스템에 이용되는 가전 제어 프로그램으로서, 상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트와, 상기 복수의 가전 기기 에이전트 각각에 대해 상기 복수의 가전 기기로부터 얻어지는 기기 정보를 입력하여, 상기 복수의 가전 기기 에이전트로부터 얻어지는 제어 커맨드를 상기 복수의 가전 기기에 출력하고, 그 결과, 상기 복수의 가전 기기로부터 얻어지는 상태 변화량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 에이전트 관리부로서의 기능을 상기 마스터 기기에 구비시키는 것을 특징으로 한다.The home appliance control program according to the present invention is used in an appliance network system having a master device which is connected via a communication network to a plurality of home appliances each having a standardized arbitrary protocol and controls the plurality of home appliances A home appliance control program, comprising: a plurality of home appliance agents corresponding to each of a plurality of home appliances; and a home appliance control program for inputting appliance information obtained from the plurality of home appliances for each of the plurality of appliance appliances, An agent that outputs the obtained control command to the plurality of home appliances and calculates a repair by the state change amount obtained as a result of the plurality of home appliances and updates the value function of the plurality of appliance Do not perform the function as a manager And it characterized by having the emitter unit.

이와 같이 구성한 본 발명에 따르면, 복수의 가전 기기를 자율적 분산적으로 학습 제어함과 동시에, 센서의 추출에 따른 불편함을 해소하여 복수의 가전 기기의 최적 제어를 가능하게 할 뿐만 아니라, 가전 기기 단위의 모델을 다른 마스터 기기에 대해 이행 용이하게 할 수 있다.According to the present invention configured as described above, not only is it possible to perform learning control of a plurality of home appliances in an autonomous and dispersive manner, to eliminate the inconvenience of sensor extraction, and to enable optimum control of a plurality of home appliances, The model of the master device can be easily shifted to other master devices.

도 1은 본 발명의 일 실시형태에 관한 가전 네트워크 시스템을 도시한 모식도.
도 2는 동 실시형태의 복수의 가전 기기에서 마스터 기기로의 정보 송신을 도시한 모식도.
도 3은 동 실시형태의 마스터 기기에 의한 복수의 가전 기기의 제어를 도시한 모식도.
도 4는 동 실시형태의 마스터 기기의 기능 블록도.
도 5는 동 실시형태의 각 가전 기기 에이전트로의 입력 및 출력을 도시한 모식도.
도 6은 동 실시형태의 마스터 기기의 제어 순서를 도시한 흐름도.
도 7은 동 실시형태의 간단한 모델을 도시한 모식도.
도 8은 도 7의 모델에 있어서 상태 변화 정보를 취득한 경우의 동작 내용을 도시한 도면.
도 9는 도 7의 모델에 있어서 각 가전 기기를 제어하는 경우의 동작 내용을 도시한 도면.
도 10은 도 7의 모델에 있어서 각 가전 기기로부터 전력 소비 정보를 취득한 경우의 동작 내용을 도시한 도면.1 is a schematic diagram showing an appliance network system according to an embodiment of the present invention;
Fig. 2 is a schematic diagram showing transmission of information from a plurality of household appliances of the embodiment to a master device. Fig.
3 is a schematic diagram showing control of a plurality of household appliances by the master device of the embodiment;
4 is a functional block diagram of a master device according to the embodiment;
5 is a schematic diagram showing input and output to each home appliance agent in the embodiment;
6 is a flowchart showing a control procedure of a master device according to the embodiment;
7 is a schematic diagram showing a simple model of the embodiment;
FIG. 8 is a view showing the operation contents when state change information is acquired in the model of FIG. 7; FIG.
Fig. 9 is a view showing the operation contents when controlling the respective home appliances in the model of Fig. 7; Fig.
Fig. 10 is a view showing the operation contents when power consumption information is acquired from each home appliance in the model of Fig. 7; Fig.

이하에 본 발명에 관한 가전 네트워크 시스템의 일 실시형태에 대해 도면을 참조하여 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of an appliance network system according to the present invention will be described with reference to the drawings.

본 실시형태에 관한 가전 네트워크 시스템(100)은, 도 1~도 3에 도시된 바와 같이, 복수의 가전 기기(2a~2e)에 통신 네트워크(NT)를 개재하여 접속되고, 상기 복수의 가전 기기(2a~2e)를 제어하는 마스터 기기(3)를 갖는 것이다.1 to 3, the household appliance network system 100 according to the present embodiment is connected to a plurality of home appliances 2a to 2e via a communication network NT, And a master device 3 for controlling the master devices 2a to 2e.

복수의 가전 기기(2a~2e)는 각각 표준화된 임의의 프로토콜을 갖는 것으로, 예를 들면 Echonet, Zigbee 또는 UPnP 등의 통신 프로토콜을 갖는 것이다. 또한, 복수의 가전 기기(2a~2e)로서 본 실시형태에서는 냉장고(2a), BD(Blu-ray Disc) 레코더(2b), 에어컨(2c), 세탁기(2d), 전자렌지(2e) 등이다. 그 밖에 예를 들면 텔레비전, 팬 히터, 공기 청정기, 조명 장치 등의 가전 기기를 갖고 있어도 된다.The plurality of home appliances 2a to 2e each have a standardized protocol, for example, a communication protocol such as Echonet, Zigbee, or UPnP. In this embodiment, the refrigerator 2a, the BD (Blu-ray Disc) recorder 2b, the air conditioner 2c, the washing machine 2d, and the microwave oven 2e are used as the plurality of home appliances 2a to 2e . Other appliances such as a television, a fan heater, an air cleaner, and a lighting device may also be provided.

마스터 기기(3)는, 통신 네트워크(NT)를 개재하여 접속되는 복수의 가전 기기(2a~2e)와의 사이에서 통신 가능하게 하기 위해, 도 3에 도시된 바와 같이 복수의 가전 기기(2a~2e) 각각의 프로토콜의 제어 기능(예를 들면, Echonet, Zigbee 또는 UPnP 등)을 갖는 것이다. 본 실시형태의 마스터 기기(3)는, 예를 들면 텔레비전이나 레코더 등의 가전 기기에 의해 구성되어 있고, CPU, 메모리, 통신 인터페이스 등을 갖는 컴퓨터이다. 그리고, 이 마스터 기기(3)는 상기 메모리의 소정 영역에 저장되어 있는 프로그램에 기초하여 CPU나 그 주변 기기가 작동함으로써, 도 4에 도시된 바와 같이 통신 프로토콜 수신부(31), 통신 프로토콜 송신부(32), 입력 변환부(33), 출력 변환부(34), 프로토콜 해석부(35), 에이전트 생성부(36), 에이전트 관리부(37) 등으로서 기능한다.3, the master device 3 is connected to a plurality of home appliances 2a to 2e connected to each other via a communication network NT, ) Control functions of each protocol (for example, Echonet, Zigbee or UPnP). The master device 3 of the present embodiment is constituted by a home appliance such as a television or a recorder, and is a computer having a CPU, a memory, a communication interface, and the like. The master device 3 operates the CPU and its peripheral devices based on a program stored in a predetermined area of the memory so that the communication protocol receiving unit 31 and the communication protocol transmitting unit 32 An input conversion unit 33, an output conversion unit 34, a protocol analysis unit 35, an agent generation unit 36, an agent management unit 37, and the like.

통신 프로토콜 수신부(31)는 복수의 가전 기기(2a~2e) 각각으로부터의 입력 프로토콜(Xa~Xe)을 수신하는 것이고, 통신 프로토콜 송신부(32)는 복수의 가전 기기(2a~2e) 각각에 출력 프로토콜(Ya~Ye)을 송신하는 것이다.The communication protocol receiving unit 31 receives the input protocols Xa to Xe from the plurality of home appliances 2a to 2e and the communication protocol transmitting unit 32 outputs the input protocols Xa to Xe to the plurality of home appliances 2a to 2e, Protocol (Ya to Ye).

입력 변환부(33)는 상기 통신 프로토콜 수신부(31)에 의해 수신된 입력 프로토콜(Xa~Xe)을 프로토콜 해석부(35)를 이용하여 에이전트 입력값으로 변환하는 것이고, 출력 변환부(34)는 후술하는 제어 커맨드 등의 출력값을 프로토콜 해석부(35)를 이용하여 출력 프로토콜(Ya~Ye)로 변환하여 통신 프로토콜 송신부(32)에 출력하는 것이다.The input conversion unit 33 converts the input protocols Xa to Xe received by the communication protocol receiving unit 31 into agent input values using the protocol analyzing unit 35 and the output converting unit 34 And outputs an output value such as a control command to be described later to an output protocol (Ya to Ye) using the protocol analyzing unit 35 and outputs it to the communication protocol transmitting unit 32. [

프로토콜 해석부(35)는, 입력 프로토콜(Xa~Xe)을 해석하여 에이전트 입력값(X1a~X1e)으로 변환함과 동시에, 제어 커맨드 등의 출력값을 해석하여 출력 프로토콜(Ya~Ye)로 변환하는 것이다.The protocol analyzing unit 35 analyzes the input protocols Xa to Xe and converts them into the agent input values X1a to X1e and at the same time analyzes the output values of the control commands and converts them into output protocols Ya to Ye will be.

에이전트 생성부(36)는, 복수의 가전 기기(2a~2e) 각각에 대응하는 해석 모델인 복수의 가전 기기 에이전트(30a~30e)를 마스터 기기(3)의 내부 메모리에 설정된 가상 공간 내에 생성하는 것이다.The agent creating unit 36 creates a plurality of home appliance agents 30a to 30e as analysis models corresponding to each of the plurality of home appliances 2a to 2e in the virtual space set in the internal memory of the master appliance 3 will be.

에이전트 관리부(37)는, 복수의 가전 기기 에이전트(30a~30e) 각각에 대해 복수의 가전 기기(2a~2e)로부터 얻어지는 이들의 기기 정보(예를 들면, 상태 변화량)를 나타내는 에이전트 입력값(X1a~X1e)을 입력하여(도 5 참조), 복수의 가전 기기 에이전트(30a~30e)로부터 얻어지는 제어 커맨드(Y1a~Y1e)를 복수의 가전 기기(2a~2e)에 출력하고, 그 결과, 복수의 가전 기기(2a~2e)로부터 얻어지는 상태 변화량에 의해 보수(報酬)를 산출하고, 그 보수를 파라미터로서 복수의 가전 기기 에이전트(30a~30e)의 가치 함수를 갱신하는 것이다. 이와 같이, 에이전트 관리부(37)는 강화 학습을 이용하여 복수의 가전 기기(2a~2e)를 학습 제어하는 것이다.The agent management unit 37 has an agent input value X1a representing the device information (for example, a state change amount) obtained from the plurality of home appliances 2a through 2e for each of the plurality of home appliance agents 30a through 30e And outputs control commands Y1a to Y1e obtained from the plurality of home appliance agents 30a to 30e to the plurality of home appliances 2a to 2e as a result, (Reward) is calculated based on the state change amount obtained from the home appliances 2a to 2e and the value function of the plurality of appliance agents 30a to 30e is updated using the maintenance as a parameter. In this manner, the agent management unit 37 performs learning control on a plurality of home appliances 2a to 2e using reinforcement learning.

또, 강화 학습의 학습법의 상세(가치 함수의 상세)에 대해서는, 연속적인 상태 공간 및 행동 공간에 적용할 수 있는 학습법이 바람직하다.Further, as for the details of learning method of reinforcement learning (details of value function), a learning method applicable to continuous state space and action space is preferable.

또한, 에이전트 관리부(37)는, 복수의 가전 기기(2a~2e)로부터 얻어지는 상태 변화량으로서 전력 소비량 차이를 이용하여 보수를 산출하고, 그 보수를 파라미터로서 복수의 가전 기기(2a~2e)에서의 전력 소비량을 최소화하기 위해 복수의 가전 기기 에이전트(30a~30e)의 가치 함수를 갱신한다.The agent management unit 37 calculates the maintenance using the difference in power consumption as the state change amount obtained from the plurality of home appliances 2a to 2e and calculates the maintenance of the plurality of home appliances 2a to 2e And updates the value function of the plurality of appliances agents 30a to 30e to minimize the power consumption.

이하, 마스터 기기(3)에 의한 복수의 가전 기기(2a~2e)의 제어 순서에 대해 특히 도 6을 참조하여 설명한다.Hereinafter, the control procedure of the plurality of home appliances 2a to 2e by the master device 3 will be described with particular reference to Fig.

우선, 마스터 기기(3)의 통신 프로토콜 수신부(31)는, 슬레이브 기기인 복수의 가전 기기(2a~2e)로부터 입력 프로토콜(Xa~Xe)을 수신한다(단계 S1, 도 2 참조). 이 통신 프로토콜 수신부(31)에 의해 수신된 입력 프로토콜(Xa~Xe)은 입력 변환부(33)에 송신된다.First, the communication protocol receiving section 31 of the master device 3 receives input protocols Xa to Xe from a plurality of home appliances 2a to 2e which are slave devices (step S1, see Fig. 2). The input protocols Xa to Xe received by the communication protocol receiving unit 31 are transmitted to the input converting unit 33. [

그리고, 입력 변환부(33)는, 프로토콜 해석부(35)를 이용하여 입력 프로토콜(Xa~Xe)을 해석하여 에이전트 입력값(X1a~X1e)을 얻는다(단계 S2). 그리고, 입력 변환부(33)는, 이 에이전트 입력값(X1a~X1e)이 가전 기기(2a~2e)의 프로파일 정보인지, 기기의 상태 변화에 관련되는 상태 변화 정보인지를 판단하고(단계 S3), 가전 기기(2a~2e)의 프로파일 정보이면, 입력 변환부(33)는 상기 에이전트 입력값(X1a~X1e)을 에이전트 생성부(36)로 송신한다(단계 S4).The input conversion unit 33 analyzes the input protocols Xa to Xe using the protocol analyzing unit 35 to obtain the agent input values X1a to X1e (step S2). The input conversion unit 33 determines whether the agent input values X1a to X1e are the profile information of the home appliances 2a to 2e or the state change information related to the state change of the device (step S3) , The input conversion unit 33 transmits the agent input values X1a to X1e to the agent generation unit 36 (step S4) if profile information of the home appliances 2a to 2e is the profile information.

프로파일 정보를 나타내는 에이전트 입력값(X1a~X1e)을 수신한 에이전트 생성부(36)는, 그 프로파일 정보에 기초하여 가전 기기(2a~2e)의 가상 모델인 에이전트(30a~30e)를 신규로 생성한다(단계 S5). 또, 통신 네트워크(NT)를 개재하여 마스터 기기(3)에 복수의 가전 기기(2a~2e)를 접속하면, 상기와 같이 하여 에이전트 생성부(36)가 복수의 가전 기기(2a~2e) 각각에 대응하는 복수의 가전 기기 에이전트(30a~30e)를 자동으로 생성한다. 또한, 마스터 기기(3)에 복수의 가전 기기(2a~2e)를 접속한 후에 사용자에 의해 입력되는 제어 개시 신호를 수신한 후에 행하도록 해도 된다.Upon receiving the agent input values X1a to X1e indicating the profile information, the agent creating unit 36 newly creates the agents 30a to 30e, which are virtual models of the home appliances 2a to 2e based on the profile information (Step S5). When the plurality of home appliances 2a to 2e are connected to the master device 3 via the communication network NT as described above, the agent generating unit 36 generates a plurality of home appliances 2a to 2e And automatically generates a plurality of home appliance agents 30a to 30e corresponding to the home appliances agent 30a to 30e. Alternatively, after the plurality of home appliances 2a to 2e are connected to the master device 3, a control start signal input by the user may be received.

또한, 프로파일 정보를 나타내는 에이전트 입력값(X1a~X1e)을 수신한 에이전트 생성부(36)는, 이미 그 가전 기기(2a~2e)의 에이전트(30a~30e)를 생성하고 있는 경우에는, 상기 프로파일 정보에 기초하여 가전 기기 에이전트(30a~30e)의 정보를 변경한다(단계 S5).When the agent generating unit 36 that has received the agent input values X1a to X1e indicating the profile information has already generated the agents 30a to 30e of the home appliances 2a to 2e, And changes the information of the home appliance agent 30a to 30e based on the information (step S5).

이와 같이 하여 모든 가전 기기(2a~2e)의 가전 기기 에이전트(30a~30e)가 생성된 후, 복수의 가전 기기(2a~2e)로부터의 상태 변화 정보(입력 프로토콜(Xa~Xe))의 입력 대기 상태가 된다.After the home appliance agents 30a to 30e of all the home appliances 2a to 2e are generated in this way, the input of the state change information (input protocols Xa to Xe) from the plurality of home appliances 2a to 2e And is in a standby state.

한편, 상기 입력 변환부(33)에 의해 얻어진 에이전트 입력값(X1a~X1e)이 상태 변화 정보이면, 입력 변환부(33)는 에이전트 입력값(X1a~X1e)을 에이전트 관리부(37)에 송신한다(단계 S6).On the other hand, if the agent input values X1a to X1e obtained by the input conversion unit 33 are state change information, the input conversion unit 33 transmits the agent input values X1a to X1e to the agent management unit 37 (Step S6).

상태 변화 정보를 나타내는 에이전트 입력값(X1a~X1e)을 수신한 에이전트 관리부(37)는, 그 상태 변화 정보(에이전트 입력값)가 에이전트(30a~30e)의 임의의 행동에 대한 최적화 요소(본 실시형태에서는 전력 소비량)라고 판단한 경우(단계 S7)에는, 최적화 요소를 그 목표값에 가까우면 가까울수록 커지는 수치로서 보수값을 결정하고, 이 보수값을 에이전트(30a~30e)에 부여하여 그 에이전트(30a~30e)의 평가 함수를 갱신한다(단계 S8).The agent management unit 37 that receives the agent input values X1a to X1e indicating the state change information determines whether the state change information (agent input value) is an optimization element for the arbitrary behavior of the agents 30a to 30e (Step S7), a complement value is determined as a numerical value that increases as the optimization element becomes closer to the target value, and the complement value is given to the agents 30a to 30e, 30a to 30e) (step S8).

상태 변화 정보(에이전트 입력값)가 그 이외의 요소, 즉 최적화 요소(전력 소비량) 이외의 요소인 경우에는, 단순한 상태 변화로서 모든 가전 기기 에이전트(30a~30e)에 입력하고, 각각의 가전 기기 에이전트(30a~30e)의 가치 함수로부터 최적 행동(제어 커맨드(Y1a~Y1e))을 얻는다(단계 S9). 그리고, 이 최적 행동(제어 커맨드(Y1a~Y1e))을 출력 변환부(34)로 송신한다.In the case where the state change information (agent input value) is an element other than the other elements, that is, an element other than the optimization element (power consumption amount), it is input to all the home appliance agents 30a to 30e as a simple state change, (Control commands Y1a to Y1e) are obtained from the value functions of the control functions 30a to 30e (step S9). Then, this optimum behavior (control commands Y1a to Y1e) is transmitted to the output conversion unit 34. [

최적 행동(제어 커맨드(Y1a~Y1e))을 수신한 출력 변환부(34)는, 프로토콜 해석부(35)를 이용하여 복수의 가전 기기(2a~2e) 각각의 최적 행동을 나타내는 출력 프로토콜(Ya~Ye)로 변환하여 통신 프로토콜 송신부(32)에 송신한다(단계 S10).The output conversion unit 34 that has received the optimal behavior (control commands Y1a to Y1e) uses the protocol analysis unit 35 to generate an output protocol (Ya) indicating the optimum behavior of each of the plurality of home appliances 2a to 2e To Ye) and transmits it to the communication protocol transmitting unit 32 (step S10).

이 출력 프로토콜(Ya~Ye)을 수신한 통신 프로토콜 송신부(32)는, 복수의 가전 기기(2a~2e) 각각에 대응하는 출력 프로토콜(Ya~Ye)을 송신한다(단계 S11).The communication protocol transmitting section 32 that has received the output protocols Ya to Ye transmits the output protocols Ya to Ye corresponding to the plurality of home appliances 2a to 2e respectively (step S11).

다음에, 간단한 모델로서 슬레이브 기기인 냉장고(2a) 및 에어컨(2c)을 마스터 기기(3)에 의해 제어되는 경우에 있어서, 그 마스터 기기(3)의 학습 제어의 주요부에 대해 도 7~도 10을 참조하여 설명한다.Next, when the refrigerator 2a and the air conditioner 2c, which are slave devices, are controlled by the master device 3 as a simple model, the main part of learning control of the master device 3 is described with reference to Figs. 7 to 10 .

슬레이브 기기인 냉장고(2a)에서 임의의 상태 변화(동작)가 발생한 경우, 도 8에 도시된 바와 같이 그 상태 변화가 Echonet에 의해 마스터 기기(3)에 송신된다. 이 상태 변화를 수신한 마스터 기기(3)는, 상태 변화를 나타내는 상태 변화 정보를 냉장고 에이전트(30a)에 입력할 뿐만 아니라 에어컨 에이전트(30c)에 입력한다.When an arbitrary state change (operation) occurs in the refrigerator 2a which is a slave device, the state change is transmitted to the master device 3 by Echonet as shown in Fig. The master device 3 receiving this state change not only inputs the state change information indicating the state change to the refrigerator agent 30a but also inputs it to the air conditioner agent 30c.

그렇다면, 도 9에 도시된 바와 같이, 이 상태 변화 정보가 입력된 냉장고 에이전트(30a) 및 에어컨 에이전트(30c)에 의해 최적 행동을 나타내는 제어 커맨드가 얻어진다. 그리고, 마스터 기기(3)는, 냉장고 에이전트(30a)로부터 얻어진 제어 커맨드를 Echonet에 의해 냉장고(2a)에 송신하여 제어함과 동시에, 에어컨 에이전트(30c)로부터 얻어진 제어 커맨드를 Echonet에 의해 에어컨(2c)에 송신하여 제어한다.Then, as shown in Fig. 9, a control command indicating optimum behavior is obtained by the refrigerator agent 30a and the air conditioner 30c into which the state change information is inputted. The master device 3 transmits the control command obtained from the refrigerator agent 30a to the refrigerator 2a by Echonet and controls the control command obtained from the air conditioner agent 30c by the air conditioner 2c And controls it.

다음에, 도 10에 도시된 바와 같이, 상기 제어에 의해 냉장고(2a)가 동작한 결과, 그 제어에 기초한 냉장고(2a)의 전력 소비 정보가 Echonet에 의해 마스터 기기(3)에 송신된다. 또한, 상기 제어에 의해 에어컨(2c)이 동작한 결과, 그 제어에 기초한 에어컨(2c)의 전력 소비 정보가 Echonet에 의해 마스터 기기(3)에 송신된다. 이들 전력 소비 정보를 취득한 마스터 기기(3)는, 그 전력 소비 정보로부터 얻어지는 전력 소비량 차이를 이용하여 보수값을 산출하고, 이 보수값을 파라미터로서 냉장고(2a) 및 에어컨(2c)의 가치 함수를 갱신한다. 이러한 제어에 의해, 냉장고(2a) 및 에어컨(2c)을 강화 학습을 이용하여 최적 제어할 수 있다.Next, as shown in Fig. 10, as a result of the operation of the refrigerator 2a by the above control, the power consumption information of the refrigerator 2a based on the control is transmitted to the master device 3 by Echonet. As a result of the operation of the air conditioner 2c by the above control, the power consumption information of the air conditioner 2c based on the control is transmitted to the master device 3 by Echonet. The master device 3 that has obtained these power consumption information calculates the maintenance value using the difference in the power consumption amount obtained from the power consumption information and sets the value function of the refrigerator 2a and the air conditioner 2c Update. With this control, the refrigerator 2a and the air conditioner 2c can be optimally controlled by reinforcement learning.

이와 같이 구성한 본 실시형태에 따르면, 마스터 기기(3)가 복수의 가전 기기(2a~2e) 각각에 대응하는 복수의 가전 기기 에이전트(30a~30e)를 갖고 있고, 에이전트 관리부(37)가 각 가전 기기 에이전트(30a~30e)에 복수의 가전 기기(2a~2e)로부터 얻어지는 기기 정보를 입력하여 제어 커맨드를 생성하고 있으므로, 복수의 가전 기기(2a~2e)를 자율적 분산적으로 학습 제어함과 동시에, 센서의 추출에 따른 불편함을 해소하여 복수의 가전 기기(2a~2e)의 최적 제어를 가능하게 할 수 있다.According to the present embodiment configured as described above, the master device 3 has a plurality of home appliance agents 30a to 30e corresponding to the plurality of home appliances 2a to 2e, Since the device information obtained from the plurality of home appliances 2a to 2e is input to the device agents 30a to 30e to generate the control commands, the plurality of home appliances 2a to 2e are autonomously and learningly controlled , It is possible to solve the inconvenience caused by the sensor extraction and to enable optimum control of the plurality of home appliances 2a to 2e.

또한, 에이전트 관리부(37)가 복수의 가전 기기(2a~2e)로부터 얻어지는 상태 변화량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트(30a~30e)의 가치 함수를 갱신하고 있으므로, 미지의 환경에서도 학습할 수 있고 최적의 동작을 각 가전 기기(2a~2e)에 행하게 할 수 있다.The agent management unit 37 also calculates the maintenance by the state change amount obtained from the plurality of home appliances 2a to 2e and updates the value function of the plurality of home appliance agents 30a to 30e using the maintenance as a parameter Therefore, learning can be performed even in an unknown environment, and optimum operation can be performed by each of the home appliances 2a to 2e.

또, 마스터 기기(3)가 복수의 가전 기기(2a~2e) 각각에 대응하는 복수의 가전 기기 에이전트(30a~30e)를 갖고 있으므로, 일부 에이전트를 다른 마스터 기기로 이동시키는 것이 비교적 용이하고, 또한 폴트 톨러런트성이 뛰어나다.Since the master device 3 has a plurality of home appliance agents 30a to 30e corresponding to the plurality of home appliances 2a to 2e, it is relatively easy to move some of the agents to other master devices, Excellent fault tolerance.

게다가, 에이전트 생성부(36)에 의해 접속된 가전 기기(2a~2e)에 대응하는 가전 기기 에이전트(30a~30e)를 생성하므로, 통신 네트워크(NT)를 개재하여 접속되는 가전 기기를 늘려도 그 가전 기기에 대응하는 가전 기기 에이전트(30a~30e)를 자동으로 생성할 수 있다.In addition, since the home appliance agents 30a to 30e corresponding to the home appliances 2a to 2e connected by the agent generating unit 36 are generated, even if the number of home appliances connected through the communication network NT is increased, The home appliance agent 30a to 30e corresponding to the appliance can be automatically generated.

덧붙여, 마스터 기기가 텔레비전이나 BD 레코더 등의 가전 기기에 의해 구성되어 있으므로, 별도 기기 제어용 제어 장치를 마련할 필요가 없다.In addition, since the master device is constituted by a home appliance such as a television or a BD recorder, it is not necessary to provide a separate device control device.

또, 본 발명은 상기 실시형태에 한정되는 것은 아니다.The present invention is not limited to the above-described embodiments.

예를 들면, 상기 실시형태에서는, 마스터 기기(3)의 내부 메모리 내의 가상 공간 내에 복수의 가전 기기 에이전트를 형성하고 있지만, 그 밖에 복수의 마스터 기기에 복수의 가전 기기 에이전트를 분산하여 형성하도록 해도 된다. 이에 따르면, 폴트 톨러런트성을 한층 더 향상시킬 수 있다.For example, in the above embodiment, a plurality of home appliance agents are formed in the virtual space in the internal memory of the master appliance 3, but a plurality of home appliance agents may be dispersed in a plurality of master devices . According to this, fault tolerance can be further improved.

그 밖에 본 발명은 상기 실시형태에 한정되지 않고, 그 취지를 벗어나지 않는 범위에서 여러 가지의 변형이 가능한 것은 물론이다.It is needless to say that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.

100 가전 네트워크 시스템
2a~2e 가전 기기
3 마스터 기기
30a~30e 가전 기기 에이전트
31 통신 프로토콜 수신부
32 통신 프로토콜 송신부
33 입력 변환부
34 출력 변환부
35 프로토콜 해석부
36 에이전트 생성부
37 에이전트 관리부100 home appliance network system
2a ~ 2e Home Appliances
3 Master device
30a ~ 30e Home Appliance Agent
31 Communication Protocol Receiver
32 communication protocol transmitter
33 input conversion section
34 output conversion section
35 protocol analysis section
36 Agent creation section
37 Agent management

Claims (8)

복수의 가전 기기를 제어하는 가전 네트워크 제어 장치에 있어서,
상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트;
상기 복수의 가전 기기 에이전트 각각에 대해 상기 복수의 가전 기기로부터 얻어지는 기기 정보를 입력하여, 상기 복수의 가전 기기 에이전트로부터 얻어지는 제어 커맨드를 상기 복수의 가전 기기에 출력하고, 그 결과, 상기 복수의 가전 기기로부터 얻어지는 상태 변화량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 에이전트 관리부를 갖는 가전 네트워크 제어 장치.1. An appliance network control device for controlling a plurality of home appliances,
A plurality of home appliance agents corresponding to the plurality of home appliances;
The device information obtained from the plurality of home appliances is input to each of the plurality of home appliance agents and the control command obtained from the plurality of appliance appliances is output to the plurality of home appliances as a result, And updates the value function of the plurality of home appliance agents using the maintenance as a parameter. 제1항에 있어서, 상기 복수의 가전 기기 각각의 프로파일 정보를 이용하여 상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트를 생성하는 에이전트 생성부를 더 갖는 가전 네트워크 제어 장치.2. The appliance network control apparatus according to claim 1, further comprising an agent generation unit that generates a plurality of home appliance agents corresponding to each of the plurality of home appliances using profile information of each of the plurality of home appliances. 제1항 또는 제2항에 있어서,
상기 에이전트 관리부가 상기 복수의 가전 기기로부터 얻어지는 상태 변화량으로서 전력 소비량 차이를 이용하여 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기에서의 전력 소비량을 최소화하기 위해 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 것을 특징으로 하는 인 가전 네트워크 제어 장치.3. The method according to claim 1 or 2,
Wherein the agent management unit calculates the maintenance by using the difference in power consumption as a state change amount obtained from the plurality of home appliances and sets the maintenance of the plurality of home appliance agents to minimize the power consumption of the plurality of home appliances And updating the value function. 각각 표준화된 임의의 프로토콜을 갖는 복수의 가전 기기에 통신 네트워크를 개재하여 접속되고, 상기 복수의 가전 기기를 제어하는 마스터 기기를 갖는 가전 네트워크 시스템으로서,
상기 마스터 기기가,
상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트;
상기 복수의 가전 기기 에이전트 각각에 대해 상기 복수의 가전 기기로부터 얻어지는 기기 정보를 입력하여, 상기 복수의 가전 기기 에이전트로부터 얻어지는 제어 커맨드를 상기 복수의 가전 기기에 출력하고, 그 결과, 상기 복수의 가전 기기로부터 얻어지는 상태 변화 량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 에이전트 관리부;를 갖는 가전 네트워크 시스템.A home network system having a master device connected to a plurality of home appliances having a standardized arbitrary protocol via a communication network and controlling the plurality of home appliances,
Wherein,
A plurality of home appliance agents corresponding to the plurality of home appliances;
The device information obtained from the plurality of home appliances is input to each of the plurality of home appliance agents and the control command obtained from the plurality of appliance appliances is output to the plurality of home appliances as a result, And updating the value function of the plurality of home appliance agents using the maintenance as a parameter. 제4항에 있어서,
상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트를 생성하는 에이전트 생성부를 갖는 가전 네트워크 시스템.5. The method of claim 4,
And an agent generating unit that generates a plurality of appliance agents corresponding to each of the plurality of home appliances. 제4항 또는 제5항에 있어서,
상기 에이전트 관리부가 상기 복수의 가전 기기로부터 얻어지는 상태 변화량으로서 전력 소비량 차이를 이용하여 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기에서의 전력 소비량을 최소화하기 위해 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 것인 가전 네트워크 시스템.The method according to claim 4 or 5,
Wherein the agent management unit calculates the maintenance by using the difference in power consumption as a state change amount obtained from the plurality of home appliances and sets the maintenance of the plurality of home appliance agents to minimize the power consumption of the plurality of home appliances Lt; RTI ID = 0.0 &gt; a &lt; / RTI &gt; value function. 제1항에 있어서,
상기 마스터 기기가 가전 기기에 의해 구성되어 있는 가전 네트워크 시스템.The method according to claim 1,
Wherein said master device is constituted by household appliances. 각각 표준화된 임의의 프로토콜을 갖는 복수의 가전 기기에 통신 네트워크를 개재하여 접속되고, 상기 복수의 가전 기기를 제어하는 마스터 기기를 갖는 가전 네트워크 시스템에 이용되는 가전 제어 프로그램으로서,
상기 복수의 가전 기기 각각에 대응하는 복수의 가전 기기 에이전트;
상기 복수의 가전 기기 에이전트 각각에 대해 상기 복수의 가전 기기로부터 얻어지는 기기 정보를 입력하여, 상기 복수의 가전 기기 에이전트로부터 얻어지는 제어 커맨드를 상기 복수의 가전 기기에 출력하고, 그 결과, 상기 복수의 가전 기기로부터 얻어지는 상태 변화량에 의해 보수를 산출하고, 그 보수를 파라미터로서 상기 복수의 가전 기기 에이전트의 가치 함수를 갱신하는 에이전트 관리부;로서의 기능을 상기 마스터 기기에 구비시키는 것을 특징으로 하는 가전 제어 프로그램.
A home appliance control program to be used in an appliance network system having a master device that is connected to a plurality of home appliances having standardized arbitrary protocols via a communication network and controls the plurality of home appliances,
A plurality of home appliance agents corresponding to the plurality of home appliances;
The device information obtained from the plurality of home appliances is input to each of the plurality of home appliance agents and the control command obtained from the plurality of appliance appliances is output to the plurality of home appliances as a result, And updating the value function of the plurality of home appliance agents by using the maintenance as a parameter. The home appliance control program according to claim 1,
KR1020130096111A 2012-11-15 2013-08-13 Home network system KR20140063392A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/081,285 US20140135952A1 (en) 2012-11-15 2013-11-15 Home network system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-251659 2012-11-15
JP2012251659A JP2014099113A (en) 2012-11-15 2012-11-15 Electric appliance network system

Publications (1)

Publication Number Publication Date
KR20140063392A true KR20140063392A (en) 2014-05-27

Family

ID=50891401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130096111A KR20140063392A (en) 2012-11-15 2013-08-13 Home network system

Country Status (2)

Country Link
JP (1) JP2014099113A (en)
KR (1) KR20140063392A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102055141B1 (en) * 2018-12-31 2019-12-12 한국기술교육대학교 산학협력단 System for remote controlling of devices based on reinforcement learning
KR102173579B1 (en) * 2019-12-02 2020-11-03 한국기술교육대학교 산학협력단 System and method for controlling multi devices through federated reinforcement learning

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6750260B2 (en) 2016-03-15 2020-09-02 オムロン株式会社 Information processing device and agent system
WO2018070038A1 (en) 2016-10-14 2018-04-19 株式会社日立製作所 Computer system and control method
JP6820815B2 (en) * 2017-09-07 2021-01-27 株式会社日立製作所 Learning control system and learning control method
CN110030263B (en) * 2019-04-16 2021-04-16 青岛大学 Fault-tolerant control system and method for displacement sensor of active electromagnetic bearing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984146A (en) * 1995-09-20 1997-03-28 Toshiba Corp Electric power managing system of electric appliance using network
JP4378864B2 (en) * 2000-01-31 2009-12-09 三菱電機株式会社 Composite device and method of operating composite device
US7107107B2 (en) * 2003-01-31 2006-09-12 Matsushita Electric Industrial Co., Ltd. Predictive action decision device and action decision method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102055141B1 (en) * 2018-12-31 2019-12-12 한국기술교육대학교 산학협력단 System for remote controlling of devices based on reinforcement learning
KR102173579B1 (en) * 2019-12-02 2020-11-03 한국기술교육대학교 산학협력단 System and method for controlling multi devices through federated reinforcement learning

Also Published As

Publication number Publication date
JP2014099113A (en) 2014-05-29

Similar Documents

Publication Publication Date Title
US20140135952A1 (en) Home network system
KR20140063392A (en) Home network system
KR102060573B1 (en) Monitoring system and operating method thereof
CN102736526B (en) Control device, control method and system
Khamphanchai et al. Conceptual architecture of building energy management open source software (BEMOSS)
CN111262761A (en) Method and electronic device for controlling smart home system
JP2004342081A (en) Controller, electric apparatus, control system, control method, and control program
CN104597882A (en) Intelligent electrical appliance, mobile communication device, intelligent electrical appliance control system and method
CN104976402A (en) System and Method for Controlling a Valve
EP2651078B1 (en) Method and apparatus for managing electronic appliance
JP5453344B2 (en) Communication adapter, controller and network system
WO2018186157A1 (en) Remote control system, server device, terminal device, electrical apparatus registration method, and program
CN104317235A (en) Wireless sensor network control system
US9934680B2 (en) Managing the control of an electrical device controllable by infrared control signals
Khamphanchai et al. An agent-based open source platform for building energy management
Vastardis et al. A user behaviour-driven smart-home gateway for energy management
KR20170057487A (en) Tate recognition method of control apparatus using mobile remocon system
Deese et al. Automation of residential load in power distribution systems with focus on demand response
CN106165947A (en) A kind of Intelligent bracelet with universal remote control function
KR20140104156A (en) Apparatus and method for controlling terminal based on living pattern
KR101408862B1 (en) Apparatus for controlling temperature in real time using dual processor
KR100643294B1 (en) System and method simulating for home network
CN110324217A (en) Control method, device, electronic equipment and the storage medium of equipment triggering
JP6767626B2 (en) Control processing methods, electrical equipment, and control processing programs
EP2819349A1 (en) Communication device, communication method, and management device

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination