KR100423808B1 - method and apparatus for remotely controlling home electric device using home network - Google Patents
method and apparatus for remotely controlling home electric device using home network Download PDFInfo
- Publication number
- KR100423808B1 KR100423808B1 KR10-2001-0047905A KR20010047905A KR100423808B1 KR 100423808 B1 KR100423808 B1 KR 100423808B1 KR 20010047905 A KR20010047905 A KR 20010047905A KR 100423808 B1 KR100423808 B1 KR 100423808B1
- Authority
- KR
- South Korea
- Prior art keywords
- home
- natural language
- agent
- user
- network
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Abstract
본 발명은 휴대용 단말기와 네트워크 기반의 홈서버에 내장된 지능형 에이전트들의 공동 작업을 통해 네트워크 기반 홈서버에 연동되는 가전기기를 원격으로 제어할때 개인 휴대 단말기에서 사용자로부터 음성이나 전자펜을 이용하여 자연어 형태로 가전기기의 동작을 제어하기 위한 일련의 입력신호를 입력받아 홈서버와의 통신을 위한 정보로 변환하여 홈서버에 전송하고, 홈서버의 에이전트에서 그 일련의 제어명령을 수신하여 해석하고 작업별로 구분하여 작업 스케줄을 작성한 다음, 그 작업 스케줄에 따라 해당 가전기기를 제어하고, 작업 수행결과를 네트워크를 이용하여 사용자에게 전송하여 사용자로 하여금 그 처리 결과를 알 수 있게 한다.The present invention provides a natural language using a voice or electronic pen from a user in a personal portable terminal when remotely controlling a home appliance interworking with a network-based home server through collaboration of intelligent agents embedded in a portable terminal and a network-based home server. It receives a series of input signals for controlling the operation of home appliances in the form, converts them into information for communication with the home server, transmits them to the home server, and receives and interprets the series of control commands from the agent of the home server. After the work schedules are divided, the home appliance is controlled according to the work schedule, and the work performance is transmitted to the user through the network so that the user can know the processing result.
Description
본 발명은 가전기기의 원격제어방법 및 그 장치에 관한 것으로, 상세하게는 PDA 및 홈 서버에 탑재된 지능형 에이전트들의 공동작업을 통해 원거리에서 PDA 사용자가 가정용 전자 기기를 원격 제어하는 네크워크 기반 홈서버의 가전기기 제어방법 및 그 장치에 관한 것이다.The present invention relates to a remote control method and apparatus for home appliances, and more particularly, to a network-based home server for remotely controlling a home electronic device by a PDA user through a collaboration of intelligent agents mounted on a PDA and a home server. A home appliance control method and apparatus therefor.
가정의 각종 기기들을 웹을 이용하여 원격으로 제어하기 위한 홈오토메이션에 관한 기술에는 대한민국 특허출원 1996-43115호(발명의 명칭:웹을 이용한 홈 오토메이션 장치 및 그 방법)가 있다.As a technique related to home automation for remotely controlling various devices in a home using a web, Korean Patent Application No. 1996-43115 (name of the invention: a home automation apparatus using the web and a method thereof) is disclosed.
그 구성을 살펴보면, 복수개의 가정용 전자기기와, 복수개의 전자기기를 연결하여 제어정보에 의해 각 전자기기의 상태를 제어하는 가전기기 제어부와, 웹브라우저를 사용하여 가전기기 제어부에서 생성된 복수개의 전자기기의 상태정보를 망을 통해 화면에 표시하고 웹브라우저를 사용하여 정보를 선택하여 가전기기 제어부에 전송하는 주제어부와, 제어부 및 가전기기 제어부 사이의 망을 통해 송수신되는 데이터를 변복조하는 모뎀으로 이루어져, 웹브라우저에서 제어하고자 하는 기기를 선택하는 경우 기기에 대한 정보가 제어시스템으로 송신되어 해당 가전 기기가 동작하게 된다.Looking at the configuration, a plurality of home electronics, a home appliance control unit for controlling the state of each electronic device by the control information by connecting a plurality of electronic devices, and a plurality of electronics generated by the home appliance control unit using a web browser It consists of a main control unit that displays device status information on the screen through a network and selects and transmits the information to a home appliance control unit using a web browser, and a modem for modulating and demodulating data transmitted and received through the network between the control unit and the home appliance control unit. When selecting a device to be controlled in a web browser, information about the device is transmitted to the control system so that the corresponding home appliance operates.
그러나, 이러한 경우 사용자의 요구사항이 직접 가전기기제어 시스템으로 전달됨에 따라, 사용자가 기기 제어 전과정을 명령하고 모니터링하여 일련의 동작을 달성하기 위하여는 선행동작이 수행될때까지 기다렸다가 다음 동작을 명령해야 함으로써 대기하는 시간이 소요되는 문제점이 있었다.However, in this case, as the user's requirements are directly transmitted to the home appliance control system, the user must command and monitor the whole process of controlling the device to wait for the preceding operation to be performed and then command the next operation. There was a problem that it takes time to wait.
또한, 멀티리모트 전화기 또는 가정 외부에서의 전화기에 의한 음성 신호에 의해 일반 가정용 기기들 중 리모콘에 의해 제어되는 기기들 및 전원선에 연결되어 있는 기기들을 원격 제어할 수 있는 음성 인식 홈 오토메이션 시스템에는 대한민국 특허출원 1998-61594호(발명의 명칭:음성인식 홈 오토메이션 시스템 및 이를 이용한 가정용 기기 제어방법)가 있다.In addition, a voice recognition home automation system capable of remotely controlling the devices controlled by the remote control and the devices connected to the power line by a voice signal from a multi-remote telephone or a telephone outside the home may be used. Patent application No. 1998-61594 (name of the invention: a voice recognition home automation system and a method for controlling home appliances using the same).
그 구성을 살펴보면, 사용자로부터 음성명령을 입력받아 부호화하고 부호화된 음성명령을 무선신호로 입력받고 입력받은 무선신호가 부호화된 음성명령이면, 그 부호화된 음성명령을 컴퓨터로 전달하고, 컴퓨터에 의해 분석된 제어명령을 입력받아 유선으로 전달하는 홈오토메이션 처리장치와, 홈오토메이션 처리 장치로부터 부호화된 음성명령을 입력받아 분석하여 제어명령을 생상하는 음성인식기를 구비한 컴퓨터와, 홈오토메이션 처리장치로부터 유선으로 제어명령을 입력받아 적외선 제어신호로 변환하여 전송하는 하나 또는 그 이상의 홈오토메이션 제어기들 홈오토메이션 제어기로부터 적외선 제어신호를 입력받아 동작하는 하나 또는 그 이상의 리모트 제어 가정용 기기들을 포함하여 구성된다.In the configuration, if a voice command is received from a user and encoded, the encoded voice command is input as a wireless signal, and if the received wireless signal is an encoded voice command, the encoded voice command is transmitted to a computer and analyzed by a computer. A home automation processing device that receives the received control command and delivers it by wire, a computer having a voice recognizer that receives the encoded voice command from the home automation processing device and analyzes the same, and generates a control command from the home automation processing device by wire. One or more home automation controllers for receiving a control command and converting the same into an infrared control signal are transmitted. The home automation controller includes one or more remote control home appliances that receive and operate an infrared control signal from a home automation controller.
또한 이러한 경우에도 음성인식단위가 기기의 제어명령과 일치, 즉, 리모콘으로 제어할 수 있는 하나의 동작을 음성으로 전달함에 따라, 사용자가 기기 제어 전과정을 음성신호를 통해 하나씩 명령하고 사용자가 기기 제어 전과정을 음성신호를 통해 하나씩 명령하고 지속적으로 모니터링하여야 한다.Also in this case, the voice recognition unit matches a control command of the device, i.e., a single operation that can be controlled by the remote controller is transmitted as a voice, so that the user commands the whole process of controlling the device one by one through the voice signal and the user controls the device. The whole process should be commanded one by one via voice signal and continuously monitored.
이와 같이 종래의 원격 가전 제어는 전화 혹은 퍼스널 컴퓨터에 장착된 웹브라우저를 통해 행해졌다. 이러한 원격 가전 제어는 사용자가 직접 가정 내의 가전 기기 제어 시스템으로 해당 가전 기기가 제공하는 제어 명령들을 한번에 하나씩 송신하는 형태로 이루어졌다.Thus, the conventional remote home appliance control is performed through a web browser mounted on a telephone or a personal computer. The remote home appliance control is a form in which a user directly transmits control commands provided by the home appliance to the home appliance control system in the home one at a time.
따라서, 사용자는 가전 제어의 전 과정을 직접 모니터링 하면서 가전 제어 명령을 가정내로 전달하여야 하며, 세부적인 가전 제어 명령들을 익혀야 하는 제약이 있다.Therefore, the user must directly transmit the home appliance control commands to the home while directly monitoring the whole process of home appliance control, and there is a limitation to learn detailed home appliance control commands.
본 발명은 이러한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 휴대용 단말기와 네트워크 기반의 홈서버에 내장된 지능형 에이전트들의 공동 작업을 통해 개인 휴대 단말기에서 사용자들이 음성이나 전자펜을 이용하여 자연어 형태로 원거리에서 가정 내 가전기기의 제어 명령을 내릴 수 있고, 명령 결과를 확인할 수 있는 네크워크 기반 홈서버의 가전기기 제어방법 및 그 장치를 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve this problem, and an object of the present invention is to provide a user with a natural language using voice or an electronic pen in a personal mobile terminal through collaboration of intelligent agents embedded in a mobile terminal and a network-based home server. The present invention provides a method and apparatus for controlling a home appliance of a network-based home server capable of giving a control command of a home appliance in a long distance and confirming a command result.
도 1은 본 발명에 따른 PDA에서 지능형 에이전트를 통한 가정용 기기 제어 방법이 적용된 장치의 블록도.1 is a block diagram of a device to which a method for controlling home appliances through an intelligent agent is applied in a PDA according to the present invention.
도 2는 도1의 홈 서버 에이전트 시스템의 상세 블록도.Figure 2 is a detailed block diagram of the home server agent system of Figure 1;
도 3은 본 발명에 따른 PDA 탑재 개인 에이전트의 실행 흐름도.3 is a flowchart of execution of a personal digital assistant (PDA) in accordance with the present invention.
도 4는 본 발명에 따른 홈 서버 에이전트 시스템의 실행 흐름도.4 is a flowchart of execution of a home server agent system according to the present invention;
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100 : 가전기기 200 : 홈서버100: home appliance 200: home server
210 : 가전기기 제어부 220 : 에이전트부210: home appliance control unit 220: agent unit
221 : 가전 제어 에이전트 222 : 정보관리 에이전트221: home appliance control agent 222: information management agent
223 : 자연어 처리 에이전트 224 : 조정 에이전트223 natural language processing agent 224 adjustment agent
300 : 유무선 통신망 400 : 개인 휴대 단말기300: wired and wireless communication network 400: personal mobile terminal
410 : 자연어 처리부 420 : 개인비서 에이전트410: natural language processing unit 420: personal assistant agent
이러한 목적을 달성하기 위하여 본 발명은 네트워크 기반 홈서버에 연동되는 가전기기를 원격으로 제어할때 개인 휴대 단말기에서 사용자로부터 가전기기의 동작을 제어하기 위한 일련의 입력신호를 자연어 형태로 사용자로부터 입력받아 홈서버와의 통신을 위한 정보로 변환하여 홈서버에 전송하고, 홈서버의 에이전트에서그 일련의 제어명령을 수신하여 해석하고 작업별로 구분하여 작업 스케줄을 작성한 다음, 그 작업 스케줄에 따라 해당 가전기기를 제어하고, 작업 수행결과를 네트워크를 이용하여 사용자에게 전송하여 사용자로 하여금 그 처리 결과를 알 수 있게 한다.In order to achieve the above object, the present invention receives a series of input signals for controlling the operation of home appliances from a user in a natural language form from a user in a personal portable terminal when remotely controlling a home appliance connected to a network-based home server. It converts the information for communication with the home server and sends it to the home server, receives and interprets the series of control commands from the agent of the home server, creates a work schedule by dividing the work by each task, and then applies the home appliance according to the work schedule. Control and transmit the result of the work to the user through the network so that the user can know the result of the processing.
이하에서 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도1은 본 발명에 따른 지능형 에이전트를 이용한 원격 가전 제어 시스템의 구성 블록도이다.1 is a block diagram of a remote home control system using an intelligent agent according to the present invention.
도 1을 참조하면, 본 발명에 따른 원격 가전 제어 시스템은 가정내의 각종 가전기기(100)와, 각 가전기기(100)의 동작을 사용자의 제어명령에 따라 작업 스케줄을 작성하여 그 순서대로 제어하기 위한 홈서버(200)와, 그 홈서버(200)로 하여금 각 가전기기의 동작을 제어할 수 있도록 유무선 통신망(300)을 통해 각 가전기기의 동작을 제어하기 위한 사용자의 명령신호를 홈서버(200)에 전달하는 개인 휴대용 단말기(400)를 포함하여 구성된다.Referring to Figure 1, the remote home appliance control system according to the present invention to control the operation of the various home appliances (100) in the home, and the operation of each home appliance 100 in accordance with the control command of the user in order The home server 200 and the home server 200 through the wired and wireless communication network 300 so that the home server 200 to control the operation of each home appliance, the user's command signal for controlling the operation of each home appliance (home server ( It comprises a personal portable terminal 400 for delivery to the 200.
가전기기(100)는 홈서버(200)에 연결되어 제어를 받아 동작하는 가전기기로써 예를 들면, 세탁기, 냉장고, 에어콘, 보일러, 창문개폐기, 전자렌지, 전기밥솥 등이 포함될 수 있다.The home appliance 100 is a home appliance that is connected to the home server 200 and operates under control. For example, the home appliance 100 may include a washing machine, a refrigerator, an air conditioner, a boiler, a window opener, a microwave oven, an electric rice cooker, and the like.
홈서버(200)는 각종 가전 기기(100)를 제어하는 가전기기 제어부(210)와, 그 가전기기 제어부(210)에 사용자의 제어명령을 전달하는 에이전트부(220)로 구성된다.The home server 200 includes a home appliance control unit 210 that controls various home appliances 100, and an agent unit 220 that transmits a user's control command to the home appliance control unit 210.
에이전트부(220)는 네트워크를 통하여 원격의 사용자로부터 수신한 상기 가전기기에 대한 일련의 제어명령을 해석하여 작업별로 구분하여 작업 스케줄을 작성하고, 그 수행결과를 다음 작업 스케줄에 반영할 수 있도록 저장한다.The agent unit 220 analyzes a series of control commands for the home appliance received from a remote user through a network, creates a job schedule for each job, and stores the job result to reflect the next job schedule. do.
가전기기 제어부(210)는 에이전트부(220)의 작업 스케줄에 의거하여 가전기기의 제어를 수행한다.The home appliance control unit 210 performs control of the home appliance based on a work schedule of the agent unit 220.
유무선 통신망(300)은 개인비서 에이전트(402)와 홈 서버의 에이전트와의 데이터 송수신을 지원하는 각종 유무선 통신망으로, 유무선 인터넷망, PCS망, PDA망, CDMA망, IMT망 등이 포함될 수 있다.The wired / wireless communication network 300 is a wired / wireless communication network supporting data transmission and reception between the personal assistant agent 402 and the agent of the home server, and may include a wired / wireless internet network, a PCS network, a PDA network, a CDMA network, an IMT network, and the like.
개인 휴대용 단말기(400)는 PDA단말기, 휴대폰 단말기, 컴퓨터등의 각종 유무선 통신기기가 될 수 있으며, 음성 혹은 펜 또는 키패드를 통한 사용자의 입력신호를 받아 자연어처리를 수행하여 자연어 형태의 가전 제어 명령을 전달하기 위한 자연어 처리부(410)와, 자연어 처리부(410)의 인식결과를 홈서버의 에이전트에 전달하기 위한 개인비서 에이전트부(420)를 포함하여 구성될 수 있다.The personal portable terminal 400 may be various wired / wireless communication devices such as a PDA terminal, a mobile phone terminal, a computer, and performs natural language processing by receiving a user's input signal through a voice or a pen or a keypad to execute a natural language home appliance control command. It may include a natural language processing unit 410 for delivery, and a personal assistant agent unit 420 for delivering the recognition result of the natural language processing unit 410 to the agent of the home server.
자연어 처리부(410)는 입력된 자연어 형태의 제어명령을 홈서버(200)와의 통신을 위한 정보로 변환하거나, 홈서버(200)로부터 수신한 실행결과 처리 정보를 사용자에게 디스플에이하기 위한 자연어 형태로 변환한다.The natural language processing unit 410 converts the input natural language control command into information for communication with the home server 200 or in natural language form for displaying the execution result processing information received from the home server 200 to the user. Convert.
자연어 형태로 전달받는다는 것은 각종 가전기기의 동작을 제어하기 위한 제어명령에 있어서, 특정한 키패드 또는 버튼신호에 의해 특정한 제어명령을 전달받는 것이 아니라, 가전기기의 동작을 제어하는데 있어서 사용되는 제어명령들에 대하여 인간이 주로 사용하는 단어의 형태(자연어 형태)로 입력받는다는 것이다. 예를 들면, "현재 온도" "현재시간" "온도를 낮춰" "온도를 높여" "정지해" "가동해" 등의 인간언어를 통하여 가전기기의 제어명령을 입력하거나 입력받는 것을 말한다.Receiving in the form of natural language is a control command for controlling the operation of various home appliances. Instead of receiving a specific control command by a specific keypad or button signal, the control commands are used to control the operation of the home appliance. It is input in the form of words (natural language) that humans mainly use. For example, "current temperature", "current time", "lower temperature", "higher temperature", "stop", "operating sea" and the like, input or receive control commands of home appliances.
자연어 형태로 입력받는 구체적인 방법은 음성인식기술을 통하여 할 수 도 있고, 키보드를 통해서 할 수 도 있고, 직접 전자펜을 이용하여 PDA의 입력부에 글자를 써서 입력받을 수 있다.The specific method of inputting the natural language may be performed through voice recognition technology, through a keyboard, or directly by writing a letter to an input unit of a PDA using an electronic pen.
이와 같이 자연어 형태로 제어명령을 입력하면 한정된 키패드나 키버튼의 조작을 조합하여 형성할 수 있는 제어명령보다 훨씬 더 다양한 종류의 명령어를 입력할 수 있게 되며, 사용자 입장에서도 자신이 평소에 친구에게 늘 하던 형태의 말 예를 들면 "에어콘 좀 켜줄래?" "온도 좀 낮추어 줄래?" "세탁기좀 돌려줘!"을 사용하여 가전기기의 제어를 수행할 수 있게 함으로써 가전기기의 제어를 위해 별도의 키패드 조작방법을 공부할 필요없이 쉽게 자신이 원하는 제어명령을 전달할 수 있는 것이다.In this way, if you enter a control command in the form of natural language, you can enter a much wider variety of commands than a control command that can be formed by combining a limited keypad or key button operation. For example, "Would you like to turn on the air conditioner?" "Can you lower the temperature?" By using the "Return the washing machine!" By using the control of home appliances, you can easily send your own control commands without having to study a separate keypad operation method for controlling the home appliances.
개인비서 에이전트부(420)는 자연어 처리부(410)에 의해 처리된 제어명령 정보를 네트워크를 이용하여 홈서버에 전송하거나, 상기 홈서버로부터 가전기기의 실행결과 처리정보를 수신하여 상기 자연어 처리부를 통해 사용자에게 디스플레이한다.The personal assistant agent unit 420 transmits the control command information processed by the natural language processing unit 410 to a home server through a network, or receives execution result processing information of the home appliance from the home server, through the natural language processing unit. Display to the user.
이와 같이 구성된 본 발명에 의한 원격제어 시스템에서는 사용자가 개인 휴대용 단말기(400)에 음성이나 전자펜등을 이용하여 자연어 형태로 가전기기의 동작을 제어하기 위한 제어명령을 입력하면, 그 제어명령은 자연어 처리부(410)에서 홈서버(200)와 통신을 위한 통신언어로 변환되고, 그 제어명령을 개인비서에이젼트(420)에서 자연어 처리부(410)에 의해 처리된 제어명령 정보를 유무선 통신망(300)을 이용하여 홈서버(200)에 전송한다.In the remote control system according to the present invention configured as described above, when a user inputs a control command for controlling the operation of the home appliance in a natural language form using a voice or an electronic pen, the control command is a natural language. The processing unit 410 is converted into a communication language for communication with the home server 200, and the control command is converted into control command information processed by the natural language processing unit 410 in the personal assistant agent 420. Transfer to the home server 200 by using.
홈서버(200)의 에이전트부(220)에서는 유무선 통신망(300)을 통하여 원격의 사용자로부터 가전기기에 대한 일련의 제어명령을 수신하고, 그 수신된 일련의 제어명령을 해석하여 작업별로 구분하여 작업 스케줄을 작성한다. 가전기기 제어부(210)에서는 그 작업 스케줄에 따라 해당 가전기기를 제어하고 그 작업 수행결과를 에이전트부(220)에 전달한다. 에이전트(220)에서는 그 작업수행 결과를 다음의 작업 스케줄 작성에 참조하기 위하여 저장하고 아울러 유무선 통신망(300)을 이용하여 사용자에게 전송한다.The agent unit 220 of the home server 200 receives a series of control commands for home appliances from a remote user through the wired / wireless communication network 300, interprets the received control commands, and divides them by job. Create a schedule. The home appliance control unit 210 controls the home appliance according to the work schedule and transmits the result of the work to the agent unit 220. The agent 220 stores the work performance result for reference in the next work schedule preparation and transmits the result to the user using the wired / wireless communication network 300.
개인 휴대용 단말기(400)의 개인비서 에이전트(420)에서는 홈서버(200)로부터 가전기기의 실행결과 처리정보를 수신하고, 그 수신한 실행결과 처리 정보를 자연어 형태로 변환하여 사용자에게 디스플레이하여 준다.The personal assistant agent 420 of the personal portable terminal 400 receives the execution result processing information of the home appliance from the home server 200, converts the received execution result processing information into a natural language form, and displays it to the user.
도 2는 도1의 홈 서버에 구비되는 에이전트부(220)의 상세 구성 블록도이다.FIG. 2 is a detailed block diagram of the agent unit 220 provided in the home server of FIG. 1.
에이전트부(220)는 홈서버(200) 내부에서는 가전기기 제어부(210)와 데이터 교환을 하며, 외부로는 개인 휴대단말기(400)에 탑재된 개인 비서 에이전트(420)와 통신을 수행한다.The agent unit 220 exchanges data with the home appliance control unit 210 in the home server 200, and communicates with the personal assistant agent 420 mounted in the personal portable terminal 400 to the outside.
그 구성을 살펴보면, 가전 제어 에이전트(221), 정보관리 에이전트(222), 자연어 처리 에이전트(223), 조정 에이전트(224)를 포함하여 구성될 수 있다.Looking at the configuration, it may be configured to include a home appliance control agent 221, information management agent 222, natural language processing agent 223, coordination agent 224.
여기서, 가전 제어 에이전트(221), 정보관리 에이전트(222), 자연어 처리 에이전트(223)는 가전기기의 개별적인 제어를 위해 수행하는 에이전트라는 점에서 응용 에이전트라고 할 수 있으며, 조정 에이전트(224)는 이러한 각 응용 에이전트들의 수행동작을 제어하는 점에서 시스템 에이전트라고 할 수 있다.Here, the home appliance control agent 221, the information management agent 222, the natural language processing agent 223 may be referred to as an application agent in that the agent performs for individual control of the home appliance, and the coordination agent 224 is such an agent. It can be called a system agent in that it controls the execution of each application agent.
가전 제어를 담당하는 응용 에이전트인 가전 에이전트(221)들은 가전 제어를 담당하는 가전 기기 하나 당 하나의 가전 에이전트가 매핑되며, 해당 가전 기기 제어 모듈(210)을 통해 담당 가전 기기의 상태 및 동작을 제어한다.The home appliance agent 221, which is an application agent responsible for home appliance control, is mapped with one home appliance agent per home appliance that is responsible for home appliance control, and controls the state and operation of the home appliance through the corresponding home appliance control module 210. do.
정보 관리 에이전트(222)는 가전 제어에 필요한 정보, 예를 들어, 냉난방 장치가 공통으로 요구하는 실내 온도 설정 정보등 가정 내 환경 설정에 관련된 정보를 관리하는 홈 정보 관리 에이전트, 단말 사용자마다 가지는 고유의 개인 정보를 관리하는 개인정보관리 에이전트 등으로 구성될 수 있다.The information management agent 222 is a home information management agent that manages information related to home environment setting, such as information required for home appliance control, for example, room temperature setting information commonly required by air-conditioning and heating devices, and unique for each terminal user. It may be configured as a personal information management agent for managing personal information.
자연어 처리 에이전트(223)는 자연어 형태로 전달된 가전 제어 명령어를 의미 분석하거나 가전 제어 명령 수행 결과를 자연어 형태로 변환한다.The natural language processing agent 223 semanticly analyzes the home appliance control command transmitted in the natural language form or converts the home appliance control command execution result into the natural language form.
조정 에이전트(224)는 가전 제어 에이전트(221), 정보관리 에이전트(222), 자연어 처리 에이전트(223)와 휴대용 단말기(400)의 개인 비서 에이전트(420)의 개별 정보 및 에이전트간의 작업을 스케쥴링한다.The coordination agent 224 schedules tasks between the home appliance control agent 221, the information management agent 222, the natural language processing agent 223, and the individual information of the personal assistant agent 420 of the portable terminal 400 and the agent.
조정 에이전트(224)에서는 개인 휴대용 단말기(400)로부터 에이전트 통신언어 형태로 전달받은 일련의 제어명령을 수신하면, 그 제어명령을 해석하기 위하여 자연어 처리 에이전트(223)로 전달하여 그 제어명령의 의미를 분석하게 한다. 그리고, 자연어 처리 에이전트(223)의 의미분석 결과를 참조하여 사용자가 요구한 기능을 수행할 수 있는 에이전트들을 추출하고, 이들의 작업 순서를 시간과 조건에 따라 스케줄링 한다. 스케줄링한다는 것은 예를 들면, 사용자가 "세탁기를 돌리고,에어콘을 20℃로 유지하고, 밥을 해놓아라"하고 제어명령을 내렸을 경우, 작업은 크게 세가지로 나누어 질 수 있다. 즉, 세탁기를 돌리는 작업, 에어콘을 20℃유지하는 작업, 밥을 하는 작업으로 나누어질 수 있다. 이러한 일련의 작업분류는 자연어 처리 에이전트(223)의 의미 분석결과를 토대로 이루어지는 것이다.When the coordination agent 224 receives a series of control commands received from the personal portable terminal 400 in the form of an agent communication language, the coordination agent 224 transmits the control commands to the natural language processing agent 223 to interpret the control commands. Have them analyze. The semantic analysis results of the natural language processing agent 223 are used to extract agents capable of performing a function requested by the user, and to schedule their work orders according to time and conditions. Scheduling can be divided into three major tasks, for example, when a user issues a control command such as "turn the washing machine, keep the air conditioner at 20 ° C, cook rice". In other words, it can be divided into the operation of turning the washing machine, the operation of maintaining the air conditioner 20 ℃, the task of cooking. This series of work classification is based on the result of semantic analysis of the natural language processing agent 223.
조정 에이전트(223)에서는 이러한 여러개의 작업을 시간 또는 가전기기의 종류에 따라 해당하는 가전기기를 제어하기 위한 에이전트를 추출하고 작업 스케줄을 작성한다. 이렇게 가전기기를 시간과 종류 또는 각 상황에 따른 작업순서대로 제어하기 위한 스케줄이 완성되면, 조정 에이전트(224)는 해당 응용 에이전트들에게 작업 명령을 전달한다.The coordination agent 223 extracts an agent for controlling the corresponding home appliance according to the time or the type of the home appliance, and creates a work schedule. When the schedule for controlling the home appliance in the work order according to time and type or each situation is completed, the coordination agent 224 delivers a work command to the corresponding application agents.
아울러, 다음번 작업 스케줄의 작성에 참고할 수 있도록 가전기기의 제어작업 수행결과를 저장한다.In addition, the result of performing the control operation of the home appliance is stored for reference in preparing the next work schedule.
도 3은 본 발명에 따른 휴대용 단말기에 탑재된 개인 비서 에이전트부(420)의 실행 흐름도이다. 도 3을 참조하여 개인 비서 에이전트부(420)의 동작을 살펴보도록 하자.3 is an execution flowchart of the personal assistant agent unit 420 mounted on the portable terminal according to the present invention. Referring to FIG. 3, the operation of the personal assistant agent unit 420 will be described.
우선 유무선 통신망(300)을 통하여 홈 서버의 에이전트부(220)와 인터넷 접속을 시도한다(S1). 연결이 완료되면, 홈서버(200)와 가전기기의 제어를 위한 각종 통신을 위해 홈서버(200)에 메시지를 송신할 것인지 아니면 홈서버(200)로부터 메시지를 수신할 것인지에 따라 메시지 송수신 모드로 분기한다(S2). 따라서, 송신 모드인 경우에는, 홈서버(200)로 전송해야할 사용자의 입력신호가 있는지를 판단한다(S3). 사용자의 입력신호는 각종 가전기기를 제어하기 위한 제어명령신호 또는명령어를 포함하게 된다.First, an internet connection is attempted with the agent unit 220 of the home server through the wired / wireless communication network 300 (S1). When the connection is completed, branch to the message transmission and reception mode depending on whether to send a message to the home server 200 or to receive a message from the home server 200 for various communications for controlling the home server 200 and home appliances (S2). Therefore, in the transmission mode, it is determined whether there is an input signal of the user to be transmitted to the home server 200 (S3). The input signal of the user includes a control command signal or a command for controlling various home appliances.
사용자의 입력신호는 PDA 단말기의 경우 펜이나 키보드를 통해 입력될 수 있으면 음성인식을 사용하여 음성을 통해 자연어 형태로 입력될 수 있다. 따라서, 사용자의 입력신호가 있는 경우, 어떠한 형태의 입력신호인지 판단한다. 예를 들면 음성을 통한 요구인지를 판단한다(S4). 음성인 경우에는 사용자로부터 입력된 명령어를 음성을 인식하여 자연어 처리부(410)로 전달하여 음성인식을 요청하고(S5) 그 음성 인식 결과를 자연어 형태로 전달받는다. 예를 들면 사용자가 음성으로 "현재의 실내온도는 몇도지?, 실내온도를 20℃로 맞춰!"라는 PDA에 설치된 마이크에 말을 하면, 마이크를 통해 입력된 사용자의 명령어는 자연어 처리부(410)에서 에이전트간 통신을 위해 에이전트 통신 언어(Agent Communication Language)로 변환된다(S6). 이렇게 변환된 제어명령을 홈서버(200)에 전송한다(S7).If the user's input signal can be input through a pen or keyboard in the case of a PDA terminal, the user's input signal may be input in natural language form using voice using voice recognition. Therefore, when there is an input signal of the user, it is determined what type of input signal. For example, it is determined whether the request is made through voice (S4). In the case of a voice, a command input from a user is recognized and transmitted to the natural language processor 410 to request voice recognition (S5), and the voice recognition result is received in a natural language form. For example, when a user speaks to a microphone installed in a PDA by voice, "What is the current indoor temperature? Set the indoor temperature to 20 ° C!", The user's command input through the microphone is a natural language processor 410. In step S6, the agent communication language is converted to an agent communication language for agent-to-agent communication. The control command thus converted is transmitted to the home server 200 (S7).
한편, 수신 모드인 경우에는 홈서버(200)로부터 수신된 메시지가 있는가의 여부를 판단한다(S8). 홈서버(200)로부터 수신된 메시지가 있는 경우에는 에이전트 통신 언어를 자연어 처리부(410)로 전달하여 자연어 형태로 변환 후 변환된 자연어 메시지를 전송받고(S9), 그 자연어 메시지를 사용자에게 디스플레이하여 준다(S10). 이상의 작업은 사용자의 종료 요구가 있는 경우까지 반복하여 수행한다.(S11).On the other hand, in the reception mode, it is determined whether there is a message received from the home server 200 (S8). When there is a message received from the home server 200, the agent communication language is transmitted to the natural language processing unit 410, converted to natural language form, and then the converted natural language message is received (S9), and the natural language message is displayed to the user. (S10). The above operation is repeatedly performed until the user's termination request is made (S11).
도 4는 본 발명에 따른 홈 서버에서 에이전트부의 동작수행 흐름도이다. 홈 서버에서 각 에이전트가 순차적으로 실행된다(S21). 먼저, 시스템의 전반적인 수행을 위해 조정 에이전트(224)가 실행되고, 가전 제어 에이전트(221), 정보관리 에이전트(222), 자연어 처리 에이전트(223)의 응용 에이전트가 실행된다. 실행된 에이전트들은 자신의 동작정보를 조정 에이전트(224)에게 등록한다(S22). 조정 에이전트(224)에게 등록하는 사항은 응용 에이전트들 각각이 수행할 수 있는 기능 정보등이 해당된다.4 is a flowchart illustrating an operation of an agent unit in a home server according to the present invention. Each agent is sequentially executed in the home server (S21). First, the coordinating agent 224 is executed for overall performance of the system, and the application agent of the home appliance control agent 221, the information management agent 222, and the natural language processing agent 223 is executed. The executed agents register their operation information to the coordination agent 224 (S22). The registration information to the coordination agent 224 corresponds to the function information that each of the application agents can perform.
즉, 세탁기 담당 에이전트는 자신이 세탁기를 제어할 수 있음을 조정 에이전트(224)에게 알리고, 조정 에이전트(224)는 이를 데이터 베이스 형태로 저장한다. 이렇게 등록 절차가 끝나면, 조정 에이전트(224)는 유무선 통신망을 통해 개인 휴대 단말기(400)로부터 전송되는 제어명령 신호가 수신되는지의 여부를 판단한다(S23). 이러한 제어명령 신호는 PDA의 개인 비서 에이전트로부터 에이전트 통신 언어 형태로 전달되며, 조정 에이전트(224)는 먼저, 에이전트 통신 언어 내부에 포함된 자연어 명령에 대한 의미 분석을 위해 자연어 처리 에이전트(223)로 이를 전달한다(S24). 자연어 처리 에이전트(223)에서는 그 전달받은 에이전트 통신 언어를 분석하여 그 의미를 분석한다. 조정 에이전트(224)에서는 자연어 처리 에이전트(224)의 처리결과를 참조하여 사용자가 요구한 기능을 수행할 수 있는 에이전트들을 추출하고, 이들의 작업 순서를 시간과 조건에 따라 스케줄링 한다(S25).That is, the washing machine agent informs the coordinating agent 224 that he or she can control the washing machine, and the coordinating agent 224 stores it in the form of a database. After the registration procedure is completed, the coordination agent 224 determines whether a control command signal transmitted from the personal portable terminal 400 is received through the wired / wireless communication network (S23). The control command signal is transmitted from the personal assistant agent of the PDA in the form of an agent communication language, and the coordination agent 224 firstly transmits it to the natural language processing agent 223 for semantic analysis of the natural language command included in the agent communication language. Transfer (S24). The natural language processing agent 223 analyzes the received agent communication language and analyzes its meaning. The coordination agent 224 refers to the processing result of the natural language processing agent 224, extracts agents capable of performing a function requested by the user, and schedules their work order according to time and conditions (S25).
조정 에이전트(224)에서는 이렇게 가전기기를 시간과 조건에 따른 작업순서대로 제어하기 위한 스케줄이 완성되면, 해당 응용 에이전트들에게 작업 명령을 전달한다(S26). 해당 가전 제어 에이전트는 조정 에이전트(224)로부터 전달 받은 고유의 작업을 수행하며(S27), 정보 관리 에이전트(222)도 정보 저장 및 검색 등의 작업을 수행하여(S28), 그 수행결과를 조정 에이전트(224)로 전달한다(S27). 이러한 과정은 개인 휴대 단말기(400)의 개인 비서 에이전트(420)가 전달한 요구 사항을 완료할 때 까지 조정 에이전트(224)의 모니터링하에 실행된다. 에이전트 시스템의 종료 요구가 있는지를 판단하여(S29), 종료되며, 그렇지 않은 경우, 개인 비서 에이전트의 명령 요구를 기다린다.When the coordination agent 224 completes the schedule for controlling the home appliance according to the work order according to time and conditions, the coordinating agent 224 transmits a work command to the corresponding application agents (S26). The home appliance control agent performs a unique task received from the coordination agent 224 (S27), and the information management agent 222 also performs operations such as storing and retrieving information (S28), and adjusts the result of the coordination agent. Transfer to 224 (S27). This process is executed under the monitoring of the coordination agent 224 until the requirements delivered by the personal assistant agent 420 of the personal portable terminal 400 are completed. It is determined whether there is a termination request of the agent system (S29), and if it is not, it waits for a command request of the personal assistant agent.
본 발명에 의하면, 다음과 같은 효과를 제공할 수 있다.According to the present invention, the following effects can be provided.
첫째, PDA등의 개인 휴대단말기에서 음성인식에 의하거나, 전자펜 또는 키패드를 이용하여 자연어 형태로 가전기기에 대한 제어명령을 입력하게 함으로써 사용자가 손쉽게 가전기기에 대한 제어를 가능하게 한다.First, the user can easily control the home appliance by inputting a control command for the home appliance in a natural language form by voice recognition or using an electronic pen or a keypad in a personal portable terminal such as a PDA.
둘째, 여러 가전기기에 걸쳐 행해지는 제어 명령어들을 조건이나 시간 순서로 결합하여 에이전트에게 전달하여 스케쥴을 작성하고 전달함으로써 보다 복잡한 형태의 가전 제어 명령을 수행할 수 있다.Second, a combination of control commands performed over various home appliances in a condition or time order is delivered to an agent to create a schedule and deliver a more complicated home appliance control command.
셋째, 가전 제어에 필요한 정보들을 정보 관리 에이전트가 전담하여 관리함으로써 정보 획득을 위한 사용자의 개입을 줄이고, 사용자의 사용정보를 누적하여 사용함으로써 사용자별 맞춤서비스를 제공할 수 있게 된다.Third, the information management agent is dedicated to manage the information necessary for home appliance control to reduce the user's involvement for obtaining information, it is possible to provide a user-specific customized service by accumulating and using the user's usage information.
넷째, 에이전트에게 전담하는 형태로 가전 제어 명령을 내림으로써 사용자가 가전 제어 전 과정을 모니터링 하거나, 각 가전 고유의 제어 명령들을 사용자가 일일이 학습할 필요가 없이도 손쉬운 제어가 가능하게 할 수 있다.Fourth, by giving the home appliance control command dedicated to the agent, the user can monitor the entire home appliance control process, or can easily control the user without having to learn the control commands unique to each home appliance.
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0047905A KR100423808B1 (en) | 2001-08-09 | 2001-08-09 | method and apparatus for remotely controlling home electric device using home network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0047905A KR100423808B1 (en) | 2001-08-09 | 2001-08-09 | method and apparatus for remotely controlling home electric device using home network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030013732A KR20030013732A (en) | 2003-02-15 |
| KR100423808B1 true KR100423808B1 (en) | 2004-03-22 |
Family
ID=27718462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0047905A KR100423808B1 (en) | 2001-08-09 | 2001-08-09 | method and apparatus for remotely controlling home electric device using home network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100423808B1 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101053571B1 (en) * | 2003-08-25 | 2011-08-03 | 엘지전자 주식회사 | Character recognition home automation system and method of controlling household equipment using same |
| KR100746423B1 (en) * | 2005-12-27 | 2007-08-03 | 엘지전자 주식회사 | Data transmission system using wireless communication |
| KR100972960B1 (en) * | 2008-05-08 | 2010-07-30 | 한국과학기술원 | System for automating creation application program using interaction of external device and method therefor |
| KR101542744B1 (en) | 2009-03-18 | 2015-08-10 | 삼성전자주식회사 | Method and apparatus for controlling controlled device |
| KR101909498B1 (en) * | 2012-09-19 | 2018-10-19 | 주식회사 케이티 | Control Station for Remote Control of Home Appliances by Recognition of Natural Language Based Command and Method thereof |
| KR101465230B1 (en) * | 2013-11-05 | 2014-11-25 | 주식회사 서비전자 | Method for device control using smart device and control system the same |
| KR102113185B1 (en) * | 2013-12-16 | 2020-05-20 | 삼성전자주식회사 | Method and apparatus for controlling home device |
| CN104898591B (en) * | 2015-03-27 | 2017-10-20 | 西安交通大学 | A kind of intelligent appliance cooperative control method |
| KR101655760B1 (en) * | 2015-06-11 | 2016-09-08 | 주식회사 한국정보기술단 | Home automation system using internet of things |
| WO2018084576A1 (en) | 2016-11-03 | 2018-05-11 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
| KR20200013162A (en) | 2018-07-19 | 2020-02-06 | 삼성전자주식회사 | Electronic apparatus and control method thereof |
| CN109164715A (en) * | 2018-11-20 | 2019-01-08 | 深圳创维－Rgb电子有限公司 | A kind of smart home system, control method, equipment and medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980059090A (en) * | 1996-12-30 | 1998-10-07 | 김광호 | Control device capable of bidirectional communication |
| JP2000059867A (en) * | 1998-08-14 | 2000-02-25 | Nec Corp | Remote operation system |
| KR20010077303A (en) * | 2000-02-01 | 2001-08-17 | 구자홍 | home appliance networking system and method of operating the same |
| KR20020014185A (en) * | 2000-08-16 | 2002-02-25 | 고대식 | Intelligent Home-server and Wireless Device for Monitoring and Control of Intelligent Home-server |
| KR20020078727A (en) * | 2001-04-10 | 2002-10-19 | 제너시스정보통신(주) | Method and Apparatus for Transmission and Reception Control of Home-Automation Using Voice Recognition |
-
2001
- 2001-08-09 KR KR10-2001-0047905A patent/KR100423808B1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980059090A (en) * | 1996-12-30 | 1998-10-07 | 김광호 | Control device capable of bidirectional communication |
| JP2000059867A (en) * | 1998-08-14 | 2000-02-25 | Nec Corp | Remote operation system |
| KR20010077303A (en) * | 2000-02-01 | 2001-08-17 | 구자홍 | home appliance networking system and method of operating the same |
| KR20020014185A (en) * | 2000-08-16 | 2002-02-25 | 고대식 | Intelligent Home-server and Wireless Device for Monitoring and Control of Intelligent Home-server |
| KR20020078727A (en) * | 2001-04-10 | 2002-10-19 | 제너시스정보통신(주) | Method and Apparatus for Transmission and Reception Control of Home-Automation Using Voice Recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030013732A (en) | 2003-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102854834B (en) | Intelligent switch with long-distance remote control function and long-distance remote control system | |
| CN102902253B (en) | Intelligent switch with voice control function and intelligent control system | |
| KR100423808B1 (en) | method and apparatus for remotely controlling home electric device using home network | |
| KR102231092B1 (en) | Control device | |
| KR100434292B1 (en) | Home Network System | |
| CN105765514B (en) | Control apparatus and control method thereof | |
| KR100822706B1 (en) | Apparatus and method of controlling home appliance using zigbee wireless communication | |
| CN105706395B (en) | Control apparatus and control method thereof | |
| US20140129006A1 (en) | Smart gateway, smart home system and smart controlling method thereof | |
| KR101588595B1 (en) | AN INTEGRATED REMOTE CONTROLLER SUPPORTING INTERNET OF THINGS(IoT) AND THE CONTROL METHOD THEREOF | |
| CN103237058A (en) | Infrared-control learning method | |
| CN102692068A (en) | Voice-controlled air conditioner with voice interaction function | |
| CN105467846A (en) | Intelligent household appliance control method and system | |
| CN105653159A (en) | Man-machine interaction control method | |
| CN104735510B (en) | A kind of set-top box control method, apparatus and system | |
| CN114615307B (en) | Equipment control method, control terminal and server equipment | |
| KR100378674B1 (en) | Apparatus and Method for controlling unified remote | |
| CN111128177B (en) | Dynamic loading system and method for voice control command words | |
| KR100522234B1 (en) | Home automation system and method using portable terminal loaded remote control function | |
| CN111696544A (en) | Control method of household appliance, household appliance and control device | |
| KR100483427B1 (en) | Control System and Method for Home Network Service | |
| KR100437044B1 (en) | Home Appliance Network System and the Controlling Method of the Same | |
| KR20050028328A (en) | Control interface method of electric home application by using mobile phone | |
| JP2003348670A (en) | Remote control system and its control program | |
| KR100451642B1 (en) | Method for home automation control using remocon signal information database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20090303 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |