KR100866207B1 - 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법 - Google Patents

홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법 Download PDF

Info

Publication number
KR100866207B1
KR100866207B1 KR1020070047339A KR20070047339A KR100866207B1 KR 100866207 B1 KR100866207 B1 KR 100866207B1 KR 1020070047339 A KR1020070047339 A KR 1020070047339A KR 20070047339 A KR20070047339 A KR 20070047339A KR 100866207 B1 KR100866207 B1 KR 100866207B1
Authority
KR
South Korea
Prior art keywords
service
user
home network
agent
information
Prior art date
Application number
KR1020070047339A
Other languages
English (en)
Inventor
박종호
이종창
심현식
김광춘
심귀보
장인훈
고광은
Original Assignee
삼성전자주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 중앙대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020070047339A priority Critical patent/KR100866207B1/ko
Application granted granted Critical
Publication of KR100866207B1 publication Critical patent/KR100866207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2821—Avoiding conflicts related to the use of home appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

본 발명은 통신망과 연결되어 있고 상기 통신망으로부터 신호를 송수신하여 홈 네트워크에 접속된 기기를 제어하는 홈네트워크 시스템에 있어서, 사용자의 정보 및 상기 사용자별 서비스 실행 우선순위를 등록하는 과정과, 다수의 센서를 이용하여 각각의 공간에 위치하는 사용자 및 기기의 상태에 관하여 모니터링 및 상기 사용자의 명령(Command)을 센싱하는 과정과, 상기 센싱된 정보를 서비스 행위를 수행하는 적어도 하나 이상의 에이전트(Agent)로 전송하는 과정과, 상기 전송된 정보를 해석 및 서비스 실행 우선순위를 결정하는 과정과, 상기 결정된 서비스 실행에 대한 최종 수행에 관한 여부를 상기 적어도 하나 이상의 에이전트 상호간의 프로토콜(Protocol) 수행을 통하여 서비스 충돌을 조정함으로써 최종 서비스를 수행하는 과정을 포함함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템 및 방법에 관한 것이다.
Figure R1020070047339
멀티 에이전트, 홈 네트워크, 이동로봇, 에이전트 인스턴스

Description

홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템 및 방법{METHOD AND SYSTEM FOR MULTI-AGENT FRAME WORK PROVISION TO CONTROL HOME NETWORK SERVICE}
도 1은 종래의 홈 네트워크 시스템의 구성을 보인 개략도
도 2는 본 발명의 홈 네트워크 환경에서 사용자, 에이전트, 그리고 기기들 사이의 커뮤니케이션(Communication) 형태를 개략적으로 설명하기 위한 도면
도 3은 본 발명의 일실시예에 따른 홈 네트워크 시스템의 개략적인 구성도
도 4는 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 에이전트의 블록도
도 5는 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 에이전트내 해석부 및 인스턴스 생성부를 나타낸 상세 블록도이다.
도 6은 본 발명의 실시예에 따른 홈 네트워크 제어를 위한 멀티 에이전트 프레임 웍 제공 과정에 관하여 개략적으로 설명하기 위한 구성도
도 7은 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법에 관한 흐름도
본 발명은 홈 네트워크(Home Network) 시스템에 관한 것으로, 특히 다수의 가족 구성원들이 존재하는 가정이라는 특수한 환경에서 서비스 대상과 장소에 적합한 서비스를 제공하기 위하여, 홈 네트워크 시스템 내의 여러 장치들 상호간의 분산처리를 수행하는 멀티 에이전트(Multi-Agent)를 정의하여 이를 지능형 에이전트 로봇에 적용함으로써 다수의 사용자에게 능동적이면서도 개별적이고 차별적인 서비스를 제공할 수 있도록 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템 및 방법에 관한 것이다.
현재 아파트를 중심으로 가정에 장착되기 시작한 홈 네트워크 시스템은 단일 홈게이트웨이를 중심으로 유무선의 기기들이 연결되어 여러 가지 서비스를 제공하고 있으나 외부 인터넷망을 이용한 서비스를 제외하고는 기존의 홈오토메이션의 수준을 크게 벗어나고 있지 못하고 애플리케이션(Application)의 부재로 고전하고 있다.
도 1은 종래의 홈 네트워크 시스템의 구성을 보인 것으로, 도 1을 참조하면, 종래 홈 네트워크 시스템은 가정 내에 구축된 홈 네트워크 망에 연결된 복수개의 가전기기에 내장되어 데이터를 송수신하는 네트워크 연결장치(1)와, 상기 네트워크 연결장치(1)를 통해 상기 홈 네트워크 망을 통해 데이터가 송수신되는 바를 제어하는 홈게이트웨이(2)로 구성되며, 상기 홈게이트웨이(2)는 외부 네트워크(인터넷망)과 데이터를 송수신 한다.
즉, 현재의 홈 네트워크에서 제공되는 서비스는 집 내부의 센서로부터 받은 단편적인 상태정보를 제공하고 사용자의 단순 명령을 수행하거나, 외부의 네트워크로부터 전달되는 서비스를 사용자에게 전달하는 서비스에 국한되어 있다.
한편, 가정은 한 개인이 거주하는 공간일수도 있지만 그보다는 대부분 다수의 가족구성원으로 이루어진 생활공간이다. 더구나 안방, 공부방 또는 서재, 거실, 부엌 등은 제각기 고유의 목적을 가지는 것이 일반적이며 따라서 그 목적에 맞는 서비스를 제공할 필요가 있다. 그러나 지금까지의 홈 네트워크 서비스는 그 대상과 장소를 구분하지 않고 전체적이고 일률적인 서비스만을 제공하여 왔다. 일례로 주로 휴식 공간으로서 이용되는 안방과 엔터테인먼트 시설이 몰려있는 거실과 공부를 하기 위한 공부방의 적합한 환경이 모두 같을 수 는 없을 것이다. 또한 일시적으로 목적에 맞는 환경을 갖추었다 하더라도 그 사용 환경은 언제든지 바뀔 수 있다.
일반적으로 로봇은 피지컬 에이전트로서 사람에게 물리적인 형태의 서비스를 제공하며, 상기 모니터링 에이전트는 메일(mail) 에이전트나 웹 (Web)에이전트같이 사람에게 맞춤정보를 제공하기 위한 것으로 모니터를 사용하기도 한다. 또한, 홈네트워크 시스템은 일반적으로 홈게이트웨이와 도어 락, 가스밸브, 검침, 전등, 자동 커텐 등을 포함하는 전통적인 홈오토메이션 장치들로 이루어진 제어네트워크 장치, 그리고 PC, 프린터, 기억장치 등을 포함하는 데이터 네트워크 장치 및 TV, 오디오 등의 엔터테인먼트 네트워크를 위한 멀티미디어 장치 등으로 구성된다.
이와 관련하여 기존의 가정용 서비스 로봇은 청소 로봇을 중심으로 점차 시장에서 고유의 영역을 확보하기 시작했지만 아직까지 그 유용성이 확실하게 자리 잡지 못하고 있으며 이를 해소하기 위하여 지능형 서비스 로봇(Ubiquitous robotic companion, URC)을 중심으로 많은 연구가 이루어지고 있고, 2005년부터 TTA(한국정보통신협회)에서 관련 표준화 작업이 이루어지기 시작하였나, 단편적인 상태정보 제공에 의한 사용자의 단순 명령을 수행하는 서비스에 불과하다.
그러므로 복잡하고, 다이나믹한 환경에서 보다 효율적인 사용자 각각의 차별적인 서비스를 보장하기 위해서는 학습 및 추론, 컨텍스트(Context), 시맨틱(Semantic)모델링 및 학습기술, 지능형 에이전트와 같은 지능 구현에 의한 서비스를 행할 필요가 있다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은 홈 네트워크 시스템에 있어서, 다수의 가족 구성원들이 존재하는 가정이라는 특수한 환경에서 서비스 대상과 장소에 적합한 서비스를 제공하기 위하여, 홈 네트워크 시스템 내의 여러 장치들 상호간의 분산처리를 수행하는 멀티 에이전트(Multi-Agent)를 정의하여 이를 지능형 에이전트 로봇에 적용함으로써 다수의 사용자에게 능동적이면서도 개별적이고 차별적인 서비스를 제공할 수 있도록 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템 및 방법에 관한 것이다.
상기한 목적을 달성하기 위해서 본 발명의 일 견지에 따르면, 통신망과 연결되어 있고 상기 통신망으로부터 신호를 송수신하여 홈 네트워크에 접속된 기기를 제어하는 홈네트워크 시스템에 있어서, 사용자의 정보 및 상기 사용자별 서비스 실행 우선순위를 등록하는 과정과, 다수의 센서를 이용하여 각각의 공간에 위치하는 사용자 및 기기의 상태에 관하여 모니터링 및 상기 사용자의 명령(Command)을 센싱하는 과정과, 상기 센싱된 정보를 서비스 행위를 수행하는 적어도 하나 이상의 에이전트(Agent)로 전송하는 과정과, 상기 전송된 정보를 해석 및 서비스 실행 우선순위를 결정하는 과정과, 상기 결정된 서비스 실행에 대한 최종 수행에 관한 여부를 상기 적어도 하나 이상의 에이전트 상호간의 프로토콜(Protocol) 수행을 통하여 서비스 충돌을 조정함으로써 최종 서비스를 수행하는 과정을 포함한다.
상기한 목적을 달성하기 위해서 본 발명의 다른 견지에 따르면, 홈 네트워크 시스템에 있어서, 적어도 하나 이상의 홈 네트워크 기기와, 사용자의 명령, 상태 및 주변 환경을 모니터링 하여 출력하는 다수의 센서장치와, 상기 홈 네트워크 기기 및 다수의 센선장치와 무선으로 연결되어 상기 홈 네트워크 기기를 제어하고, 상기 다수의 센서장치로부터 수신되는 신호를 하기의 이동로봇에 전달하는 홈 서버와, 상기 홈 서버로부터 입력되는 정보를 미리 설정된 학습알고리즘(Algorithm)을 통해 추론 및 해석하여 다수의 사용자로부터 요청되는 서비스의 충돌을 관리함으로써 사용자 서비스 실행 우선순위 및 주변 환경의 특성에 따라 적응적으로 서비스 행위를 수행하는 에이전트를 구비하고, 상기 다른 에이전트간의 통신이 가능한 적어도 하나 이상의 이동로봇을 포함한다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
먼저, 본 발명은 지능형 에이전트 로봇을 이용하여, 다수의 가족 구성원들에게 능동적이면서도 개별적이고 차별적인 서비스를 제공하기 위한 것으로 상기 에이전트(Agent)란, 사용자를 대신해서 사용자가 원하는 작업을 자동적으로 해결하여 주는 소프트웨어를 의미한다. 즉, 특정목적에 대하여 사용자를 대신하여 작업을 수행하는 자율적 프로세스이며, 독자적으로 존재하지 않고 어떤 환경의 일부이며, 그 안에서 동작하는 것으로, 본 발명의 실시예에서는 하나 이상의 이동로봇에 적용한 멀티 에이전트(Multi-Agent)로봇임을 밝혀두는 바이다.
상기 에이전트는 사용자의 개입유무나 개입정도에 따라 인터페이스 에이전트(Interface Agent)와 자율 에이전트(Autonomous Agent)로 분류하고, 상기 인터페이스 에이전트는 사용자가 기기를 사용하는데 있어서 대화식으로 할 수 있도록 도와주는 역할을 수행하고, 상기 자율 에이전트는 사용자가 대기(Idle)상태이건 어떤 다른 액션을 취하든 사용자의 개입 없이 액션을 수행할 수 있는 시스템이다. 상기, 에이전트는 피지컬(Physical)에이전트와 모니터링 에이전트로 나눠지기도 한다.
본 발명의 실시예에서의 이동로봇은 피지컬 에이전트로서 사람에게 물리적인 형태의 서비스를 제공하고, 모니터링 에이전트로서 메일(mail) 에이전트나 웹 (Web)에이전트같이 사람에게 맞춤정보를 제공하는 것으로 모니터를 사용하기도 한다.
또한, 본 발명을 실시함에 있어, 상기 에이전트는 다수의 구성원으로 구성된 오픈된 성격을 가진 가정이라는 홈 네트워크환경에서 필요한 서비스를 제공하기 위 하여 기본적으로 다음의 성능을 가져야 하고, 이는 공지된 기술을 이용하므로 그 상세한 설명은 생략하기로 한다.
Reactivity : 사용자가 원하는 행동을 미리 유추하여 서비스를 제공하는 능력
Social ability : 사람을 포함한 에이전트끼리 인터액션 할 수 있는 능력, 에이전트 간의 타협과 협동을 위해 필요한 능력
Proactiveness : 사용자가 원하는 행동을 미리 유추하여 서비스를 제공하는 능력
Social ability : 사람을 포함한 에이전트끼리 interaction 할 수 있는 능력, agent간의 타협과 협동을 위해 필요한 능력.
Intentional stance : 서비스 대상이 사람이기 때문에 정보 표현에 있어서 믿음(beliefs), 욕구(desires), 바람(wishes, hope), 등과 같은 정신적인 상태(mental state) 또는 태도(attitude)로 기술하는 것은 보다 질 높은 서비스를 위해 필요한 능력
한편, 본 발명의 홈네트워크 시스템은 일반적으로 홈게이트웨이와 도어 락, 가스밸브, 검침, 전등, 자동 커텐 등을 포함하는 전통적인 홈오토메이션 장치들로 이루어진 제어네트워크 장치, 그리고 PC, 프린터, 기억장치 등을 포함하는 데이터 네트워크 장치 및 TV, 오디오 등의 엔터테인먼트 네트워크를 위한 멀티미디어 장치 등의 기기들은 여러 에이전트들이 공유할 수 있는 자원(resource)으로 정의하는 바이다.
상기한 바와 같이 본 발명에서는 적어도 하나 이상의 이동로봇을 구비하고, 이동이 가능한 2대 이상의 로봇들이 서로 무선으로 연결된다. 한 로봇으로는 수행할 수 없는 복잡하거나 어려운 작업을 하기 위한 것으로, 상기 2대 이상의 로봇을 구비한 다중 로봇 시스템은 상황에 따라 자유롭게 변신할 수 있는 자율성과 유연성을 갖고 있기 때문에 언제 어떤 상황이 닥칠지 모르는 가정이라는 오픈된 환경에 적합하고, 다른 로봇과 통신할 수 있음을 전제로 하는 바이다.
도 2는 본 발명의 홈 네트워크 환경에서 사용자, 이동로봇 내 에이전트, 그리고 기기들 사이에 일어날 수 있는 커뮤니케이션(Communication) 형태를 개략적으로 나타낸 도면이다. 도 2를 참조하면, ‘a'에서는 자연어(Natural language)를 통한 음성인식과 시각을 통한 인터액션(Interaction)을 포함하며, 'b'에서는 의도하는 바를 기술(intentional stance description)하기 위해 어떤 상태에 대한 정보를 믿음, 욕구, 희망 등의 정신적인 상태 또는 태도로 표현할 필요가 있다. 'c'의 경우는 통상적인 홈네트워크 프로토콜 정도의 커뮤니케이션이 요구되는데 컨텍스트(Context)기법을 사용하여 정보를 표현한다. ’d'는 버튼, LED/LCD, sound 등의 기기자원을 통한 사용자의 직접적인 제어가 요구되는 것을 의미한다. 여기서, 상기 컨텍스트 기법은 주변 환경정보를 받아들여 스스로의 행동명령을 생성해내는 것으로, 사용자의 몸짓(Gesture), 의도(Intention), 감성정보(Emotion)에 관한 라이브러리(library)를 사용하며 신경망(Neural Network)이나 퍼지(Fuzzy) 등의 지능시스템으로 구성되어 진다. 상기 컨텍스트 기법은 사용자 명령이나 주변 환경의 상태정보를 5W1H 형태로 정형화하여 모든 애플리케이션에서 사용가능하게 하였다. 누 가(Who), 언제(When), 어디서(Where), 무엇을(What), 어떻게(How), 왜(Why)를 나타내는 것이 5W1H이며, 응용 서비스에 따라 5W1H의 조합으로 컨텍스트로 표현 가능하다.
도 3은 본 발명의 일실시예에 따른 홈 네트워크 시스템의 개략적인 구성도이다. 도 3을 참조하면, 상기 홈 네트워크 시스템은 적어도 하나 이상의 홈 네트워크 기기(310-1, 310-2, 310-3,...310-n)들과, 사용자의 명령, 상태 및 주변 환경을 모니터링 하여 출력하는 다수의 센서장치(320-1, 320-2...320-n)들과, 상기 홈 네트워크 기기(310-1, 310-2, 310-3,...310-n)와 무선으로 연결되어 상기 홈 네트워크 기기(310-1, 310-2, 310-3,...310-n)를 제어 및 상기 다수의 센서장치(320-1, 320-2...320-n)로부터 수신되는 신호를 하기의 이동로봇에 전달하는 홈게이트웨이(300)와, 상기 홈게이트웨이(300)와 통신하고, 홈게이트웨이(300)로부터 입력되는 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 다수의 사용자로부터 요청되는 다수의 서비스의 충돌을 관리함으로써 사용자 서비스 실행 우선순위 및 주변 환경의 특성에 따라 적응적으로 서비스 행위를 수행하는 에이전트(Agent)를 구비하고, 상기 다른 에이전트간의 통신이 가능한 적어도 하나 이상의 이동로봇(330-A, 330-B)을 포함한다. 이때, 상기 홈 네트워크 기기(310-1, 310-2, 310-3,...310-n)중에서 유선기기는 RS485통신을 , 무선기기는 IEEE 802.15.4 기반의 지그비(ZigBee), 무선 랜(Wireless LAN)을 이용하여 통신한다. 상기 이동로봇(330-A, 330-B)은 기기 제어 및 상태 정보 전달을 위해서 상기 지그비를 이용하여 상기 홈게이트웨이(300) 및 홈 네트워크 기기(310-1, 310-2, 310-3,...310-n)들과 통신하 며 이동에 따른 네트워크를 스스로 구성(Self-Organinzation)함으로써 라우팅 경로를 유지한다. 또한 상기 이동로봇(330-A, 330-B)은 사용자와의 인터페이스를 통해 무선 랜을 사용한 무선 인터넷 및 가정 내의 데이터 네트워크에 접속한다.
이하, 전술한 본 발명의 구성 요소 및 도 4를 참조하여 본 발명의 바람직한 실시예에 따른 이동로봇내의 에이전트의 구성요소 및 동작을 설명함으로써, 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법을 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 이동로봇 내 에이전트의 블록도이다. 도 4를 참조하면, 상기 에이전트(400)는, 외부의 홈게이트웨이로부터의 지시정보, 상기 홈게이트웨이와 무선으로 연결되어 있는 다수의 센서장치로부터의 센싱신호 및 다수의 홈 네트워크 기기들의 신호가 입력되는 입력부(402)와, 상기 입력부(402)로부터의 신호를 컨텍스 및 커멘드 정보로 각각 분류하여 이를 추론 및 미리 설정된 패턴으로 정형화하여 해석하는 해석부(405)와, 상기 해석부(405)에서 출력된 정형화된 정보를 해당하는 사용자 각각의 인스턴스(Instance)메시지로 생성하는 인스턴스 생성부(408)와, 상기 인스턴스 생성부(408)에서 생성된 인스턴스 메시지 중에서 서비스 충돌 여부를 확인하고, 이를 주변 환경의 특성에 따라 적응적으로 우선순위를 리큐(Re-queue)하는 서비스 충돌 제어부(410)와, 다른 에이전트와의 인터액션을 수행하여 주변 환경의 특성에 따라 적응적으로 서비스 실행을 조정하여 서비스를 수행하는 스마트 서비스 관리부(412)를 포함한다.
더욱 상세하게는, 상기 이동로봇의 에이전트(400)는 홈게이트웨이에 네트워크로 연결되어 있거나, 상기 이동로봇에 부착되어 있는 센서들로부터 사용자와 주변 환경에 대한 정보를 끊임없이 입력부(402)를 통해 입력받고 이를 컨텍스트 및 커맨드 정보로 각각 분류하여 이를 추론 및 미리 설정된 패턴으로 정형화 하는 해석부(405)로 전달한다. 여기서, 상기 컨텍스트 정보는, 상기 다수의 센서 중에서 기기의 상태 감시 센서 및 사용자 행동 감시센서로부터 센싱된 정보를 조합하여 미리 설정된 패턴으로 정형화함으로써 사용자의 상태 정보를 추론하여 생성된다. 예를 들어, 다수의 홈 네트워크의 기기 중 에서 “TV 오프(Off)“라는 상태 정보와 상기 TV가 위치한 공간의 사용자의 행동 감시센서로부터 입력된 정보는 ”누워있다“라는 정보라면, 상기 “TV 오프(Off)“ 및 ”누워있다“라는 정보를 조합하고, 이를 추론하여 ”사용자는 휴식 상태“라는 정보로 추론 가능하다.
또한, 상기 커맨드 정보는, 상기 다수의 센서 중에서 사용자 인터페이스로부터 센싱된 정보를 조합하여 미리 설정된 5W1H(Who, What, Where, When, Why, How)형태에 적용하여 사용자의 명령정보를 추론하여 생성된다.
그리고 상기 사용자 인터페이스를 통한 사용자의 직접적인 명령인 커맨드 정보나 사용자와 기기의 상태에 의하여 자발적으로 생성된 컨텍스트 정보는 정형화된 형태로 상기 해석부(405)를 통해 사용자 에이전트 인스턴스(Agent Instance for user) 메시지를 생성한다. 예를 들어, 사용자 1이 공간 A에서 취침 중 일 때, 사용자 2가 공간 A로 들어오면 취침 중인 사용자 1은 어두운 조명이 필요하고, 공간 A로 들어온 사용자 2는 밝은 조명을 요구하게 되는 경우, 상기 입력부(402)는 공간 A의 사용자 1의 행동 감시센서 및 기기의 상태 감시센서로부터 센싱된 정보를 홈게이트웨이를 통해 입력받고, 상기 센싱된 정보를 상기 해석부(405)로 전달하여 공간 A의 사용자 1의 상태 정보를 미리 설정된 패턴으로 정형화함으로써 사용자의 상태 정보를 추론한다. 이를 상기 인스턴스 생성부(408)로 출력하고, 이를 이용하여 공간 A의 사용자 1에 해당하는 인스턴스 메시지를 생성한다.
상기 이동로봇 혹은 임의의 공간에 부착되어 있는 센서를 통해 공간 A로 들어오는 사용자 2의 명령이 입력되면, 상기와 같은 방법으로 사용자 2의 인스턴스 메시지를 생성한다. 상기 사용자 1과 사용자 2에 해당하는 인스턴스 메시지 중에서 상기 홈게이트웨이 내 사용자 데이터베이스를 이용하여 미리 설정된 서비스 실행 별 우선순위에 따라 상기 생성된 사용자 1 및 사용자 2의 인스턴스 메시지를 배열하고, 이를 상기 서비스 충돌 제어부(410)에서 상기 배열된 인스턴스 메시지의 대하여 서비스 충돌 여부를 확인하고, 서비스 충돌이 발생한 경우 즉, 공간 A의 조명 온(On)과 오프(Off)에 대한 사용자 1과 사용자 2간의 서비스 충돌을 상기 스마트 서비스(Smart Service)관리부(412)에서 관리한다. 상기 홈게이트웨이를 통해 상기 스마트 서비스 관리부(412)에서는 상기 공간 A의 조명 온(On)과 오프(Off)에 대한 충돌이 발생한 서비스들의 중간치 예를 들어, 보조 조명 온(On)을 취하는 형태로 충돌을 해결한다. 이때 상기 공간 A에 관한 특성은 미리 정의된 라이브러리 형태로 주어져야 한다. 이로써, 상기 스마트 서비스 관리부(412)는 사용자가 위치한 주변 환경의 특성에 따라 적응적으로 서비스 실행을 조정하여 최종 서비스를 수행한다. 더불어, 상기 스마트 서비스 관리부(412)에서 수행할 최종 서비스가 결정되면, 해 당 서비스에 관련된 서비스의 종류를 결정하고 서비스를 제공할 기기를 결정한다.
도 5는 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 에이전트내 해석부 및 인스턴스 생성부를 나타낸 상세 블록도이다. 도 5를 참조하면, 상기 컨텍스트 해석부(404)는 자원상태 추출부(502), 사용자 모션(motion)추론부(504) 및 패턴분류부(506)를 포함하여 이루어진다.
상기 자원상태 추출부(502)는 상기 다수의 센서에서 센싱된 신호로 기기의 상태 즉, TV, 조명, 창문, 난방장치 등의 각종 기기들의 온, 오프 및 동작 상태를 추출하고, 상기 사용자 모션 추론부(504)는 사용자의 상태 정보 즉, “누워있다, 앉아있다. 서있다”등의 정보를 추론한다. 이를 상기 패턴 분류부(506)에서 조합하여 상기 인스턴스 생성부(408)로 출력한다.
상기 커맨드 해석부(406)는 사용자 인터페이스 명령부(508), 사용자 제스처 추출부(510) 및 명령 전환부(512)를 포함하여 이루어진다.
상기 사용자 인터페이스 명령부(508)는 사용자가 직접 음성, 리모콘, 키보드 등을 이용하여 지시된 직접적인 명령을, 상기 사용자 제스처 추출부(510)는 사용자의 제스처, 몸짓 등을 상기 명령 전환부(512)로 출력하여 미리 설정된 5W1H(Who, What, Where, When, Why, How)형태에 적용하여 사용자의 명령정보를 추론하여 생성한다.
상기 컨텍스트 해석부(404) 및 커맨드 해석부(406)에서 각각 출력된 정보를 상기 인스턴스 생성부(408)내의 발생부(514)에서 각각의 사용자에 해당하는 다수의 인스턴스 메시지를 생성한다.
도 6은 본 발명의 실시예에 따른 홈 네트워크 제어를 위한 멀티 에이전트 프레임 웍 제공 과정에 관하여 개략적으로 설명하기 위한 구성도이다. 도 6을 참조하면, 먼저 본 발명의 제1 실시예에 따르면, 사용자 1이 “모든 로봇의 집합”을 명령하면, 상기 홈게이트웨이는 음원센서를 통해 사용자 1의 명령과 위치를 인식한 후, 상기 홈게이트웨이는 이를 이동로봇(1,2)들에게 사용자 1의 명령과 위치정보를 전달하고, 상기 이동로봇(1,2)은 공간 2의 사용자 1에게 집합한다.
또한, 본 발명의 제2 실시예에 따르면, 사용자 1이 “모든 로봇의 집합”을 명령하면, 상기 홈게이트웨이는 음원센서를 통해 사용자 1의 명령과 위치를 인식한 후, 상기 홈게이트웨이는 이를 이동로봇(1,2)들에게 사용자 1의 명령과 위치정보를 전달하고, 상기 이동로봇(1,2)들이 사용자 1에게로 집합하는 도중에 사용자 2가 로봇 2를 호출할 경우, 상기 로봇 2는 정해진 서비스 충돌 관리 서비스에 의해 최종 서비스를 수행한다.
또한, 본 발명의 제3 실시예에 따르면, 로봇 2가 사용자 2에게 e-book 서비스를 제공하고 있고, 사용자 1은 음원센서를 통해 홈게이트웨이에게 공간 3의 조명 오프(Off)를 지시하면, 상기 홈게이트웨이는 사용자 공간 3의 조명을 오프하기 전에 스마트 서비스 관리부를 통해 로봇 2와 타협한다. 그리고, 홈게이트웨이는 사용자 2가 e-book 서비스를 제공받고 있는 상황을 로봇 1을 통해 사용자 1에게 전달하도록 한다. 로봇 1은 자신의 모니터를 통해 5W1H의 포맷으로 사용자 1에게 상황을 전달한다.
도 7은 본 발명의 실시예에 따른 홈 네트워크 서비스 제어를 위한 멀티 에이 전트 프레임 웍 제공 방법에 관한 흐름도이다. 도 7을 참조하면, 먼저 홈게이트웨이가 다수의 센서를 통해 사용자의 명령을 수신하면(710과정), 상기 홈게이트웨이는 다수의 센서를 통해 상기 특정 사용자의 명령과 위치를 인식하고(712과정), 상기 인식된 정보를 적어도 하나 이상의 로봇으로 전송한다(714과정). 그리고, 이동로봇 내의 에이전트는 상기 전송된 정보를 컨텍스트 및 커멘드 정보를 분류하고(716과정), 이를 미리 설정된 패턴으로 정형화한다(718과정). 여기서, 상기 미리 설정된 패턴으로 정형화하는 과정은 미리 설정된 학습알고리즘(Algorithm)을 통해 추론 및 해석함을 의미하고, 이를, 사용자 각각의 해당 인스턴스 메시지로 생성하고, 미리 설정된 서비스 우선순위별로 배열한다(720과정). 상기 720과정에서, 다수의 사용자에 의해 발생 가능한 서비스 충돌 여부를 확인한다(722과정), 여기서, 상기 서비스 충돌이란, 다수의 사용자가 생활하는 가정이라는 오픈된 환경에서 상기 다수의 사용자가 하나의 가전 기기에게 동시에 제공할 수 없는 두 가지 이상의 서비스를 요구할 경우, 서로 다른 사용자가 동일한 종류의 서비스를 제공하는 둘 이상의 기기에게 상반된 서비스를 요구하여 상기 둘 이상의 상반된 서비스가 동일한 공간에서 제공 되어야 할 경우, 특정 공간의 특성을 고려하지 않을 경우에 발생하는 것을 의미한다.
상기 과정 722에서 서비스 충돌이 발생한 경우, 주변 환경의 특성에 따라 적응적으로 우선순위를 리큐(Re-queue)하여(724과정), 최종적으로 실행할 서비스를 결정한다(726과정). 이때 최종적으로 실행할 서비스를 결정함에 있어서, 다른 에이전트와의 협동과 타협 등을 위한 프로토콜 및 피지컬 에이전트들 간의 상호 작용을 위한 알고리즘은 미리 설정되고, 이를 수행하기 위해서는 각 에이전트들은 상기 5W1H의 포맷으로 자신의 행동 상태정보를 지속적으로 고지하는(Task announcement) 통신 프로토콜이 수행된다.
그리고 상기 과정 726에서 결정된 최종 서비스를 실행한다(728과정).
상기와 같이 본 발명의 일 실시예에 따른 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
[참조문헌]
[1]Michael Wooldridge, "An Introduciton to Multi Agent Systems," John Wiley & Sons, LTD., 2002.
[2] 전진형, 심귀보, “다중 컨텍스트 환경에서의 컨텍스트 충돌 관리와 서비스 제어,” 한국 퍼지 및 지능시스템학회 논문지, vol 15, no, pp. 143-148, 2005.4
[3] Henry Lieberman, "Autonomous Interface Agents," CHI97*22-27, March 1997.
[4] Hideki HASHIMOTO, "Present State and Future of Intelligent Space Discussion on Implementation of RT in our Enviroment," Proc.of The Tenth Int. Symp. on Artifical Life and Robotics (AROB 11th '06), Jan. 23-25, 2006.
[5] Jiming Liu, Jianbing Wu, "Multi-agent Robotic systems," CRC Press 2001.
[6] Anind K. Dey, "Understanding and Using Context," Personal and Ubiquitous Computing, Special issue on Situated Interaction and Ubiquitous Computing, vol. 5, no. 1, 2001.
[7] S. Jang, W. Woo, "Architecture of Context based Application in Ubiquitous Computing Environment," KHCI 2003, pp. 346-351, Feb. 10-13, 2003.
[8] S. S. Iyengar and R. R. Brooks, "Distributed Sensor Networks," Chapman & Hall/CRC, 2005
[9] Foundation for Intelligent Physical Agents, http://www.fipa.org. FIFA Agent Communication Language Specification.
[10] Y. Finin, T.and Labrou and J. Mayfield, "KQML as an agent communication language," In Software Agents, Jeff Bradshaw (ED0d), pp 267-273, 1995.
상술한 바와 같이 본 발명은 홈 게이트웨이와 이동로봇들로 이루어지는 홈 네트워크 시스템에서 다수의 구성원을 위한 서비스를 위하여 에이전트 내에 복수 개의 에이전트 인스턴스 메시지를 생성하고, 이를 다른 에이전트와의 협력과 타협 을 통해 각 에이전트들 간의 서비스 충돌을 관리함으로써 가정이라는 다이내믹(dynamic)한 환경에서 다수의 사용자에게 능동적이면서도 개별적이고 차별적인 서비스를 제공할 수 있는 효과가 있다.

Claims (11)

  1. 통신망과 연결되어 있고 상기 통신망으로부터 신호를 송수신하여 홈 네트워크(Home network)에 접속된 기기를 제어하는 홈 네트워크 시스템에서의 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법에 있어서,
    사용자의 정보 및 상기 사용자별 서비스 실행 우선순위를 등록하는 과정과,
    다수의 센서를 이용하여 각각의 공간에 위치하는 사용자 및 기기의 상태에 관하여 모니터링 및 상기 사용자의 명령(Command)을 센싱하는 과정과,
    상기 센싱된 정보를 서비스 행위를 수행하는 적어도 하나 이상의 에이전트(Agent)로 전송하는 과정과,
    상기 전송된 정보를 해석하고, 서비스 실행 우선순위를 결정하는 과정과,
    상기 결정된 서비스 실행에 대한 최종 수행에 관한 여부를 상기 적어도 하나의 에이전트 상호간의 프로토콜(Protocol) 수행을 통하여 서비스 충돌을 조정함으로써 최종 서비스를 수행하는 과정을 포함하고,
    상기 에이전트는,
    다수의 센서로부터 신호를 수신하는 과정과,
    상기 각 센서로부터 수신된 신호를 컨텍스트(Context) 및 커멘드(Command)정보로 분류하는 과정과,
    상기 분류된 각각의 컨텍스트 및 커멘드 정보를 미리 설정된 패턴으로 정형화하는 과정과,
    상기 정형화된 정보를 조합하여 사용자 각각에 해당하는 인스턴스 메시지(Instance Message)로 생성하는 과정과,
    상기 생성된 인스턴스 메시지를 미리 설정된 사용자별 서비스 실행 우선순위에 따라 배열하는 과정과,
    상기 배열된 서비스 중에서 서비스 충돌 여부를 확인하여 충돌이 발생한 경우, 주변 환경의 특성을 고려하여 적응적으로 상기 우선순위를 리큐(Re-queue)하는 과정과,
    다른 에이전트와 인터액션을 수행하여 주변 환경의 특성에 따라 적응적으로 서비스 실행을 조정하여 서비스를 수행하는 과정을 포함함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 컨텍스트 정보는,
    상기 다수의 센서 중에서 기기의 상태 감시센서 및 사용자 행동 감시센서로부터 센싱된 정보를 조합하여 미리 설정된 패턴으로 정형화함으로써 사용자의 상태 정보를 추론하여 생성됨을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법.
  4. 제1항에 있어서, 상기 커멘드 정보는,
    상기 다수의 센서 중에서 사용자 인터페이스로부터 센싱된 정보를 조합하여 미리 설정된 5W1H(Who, What, Where, When, Why, How)형태에 적용하여 사용자의 명령정보를 추론함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법.
  5. 제1항에 있어서, 상기 서비스 충돌은,
    다수의 사용자가 특정의 기기에게 동시에 제공할 수 없는 두 가지 이상의 서비스를 요구할 경우, 서로 다른 사용자가 동일한 종류의 서비스를 제공하는 둘 이상의 기기에게 상반된 서비스를 요구하여 상기 둘 이상의 상반된 서비스가 동일한 공간에서 제공될 경우, 특정 공간의 특성을 고려하지 않을 경우에 발생함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법.
  6. 제1항에 있어서, 상기 인스턴스 메시지는,
    5W1H형태로 구성됨을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법.
  7. 제1항에 있어서, 상기 에이전트 상호간의 프로토콜 수행은,
    IEEE 802.15.4 기반의 지그비(ZigBee)를 사용함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 방법.
  8. 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템에 있어서,
    적어도 하나 이상의 홈 네트워크 기기와,
    사용자의 명령, 상태 및 주변 환경을 모니터링 하여 출력하는 다수의 센서장치와,
    상기 홈 네트워크 기기 및 다수의 센선장치와 무선으로 연결되어 상기 홈 네트워크 기기를 제어하고, 상기 다수의 센서장치로부터 수신되는 신호를 하기의 이동로봇에 전달하는 홈 게이트웨이(Home gateway)와,
    상기 홈 게이트웨이로부터 입력되는 정보를 미리 설정된 학습알고리즘(Algorithm)을 통해 추론 및 해석하여 다수의 사용자로부터 요청되는 서비스의 충돌을 관리함으로써 사용자 서비스 실행 우선순위 및 주변 환경의 특성에 따라 적응적으로 서비스 행위를 수행하는 에이전트를 구비하고, 상기 다른 에이전트간의 통신이 가능한 적어도 하나의 이동로봇을 포함하고,
    상기 에이전트는,
    다수의 센서로부터 신호가 입력되는 입력부와,
    상기 입력된 신호를 컨텍스트 및 커멘드 정보로 각각 분류하여 이를 추론 및 미리 설정된 패턴으로 정형화하여 해석하는 해석부와,
    상기 해석부에서 출력된 정보를 사용자 각각의 해당하는 인스턴스 메시지로 생성하는 인스턴스 생성부와,
    상기 생성된 인스턴스 메시지 중에서 서비스 충돌 여부를 확인하고, 이를 주변 환경의 특성에 따라 적응적으로 우선순위를 리큐하는 서비스 충돌 제어부와,
    상기 홈게이트웨이 및 다른 에이전트와의 인터액션을 수행하여 주변 환경의 특성에 따라 적응적으로 서비스 실행을 조정하여 서비스를 수행하는 스마트 서비스 관리부를 포함함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템.
  9. 삭제
  10. 제8항에 있어서, 상기 해석부는,
    상기 홈네트워크 기기의 상태 정보 및 사용자 행동 정보를 추출하여 이를 조합하고, 미리 설정된 패턴으로 정형화하는 컨텍스트 해석부와,
    사용자 음성 인식 및 사용자 인터페이스로부터 센싱된 사용자 명령 정보를 조합하여 미리 설정된 5W1H(Who, What, Where, When, Why, How)형태에 적용하여 사용자의 명령 정보를 추론하는 명령 해석부를 포함함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템.
  11. 제8항에 있어서, 상기 홈 게이트웨이는, 사용자 정보 및 사용자별 서비스 실행 우선순위를 저장하는 사용자데이터베스를 포함함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍 제공 시스템.
KR1020070047339A 2007-05-15 2007-05-15 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법 KR100866207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070047339A KR100866207B1 (ko) 2007-05-15 2007-05-15 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070047339A KR100866207B1 (ko) 2007-05-15 2007-05-15 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR100866207B1 true KR100866207B1 (ko) 2008-10-30

Family

ID=40177874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070047339A KR100866207B1 (ko) 2007-05-15 2007-05-15 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100866207B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104132B1 (ko) * 2009-06-01 2012-01-13 전자부품연구원 협업 서비스 장치 및 협업 서비스 제공방법
WO2014193166A1 (ko) * 2013-05-28 2014-12-04 엘지전자 주식회사 게이트웨이 및 그 제어방법
WO2018199374A1 (ko) * 2017-04-24 2018-11-01 엘지전자 주식회사 오디오 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH026A (ja) * 1987-11-23 1990-01-05 Polaroid Corp 写真カメラ
KR20060040117A (ko) * 2004-11-04 2006-05-10 삼성전자주식회사 서비스 충돌 감지 및 조정을 위한 장치 및 방법
KR20060063326A (ko) * 2004-12-07 2006-06-12 한국전자통신연구원 디지털 홈 네트워크 시스템의 지능형 관리 장치 및 관리방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH026A (ja) * 1987-11-23 1990-01-05 Polaroid Corp 写真カメラ
KR20060040117A (ko) * 2004-11-04 2006-05-10 삼성전자주식회사 서비스 충돌 감지 및 조정을 위한 장치 및 방법
KR20060063326A (ko) * 2004-12-07 2006-06-12 한국전자통신연구원 디지털 홈 네트워크 시스템의 지능형 관리 장치 및 관리방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문: 한국정보과학회
논문: 한국정보과학회 2006 "자기상관계수를 이용한 우선순위~", 채희서
논문: 한국지능정보시스템학회

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104132B1 (ko) * 2009-06-01 2012-01-13 전자부품연구원 협업 서비스 장치 및 협업 서비스 제공방법
WO2014193166A1 (ko) * 2013-05-28 2014-12-04 엘지전자 주식회사 게이트웨이 및 그 제어방법
WO2018199374A1 (ko) * 2017-04-24 2018-11-01 엘지전자 주식회사 오디오 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
US11921477B2 (en) Smart-home automation system that suggests or automatically implements selected household policies based on sensed observations
US10367652B2 (en) Smart home automation systems and methods
US9747083B1 (en) Home device application programming interface
CN105659179B (zh) 用于与hvac控制器相交互的设备和方法
US9872088B2 (en) Monitoring and reporting household activities in the smart home according to a household policy
Petriu et al. Sensor-based information appliances
JP6858260B2 (ja) インタラクティブ環境コントローラ
US9998803B2 (en) Generation and implementation of household policies for the smart home
KR101349540B1 (ko) 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법
US9524635B2 (en) Smart-home household policy implementations for facilitating occupant progress toward a goal
WO2018136302A1 (en) Home api
EP3266189B1 (en) Generation and implementation of household policies for the smart home
US20200120163A1 (en) Managing data and personification of iot devices in multiple networks
KR100866207B1 (ko) 홈 네트워크 서비스 제어를 위한 멀티 에이전트 프레임 웍제공 시스템 및 방법
KR102485645B1 (ko) 스마트 오브젝트의 태스크 기반 협업을 위한 분산 설계 온톨로지에 기반한 분산 사물인터넷 시스템
Hagras et al. Incremental synchronous learning for embedded-agents operating in ubiquitous computing environments
Turner et al. Managing home care networks
KR102213333B1 (ko) 챗봇을 이용한 홈 오토메이션 시스템
KR102566607B1 (ko) 온톨로지 지식 구조를 이용한 지능형 스마트 홈 시스템 및 방법
Schaefer A middleware for self-organising distributed ambient assisted living applications
Casado-Mansilla et al. GreenSoul: An IoT platform for empowering users’ energy efficiency in public buildings
US20240073056A1 (en) Flow programming platform for home automation
Gottfried et al. Common osgi interface for ambient assisted living scenarios
Heider A unified distributed system architecture for goal-based interaction with smart environments.
Dominici Contributing to energy efficiency through a user-centered smart home

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 11