KR20060076839A - 상황인식 서비스를 제공하는 장치 및 방법 - Google Patents

Abstract

본 발명은 상황인식(context-aware) 서비스에 관한 것으로, 본 발명의 실시예에 따른 상황인식 서비스를 제공하는 네트워크 장치는 사용자의 생체 정보 및 환경 정보를 입력받아, 입력된 정보를 정규화하는 컨텍스트 매니저 모듈과, 상기 사용자에 대한 정보 및 행동패턴에 대한 이력(history)를 관리하는 사용자 프로파일 매니저 모듈 및 상기 사용자에 대한 정보와, 상기 행동패턴에 대한 이력, 상기 정규화된 정보 및 상기 사용자에 의해 다루어지는 소정의 가전(appliance)에 대한 정보를 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 처리 매니저 모듈을 포함하는 인공 지능 에이전트가 탑재되어 있다.

상황인식 미들웨어(context-aware middleware), 컨텍스트(context)

Description

상황인식 서비스를 제공하는 장치 및 방법{Apparatus and method for providing context-aware service}

도 1은 본 발명의 실시예에 따른 지능형 홈 시스템의 아키텍처를 나타내고 있는 예시도이다.

도 2는 본 발명의 실시예에 따른 인공 지능 에이전트(artificial intelligent agent)(130)의 구성을 나타내는 블록도이다.

도 3은 본 발명의 실시에 따른 사용자 프로파일 매니저 모듈에서 관리하는 데이터 구조를 나타내는 예시도이다.

도 4는 본 발명의 실시에 따라 사용자 프로파일 매니저 모듈에서 관리하는 사용자의 정보의 데이터 구조를 나타내는 예시도이다.

도 5는 본 발명의 실시에 따라 사용자 프로파일 매니저 모듈에 의해 제공되는 사용자 인터페이스를 나타내는 예시도이다.

도 6은 본 발명의 실시에 따른 컨텍스트 매니저 모듈의 동작을 나타내는 예시도이다.

도 7a 및 도 7b은 본 발명의 실시에 따라 컨텍스트 정보의 데이터 구조를 나타내는 예시도이다.

도 8은 인간행동패턴에 대한 학습 및 예측을 위한 모멘텀 역전파 알고리즘 (Momentum Back Propagation Algorithm)을 나타내는 예시도이다.

도 9a는 본 발명의 실시에 따라 인간행동패턴 학습 알고리즘을 나타내는 플로우차트이다.

도 9b는 본 발명의 실시에 따라 인간행동패턴 예측 알고리즘을 나타내는 플로우차트이다.

도 10에서는 본 발명의 실시에 따른 행동패턴 학습 및 예측 알고리즘의 의사코드(shudo-code)를 나타내는 예시도이다.

도 11은 SVM 알고리즘을 이용하여 본 발명의 실시에 따른 인공 지능 에이전트가 인간행동패턴에 대한 학습 및 예측을 하기 위한 구조를 나타내는 예시도이다.

도 12는 본 발명의 실시에 따른 인공 지능 에이전트의 SVM 구조를 나타내는 예시도이다.

<도면의 주요 부분에 대한 설명>

100: 상황인식 미들웨어

110: 가전 데이터 수집기(appliance data collector)

120: 커맨드 핸들러(command handler)

130: 인공 지능 에이전트

140: 문서 변환기(document converter)

210: 사용자 프로파일 매니저 모듈(210)

220: 처리 매니저 모듈

230: 컨텍스트 매니저 모듈

본 발명은 상황인식 서비스(context-aware service)를 제공하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 여러 가지 컨텍스트(context) 정보에 따라 서비스의 내용이 결정되는 상황인식 서비스 프레임워크(context-aware service framework)를 제공함으로써, 홈 네트워크(home network)에서 지능형 홈 서비스(intelligent home service)를 제공할 수 있는 상황인식 서비스 제공 장치 및 방법에 관한 것이다.

최근 홈 네트워크 환경에 대한 연구는 홈 네트워크 환경 자체가 서비스 제공의 주체가 될 수 있도록 홈 네트워크 환경에 지능적인 요소가 가미된 형태로 연구되고 있다. 즉, 인간과 상호 의사소통이 가능한 각종 전자제품 및 생체분석에 대한 연구가 진행되면서 인간에게 도움을 줄 수 있는 환경에 대한 연구가 활발히 진행되고 있다.

이와 관련하여, 현재까지 상황(Context) 분석에 대한 연구와 상황인식 미들웨어에 관한 연구들이 활발히 진행되고 있다.

상황인식 미들웨어로는 Microsoft 의 Easy Living, AHRI(Aware Home Research Initiative)의 Aware Home등이 있다. Easy Living에서는 Person tracking(사용자 인증 및 사용자위치 추적), World model(Agent Lookup), Room Control(Room Control UI, Rules Engine), Authentication(PC Logon, Fingerprint Logon)의 4부분의 시스템 구조로 전체 시스템이 구성되어 있다. 그러나, Easy Living에서는 주로 사용자 위치 감지 및 사용자 인증에 대한 부분에 초점이 맞추어져 있고, 사용자 및 환경 컨텍스트 정보 분석에 대한 지능적인 미들웨어로서의 기능은 담고 있지 않다.

한편, Aware Home은 연구의 방향이 주로 혼자사는 노인에 적합한 지능형 홈(Intelligent Home) 구성에 초점을 맞추고 있고 이에 대한 적절한 서비스들을 제공하고 있다. 한 예로 Aware Home에서는 사용자의 움직임이 일정시간 없는 경우는 경보를 발생시키는 서비스를 제공하고 있다. 또한, 신경망(Neural Network)을 통한 전등조절, 공기조절등의 서비스를 제공하기도 한다. 'The MavHome Smart Home Project' ('The MavHome Smart Home Project' 에 관해서는 http://mavhome.uta.edu/information.html에 개시되어 있다)에서는 지능형 홈(Intelligent Home)의 구현을 위한 전반적인 연구가 진행되었는데 아키텍쳐 및 행동예측알고리즘에 대한 부분과 사용자 위치인식에 있어서 리소스 최적화 방안, 사용자 행동습성에 대한 분석에 대한 연구를 제시하고 있다. 지능형 홈(Intelligent Home)의 새로운 트랜드로 'Health Smart Home'에 대한 연구가 제시되고 있고(이에 대해서는 N. Noury, G. Virone, P. Barralon, J. Ye, V. Rialle, J. Demongeot, "New trends in health smart homes", Proceedings of the Enterprise Networking and Computing in Healthcare Industry, pp.118-227, 2003에 개시되어 있다), 'Future Home Project'('Future Home Project'에 관해서는 http://www.cordis.lu/ist에 개시되어 있다) 에서는 미래 홈(Future Home)에서의 기술적인 컨셉과 차별화된 건강관리 시나리오 및 미래홈에서의 IPv6(Internet Protocol Version 6)에 대한 중요성을 언급하고 있다.

상황데이터 분석에 관한 연구로는 실내에서 사용자의 행동에 있어서 사용자의 위치 및 사용자 움직임 인식에 관한 연구와 사용자의 감정상태파악을 위한 얼굴표정인식 및 사용자 얼굴인증에 대한 연구분야가 활발히 진행되고 있다. 또한 인간 감정에 있어서 얼굴표정에 근거한 감정분석에 대한 연구 및 음성에 기초한 사용자의 감정인식에 대한 부분이 진행되고 있다.

그러나, 지금까지 진행된 연구에서는 사용자의 생체 정보를 활용하여 상황 분석을 수행함으로써 사용자의 행동 패턴을 예측하는 미들웨어에 대해서는 그 연구가 미비한 실정이다.

본 발명은 사용자의 생체 정보를 포함하는 컨텍스트 정보를 이용하여 홈 네트워크 환경에서 상황인식 서비스를 제공하는 장치 및 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시에 따른 상황인식 서비스를 제공하는 네트워크 장치는 사용자의 생체 정보 및 환경 정보를 입력받아, 입력된 정보를 정규화하는 컨텍스트 매니저 모듈과, 상기 사용자에 대한 정보 및 행동패턴에 대한 이력(history)를 관리하는 사용자 프로파일 매니저 모듈 및 상기 사용자에 대한 정보와, 상기 행동패턴에 대한 이력, 상기 정규화된 정보 및 상기 사용자에 의해 다루어지는 소정의 가전(appliance)에 대한 정보를 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 처리 매니저 모듈을 포함하는 인공 지능 에이전트가 탑재되어 있다.

또한 상기 목적을 달성하기 위하여, 본 발명의 일 실시에 따른 상황인식 서비스를 제공하는 방법은 사용자의 생체 정보와 상기 사용자가 위치한 실내의 환경 정보를 입력받는 단계와, 상기 입력받은 정보를 정규화하는 단계 및 상기 사용자에 대한 정보와, 행동패턴에 대한 이력(history)과, 상기 정규화된 정보 및 상기 사용자에 의해 다루어지는 소정의 가전(appliance)에 대한 정보를 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 단계를 포함한다.

이하, 첨부된 도면을 참조하여 보다 상세한 실시예를 설명한다.

한편, 본 발명의 실시예에 따른 인간의 행동패턴 예측을 위한 상황인식 미들웨어(context-aware middleware)는 실내 환경에서 생활하는 인간에게 있어서 그들의 요구를 능동적으로 수용하기 위한 중심적인 역할을 담당하며 또한 지능적인 인간도우미(Human Helper)의 역할을 담당한다. 이런 기능적인 역할을 수행하는 환경을 지능형 홈(Intelligent Home)이라 정의할 수 있고, 지능형 홈(Intelligent Home)의 실현을 위해서는 정보과학과 생명과학에 대한 통합적인 연구가 필수적이라고 할 수 있다. 본 발명의 실시예에 따른 상황인식 미들웨어는 인간 및 환경으로부 터 수집된 각종 데이터 및 인간의 실제 행동을 학습시킨 후 컨텍스트(context) 수집을 통하여 실제 행동에 대한 예측을 수행하는 역할을 한다. 이 때, 컨텍스트(context)란 개체의 상태를 특성화 시킬 수 있는 정보로 정의되며, 여기서 '개체'란 사람, 장소 또는 물리적인 오브젝트가 될 수 있다. 또한 상황인식(context-awareness)이라 함은 컨텍스트(context)를 이용하여 사용자에게 적절한 정보나 서비스를 제공하는 것을 말한다. 본 발명의 실시예에 따른 컨텍스트(context)는 실내온도, 시간, 사용자 맥박, 사용자 체온, 실내에서의 사용자 위치, 사용자의 얼굴표정의 6가지 데이터에 근거하여 정의되었으며, 또한 상황인식 미들웨어는 정의된 컨텍스트에 근거하여 사용자의 요청 서비스를 예측하여 제공한다.

실내온도와 시간정보는 환경센서에서 제공되며 상황인식 미들웨어와의 내부통신으로 데이터를 교환할 수 있다. 또한 사용자의 맥박 및 체온은 예컨대, 사용자가 휴대하는 PDA(Personal Digital Assistant)에 연결된 맥박센서 및 체온센서를 통하여 무선랜 통신방식으로 전송될 수 있다. 사용자 위치정보는 실내에 다수의 카메라를 설치함으로써 사용자의 위치가 추적될 수 있다.

[표 1]은 본 발명의 실시예에서 컨텍스트를 구성하는 6가지 데이터를 0.1~0.9사이의 정규화한 값으로 나타내고 있다.

분류	인간감정 데이터			실내환경 데이터
정규화	맥박	체온	얼굴표정	실내온도	시간정보	위치정보
0.1	41-60	34	Blank	0-5	00-06	1
0.2	61-70	35.0~35.5	Surprise	6-9	07-08	2
0.3	71-80	35.6~36.0	Fear	10-13	09-11	3
0.4	81-90	36.1~36.5	Sad	14-18	12-13	4
0.5	91-100	36.6-37	Angry	19-22	14-16	5
0.6	101-110	37.1~37.5	Disgust	23-26	17-18	6
0.7	111-120	37.6~38.0	Happy	27-30	19-20	7
0.8	121-130	38.1~38.5	-	31-33	21-22	8
0.9	131-140	39	-	34-37	23-24	9

[표 1]을 살펴보면, 사용자의 맥박에 관하여 총 9단계의 값으로 정규화 하였는데 이는 휴식기에 성인의 평균맥박이 1분에 약 72회이며 40이하의 맥박과 140초과의 맥박은 실제 사용자의 위급한 상태에 해당하는 것이므로 제외하기로 한다.

체온의 경우에, 사람의 정상 체온은 연령별 및 각 사람의 개인차가 존재하지만 보통 34~39℃이며 이 범위에 대하여 0.1~0.9 사이의 9단계로 정규화 하였다.

얼굴표정의 경우는 Charles Darwin이 제시한("The expression of the emotions in man and animals", Electronic Text Center, University of Virginia Library 참조) 6가지 기본적인 얼굴표정(surprise, fear, sad, angry, disgust, happy)과 무표정(blank)을 기준으로 하여 7단계로 정규화하였다. 이 때, 얼굴 표정을 검출하는 방법으로서, 종래의 얼굴 검출 방법을 이용할 수 있다. 예컨대, 우선 기계학습법을 이용하여 주어진 영상내에 있는 얼굴영역을 검출하고, 검출된 얼굴의 특징점을 검출하게 된다. 이 때, 얼굴영역 검출은 얼굴영역 검출기를 이용하고, 얼굴의 특징점에 대한 검출은 얼굴 특징점 검출기를 이용할 수 있다. 얼굴영역 검출기 또는 얼굴 특징점 검출기는 아다부스트(Adaboost) 알고리즘을 이용할 수 있는데, 아다부스트 알고리즘을 이용한 얼굴영역의 검출은 실시간으로 입력되는 영상내에서 얼굴영역을 분리하도록 설계되고 그 검출속도가 비교적 빠르다. 또한, 아다부 스트 알고리즘을 이용한 얼굴 특징점 검출은 얼굴영역 검출기에 의한 얼굴 영역 추출 후 정규화 작업을 위해 필요한 두 눈 및 입의 위치 등을 검출하게 된다.

한편, 얼굴 표정인식을 위해서는 검출된 얼굴의 특징점 등을 정규화한 후, Gabor 필터를 적용하여 얼굴의 전체적인 특징을 분석한다. 그리고 나서, 필터 뱅크를 거쳐 나오는 계수의 차원을 줄이는 형식으로 분류기를 설계하게 된다. 얼굴 이미지는 예컨대, 사용자가 휴대하는 PDA(Personal Digital Assistant)에 탑재된 카메라에 의해 얻을 수 있다.

실내온도의 경우는 보통사람이 쾌적하게 느끼는 실내온도가 23~24℃인 점을 감안하여 그것을 기준으로 9단계로 정규화 하였다.

시간은 보통 사람의 비활동시간이 24시에서 06시인점을 감안하여 그외의 시간에 대한 9단계의 정규화 과정을 거첬다.

사람의 위치정보는 실내환경을 9구획으로 나누어 사람의 위치정보에 대한 정규화된 데이터값을 사용하였다. 본 발명에서는 사람의 위치정보를 얻기 위하여 실내에 4대의 카메라를 이용하는데, 4대의 카메라는 각각 자신이 소유하고 있는 영상에 대한 특징을 파악하고 있으며, 자신의 영상이 실내공간(9 구획)에서 어느 위치에 속하는지를 파악하고 있다. 사람의 위치정보를 얻는 방법으로서 종래의 에지 검출 알고리즘을 이용할 수 있다.

도 1은 본 발명의 실시예에 따른 지능형 홈 시스템의 아키텍처를 나타내고 있는 예시도이다. 이 때, 본 발명의 실시에 따른 상황인식 미들웨어(100)는 OSGi 프레임워크(150) 상에서 동작하는 것으로 한다. 또한, 상황인식 미들웨어(100)와 OSGi 프레임워크(150)는 홈네트워크 상에서 홈 게이트웨이(home gateway) 또는 홈 서버(home server)와 같은 네트워크 장치에 탑재되어 동작될 수 있다. 상황인식 미들웨어(100)는 인공 지능 에이전트(artificial intelligent agent)(130)와, 커맨드 핸들러(command handler)(120)와, 가전 데이터 수집기(appliance data collector)(110) 및 문서 변환기(document converter)(140)를 포함한다.

가전 데이터 수집기(110)는 홈 네트워크를 통하여 TV, 오디오, 에어컨, 프로젝터, 전등 등으로부터 각각의 가전에 관한 데이터를 입력받는다. 그리고 나서, 수집된 가전 데이터를 커맨드 핸들러(120)와 문서 변환기(140)로 전송한다. 커맨드 핸들러(120)는 수집된 가전 데이터를 인공 지능 에이전트(130)로 전달하여 인공 지능 에이전트(130)로 하여금 상황인식 서비스를 수행하도록 한다.

한편, 문서 변환기(140)는 가전 데이터를 이용하여 UIML 문서를 생성하고, 생성된 UIML(User Interface Markup Language) 문서를 예컨대, HTML(HyperText Markup Language) 또는 WML(Wireless Markup Language)로 변환한다. 그리고 나서, 변환된 문서를 커맨드 핸들러(120)로 전달하고, 커맨드 핸들러(120)는 HTML 또는 WML 문서를 웹패드(web pad) 또는 모바일 폰(mobile phone)으로 전송함으로서 사용자가 가전 데이터를 확인할 수 있도록 한다.

바람직하게는 도 1에서 도시된 인공 지능 에이전트(130)는 가전 데이터 수집기(110), 커맨드 핸들러(120), 문서 변환기(140)의 기능을 수행하는 보다 넓은 개념일 수도 있다.

도 2는 본 발명의 실시예에 따른 인공 지능 에이전트(artificial intelligent agent)(130)의 구성을 나타내는 블록도이다.

여기에서, 인공 지능 에이전트(130)는 기초자료로서 환경 데이터와 인간 자체에서 취득할 수 있는 생체 정보를 기반으로 인간의 행동패턴을 예측한다.

환경 데이터로는 환경센서에서 수집되는 실내온도와 현재 시간정보를 사용하고, 생체 데이터는 실내에서의 인간의 위치, 얼굴표정, 맥박 및 체온을 사용한다. 인공 지능 에이전트(130)의 역할은 실내환경 데이터 및 생체정보 분석을 통하여 과거에 사용자가 행하였던 행동패턴을 학습하여 저장한다. 학습이 완료된 이후에는 현재의 환경 및 인간에 대한 데이터를 추출하여 사용자가 원하는 서비스를 분석하고 능동적으로 서비스를 제공하게 된다.

인공 지능 에이전트(130)는 컨텍스트 매니저 모듈(230), 처리 매니저 모듈(220), 사용자 프로파일 매니저 모듈(210)을 포함한다.

이 때, 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다.  모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다.  따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베 이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.  구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

컨텍스트 매니저 모듈(230)은 얼굴 표정, 사용자 위치, 실내 온도, 시간, 사람의 맥박, 체온과 같은 컨텍스트 정보를 수집하여 처리 매니저 모듈(220)로 전달한다.

처리 매니저 모듈(220)은 커맨드 핸들러(120)로부터 수신한 가전 데이터와 상기 컨텍스트 정보들을 이용하여 인간행동패턴을 학습 또는 예측하게 된다. 이 때 처리 매니저 모듈(220)은 사용자 프로파일 매니저 모듈(210)로부터 사용자의 행동 패턴에 대한 이력(history)을 제공받아 학습 또는 예측을 수행하게 된다. 여기에서 사용자 프로파일 매니저 모듈(210)은 도 3에서 도시한 것과 같은 데이터 구조를 갖게 되는데, 이러한 데이터 구조는 XML 형식으로 관리된다. 인공 지능 에이전트(130)에 등록된 모든 사용자들은 인공 지능 에이전트(130)로부터 아이디(ID)를 발급받게 되며 사용자 프로파일 매니저 모듈(210)은 각 사용자의 ID를 기반으로 각 사용자를 구별하고 각 사용자에 대한 세부사항들을 관리한다. 사용자 ID는 해당 사용자의 이름(UserName)과 등급(Grade), 그리고 6가지 컨텍스트 및 사용자의 명령(Event)정보를 담고 있다.

도 4는 본 발명의 실시에 따라 사용자 프로파일 매니저 모듈(210)에서 관리하는 사용자의 정보를 XML형식으로 표현된 데이터를 예시하고 있는데, 여기에서 'como97' 사용자가 'E001P1'의 액션([표 3]을 참조하면 'E001'은 TV에 대한 명령이 고 'P1'은 Power를 작동시켰다는 명령)을 취하였을 때 'como97'사용자의 6가지의 컨텍스트 정보를 표현하고 있다.

도 4에서 도시하고 있는 데이터는 인공 지능 에이전트(130)와 연동된 데이터 베이스로부터 얻을 수 있으며, [표 2] 내지 [표 4]는 인공 지능 에이전트(130)가 인간행동패턴 예측을 위하여 학습 시 취득한 6가지의 데이터와 인간이 행한 행동을 데이터베이스에 테이블로 기록한 것이다.

UserID	Password	Grade
como97	********	1

Service ID	Power	Channel	Sound	Grade
E001(TV)	1	1	1	2
E002(Audio)	1	1	1	2
E003(Air Conditioner)	1	1	0	2
E004(Projector)	1	1	0	1
E005(Light)	1	1	0	3

UserID	Pulse	User Face	Body Temp	Room Temp	UserLoc	Time	Event
como97	89	3	36.5	26	2	0405220930	E001P1
Choi	72	6	37	23	5	0405221051	E002C1

[표 2]에서 나타내고 있는 사용자 보안테이블은 사용자 등록 시에 기록되는 정보로서, 사용자의 ID와 비밀번호 및 사용자의 등급인 Grade정보를 담고 있다. Grade는 홈 네트워크 내에서 사용자가 취할 수 있는 명령을 등급으로 관리하기 위한 것이다. 등급에 따른 명령이란 1등급인 사람이 홈 네트워크 내에서 내릴수 있는 명령과 2등급인 사람이 홈내에서 내릴 수 있는 명령의 차이를 두기 위한 것이다. 이는 서비스 차등화 전략을 위한 것이다.

[표 3]은 가정내에서 사용자의 등급에 따라 사용할 수 있는 서비스의 목록을 나타낸 것이다. 예를 들면 E001(TV)은 2등급 이상의 사용자가 내릴 수 있는 명령이고, Power, Channel, Sound에 대한 세부명령을 내릴 수 있다. E003(Air Conditioner)은 2등급 이상의 사용자가 내릴 수 있는 명령이고 Power, Channel에 대한 세부 명령을 내릴 수 있다. 이러한 차별화된 서비스 전략은 개인의 보안에 있어서 중요한 역할을 담당하게 된다.

[표 4]는 사용자 행동에 따른 6개의 컨텍스트 구성데이터에 대한 값을 저장한 테이블이다. 'como97'사용자의 경우는 'E001P1'의 명령을 실행했을 때의 각 정보를 보여준다. 사용자 프로파일 매니저 모듈(210)은 사용자의 모든 로그값을 데이터베이스와 연동하여 관리한다. 만약 가중치값(weight value)을 분실하였을 경우 사용자 프로파일 매니저 모듈은 저장된 모든 로그값을 기반으로 인간 행동패턴의 재학습을 처리 매니저 모듈(220)에게 요청하게 된다.

인공 지능 에이전트(130)가 능동적인 서비스를 제공하기 위해서는 기본적으로 사용자에 대한 등록과정을 거쳐야 하는데, 이는 사용자 프로파일 매니저 모듈(210)을 통하여 이루어질 수 있다. 도 5는 사용자 프로파일 매니저 모듈(210)에 의해 제공되는 사용자 인터페이스를 나타내고 있는데, 'Add user' 인터페이스를 통하여 사용자 등록이 이루어지고 각 사용자의 세부정보를 확인할 수 있다.

도 6은 본 발명의 실시에 따른 컨텍스트 매니저 모듈(230)의 동작을 도시하고 있는데, 컨텍스트 매니저 모듈(230)은 앞서 언급한 6가지의 데이터에 대한 수집을 통하여 컨텍스트에 대한 분석과 사용자의 위급상황에 대한 결정을 하고 다음 단 계인 인간행동에 대한 학습 또는 예측을 수행하는 처리 매니저 모듈(220)로 데이터를 전송하는 역할을 한다.

[표 1]에서 제시한 한계 범위를 벗어난 맥박과 체온 데이터를 감지할 때(S610), 컨텍스트 매니저 모듈(230)은 인간행동패턴에 대한 예측을 수행하지 않고 경고 메시지(warning message)를 나타냄으로써 현재 사용자의 위급 상황임을 알릴 수 있다(S620).

또한, 컨텍스트 매니저 모듈(230)은 필요없는 값을 추출하는 쓰레기 데이터 감지(Garbage Data Detection)기능을 가지며(S630), [표 1]에서 정의된 범위를 벗어난 데이터가 컨텍스트 매니저 모듈(230)로 입력되면 해당 데이터에 대하여 재요청을 하게 된다. 컨텍스트 매니저 모듈(230)에 의해서 승인되어 6가지의 데이터가 추출되면 컨텍스트 매니저 모듈(230)은 추출된 6가지의 데이터에 대한 정규화 과정을 거치게 된다(S640). 이 때, 인공 지능 에이전트(130)가 학습중이라면 처리 매니저 모듈(220) 내에 있는 인간행동패턴에 대한 학습모듈(미도시)로, 학습이 완료된 상태라면 처리 매니저 모듈(220) 내에 있는 인간행동패턴에 대한 예측모듈(미도시)에게 정규화된 모든 컨텍스트 정보를 전송하게 된다.

한편, 컨텍스트 매니저 모듈(230)은 수집한 컨텍스트 정보들을 일정한 형태의 데이터 구조로 구성할 수 있으며, 그 예를 도 7a 및 도 7b에서 도시하고 있는데, 도 7a는 레이어 1을 구체적으로 나타내고 있고, 도 7b는 레이어 2를 구체적으로 나타내고 있다. 여기에서 'Person Widget', 'Environment Widget', 'Device Widget'은 해당하는 컨텍스트 데이터들을 XML(Extensible Markup Language)의 트리 (tree) 구조로 관리한다.

처리 매니저 모듈(220)내에 있는 학습 및 예측 모듈은 인간행동패턴에 대한 학습 및 예측에 있어서 모멘텀 역전파 알고리즘(Momentum Back Propagation Algorithm)을 사용할 수 있는데, 도 8에서는 이러한 알고리즘의 흐름도를 나타내고 있다. 모멘텀 역전파 알고리즘에 대해서는 『Z. Chen, Y. An, K. Jia, C. Sun,"Intelligent control of alternative current permanent manage servomotor using neural network", Electrical Machines and Systems, Volume.2, 2001』에 보다 구체적으로 개시되어 있다. 도 8에서 도시된 입력층은 정규화된 6가지의 데이터를 나타내고 있다.

본 발명의 실시예에서는 입력층(Input Layer)만 고정되어 있고, 성능의 실험을 위하여 은닉층(Hidden Layer)과 출력층(Output Layer)은 설정 가능하도록 한다. 또한, 입력측와 은닉층, 은닉층과 출력층간에 연결 가중치는 동일하게 설정할 수도 있으나, 바람직하게는 변경가능하게 할 수도 있다. 예를 들어, 에어컨의 경우에는 사용자의 실내에서의 위치보다는 사용자의 체온이 더 큰 영향을 미치게 되므로 체온에 대한 정보에 더 많은 가중치를 부여할 수 있는 것이다.

도 9a는 본 발명의 실시에 따라 인간행동패턴 학습 알고리즘에 의한 학습과정 진행에 대한 순차적인 실행순서를 나타내고 있는데, 이러한 과정은 인공 지능 에이전트(130)에 의해 수행된다.

최초 실행시 뉴런간의 연결가중치(weight)값이 초기화되고(S900), 사용자가 가전을 제어하게 되면(S902), 환경 및 생체 대이터값을 추출되어 DB에 저장된다 (S904). 그리고 나서, 환경 및 생체 데이터값이 정규화되고, 정규화된 데이터값이 학습 알고리즘의 입력값으로 전송되는데, 여기까지의 과정은 주로 컨텍스트 매니저 모듈(230)에 의해 수행된다. 그리고 나서, 처리 매니저 모듈(220)에서는 정규화된 값을 바탕으로 학습 알고리즘을 수행하고 출력값을 결정하게 된다(S910). 이 때, 출력값과 기설정된 목적값(target value)의 차이 즉, 결과 오차가 결정되고(S912), 그 결과 오차가 기설정된 오차허용최대값보다 작은 경우에는 학습이 완료된다. 그러나, 상기 결과 오차가 기설정된 오차허용최대값보다 작지 않은 경우에는 도 8에 도시된 입력측와 은닉층 또는 은닉층과 출력층간의 연결 가중치를 변경하게 된다. 학습은 출력층의 오차신호가 허용오차 신호를 넘지 않을 때까지 계속 된다.

도 9b는 본 발명의 실시에 따라 인간행동패턴 예측 알고리즘에 의한 예측과정 진행에 대한 순차적인 실행순서를 나타내고 있는데, 이러한 과정은 인공 지능 에이전트(130)에 의해 수행된다. 여기에서는 학습이 완료된 이후에 6가지의 데이터를 바탕으로 사용자의 요청 서비스를 예측하는 과정을 간략히 나타내고 있다.

우선 일정한 시간 간격으로 환경 및 생체 데이터를 수집하고 정규화한다(S950, S952). 그리고 나서, 정규화된 데이터들은 행동패턴 예측 알고리즘의 입력으로 전달되는데(S954), 여기까지의 과정은 주로 컨텍스트 매니저 모듈(230)에 의해 수행된다. 그리고 나서, 처리 매니저 모듈(220)에서는 정규화된 값을 바탕으로 사용자의 행동패턴을 예측하게 되고(S956), 예측 결과에 해당하는 값을 OSGi 내의 가전 제어 번들로 전송하게 된다(S958). 도 10에서는 이러한, 인간행동패턴 학습 및 예측 알고리즘에 대한 의사코드(shudo-code)를 나타내고 있다.

한편, 인간행동패턴 학습 알고리즘에 있어서 학습된 연결 가중치 값은 시스템의 예외적 상황 및 가중치 값의 분실을 대비하여 항상 데이터베이스에 저장하는 방식을 취하고 있으며, 또한 이에 대하여 프로세스간의 동기화 방식을 가진다. 또한 정상적인 연결 가중치 값을 데이터베이스에 저장하여 시스템 재 작동 시 연결 가중치에 대한 값을 데이터베이스로부터 취득하여 사용자에 대한 서비스를 제공하도록 한다. 또한, 학습을 완료한 후 6가지 컨텍스트 데이터로부터 제공되는 정보를 일정한 간격으로 입력받아 이전에 취하였던 사용자의 행동을 기반으로 사용자의 요구(need)를 예측하게 된다.

지금까지는 주로 신경망(neural network)을 기반으로 하여 학습 및 예측을 하였는데 또다른 실시예로서 종래의 SVM(Support Vector Machine) 알고리즘을 이용할 수도 있다.

도 11은 SVM 알고리즘을 이용하여 본 발명의 실시에 따른 인공 지능 에이전트(130)가 인간행동패턴에 대한 학습 및 예측을 하기 위한 구조를 나타내는 예시도이다.

컨텍스트 분배자(1110)는 도 7a 및 도 7b에서 도시한 컨텍스트 모델(1110)로부터 컨텍스트 데이터들을 입력받아, 기설정된 시간에 따라 SVM(1120)으로 입력받은 컨텍스트 데이터들을 제공한다. 그리고 나서, SVM(1120)은 상황에 따라 컨텍스트 데이터의 가중치를 변경하는데, 이것은 SVM 알고리즘에 의한 학습 및 예측 동작을 개선시킬 수 있게 한다. 이 후, 학습 또는 예측 처리 결과를 저장하고, 예측 처리시에는 예측 결과를 수행한다. 또한 사용자 명령 및 모든 컨텍스트 정보들은 저 장된다.

도 12는 본 발명의 실시에 따른 인공 지능 에이전트(130)의 SVM 구조를 나타내는 예시도로서, SVM의 구조는 사용자의 가전(appliance)에 대한 패턴 분석을 위해 계층화된 SVM 분류기(classifier)(1220)의 형태로서 구성될 수 있다. 도 12는 도 11에서 도시된 구성의 또다른 실시 형태이기도 하다.

본 발명의 실시에 따른 신경망(neural network)에 의한 인간행동패턴의 학습 및 결정 알고리즘의 실험 및 평가에서는 아래 제시된 3가지 방법을 기준으로 알고리즘의 성능이 평가되었다.

(1) 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 에 대한 토폴로지(Topology) 변경 및 그에 따른 은닉층의 에러 시그널 값(error signal value by hidden layer), 출력층의 에러 시그널 값(error signal value by output layer), 학습성공률(success rate)에 대한 측정

(2) 학습횟수 변경에 따른 은닉층의 에러 시그널 값(error signal value by hidden layer), 출력층의 에러 시그널 값(error signal value by output layer), 학습성공률(success rate)에 대한 측정

(3) 은닉층(Hidden Layer)의 뉴런수 변화에 따른 은닉층의 에러 시그널 값(error signal value by hidden layer), 출력층의 에러 시그널 값(error signal value by output layer), 학습성공률(success rate)에 대한 측정

도 9a에서 도시한 바와 같이 학습 알고리즘이 실행되면 출력층에서의 오차신호가 오차허용최대값보다 크면 각 층(Layer)의 연결가중치값을 변경시키면서 출력 층의 오차신호가 오차허용최대값보다 작을때까지 알고리즘이 계속 실행된다. 이 때, 각 단계의 오차신호를 합산한 값이 에러 시그널값(error signal value)이다.

[표 5]와 같이 토폴로지의 변화에 따라서 학습 알고리즘은 많은 성능의 변화를 보이게 된다.

Topology	Success Rate(%)	Cross validation error signal value by output layer	Test error signal value by output value
6-1-1	50	89.032959	91.232523
6-1-3	70	101.343953	102.234234
6-1-5	55	123.254345	124.345234
6-3-1	75	25.172533	26.890749
6-3-3	100	80.8794322	82.3241105
6-3-5	100	160.923144	163.232675
6-5-1	50	142.341646	143.678929
6-5-3	75	136.375948	137.239277
6-5-5	75	128.452788	129.260493

6-3-1, 6-3-2, 6-3-3 토폴로지를 비교해보면, 6-3-1은 학습성공률(Success Rate)에 있어서 성능상의 문제점을 보이고 또한 학습시간도 많이 걸리고 있다. 다만 출력층(Output Layer)에서의 에러 시그널 값(error signal value)이 나머지 두개의 정책보다 작은 값이라는 점이 있으나 이는 학습이 제대로 이루어 지지 않은 점을 미루어 보면 토폴로지 구성이 적절치 않다는 것을 보여준다. 6-3-3은 학습시간과 학습성공률에 있어서 좋은 결과를 나타내며 은닉층의 에러시그널 값(error signal value by hidden layer) 및 출력층의 에러 시그널 값(error signal value by output layer) 또한 가장 좋은 결과를 보여주고 있다.

[표 6]은 학습횟수(learning Count)를 강제적으로 설정하여 알고리즘에 대한 정확도와 에러시그널값(error signal value)을 추출한 것이다.

Learning Count	Success Rate(%)	Cross validation error signal value by output layer	Test error signal value by output layer
10000	100	80.906453	81.185020
20000	100	75.866532	76.109002
30000	100	73.649298	73.979502
40000	100	78.721034	78.957699
50000	100	75.499323	75.668125
60000	100	76.502143	76.601838

이 실험에서 보여지듯이 학습이 30000번 정도 이루어진 상태에서 학습성공률과 각 층(Layer)에서의 에러시그널값(error signal value)이 가장 작은 값을 나타냄을 알수 있다.

[표 7]은 출력층(Output Layer)의 뉴런 개수의 변화에 따른 출력값을 나타낸것이다. 출력 뉴런이 하나일 경우는 하나의 출력값이 0.0~1.0 사이의 범위를 가지며 5등분한 값으로 분리된다. 출력뉴런이 세개일 경우와 다섯개일 경우는 각 뉴런은 0또는 1의 값을 가지게 된다.

Output Value Output Layer	TV	Audio	Air Conditioner	Projector	Light
1	0.0	0.25	0.5	0.75	1.0
3	100	110	111	010	001
5	10000	01000	00100	00010	00001

한편, 본 발명의 실시에 따른 SVM에 의한 인간행동패턴의 학습 및 결정 알고리즘의 실험 및 평가에 있어서, [표 8]에서는 사용자와 관련된 컨텍스트 데이터에 가장 높은 가중치를 부여한 것을 나타내고 있고, [표 9]에서는 [표 8]의 가중치를 적용한 결과를 나타내고 있다.

또한, [표 10]에서는 홈 환경(home environment)와 관련된 컨텍스트 데이터에 가장 높은 가중치를 부여한 것을 나타내고 있고, [표 11]에서는 [표 10]의 가중치를 적용한 결과를 나타내고 있다.

또한, [표 12]에서는 가전의 특성(characteristics of home appliance)과 관련된 컨텍스트 데이터에 가장 높은 가중치를 부여한 것을 나타내고 있고, [표 13]에서는 [표 12]의 가중치를 적용한 결과를 나타내고 있다.

[표 9], [표 11], [표 13]를 비교해보면, 가전의 특성(characteristics of home appliance)과 관련된 컨텍스트 데이터에 가장 높은 가중치를 부여한 경우가 가장 좋은 패턴 인식률을 보여주고 있다.

Context Appliance	P	B	F	R	T	U
TV	high	high	high	low	low	low
Au	high	high	high	low	low	low
Pr	high	high	high	low	low	low
Ai	high	high	high	low	low	low
Li	high	high	high	low	low	low

P: Pulse, B: Body Temperature, F, Facial Expression Value, R: Room Temperature, U: User Location / TV: TV, Au: Audio, Pr: Projector, Ai: Air Conditioner, Li: Light)

	SV	LV	KE	Test Set			PT
				correct	incorrect	Total
TV	30	2.25885	12266	981	19	1000	98.10%
Au	51	2.26254	11552	978	22	1000	97.80%
Pr	74	2.11505	12701	343	657	1000	34.30%
Ai	60	2.01333	12377	253	747	1000	25.30%
Li	67	2.14278	12335	275	725	1000	27.50%

SV: number support vector / LV: norm of longest vector / KE: number of kernel evaluations / PT: precision on test set)

Context Appliance	P	B	F	R	T	U
TV	low	low	low	high	high	high
Au	low	low	low	high	high	high
Pr	low	low	low	high	high	high
Ai	low	low	low	high	high	high
Li	low	low	low	high	high	high

	SV	LV	KE	Test Set			PT
				correct	incorrect	Total
TV	52	2.13000	11912	225	775	1000	22.50%
Au	59	1.95908	12290	909	91	1000	90.90%
Pr	44	1.75454	11342	120	880	1000	12.00%
Ai	55	2.02097	11627	1000	0	1000	100.00%
Li	65	1.96550	12098	208	792	1000	20.80%

Context Appliance	P	B	F	R	T	U
TV	low	low	low	low	high	high
Au	high	high	high	low	low	high
Pr	low	low	low	low	high	high
Ai	high	high	low	high	high	low
Li	low	Low	low	low	low	high

	SV	LV	KE	Test Set			PT
				correct	incorrect	Total
TV	95	2.10637	12209	1000	0	1000	100.00%
Au	28	2.02417	10979	1000	0	1000	100.00%
Pr	171	1.75716	14204	886	114	1000	88.60%
Ai	36	2.20606	11213	1000	0	1000	100.00%
Li	135	2.02598	13085	930	70	1000	93.00%

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다 는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명에 따르면 홈 네트워크 환경에 있어서, 사용자의 생체 정보 및 환경 정보를 이용하고, 학습 및 예측 처리 과정에서 연결 가중치를 달리 함으로써 사용자의 행동 패턴에 대한 보다 효율적인 예측이 가능한 상황인식 서비스를 제공할 수 있는 효과가 있다.

Claims (15)

1. 사용자의 생체 정보 및 환경 정보를 입력받아, 입력된 정보를 정규화하는 컨텍스트 매니저 모듈;

   상기 사용자에 대한 정보 및 행동패턴에 대한 이력(history)를 관리하는 사용자 프로파일 매니저 모듈;

   상기 사용자에 대한 정보와, 상기 행동패턴에 대한 이력, 상기 정규화된 정보 및 상기 사용자에 의해 다루어지는 소정의 가전(appliance)에 대한 정보를 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 처리 매니저 모듈을 포함하는 인공 지능 에이전트가 탑재된 상황인식 서비스를 제공하는 네트워크 장치.
2. 제1항에 있어서,

   상기 처리 매니저 모듈은 모멘텀 역전파 알고리즘을 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 상황인식 서비스를 제공하는 네트워크 장치.
3. 제2항에 있어서,

   사용자의 행동 패턴에 대한 학습 또는 예측은 상기 모멘텀 역전파 알고리즘을 구성하는 각 층(layer) 사이에 연결 가중치를 설정하여 학습 또는 예측을 수행하도록 하는 상황인식 서비스를 제공하는 네트워크 장치.
4. 제1항에 있어서,

   상기 처리 매니저 모듈은 SVM 알고리즘을 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 상황인식 서비스를 제공하는 네트워크 장치.
5. 제1항에 있어서,

   상기 생체 정보는 상기 사용자의 맥박 정보, 체온 정보, 얼굴 표정 정보를 포함하는 상황인식 서비스를 제공하는 네트워크 장치.
6. 제1항에 있어서,

   상기 환경 정보는 상기 사용자의 위치 정보, 시간 정보, 상기 사용자가 위치하고 있는 실내의 온도 정보를 포함하는 상황인식 서비스를 제공하는 네트워크 장치.
7. 제1항에 있어서,

   상기 가전에 대한 정보는 가전의 온/오프(on/off) 상태 정보를 포함하는 상황인식 서비스를 제공하는 네트워크 장치.
8. 제1항에 있어서,

   상기 인공 지능 에이전트는 OSGi 프레임워크 환경에서 동작하는 상황인식 서 비스를 제공하는 네트워크 장치.
9. 사용자의 생체 정보와 상기 사용자가 위치한 실내의 환경 정보를 입력받는 단계;

   상기 입력받은 정보를 정규화하는 단계; 및

   상기 사용자에 대한 정보와, 행동패턴에 대한 이력(history)과, 상기 정규화된 정보 및 상기 사용자에 의해 다루어지는 소정의 가전(appliance)에 대한 정보를 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 단계를 포함하는 상항인식 서비스를 제공하는 방법.
10. 제9항에 있어서,

    상기 학습 또는 예측을 수행하는 단계는 모멘텀 역전파 알고리즘을 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 상황인식 서비스를 제공하는 방법.
11. 제10항에 있어서,

    상기 학습 또는 예측을 수행하는 단계는 상기 모멘텀 역전파 알고리즘을 구성하는 각 층(layer) 사이에 연결 가중치를 설정하여 학습 또는 예측을 수행하도록 하는 상황인식 서비스를 제공하는 방법.
12. 제9항에 있어서,

    상기 학습 또는 예측을 수행하는 단계는 SVM 알고리즘을 이용하여 사용자의 행동패턴에 대한 학습 또는 예측을 수행하는 상황인식 서비스를 제공하는 방법.
13. 제9항에 있어서,

    상기 생체 정보는 상기 사용자의 맥박 정보, 체온 정보, 얼굴 표정 정보를 포함하는 상황인식 서비스를 제공하는 방법.
14. 제9항에 있어서,

    상기 환경 정보는 상기 사용자의 위치 정보, 시간 정보, 상기 사용자가 위치하고 있는 실내의 온도 정보를 포함하는 상황인식 서비스를 제공하는 방법.
15. 제9항에 있어서,

    상기 가전에 대한 정보는 가전의 온/오프(on/off) 상태 정보를 포함하는 상황인식 서비스를 제공하는 방법.

Images