KR101133515B1 - 개인의 일상생활 관리장치 및 관리방법 - Google Patents

Abstract

모바일 기기를 통해 수집되는 정보에 기반한 개인의 일상생활 관리장치 및 그 방법이 개시된다. 개인의 일상생활 관리장치는 모바일 기기로부터 사용자의 컨텍스트(context)정보를 수집하는 데이터 수집부와, 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 행동패턴 추론부 및 컨텍스트 정보와 행동패턴 정보를 시각화된 인터페이스로 형성하여 사용자가 의미있는 형태의 정보인 의미 정보를 직접 태깅(tagging)할 수 있도록 구비되는 태깅 UI부와, 컨텍스트 정보, 행동패턴 정보 및 태깅 정보를 분석하여 의미있는 형태의 정보인 메타데이터로 생성하는 메타데이터 생성부를 포함한다. 행동패턴 추론부는 확률모델을 이용하여 컨텍스트 정보로부터 행동패턴 정보를 생성한다. 여기서 확률모델은 모듈화된 베이지안 네트워크(Bayesian Network) 형태일 수 있다.

메타데이터, 행동패턴, 태깅 인터페이스

Description

개인의 일상생활 관리장치 및 관리방법{Apparatus and Method for Managing Personal Life}

본 발명은 개인의 일상생활을 관리하는 장치 및 그 방법에 관한 기술로서, 보다 상세하게는 사용자의 생활에 관련된 정보를 모바일 기기를 통하여 수집하고, 수집된 정보를 행동 이론에 기반한 확률모델에 적용하여 사용자의 행동이나 감정을 추론하고 추론된 정보를 토대로 모바일 컨텐트(사진, 동영상 등)에 태깅하는 장치 및 방법에 관한 것이다.

디지털 카메라 및 휴대전화 등과 같은 모바일 기기는 통화 기록, 사진 촬영, 음악 파일 재생, 위치 정보 등과 같이 다양한 정보를 수집할 수 있으며, 사용자가 항상 휴대하기 때문에 사용자의 일상 정보를 효과적으로 수집할 수 있다. 또한, 모바일 기기는 개인성이 강한 장비이므로, 개인의 기호나 성향에 따라 적응되어 특화될 수 있다. 이와 같이, 모바일 기기를 통해 수집된 정보를 효율적으로 이용한다면, 모바일 기기들을 라이프 레코더로 사용하는 사용자들에게 보다 다양한 서비스를 제공할 수 있다. 이러한 기술의 일환으로서, 모바일 기기를 통해 사용자의 일상생활에 관한 정보를 수집하고, 수집된 정보를 바탕으로 사용자의 행동패턴을 모델 링하는 기술이 연구되고 있다. 그러나, 모바일 디바이스를 통해 수집된 정보를 바탕으로 사용자의 질의에 따라 사용자에 개인화된 정보를 검색할 수 있는 기술은 구체적으로 다루어지지 않고 있다.

또한, 최근 모바일 기기의 성능 향상과 휴대폰 카메라 기능의 일반화로 모바일 기기에서의 컨텐트(content) 제작 능력은 크게 증가하였으나, 모바일 기기에서 생성된 사진 및 동영상 등의 멀티미디어 컨텐트에 대한 검색 및 관리 기능은 크게 발전하지 못하고 있다. 이를 위하여 영상 분석 기술을 이용하거나 컨텐트 생성 시점의 상황 정보(GPS 위치 정보, Cell ID, EXIF 정보 등)를 함께 기록하는 방법이 제안되고 있으나 현재 기술로는 상황 정보(context information)만을 사진에 함께 기록하는 수준에 그치고 있다.

따라서 단순히 사진만이 아니라 모바일 기기에 저장된 여러 정보를 이용하여 사용자의 행동패턴을 추론하고 이 추론된 정보와 수집된 상황정보(장소, 시간, 그 외의 기타 정보)들을 이용하여 컨텐트에 표시하여 준다면 컨텐트의 내용을 관리하거나 검색하는 데 유용한 지표로 활용될 수 있을 것이다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 모바일 기기를 통해 수집된 데이터로부터 사용자의 행동패턴을 추론하고 추론된 정보를 다양한 멀티미디어 컨텐트의 관리 및 검색을 위한 메타데이터 형태로 제공하는 개인의 일상생활 관리장치 및 관리방법을 제공하는 것이다.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 사용자가 직접 의미 정보를 태깅할 수 있도록 모바일 기기로부터 수집된 정보와 행동패턴을 추론하여 생성된 정보를 시각화된 인터페이스로 제공하는 것이다.

또한, 본 발명은 개인의 일상생활 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 기술적 과제로 한다.

그러나, 본 발명의 기술적 과제는 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 기술적 과제를 달성하기 위해서 본 발명에 따른 개인의 일상생활 관리장치는, 모바일 기기를 통해 사용자의 컨텍스트(context)정보를 수집하는 데이터 수집부와, 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 행동패턴 추론부와, 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이 스로 형성하고 사용자로부터 태깅(tagging)정보를 입력받는 태깅 UI부 및 상기 컨텍스트 정보, 상기 행동패턴 정보 및 상기 태깅 정보를 분석하여 의미있는 형태의 정보인 메타데이터로 생성하는 메타데이터 생성부를 포함할 수 있다.

바람직하게는, 상기 태깅 UI부는 상기 컨텍스트 정보와 상기 행동패턴 정보를 미리 정해진 시간 단위로 스케줄링(scheduling)하여 시각화된 인터페이스로 형성할 수 있을 것이다.

또한 바람직하게는, 상기 확률모델은 모듈화된 베이지안 네트워크(Bayesian Network) 형태일 수 있을 것이다. 그리고, 모듈화된 베이지안 네트워크는 상기 행동패턴에 영향을 미치는 변수인 각 노드마다 레벨 정보를 가지는 계층적 구조인 것이 바람직할 것이다. 더욱 바람직하게는 상기 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함할 수 있을 것이다.

또한 상기 인터페이스는 풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭, 행동버튼 중 적어도 하나를 포함하는 것이 바람직할 것이다.

상기한 기술적 과제를 달성하기 위해서 본 발명에 따른 개인의 일상생활 관리방법은, (a) 모바일 기기를 통해 사용자의 컨텍스트 정보를 수집하는 단계와, (b) 상기 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 단계와, (c) 상기 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이스로 형성하는 단계 및 (d) 상기 (c)단계에서 형성된 인터페이스를 이용하여 사용자로부터 태깅 정보를 입력받는 단계를 포함할 수 있다.

그리고, (d)단계 이후에는 (e) 컨텍스트 정보, 행동패턴 정보 및 태깅 정보 를 분석하여 의미있는 형태의 정보인 메타데이터를 생성하는 단계를 더 포함하는 것이 더욱 바람직할 것이다.

또한 바람직하게는, 상기 확률모델은 모듈화된 베이지안 네트워크 형태일 수 있을 것이다. 그리고 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함하는 것이 바람직할 것이다.

또한, 상기 모듈화된 베이지안 네트워크는 상기 행동패턴에 영향을 미치는 변수인 각 노드마다 레벨 정보를 가지는 계층적 구조인 것이 바람직할 것이다.

또한, 상기한 기술적 과제를 달성하기 위해서 본 발명은 개인의 일상생활 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 제공할 수 있을 것이다.

상기한 바와 같이 본 발명에 의한 개인의 일상생활 관리장치 및 관리방법에 따르면 상대적으로 적은 노력과 시간을 들여 멀티미디어 컨텐트에 사용자의 행동패턴을 반영하는 메타데이터를 생성할 수 있으며, 이런 메타데이터를 사용자에게 시각적으로 표현함으로써, 사용자가 손쉽게 자신의 경험과 기억을 데이터 베이스에 저장하고 이후에 검색 및 관리를 위하여 사용할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명을 설명하는데 있어서, 구성 요소들의 참조 부호는 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하였음에 유의해야 한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 명세서에서 사용하게 될 '부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 일례로 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터 베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 각 구성요소들에서 제공되는 기능은 더 작은 수의 구성요소들로 결합되거나 추가적인 구성요소들로 더 분리될 수 있다.

본 발명에 있어서 사용되는 컨텍스트 정보는 모바일 기기의 사용자에 관련된 상황 정보, 상태 정보 등을 지칭하는 것으로, 본 발명에서는 모바일 기기에서 수집된 다양한 데이터를 의미한다. 예를 들어, 웹이나 스케줄 정보, 혹은 GPS 장치에 의하여 얻는 정보를 참고하며, 동시에 모바일 기기에서 생성되는 멀티미디어 컨텐트를 사용한다. 좀 더 구체적으로, 날씨, 기온, 풍속 그리고 웹에서 수집할 수 있 는 일반 상식에 관련된 정보, 나이, 성별, 직업, 기호, 습관, 주소, 기념일 등의 개인 신상 정보와 통화, SMS, 이미지 촬영, 음악 파일 재생 등의 보, GPS 장치를 이용하여 수집된 위치 정보 등이 사용될 수 있다.

또한, 개인의 일상생활 관리장치는 디지털 장치로 구현될 수 있다. 여기서 디지털 장치란 디지털 데이터를 처리하는 디지털 회로를 가진 장치로서, 컴퓨터, 디지털 카메라, 디지털 가전기기, 디지털 전화, 디지털 프로젝트, 홈서버, 디지털 비디오 레코더, 디지털 위성 방송 수신기, 셋탑박스 및 디지털 TV 방송 수신기 등을 예로 들 수 있다. 이하의 실시 예에서는 제안하는 방법이 휴대전화로부터 수집된 정보를 기반으로 구현되는 경우를 예로 들어 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 개인의 일상생활 관리장치를 나타낸 블록도, 도 2는 본 발명의 일 실시예에 행동패턴 추론부를 나타낸 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 개인의 일상생활 관리장치(100)는 데이터 수집부(110), 행동패턴 추론부(120), 태깅 UI부(130) 및 메타데이터 생성부(150)를 포함한다.

데이터 수집부(110)은 모바일 기기를 통해 사용자의 일상생활과 관련된 컨텍스트 정보를 수집한다. 예를 들면, 데이터 수집부(110)는 사용자의 위치 정보를 수집한다. 이를 위하여 데이터 수집부(110)는 위성항법장치(Global Positioning System;GPS)를 포함할 수 있다. 위성항법장치는, 사용자의 위치를 나타내는 좌표값을 수신한다. 또는 GSM Cell ID등을 이용한 방문장소 등에 대한 정보를 수집할 수 있다.

이외에도 데이터 수집부(110)는 웹을 통해 날씨, 기온, 풍속 및 뉴스 등의 정보를 수집할 수도 있다. 또한, 데이터 수집부(110)는, 모바일 기기(10)의 사용 정보 즉, 통화 내역, 단문 메시지(Short Message Service; SMS) 송수신, 영상 촬영및 멀티미디어 컨텐트 재생과 관련된 로그 정보를 수집할 수 있다. 구체적으로, 사용자가 단문 메시지를 송신하는 경우, 데이터 수집부(110)는 예를 들어, 단문 메시지의 내용, 단문 메시지 수신자, 단문 메시지가 송수신된 시간등의 데이터를 수집한다. 통화 내역의 경우, 데이터 수집부(110)는 예를 들어, 통화 상대, 통화 상대방 번호 및 그룹, 통화 빈도, 통화 시간, 통화량 등에 대한 데이터를 수집한다. 또한, 멀티미디어 컨텐트 중 음악 파일(DMB, 영상 파일 등)이 재생된 경우, 데이터 수집부(110)는 예를 들어, 재생된 음악 파일(DMB, 영상 파일 등)의 장르, 제목, 가수명(배우명), 재생 횟수, 재생 시간 등에 대한 정보를 수집한다. 또한, 데이터 수집부(110)는 모바일 기기(10)의 충전 상태 정보를 수집할 수 있다. 데이터 수집부(110)에 의해 수집되는 정보의 종류는 모바일 기기(10)가 구비하고 있는 기능 또는 센서에 따라 달라질 수 있다.

본 발명에 따라 생성되는 메타데이터를 저장하기 위해 데이터베이스가 사용될 수 있는데 구체적인 실시예로서 도 1에 도시된 바와 같이 DB서버(140)로 구현될 수 있다. DB서버(140)는 데이터 수집부(110)에 의해 수집된 컨텍스트 정보를 적절한 형태로 변환하여 저장한다. 이때, 단순히 정보의 수집을 위하여 단기(short term) 저장 방식이 사용될 수 있으며, 이미 DB서버(140)에 저장된 정보는 보존을 위하여 모바일 기기(10)와 무선 또는 유선 네트워크를 통하여 연결된 대용량의 서 버(미도시)로 옮겨진 후 장기(long term) 저장 방식을 이용하여 저장될 수 있다. 후술하겠지만, DB서버(140)는 상기 모바일 기기(10)로부터 수집되는 컨텍스트 정보 외에도 메타데이터 생성부(120)에서 생성된 메타데이터를 저장하고, 또한, 상기 생성된 메타데이터 및 컨텍스트 정보중 적어도 일부와 관련된 메타데이터를 포함하면서 사용자의 행동패턴을 요약하여 구성되는 확률모델을 저장하는 역할을 한다.

행동패턴 추론부(120)는 데이터 수집부(110)에서 제공된 정보를 이용하여 사용자의 행동패턴을 확률적으로 추론한다.

메타데이터 생성부(150)는 규칙부석부(151), 통계분석부(152) 및 확률분석부(153)를 구비하는 메타데이터 생성부(150)를 포함할 수 있다.

규칙분석부(151)는 모바일 기기(10)로부터 수집되는 사용자의 컨텍스트 정보를 분석하여 특정 규칙을 만족하는 메타데이터를 생성한다. 예를 들면, 수집된 컨텍스트 정보가 사용자의 위치를 나타내는 좌표값, 즉 GPS 위치 정보인 경우, 위도와 경도로 표시된 좌표값에 해당하는 장소에 대한 메타데이터를 생성한다. 또는 수집된 컨텍스트 정보가 어떤 전화번호, 예를 들면 010-XXX-XXXX로부터 걸려온 통화 기록인 경우, 통화목록에 대해 미리 정의된 규칙에 따라 '친구로부터의 전화' 혹은 '모르는 사람으로부터의 전화' 등과 같은 메타데이터를 생성한다.

통계분석부(152)는 모바일 기기(10)로부터 수집된 컨텍스트 정보를 분석하여 통계적인 의미를 나타내는 메타데이터를 생성한다. 예를들어, 수집된 컨텍스트 정보가 통화량인 경우, 이를 분석하여 특정 시간대에서 통화량이 일상적인 수치에 비해 높을 경우, '통화 빈도 높음' 혹은 '통화 빈도 아주 높음' 등의 메타데이터를 생성한다.

확률분석부(153)는 모바일 기기(10)로부터 수집된 컨텍스트 정보, 또는 규칙부(151) 또는 통계분석부(152)에서 생성된 메타데이터를 바탕으로통해 메타데이터를 생성한다. 여기서, 사용되는 확률모델로는 초기 모델로 미리 구축되어 있는 확률모델이 사용되어 확률모델을 통해 얻어지는 메타데이터의 확률이 소정 기준값 이상이거나 초과할 경우에 그 메타데이터가 사용자의 상황 또는 행동을 나타내는 메타데이터로 간주할 수 있을 것이다.

또한, 상기의 확률모델은 행동패턴 정보의 추론을 위해서 행동 이론에 기반한 확률모델을 이용할 수 있을 것이다. 여기에서의 행동 이론에 기반한 확률모델이란 정보들 사이의 조건부 확률 연관 관계를 통해 주어진 정보들이 얼마의 확률로 존재하는지 계산할 수 있는 모델을 의미한다. 본 실시예에서 확률모델로는 베이지안 네트워크(Bayesian Network) 형태의 확률모델이 사용될 수 있다.

베이지안 네트워크는 노드의 연결 관계를 표현하는 방향성 비순환 그래프(Directed acyclic graph : DAG) 형태이며, 이 구조에 따라 정의된 조건부 확률 테이블(Conditional Probability Table :CPT)에 의해 많은 확률 관계를 효율적으로 표현 및 계산할 수 있는 모델이다. 베이지안 네트워크에서는 데이터에 내재하는 변수들간의 관계를 노드(node)와 호(arc)를 가지고 나타내며 호로 표현되지 않은 확률 관계에 관해서는 조건부 독립 가정을 이용하는 방법이다. 베이지안 네트워크에서 각 노드들은 행동패턴에 영향을 끼치는 변수를 의미하며, 호(arc)는 각 노드들 간의 연관성을 나타낸다. 베이지안 네트워크 확률모델에 관한 구체적인 설명은 [K. B. Korb, and A. E. Nicholson, Bayesian Artificial Intelligence, Chapman &Hall/CRC, 2003]에 기술되어 있으므로 상세한 설명은 생략하기로 한다.

본 발명에는 행동패턴을 추론하는 확률모델을 제작하기 위한 설계 방법의 일환으로 행동 이론을 바탕으로 한 확률모델 계층 구조를 이용한다.

도 3은 본 발명의 일 실시예에 따른 특정행동에 대한 컨텍스트 노드와 증거노드의 연결관계를 나타낸 도면이다.

도 3은 ‘study’ 라는 하나의 행동을 추론하기 위한 확률모델의 계층 구조가 행동 이론의 각 카테고리 별로 분류되어 나타나는 것을 보여준다. 계층적인 구조를 이루고 있는 노드들은 크게 입력 노드와 출력 노드로 구분될 수 있다. 여기서, 입력 노드는 특정 출력 노드에 영향을 미치는 노드를 의미하며, 출력 노드는 적어도 하나 이상의 입력 노드로부터 영향을 받는 노드를 의미한다. 본 발명에서는 확률모델링을 진행함에 있어서, 기본적으로 목표 노드, 컨텍스트 노드, 증거 노드의 3개의 계층을 구성한다. 목표 노드는 인식하고자 하는 행동으로서 ‘공부하기’ 나 ‘수업’ 혹은 ‘비디오 게임 하기’ 등의 사용자의 행동으로 정의된 행동 가운데 하나가 될 수 있다. 컨텍스트 노드는 컨텍스트의 카테고리를 나타낸다. 기본적으로 행동 이론에 존재하는 5종류의 컨텍스트 카테고리마다 하나씩 컨텍스트 노드를 생성한다. 증거 노드는 상위 노드인 컨텍스트 노드 영향을 미치는 노드로서 컨텍스트 노드에 대한 입력 노드에 해당한다. 여기서는 하기 [표 1]과 같이 세분화 한다. 즉, 어떤 행동이든지 그 행동에 적합한 공간과 시간이 존재한다. 예를 들어, 수업을 받는 행위에는 공간적으로 학교가 적합하며 시간적으로는 평일의 오전이나 오후가 적합하다. 사용자의 상태는 앉아 있거나 움직임이 적어야 하며, 주변의 소리는 조용해야 한다. 그리고 대개의 경우 다른 이들과 함께 수업을 듣게 될 것이다. 결론적으로 하나의 행동에는 여러 가지 요소가 복합적으로 작용하며 이런 공간/시간/상태/주변상황/사회적 역할 등을 모두 고려할 때 행동을 온전히 추측하는 것이 가능하다. 이러한 행동패턴 추론의 정확도를 높이기 위해서 모바일 기기를 통한 정보들로부터 이런 정보를 수집하여 각각의 정보를 종류별로 구분하고 컨텍스트 노드로 분할하여 컨텍스트 별로 신뢰도를 할당하는 방식이 사용된다.

[표 1]

컨텍스트 노드의 종류	상세 설명
Spatio-Context	추론하려는 행동에 적합한 공간적 위치를 증거로 함
Temporal Context	추론할 행동에 부합하는 시간적 정보를 포함
Personal Context	추론할 행동에 적합한 사용자의 상태를 표시
Environmental Context	주변의 물체나 소리 등을 모델링하기 위해서 이용
Social Context	사용자의 사회적 역할이나 교우 관계를 증거로 사용

도 3은 특정 행동에 대해서 컨텍스트 노드와 증거 노드를 연결하는 것을 보여주고 있다. ‘공부’라는 행동에 대해서 적합한 공간 컨텍스트(Spatio-Context)는 ‘학교’, ‘도서관’ 혹은 ‘집’ 이 될 수 있을 것이다. 물론 각각의 장소마다 실제로 공부에 적합한 정도가 다르며, 공부라는 행위에 이런 공간적 위치가 미치는 영향도 달라진다. 여기서는 증거 노드와 컨텍스트 노드 사이의 관계로 ‘학교’, ‘도서관’ 등의 장소가 공부에 얼마나 적합한 위치인지를 모델링하며, 다시 컨텍스트 노드와 ‘공부’라는 행동 사이의 관계를 통해서 그 행동과 공간적 위치가 얼마나 연관이 있는지를 모델링한다. 본 발명의 이러한 구조는 기기 성능의 향 상이나 센서의 추가로 증거 변수가 추가되었을 때 확률모델링의 변경 대상을 특정 컨텍스트 노드로 한정하는 것으로 전체 확률모델의 변경을 최소화 할 수 있게 한다.

도 4는 본 발명의 일 실시예에 따라 설계된 베이지안 네트워크(BN)의 구현예를 나타낸 도면이다. 도 4에서 굵은 실선 처리된 박스에 표시된 노드는 컨텍스트 노드를 나타내고, 사용자의 행동을 인식하기 위해서 정의된 모든 행동에 대하여 세부 행동 베이지안 네트워크를 설계한다. 그러나 모바일 기기에서 수집되는 정보들로부터 이 행동들을 모두 정확하게 인식하기는 어렵다. 왜냐면 비슷한 증거를 포함하는 유사한 행동들을 정확히 구분해내기 어렵기 때문이다. 그러나 유사한 행동을 정확히 구분해내지 못한다고 하더라도 그 행위가 어느 범주에 속하는지 판단할 수 있다면 그것만으로도 현재의 행동에 대해서 판단할 수 있는 근거를 제공할 수 있다. 따라서 본 발명에서는 각각의 세부적인 행동을 포함하는 상위 행동 카테고리를 제시하고 각각의 행동에 대한 확률값을 증거로 하여 상위 행동을 추론할 수 있도록 설계한다. 즉, 가상 노드를 추가하여 실제로 관찰된 증거와 확률값을 모두 상위 행동의 노드로 전달 할 수 있도록 한다.

이하 가상 노드를 추가하여 상위 행동을 추론하는 과정에 대한 설명을 개시한다.

도 5a는 본 발명의 다른 실시예에 따라 가상 노드를 추가하여 상위 행동을 추론하는 과정을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 각각의 개별적인 행동이 하나의 큰 행동 범주를 추론하기 위하여 사용된다. 즉, ‘Sports‘, ’Dance‘ 등의 행동은 결과적으로 하나의 ‘Active Leisure’ 라는 큰 행동 범주를 추론하기 위한 재료로써 이용된다. 이런 접근 방법은 개별 행동에 대한 정확도가 낮더라도 행동 범주에 대한 정확률(precision)을 높일 수 있다.

또한, 본 실시예에서 베이지안 네트워크 확률모델은 모듈화된 구조인 것이 바람직하다. 도 5b는 본 발명의 다른 실시예에 따른 모듈화된 베이지안 네트워크의 개념도이다. 도 5b에 도시된 바와 같이, 베이지안 네트워크는 분할된 도메인(PN1, PN2, …, PNn)에 따라 모듈화되어 있다. 여기서, 베이지안 네트워크는 예를 들면, 식사 관련 확률 모듈, 교통 상황 확률 모듈 등 일정 기준에 따라 모듈화될 수 있다. 이때, 확률분석부(153)는 식사 관련 확률 모듈(예를 들면, PN1)을 통하여 '식사 중' 혹은 '외식 중' 등과 같은 메타데이터를 생성하고, 교통 상황 확률 모듈(예를 들면, PN2)을 통하여 현재 사용자가 이용 중인 교통수단 혹은 교통 정체 여부와 관련된 메타데이터를 생성한다.

이 과정에서 대표적인 베이지안 네트워크 확률모델에서 사용되는 확률 연산 방법이 사용될 수 있다. 나아가, 이와 같이 확률모델이 여러 개의 확률모듈로 나뉘어 있는 경우에는 각 모듈 간의 연관성을 고려하여 확률 계산을 수행하는 것이 효율적이다. 이를 위하여 도 5b에 도시된 바와 같이, 각 확률 모듈에서 생성된 메타데이터와 그 확률값을 저장하였다가 확률 증거로 입력하여 반영하는 가상 연결 기법을 사용할 수 있다. 가상 연결기법은 확률적인 증거를 반영하기 위해 가상 노드를 추가하고 추가된 노드의 확률값(Conditional Probability Value : CPV)을 통해 증거의 확률을 적용하는 방법이다. 이러한 가상 연결 기법은 [K.-S. Hwang, S.-B. Cho and Jong-Ho Lea, "A Bayesian inference model for landmarks detection on mobile devices," Journal of Korea Information Science Society: Computing Practices, vol. 13, no. 1, pp. 35-45, 2007. 02.]에 기술되어 있으므로 상세한 설명은 생략하기로 한다.

이와 같이 사용자의 행동패턴이 추론되면, 태깅 UI부(130)(도 1 참조)는 행동패턴 추론부(120)에서 추론된 사용자의 행동패턴에 대한 확률을 이용하여 현재의 행동에 가장 일치하는 행동패턴 정보를 우선적으로 시각화된 인터페이스로 형성하여 제공한다. 본 발명에 있어서, 태깅(taging)이란, 데이터를 작성, 갱신한 사람이 그 데이터가 무엇인지를 몇 개의 단어(keyword)로 요약해 놓은 것으로서 콘텐츠의 내용을 대표할 수 있는 검색용 꼬리표인 키워드 또는 태그를 다는 것을 의미한다.

태깅 UI부(130)는 사용자로부터 태깅 정보를 입력받는 구성으로서, 사용자는 인터페이스로 디스플레이된 행동패턴정보를 선택하여 추가적인 정보를 저장할 수 있으며, 이렇게 사용자에 의해 태깅된 정보는 DB서버(140)에 저장되어 이후에 데이터를 검색, 분류 및 관리하는 데 활용될 수 있다.

또한, 태깅 UI부(130)는 행동패턴 정보 중 가장 높은 확률로 추론된 행동패턴 정보를 우선적으로 시각화된 인터페이스로 형성할 수 있는데, 여기서 우선적으로 시각화된 인터페이스로 형성한다는 것은 예를 들면, 높은 확률값으로 추론된 행동패턴 정보에 대응하는 후술할 행동버튼의 크기를 보다 낮은 확률값으로 추론된 행동패턴 정보에 대응하는 행동버튼의 크기보다 더 크게 하거나, 행동패턴 정보를 인터페이스에 시각화함에 있어서 강조부호 또는 강조표시를 사용하여 표시하는 것 을 의미한다. 또한, 우선적으로 시각화되는 행동패턴 정보는 확률이 높은 순서에서 낮은 순서로 행동버튼의 크기를 줄여가거나, 강조표시 될 행동패턴 정보의 색 또는 선굵기 등을 조절하는 것에 의해 달성될 수 있다.

도 6은 본 발명의 일 실시예에 따라 사용자가 직접 태깅할 수 있는 인터페이스를 나타낸 도면, 도 7은 본 발명의 일 실시예에 따른 사용자가 직접 태깅할 수 있는 행동버튼을 발생확률에 따라 다양하게 시각화한 것을 예시한 도면이다.

도 6에 도시된 바와 같이, 본 발명의 태깅 UI부는 사용자가 직접 태깅할 수 있는 인터페이스를 구비하며, 인터페이스는 풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭 그리고 상위행동버튼과 하위행동버튼(참조번호 미부여)을 포함한다. 그리고, 태깅 UI부는 상기 컨텍스트 정보와 상기 행동패턴 정보를 미리 정해진 시간 단위로 스케줄(schedule)화 하여 시각화된 인터페이스로 형성할 수 있다. 일례로, 태깅 UI(130)부에 구비되는 인터페이스는 선택된 날짜에 해당하는 상황정보를 30분 단위의 스케줄 형태로 사용자에게 제공한다. 이 때 각 라인에 존재하는 정보들은 시작 시간과 종료 시간을 가지고 있으며, 각각의 정보들의 특성에 따라서 숫자나 문자로 표시된다. 예를 들어 음악을 청취((mp3)하거나 문자 메시지(sms)를 주고받았다면, 그 횟수를 나타내기 위하여 숫자로 그 발생횟수를 표시한다. 한편, 현재 사용자의 활동량을 표시하기 위해서는 Busy(바쁨), Idle(한가함)등의 문자로 현재 사용자의 활동 상태(status)를 표현한다.

인터페이스는 사용자의 이름과 날짜를 선택하거나, 태깅하려는 파일을 선택하면 화면 가운데에 위치한 라이프로그윈도우에서 30분단위로 하루 동안의 로그 흐 름을 볼 수 있다. 또한, 사용자가 태깅하려는 시간을 클릭하면 상위행동버튼과 하위행동버튼을 이용하여 확률이 높은 순으로 상위수준 컨텍스트를 추천 받을 수 있으며 사진정보가 있을 경우 사진탭에서 확인할 수 있다.

인터페이스의 효과적인 시각화를 위해 중요한 정보인 장소, 상태, 감정 그리고 상위행동과 하위행동을 눈에 띄는 색으로 포인트를 주었으며 행동버튼에는 알맞은 이미지를 제공하여 인터페이스의 직관성, 학습성 및 디자인성을 높였다.

도 7에 도시된 바와 같이, 본 발명의 인터페이스는 행동패턴 추론부(130)을 통해 추론된 행동이 그 발생확률에 따라 행동버튼의 크기와 색상을 달리한 이미지로 표현하는데, 발생확률에 따라 메인 카테고리(main category)와 서브 카테고리(sub category)로 구분된다.

메인 카테고리에 정의된 행동은 그 발생확률에 따라 행동버튼의 크기를 달리한 것인데, 행동버튼의 크기가 클수록 발생확률이 높은 행동이라는 것을 표시한다.

서브 카테고리에 정의된 행동은 선택된 메인 카테고리와 관련된 하위 행동을 나타낸 것으로, 상기 메인 카테고리에서와 같이 행동버튼의 크기로서 발생확률의 차이를 나타낸다.

사용자는 상기 메인 카테고리로 추천되는 행동버튼을 선택할 수 있고, 그에 따라 변경되는 서브 카테고리의 행동버튼을 선택할 수 있다. 도 7을 참조하면, 각 카테고리의 우측 상방 영역에는 N표시가 되어 있는데, 이는 각 카테고리별로 추천되는 행동패턴 정보에 따른 행동버튼으로 표현되지 않은 다른 행동버튼을 검색하기 위해 구비된다. 도 7에서는 각 카테고리별로 3개의 행동버튼을 형성하였으나, 이는 일례로서, 개수를 다양하게 할 수 있음은 물론이다.

다음으로, 본 발명의 일 실시예에 따른 개인의 일상생활 관리방법에 관해 설명을 개시한다.

도 8은 본 발명의 일 실시예에 따른 개인의 일상생활 관리방법에 관한 흐름도, 도 9는 본 발명의 일 실시예에 따른 행동패턴 추론방법에 관한 흐름도이다.

도 8을 참조하면, 개인의 일상생활 관리방법은, 사용자의 컨텍스트 정보를 수집하는 단계(S100), 컨텍스트 정보를 분석하여 메타데이터를 생성하는 단계(S200), 확률모델을 이용하여 행동패턴을 추론하는 단계(S300), 컨텍스트 정보와 행동패턴 정보를 시각화된 인터페이스로 표현하는 단계(S400), 사용자가 인터페이스를 통해 직접 자신의 정보를 태깅하는 단계(S500)를 포함한다. 이후에 수집된 컨텍스트 정보, 행동패턴 정보 및 사용자가 태깅한 정보를 메타데이터 형태로 변환하여 이를 활용할 수 있도록 메타데이터를 데이터 베이스에 저장하는 단계(S600)가 더 포함될 수 있다.

S100단계는, 모바일 기기를 통해 사용자에 관한 컨텍스트 정보를 수집하는 단계로 정보의 수집은 데이터 수집부에서 행한다. 데이터 수집부에서 이루어지는 정보 수집과 관련된 내용은 상술한 바 있으므로, 여기서는 생략하기로 한다.

S200단계는, 상기 S100단계의 데이터 수집부에 수집된 컨텍스트 정보를 분석하여 메타데이터를 생성하는 단계로서 행동패턴 추론부에 구비된 메타데이터 생성부에서 구현된다. 컨텍스트 정보로부터 의미 있는 형태의 정보인 메타데이터를 생성하는 방법은 후술하기로 한다.

S300단계는, 생성된 메타데이터를 기초로 확률모델을 적용하여 사용자의 행동패턴 정보를 생성하는 단계로서, 이것은 행동패턴 추론부에서 구현되며, 본 발명에서는 확률모델로서 베이지안 네트워크 형태의 확률모델이 사용될 수 있으며, 베이지안 네트워크는 행동 이론에 기반한 확률모델로서, 계층적인 구조를 이용하여 행동패턴을 추론하는 것이 바람직하다. 더욱 바람직하게는 상기 확률모델은 가상 노드를 이용하여 상위 행동을 추론하는 방법을 사용할 수 있으며, 베이지안 네트워크 확률모델을 모듈화 하여 분할된 도메인을 형성하여 각 확률모델에서 생성된 메타데이터와 그 확률값을 저장하였다가 확률 증거로 입력하여 반영하는 가상 연결 기법을 사용할 수 있다. 이에 대한 상세한 설명은 상술한 바 있으므로, 여기서는 생략하기로 한다.

S400단계는, 사용자의 컨텍스트 정보와 추론된 행동패턴 정보를 시각화된 인터페이스로 형성하는 단계로서, 본 발명은 태깅 UI부를 구비하여 상기 정보들을 인터페이스로 제공한다. 인터페이스에 대한 상세한 설명은 상술한 바로 갈음한다.

S500단계는, 사용자가 인터페이스를 이용하여 정보를 태깅하는 단계로서, 예를 들면 사용자가 태깅하고자 하는 시간을 클릭하면 상위행동버튼과 하위행동버튼을 이용하여 상기 시간에 대응하는 컨텍스트를 확률이 높은 순으로 상위수준 컨텍스트가 추천되며, 사진정보가 있을 경우 사진탭에서 사진이 제공된다. 또한, 인터페이스의 효과적인 시각화를 위해 중요한 정보인 장소, 상태, 감정 그리고 상위행동과 하위행동을 눈에 띄는 색으로 포인트를 주었으며 행동버튼에는 알맞은 이미지를 제공하여 인터페이스의 직관성, 학습성 및 디자인성을 높였다.

S600단계는, 사용자가 태깅한 정보를 메타데이터 형태로 변환하여 데이터 베이스에 저장하는 단계이다. 이 단계는 태깅 정보를 데이터 베이스에 저장하여 이후에 멀티미디어 데이터를 검색하고, 분류 및 관리할 수 있기 위한 단계로 사용자는 상기 S500단계에서 태깅 정보를 수정하거나 보충 및 삭제 할 수 있는데, 이에 따라 갱신되는 정보는 다시 상술한 행동패턴 추론부를 거쳐 메타데이터 형태로 변화되어 데이터베이스에 저장된다.

이하에서는 상기 S200단계의 컨텍스트 정보로부터 의미 있는 형태의 정보인 메타데이터를 생성하는 방법에 관해서 도 9를 참조하여 설명한다.

도 9는 본 발명의 메타데이터 생성부에서 메타데이터를 하는 과정에 관한 흐름도이다. 메타데이터의 생성은, 특정규칙을 만족하는 메타데이터를 생성하는 단계(S210), 통계적인 의미를 나타내는 메타데이터를 생성하는 단계(S220) 및 확률모델을 통해 메타데이터를 생성하는 단계(S230)를 포함한다.

S210단계는, 메타데이터 생성부의 규칙분석부에서 구현되는 것이며 모바일 기기로부터 수집되는 사용자의 컨텍스트 정보를 분석하여 특정 규칙을 만족하는 메타데이터를 생성한다.

S220단계는, 메타데이터 생성부의 통계분석부에서 구현되며, 모바일 기기로부터 수집된 컨텍스트 정보를 분석하여 통계적인 의미를 나타내는 메타데이터를 생성한다.

S230단계는, 메타데이터 생성부의 확률분석부에서 구현되며, 모바일 기기로부터 수집된 컨텍스트 정보, 또는 규칙분석부 또는 통계분석부에서 생성된 메타데 이터를 바탕으로 확률모델을 통해 메타데이터를 생성한다.

본 발명에 따른 개인의 일상생활 관리방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명의 사상적 범주에 속한다.

도 1은 본 발명의 일 실시예에 따른 개인의 일상생활 관리장치를 나타낸 블록도,

도 2는 본 발명의 일 실시예에 행동패턴 추론부를 나타낸 블록도,

도 3은 본 발명의 일 실시예에 따른 특정행동에 대한 컨텍스트 노드와 증거노드의 연결관계를 나타낸 도면,

도 4는 본 발명의 일 실시예에 따라 설계된 베이지안 네트워크(BN)의 구현예를 나타낸 도면,

도 5a는 본 발명의 다른 실시예에 따라 가상노드를 추가하여 상위 행동을 추론하는 과정을 설명하기 위한 도면,

도 5b는 본 발명의 다른 실시예에 따른 모듈화된 베이지안 네트워크의 개념도,

도 6은 본 발명의 일 실시예에 따라 사용자가 직접 태깅할 수 있는 인터페이스를 나타낸 도면,

도 7은 본 발명의 일 실시예에 따른 사용자가 직접 태깅할 수 있는 행동버튼을 발생확률에 따라 다양하게 시각화한 것을 예시한 도면,

도 8은 본 발명의 일 실시예에 따른 개인의 일상생활 관리방법에 관한 흐름도,

도 9는 본 발명의 메타데이터 생성부에서 메타데이터를 생성하는 과정에 관한 흐름도이다.

Claims (13)

1. 모바일 기기를 통해 수집되는 정보에 기반한 개인의 일상생활 관리장치에 있어서,

   모바일 기기를 통해 사용자의 컨텍스트(context)정보를 수집하는 데이터 수집부;

   상기 컨텍스트 정보에 조건부 확률을 이용한 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 행동패턴 추론부;

   상기 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이스로 형성하 고 사용자로부터 행동 범위를 구분하여 검색 범위를 감소시키기 위한 태깅(tagging)정보를 입력받는 태깅 UI부; 및

   사용자가 미리 설정한 규칙 및 통계 정보에 기초해 상기 컨텍스트 정보를 분석하고, 상기 행동패턴 정보 및 상기 태깅 정보를 분석하여 목표 노드, 컨텍스트 노드 및 증거 노드로 구성된 확률 모델 계층 구조를 기초로 의미있는 형태의 정보인 메타데이터로 생성하는 메타데이터 생성부를 포함하는 개인의 일상생활 관리장치.
2. 제1항에 있어서,

   상기 태깅 UI부는 상기 컨텍스트 정보와 상기 행동패턴 정보를 미리 정해진 시간 단위로 스케줄링(scheduling)하여 시각화된 인터페이스로 형성하는 것을 특징으로 하는 개인의 일상생활 관리장치.
3. 제1항에 있어서,

   상기 확률모델은 모듈화된 베이지안 네트워크(Bayesian Network) 형태인 것을 특징으로 하는 개인의 일상생활 관리장치.
4. 삭제
5. 제3항에 있어서,

   상기 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함하는 것을 특징으로 하는 개인의 일상생활 관리장치.
6. 제1항에 있어서,

   상기 인터페이스는 풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭, 행동버튼 중 적어도 하나를 포함하는 것을 특징으로 하는 개인의 일상생활 관리장치.
7. 제6항에 있어서,

   상기 행동버튼은 행동에 대응하는 이미지를 포함하며, 상기 추론된 행동패턴의 발생확률에 따라 상기 행동버튼의 크기와 색상을 달리하는 것을 특징으로 하는 개인의 일상생활 관리장치.
8. 모바일 기기를 통해 수집되는 정보에 기반한 개인의 일상생활 관리방법에 있어서,

   (a) 모바일 기기를 통해 사용자의 컨텍스트 정보를 수집하는 단계;

   (b) 상기 컨텍스트 정보에 조건부 확률을 이용한 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 단계;

   (c) 상기 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이스로 형성하는 단계;

   (d) 상기 (c)단계에서 형성된 인터페이스를 이용하여 사용자로부터 행동 범위를 구분하여 검색 범위를 감소시키기 위한 태깅 정보를 입력받는 단계; 및

   (e) 사용자가 미리 설정한 규칙 및 통계 정보에 기초해 상기 컨텍스트 정보를 분석하고, 상기 행동패턴 정보 및 상기 태깅 정보를 분석하여 목표 노드, 컨텍스트 노드 및 증거 노드로 구성된 확률 모델 계층 구조를 기초로 의미있는 형태의 정보인 메타데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 개인의 일상생활 관리방법.
9. 삭제
10. 제8항에 있어서,

    상기 (b)단계에서, 상기 확률모델은 모듈화된 베이지안 네트워크 형태인 것을 특징으로 하는 개인의 일상생활 관리방법.
11. 제10항에 있어서,

    상기 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함하는 것을 특징으로 하는 개인의 일상생활 관리방법.
12. 삭제
13. 제8항, 제10항 및 제 11항 중 어느 한 항에 기재된 개인의 일상생활 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images