KR20110039733A - Apparatus and method for managing personal life - Google Patents

Apparatus and method for managing personal life Download PDF

Info

Publication number
KR20110039733A
KR20110039733A KR1020090096700A KR20090096700A KR20110039733A KR 20110039733 A KR20110039733 A KR 20110039733A KR 1020090096700 A KR1020090096700 A KR 1020090096700A KR 20090096700 A KR20090096700 A KR 20090096700A KR 20110039733 A KR20110039733 A KR 20110039733A
Authority
KR
South Korea
Prior art keywords
information
user
behavior pattern
metadata
tagging
Prior art date
Application number
KR1020090096700A
Other languages
Korean (ko)
Other versions
KR101133515B1 (en
Inventor
조성배
이영설
황주원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090096700A priority Critical patent/KR101133515B1/en
Publication of KR20110039733A publication Critical patent/KR20110039733A/en
Application granted granted Critical
Publication of KR101133515B1 publication Critical patent/KR101133515B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Abstract

PURPOSE: An apparatus and method for managing personal life are provided to easily store memories and experiences of a user to a database by visually expressing metadata. CONSTITUTION: A data collector(110) collects context information of a user through a mobile device. A behavioral pattern inferring unit(120) infers the behavioral pattern of a user by applying a probability model as the context information. A tagging UI unit(130) forms the context information and behavioral pattern information into a visualized interface. The tagging UI unit receives the inputted tagging information from the user. A metadata generator analyzes the context information, the behavioral pattern information, and the tagging information, and generates a metadata with the analyzed information.

Description

개인의 일상생활 관리장치 및 관리방법{Apparatus and Method for Managing Personal Life}Apparatus and Method for Managing Personal Life}

본 발명은 개인의 일상생활을 관리하는 장치 및 그 방법에 관한 기술로서, 보다 상세하게는 사용자의 생활에 관련된 정보를 모바일 기기를 통하여 수집하고, 수집된 정보를 행동 이론에 기반한 확률모델에 적용하여 사용자의 행동이나 감정을 추론하고 추론된 정보를 토대로 모바일 컨텐트(사진, 동영상 등)에 태깅하는 장치 및 방법에 관한 것이다.The present invention relates to a device and method for managing an individual's daily life, and more particularly, to collect information related to a user's life through a mobile device, and to apply the collected information to a probability model based on behavior theory. An apparatus and method for inferring a user's behavior or emotion and tagging mobile content (photos, videos, etc.) based on the inferred information.

디지털 카메라 및 휴대전화 등과 같은 모바일 기기는 통화 기록, 사진 촬영, 음악 파일 재생, 위치 정보 등과 같이 다양한 정보를 수집할 수 있으며, 사용자가 항상 휴대하기 때문에 사용자의 일상 정보를 효과적으로 수집할 수 있다. 또한, 모바일 기기는 개인성이 강한 장비이므로, 개인의 기호나 성향에 따라 적응되어 특화될 수 있다. 이와 같이, 모바일 기기를 통해 수집된 정보를 효율적으로 이용한다면, 모바일 기기들을 라이프 레코더로 사용하는 사용자들에게 보다 다양한 서비스를 제공할 수 있다. 이러한 기술의 일환으로서, 모바일 기기를 통해 사용자의 일상생활에 관한 정보를 수집하고, 수집된 정보를 바탕으로 사용자의 행동패턴을 모델 링하는 기술이 연구되고 있다. 그러나, 모바일 디바이스를 통해 수집된 정보를 바탕으로 사용자의 질의에 따라 사용자에 개인화된 정보를 검색할 수 있는 기술은 구체적으로 다루어지지 않고 있다.Mobile devices such as digital cameras and mobile phones can collect various information such as call logs, photo shoots, music file playback, location information, and the like, and can carry the user's daily information effectively because the user always carries it. In addition, since the mobile device is a strong personality equipment, it can be adapted and specialized according to the preferences or preferences of the individual. As such, if the information collected through the mobile device is effectively used, more various services may be provided to users who use the mobile devices as life recorders. As a part of such technology, a technology for collecting information about a user's daily life through a mobile device and modeling a user's behavior pattern based on the collected information has been studied. However, the technology of searching for personalized information to the user according to the user's query based on the information collected through the mobile device is not dealt with in detail.

또한, 최근 모바일 기기의 성능 향상과 휴대폰 카메라 기능의 일반화로 모바일 기기에서의 컨텐트(content) 제작 능력은 크게 증가하였으나, 모바일 기기에서 생성된 사진 및 동영상 등의 멀티미디어 컨텐트에 대한 검색 및 관리 기능은 크게 발전하지 못하고 있다. 이를 위하여 영상 분석 기술을 이용하거나 컨텐트 생성 시점의 상황 정보(GPS 위치 정보, Cell ID, EXIF 정보 등)를 함께 기록하는 방법이 제안되고 있으나 현재 기술로는 상황 정보(context information)만을 사진에 함께 기록하는 수준에 그치고 있다.In addition, due to the recent improvement in mobile device performance and the generalization of mobile phone camera functions, the ability to create content on mobile devices has greatly increased, but the search and management of multimedia content such as photos and videos created on mobile devices has greatly increased. It is not developing. For this purpose, a method of using image analysis technology or recording situation information (GPS location information, Cell ID, EXIF information, etc.) at the time of content creation has been proposed, but currently, only context information is recorded together in a photo. I'm just at the level.

따라서 단순히 사진만이 아니라 모바일 기기에 저장된 여러 정보를 이용하여 사용자의 행동패턴을 추론하고 이 추론된 정보와 수집된 상황정보(장소, 시간, 그 외의 기타 정보)들을 이용하여 컨텐트에 표시하여 준다면 컨텐트의 내용을 관리하거나 검색하는 데 유용한 지표로 활용될 수 있을 것이다. Therefore, if you infer the user's behavior pattern by using various information stored in the mobile device, not just the picture, and display the content by using the inferred information and the collected situation information (place, time, and other information) It can be used as a useful indicator to manage or search the contents of the program.

따라서, 본 발명이 이루고자 하는 기술적 과제는 모바일 기기를 통해 수집된 데이터로부터 사용자의 행동패턴을 추론하고 추론된 정보를 다양한 멀티미디어 컨텐트의 관리 및 검색을 위한 메타데이터 형태로 제공하는 개인의 일상생활 관리장치 및 관리방법을 제공하는 것이다.Therefore, the technical problem to be achieved by the present invention is to infer the user's behavior pattern from the data collected through the mobile device, and to provide the inferred information in the form of metadata for the management and search of various multimedia content, personal daily life management device And to provide a management method.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 사용자가 직접 의미 정보를 태깅할 수 있도록 모바일 기기로부터 수집된 정보와 행동패턴을 추론하여 생성된 정보를 시각화된 인터페이스로 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is to provide the information generated by inferring the information and behavior patterns collected from the mobile device in a visualized interface so that the user can tag the semantic information directly.

또한, 본 발명은 개인의 일상생활 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 기술적 과제로 한다.Another object of the present invention is to provide a computer-readable recording medium having recorded thereon a program for executing an individual's daily life management method on a computer.

그러나, 본 발명의 기술적 과제는 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the technical problem of the present invention is not limited to the above-mentioned matters, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기한 기술적 과제를 달성하기 위해서 본 발명에 따른 개인의 일상생활 관리장치는, 모바일 기기를 통해 사용자의 컨텍스트(context)정보를 수집하는 데이터 수집부와, 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 행동패턴 추론부와, 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이 스로 형성하고 사용자로부터 태깅(tagging)정보를 입력받는 태깅 UI부 및 상기 컨텍스트 정보, 상기 행동패턴 정보 및 상기 태깅 정보를 분석하여 의미있는 형태의 정보인 메타데이터로 생성하는 메타데이터 생성부를 포함할 수 있다.In order to achieve the above technical problem, an individual's daily life management apparatus according to the present invention includes a data collector for collecting context information of a user through a mobile device, and a user's behavior by applying a probabilistic model to the context information. A behavior pattern inference unit that infers pattern information, a tagging UI unit that forms context information and the behavior pattern information as a visualized interface, and receives tagging information from a user, the context information, the behavior pattern information, and the tagging It may include a metadata generator for analyzing the information to generate a metadata that is a meaningful form of information.

바람직하게는, 상기 태깅 UI부는 상기 컨텍스트 정보와 상기 행동패턴 정보를 미리 정해진 시간 단위로 스케줄링(scheduling)하여 시각화된 인터페이스로 형성할 수 있을 것이다.Preferably, the tagging UI may be configured as a visualized interface by scheduling the context information and the behavior pattern information by a predetermined time unit.

또한 바람직하게는, 상기 확률모델은 모듈화된 베이지안 네트워크(Bayesian Network) 형태일 수 있을 것이다. 그리고, 모듈화된 베이지안 네트워크는 상기 행동패턴에 영향을 미치는 변수인 각 노드마다 레벨 정보를 가지는 계층적 구조인 것이 바람직할 것이다. 더욱 바람직하게는 상기 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함할 수 있을 것이다.Also preferably, the probabilistic model may be in the form of a modular Bayesian network. In addition, the modular Bayesian network may be a hierarchical structure having level information for each node that is a variable affecting the behavior pattern. More preferably, each module constituting the probabilistic model may include a virtual node that reflects probabilistic evidence.

또한 상기 인터페이스는 풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭, 행동버튼 중 적어도 하나를 포함하는 것이 바람직할 것이다.In addition, the interface may include at least one of a pull-down menu, an icon menu, a life log window, a photo tab, a life log tab, and an action button.

상기한 기술적 과제를 달성하기 위해서 본 발명에 따른 개인의 일상생활 관리방법은, (a) 모바일 기기를 통해 사용자의 컨텍스트 정보를 수집하는 단계와, (b) 상기 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 단계와, (c) 상기 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이스로 형성하는 단계 및 (d) 상기 (c)단계에서 형성된 인터페이스를 이용하여 사용자로부터 태깅 정보를 입력받는 단계를 포함할 수 있다. In order to achieve the above technical problem, the individual's daily life management method according to the present invention comprises the steps of: (a) collecting the user's context information through a mobile device, and (b) applying a probability model to the context information to the user Inferring the behavior pattern information of (c), (c) forming the context information and the behavior pattern information into a visualized interface, and (d) input tagging information from the user using the interface formed in the step (c). Receiving step may include.

그리고, (d)단계 이후에는 (e) 컨텍스트 정보, 행동패턴 정보 및 태깅 정보 를 분석하여 의미있는 형태의 정보인 메타데이터를 생성하는 단계를 더 포함하는 것이 더욱 바람직할 것이다. Further, after step (d), it may be further preferable to further include (e) analyzing the context information, the behavior pattern information, and the tagging information to generate metadata that is meaningful information.

또한 바람직하게는, 상기 확률모델은 모듈화된 베이지안 네트워크 형태일 수 있을 것이다. 그리고 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함하는 것이 바람직할 것이다.Also preferably, the probabilistic model may be in the form of a modular Bayesian network. Each module constituting the probabilistic model may include virtual nodes that reflect probabilistic evidence.

또한, 상기 모듈화된 베이지안 네트워크는 상기 행동패턴에 영향을 미치는 변수인 각 노드마다 레벨 정보를 가지는 계층적 구조인 것이 바람직할 것이다.In addition, the modular Bayesian network may be a hierarchical structure having level information for each node that is a variable affecting the behavior pattern.

또한, 상기한 기술적 과제를 달성하기 위해서 본 발명은 개인의 일상생활 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 제공할 수 있을 것이다.In addition, in order to achieve the above technical problem, the present invention may provide a computer-readable recording medium that records a program for executing an individual's daily life management method on a computer.

상기한 바와 같이 본 발명에 의한 개인의 일상생활 관리장치 및 관리방법에 따르면 상대적으로 적은 노력과 시간을 들여 멀티미디어 컨텐트에 사용자의 행동패턴을 반영하는 메타데이터를 생성할 수 있으며, 이런 메타데이터를 사용자에게 시각적으로 표현함으로써, 사용자가 손쉽게 자신의 경험과 기억을 데이터 베이스에 저장하고 이후에 검색 및 관리를 위하여 사용할 수 있다.As described above, according to the individual's daily life management apparatus and management method according to the present invention, it is possible to generate metadata reflecting the user's behavior pattern in the multimedia content with relatively little effort and time. By visually expressing to the user, users can easily store their experiences and memories in a database and use them for later retrieval and management.

이하, 첨부된 도면을 참조하여 본 발명을 설명하는데 있어서, 구성 요소들의 참조 부호는 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하였음에 유의해야 한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, in the following description of the present invention with reference to the accompanying drawings, it should be noted that the same reference numerals for the same components have the same reference numerals as much as possible even if displayed on different drawings. At this time, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.

본 명세서에서 사용하게 될 '부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 일례로 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터 베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 각 구성요소들에서 제공되는 기능은 더 작은 수의 구성요소들로 결합되거나 추가적인 구성요소들로 더 분리될 수 있다.As used herein, the term 'unit' refers to a hardware component such as software or a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and performs certain roles. But wealth is not limited to software or hardware. The 'unit' may be configured to be in an addressable storage medium and may be configured to execute one or more processors. By way of example, a 'part' is a component, such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, subroutines. , Segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. In addition, the functionality provided in each component may be combined into a smaller number of components or further separated into additional components.

본 발명에 있어서 사용되는 컨텍스트 정보는 모바일 기기의 사용자에 관련된 상황 정보, 상태 정보 등을 지칭하는 것으로, 본 발명에서는 모바일 기기에서 수집된 다양한 데이터를 의미한다. 예를 들어, 웹이나 스케줄 정보, 혹은 GPS 장치에 의하여 얻는 정보를 참고하며, 동시에 모바일 기기에서 생성되는 멀티미디어 컨텐트를 사용한다. 좀 더 구체적으로, 날씨, 기온, 풍속 그리고 웹에서 수집할 수 있 는 일반 상식에 관련된 정보, 나이, 성별, 직업, 기호, 습관, 주소, 기념일 등의 개인 신상 정보와 통화, SMS, 이미지 촬영, 음악 파일 재생 등의 보, GPS 장치를 이용하여 수집된 위치 정보 등이 사용될 수 있다. The context information used in the present invention refers to context information and state information related to the user of the mobile device, and means various data collected by the mobile device in the present invention. For example, it refers to the web, schedule information, or information obtained by a GPS device, and simultaneously uses multimedia content generated by a mobile device. More specifically, personal information such as age, gender, occupation, symbols, habits, addresses, anniversaries, information about calls, SMS, image capture, Beams such as music file playback, location information collected using a GPS device, and the like may be used.

또한, 개인의 일상생활 관리장치는 디지털 장치로 구현될 수 있다. 여기서 디지털 장치란 디지털 데이터를 처리하는 디지털 회로를 가진 장치로서, 컴퓨터, 디지털 카메라, 디지털 가전기기, 디지털 전화, 디지털 프로젝트, 홈서버, 디지털 비디오 레코더, 디지털 위성 방송 수신기, 셋탑박스 및 디지털 TV 방송 수신기 등을 예로 들 수 있다. 이하의 실시 예에서는 제안하는 방법이 휴대전화로부터 수집된 정보를 기반으로 구현되는 경우를 예로 들어 설명하기로 한다.In addition, the individual's daily life management device may be implemented as a digital device. A digital device is a device having a digital circuit that processes digital data, and includes a computer, a digital camera, a digital home appliance, a digital telephone, a digital project, a home server, a digital video recorder, a digital satellite broadcast receiver, a set-top box, and a digital television broadcast receiver. Etc. can be mentioned. In the following embodiment, a case where the proposed method is implemented based on information collected from a mobile phone will be described as an example.

도 1은 본 발명의 일 실시예에 따른 개인의 일상생활 관리장치를 나타낸 블록도, 도 2는 본 발명의 일 실시예에 행동패턴 추론부를 나타낸 블록도이다.1 is a block diagram showing an apparatus for managing a daily life of an individual according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a behavior pattern inference unit in an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 개인의 일상생활 관리장치(100)는 데이터 수집부(110), 행동패턴 추론부(120), 태깅 UI부(130) 및 메타데이터 생성부(150)를 포함한다.As shown in FIG. 1, the apparatus 100 for managing everyday life of an individual according to an embodiment of the present invention includes a data collector 110, a behavior pattern inference unit 120, a tagging UI unit 130, and metadata. The generation unit 150 is included.

데이터 수집부(110)은 모바일 기기를 통해 사용자의 일상생활과 관련된 컨텍스트 정보를 수집한다. 예를 들면, 데이터 수집부(110)는 사용자의 위치 정보를 수집한다. 이를 위하여 데이터 수집부(110)는 위성항법장치(Global Positioning System;GPS)를 포함할 수 있다. 위성항법장치는, 사용자의 위치를 나타내는 좌표값을 수신한다. 또는 GSM Cell ID등을 이용한 방문장소 등에 대한 정보를 수집할 수 있다.The data collector 110 collects context information related to the daily life of the user through the mobile device. For example, the data collector 110 collects user location information. To this end, the data collection unit 110 may include a Global Positioning System (GPS). The satellite navigation apparatus receives a coordinate value indicating the position of the user. Or it can collect information about the visit place using the GSM Cell ID.

이외에도 데이터 수집부(110)는 웹을 통해 날씨, 기온, 풍속 및 뉴스 등의 정보를 수집할 수도 있다. 또한, 데이터 수집부(110)는, 모바일 기기(10)의 사용 정보 즉, 통화 내역, 단문 메시지(Short Message Service; SMS) 송수신, 영상 촬영및 멀티미디어 컨텐트 재생과 관련된 로그 정보를 수집할 수 있다. 구체적으로, 사용자가 단문 메시지를 송신하는 경우, 데이터 수집부(110)는 예를 들어, 단문 메시지의 내용, 단문 메시지 수신자, 단문 메시지가 송수신된 시간등의 데이터를 수집한다. 통화 내역의 경우, 데이터 수집부(110)는 예를 들어, 통화 상대, 통화 상대방 번호 및 그룹, 통화 빈도, 통화 시간, 통화량 등에 대한 데이터를 수집한다. 또한, 멀티미디어 컨텐트 중 음악 파일(DMB, 영상 파일 등)이 재생된 경우, 데이터 수집부(110)는 예를 들어, 재생된 음악 파일(DMB, 영상 파일 등)의 장르, 제목, 가수명(배우명), 재생 횟수, 재생 시간 등에 대한 정보를 수집한다. 또한, 데이터 수집부(110)는 모바일 기기(10)의 충전 상태 정보를 수집할 수 있다. 데이터 수집부(110)에 의해 수집되는 정보의 종류는 모바일 기기(10)가 구비하고 있는 기능 또는 센서에 따라 달라질 수 있다. In addition, the data collection unit 110 may collect information such as weather, temperature, wind speed, and news through the web. In addition, the data collector 110 may collect usage information of the mobile device 10, that is, log information related to call history, short message service (SMS) transmission and reception, image capturing, and multimedia content playback. Specifically, when the user transmits the short message, the data collection unit 110 collects data such as the content of the short message, the short message receiver, and the time when the short message is transmitted and received. In the case of the call history, the data collection unit 110 collects data on, for example, a call partner, a call counterpart number and group, a call frequency, a talk time, a call volume, and the like. In addition, when a music file (DMB, video file, etc.) of multimedia content is played, the data collection unit 110, for example, the genre, title, artist name (actor name) of the played music file (DMB, video file, etc.) ), Information about the number of times of play, time of play, etc. is collected. In addition, the data collector 110 may collect charging state information of the mobile device 10. The type of information collected by the data collector 110 may vary depending on a function or a sensor provided by the mobile device 10.

본 발명에 따라 생성되는 메타데이터를 저장하기 위해 데이터베이스가 사용될 수 있는데 구체적인 실시예로서 도 1에 도시된 바와 같이 DB서버(140)로 구현될 수 있다. DB서버(140)는 데이터 수집부(110)에 의해 수집된 컨텍스트 정보를 적절한 형태로 변환하여 저장한다. 이때, 단순히 정보의 수집을 위하여 단기(short term) 저장 방식이 사용될 수 있으며, 이미 DB서버(140)에 저장된 정보는 보존을 위하여 모바일 기기(10)와 무선 또는 유선 네트워크를 통하여 연결된 대용량의 서 버(미도시)로 옮겨진 후 장기(long term) 저장 방식을 이용하여 저장될 수 있다. 후술하겠지만, DB서버(140)는 상기 모바일 기기(10)로부터 수집되는 컨텍스트 정보 외에도 메타데이터 생성부(120)에서 생성된 메타데이터를 저장하고, 또한, 상기 생성된 메타데이터 및 컨텍스트 정보중 적어도 일부와 관련된 메타데이터를 포함하면서 사용자의 행동패턴을 요약하여 구성되는 확률모델을 저장하는 역할을 한다.A database may be used to store metadata generated according to the present invention. As a specific embodiment, a database may be implemented as the DB server 140 as shown in FIG. 1. The DB server 140 converts and stores the context information collected by the data collector 110 into an appropriate form. In this case, a short term storage method may be used for simply collecting information, and the information already stored in the DB server 140 may be stored in a large capacity server connected to the mobile device 10 through a wireless or wired network. After moving to (not shown) it can be stored using a long term storage method. As will be described later, the DB server 140 stores metadata generated by the metadata generator 120 in addition to the context information collected from the mobile device 10, and also, at least a part of the generated metadata and context information. It includes the metadata associated with and stores the probabilistic model that is composed by summarizing the user's behavior patterns.

행동패턴 추론부(120)는 데이터 수집부(110)에서 제공된 정보를 이용하여 사용자의 행동패턴을 확률적으로 추론한다. The behavior pattern inference unit 120 probably infers a behavior pattern of the user by using the information provided by the data collection unit 110.

메타데이터 생성부(150)는 규칙부석부(151), 통계분석부(152) 및 확률분석부(153)를 구비하는 메타데이터 생성부(150)를 포함할 수 있다. The metadata generation unit 150 may include a metadata generation unit 150 including a rule analysis unit 151, a statistical analysis unit 152, and a probability analysis unit 153.

규칙분석부(151)는 모바일 기기(10)로부터 수집되는 사용자의 컨텍스트 정보를 분석하여 특정 규칙을 만족하는 메타데이터를 생성한다. 예를 들면, 수집된 컨텍스트 정보가 사용자의 위치를 나타내는 좌표값, 즉 GPS 위치 정보인 경우, 위도와 경도로 표시된 좌표값에 해당하는 장소에 대한 메타데이터를 생성한다. 또는 수집된 컨텍스트 정보가 어떤 전화번호, 예를 들면 010-XXX-XXXX로부터 걸려온 통화 기록인 경우, 통화목록에 대해 미리 정의된 규칙에 따라 '친구로부터의 전화' 혹은 '모르는 사람으로부터의 전화' 등과 같은 메타데이터를 생성한다.The rule analysis unit 151 analyzes the context information of the user collected from the mobile device 10 to generate metadata satisfying a specific rule. For example, when the collected context information is a coordinate value representing a user's location, that is, GPS location information, metadata about a place corresponding to the coordinate value represented by latitude and longitude is generated. Or if the collected context information is a call number from a telephone number, for example, 010-XXX-XXXX, such as 'call from a friend' or 'call from a stranger' according to a predefined rule for the call list. Generate the same metadata.

통계분석부(152)는 모바일 기기(10)로부터 수집된 컨텍스트 정보를 분석하여 통계적인 의미를 나타내는 메타데이터를 생성한다. 예를들어, 수집된 컨텍스트 정보가 통화량인 경우, 이를 분석하여 특정 시간대에서 통화량이 일상적인 수치에 비해 높을 경우, '통화 빈도 높음' 혹은 '통화 빈도 아주 높음' 등의 메타데이터를 생성한다.The statistical analyzer 152 analyzes the context information collected from the mobile device 10 to generate metadata representing statistical meanings. For example, if the collected context information is a call volume, it analyzes it and generates metadata such as 'high call frequency' or 'very high call frequency' when the call volume is higher than the usual value in a specific time period.

확률분석부(153)는 모바일 기기(10)로부터 수집된 컨텍스트 정보, 또는 규칙부(151) 또는 통계분석부(152)에서 생성된 메타데이터를 바탕으로통해 메타데이터를 생성한다. 여기서, 사용되는 확률모델로는 초기 모델로 미리 구축되어 있는 확률모델이 사용되어 확률모델을 통해 얻어지는 메타데이터의 확률이 소정 기준값 이상이거나 초과할 경우에 그 메타데이터가 사용자의 상황 또는 행동을 나타내는 메타데이터로 간주할 수 있을 것이다.The probability analyzer 153 generates metadata based on the context information collected from the mobile device 10 or metadata generated by the rule unit 151 or the statistical analyzer 152. In this case, as a probability model to be used, a probabilistic model previously constructed as an initial model is used, and when the probability of the metadata obtained through the probability model exceeds or exceeds a predetermined reference value, the metadata indicates a user's situation or behavior. You can think of it as data.

또한, 상기의 확률모델은 행동패턴 정보의 추론을 위해서 행동 이론에 기반한 확률모델을 이용할 수 있을 것이다. 여기에서의 행동 이론에 기반한 확률모델이란 정보들 사이의 조건부 확률 연관 관계를 통해 주어진 정보들이 얼마의 확률로 존재하는지 계산할 수 있는 모델을 의미한다. 본 실시예에서 확률모델로는 베이지안 네트워크(Bayesian Network) 형태의 확률모델이 사용될 수 있다. In addition, the probabilistic model may use a probabilistic model based on a behavioral theory to infer behavioral pattern information. The probabilistic model based on the theory of behavior herein refers to a model that can calculate the probability of given information through the conditional probability association between the information. In this embodiment, a probability model in the form of a Bayesian network may be used as the probability model.

베이지안 네트워크는 노드의 연결 관계를 표현하는 방향성 비순환 그래프(Directed acyclic graph : DAG) 형태이며, 이 구조에 따라 정의된 조건부 확률 테이블(Conditional Probability Table :CPT)에 의해 많은 확률 관계를 효율적으로 표현 및 계산할 수 있는 모델이다. 베이지안 네트워크에서는 데이터에 내재하는 변수들간의 관계를 노드(node)와 호(arc)를 가지고 나타내며 호로 표현되지 않은 확률 관계에 관해서는 조건부 독립 가정을 이용하는 방법이다. 베이지안 네트워크에서 각 노드들은 행동패턴에 영향을 끼치는 변수를 의미하며, 호(arc)는 각 노드들 간의 연관성을 나타낸다. 베이지안 네트워크 확률모델에 관한 구체적인 설명은 [K. B. Korb, and A. E. Nicholson, Bayesian Artificial Intelligence, Chapman &Hall/CRC, 2003]에 기술되어 있으므로 상세한 설명은 생략하기로 한다.A Bayesian network is a type of directed acyclic graph (DAG) that expresses the connection relationship of nodes. The Bayesian network can efficiently express and calculate many probability relationships by the Conditional Probability Table (CPT) defined by this structure. It can be a model. In Bayesian networks, the relationship between variables inherent in data is represented by nodes and arcs, and the conditional independence assumption is used for probability relationships not represented by arcs. In a Bayesian network, each node refers to a variable that affects a behavior pattern, and an arc represents an association between each node. A detailed description of the Bayesian network probabilistic model is given in [K. B. Korb, and A. E. Nicholson, Bayesian Artificial Intelligence, Chapman & Hall / CRC, 2003].

본 발명에는 행동패턴을 추론하는 확률모델을 제작하기 위한 설계 방법의 일환으로 행동 이론을 바탕으로 한 확률모델 계층 구조를 이용한다.  In the present invention, a probabilistic model hierarchy based on a behavioral theory is used as part of a design method for producing a probabilistic model inferring a behavioral pattern.

도 3은 본 발명의 일 실시예에 따른 특정행동에 대한 컨텍스트 노드와 증거노드의 연결관계를 나타낸 도면이다.3 is a diagram illustrating a connection relationship between a context node and an evidence node for a specific action according to an embodiment of the present invention.

도 3은 ‘study’ 라는 하나의 행동을 추론하기 위한 확률모델의 계층 구조가 행동 이론의 각 카테고리 별로 분류되어 나타나는 것을 보여준다. 계층적인 구조를 이루고 있는 노드들은 크게 입력 노드와 출력 노드로 구분될 수 있다. 여기서, 입력 노드는 특정 출력 노드에 영향을 미치는 노드를 의미하며, 출력 노드는 적어도 하나 이상의 입력 노드로부터 영향을 받는 노드를 의미한다. 본 발명에서는 확률모델링을 진행함에 있어서, 기본적으로 목표 노드, 컨텍스트 노드, 증거 노드의 3개의 계층을 구성한다. 목표 노드는 인식하고자 하는 행동으로서 ‘공부하기’ 나 ‘수업’ 혹은 ‘비디오 게임 하기’ 등의 사용자의 행동으로 정의된 행동 가운데 하나가 될 수 있다. 컨텍스트 노드는 컨텍스트의 카테고리를 나타낸다. 기본적으로 행동 이론에 존재하는 5종류의 컨텍스트 카테고리마다 하나씩 컨텍스트 노드를 생성한다. 증거 노드는 상위 노드인 컨텍스트 노드 영향을 미치는 노드로서 컨텍스트 노드에 대한 입력 노드에 해당한다. 여기서는 하기 [표 1]과 같이 세분화 한다. 즉, 어떤 행동이든지 그 행동에 적합한 공간과 시간이 존재한다. 예를 들어, 수업을 받는 행위에는 공간적으로 학교가 적합하며 시간적으로는 평일의 오전이나 오후가 적합하다. 사용자의 상태는 앉아 있거나 움직임이 적어야 하며, 주변의 소리는 조용해야 한다. 그리고 대개의 경우 다른 이들과 함께 수업을 듣게 될 것이다. 결론적으로 하나의 행동에는 여러 가지 요소가 복합적으로 작용하며 이런 공간/시간/상태/주변상황/사회적 역할 등을 모두 고려할 때 행동을 온전히 추측하는 것이 가능하다. 이러한 행동패턴 추론의 정확도를 높이기 위해서 모바일 기기를 통한 정보들로부터 이런 정보를 수집하여 각각의 정보를 종류별로 구분하고 컨텍스트 노드로 분할하여 컨텍스트 별로 신뢰도를 할당하는 방식이 사용된다.3 shows that the hierarchical structure of the probabilistic model for inferring a single behavior called 'study' is classified by each category of the behavior theory. Nodes in a hierarchical structure can be classified into input nodes and output nodes. Here, the input node means a node that affects a specific output node, and the output node means a node that is affected by at least one input node. In the present invention, in probabilistic modeling, three layers of a target node, a context node, and an evidence node are basically constructed. The target node may be one of actions defined as user actions such as 'studying', 'classes' or 'playing video games' as an action to be recognized. The context node represents a category of contexts. Basically, one context node is created for each of the five context categories that exist in the theory of behavior. The evidence node is the node that affects the context node, which is the parent node, and corresponds to the input node for the context node. Here, it is broken down as shown in [Table 1] . In other words, there is space and time for any action. For example, schooling is appropriate for taking classes, and morning or afternoon of weekdays are appropriate for time. The user's condition should be sitting or moving less, and the surrounding sounds should be quiet. And in most cases, you will take classes with others. In conclusion, it is possible to make a complete guess on the behavior in consideration of all these spaces / times / states / circumstances / social roles. In order to increase the accuracy of this behavioral pattern inference, a method of collecting such information from information through a mobile device, classifying each information into types, and dividing each information into context nodes and assigning reliability to each context is used.

[표 1]TABLE 1

컨텍스트 노드의 종류Type of context node 상세 설명detailed description Spatio-ContextSpatio-Context 추론하려는 행동에 적합한 공간적 위치를 증거로 함Evidence based on spatial location appropriate for the inference Temporal ContextTemporal context 추론할 행동에 부합하는 시간적 정보를 포함Include temporal information that corresponds to the behavior to infer Personal ContextPersonal context 추론할 행동에 적합한 사용자의 상태를 표시Display the user's status for the reasoning action Environmental ContextEnvironmental Context 주변의 물체나 소리 등을 모델링하기 위해서 이용Used to model surrounding objects or sounds Social ContextSocial context 사용자의 사회적 역할이나 교우 관계를 증거로 사용Use the user's social role or friendship as evidence

도 3은 특정 행동에 대해서 컨텍스트 노드와 증거 노드를 연결하는 것을 보여주고 있다. ‘공부’라는 행동에 대해서 적합한 공간 컨텍스트(Spatio-Context)는 ‘학교’, ‘도서관’ 혹은 ‘집’ 이 될 수 있을 것이다. 물론 각각의 장소마다 실제로 공부에 적합한 정도가 다르며, 공부라는 행위에 이런 공간적 위치가 미치는 영향도 달라진다. 여기서는 증거 노드와 컨텍스트 노드 사이의 관계로 ‘학교’, ‘도서관’ 등의 장소가 공부에 얼마나 적합한 위치인지를 모델링하며, 다시 컨텍스트 노드와 ‘공부’라는 행동 사이의 관계를 통해서 그 행동과 공간적 위치가 얼마나 연관이 있는지를 모델링한다. 본 발명의 이러한 구조는 기기 성능의 향 상이나 센서의 추가로 증거 변수가 추가되었을 때 확률모델링의 변경 대상을 특정 컨텍스트 노드로 한정하는 것으로 전체 확률모델의 변경을 최소화 할 수 있게 한다. 3 shows connecting context nodes and evidence nodes for specific behaviors. The appropriate spatial context for the behavior of studying could be school, library, or home. Of course, each place actually has a different degree of suitability for study, and the influence of this spatial location on the behavior of study also varies. Here, the relationship between the Evidence node and the context node is used to model how well a place such as 'school', 'library', etc. is suitable for study, and again through the relationship between the context node and the 'study' action. Model how relevant is. This structure of the present invention enables minimizing the change of the overall probability model by limiting the change of the probability modeling to a specific context node when the evidence variable is added by the improvement of the device performance or the addition of the sensor.

도 4는 본 발명의 일 실시예에 따라 설계된 베이지안 네트워크(BN)의 구현예를 나타낸 도면이다. 도 4에서 굵은 실선 처리된 박스에 표시된 노드는 컨텍스트 노드를 나타내고, 사용자의 행동을 인식하기 위해서 정의된 모든 행동에 대하여 세부 행동 베이지안 네트워크를 설계한다. 그러나 모바일 기기에서 수집되는 정보들로부터 이 행동들을 모두 정확하게 인식하기는 어렵다. 왜냐면 비슷한 증거를 포함하는 유사한 행동들을 정확히 구분해내기 어렵기 때문이다. 그러나 유사한 행동을 정확히 구분해내지 못한다고 하더라도 그 행위가 어느 범주에 속하는지 판단할 수 있다면 그것만으로도 현재의 행동에 대해서 판단할 수 있는 근거를 제공할 수 있다. 따라서 본 발명에서는 각각의 세부적인 행동을 포함하는 상위 행동 카테고리를 제시하고 각각의 행동에 대한 확률값을 증거로 하여 상위 행동을 추론할 수 있도록 설계한다. 즉, 가상 노드를 추가하여 실제로 관찰된 증거와 확률값을 모두 상위 행동의 노드로 전달 할 수 있도록 한다. 4 illustrates an implementation of a Bayesian network (BN) designed according to one embodiment of the invention. In FIG. 4, the nodes shown in the bold solid boxes represent context nodes, and the detailed behavior Bayesian network is designed for all defined behaviors in order to recognize the user's behavior. However, it is difficult to accurately recognize all of these behaviors from the information collected on mobile devices. This is because it is difficult to pinpoint similar behaviors that contain similar evidence. However, even if it is not possible to identify similar behaviors correctly, it can provide a basis for judging the current behavior if it can determine which category the behavior belongs to. Therefore, the present invention proposes a higher action category including each detailed action, and is designed to infer the higher action by using the probability value for each action as evidence. In other words, we add virtual nodes so that all observed evidence and probabilities are passed to the higher-order node.

이하 가상 노드를 추가하여 상위 행동을 추론하는 과정에 대한 설명을 개시한다. Hereinafter, a description will be given of a process of inferring higher-level behavior by adding virtual nodes.

도 5a는 본 발명의 다른 실시예에 따라 가상 노드를 추가하여 상위 행동을 추론하는 과정을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 각각의 개별적인 행동이 하나의 큰 행동 범주를 추론하기 위하여 사용된다. 즉, ‘Sports‘, ’Dance‘ 등의 행동은 결과적으로 하나의 ‘Active Leisure’ 라는 큰 행동 범주를 추론하기 위한 재료로써 이용된다. 이런 접근 방법은 개별 행동에 대한 정확도가 낮더라도 행동 범주에 대한 정확률(precision)을 높일 수 있다.5A is a diagram for explaining a process of inferring a higher behavior by adding a virtual node according to another embodiment of the present invention. As shown in Figure 5, each individual behavior is used to infer one large behavior category. In other words, behaviors such as “Sports” and “Dance” are used as a result of inferring a large category of behavior, “Active Leisure”. This approach can increase the precision of the category of behavior even if the accuracy of the individual behavior is low.

또한, 본 실시예에서 베이지안 네트워크 확률모델은 모듈화된 구조인 것이 바람직하다. 도 5b는 본 발명의 다른 실시예에 따른 모듈화된 베이지안 네트워크의 개념도이다. 도 5b에 도시된 바와 같이, 베이지안 네트워크는 분할된 도메인(PN1, PN2, …, PNn)에 따라 모듈화되어 있다. 여기서, 베이지안 네트워크는 예를 들면, 식사 관련 확률 모듈, 교통 상황 확률 모듈 등 일정 기준에 따라 모듈화될 수 있다. 이때, 확률분석부(153)는 식사 관련 확률 모듈(예를 들면, PN1)을 통하여 '식사 중' 혹은 '외식 중' 등과 같은 메타데이터를 생성하고, 교통 상황 확률 모듈(예를 들면, PN2)을 통하여 현재 사용자가 이용 중인 교통수단 혹은 교통 정체 여부와 관련된 메타데이터를 생성한다.In addition, in this embodiment, the Bayesian network probability model is preferably a modular structure. 5B is a conceptual diagram of a modular Bayesian network according to another embodiment of the present invention. As shown in Fig. 5B, the Bayesian network is modularized according to the divided domains PN1, PN2, ..., PNn. Here, the Bayesian network may be modularized according to a predetermined criterion, for example, a meal related probability module and a traffic situation probability module. In this case, the probability analysis unit 153 generates metadata such as 'during meal' or 'during out' through a meal related probability module (eg, PN1), and a traffic state probability module (eg, PN2). Generates metadata related to traffic or traffic congestion currently in use by the user.

이 과정에서 대표적인 베이지안 네트워크 확률모델에서 사용되는 확률 연산 방법이 사용될 수 있다. 나아가, 이와 같이 확률모델이 여러 개의 확률모듈로 나뉘어 있는 경우에는 각 모듈 간의 연관성을 고려하여 확률 계산을 수행하는 것이 효율적이다. 이를 위하여 도 5b에 도시된 바와 같이, 각 확률 모듈에서 생성된 메타데이터와 그 확률값을 저장하였다가 확률 증거로 입력하여 반영하는 가상 연결 기법을 사용할 수 있다. 가상 연결기법은 확률적인 증거를 반영하기 위해 가상 노드를 추가하고 추가된 노드의 확률값(Conditional Probability Value : CPV)을 통해 증거의 확률을 적용하는 방법이다. 이러한 가상 연결 기법은 [K.-S. Hwang, S.-B. Cho and Jong-Ho Lea, "A Bayesian inference model for landmarks detection on mobile devices," Journal of Korea Information Science Society: Computing Practices, vol. 13, no. 1, pp. 35-45, 2007. 02.]에 기술되어 있으므로 상세한 설명은 생략하기로 한다.In this process, the probability calculation method used in the representative Bayesian network probability model can be used. Furthermore, when the probability model is divided into several probability modules, it is efficient to perform probability calculation in consideration of the association between the modules. For this purpose, as shown in FIG. 5B, a virtual concatenation technique may be used to store metadata generated by each probability module and its probability value and input the data as a probability evidence. In the virtual concatenation technique, a virtual node is added to reflect probabilistic evidence, and a probability of evidence is applied through a conditional probability value (CPV) of the added node. This virtual connection scheme is described in [K.-S. Hwang, S.-B. Cho and Jong-Ho Lea, "A Bayesian inference model for landmarks detection on mobile devices," Journal of Korea Information Science Society: Computing Practices, vol. 13, no. 1, pp. 35-45, 2007. 02.] detailed description thereof will be omitted.

이와 같이 사용자의 행동패턴이 추론되면, 태깅 UI부(130)(도 1 참조)는 행동패턴 추론부(120)에서 추론된 사용자의 행동패턴에 대한 확률을 이용하여 현재의 행동에 가장 일치하는 행동패턴 정보를 우선적으로 시각화된 인터페이스로 형성하여 제공한다. 본 발명에 있어서, 태깅(taging)이란, 데이터를 작성, 갱신한 사람이 그 데이터가 무엇인지를 몇 개의 단어(keyword)로 요약해 놓은 것으로서 콘텐츠의 내용을 대표할 수 있는 검색용 꼬리표인 키워드 또는 태그를 다는 것을 의미한다. When the user's behavior pattern is inferred as described above, the tagging UI 130 (see FIG. 1) uses the probability of the user's behavior pattern inferred by the behavior pattern inference unit 120 to match the current behavior. Pattern information is first formed and provided as a visualized interface. In the present invention, tagging is a keyword that is a search tag that can represent the contents of the content, which is summarized in several words by the person who created and updated the data. It means tagging.

태깅 UI부(130)는 사용자로부터 태깅 정보를 입력받는 구성으로서, 사용자는 인터페이스로 디스플레이된 행동패턴정보를 선택하여 추가적인 정보를 저장할 수 있으며, 이렇게 사용자에 의해 태깅된 정보는 DB서버(140)에 저장되어 이후에 데이터를 검색, 분류 및 관리하는 데 활용될 수 있다. The tagging UI unit 130 is configured to receive tagging information from the user, and the user may select the behavior pattern information displayed on the interface and store additional information. The tagging information may be stored in the DB server 140. It can be stored and later used to retrieve, sort and manage the data.

또한, 태깅 UI부(130)는 행동패턴 정보 중 가장 높은 확률로 추론된 행동패턴 정보를 우선적으로 시각화된 인터페이스로 형성할 수 있는데, 여기서 우선적으로 시각화된 인터페이스로 형성한다는 것은 예를 들면, 높은 확률값으로 추론된 행동패턴 정보에 대응하는 후술할 행동버튼의 크기를 보다 낮은 확률값으로 추론된 행동패턴 정보에 대응하는 행동버튼의 크기보다 더 크게 하거나, 행동패턴 정보를 인터페이스에 시각화함에 있어서 강조부호 또는 강조표시를 사용하여 표시하는 것 을 의미한다. 또한, 우선적으로 시각화되는 행동패턴 정보는 확률이 높은 순서에서 낮은 순서로 행동버튼의 크기를 줄여가거나, 강조표시 될 행동패턴 정보의 색 또는 선굵기 등을 조절하는 것에 의해 달성될 수 있다. In addition, the tagging UI unit 130 may form the behavior pattern information inferred with the highest probability among the behavior pattern information as the first visualized interface. For example, the tagging UI unit 130 may form the visualized interface as the high probability value. The size of the behavior button to be described later corresponding to the behavior pattern information inferred to be greater than the size of the behavior button corresponding to the behavior pattern information inferred with a lower probability value, or the emphasis or emphasis in visualizing the behavior pattern information on the interface. Means to mark using the mark. In addition, the behavior pattern information to be visualized preferentially may be achieved by reducing the size of the action button in the order of high probability or adjusting the color or line thickness of the behavior pattern information to be highlighted.

도 6은 본 발명의 일 실시예에 따라 사용자가 직접 태깅할 수 있는 인터페이스를 나타낸 도면, 도 7은 본 발명의 일 실시예에 따른 사용자가 직접 태깅할 수 있는 행동버튼을 발생확률에 따라 다양하게 시각화한 것을 예시한 도면이다.6 is a view showing an interface that a user can directly tag according to an embodiment of the present invention, Figure 7 shows a variety of action buttons that can be directly tagged by the user according to an embodiment of the present invention according to the probability of occurrence It is a figure which illustrates the visualization.

도 6에 도시된 바와 같이, 본 발명의 태깅 UI부는 사용자가 직접 태깅할 수 있는 인터페이스를 구비하며, 인터페이스는 풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭 그리고 상위행동버튼과 하위행동버튼(참조번호 미부여)을 포함한다. 그리고, 태깅 UI부는 상기 컨텍스트 정보와 상기 행동패턴 정보를 미리 정해진 시간 단위로 스케줄(schedule)화 하여 시각화된 인터페이스로 형성할 수 있다. 일례로, 태깅 UI(130)부에 구비되는 인터페이스는 선택된 날짜에 해당하는 상황정보를 30분 단위의 스케줄 형태로 사용자에게 제공한다. 이 때 각 라인에 존재하는 정보들은 시작 시간과 종료 시간을 가지고 있으며, 각각의 정보들의 특성에 따라서 숫자나 문자로 표시된다. 예를 들어 음악을 청취((mp3)하거나 문자 메시지(sms)를 주고받았다면, 그 횟수를 나타내기 위하여 숫자로 그 발생횟수를 표시한다. 한편, 현재 사용자의 활동량을 표시하기 위해서는 Busy(바쁨), Idle(한가함)등의 문자로 현재 사용자의 활동 상태(status)를 표현한다. As illustrated in FIG. 6, the tagging UI unit of the present invention includes an interface that a user can tag directly, and the interface includes a pull-down menu, an icon menu, a lifelog window, a photo tab, a lifelog tab, and an upper action button and a lower one. Contains an action button (no reference number). In addition, the tagging UI may schedule the context information and the behavior pattern information in a predetermined time unit to form a visualized interface. For example, the interface provided in the tagging UI 130 may provide the user with the status information corresponding to the selected date in the form of a schedule of 30 minutes. At this time, the information existing in each line has start time and end time, and it is indicated by numbers or letters according to the characteristics of each information. For example, if you listen to music (mp3) or send and receive text messages (sms), the number of occurrences is displayed as a number to indicate the number of times, while Busy is used to indicate the amount of activity of the current user. The status of the current user's activity, such as, Idle, etc.

인터페이스는 사용자의 이름과 날짜를 선택하거나, 태깅하려는 파일을 선택하면 화면 가운데에 위치한 라이프로그윈도우에서 30분단위로 하루 동안의 로그 흐 름을 볼 수 있다. 또한, 사용자가 태깅하려는 시간을 클릭하면 상위행동버튼과 하위행동버튼을 이용하여 확률이 높은 순으로 상위수준 컨텍스트를 추천 받을 수 있으며 사진정보가 있을 경우 사진탭에서 확인할 수 있다. The interface selects a user's name and date, or selects a file to tag, and the log flow for 30 minutes can be viewed in the lifelog window located in the center of the screen. In addition, when the user clicks on a time to be tagged, the user may be recommended to the higher level context in the order of the highest probability using the upper action button and the lower action button.

인터페이스의 효과적인 시각화를 위해 중요한 정보인 장소, 상태, 감정 그리고 상위행동과 하위행동을 눈에 띄는 색으로 포인트를 주었으며 행동버튼에는 알맞은 이미지를 제공하여 인터페이스의 직관성, 학습성 및 디자인성을 높였다.In order to effectively visualize the interface, important information such as place, state, emotion, and high-level and low-level actions were pointed out in prominent colors, and action buttons were provided with appropriate images to enhance the intuitiveness, learning, and design of the interface.

도 7에 도시된 바와 같이, 본 발명의 인터페이스는 행동패턴 추론부(130)을 통해 추론된 행동이 그 발생확률에 따라 행동버튼의 크기와 색상을 달리한 이미지로 표현하는데, 발생확률에 따라 메인 카테고리(main category)와 서브 카테고리(sub category)로 구분된다.As shown in FIG. 7, the interface of the present invention expresses an action inferred through the behavior pattern inference unit 130 as an image in which the size and color of the action button are different according to the probability of occurrence. It is divided into main category and sub category.

메인 카테고리에 정의된 행동은 그 발생확률에 따라 행동버튼의 크기를 달리한 것인데, 행동버튼의 크기가 클수록 발생확률이 높은 행동이라는 것을 표시한다.The action defined in the main category is the size of the action button according to the probability of occurrence. The larger the action button, the higher the probability of occurrence.

서브 카테고리에 정의된 행동은 선택된 메인 카테고리와 관련된 하위 행동을 나타낸 것으로, 상기 메인 카테고리에서와 같이 행동버튼의 크기로서 발생확률의 차이를 나타낸다.An action defined in a sub category represents a sub action related to the selected main category, and as in the main category, represents a difference in occurrence probability as the size of the action button.

사용자는 상기 메인 카테고리로 추천되는 행동버튼을 선택할 수 있고, 그에 따라 변경되는 서브 카테고리의 행동버튼을 선택할 수 있다. 도 7을 참조하면, 각 카테고리의 우측 상방 영역에는 N표시가 되어 있는데, 이는 각 카테고리별로 추천되는 행동패턴 정보에 따른 행동버튼으로 표현되지 않은 다른 행동버튼을 검색하기 위해 구비된다. 도 7에서는 각 카테고리별로 3개의 행동버튼을 형성하였으나, 이는 일례로서, 개수를 다양하게 할 수 있음은 물론이다. The user may select an action button recommended as the main category, and may select an action button of a sub category that is changed accordingly. Referring to FIG. 7, an N mark is displayed in an upper right area of each category, which is provided to search for other action buttons not represented by action buttons according to the behavior pattern information recommended for each category. In FIG. 7, three action buttons are formed for each category, but as an example, the number may be varied.

다음으로, 본 발명의 일 실시예에 따른 개인의 일상생활 관리방법에 관해 설명을 개시한다.Next, a description will be given of a daily life management method of an individual according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 개인의 일상생활 관리방법에 관한 흐름도, 도 9는 본 발명의 일 실시예에 따른 행동패턴 추론방법에 관한 흐름도이다.8 is a flowchart illustrating a method for managing an individual's daily life according to an embodiment of the present invention, and FIG. 9 is a flowchart illustrating a behavior pattern inference method according to an embodiment of the present invention.

도 8을 참조하면, 개인의 일상생활 관리방법은, 사용자의 컨텍스트 정보를 수집하는 단계(S100), 컨텍스트 정보를 분석하여 메타데이터를 생성하는 단계(S200), 확률모델을 이용하여 행동패턴을 추론하는 단계(S300), 컨텍스트 정보와 행동패턴 정보를 시각화된 인터페이스로 표현하는 단계(S400), 사용자가 인터페이스를 통해 직접 자신의 정보를 태깅하는 단계(S500)를 포함한다. 이후에 수집된 컨텍스트 정보, 행동패턴 정보 및 사용자가 태깅한 정보를 메타데이터 형태로 변환하여 이를 활용할 수 있도록 메타데이터를 데이터 베이스에 저장하는 단계(S600)가 더 포함될 수 있다.Referring to FIG. 8, the method of managing daily life of an individual may include collecting context information of the user (S100), generating metadata by analyzing context information (S200), and inferring a behavior pattern using a probabilistic model. In step S300, expressing the context information and the behavior pattern information in a visualized interface (S400), the user directly tagging his information through the interface (S500). Thereafter, the method may further include storing the metadata in a database so as to convert the collected context information, behavior pattern information, and information tagged by the user into metadata, and use the same.

S100단계는, 모바일 기기를 통해 사용자에 관한 컨텍스트 정보를 수집하는 단계로 정보의 수집은 데이터 수집부에서 행한다. 데이터 수집부에서 이루어지는 정보 수집과 관련된 내용은 상술한 바 있으므로, 여기서는 생략하기로 한다.In step S100, the context information about the user is collected through the mobile device, and the information is collected by the data collecting unit. Since the information related to the information collection in the data collection unit has been described above, it will be omitted here.

S200단계는, 상기 S100단계의 데이터 수집부에 수집된 컨텍스트 정보를 분석하여 메타데이터를 생성하는 단계로서 행동패턴 추론부에 구비된 메타데이터 생성부에서 구현된다. 컨텍스트 정보로부터 의미 있는 형태의 정보인 메타데이터를 생성하는 방법은 후술하기로 한다.In step S200, the metadata is generated by analyzing the context information collected in the data collection unit of step S100, and is implemented in the metadata generator provided in the behavior pattern inference unit. A method of generating metadata, which is meaningful information, from the context information will be described later.

S300단계는, 생성된 메타데이터를 기초로 확률모델을 적용하여 사용자의 행동패턴 정보를 생성하는 단계로서, 이것은 행동패턴 추론부에서 구현되며, 본 발명에서는 확률모델로서 베이지안 네트워크 형태의 확률모델이 사용될 수 있으며, 베이지안 네트워크는 행동 이론에 기반한 확률모델로서, 계층적인 구조를 이용하여 행동패턴을 추론하는 것이 바람직하다. 더욱 바람직하게는 상기 확률모델은 가상 노드를 이용하여 상위 행동을 추론하는 방법을 사용할 수 있으며, 베이지안 네트워크 확률모델을 모듈화 하여 분할된 도메인을 형성하여 각 확률모델에서 생성된 메타데이터와 그 확률값을 저장하였다가 확률 증거로 입력하여 반영하는 가상 연결 기법을 사용할 수 있다. 이에 대한 상세한 설명은 상술한 바 있으므로, 여기서는 생략하기로 한다.Step S300 is a step of generating behavior pattern information of the user by applying a probability model based on the generated metadata, which is implemented in the behavior pattern inference unit, and in the present invention, a probability model in the form of a Bayesian network is used. Bayesian networks are probabilistic models based on behavioral theory, and it is desirable to infer behavioral patterns using hierarchical structures. More preferably, the probabilistic model may use a method of inferring higher-order behavior using a virtual node, and modularizes a Bayesian network probabilistic model to form a divided domain to store metadata generated from each probabilistic model and its probability value. A virtual concatenation technique can be used to input and reflect probability evidence. Since a detailed description thereof has been described above, it will be omitted here.

S400단계는, 사용자의 컨텍스트 정보와 추론된 행동패턴 정보를 시각화된 인터페이스로 형성하는 단계로서, 본 발명은 태깅 UI부를 구비하여 상기 정보들을 인터페이스로 제공한다. 인터페이스에 대한 상세한 설명은 상술한 바로 갈음한다.In step S400, the context information of the user and the inferred behavior pattern information are formed in a visualized interface. The present invention includes a tagging UI unit and provides the information to the interface. Detailed descriptions of the interface are immediately described above.

S500단계는, 사용자가 인터페이스를 이용하여 정보를 태깅하는 단계로서, 예를 들면 사용자가 태깅하고자 하는 시간을 클릭하면 상위행동버튼과 하위행동버튼을 이용하여 상기 시간에 대응하는 컨텍스트를 확률이 높은 순으로 상위수준 컨텍스트가 추천되며, 사진정보가 있을 경우 사진탭에서 사진이 제공된다. 또한, 인터페이스의 효과적인 시각화를 위해 중요한 정보인 장소, 상태, 감정 그리고 상위행동과 하위행동을 눈에 띄는 색으로 포인트를 주었으며 행동버튼에는 알맞은 이미지를 제공하여 인터페이스의 직관성, 학습성 및 디자인성을 높였다.Step S500 is a step in which a user tags information using an interface. For example, when a user clicks on a time to be tagged, a sequence corresponding to the time using a higher action button and a lower action button has a higher probability. The upper level context is recommended. If there is photo information, the photo is provided in the photo tab. In addition, important points for the effective visualization of the interface, such as places, states, emotions, and high-level and low-level actions, are given points with prominent colors, and action buttons are provided with appropriate images to enhance the intuitiveness, learning, and design of the interface. .

S600단계는, 사용자가 태깅한 정보를 메타데이터 형태로 변환하여 데이터 베이스에 저장하는 단계이다. 이 단계는 태깅 정보를 데이터 베이스에 저장하여 이후에 멀티미디어 데이터를 검색하고, 분류 및 관리할 수 있기 위한 단계로 사용자는 상기 S500단계에서 태깅 정보를 수정하거나 보충 및 삭제 할 수 있는데, 이에 따라 갱신되는 정보는 다시 상술한 행동패턴 추론부를 거쳐 메타데이터 형태로 변화되어 데이터베이스에 저장된다.The step S600 is a step of converting the information tagged by the user into a metadata form and storing it in a database. This step is to store the tagging information in a database so that the multimedia data can be retrieved later, classified and managed. In step S500, the user can modify, supplement, or delete the tagging information. The information is again converted into metadata form through the behavior pattern inference unit and stored in the database.

이하에서는 상기 S200단계의 컨텍스트 정보로부터 의미 있는 형태의 정보인 메타데이터를 생성하는 방법에 관해서 도 9를 참조하여 설명한다.Hereinafter, a method of generating metadata, which is meaningful information, from the context information of step S200 will be described with reference to FIG. 9.

도 9는 본 발명의 메타데이터 생성부에서 메타데이터를 하는 과정에 관한 흐름도이다. 메타데이터의 생성은, 특정규칙을 만족하는 메타데이터를 생성하는 단계(S210), 통계적인 의미를 나타내는 메타데이터를 생성하는 단계(S220) 및 확률모델을 통해 메타데이터를 생성하는 단계(S230)를 포함한다.9 is a flowchart illustrating a process of performing metadata in a metadata generator of the present invention. Generating metadata may include generating metadata that satisfies a specific rule (S210), generating metadata representing statistical meanings (S220), and generating metadata through a probability model (S230). Include.

S210단계는, 메타데이터 생성부의 규칙분석부에서 구현되는 것이며 모바일 기기로부터 수집되는 사용자의 컨텍스트 정보를 분석하여 특정 규칙을 만족하는 메타데이터를 생성한다.Step S210 is implemented in the rule analyzer of the metadata generator and analyzes the context information of the user collected from the mobile device to generate metadata that satisfies a specific rule.

S220단계는, 메타데이터 생성부의 통계분석부에서 구현되며, 모바일 기기로부터 수집된 컨텍스트 정보를 분석하여 통계적인 의미를 나타내는 메타데이터를 생성한다.Step S220 is implemented in the statistical analysis unit of the metadata generator, and analyzes the context information collected from the mobile device to generate metadata representing the statistical meaning.

S230단계는, 메타데이터 생성부의 확률분석부에서 구현되며, 모바일 기기로부터 수집된 컨텍스트 정보, 또는 규칙분석부 또는 통계분석부에서 생성된 메타데 이터를 바탕으로 확률모델을 통해 메타데이터를 생성한다. Step S230 is implemented in the probability analysis unit of the metadata generation unit, and generates metadata through the probability model based on context information collected from the mobile device or metadata generated by the rule analysis unit or the statistical analysis unit.

본 발명에 따른 개인의 일상생활 관리방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The daily life management method of an individual according to the present invention includes a computer readable medium including program instructions for performing operations implemented by various computers. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The media may be program instructions that are specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs and DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명의 사상적 범주에 속한다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, it is intended that the scope of the invention be defined solely by the claims appended hereto, and that all equivalents or equivalent variations thereof fall within the spirit and scope of the invention.

도 1은 본 발명의 일 실시예에 따른 개인의 일상생활 관리장치를 나타낸 블록도,1 is a block diagram showing an apparatus for managing a daily life of an individual according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 행동패턴 추론부를 나타낸 블록도,2 is a block diagram showing a behavior pattern inference unit in an embodiment of the present invention;

도 3은 본 발명의 일 실시예에 따른 특정행동에 대한 컨텍스트 노드와 증거노드의 연결관계를 나타낸 도면,3 is a view showing a connection between a context node and an evidence node for a specific action according to an embodiment of the present invention;

도 4는 본 발명의 일 실시예에 따라 설계된 베이지안 네트워크(BN)의 구현예를 나타낸 도면,4 illustrates an implementation of a Bayesian network (BN) designed according to one embodiment of the invention,

도 5a는 본 발명의 다른 실시예에 따라 가상노드를 추가하여 상위 행동을 추론하는 과정을 설명하기 위한 도면,FIG. 5A is a view for explaining a process of inferring a higher behavior by adding a virtual node according to another embodiment of the present invention; FIG.

도 5b는 본 발명의 다른 실시예에 따른 모듈화된 베이지안 네트워크의 개념도,5B is a conceptual diagram of a modular Bayesian network according to another embodiment of the present invention;

도 6은 본 발명의 일 실시예에 따라 사용자가 직접 태깅할 수 있는 인터페이스를 나타낸 도면,6 is a view showing an interface that a user can directly tag according to an embodiment of the present invention;

도 7은 본 발명의 일 실시예에 따른 사용자가 직접 태깅할 수 있는 행동버튼을 발생확률에 따라 다양하게 시각화한 것을 예시한 도면,FIG. 7 is a diagram illustrating various visualizations of action buttons that can be directly tagged by a user according to an embodiment of the present invention according to a probability of occurrence; FIG.

도 8은 본 발명의 일 실시예에 따른 개인의 일상생활 관리방법에 관한 흐름도,8 is a flowchart illustrating a method for managing an individual's daily life according to an embodiment of the present invention;

도 9는 본 발명의 메타데이터 생성부에서 메타데이터를 생성하는 과정에 관한 흐름도이다.9 is a flowchart illustrating a process of generating metadata in a metadata generator of the present invention.

Claims (13)

모바일 기기를 통해 수집되는 정보에 기반한 개인의 일상생활 관리장치에 있어서,In the daily life management device of the individual based on the information collected through the mobile device, 모바일 기기를 통해 사용자의 컨텍스트(context)정보를 수집하는 데이터 수집부;A data collector configured to collect context information of the user through the mobile device; 상기 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 행동패턴 추론부; A behavior pattern inference unit inferring behavior pattern information of a user by applying a probabilistic model to the context information; 상기 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이스로 형성하 고 사용자로부터 태깅(tagging)정보를 입력받는 태깅 UI부; 및A tagging UI unit which forms the context information and the behavior pattern information as a visualized interface and receives tagging information from a user; And 상기 컨텍스트 정보, 상기 행동패턴 정보 및 상기 태깅 정보를 분석하여 의미있는 형태의 정보인 메타데이터로 생성하는 메타데이터 생성부를 포함하는 개인의 일상생활 관리장치.And a metadata generator for analyzing the context information, the behavior pattern information, and the tagging information and generating the metadata as metadata which is meaningful information. 제1항에 있어서,The method of claim 1, 상기 태깅 UI부는 상기 컨텍스트 정보와 상기 행동패턴 정보를 미리 정해진 시간 단위로 스케줄링(scheduling)하여 시각화된 인터페이스로 형성하는 것을 특징으로 하는 개인의 일상생활 관리장치.The tagging UI unit is configured to schedule the context information and the behavior pattern information by a predetermined time unit (scheduling) to form a visualized interface of the individual, characterized in that the individual. 제1항에 있어서,The method of claim 1, 상기 확률모델은 모듈화된 베이지안 네트워크(Bayesian Network) 형태인 것을 특징으로 하는 개인의 일상생활 관리장치.The probability model is a daily life management device of the individual, characterized in that the modular Bayesian Network (Bayesian Network) form. 제3항에 있어서,The method of claim 3, 상기 모듈화된 베이지안 네트워크는 상기 행동패턴에 영향을 미치는 변수인 각 노드마다 레벨 정보를 가지는 계층적 구조인 것을 특징으로 하는 개인의 일상생활 관리장치.The modular Bayesian network has a hierarchical structure having a level information for each node that is a variable affecting the behavior pattern. 제4항에 있어서,The method of claim 4, wherein 상기 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함하는 것을 특징으로 하는 개인의 일상생활 관리장치.Each module constituting the probability model includes a virtual node reflecting probabilistic evidence. 제1항에 있어서,The method of claim 1, 상기 인터페이스는 풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭, 행동버튼 중 적어도 하나를 포함하는 것을 특징으로 하는 개인의 일상생활 관리장치.The interface includes at least one of a pull-down menu, an icon menu, a life log window, a photo tab, a life log tab, and an action button. 제6항에 있어서,The method of claim 6, 상기 행동버튼은 행동에 대응하는 이미지를 포함하며, 상기 추론된 행동패턴의 발생확률에 따라 상기 행동버튼의 크기와 색상을 달리하는 것을 특징으로 하는 개인의 일상생활 관리장치.The action button includes an image corresponding to the action, and the daily life management apparatus of the individual, characterized in that the size and color of the action button according to the probability of occurrence of the inferred behavior pattern. 모바일 기기를 통해 수집되는 정보에 기반한 개인의 일상생활 관리방법에 있어서,In the daily life management method of the individual based on the information collected through the mobile device, (a) 모바일 기기를 통해 사용자의 컨텍스트 정보를 수집하는 단계;(a) collecting context information of the user via the mobile device; (b) 상기 컨텍스트 정보에 확률모델을 적용하여 사용자의 행동패턴 정보를 추론하는 단계;(b) inferring behavior pattern information of a user by applying a probabilistic model to the context information; (c) 상기 컨텍스트 정보와 상기 행동패턴 정보를 시각화된 인터페이스로 형성하는 단계; 및(c) forming the context information and the behavior pattern information into a visualized interface; And (d) 상기 (c)단계에서 형성된 인터페이스를 이용하여 사용자로부터 태깅 정보를 입력받는 단계를 포함하는 것을 특징으로 하는 개인의 일상생활 관리방법.(d) receiving the tagging information from the user by using the interface formed in step (c). 제8항에 있어서, 상기 (d)단계 이후에, The method of claim 8, wherein after step (d), (e) 상기 컨텍스트 정보, 상기 행동패턴 정보 및 상기 태깅 정보를 분석하여 의미있는 형태의 정보인 메타데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 개인의 일상생활 관리방법.and (e) analyzing the context information, the behavior pattern information, and the tagging information to generate metadata which is meaningful information. 제8항에 있어서, The method of claim 8, 상기 (b)단계에서, 상기 확률모델은 모듈화된 베이지안 네트워크 형태인 것을 특징으로 하는 개인의 일상생활 관리방법.In step (b), the probability model is a daily life management method of the individual, characterized in that the modular Bayesian network form. 제10항에 있어서, The method of claim 10, 상기 확률모델을 구성하는 각 모듈은 확률적인 증거를 반영하는 가상 노드를 포함하는 것을 특징으로 하는 개인의 일상생활 관리방법.Each module constituting the probabilistic model includes a virtual node reflecting probabilistic evidence. 제11항에 있어서,The method of claim 11, 상기 모듈화된 베이지안 네트워크는 상기 행동패턴에 영향을 미치는 변수인 각 노드마다 레벨 정보를 가지는 계층적 구조인 것을 특징으로 하는 개인의 일상생활 관리방법.The modular Bayesian network has a hierarchical structure having a level information for each node that is a variable affecting the behavior pattern. 제8항 내지 제12항 중 어느 한 항에 기재된 개인의 일상생활 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the individual's daily life management method according to any one of claims 8 to 12.
KR1020090096700A 2009-10-12 2009-10-12 Apparatus and Method for Managing Personal Life KR101133515B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090096700A KR101133515B1 (en) 2009-10-12 2009-10-12 Apparatus and Method for Managing Personal Life

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090096700A KR101133515B1 (en) 2009-10-12 2009-10-12 Apparatus and Method for Managing Personal Life

Publications (2)

Publication Number Publication Date
KR20110039733A true KR20110039733A (en) 2011-04-20
KR101133515B1 KR101133515B1 (en) 2012-04-04

Family

ID=44046213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090096700A KR101133515B1 (en) 2009-10-12 2009-10-12 Apparatus and Method for Managing Personal Life

Country Status (1)

Country Link
KR (1) KR101133515B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307387B1 (en) * 2011-12-15 2013-09-12 숭실대학교산학협력단 Apparatus and method for visualizing contexts informartion, recording medium thereof
WO2014120583A2 (en) * 2013-01-31 2014-08-07 Microsoft Corporation Activity graphs
KR20150133749A (en) * 2013-03-13 2015-11-30 워런 존 패리 A method of, and a system for, analysing data relating to an individual
KR20160129979A (en) 2015-04-30 2016-11-10 한국에너지기술연구원 Method for producing metal/ceramic nanostructure, metal/ceramic nanostructure produced by the same, and catalyst containing the same
US10007897B2 (en) 2013-05-20 2018-06-26 Microsoft Technology Licensing, Llc Auto-calendaring
WO2018225892A1 (en) * 2017-06-07 2018-12-13 상명대학교산학협력단 Apparatus for analysing causal relationships between lifelog data, and method therefor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101340464B1 (en) * 2012-04-23 2013-12-11 공주대학교 산학협력단 Intelligent Scheduling Management Agent
KR20230065646A (en) 2021-11-05 2023-05-12 주식회사 유닛미 Method and apparatus for managing lifestyle of user

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713079B2 (en) * 2006-06-16 2014-04-29 Nokia Corporation Method, apparatus and computer program product for providing metadata entry
KR100880001B1 (en) * 2007-12-05 2009-01-22 연세대학교 산학협력단 Mobile device for managing personal life and method for searching information using the mobile device
KR100928622B1 (en) * 2007-12-26 2009-11-26 연세대학교 산학협력단 Specificity situation information extraction device and method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307387B1 (en) * 2011-12-15 2013-09-12 숭실대학교산학협력단 Apparatus and method for visualizing contexts informartion, recording medium thereof
WO2014120583A2 (en) * 2013-01-31 2014-08-07 Microsoft Corporation Activity graphs
WO2014120583A3 (en) * 2013-01-31 2014-10-23 Microsoft Corporation Activity graphs
US9942334B2 (en) 2013-01-31 2018-04-10 Microsoft Technology Licensing, Llc Activity graphs
US10237361B2 (en) 2013-01-31 2019-03-19 Microsoft Technology Licensing, Llc Activity graphs
KR20150133749A (en) * 2013-03-13 2015-11-30 워런 존 패리 A method of, and a system for, analysing data relating to an individual
CN105122292A (en) * 2013-03-13 2015-12-02 沃伦·约翰·帕里 A method of, and a system for, analysing data relating to an individual
US10007897B2 (en) 2013-05-20 2018-06-26 Microsoft Technology Licensing, Llc Auto-calendaring
KR20160129979A (en) 2015-04-30 2016-11-10 한국에너지기술연구원 Method for producing metal/ceramic nanostructure, metal/ceramic nanostructure produced by the same, and catalyst containing the same
WO2018225892A1 (en) * 2017-06-07 2018-12-13 상명대학교산학협력단 Apparatus for analysing causal relationships between lifelog data, and method therefor

Also Published As

Publication number Publication date
KR101133515B1 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
KR101133515B1 (en) Apparatus and Method for Managing Personal Life
US11394667B2 (en) Chatbot skills systems and methods
US20190103111A1 (en) Natural Language Processing Systems and Methods
US9858348B1 (en) System and method for presentation of media related to a context
US20200107152A1 (en) Inferring user availability for a communication
US20070299807A1 (en) Apparatus and method for organizing user's life pattern
US8856167B2 (en) System and method for context based query augmentation
KR101816113B1 (en) Estimating and displaying social interest in time-based media
US9026917B2 (en) System and method for context enhanced mapping within a user interface
US10133458B2 (en) System and method for context enhanced mapping
JP6300295B2 (en) Friend recommendation method, server therefor, and terminal
US9600484B2 (en) System and method for reporting and analysis of media consumption data
KR100763238B1 (en) Landmark ditecting apparatus and method for mobile device
JP2011517494A (en) Method and apparatus for detecting behavior patterns
US8560606B2 (en) Social network informed mashup creation
CN113569037A (en) Message processing method and device and readable storage medium
CN112752121B (en) Video cover generation method and device
CN111125344B (en) Related word recommendation method and device
US20140114943A1 (en) Event search engine for web-based applications
CN112352233A (en) Automated digital asset sharing advice
JP2012168862A (en) Behavior information recording apparatus
KR100880001B1 (en) Mobile device for managing personal life and method for searching information using the mobile device
JP2012168863A (en) Behavior information recording apparatus
KR100928622B1 (en) Specificity situation information extraction device and method
Karchoud et al. All for one and one for all: Dynamic injection of situations in a generic context-aware application

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180322

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 8