KR101579585B1 - 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체 - Google Patents

사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체 Download PDF

Info

Publication number
KR101579585B1
KR101579585B1 KR1020140074222A KR20140074222A KR101579585B1 KR 101579585 B1 KR101579585 B1 KR 101579585B1 KR 1020140074222 A KR1020140074222 A KR 1020140074222A KR 20140074222 A KR20140074222 A KR 20140074222A KR 101579585 B1 KR101579585 B1 KR 101579585B1
Authority
KR
South Korea
Prior art keywords
behavior
user
unit
information
behavior information
Prior art date
Application number
KR1020140074222A
Other languages
English (en)
Inventor
이민호
말리페디 람모한
김범휘
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140074222A priority Critical patent/KR101579585B1/ko
Application granted granted Critical
Publication of KR101579585B1 publication Critical patent/KR101579585B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

상황별 사용자의 행동 정보를 바탕으로 서비스를 제공할 수 있는 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체를 개시한다.
사용자 행동 모니터링 장치는 사용자의 조작에 의해 상황 모드를 설정하는 상황 모드 설정부와, 사용자의 행동 정보를 수집하는 행동 정보 수집부와, 사용자의 행동 정보를 분석하여 사용자의 행동이 상황 모드에 부합하는 행동인지 분석하는 행동 정보 분석부 및 사용자의 행동 정보가 상황 모드에 부합하는 행동이 아니면 사용자에게 피드백 서비스를 제공하는 서비스 제어부를 포함하므로, 사용자의 행동정보를 바탕으로 사용자 적응적인 서비스를 제공할 수 있다.

Description

사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체{User Action Monitoring Method, Apparatus, System And Recording Medium for Performing The Method}
본 발명은 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체에 관한 것으로서, 보다 상세하게는 사용자의 행동을 모니터링하여 여러가지 서비스를 제공할 수 있는 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체에 관한 것이다.
사용자가 시간과 장소에 상관없이 자유롭게 네트워크에 접속할 수 있는 유비쿼터스 기술에 대한 연구가 활발히 진행되고 있다. 이러한, 유비쿼터스 기술은 일상 생활 속에서 사용자의 목적을 자동으로 파악하여 사용자에게 필요한 서비스를 제공하는 것으로 목표로 한다. 이와 같은 서비스 제공을 위하여 현재까지 유비쿼터스 기술에 대한 대부분의 연구는 사용자의 현상황을 인식하여 가장 적절한 서비스를 예측하는 방법에 중점을 두어왔다.
기존의 서비스 예측 방식은 기설정된 규칙을 이용하여 기록된 상황 정보에 기초한 현재 상황에 대한 목표를 설정하고, 설정된 목표에 상응하는 응용 프로그램을 수행하는 방식이 대부분이었다.
KR 10-2014-0006665
본 발명의 일측면에 의하면, 상황별 사용자의 행동 정보를 바탕으로 서비스를 제공할 수 있는 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체를 제공한다.
본 발명의 일 측면에 따른 사용자 행동 모니터링 장치는 사용자의 조작에 의해 상황 모드를 설정하는 상황 모드 설정부;와, 사용자의 행동 정보를 수집하는 행동 정보 수집부;와, 상기 사용자의 행동 정보를 분석하여 사용자의 행동이 상기 상황 모드에 부합하는 행동인지 분석하는 행동 정보 분석부; 및 상기 사용자의 행동 정보가 상기 상황 모드에 부합하는 행동이 아니면 상기 사용자에게 피드백 서비스를 제공하는 서비스 제어부를 포함할 수 있다.
상기 상황 모드 설정부에 의해 설정되는 상황 모드는 특정 상황에서 발생하는 사용자의 행동 정보를 포함할 수 있다.
상기 행동 정보 분석부는 수집되는 연속되는 형태의 센서 데이터를 기준으로 시간 단위로 나누어 복수 개의 단위 데이터를 추출하는 단위 데이터 추출부와, 추출된 각 단위데이터마다 하나 이상의 특징 정보를 추출하는 특징 정보 추출부를 포함할 수 있다.
상기 행동 정보 분석부는 각 단위 데이터마다 추출된 특징 정보를 이용하여 각 단위 데이터가 의미하는 단위 행동을 인식하는 단위 행동 인식부를 더 포함할 수 있다.
상기 단위 행동 인식부는 추출된 특징 정보를 학습 알고리즘에 적용하여 단위 행동으로 분류하는 방식으로 단위 행동을 인식할 수 있다.
상기 행동 정보 분석부는 단위 데이터별로 인식된 단위 행동으로 기초로 적어도 하나의 대표 행동을 인식하는 대표 행동 인식부를 더 포함할 수 있다.
상기 행동 정보 분석부는 인식된 단위 행동 또는 대표 행동 중 적어도 하나를 학습 데이터에 갱신하는 갱신부를 더 포함할 수 있고,
상기 서비스 제어부는 상황 모드에 따라 상기 단위 행동만을 고려해 피드백 서비스 제공 여부를 결정하거나, 상기 대표 행동만을 고려해 피드백 서비스 제공 여부를 결정하거나, 상기 단위 행동 또는 상기 대표 행동 모두를 고려하여 피드백 서비스 제공 여부를 결정하도록 선별 제어할 수 있다.
상기 행동 정보 분석부는 상기 행동 정보 수집부에 의해 수집되는 사용자의 행동 정보를 저장하고, 상기 상황 모드에 따라 발생할 수 있는 행동 정보를 미리 저장하는 데이터베이스를 더 포함할 수 있다.
그리고, 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치의 제어방법은 사용자가 착용 가능하며, 상기 사용자의 행동 정보를 감지 및 분석할 수 있는 사용자 행동 모니터링 장치의 제어방법에 있어서, 사용자의 조작에 의해 상황 모드가 설정되며, 사용자의 행동 정보를 수집하여 분석하고, 상기 분석된 사용자의 행동 정보가 상기 상황 모드에 따라 발생할 수 있는 행동 정보와 다르면 사용자에게 피드백 서비스를 제공할 수 있다.
상기 사용자에게 피드백 서비스를 제공하는 것은, 상기 사용자에게 진동 알림 또는 음성 알림 또는 화면 표시 알림 중 적어도 하나의 방법으로 상기 사용자에게 피드백 서비스를 제공할 수 있다.
상기 사용자의 조작에 의해 상황 모드가 설정되는 것은, 복수 개의 상황 모드 중 어느 하나의 상황 모드가 사용자의 선택에 의해 설정되며, 상기 상황 모드는 해당 모드에 수반되는 사용자의 행동 정보가 미리 반영되어 있으며, 학습에 의해 업데이트 가능하도록 마련될 수 있다.
상기 사용자의 행동 정보를 수집하여 분석하는 것은, 상기 사용자로부터 수집되는 연속되는 형태의 센서 데이터를 기준으로 시간 단위로 나누어 복수 개의 단위 데이터를 추출하는 것을 포함할 수 있다.
상기 사용자의 행동 정보를 수집하여 분석하는 것은, 추출된 단위 데이터마다 하나 이상의 특징 정보를 추출하는 것을 포함하는 사용자 행동 모니터링 장치의 제어방법.
각 단위 데이터마다 추출된 특징 정보를 이용하여 각 단위 데이터가 의미하는 단위 행동을 인식하는 것을 더 포함하는 사용자 행동 모니터링 장치의 제어방법.
상기 단위 행동을 기초로 적어도 하나의 대표 행동을 인식하며, 상기 단위 행동 또는 대표 행동 중 적어도 하나의 행동이 상기 상황 모드에 따라 발생할 수 있는 행동 정보에 포함되지 않으면 피드백 서비스를 제공하는 사용자 행동 모니터링 서비스의 제어방법.
그리고, 본 발명의 일실시예에 의한 기록 매체는 상술한 방법에 따라 사용자 행동 모니터링 서비스를 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능할 수 있다.
그리고, 본 발명의 일실시예에 의한 사용자 행동 모니터링 시스템은 사용자가 착용할 수 있도록 마련되며, 상기 사용자의 행동 정보를 감지 및 분석하는 사용자 행동 모니터링 장치 및 상기 사용자 행동 모니터링 장치와 무선 연결되며 애플리케이션을 구동시켜 상기 사용자 행동 모니터링 장치의 기능을 추가하거나 변경할 수 있는 이동 단말을 포함하며, 상기 사용자 행동 모니터링 장치는 사용자의 조작에 의해 복수 개의 상황 모드 중 어느 하나의 상황 모드가 설정되며, 상기 사용자의 행동 정보를 감지 및 분석하며, 상기 사용자의 행동 정보가 상기 상황 모드에 포함되는 행동 정보와 다르면 상기 사용자에게 피드백 서비스를 제공할 수 있다.
상기 사용자 행동 모니터링 장치는 본체 및 밴드를 포함하며, 상기 본체 및 밴드 중 적어도 하나에 상기 사용자의 행동 정보를 감지할 수 있는 행동 정보 수집부와, 상기 사용자에게 피드백 서비스를 제공하도록 제어하는 서비스 제어부를 포함할 수 있다.
상기 사용자 행동 모니터링 장치가 상기 사용자의 행동 정보를 감지 및 분석하는 것은, 상기 사용자의 단위 행동과, 복수 개의 단위 행동에 기초하여 대표 행동을 감지 및 분석하는 것을 포함하며, 상기 단위 행동 또는 대표 행동 중 적어도 하나가 상기 상황 모드에 따라 발생할 수 있는 행동에 포함되지 않으면 상기 피드백 서비스를 제공할 수 있다.
상기 상황 모드에 포함되는 행동 정보는 기저장된 정보와, 설정된 상황 모드에서 발생하는 사용자의 행동 정보가 점진적으로 업데이트된 정보를 포함할 수 있다.
상술한 본 발명의 일측면에 따르면, 사용자의 행동정보를 바탕으로 사용자 적응적인 서비스를 제공할 수 있다.
본 발명의 다른 측면에 의하면, 상황 모드 별로 기정의된 행동 정보를 바탕으로 학습된 행동 분류기를 이용하여 사용자의 행동을 파악하고, 파악된 행동과 상황 모드를 분석하여 사용자에게 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 행동 모니터링 시스템을 도시한 도면
도 2는 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치의 제어블록도
도 3은 도 2의 행동 정보 수집부에 포함되는 센서에 의해 센싱될 수 있는 정보를 예시한 도면
도 4는 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치에 포함되는 행동 정보 분석부의 세부 블록도
도 5는 도 4의 행동 정보 분석부의 동작을 설명하기 위해 센서 데이터에서 단위 데이터를 추출하는 것을 도시한 도면
도 6은 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치를 도시한 도면
도 7은 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치에 설정되는 상황 모드를 예시한 도면
도 8은 본 발명의 일실시예에 의한 사용자 행동 모니터링 시스템(1)에 포함되는 이동 단말의 화면을 도시한 도면
도 9는 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치(100)의 제어흐름도
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 사용자 행동 모니터링 시스템을 도시한 도면이다.
사용자 행동 모니터링 시스템(1)은 사용자가 착용할 수 있도록 마련되며, 사용자의 생체 신호 또는 이동 정보 등을 감지할 수 있는 사용자 행동 모니터링 장치(100)와, 사용자 행동 모니터링 장치(100)로부터 사용자의 생체 신호가 감지되면 해당 정보를 전송받아 애플리케이션에 적용하는 이동 단말(300)과, 이동 단말(300)에 얻어진 정보를 보관하는 서버(200)를 포함할 수 있다
사용자 행동 모니터링 장치(100)는 상황별 사용자의 행동 정보를 바탕으로 서비스를 제공할 수 있다. 사용자 행동 모니터링 장치(100)는 상황별 사용자의 행동 정보를 저장한 복수 개의 모드(이하 ‘상황 모드’라 함)에 따라 서비스를 제공할 수 있다. 상황 모드는 예를 들어, 수면 모드, 공부 모드, 업무 모드 등과 같이 특정 상황에 각각 사용자의 행동 정보를 저장하여 마련될 수 있다. 행동 정보는 특정 모드에서 발생할 수 있는 행동 정보와, 발생하지 말아야 할 행동 정보를 모두 포함할 수 있다. 행동 정보는 기정의된 정보 외에 점진적인 학습기법에 의해 계속적으로 업데이트될 수 있다. 행동 정보의 업데이트는 서버(200)를 통해 전송되는 정보를 업데이트하거나, 사용자 행동 모니터링 장치(100)에서 특정 모드가 설정되고, 설정된 특정 모드에서 발생하는 사용자의 행동 정보를 저장하는 방식으로 업데이트할 수 있다. 이에 따라, 상황 모드는 특정 모드에서 발생하는 사용자의 행동 정보를 계속적으로 업데이트하여 사용자 맞춤형 행동 정보를 업데이트할 수 있게 된다.
이동 단말(300)은 사용자 행동 모니터링 장치(100)와 무선 연결되며, 사용자 행동 모니터링 장치(100)로부터 전송되는 정보를 이용하여 애플리케이션을 구동할 수 있다. 이동 단말(300)은 사용자 행동 모니터링 장치(100)의 기능을 추가하거나 변경할 수 있는 애플리케이션을 구동시킬 수 있다. 이동 단말(300)은 사용자 행동 모니터링 장치(100)에서 분석되는 내용을 화면으로 출력하거나, 해당 정보를 저장할 수 있다. 이동 단말(300)은 애플리케이션의 기능 설정에 따라 개인화 서비스를 제공할 수 있는 기능을 조정할 수 있다.
도 2는 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치의 제어블록도이며, 도 3은 도 2의 행동 정보 수집부에 포함되는 센서에 의해 센싱될 수 있는 정보를 예시한 도면이다.
사용자 행동 모니터링 장치(100)는 상황 모드 설정부(110), 행동 정보 수집부(120), 행동 정보 분석부(130), 서비스 제어부(140) 및 서비스 구동부(150)를 포함할 수 있다.
상황 모드 설정부(110)는 사용자의 조작에 의해 사용자 행동 모니터링 장치(100)의 상황 모드를 설정할 수 있다. 상황 모드는 특정 상황에 대한 정보를 분류하여 설정한 모드이며, 사용자의 행동 정보를 포함하여 구성될 수 있다. 예를 들어, 공부 모드, 작업 모드, 수면 모드 등이 있으며, 공부 모드에서는 필기 동작 등 사용자가 공부 상황에서 하는 행동 정보가 포함되어 구동될 수 있으며, 작업 모드에서는 사용자의 작업 동작에 대한 정보가 포함되어 구동될 수 있으며, 수면 모드에서는 사용자의 수면 동작에 대한 정보가 포함되어 구동될 수 있다. 상황 모드는 상술한 사용자 맞춤형 적응적 동작 외, 서버(200)로부터 다른 사용자의 빅 데이터를 가져와 일반적인 상황에 따른 행동 정보를 포함하여 구동될 수 있다.
상황 모드 설정부(110)가 설정하는 상황 모드는 특정 상황에 따른 기저장된 행동 정보를 포함할 뿐 아니라, 수시로 수집되는 사용자의 평균적인 동작 정보 또는 서버(200)로부터 전송되는 빅데이터를 이용하여 업데이트될 수 있다.
행동 정보 수집부(120)는 사용자의 생체 신호 또는 이동 정보 등을 통한 사용자의 행동 정보를 수집할 수 있다. 행동 정보 수집부(120)는 센서를 이용하여 행동 정보를 수집할 수 있으며, 센서는 사용자 행동 모니터링 장치(100)에 탑재되는 자체 센서이거나, 사용자 행동 모니터링 장치(100)와 유무선으로 연결되어 데이터 송수신이 가능한 외부 센서일 수 있다. 예를 들어, 센서는 가속도 센서, GPS, 마이크로폰, 조도센서, 카메라, 근접센서, 터치 패널, 소프트웨어 센서 및 바이오 센서 등일 수 있으며, 이에 한정되는 것은 아니다.
행동 정보 수집부(120)는 도 3에 도시한 바와 같이, 각종 센서로부터 걷기, 뛰기 등 사용자의 활동에 관한 정보, 사용자의 현재 위치, 어투, 목소리 크기 등의 사용자의 상태에 관한 정보, 실내 또는 실외인지, 주간 또는 야간인지 등의 주변 상황 정보, 터치 패널 등을 통해 현재 수행하고 있는 행위 정보, 운영체제에서 제공하는 사용자의 소프트웨어 등의 사용 이력 내역 정보 및 바이오 센서를 통해 측정되는 혈당 혈압 등의 생체 정보를 수집할 수 있다.
행동 정보 분석부(130)는 수집된 행동 정보를 분석하여 미리 설정된 상황 모드에 부합하는 행동인지 또는 부합하지 않는 행동인지 여부를 분석할 수 있다.
예를 들어, 공부 모드에서 사용자가 일정 시간 이상 필기 행동을 수행하지 않는 경우 수면 상태인 것으로 판단할 수 있으며, 사용자의 필기 동작이 장시간 발생하는 경우에는 공부 모드에서 미리 정해진 행동 패턴이 아닌 것으로 판단할 수 있다. 즉, 특정 상황 모드에 사용자의 행동이 포함되지 않는 경우뿐만 아니라 시간적으로 장시간 해당 행동이 발생하는지 여부, 또는 단시간 해당 행동이 발생하는지 여부 등 종합적으로 상황을 판단하여 사용자의 행동이 특정 상황 모드에 포함되는 행동 정보에 포함되는지 여부를 판단하게 된다.
서비스 제어부(140)는 행동 정보 분석부(130)에 의해 사용자의 행동이 미리 정해진 상황 모드에 부합되는 행동이 아니면 사용자에게 피드백 신호를 줄 수 있다.
서비스 제어부(140)는 자체 디스플레이의 발광 신호, 진동 신호 및 음성 신호 등 여러가지 방법을 통해 사용자에게 피드백 서비스를 제공하도록 제어할 수 있다. 서비스 제어부(140)는 후술하는 서비스 구동부(150)를 제어하여 자체 구비된 스피커, 진동 소자, 디스플레이 등을 이용하여 사용자에게 피드백 신호(또는 피드백 서비스)를 줄 수 있다.
서비스 구동부(150)는 서비스 제어부(140)의 제어에 따라 사용자 행동 모니터링 장치(100)에 포함되는 스피커(음성 알림), 진동 소자(진동 알림), 디스플레이(화면표시 알림) 등을 제어하여 사용자에게 신호를 전송할 수 있다.
도 4는 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치에 포함되는 행동 정보 분석부의 세부 블록도이며, 도 5는 도 4의 행동 정보 분석부의 동작을 설명하기 위해 센서 데이터에서 단위 데이터를 추출하는 것을 도시한 도면이다.
행동 정보 분석부(130)는 단위 데이터 추출부(131), 특징 정보 추출부(132), 단위 행동 인식부(133), 대표 행동 인식부(134), 갱신부(135) 및 데이터베이스(136)를 포함할 수 있다.
단위 데이터 추출부(131)는 연속적인 형태의 센서 데이터(11,12)를 기준으로 시간 단위로 나누어 복수 개의 단위 데이터(11)를 추출할 수 있다. 단위 데이터 추출부(131)는 나누어진 각 단위 데이터(11)의 영역이 서로 겹치도록 추가적으로 복수 개의 단위 데이터(12)를 더 추출할 수 있다. 예를 들어, 도 5에 도시한 것처럼, 1차로 단위 데이터(11)를 6개 추출하고, 2차로 단위 데이터(12)를 5개 추출하여, 총 11개의 단위 데이터(11,12)를 추출할 수 있다. 이는, 연속적인 형태의 신호인 센서 데이터를 정형적으로 나누게 되면 패턴이 모호해지거나 손실 문제가 발생할 수 있으므로, 이를 방지하여 정확한 단위 행동을 인식하기 위함이다.
특징 정보 추출부(132)는 추출된 각 단위데이터(11,12)마다 하나 이상의 특징 정보를 추출할 수 있다. 이 때, 특징 정보는 평균(Mean), 엔트로피(Entropy), 에너지(Energy) 및 상관관계(Correlation1) 중 적어도 하나를 포함할 수 있다.
예를 들어, 도 5를 참조하면, 가속도 센서를 통해 수집된 센서 데이터(10)는 X, Y, Z에 대해 수집되기 때문에 각 축의 센서 데이터(10)에서 추출된 복수 개(예를 들면, 11개)의 단위 데이터(11,12)마다 각각 평균, 엔트로피, 에너지, 상관관계(X-Y), 상관관계(Y-Z), 상관관계(X-Z)의 특징을 추출할 수 있다. 만약 마이크로부터 센서 데이터를 더 수집한다면, 각 단위 데이터마다 마이크에 대한 평균, 엔트로피, 에너지와 상관관계(X-마이크), 상관관계(Y-마이크), 상관관계(Z-마이크)의 특징 정보를 더 추출할 수 있다.
한편, 단위 데이터 추출부(131)는 일반적으로 시간 축 상에 표현된 시간 도메인의 센서 데이터(10)에서 추출된 단위 데이터(11,12)를 주파수 도메인의 단위 데이터로 변환할 수 있다. 특징 정보 추출부(132)는 변환된 주파수 도메인의 단위 데이터를 이용하여 특징 정보를 추출할 수 있다. 이 때, 주파수 도메인으로 변환하는 알고리즘은 FFT(Fast Fourier Transformation)알고리즘이 될 수 있다.
단위 행동 인식부(133)는 각 단위 데이터(11,12)마다 추출된 특징 정보를 이용하여 각 단위 데이터(11,12)가 의미하는 단위 행동을 인식할 수 있다. 단위 행동은 사용자들이 일정 시간 간격 동안 수행하는 행동인 대표 행동을 구성하는 각 세부 행동을 의미하는 것으로, 예를 들어, 대표 행동이 공부라면 공부를 구성하는 단위 행동은, 앉음, 필기도구 잡기, 필기 도구로 공책에 필기하기, 필기 도구 내려 놓기 등이 될 수 있다. 또 다른 예로, 대표 행동이 식사라면 식사를 구성하는 단위 행동은 앉음, 수저 잡기, 수저로 음식물 뜨기, 젓가락 잡기, 젓가락으로 반찬 집기, 입에 넣기, 물 섭취, 수저 내려놓기, 젓가락 정렬하기 등이 될 수 있다.
단위 행동 인식부(133)는 추출된 특징 정보를 학습 데이터로 학습된 소정의 학습 알고리즘에 적용하여 단위 행동으로 분류함으로써 단위 행동을 인식할 수 있다.학습 데이터는 단위 행동들을 학습시키기 위한 데이터로써 미리 생성되며, 인식된 단위 행동들은 학습 데이터에 갱신될 수 있다. 소정의 학습 알고리즘은 베이지안(Bayesian), SVM(Support Vector Machine), 및 결정 트리(Decision Tree) 알고리즘 중 어느 하나일 수 있다.
대표 행동 인식부(134)는 각 단위 데이터(11,12) 별로 인식된 단위 행동을 기초로 적어도 하나의 대표 행동을 인식할 수 있다. 이 때, 사용자는 긴 시간 동안 둘 이상의 대표 행동을 연속적으로 수행할 수 있으므로 수집된 센서 데이터(11,12)의 시간 간격이 길다면 그 센서 데이터(11,12)를 통해 인식된 대표 행동이 둘 이상이 될 수 있다. 또한, 대표 행동 인식부(134)는 다양한 기법을 적용하여 사용자의 대표 행동을 인식할 수 있다.
예를 들어, 도 5에 개시된 11개의 단위 데이터(11,12)에 대해 인식된 단위 행동이 각각 ‘필기도구 들기’, ‘공책에 필기하기’, ‘필기도구 내려놓기’, ‘스탠드 켜기’, ‘책장 넘기기’, ‘책 덮기’라고 하면, 먼저, 단위 행동 인식 방법과 같이 미리 생성된 학습 데이터를 통해 학습된 학습 알고리즘에 적용하여 분류함으로써 대표 행동을 ‘공부하기’라고 인식할 수 있다.
또한, 대표 행동이 단위 행동들의 순서적 절차에 의미가 있지 않은 경우, 소정 기준에 따라 적어도 하나의 단위 행동을 선택하고, 그 단위 행동의 대표 행동을 사용자의 대표 행동으로 인식할 수 있다. 예컨데, 인식된 단위 행동들 중에서 발현 빈도가 가장 큰 단위 행동을 선택하고, 그 단위 행동을 대표하는 행동을 사용자의 대표 행동으로 인식할 수 있다.
갱신부(135)는 인식된 단위 행동 또는 대표 행동 모두를 학습 데이터에 갱신할 수 있다. 학습 데이터는 데이터베이스(136)에 저장될 수 있다. 갱신부(135)는 인식된 대표 행동 및 각 단위 행동들을 학습 데이터에 갱신할지를 미리 판단할 수 있다. 이는 인식된 행동들이 학습 가치가 있는지를 미리 정확하게 판단하고, 그 결과에 따라 갱신하도록 함으로써 학습의 질적 수준을 높이기 위함이다. 학습 가치 판단 모듈은 전처리 과정을 통해 사용자에 의해 미리 구현되어 대표 행동 인식부(134)에 구축될 수 있다.
다른 예로, 갱신부(135)는 대표 행동이나 단위 행동이 인식되면 ‘이 내용을 새로 학습시키겠습니까?’와 같이 사용자에게 학습 여부를 질의하고, 사용자의 답변 결과에 기초하여 갱신 여부를 판단할 수 있다. 또한, 갱신부(135)는 단위 행동이 인식되면 그 단위 행동(예: 공부의 하위 행동)을 사용자에게 제공하고, 사용자로부터 그 단위 행동에 대한 정확한 대표 행동(예:공부)을 입력받아 학습 데이터에 갱신하는 것도 가능하다. 또한, 단위 행동과 대표 행동을 동시에 사용자에게 제공하여 그 단위 행동에 대한 대표 행동이 맞는지를 질의할 수도 있다.
데이터베이스(136)는 행동 정보 수집부(120)에 의해 수집되는 센서 데이터가 저장될 수 있으며, 단위 데이터 추출부(131)에서 단위 데이터를 추출하기 위해 센서 데이터를 나누는 기준 단위, 특징 정보 추출부(132)에서 추출한 기준 특징, 단위 행동 인식부(133) 또는 대표 행동 인식부(134)에서 사용할 학습 알고리즘 등의 기준 정보들이 저장될 수 있다.
상술한 실시예에 의하면, 센서 데이터를 정확한 학습 데이터를 통해 학습된 학습 알고리즘을 사용하여 분석함으로써 정확한 단위 행동의 인식이 가능하며, 다양한 기법으로 정확하게 인식된 단위행동들을 분석함으로써 2단의 인식과정을 거쳐 정확한 대표행동을 인식할 수 있다.
이와 같이, 인식된 단위 행동 또는 대표 행동들에 대한 정보는 여러 상태에서 유용하게 활용될 수 있다. 예를 들어, 자동차 분야의 경우 일련의 단위 행동들을 통해 대표 행동을 인식하고 제공함으로써 졸음 운전이라고 판단되는 경우 경고 조치(진동, 소리)를 할 수 있다. 또한, 의료 분야의 경우 환자들의 질병에 따른 환자들의 대표 행동들을 모니터링하고, 그 환자들의 특이 행동을 자동으로 감지함으로써 당뇨환자에게 식사 주기 조절 피드백 신호 또는 운동량 조절 피드백 신호를 전달할 수 있다.
한편, 서비스 제어부(140)는 상술한 작업에 의해 사용자의 단위 행동 또는 대표 행동이 분석되면, 미리 정해진 상황 모드에 포함되는 행동 정보에 단위 행동 또는 대표 행동 중 적어도 하나의 행동이 포함되지 확인하고, 그 결과에 따라 피드백 신호 전달 여부를 결정할 수 있다. 이는 설정에 의해 변경 가능하며, 단위 행동 별로 상황 모드에 포함되는 행동 정보에 포함 여부를 판단하고, 포함되지 않으면 피드백 신호를 제공하도록 제어하거나, 대표 행동을 기준으로 상황 모드에 포함되는 행동 정보에 포함되는지 확인하여 피드백 신호 제공 여부를 결정할 수도 있다. 또한, 상황 모드 별로 단위 행동을 기준으로 서비스 제공 여부를 판단하거나, 대표 행동을 기준으로 서비스 제공 여부를 판단할 수 있다. 예를 들면, 운전 모드인 경우 사용자의 졸음과 관련된 단위 행동이 감지되면 바로 피드백 서비스를 제공하는 것이 효과적일 수 있으며, 공부 모드인 경우 사용자의 대표 행동이 공부와 관련된 행동이 아니면 피드백 서비스를 제공하도록 제어하는 것이 효과적일 수 있다.
도 6은 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치를 도시한 도면이며, 도 7은 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치에 설정되는 상황 모드를 예시한 도면이다.
사용자 행동 모니터링 장치(100)는 본체(100a) 및 밴드(100b)를 포함하여 구성될 수 있다.
본체(100a)는 도 2에 도시한 블록 즉, 상황 모드 설정부(110), 행동 정보 수집부(120), 행동 정보 분석부(130), 서비스 제어부(140) 및 서비스 구동부(150)를 포함할 수 있으며, 이에 더하여 외부에 정보를 출력하는 표시부를 더 포함할 수 있다.
밴드(100b)는 사용자가 장착할 수 있는 여러가지의 형태로 마련될 수 있으며, 본체(100a)에 결합될 수 있다. 밴드(100b)는 사용자의 행동 정보를 감지할 수 있는 가속도센서나, 사용자에게 피드백 신호를 줄 수 있는 진동 소자를 포함하여 구성될 수 있다.
사용자의 생체 신호를 감지하거나, 사용자에게 서비스 신호를 줄 수 있는 블록은 상술한 것처럼, 본체(100a) 또는 밴드(100b) 모두에 포함되어 구성될 수 있다.
도 7을 참조하면, 사용자는 본체(100a)를 조작하여 상황 모드를 설정할 수 있다. 상황 모드는 (a)공부 모드, (b)작업 모드, (c)수면 모드 등 사용자의 상황을 정해놓을 수 있는 모드이다. 상황 모드에 따른 동작은 기저장된 동작 외에 사용자가 추가적으로 업데이트하는 동작을 모두 포함할 수 있다.
사용자의 단위 행동을 감지하기 위한 센서는 본체(100a) 및 밴드(100b) 모두에 장착될 수 있으며, 사용자의 동작을 감지하는 가속도 센서, 자이로 센서 등과, 사용자의 생체 신호를 감지하는 맥박센서, 온도센서 등이 모두 포함되어 구성될 수 있다.
사용자 행동 모니터링 장치(100)의 본체(100a) 또는 밴드(100b) 중 어느 하나 또는 모두에 포함된 장치들은 서비스 구동부(150)에 의해 동작되어 사용자에게 일정한 피드백 신호를 전달할 수 있다.
사용자 행동 모니터링 장치(100)는 사용자가 미리 설정한 상황 모드에 포함되는 대표 행동 또는 단위 행동과 다른 동작을 사용자가 하고 있는 것으로 판단되면, 사용자에게 진동 또는 소리 경고음을 출력할 수 있다.
도 8은 본 발명의 일실시예에 의한 사용자 행동 모니터링 시스템에 포함되는 이동 단말의 화면을 도시한 도면이다.
이동 단말(300)은 사용자 행동 모니터링 장치(100)와 무선 연결되며, 사용자 행동 모니터링 장치(100)의 개인화 서비스를 설정할 수 있다. 이동 단말(300)은 애플리케이션을 구동하여 졸음 감지 서비스, 운동량 측정 서비스 등과 같은 개인화 서비스가 사용자 행동 모니터링 장치(100)에서 제공될 수 있도록 한다.
도 9는 본 발명의 일실시예에 의한 사용자 행동 모니터링 장치(100)의 제어흐름도이다.
상황 모드 설정부(110)는 사용자의 조작에 의해 사용자 행동 모니터링 장치(100)의 상황 모드를 설정할 수 있다. 상황 모드는 특정 상황 별로 그 모드가 구분되어 마련되며, 사용자의 행동 패턴이 특정 상황 모드 별로 다르게 설정될 수 있다.(400)
행동 정보 수집부(120)는 사용자의 행동 정보를 수집할 수 있다. 행동 정보 수집부(120)는 본체(100a) 및 밴드(100b)에 사용자의 생체 정보 또는 동작 정보를 측정할 수 있는 적어도 하나의 센서 형태로 마련될 수 있다. 행동 정보 수집부(120)는 사용자의 생체 정보 또는 행동 정보를 추출할 수 있는 가속도 센서, 자이로 센서, 온도 센서, 뇌파 감지 센서 등 사용자의 생체 신호 및 행동 정보를 감지할 수 있는 여러가지 형태의 센서일 수 있다. 여기서, 사용자의 행동 정보는 사용자의 활동에 관한 정보, 사용자의 현재 위치, 어투, 목소리의 크기 등 사용자의 상태에 관한 정보, 실내 또는 실외인지, 주간 또는 야간인지 등의 주변 상황 정보, 현재 수행하고 있는 행위 정보, 생체 정보 등 사용자의 내외부로 측정될 수 있는 모든 정보를 포함할 수 있다.(410)
행동 정보 분석부(130)는 사용자의 행동 정보가 수집되면, 그 정보를 분석하여 사용자의 행동 정보를 분석할 수 있다. 행동 정보 분석부(130)는 수집된 행동 정보를 분석하여 미리 설정된 상황 모드에 부합하는 행동인지 또는 부합하지 않는 행동인지 여부를 분석할 수 있다.(420)
서비스 제어부(140)는 사용자의 행동이 미리 정의된 상황 모드에 부합하는 행동이 아닌 것으로 확인되면 해당 사용자에게 피드백 신호를 주도록 제어할 수 있다. 서비스 제어부(140)는 사용자 행동 모니터링 장치(100)에 포함되는 각종 피드백 장치를 이용하여 사용자에게 피드백 신호를 주도록 제어할 수 있다. 피드백 장치는 진동 장치, 스피커, 디스플레이 등 다양한 장치를 포함할 수 있다.(430,440)
이와 같이, 상황 모드에 따라 사용자의 행동을 분석하여 피드백 신호를 전송하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 복수 개의 특정 상황에 따라 발생할 수 있는 사용자의 행동 정보가 미리 저장되고, 사용자의 조작에 의해 상황 모드를 설정하면, 특정 상황이 지정되는 형태로 설정되는 상황 모드 설정부;
    사용자의 행동 정보를 수집하는 행동 정보 수집부;
    상기 사용자의 행동 정보를 분석하여 사용자의 행동이 상기 특정 상황에 따라 발생할 수 있는 사용자의 행동 정보에 포함되는지 여부 및 상기 특정 상황에 따라 발생할 수 있는 행동이 장시간 또는 단시간 발생하는지 여부를 모두 고려하여 상기 사용자의 행동이 상기 특정 상황에 부합하는 행동인지 여부를 분석하는 행동 정보 분석부; 및
    상기 사용자의 행동 정보가 상기 상황 모드에 부합하는 행동이 아니면 사용자에게 피드백 서비스를 제공하는 서비스 제어부를 포함하는 사용자 행동 모니터링 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 행동 정보 분석부는 수집되는 연속되는 형태의 센서 데이터를 기준으로 시간 단위로 나누어 복수 개의 단위 데이터를 추출하는 단위 데이터 추출부와, 추출된 각 단위 데이터마다 하나 이상의 특징 정보를 추출하는 특징 정보 추출부를 포함하는 사용자 행동 모니터링 장치.
  4. 제 3 항에 있어서,
    상기 행동 정보 분석부는 각 단위 데이터마다 추출된 특징 정보를 이용하여 각 단위 데이터가 의미하는 단위 행동을 인식하는 단위 행동 인식부를 더 포함하는 사용자 행동 모니터링 장치.
  5. 제 4 항에 있어서,
    상기 단위 행동 인식부는 추출된 특징 정보를 학습 알고리즘에 적용하여 단위 행동으로 분류하는 방식으로 단위 행동을 인식하는 사용자 행동 모니터링 장치.
  6. 제 4 항에 있어서,
    상기 행동 정보 분석부는 단위 데이터별로 인식된 단위 행동을 기초로 적어도 하나의 대표 행동을 인식하는 대표 행동 인식부를 더 포함하는 사용자 행동 모니터링 장치.
  7. 제 6 항에 있어서,
    상기 행동 정보 분석부는 인식된 단위 행동 또는 대표 행동 중 적어도 하나를 학습 데이터에 갱신하는 갱신부를 더 포함하며,
    상기 서비스 제어부는 상황 모드에 따라 상기 단위 행동만을 고려해 피드백 서비스 제공 여부를 결정하거나, 상기 대표 행동만을 고려해 피드백 서비스 제공 여부를 결정하거나, 상기 단위 행동 또는 상기 대표 행동 모두를 고려하여 피드백 서비스 제공 여부를 결정하도록 선별 제어하는 사용자 행동 모니터링 장치.
  8. 제 1 항에 있어서,
    상기 행동 정보 분석부는 상기 행동 정보 수집부에 의해 수집되는 사용자의 행동 정보를 저장하고, 상기 상황 모드에 따라 발생할 수 있는 행동 정보를 미리 저장하며, 상기 상황 모드에 따라 발생하는 사용자의 행동 정보를 점진적으로 업데이트하는 데이터베이스를 더 포함하는 사용자 행동 모니터링 장치.
  9. 사용자가 착용 가능하며, 상기 사용자의 행동 정보를 감지 및 분석할 수 있는 사용자 행동 모니터링 장치의 제어방법에 있어서,
    복수 개의 상황 모드 중 어느 하나의 상황 모드가 사용자의 조작에 의해 설정되고, 상기 상황 모드는 해당 모드에서 발생할 수 있는 사용자의 행동 정보가 미리 저장되어 있으며, 사용자의 행동 정보를 수집하고,
    상기 사용자의 행동 정보가 설정된 특정 상황 모드에서 발생할 수 있는 사용자의 행동 정보에 포함되는지 여부 및 상기 특정 상황 모드에서 발생할 수 있는 행동이 장시간 또는 단시간 발생하는지 여부를 모두 고려하여 상기 사용자의 행동 정보가 상기 특정 상황에 부합하는 행동인지 여부를 분석하고, 상기 분석된 사용자의 행동 정보가 상기 상황 모드에 따라 발생할 수 있는 행동 정보와 다르면 사용자에게 피드백 서비스를 제공하는 사용자 행동 모니터링 장치의 제어방법.
  10. 제 9 항에 있어서,
    상기 사용자에게 피드백 서비스를 제공하는 것은,
    상기 사용자에게 진동 알림 또는 음성 알림 또는 화면 표시 알림 중 적어도 하나의 방법으로 상기 사용자에게 피드백 서비스를 제공하는 사용자 행동 모니터링 장치의 제어방법.
  11. 제 9 항에 있어서,
    상기 사용자의 조작에 의해 상황 모드가 설정되는 것은,
    학습에 의해 업데이트 가능하도록 마련되는 사용자 행동 모니터링 장치의 제어방법.
  12. 제 9 항에 있어서,
    상기 사용자의 행동 정보를 수집하여 분석하는 것은,
    상기 사용자로부터 수집되는 연속되는 형태의 센서 데이터를 기준으로 시간 단위로 나누어 복수 개의 단위 데이터를 추출하는 것을 포함하는 사용자 행동 모니터링 장치의 제어방법.
  13. 제 12 항에 있어서,
    상기 사용자의 행동 정보를 수집하여 분석하는 것은,
    추출된 단위 데이터마다 하나 이상의 특징 정보를 추출하는 것을 포함하는 사용자 행동 모니터링 장치의 제어방법.
  14. 제 13 항에 있어서,
    각 단위 데이터마다 추출된 특징 정보를 이용하여 각 단위 데이터가 의미하는 단위 행동을 인식하는 것을 더 포함하는 사용자 행동 모니터링 장치의 제어방법.
  15. 제 14항에 있어서,
    상기 단위 행동을 기초로 적어도 하나의 대표 행동을 인식하며, 상기 상황 모드에 따라 상기 단위 행동 또는 대표 행동 중 어느 하나 또는 모두를 고려하여 피드백 서비스를 제공하는 사용자 행동 모니터링 서비스의 제어방법.
  16. 제 9 항 내지 제15항 중 어느 한 항의 방법을 실현하기 위한 사용자 행동 모니터링 서비스 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록 매체.
  17. 사용자가 착용할 수 있도록 마련되며, 상기 사용자의 행동 정보를 감지 및 분석하는 사용자 행동 모니터링 장치 및
    상기 사용자 행동 모니터링 장치와 무선 연결되며 애플리케이션을 구동시켜 상기 사용자 행동 모니터링 장치의 기능을 추가하거나 변경할 수 있는 이동 단말을 포함하며,
    상기 사용자 행동 모니터링 장치는 복수 개의 특정 상황에 따라 발생할 수 있는 사용자의 행동 정보 및 발생하지 말아야 할 행동 정보가 미리 저장되고, 사용자의 조작에 의해 복수 개의 상황 모드 중 어느 하나의 상황 모드가 설정되면, 특정 상황이 지정되는 형태로 설정되며, 상기 사용자의 행동 정보를 감지하고 상기 사용자의 행동 정보가 상기 특정 상황에 따라 발생할 수 있는 사용자의 행동 정보에 포함되는지 여부 및 상기 특정 상황에 따라 발생할 수 있는 행동이 장시간 또는 단시간 발생하는지 여부를 모두 고려하여 상기 사용자의 행동이 상기 특정 상황에 부합하는 행동인지 여부를 분석하며, 상기 사용자의 행동 정보가 상기 상황 모드에 미리 저장된 행동 정보와 다르면 사용자에게 피드백 서비스를 제공하는 것인 사용자 행동 모니터링 시스템.
  18. 제 17 항에 있어서,
    상기 사용자 행동 모니터링 장치는 본체 및 밴드를 포함하며, 상기 본체 및 밴드 중 적어도 하나에 상기 사용자의 행동 정보를 감지할 수 있는 행동 정보 수집부와, 상기 사용자에게 피드백 서비스를 제공하도록 제어하는 서비스 제어부를 포함하는 사용자 행동 모니터링 시스템.
  19. 제 17 항에 있어서,
    상기 사용자 행동 모니터링 장치가 상기 사용자의 행동 정보를 감지 및 분석하는 것은,
    상기 사용자의 단위 행동과, 복수 개의 단위 행동에 기초하여 대표 행동을 감지 및 분석하는 것을 포함하며, 상기 단위 행동 또는 대표 행동 중 적어도 하나가 상기 상황 모드에 따라 발생할 수 있는 행동에 포함되지 않으면 상기 피드백 서비스를 제공하는 것인 사용자 행동 모니터링 시스템.
  20. 제 17 항에 있어서,
    상기 상황 모드에 포함되는 행동 정보는 기저장된 정보와, 설정된 상황 모드에서 발생하는 사용자의 행동 정보가 점진적으로 업데이트된 정보를 포함하는 사용자 행동 모니터링 시스템.
KR1020140074222A 2014-06-18 2014-06-18 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체 KR101579585B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140074222A KR101579585B1 (ko) 2014-06-18 2014-06-18 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140074222A KR101579585B1 (ko) 2014-06-18 2014-06-18 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체

Publications (1)

Publication Number Publication Date
KR101579585B1 true KR101579585B1 (ko) 2015-12-22

Family

ID=55081989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140074222A KR101579585B1 (ko) 2014-06-18 2014-06-18 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체

Country Status (1)

Country Link
KR (1) KR101579585B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131244A1 (ko) * 2016-01-25 2017-08-03 엘지전자 주식회사 워치 타입의 이동단말기 및 그 제어방법
KR101878155B1 (ko) * 2017-12-19 2018-07-13 허수범 휴대 단말기의 제어방법
KR101937970B1 (ko) * 2017-07-07 2019-04-11 (주)키즈소프트 이상 행동 모니터링을 위한 웨어러블 기기, 방법 및 시스템
WO2019147110A2 (ko) 2019-02-20 2019-08-01 엘지전자 주식회사 자주 사용하는 앱 도출 방법 및 이를 이용한 도출 장치
US10481698B2 (en) 2016-06-08 2019-11-19 Samsung Electronics Co., Ltd. Electronic device and method for activating applications therefor
KR20220147316A (ko) * 2021-04-27 2022-11-03 한국과학기술원 비접촉식 생체 정보 모니터링 내 사용자 행동 패턴을 기반으로 한 데이터 샘플링 주기 조절 방법 및 장치
KR102465318B1 (ko) * 2022-01-04 2022-11-10 광주과학기술원 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100007050A (ko) * 2008-07-11 2010-01-22 중앙대학교 산학협력단 행동 패턴 인식 장치 및 방법
KR20140006665A (ko) 2012-07-06 2014-01-16 삼성전자주식회사 단위 행동 인식을 기반으로 사용자의 대표 행동을 인식하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100007050A (ko) * 2008-07-11 2010-01-22 중앙대학교 산학협력단 행동 패턴 인식 장치 및 방법
KR20140006665A (ko) 2012-07-06 2014-01-16 삼성전자주식회사 단위 행동 인식을 기반으로 사용자의 대표 행동을 인식하는 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131244A1 (ko) * 2016-01-25 2017-08-03 엘지전자 주식회사 워치 타입의 이동단말기 및 그 제어방법
US10481698B2 (en) 2016-06-08 2019-11-19 Samsung Electronics Co., Ltd. Electronic device and method for activating applications therefor
KR101937970B1 (ko) * 2017-07-07 2019-04-11 (주)키즈소프트 이상 행동 모니터링을 위한 웨어러블 기기, 방법 및 시스템
KR101878155B1 (ko) * 2017-12-19 2018-07-13 허수범 휴대 단말기의 제어방법
WO2019147110A2 (ko) 2019-02-20 2019-08-01 엘지전자 주식회사 자주 사용하는 앱 도출 방법 및 이를 이용한 도출 장치
US11228675B2 (en) 2019-02-20 2022-01-18 Lg Electronics Inc. Method for deriving frequently used application, and apparatus using the same
KR20220147316A (ko) * 2021-04-27 2022-11-03 한국과학기술원 비접촉식 생체 정보 모니터링 내 사용자 행동 패턴을 기반으로 한 데이터 샘플링 주기 조절 방법 및 장치
KR102544798B1 (ko) 2021-04-27 2023-06-20 한국과학기술원 비접촉식 생체 정보 모니터링 내 사용자 행동 패턴을 기반으로 한 데이터 샘플링 주기 조절 방법 및 장치
KR102465318B1 (ko) * 2022-01-04 2022-11-10 광주과학기술원 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101579585B1 (ko) 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체
US10528121B2 (en) Smart wearable devices and methods for automatically configuring capabilities with biology and environment capture sensors
CN107784357B (zh) 基于多模态深度神经网络的个性化智能唤醒系统及方法
KR101969450B1 (ko) 단위 행동 인식을 기반으로 사용자의 대표 행동을 인식하는 장치 및 방법
KR102036987B1 (ko) 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치
US9113837B2 (en) Drowsiness detection method and associated device
WO2016137797A1 (en) Empathetic user interface, systems, and methods for interfacing with empathetic computing device
KR101749706B1 (ko) 사용자 장치를 사용하여 획득된 상황 정보 및 생체 정보를 기반으로 사용자의 감정을 예측하는 방법 및 시스템
RU2601152C2 (ru) Устройство, способ и компьютерная программа для обеспечения предоставления информации пользователю
CN107209807A (zh) 疼痛管理可穿戴设备
KR102276415B1 (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
JP6906197B2 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
US20150254575A1 (en) Learn-by-example systems and methos
KR20200036085A (ko) 인공지능 장치
KR20200040564A (ko) 혈압 추정 장치 및 방법과, 혈압 추정 지원 장치
US20240012480A1 (en) Machine learning configurations modeled using contextual categorical labels for biosignals
KR20190023611A (ko) 웨어러블 기기 기반 운동 가이드 시스템
CN104977038B (zh) 使用与关联存储器耦合的运动感测设备识别移动
JP2019512347A5 (ko)
JP2019051129A (ja) 嚥下機能解析システム及びプログラム
Stewart et al. Practical automated activity recognition using standard smartphones
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
KR102588194B1 (ko) 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
KR20230135844A (ko) 생체 및 감성 반응형 마스킹 사운드 자동 제어 장치, 방법 및 시스템
WO2018122868A1 (en) A brain cloning system and method thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 5