KR101690649B1

KR101690649B1 - 다축 활동 모니터 디바이스로의 활동 분류

Info

Publication number: KR101690649B1
Application number: KR1020147022152A
Authority: KR
Inventors: 조나단 이. 리
Original assignee: 인벤센스, 인크.
Priority date: 2012-01-09
Filing date: 2012-12-06
Publication date: 2016-12-28
Also published as: CN104135911B; CN104135911A; EP2802255A4; KR20140116481A; WO2013106143A1; EP2802255A1; US11026600B2; US20130179110A1; EP2802255B1

Abstract

활동 분류 디바이스가 개시된다. 활동 분류 디바이스는 하나 이상의 모션 센서들 및 하나 이상의 모션 센서들로부터 신호들을 수신하도록 구성되는 메모리를 포함한다. 디바이스는 메모리와 통신하는 프로세서를 더 포함한다. 마지막으로, 디바이스는 프로세서에 의해 실행되는 분류 알고리즘을 포함하며, 분류 알고리즘은 사용자가 관여하는 활동들을 식별하기 위한 것이다. 메모리는 또한 사용자의 활동 로그, 칼로리 계산 및 RF 모듈을 기록할 수 있으며, 이는 요청 시에 또는 지속적으로 기록된 데이터를 호스트로 송신한다.

Description

다축 활동 모니터 디바이스로의 활동 분류{ACTIVITY CLASSIFICATION IN A MULTI-AXIS ACTIVITY MONITOR DEVICE}

본 출원은 35 USC 119(e) 하에 "다축 활동 모니터 디바이스로의 활동 분류"라는 명칭으로 2012년 1월 9일자로 출원된 미국 가출원 제 61/584,710호의 이익을 주장하며, 상기 가출원은 그 전체가 본원에 참조로 포함된다.

본 발명은 일반적으로 센서들을 사용한 모니터링 디바이스에 관한 것으로 보다 상세하게는 그러한 디바이스를 활용하여 활동들을 분류하는 것에 관한 것이다.

관성 활동 분류를 제공하는 디바이스들은 다양한 환경에서 활용된다. 이러한 디바이스들은 가속도계들로 구성될 수 있다. 통상적으로, 디바이스들은 처리를 위해 가속도계에서 유도되는 특성들에 기초하여 활동을 분류하기 위해 사용되는 데이터를 기록하거나 호스트 디바이스로 송신한다.

그러나, 전력 소모가 랩탑, 태블릿, 스마트폰 등과 같은 휴대용 디바이스 애플리케이션들에서 제한되는 것이 중요하다. 그러므로, 정확하고, 저전력이고, 비용 효율적인 모니터링 디바이스로 활동 분류를 제공하는 시스템 및 방법이 요구된다. 본 발명은 그러한 요구를 다룬다.

본 발명은 디바이스를 개시한다. 디바이스는 하나 이상의 모션 센서들 및 하나 이상의 모션 센서들로부터 신호들을 수신하도록 구성되는 메모리를 포함한다. 디바이스는 메모리와 통신하는 프로세서를 더 포함한다. 마지막으로, 디바이스는 프로세서에 의해 실행되는 분류 알고리즘을 포함하며, 분류 알고리즘은 활동들을 식별하기 위한 것이다. 디바이스는 또한 다른 데이터 중에서 활동 로그 및 칼로리 계산과 같은 데이터를 기록하는 메모리부를 포함할 수 있다. 일 실시예에서, 센서는 요청 시에 또는 지속적으로 기록된 데이터를 호스트로 무선으로 송신하는 RF (무선 주파수) 모듈을 포함할 수 있다.

도 1은 일 실시예에 따른 활동 분류 알고리즘을 활용하는 시스템의 블록도이다.
도 2a는 일 실시예에 따른 둘 이상의 프로세서가 동작하고 있는 활동 분류 시스템의 도면이다.
도 2b는 일 실시예에 따른 둘 이상의 센서가 무선 환경에서 활용되는 활동 분류 시스템의 도면이다.
도 3은 손목 시계처럼 착용되는 활동 분류 디바이스의 일 실시예를 도시한다.
도 4는 복수의 활동들을 식별하기 위해 활용되는 의사 결정 분지도 생성에 대한 알고리즘의 예를 도시한다.
도 5는 일 실시예에 따른 가속도계 변동 추적을 위한 전력 관리 과정을 도시한다.

본 발명은 일반적으로 모니터링 디바이스에 관한 것으로, 보다 상세하게는 그러한 디바이스를 활용하여 활동들을 분류하는 것에 관한 것이다. 이하의 설명은 당업자가 본 발명을 행하고 사용하는 것을 가능하게 하도록 제공되고 특허 출원 및 그것의 필요 요건들의 맥락으로 제공된다. 바람직한 실시예들 그리고 본 명세서에서 설명된 일반적인 원리들 및 특징들에 대한 다양한 변경들이 당업자에게 손쉽게 자명할 것이다. 따라서, 본 발명은 도시된 실시예들에 제한되도록 의도되지 않고, 본 명세서에서 설명된 원리들 및 특징들과 일치하는 가장 넓은 범위에 따를 것이다.

본 발명에 따른 시스템 및 방법은 가속도계, 자이로스코프, 온도 센서, 압력 센서, 자력계, 심박동수 모니터 또는 마이크와 같은 센서들의 임의의 조합으로 구성되는 관성 활동 분류 디바이스, 관성 데이터로부터 유도되는 특성들에 기초하여 활동을 분류하는 방법, 및 물리적 활동으로부터 유도되는 활동도를 지속적으로 보고하는 능력을 설명한다. 모션 센서들 중 하나 이상은 단일 기판 상에 통합된 모듈로서 구현될 수 있다.

일 실시예에서, 시스템 및 방법은 연관된 배터리 수명의 감소 없이 더 정확한 감지 및 활동 분류를 위해 자이로스코프와 같은 상대적으로 더 높은 전력 디바이스들의 사용을 가능하게 하는 전력 관리에 대한 결정 방식을 제공함으로써 다중 센서 관성 활동 분류 디바이스의 장기 실행 가능성을 개선한다.

일 실시예에 따른 시스템 및 방법은 또한 칼로리 계산을 목적으로 보고된 데이터의 타당성을 증가시킬 목적으로 모션의 걷고, 조깅하고, 뛰는 양상들을 식별하고, 또한 카운트된 스텝수에서 긍정 오류 "스텝들"을 가려낼 수 있음으로써 디바이스의 정확성의 개선을 제공한다. 활동들의 식별은 떠는 것, 운전하는 것, 또는 다른 활발하지 않은 움직임 중에 기록되는 "스텝들"을 가려내면서 걷는 것, 뛰는 것 등일 때, 디바이스가 스텝들을 더 정확하게 추적하는 것을 가능하게 한다. 따라서, 적절한 시기에 보고되는 스텝수와 같은 모션 추적 정보는 활동에 기초하여 허용된다. 식별될 수 있는 활동들은 자는 것, 차를 운전하는 것, 자전거를 타는 것, 조깅하는 것, 테니스를 치는 것, 골프를 치는 것, 앉는 것, 서 있는 것, 걷는 것, 뛰는 것, 수영 영법들(예를 들어, 평영, 배영 및 자유형), 흔드는 모션들(예를 들어, 악수, 드리블하는 것) 및 원형으로 손을 움직이는 것을 포함한다.

이제 본 발명의 특징들을 보다 상세히 설명하기 위해, 첨부 도면들과 함께 이하의 설명을 참조한다.

도 1은 일 실시예에 따른 활동 분류 알고리즘(100)을 활용하는 시스템(10)의 블록도이다. 시스템(10)은 디바이스(11)를 포함한다. 디바이스(11)는 휴대폰, 태블릿 PC, 또는 다른 타입의 휴대용 전자 디바이스를 포함하지만 이에 제한되지 않는 임의의 타입의 이동 디바이스를 포함할 수 있다. 디바이스(11)는 하나 이상의 자력계(12), 하나 이상의 가속도계(14) 및 하나 이상의 자이로스코프(16)과 같은 복수의 센서들로부터 입력 데이터를 수신한다. 센서들(12, 14 및 16)이 디바이스(11)의 외부에 도시되지만, 당업자는 그러한 센서들이 디바이스(11)의 내부에 있을 수 있고 본 발명의 사상 및 범위 내에 있을 것이라는 점을 쉽게 인식한다.

디바이스(11)는 데이터를 저장하는 메모리(18)를 포함한다. 상술된 실시예에서, 센서들은 자력계(12), 가속도계(14) 또는 자이로스코프(16)를 지칭한다. 데이터부(20)는 하나 이상의 센서들로부터의 데이터를 저장한다. 메모리(18)는 또한 본 발명에 따른 알고리즘(100)을 포함한다. 알고리즘(100)은 활동 분류 및 센서 융합을 위한 것이지만 이에 제한되지 않는 소프트웨어 코드를 포함할 수 있다. 상술된 실시예들에서, 센서 융합은 자력계(12), 가속도계(14) 및 자이로스코프(16)로부터 데이터를 통합하는 단계 및 센서 융합 데이터를 생성하는 단계를 포함할 수 있다. 프로세서(24)는 센서들로부터 수신되는 데이터 상에서 동작하는 알고리즘(100)을 실행시킨다. 프로세서(24)는 센서 융합 데이터(19)를 제공한다. 센서 융합 데이터(19)는 디바이스의 배향 정보를 제공한다.

본 발명에 따른 활동 분류 알고리즘(100)을 활용하는 시스템은 완전히 하드웨어 구현, 완전히 소프트웨어 구현, 또는 하드웨어 및 소프트웨어 요소들 둘 다를 포함하는 구현의 형태를 취할 수 있다. 하나의 구현에서, 이러한 활동 분류 알고리즘은 소프트웨어로 구현되며, 이는 애플리케이션 소프트웨어, 펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함하지만 이에 제한되지 않는다.

더욱이, 활동 분류 알고리즘(100)은 컴퓨터 또는 임의의 명령어 실행 시스템에 의해 또는 이들에 관련되어 사용되는 프로그램 코드를 제공하는 컴퓨터-사용 가능 또는 컴퓨터-판독 가능 매체로부터 액세스 가능한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 이러한 설명의 목적으로, 컴퓨터-사용 가능 또는 컴퓨터-판독 가능 매체는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 이들에 관련되어 사용되는 프로그램을 포함하거나, 저장하거나, 통신하거나, 전파하거나, 전송할 수 있는 임의의 장치일 수 있다.

매체는 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템 (또는 장치 또는 디바이스) 또는 전파 매체일 수 있다. 컴퓨터-판독 가능 매체의 예들은 반도체 또는 고체 상태 메모리, 자기 테이프, 제거 가능 컴퓨터 디스켓, RAM(random access memory), ROM(read-only memory), 강성 자기 디스크 및 광 디스크를 포함한다. 광 디스크들의 현재의 예들은 DVD, CD-ROM(compact disk-read-only memory) 및 CD-R/W(compact disk-read/write)를 포함한다. 이제, 본 발명의 특징들을 보다 상세히 설명하기 위해, 첨부 도면들과 함께 이하의 설명을 참조한다.

일 실시예에서, 관성 활동 분류 디바이스는 가속도계, 자이로스코프, 온도 센서, 압력 센서, 자력계 또는 마이크와 같은 센서들의 임의의 조합 및 관성 데이터로부터 유도되는 특성들에 기초하여 활동을 분류하기 위한 알고리즘, 및물리적 활동으로부터 유도되는 활동도를 지속적으로 보고하는 능력을 포함한다. 일 실시예에 따른 시스템은 활동 인식 결과들의 정확성을 개선하기 위해 다수의 센서들 및 활동 분류 알고리즘에 의존한다. 센서의 포함은 정확성, 안정성, 또는 알고리즘 성능을 개선하는 효과를 갖는다.

도 2a는 일 실시예에 따른 둘 이상의 프로세서가 동작하고 있는 활동 분류 시스템(100)의 도면이다. 일 실시예에서, 구성 요소들은 하나 이상의 센서들(102), 원시 데이터(104), 활동 분류 알고리즘(100), 및 하나 이상의 프로세서들(108a~108n)을 포함한다. 센서들의 세트는 1, 2 또는 3-축 가속도계, 1, 2 또는 3-축 자이로스코프, 1, 2 또는 3-축 자력계, 압력 센서, 온도 센서 및 마이크의 임의의 조합일 수 있다.

그러한 활동도는 또한 사용자에 의해 신체의 다양한 부위들에 착용되는 하나 이상의 센서들이 존재하는 일 실시예에서 활용될 수 있다. 도 2b는 일 실시예에 따른 둘 이상의 센서들이 무선 환경에서 활용되는 활동 시스템(150)의 도면이다.

보여지는 바와 같이, 활동 스템은 호스트 시스템(165)과 무선으로 통신하는 2개의 센서 시스템들(160a 및 160b)을 포함한다. 호스트 시스템(165)은 임의의 수의 센서 시스템들에 무선으로 연결될 수 있다. 일 예에서, 센서 시스템(160a)은 사용자의 팔에 부착될 수 있고 센서 시스템(160b)은 사용자의 다리에 결합될 수 있다. 센서 시스템들(160a 및 160b) 각각은 각각 활동 데이터를 수신하는 센서(170a 및 170b)를 포함한다. 센서들(170a 및 170b) 각각은 센서로부터 활동 데이터를 수신하는 프로세서(172a 및 172b)에 각각 결합된다. 프로세서들(172a 및 172b) 각각은 그 다음 데이터를 그것의 각각의 무선 장치(174a 및 174b)에 제공한다. 무선 장치들(174a 및 174b)은 데이터를 호스트 시스템(165)에 무선으로 송신한다. 호스트 시스템(165)은 무선 장치들(174a 및 174b)로부터 데이터를 수신하는 무선 수신기(176) 및 활동 분류 알고리즘(100')을 실행하는 프로세서(178)를 포함한다.

다른 실시예에서, 센서 시스템들 및 호스트 시스템은 배선들에 의해 연결될 수 있다. 다른 실시예에서, 호스트 시스템은 센서 시스템 상에 상주하고 다른 센서 시스템들에 연결될 수 있다.

도 3은 손목 시계처럼 착용되는 활동 분류 디바이스(200)를 도시한다. 활동 분류 디바이스(200)는 사용자에게 끈으로 묶여지고 휴대용 매체 디바이스들을 의도하여 설계된다. 동작 중에, 디바이스(200) 내에서의 착용 가능한 모듈의 마이크로 제어기는 디바이스(200) 내에서의 자이로스코프 및 또는 가속도계와 같은 관성 센서들로부터 데이터를 수집하여, 각각의 데이터로부터의 특성들의 세트를 계산한다. 일 구현에서, 이하의 계산표들을 활용하여 신호 소스들; 원시 가속도계 크기, 원시 자이로스코프 크기 및 선형 월드-프레임 가속도 (X, Y, Z), 선형 바디-프레임 가속도 (X, Y, Z), 각 월드 프레임 속도 (X, Y, Z), 각 바디 프레임 속도 (X, Y, Z)와 같은 모션 처리를 위한 데이터를 제공하는 라이브러리들의 세트에 기인하는 계산된 신호들로부터 계산되는 바에 따른 신호 평균, 표준 편차, 에너지 및 엔트로피가 포함된다.

가속도계/자이로스코프 크기 =

수학식 1

평균 및 표준 편차는 평균값의 단순한 측정 값들이고, 소스 신호의 통상적 변동이다. 에너지 및 엔트로피는 FFT를 사용한 주파수 공간 변환의 측정의 결과이다. 에너지는 주파수 정보에 기인하는 신호의 "에너지"의 측정값(즉, 정상 상태 또는 0의 에너지를 갖는 DC 신호들)인 반면에, 엔트로피(또한 "스펙트럼 엔트로피"로 칭함)는 신호 주파수들이 얼마나 떨어져 분산되는지에 대한 측정값(더 낮은 값이 더 적은 주파수들을 나타내는 반면에, 더 높은 값들이 소스 신호에서 존재하는 다수의 주파수들을 나타냄)이다. 예를 들어, 이러한 특성들은 이하의 식들을 사용하여 10 초의 데이터 수집 기간(100㎐ 데이터 수집 속도로 대략 1024개의 데이터 지점들)에 걸쳐 계산될 수 있다:

평균 =

수학식 2

표준 편차 =

수학식 3

에너지 =

수학식 4

엔트로피 =

수학식 5

여기서, n은 수집 기간 내에서의 샘플들의 수이고, FFTx는 본래 신호의 고속 푸리에 변환의 요소들을 포함한다.

도 2를 다시 참조하면, 일 실시예에서, 디바이스 내에서 계산되는 신호 특성들, 또는 원시 데이터(104)는 호스트 디바이스(108a~108n) 또는 다른 마이크로 제어기 기반 시스템으로 송신될 수 있으며, 여기서 특성들은 실시간으로 계산될 수 있다. 요구되는 처리 전력은 신호의 FFT를 취하는 능력에 의해 크게 좌우된다. 본 발명에 요구되지 않지만, FFT 기반 특성들의 포함은 시스템의 정확성을 개선하고 계보기 특성의 성능을 개선한다.

부가 특성들이 FFT 결과들에 기초하여 추가될 수 있거나, 다른 변환들 즉, (이미지 압축 기술에서 통상적으로 사용되는) 웨이블렛 변환들은 길이 인코딩, 미분, 적분, 또는 그러한 기법들의 조합을 실행한다.

상기 특성들을 사용하면, 사용자가 디바이스를 착용하고 있는지(또는 아닌지)를 분석하고, 사용자가 무슨 활동에 관여되는지를 검출하기 위해 활동들을 서로 구분할 수 있다. 예를 들어, 활동이 서 있는 것에서, 걷는 것, 뛰는 것으로 사이에서 전이할 때, 특성들의 값들은 증가하고, 단순한 규칙이 하나의 특성에 대해 생성될 수 있다. 가속도계 표준 편차가 일부 임계 A 를 초과하면, 그 때 사용자는 뛰는 것으로 추정되고; 다른 상황 하에서는, 가속도계 표준 편차가 임계 B 를 초과하면, 사용자는 걷는 것으로 추정되고, 그렇지 않으면 사용자는 서 있는 것으로 추정되어, 스텝들이 다른 타입의 활동에서 발생할 가능성이 있지만, 어떤 "스텝들"도 기록되지 않아야 한다. 매 10초마다 수집되는 데이터에 대한 독립된 특성들의 수집을 통해, 활동을 그러한 카테고리들 중 하나로 식별하는 많은 규칙들을 생성할 수 있다.

도 4는 복수의 활동들을 식별하기 위해 활용되는 의사 결정 분지도(400) 생성을 위한 알고리즘의 예를 도시한다. 접근법의 성능 및 정확성을 개선하기 위해, 현대 기계 학습 및 통계 처리 기법들이 적용될 수 있다. 예를 들어, 알고리즘은 "걷는 것", "뛰는 것", "계단을 오르는 것", 또는 "흔드는 것", "떠는 것", "앉는 것", "차를 운전하는 것" 등과 같은 스텝과 연관되지 않을 다수의 다른 활동들 중에 수집되는 이전에 분류된 세트들의 데이터에 적용될 수 있다. 구체적인 특성을 사용함으로써 획득되는 정보 엔트로피를 최대화하는 것에 기초하여 데이터를 분류하기 위해 특성들을 선택하는 기법을 사용하는 C4.5와 같은 공개된 알고리즘들이 있다.

C4.5를 사용하여, 높은 정확도(통상적으로 95%를 넘음)로 관성 센서 값들로부터 계산되는 의사 결정 분지도(400)가 현재의 감지된 특성들을 분류하기 위해 생성될 수 있다. 의사 결정 분지도(400)는 디바이스 그 자체 상에서 또는 의사 결정 분지도(400)가 이전에 수집된 데이터에 기초하여 분류되는 이후 또는 이전 과정에 따라 계산되고, 그 다음 프로그래밍되거나 디바이스 그 자체로 "하드 코딩"될 수 있다. 이상적으로, 사용자는 분류자 세트로 "트레이닝"되어, 사용자 활동 분류의 성능 및 정확성을 최대화했을 것이지만, 유사한 사용자들의 충분한 샘플로, "트레이닝"은 요구되지 않는다. 트레이닝 세트 내에서 다수의 사용자들을 포함하는 것은 일반화된 분류자를 생성하며, 이는 트레이닝되지 않은 사용자들의 수행을 개선한다.

의사 결정 분지도를 생성하기 위해 C4.5 기법 대신에 적용될 수 있는 대체 알고리즘들(ID3, See5, K 평균 군집화, HMM의 것 등)이 존재한다. 군집화 기법들은 특성 그룹들 사이에 상대적인 "거리"를 비교함으로써 특성들의 현재의 세트가 특정 활동에 부합하는 확률을 컴퓨팅하는 단계를 포함한다. 그러한 기법들은 일 실시예에 따라 성공적으로 적용되고 테스트되었다.

도 5는 일 실시예에 따른 저전력 모드 센서 변동 추적을 위한 전력 관리 과정(500)을 도시한다. 일 실시예에서, 전력 관리 과정(500)은 활동 분류 알고리즘 내에 상주한다. 전력 관리 과정(500)은 높은 정확도로 활동들을 정확하게 분류하기 위해 활용될 수 있는 센서들의 세트 및 그것들의 유도된 특성들을 활용한다. 그 다음 전력 관리 과정(500)은 저전력 모드 센서들이 활동 전이를 측정할 때까지, 저전력 모드로 놓여질 수 있다. 상술된 실시예들에서, 저전력 모드는 센서들의 샘플링 데이터 속도를 감소시키는 것 또는 디바이스를 대기 상태로 두는 것 또는 알고리즘으로 입력되고 있는 하나 이상의 센서들을 정지시키는 것을 지칭한다. 통상적으로, 저전력은 자이로스코프를 대기 모드로 둠으로써 달성된다.

센서 출력 크기, 선형 월드 프레임 가속도, 선형 바디 가속도, 각 월드 프레임 속도, 및 각 바디 프레임 속도는 활동 분류 단계에 사용된다.

도 5를 다시 참조하면, 첫 번째로, 활동 분류 디바이스는 자이로스코프, 가속도계, 및 자력계(제공된다면)가 데이터를 수집하고, 마이크로 제어기가 모든 관련된 특성들을 처리하는 "전 전력 모드"로 동작한다. 디바이스는 그 다음 활동이 인식되는 단계(502)를 통해 군집화, 의사 결정 분지도, 또는 신뢰를 갖는 일부 다른 모델에 기초하여 활동 분류를 수행한다.

두 번째로, 보고된 활동의 신뢰도 수준이 충분히 높을 때, 디바이스는 506에서 현재의 가속도계 값들을 저장하고 그 다음 자이로스코프 속도를 정지시켜, "저전력 모드"로 진입할 수 있다. 신뢰도는 마지막 10초와 같은 미리 결정된 기간 동안의 현재의 활동으로서, 또는 현재의 샘플에서 적절하게 생성된 군집까지의 거리 또는 다른 방법에 의해 식별되는 특성 세트들/샘플들의 백분율로서 단계(502)를 통해 컴퓨팅될 수 있다.

세 번째로, "저전력 모드"로 있을 때, 가속도계는 여전히 활성이고 데이터를 수집하고 있다. 단계(506)에서 저장되는 값들 및 연관된 특성들은 단계(508)를 통해 센서 융합이 턴오프될 때, 현재의 데이터와 저장된 값들 사이의 변동을 비교함으로써 새로운 활동으로 전이하는지 여부에 대해 비교된다.

네 번째로, 가속도계 유도되는 특성들의 변동값이 평가된다. 변동이 충분히 크면, 디바이스는 단계(510)을 통해 현재의 (상이한 것으로 추정되는) 활동을 분류하기 위해 "전 전력 모드"로 다시 전이될 것이다. 활동이 부활동들(전력 질주에 비하여 더 느리게 뛰는 것/조깅)로 전이하면, 재분류를 또한 트리거하는 것이 가능하고 아마도 바람직하여, 센서가 오프로 남을 타당한 범위의 값들을 유지하면서 활동 전이들을 가능하게 하는 수준들이 선택될 수 있어, 전력을 절감한다.

전력 관리 과정은 새로운 활동을 표시할 저전력 모드 특성들의 변화를 검출하는, 활동, 예를 들어 "뛰는 것"의 저전력 모드 특성들을 저장하는 것의 균등물이다. 각각의 특성을 독립적으로 비교함으로써, 전력 관리 과정으로 새로운 트레이닝된 활동을 검출할 확률은 높다.

전력 관리 과정을 활용함으로써, 디바이스는 특정 활동이 유지되는 시간의 양에 따라 전력을 절감할 것이다. "앉는 것", "자는 것", "서 있는 것", "운전하는 것" 또는 "걷는 것"은 하루 전체에 걸쳐 수 시간 동안 지속되는 것으로 추정될 수 있는 반면에, "저녁 식사를 만드는 것" 또는 "차에 타는 것"과 같은 단기간들의 심한 활동은 정확한 식별을 위해 자이로스코프가 "온"되는 것을 필요로 할 것으로 예상될 것이지만, 훨씬 더 짧은 양의 시간 동안 지속될 것이다.

활동 분류 과정이 디바이스에 적용될 때, 그것은 사용자에 의해 휴대되는 (다양한 부착 기법들을 통해 손목, 발, 엉덩이, 가슴 등에 부착된) 디바이스가 멈추어진/서 있는 것에서부터 느린 걷기, 빠른 걷기, 조깅, 뛰기, 전력 질주 등까지의 활동의 상이한 양상들을 추적하고, 화면 상의 디스플레이 또는 다른 표시기를 통해 그것들을 보고할 뿐만 아니라, 그러한 활동들 각각에 대해 소모되는 칼로리들을 분석적으로 보고하는 것을 가능하게 한다.

활동이 성공적으로 분류되었으면, 애플리케이션은 데이터 상에서 실행되어, 스텝 주파수 및 이벤트를 분석할 수 있다. 일 실시예에서, 애플리케이션은 사용자가 "걷는 것" 또는 "뛰는 것"으로 분류될 때, 스텝 카운터를 증분하는 것을 선택할 수 있지만, 예를 들어, 서서 계보기를 위 아래로 흔드는 사용자, 또는 차량의 뒤에서 느슨하게 밀치는 디바이스를 가려낼 수 있다.

기계 학습 및 활동 분류의 애플리케이션은 활동 분류 디바이스가 임의의 센서, 또는 센서들의 조합의 측정된 특성-공간 변동에 기초하여 전력 관리 방법론을 구현함으로써 가속도계, 자이로스코프, 자력계, 압력 센서, 온도 센서, 마이크 등을 포함하는 센서들의 세트를 활용하는 것을 가능하게 한다. 활동 분류 디바이스로, 더 낮은 전력 센서(또는 센서들의 조합)은 활동들 사이의 검출된 전이들에 사용될 수 있는 반면에, 더 큰 세트의 센서들은 활동을 분류하기 위해 단기간 동안 사용될 수 있다.

기계 학습 및 활동 분류의 애플리케이션은 통상적 디지털 계보기가 특히 장기 데이터 수집 중에 그것의 정확성의 수준을 증가시키고 기능성을 개선하는 것을 가능하게 한다. 일 실시예에 따른 구현은 사용자(또는 대표적인 세트의 사용자들)이 걷는 것, 뛰는 것, 서 있는 것 등을 분석하는 것을 인식하는 중에 디바이스로 수행될 특정 트레이닝 단계들을 필요로 한다. 최상의 결과를 위해, 트레이닝 단계는 활동들의 특정 모션 특성들이 정확하게 식별될 수 있도록 최종 사용자가 그들 자신의 활동들을 "분류하는" 것을 가능하게 하는 것이 포함되어야 한다.

본 발명이 도시된 실시예들에 따라 설명되었지만, 당업자는 실시예들에 변형들이 있을 수 있고 그러한 변형들이 본 발명의 사상 및 범위 내에 있을 것이라는 점을 쉽게 인식할 것이다. 따라서, 많은 변경들이 본 발명의 사상 및 범위를 벗어나지 않는 범위 내에서 당업자에 의해 행해질 수 있다.

Claims

하나 이상의 모션 센서들;
상기 하나 이상의 모션 센서들로부터 신호들을 수신하도록 구성되는 메모리;
상기 메모리와 통신하는 프로세서; 및
상기 프로세서에 의해 실행되는, 사용자가 관여한 활동들을 식별하기 위한 분류 알고리즘을 포함하고,
상기 분류 알고리즘은 활동 그룹들 사이의 상대적인 거리를 비교하여 활동들의 현재 세트가 특정 활동에 부합하는 확률을 결정하는 군집화 기법을 포함하는, 디바이스.
제1항에 있어서,
상기 하나 이상의 모션 센서는 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 하나 이상의 압력 센서, 하나 이상의 온도 센서, 하나 이상의 마이크, 및 하나 이상의 심박동수 모니터 중 임의의 것 또는 임의의 조합을 포함하는, 디바이스.
제1항에 있어서,
상기 모션 센서들 중 하나 이상은 단일 기판 상의 통합된 모듈인, 디바이스.
제2항에 있어서,
상기 프로세서는 상기 디바이스가 저전력 모드로 있을 때, 상기 하나 이상의 가속도계를 활용하고 상기 하나 이상의 가속도계로부터의 신호에 기초하여 활동에 대해 하나 이상의 다른 모션 센서를 턴온하는 전력 관리 알고리즘을 실행하는, 디바이스.
제1항에 있어서,
상기 식별된 활동 또는 식별된 활동 전이들 중 임의의 조합에 기초하고, 다수의 스텝들을 보고하는 스텝 카운터를 더 포함하는, 디바이스.
제1항에 있어서,
상기 메모리는 활동 데이터를 저장하도록 구성되는, 디바이스.
제6항에 있어서,
상기 활동 데이터를 제2 디바이스에 무선으로 송신하는 회로를 더 포함하는, 디바이스.
제1항에 있어서,
상기 분류 알고리즘은 상기 식별된 활동들에 기초하여 칼로리 소모율을 추정하는 것을 포함하는, 디바이스.
제1항에 있어서,
상기 식별된 활동들은 자는 것, 차를 운전하는 것, 자전거를 타는 것, 조깅하는 것, 테니스를 치는 것, 골프를 치는 것, 앉는 것, 서 있는 것, 걷는 것, 뛰는 것, 수영 영법들, 흔드는 모션들(waving motions) 및 원형으로 손을 움직이는 것 중 임의의 것을 포함하는, 디바이스.
제9항에 있어서,
상기 수영 영법은 평영, 배영 및 자유형 중 임의의 것을 포함하고 상기 흔드는 모션은 악수, 드리블하는 것 중 임의의 것을 포함하는, 디바이스.
디바이스의 활동들을 식별하는 컴퓨터 구현 방법으로서:
활동들을 식별하기 위해 상기 디바이스 상의 하나 이상의 모션 센서를 활용하는 단계; 및
활동 그룹들 사이의 상대적인 거리를 비교하여 활동들의 현재 세트가 특정 활동에 부합하는 확률을 결정하는 군집화 기법을 포함하는 분류 알고리즘을 채용하여, 활동들 사이의 전이들을 식별하기 위해 저전력 모드로 동작하는 하나 이상의 모션 센서들의 세트를 활용하는 단계를 포함하는, 컴퓨터 구현 방법.
제11항에 있어서,
하나 이상의 모션 센서들의 세트는 가속도계를 포함하는, 컴퓨터 구현 방법.
제11항에 있어서,
상기 하나 이상의 모션 센서들을 활용하는 단계는 활동들을 식별하기 위해 분류 알고리즘을 실행하는 단계를 포함하는, 컴퓨터 구현 방법.
제13항에 있어서,
상기 분류 알고리즘에 의해 상기 식별된 활동들에 기초하여 칼로리 소모율을 추정하는 단계를 포함하는, 컴퓨터 구현 방법.
제12항에 있어서,
사용자 활동을 모니터링하기 위해 저전력 설정으로 상기 가속도계를 활용하는 단계, 및 활동의 변화가 상기 가속도계에 의해 검출되었을 때, 활동 분류를 위해 하나 이상의 다른 모션 센서를 턴온하는 단계를 포함하는, 컴퓨터 구현 방법.
제11항에 있어서,
상기 식별된 활동들은 앉는 것, 서 있는 것, 걷는 것, 뛰는 것, 수영 영법들, 흔드는 모션들 및 원형으로 손을 움직이는 것 중 임의의 것을 포함하는, 컴퓨터 구현 방법.
제16항에 있어서,
상기 수영 영법은 평영, 배영 및 자유형 중 임의의 것을 포함하고 상기 흔드는 모션은 악수, 드리블하는 것 중 임의의 것을 포함하는, 컴퓨터 구현 방법.
디바이스의 활동들을 식별하기 위한 프로그램 명령어들을 포함하는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 매체로서, 상기 프로그램 명령어들은 프로세서에 의해 실행되며, 실행될 때 상기 프로그램 명령어들은:
활동 그룹들 사이의 상대적인 거리를 비교하여 활동들의 현재 세트가 특정 활동에 부합하는 확률을 결정하는 군집화 기법을 포함하는 분류 알고리즘을 채용하여, 상기 디바이스의 활동들을 식별하기 위해 상기 디바이스 상의 하나 이상의 모션 센서들을 활용하는 것; 및
활동들 사이의 전이들을 식별하기 위해 저전력 모드로 동작하는 하나 이상의 모션 센서들의 세트를 활용하는 것을 포함하는, 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 매체.
제18항에 있어서,
저전력 모드로 동작하는 하나 이상의 모션 센서들의 세트는 가속도계를 포함하는, 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 매체.
제19항에 있어서,
사용자 활동을 모니터링하기 위해 저전력 설정으로 상기 가속도계를 활용하는 것, 및 활동의 변화가 상기 가속도계에 의해 검출되었을 때, 활동 분류를 위해 하나 이상의 다른 모션 센서를 턴온하는 것을 포함하는, 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 매체.
삭제
제1 프로세서; 제1 메모리; 제1 무선 통신 모듈; 및 상기 프로세서에 의해 실행되며 사용자가 관여하는 활동들을 식별하기 위한 것인 분류 알고리즘을 포함하고, 상기 분류 알고리즘은 활동 그룹들 사이의 상대적인 거리를 비교하여 활동들의 현재 세트가 특정 활동에 부합하는 확률을 결정하는 군집화 기법을 포함하는, 하나 이상의 호스트 디바이스; 및
하나 이상의 모션 센서들; 상기 하나 이상의 모션 센서들로부터 신호들을 수신하도록 구성되는 제2 메모리; 상기 제2 메모리와 통신하는 제2 프로세서; 및 상기 제1 무선 통신 모듈을 통해 상기 하나 이상의 호스트 디바이스와 통신하는 제2 무선 통신 모듈을 각각 포함하는 복수의 디바이스들을 포함하는, 시스템.