KR101725566B1 - 모바일 디바이스에서 상황 인식 - Google Patents

모바일 디바이스에서 상황 인식 Download PDF

Info

Publication number
KR101725566B1
KR101725566B1 KR1020117027826A KR20117027826A KR101725566B1 KR 101725566 B1 KR101725566 B1 KR 101725566B1 KR 1020117027826 A KR1020117027826 A KR 1020117027826A KR 20117027826 A KR20117027826 A KR 20117027826A KR 101725566 B1 KR101725566 B1 KR 101725566B1
Authority
KR
South Korea
Prior art keywords
mobile device
feature
user
classifier
classification
Prior art date
Application number
KR1020117027826A
Other languages
English (en)
Other versions
KR20120018337A (ko
Inventor
빌레 코노엔
쥬시 리카
자니 만티자르비
Original Assignee
테크놀로지안 투트키무스케스쿠스 브이티티 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테크놀로지안 투트키무스케스쿠스 브이티티 오와이 filed Critical 테크놀로지안 투트키무스케스쿠스 브이티티 오와이
Publication of KR20120018337A publication Critical patent/KR20120018337A/ko
Application granted granted Critical
Publication of KR101725566B1 publication Critical patent/KR101725566B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

본 모바일 디바이스(102)는, 모바일 디바이스 및/또는 유저의 상황을 나타내는 데이터를 획득하는 다수의 센싱 개체(230)와; 상기 데이터를 이용하여 복수의 대표적인 특징 값을 결정하는 특징 결정 로직(230)과; 분류 동작 동안, 복수의 특징 값을 상황 등급으로 맵핑하도록 구성된 적응성 선형 분류기(234)를 구비하는 상황 인식 로직(228)을 포함하며, 여기서 상기 분류기는 모바일 디바이스의 유저에 의해 제공되는 피드백 정보와 상기 특징 값에 기초하여 분류 로직을 적응(236)하도록 더 구성된다. 모바일 디바이스에 의해 수행되는 방법이 제공된다.

Description

모바일 디바이스에서 상황 인식{CONTEXT RECOGNITION IN MOBILE DEVICES}
본 발명은 일반적으로 모바일 디바이스에 관한 것이다. 보다 상세하게는 본 발명은 이러한 모바일 디바이스에서 상황 인지 및 상황 인식에 관한 것이다.
컴퓨터와 같은 전통적으로 상이한 전자 디바이스들은 완전히 상황에 독립적이어서, 각 디바이스는 디바이스 및/또는 유저와 연관된 상황에 상관없이 유사한 방식으로 동작하게 프로그래밍 되어 있다. 보다 최근에 상황 인식의 개념이 디바이스 및 애플리케이션 개발자들 중에서 인기를 얻고 있다. 요즈음 많은 전자 장치들이 주변 환경에 대한 실시간 데이터를 제공하도록 구성될 수 있는 내장 센서들(built-in sensors)을 포함한다. 수집된 데이터에 기초하여, 현재 상황, 즉 예를 들어 물리적 환경의 상태, 디바이스의 상태 및/또는 유저의 생리적 상태(physiological state)를 추론하는 것이 가능하다. 따라서, 디바이스에서 상황 감지 UI(유저 인터페이스)와 같은 상황 인식 애플리케이션, 서비스 및 기능들을 구현하는데 이 상황 정보들이 사용될 수 있다.
상황 인식은 일반적으로 능동(active) 또는 수동(passive)일 수 있으며, 즉 디바이스는 검출된 상황에 기초하여 애플리케이션과 같은 현재 기능을 자동적으로 적응하거나 또는 디바이스는 후속하는 유저 제어된 조정 동작을 위한 스프링보드(springboard)로 각각 사용하기 위해 현재 상황의 관찰된 상세사항을 유저에 단순히 제공할 수 있다. 그러나, 상황 인식은 직접 인식과 간접 인식으로 분리될 수 있으며, 여기서 직접 인식은 예를 들어 내장 센서를 통해 다른 대상과는 실질적으로 독립적으로 현재 상황을 구축할 수 있는 디바이스에 의해 지원되는 것인 반면, 간접 상황 인식 디바이스는 네트워크 인프라(network infrastructure)와 같은 외부 개체(entity)들에 의해 결정되고 제공되는 상황 정보에 더 의존하는 것이다.
상황 인식 시스템의 핵심은 일반적으로 다수의 센서에 의해 제공되는 현재 관찰들(observations)을 상황에 맵핑하는 분류 알고리즘(classification algorithm)이다. 분류 그 자체는 다소 발달된 조사 영역이며, 그래서 특별히 패턴 인식의 조사 분야에서 분류 방법론에 대한 일부 문헌들이 이미 존재한다. 또한 모바일 상황과 활동 인식을 위한 조사는 과거에도 수행되었다. 수 개의 분류 연구는 연구실을 벗어나 실제 생활 데이터에 대한 총 인식 정밀도가 약 60-90% 사이에서 변한다는 것을 나타낸다. 대부분의 연구에서 사용되는 분류기는 훈련(training) 및 인식을 위한 계산 상의 요건이 상당히 높은 표준 분류기들 중에 있다. 사실, 디바이스의 이동성은 일반적으로 패턴 인식 알고리즘의 적용가능성에 여러 문제를 야기한다. 예를 들어, 전력 공급 자원 뿐만 아니라 계산 메모리는 모바일 단말 또는 PDA(personal digital assistant)와 같은 모바일 디바이스에서 종종 상당히 제한된다. 대안적으로, 상황 인식은 일부 모바일 솔루션에서 실제 상황 인식 알고리즘을 사용하는 대신에 예를 들어 임계값에 기초한 비교 로직을 통해 이용가능한 센서 값을 상당히 더 간단히 분석하는 것에 의하여 달성되지만, 상황 인식/검출의 달성가능한 다양성, 해상도 및 정밀도는 이에 대응하여 더 낮아진다.
예를 들어, 문헌 US 2002 167488호는 예를 들어 모바일 디바이스를 보유하는지 아닌지에 상관없이 상황 정보를 제공하는 가속도계(accelerometer)에 의해 구현되는 틸트 센서(tilt sensor)와 같은 적어도 하나의 센서를 구비하는 모바일 디바이스를 개시한다. 모바일 디바이스가 들어오는 메시지 또는 통지를 수신할 때, 이 디바이스는 상황 정보에 적어도 부분적으로 기초하여 이에 응답한다.
본 발명의 목적은 종래 기술의 솔루션에 명백히 존재하는 결함들 중 적어도 일부를 해소하고 모바일 상황 인식을 위한 실현가능한 대안을 제공하는 것이다.
본 목적은 본 발명에 따른 모바일 디바이스와 방법에 의해 달성된다. 본 발명의 제안된 솔루션은 모바일 사용에 맞추어진 상황 인식 알고리즘의 사용을 포함한다. 검출되고 인식되는 상황은 예를 들어 상이한 스포츠 활동과 같은 유저의 활동 및/또는 생리적인 상태의 여러 상황을 포함할 수 있다. 추가적으로 또는 대안적으로, 환경 및/또는 디바이스 상태와 같은 다른 상황이 또한 제안된 솔루션에 의해 인식될 수 있다.
따라서, 본 발명의 일 측면에서 다수의 센싱 개체들이 모바일 디바이스 및/또는 유저의 상황을 나타내는 데이터를 획득하는데 사용되며, 이 모바일 디바이스는,
상기 데이터에 기초하여 복수의 대표적인 특징 값을 결정하는 특징 결정 로직으로서, 여기서 특징은 바람직하게는 실질적으로 선형으로 분리가능한, 특징 결정 로직과;
분류 동작 동안 상기 복수의 특징 값을 상황 클래스로 맵핑하도록 구성된 적응성 선형 분류기를 구비하는 상황 인식 로직
을 포함하며, 여기서 상기 분류기는 모바일 디바이스의 유저에 의해 제공되는 피드백 정보와 상기 특징 값에 기초하여 분류 로직을 적응하도록 더 구성된다.
모바일 디바이스의 상기 요소들은 실질적으로 기능적이며 그 구현은 각 특정 실시예에 따라 원하는 경우 또한 서로 통합될 수 있다. 예를 들어, 일 실시예에서, 상황 인식 로직은 특징 결정 로직을 포함한다. 상기 로직은 프로세싱 개체에 의해 실행되는 컴퓨터 소프트웨어에 의해 적어도 부분적으로 구현될 수 있다.
분류기는 이용가능한 데이터/특징 값 대(vs.) 지시된 상황 정보에 기초하여 예를 들어 관리된 학습(supervised learning)에 의하여 초기에 훈련(trained)될 수 있다. 예를 들어, 그러한 정보는 복수의 상이한 유저로부터 수집될 수 있으며, 따라서 이 정보는 평균적으로는 적절히 잘 작동할 수 있는 분류기의 일반적으로 적용가능한 비개별화된(non-personalized) 초기 상태를 제공할 수 있다. 이후, 개별화와 같은 온라인/실행 시간 적응이 모바일 디바이스의 유저(들)에 의해 직접 또는 간접 피드백을 수신할 때 일어날 수 있다. 분류기를 적응하는데 사용되는 피드백을 제공하는 단 하나의 유저만 있는 경우에 이 적응은 또한 개별화이다. 모바일 디바이스는 복수의 분류 로직 설정들, 예를 들어 디바이스의 각 유저(프로파일)에 대해 하나씩 설절을 가지는 분류기를 포함할 수 있다.
일 실시예에서, 적용되는 피드백 정보는 특정 분류 동작에 비추어 데이터 및 이 데이터로부터 유도된 특징 값에 대해 정확한 상황을 명시적으로 나타내는 직접 피드백 (가이드) 데이터, 즉 유저 입력을 포함한다. 그러므로 유저는 직접 피드백을 통해 플렉시블하게(예를 들어 유저가 분류기를 지원하고 개입하려고 할 때마다 간헐적으로) 그리고 영리하게 실제 시작 후 실행 동안 그리고 자동 분류 동작 사이에 분류기를 관리할 수 있다. 유저가 직접 정확한 상황을 나타내므로, 대응하는 특징에 대해 자동 분류 라운드를 실행할 필요가 없다. 대신, 분류기는 분류기를 적응하기 위해 대응하는 특징 값 및/또는 데이터를 사용할 수 있다.
하나의 보충적이거나 대안적인 실시예에서, 피드백은 포지티브/네거티브 피드백, +/- 피드백과 같은 분류기에 의한 분류 동작 후 획득되는 보다 간접적인 피드백, 또는 자동으로 수행되는 분류 및/또는 분류에 기초하고 모바일 디바이스에 의해 취해진 후속 동작의 품질과 정확성의 일부 다른 전용 지시를 포함한다. 모바일 디바이스의 터치스크린의 2개의 키 또는 영역과 같은 UI가 유저로부터 이런 종류의 상황 관련 피드백을 캡쳐하기 위하여 구성될 수 있다. 예를 들어, 애스터리스크(*)나 일부 다른 심볼, 숫자 또는 그 위에 프린트된 문자를 가지는 키는 포지티브 피드백(정확한 자동 분류)과 연관되고, 일부 다른 키, 예를 들어 해쉬 마크(hash mark)는 네거티브 피드백(부정확한 자동 분류)과 연관된 키일 수 있다. 분류기는 피드백의 특성이 고려되도록 적응될 수 있다.
대안적으로 또는 추가적으로, 간접 피드백은 모바일 디바이스에 대해 유저의 반응, 예를 들어 활동 및/또는 수동으로부터 추론될 수 있는 심지어 더 많은 간접 유저 피드백을 포함할 수 있다. 예를 들어, 상황 인식이 모바일 디바이스에 의해 사용되어 애플리케이션을 론칭하는 것이나 모드나 예를 들어 디스플레이 보기(view)를 스위칭하는 것과 같은 자동 동작의 수행을 트리거할 때 그리고 예를 들어 동작으로부터 미리 결정된 시간 기간 내에 유저가 론칭된 애플리케이션, 모드 또는 보기를 닫거나/변경하여 그 동작을 버릴 때, 그 유저의 응답은 상황 분류 이벤트의 관점으로부터 네거티브 간접 피드백으로 고려될 수 있고 분류기는 이에 따라 적응된다. 한편, 유저가 자동 동작에 대해 수동이거나 또는 예를 들어 자동으로 상황에 의해 트리거된 애플리케이션을 사용하기 시작하는 경우 그 응답은 분류기 적응을 위해 포지티브 피드백으로 고려될 수 있다.
다른 보충적이거나 대안적인 실시예에서 적응 동안 그리고 직접 명시적인 피드백이 있는 경우, 획득된 특징(값) 벡터의 클래스의 "프로토타입(prototype)"이나 "센트로이드(centroid)"라고 종종 불리우는 이상적인 벡터(ideal vector)는 예를 들어 지수 이동 평균(EMA : exponential moving average)이나 일부 다른 업데이트 알고리즘을 사용하여 업데이트될 수 있다. 간접 포지티브 또는 네거티브 피드백이 있는 경우에, 이 이상적인 벡터는 신(new) 특징 벡터와 구(old) 이상적인 벡터 사이의 가중된 차이에 기초하여 결정된 양만큼 신 특징(값) 벡터로부터 각각 더 가까워지거나 더 멀어질 수 있다. 예를 들어, 학습 벡터 양자화(LVQ : learning vector quantization)는 이를 위해 이후 보다 상세히 후술되는 바와 같이 적용될 수 있다.
하나의 보충적이거나 대안적인 실시예에서, 상황 인식을 위한 특징은 순차 포워드 선택(SFS : sequential forward selection) 또는 순차 플로우팅 포워드 선택 알고리즘(SFFS : sequential floating forward selection algorithm)을 사용하여 선택된다.
전술된 바에 비추어 하나의 대안적이거나 보충적인 다른 실시예에서, 모바일 디바이스는 검출된 상황을 사용하도록 구성될 수 있으며, 즉 디바이스는 능동 상황 인식을 지원하며, 이 디바이스는 상황에 기초하여 하나 이상의 기능을 조정할 수 있다. 예를 들어, 모바일 디바이스는 이 상황에 응답하여, 디바이스의 UI의 적응, 애플리케이션의 적응, 메뉴의 적응, 서비스의 적응, 프로파일의 적응, 모드의 적응, 애플리케이션의 트리거, 애플리케이션의 닫기, 애플리케이션의 발생, 보기 발생, 보기 최소화, 키패드 또는 적어도 하나 이상의 키나 다른 입력 수단의 잠금, 연결 구축, 연결 종료, 데이터 전송, 메시지 송신, 사운드를 플레이하는 것과 같은 오디오 출력의 트리거, 진동 유닛과 같은 촉각 피드백의 활성화, 디스플레이의 활성화, 데이터를 애플리케이션에 입력, 디바이스의 정지로 구성되는 그룹으로부터 선택된 적어도 하나의 동작을 실행하도록 구성될 수 있다. 하나 이상의 구체적인 예시적인 사용 예로서, 골프 또는 다른 스포츠 활동과 같은 특정 활동 상황을 인식할 때, 모바일 디바이스는 상황 관련 애플리케이션, 예를 들어 포인츠 계산기를 트리거하거나 및/또는 일부 관련 없는 기능의 기능을 종료할 수 있다. 추가적으로 또는 대안적으로 디바이스는 수동 상황 인식을 지원할 수 있으며, 즉 디바이스는 상황을 인식하지만 이 상황으로 자동적으로 조정하지는 않는다. 이때 유저는 상황을 관찰하고 연관된 동작을 실행할 수 있다.
하나의 실시예에서, 적어도 하나의 센싱 개체는 온도, 가속도 또는 광(세기)와 같은 물리적 양을 캡쳐하고 이 물리적 양을 전기적, 바람직하게는 디지털 신호로 변환하는 센서를 포함한다. 다른 보충적이거나 대안적인 실시예에서, 적어도 하나의 센싱 개체는 메모리 콘텐츠 및/또는 애플리케이션/데이터 전달 상태와 같은 모바일 디바이스의 내부 상태에 대한 데이터를 제공하도록 구성된 센싱 로직, 예를 들어, "소프트웨어 프로브" 또는 "소프트웨어 센서"를 포함한다. 또한 전용 소프트웨어 및 하드웨어 요소를 가지는 조합된 센싱 개체들이 사용될 수 있다.
모바일 디바이스는 직접 상황 인식을 지원할 수 있으며, 즉 디바이스는 센싱 개체에 대해 독립적일 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스는 간접 상황 인식을 지원할 수 있으며, 즉 모바일 디바이스는 모바일 디바이스에 유선으로 또는 무선으로 연결된 외부 센서 디바이스와 같은 외부 기능적으로 연결된 개체로부터 센싱 데이터를 수신한다. 모바일 디바이스의 기본 유닛과 이에 연결된 센싱 개체는 이에 따라 본 발명의 상황에서 기능적인 모바일 디바이스 집합체를 형성할 수 있다.
하나의 보충적이거나 대안적인 실시예에서, 분류기는 최소-거리 분류기(minimum-distance classifier)를 포함한다.
하나의 보충적이거나 대안적인 실시예에서, 상황을 나타내는 센싱된 데이터는 온도, 압력, 가속도, 광 측정, 시간, 심장 박동율(heart rate), 위치, 능동 유저 프로파일, 칼렌더 엔트리 데이터, 배터리 상태 및 마이크로폰(사운드) 데이터로 구성된 그룹으로부터 선택된 적어도 하나의 데이터 요소와 관련된다. 예를 들어, 상황을 결정하는 시간에 칼렌더 엔트리가 "축구(soccer)"와 같은 일부 활동을 나타내는 경우, 이것은 예를 들어 칼렌더 지시가 실패하는 상황의 가능성을 높이기 위하여 또는 하나의 특징 값으로서 인식 공정에서 사용될 수 있다.
하나의 실시예에서, 상이한 특징들의 특징 값들은 샘플 벡터를 형성하며, 여기서 각 특징 값은 바이너리/부울리안 및/또는 다른 유형의 예를 들어 미리 결정된 더 큰 범위를 가지는 수치적 값일 수 있다.
본 발명의 다른 측면에서, 모바일 디바이스에 의해 상황을 인식하는 방법은,
상기 모바일 디바이스 및/또는 유저의 상황을 나타내는 데이터를 획득하는 단계와;
상기 데이터에 기초하고 상기 데이터의 적어도 일부를 나타내는 복수의 특징 값을 결정하는 단계와;
상기 복수의 특징값을 상황 클래스로 적응성 선형 분류기에 의해 분류하는 단계와;
상기 유저에 의해 제공되는 피드백 정보와 상기 특징 값에 기초하여 상기 분류기의 분류 로직을 적응하는 단계
를 포함한다.
모바일 디바이스의 여러 실시예에 관해 이전에 제공된 고려사항은 본 방법에도 필요한 변경을 하여 적용될 수 있다. 본 발명의 사용은 각 특정 실시예에 따라 복수의 문제로부터 따라온다. 바람직한 적응 분류기는 대부분의 다른 알고리즘보다 계산량이 적고 더 적은 메모리를 소비하여, 모바일 디바이스의 배터리를 절약하고 다른 동시적인 작업들을 실행하는 처리 전력을 남겨둔다. 적응성은 정적 오프라인 알고리즘으로 얻어진 것보다 상당히 더 높은 분류 정밀도를 유도한다. 본 솔루션은 특별한 훈련 단계 등에 진입하지 않고도 분류기를 관리하는 것이 가능하므로 지속적인 학습을 고유하게 지원한다. 훈련은 추가적인 메모리 공간을 실질적으로 요구하지 않는다. 실질적으로 선형으로 분리가능한 특징의 바람직한 선택은 선형 분류기의 성능을 더 증가시킨다.
본 명세서에서 "다수의(a number of)" 라는 표현은 하나(1)로부터 시작하는 임의의 양의 정수, 예를 들어, 일(1), 이(2) 또는 삼(3)을 말한다.
본 명세서에서 "복수의(a plurality of)" 라는 표현은 둘(2)로부터 시작하는 임의의 양의 정수, 예를 들어, 이(2), 삼(3) 또는 사(4)를 말한다.
본 발명의 다른 실시예는 종속 청구항에 개시된다.
다음에 본 발명은 첨부된 도면을 참조하여 이후 보다 상세히 기술된다.
도 1은 본 발명의 일 실시예의 개념을 도시하는 도면.
도 2는 본 발명에 따른 모바일 디바이스의 일 실시예의 내부를 도시하는 도면.
도 3a는 본 발명의 일 실시예와 연관된 상황 인식 정밀도에서 특징들의 개수의 효과를 도시하는 도면.
도 3b는 본 발명의 일 실시예와 연관된 상황 인식 정밀도에서 적응의 효과를 도시하는 도면.
도 3c는 모바일 폰 플랫폼과 상이한 분류 알고리즘에 비추어 배터리 수명을 도시하는 도면.
도 3d는 상이한 분류기를 가지는 평균 CPU 부하를 대응하여 도시하는 도면.
도 4는 본 발명에 따른 방법의 일 실시예를 개시하는 흐름도.
도 1은 본 발명의 일 실시예에 따른 본 발명의 전체 개념을 도시한다. 모바일 폰, PDA(personal digital assistant), 스마트폰, 리스트탑(wristop), 리스트와치(wrist watch) 또는 리스트 컴퓨터(wrist computer), 계산기, 뮤직 플레이어, 또는 멀티미디어 뷰어와 같은 모바일 디바이스(102)는 디바이스(102) 및/또는 유저의 상황을 센싱할 수 있고 선택적으로 그 기능을 적절히 제어하도록 구성될 수 있다. 예를 들어, 디바이스(102)는 뛰는 활동(110), 앉아있거나 누워있는 활동(또는 "수동성")(112), 사이클링 활동(114), 축구 활동(118) 및/또는 다른 물리적 및/또는 스포츠 활동, 뿐만 아니라 예를 들어 광의 세기(122), 온도(124), 시간/시간적 상황(120), 및/또는 칼렌더 이벤트(116)를 인식하고 이들 사이를 구별하도록 구성될 수 있다.
모바일 디바이스(102)는 특징 결정과 상황 분류를 특징화하는데 필요한 측정값이나 "원시(raw)" 데이터를 제공하는 여러 센서와 같은 통합된 및/또는 적어도 기능적으로, 즉 무선으로 또는 유선으로 연결된 센싱 개체를 포함할 수 있다. 센싱 개체는 일부 물리적 양을 센싱하는 센서와 같은 특정 하드웨어 및/또는 미리 결정된 센싱 데이터를 획득하기 위한 특정 소프트웨어를 포함할 수 있다. 칼렌더 데이터 또는 디바이스(sw) 상태 데이터와 같은 디바이스에 저장된 데이터와 관련된 데이터를 획득하는 개체와 같은 일부 센싱 개체는 실질적으로 소프트웨어에 기반할 수 있다.
센싱 개체는 GPS(Global Positioning System) 수신기, 펄스/심장 박동율 센서 및/또는 광도계(photometer)와 같은 가속도계, 온도 센서, 위치 센서와 같은 하나 이상의 센서를 포함할 수 있다.
바람직하게는, 모바일 디바이스(102)는 분류를 수행하는데 필요한 모든 로직(logic)을 포함하거나 또는 적어도 이 모바일 디바이스는 하나 이상의 기능적으로 연결된 외부 센싱 개체와 공동으로 분류를 수행할 수 있다. 대안적으로, 분류의 적어도 일부는 하나 이상의 (무선 및/또는 유선) 네트워크(들)(106)를 통해 액세스가능한 서버(104)와 같은 외부 개체에서 실행될 수 있으며 이 경우에 모바일 디바이스(102)는 분류 절차에 대해서는 독립적이지 않으나, 대신 계산 상 메모리와 배터리 자원이 절약될 수 있다.
일부 사용 시나리오에서, 예를 들어 심장 박동율 모니터를 통해 유저의 상태를 센싱하여 획득된 생리적 데이터와 같은 실질적으로 유저와 관련된 데이터가 특징 (값) 결정을 위해 수집될 수 있다. 다른 시나리오에서, 디바이스 상태 정보 및/또는 메모리 콘텐츠 정보와 같은 디바이스 관련된 데이터가 수집될 수 있다. 다른 시나리오에서, 온도 또는 조명 정보와 같은 환경적 데이터가 수집될 수 있다. 다른 유형의 자원 데이터가 또한 동일한 상황 인식 절차에서 사용될 수 있다. 일반적으로, 상황 분류를 위해 수집되는 데이터는 본 명세서에 제공된 내용에 따른 이용가능한 센싱 기능과 상황 특성에 따라 이 기술 분야에 통상의 지식을 가진 자에 의해 각 사용 경우마다 플렉시블하게 결정될 수 있다.
원시 데이터는 예를 들어 미리 결정된 샘플링 윈도우를 사용하여 미리 결정된 샘플링 속도로 샘플링될 수 있다. 원시 데이터는 시간 도메인, 주파수 도메인 및/또는 일부 다른 도메인 특징을 언급할 수 있는, 상황 인식에 사용된 대응하는 더 높은 레벨의 특징 값(들)으로 변환될 수 있다. 특징 값은 원하는 해상도, 예를 들어 시간 해상도와 매칭되게 보간(interpolated)될 수 있다. 모바일 디바이스(102)에서 이용가능한 일부 데이터는 하나 이상의 특징(들)으로 상황 인식 절차에서 직접 적용가능할 수 있으며, 즉 이로부터 (예를 들어 시간적인 원시 데이터 값을 평균하여) 별도의 더 높은 레벨의 특징 결정이 필요치 않다.
도 2는 적어도 기능적인 관점으로부터 본 발명에 따른 모바일 디바이스(102)의 일 실시예의 내부(202)를 도시한다. 모바일 디바이스(102)는 일반적으로 하나 이상의 마이크로프로세서, 마이크로제어기, DSP(digital signal processor), 프로그래밍 가능한 로직 칩 등과 같은, 명령 및 이와 다른 데이터를 처리할 수 있는 하나 이상의 처리 디바이스를 구비한다. 처리 개체(220)는 기능적인 개체로서 예를 들어 중앙 처리 장치에 연결된 복수의 상호 공동 동작하는 프로세서 및/또는 다수의 서브 프로세서를 물리적으로 포함할 수 있다. 처리 개체(220)는 디바이스(102)의 유저 및/또는 디바이스(102) 내 다른 내부 개체에 현재 상황 분류를 제공하는 상황 분류 소프트웨어(228)와 같은 상황 인식 로직에 대한 명령과 데이터를 언급할 수 있는, 메모리(226)에 저장된 코드를 실행하도록 구성될 수 있다. 소프트웨어(228)는 그 작업을 실행하는 전용 또는 공유 프로세서를 사용할 수 있다. 이와 유사하게, 메모리 개체(226)는 하나 이상의 물리적 메모리 칩이나 다른 메모리 요소들 사이에서 분할될 수 있다. 메모리(226)는 바람직하게는 착탈가능한 메모리 카드, 플로피 디스크, CD-ROM 또는 하드 드라이브와 같은 고정된 저장 매체와 같은 다른 저장 매체를 언급할 수 있고 이를 더 포함할 수 있다. 메모리(226)는 특성상 비휘발성인, 예를 들어, ROM(Read Only Memory)일 수 있거나 및/또는 휘발성인 예를 들어 RAM(Random Access Memory)일 수 있다. 센싱 개체(230)는 상황 결정을 위해 소스 데이터를 획득하는 센서 및/또는 전용 소프트웨어 요소를 포함할 수 있다. 소스 데이터는 "원시" 형태로부터 상황 인식 로직, 특히 분류기에 사용되는 더 높은 레벨의 특징 (값)으로 변환될 수 있으며 및/또는 이 소스 데이터는 이후 상술되는 바와 같이 직접 실행될 수 있다.
UI(유저 인터페이스)(222)는 실행가능한 데이터 시각화 및 디바이스 제어 수단을 디바이스(102)의 유저에 제공하도록 구성된 디스플레이, 및/또는 외부 디스플레이 또는 데이터 프로젝터에 연결되는 커넥터, 및 키보드/키패드 또는 다른 적용가능한 제어 입력 수단(예를 들어, 터치 스크린 또는 음성 제어 입력 또는 별도의 키/버튼/노브/스위치)을 포함할 수 있다. UI(222)는 사운드 출력을 위한 D/A (digital-to-analogue) 변환기(들)와 같은 하나 이상의 스피커와 이와 연관된 회로 및 사운드 입력을 위한 A/D 컨버터를 구비하는 마이크로폰을 포함할 수 있다. 나아가, 디바이스(102)는 다른 디바이스 및/또는 네트워크 인프라와 일반적인 통신을 하기 위한 WLAN 또는 GSM/UMTS 트랜시버와 같은 무선 트랜시버를 포함하는 예를 들어 무선 부분(224), 및/또는 단말 디바이스와 같은 다른 디바이스, 주변 디바이스와 같은 외부 센서 또는 네트워크 인프라(들)와 통신하기 위한 하나 이상의 유선 인터페이스{예를 들어, 파이어와이어(Firewire) 또는 USB(Universal Serial Bus)}와 같은 다른 무선 또는 유선 데이터 연결 수단을 포함하는 트랜시버를 포함할 수 있다. 디바이스(102)는 유익한 통신, 처리 또는 다른 특징을 제공하는 수많은 추가적인 기능 및/또는 구조적인 요소들을 포함할 수 있다는 것은 이 기술 분야에 통상의 지식을 가진 자에게는 자명한 것이며, 본 개시내용은 임의의 방식으로 추가적인 요소들이 존재하는 것을 제한하는 것으로 해석되어서는 아니된다.
요소(228)는 메모리(226)에 저장되고 처리 개체(220)에 의해 실행되는 소프트웨어로 일반적으로 구현되는 상황 인식 로직(228)의 단 하나의 기능적인 예를 도시한다. 이 로직은 데이터 입력(측정 원시 데이터, 피드백, 등)과 출력(분류 등)을 포함하는 호스트 디바이스(102)의 다른 부분들과 상호작용하는 I/O 모듈(238)을 구비한다. 전체 제어 로직(232)은 로직(228)에 의해 수행되는 여러 작업들의 조정을 처리할 수 있다. 특징 결정 블록(230)은 특징 값(예를 들어 복수의 특징 값을 포함하는 n 차원 특징 벡터)을 상황에 맵핑하는 분류기(234)와 사용하기 위한 공급되는 데이터로부터 특징 값을 결정하거나 "추출"할 수 있다. 선택적으로, 특징 결정 블록(230) 또는 일부 다른 바람직한 개체는 예를 들어 원하는 특징 선택 알고리즘의 사용을 통해 실제 특징을 선택하는데 사용될 수도 있다. 적응 블록(236)은 특징 값 획득된 피드백에 기초하여 분류기(234)의 분류 로직의 적응을 처리한다.
다음으로 특별히 분류를 위한 하나의 잠재적인 시작점으로서 최소-거리 분류기(minimum-distance classifier)를 고려하면, 각 샘플이 다수의 특징 값을 포함하는 샘플들의 분류를 달성하는 하나의 다소 간단한 방법은 샘플로부터 최상으로 가능한 방식으로 클래스를 나타내는 이상적인 요소까지의 거리를 계산한 후에 이 거리가 가장 작은 클래스를 선택하는 것이다. 샘플들이 N 차원 벡터 공간으로 표현되는 경우, 각 클래스를 분리하는 N-l 차원 하이퍼 평면(hyperplane)이 있을 수 있다. 이 경우에, 각 클래스의 이상적인 요소로 예를 들어 평균 값을 사용하는 것이 자연스러울 것이다.
보다 대략적으로, 전체 분류 절차는 다음과 같이 표현될 수 있다: C개의 클래스들 중 하나에 N 차원 샘플(s)을 연관시켜야 하는 분류 작업을 고려해 보자. 각 클래스 j=1, ..., C에 대해, Ij를 훈련 샘플이라 한다 xi ji = 1, ..., Ij. 나아가, 클래스 cj 가 클래스 j에 대해 이상적인 벡터("센트로이드" 또는 "프로토타입"이라고 불리울 수 있다)를 나타낸다고 하자, 즉
Figure 112011092464854-pct00001
(1)
이제, 클래스 j*에 대한 분류는 다음과 같이 수행될 수 있다:
Figure 112011092464854-pct00002
(2)
여기서
Figure 112011092464854-pct00003
는 가장 근접한 이상적인 벡터와 이에 의해 표현된 클래스를 결정하는 유클리드 크기(norm)와 같은 선택된 크기이다.
상술된 선형 분류기는 특정 잇점을 가지고 있다. 이것은 작은 계산 및 공간을 요구한다. 여러 모바일 플랫폼에서 구현하는 것은 쉽고 분류기를 훈련하는 것은 매우 효과적이다. 나아가, 분류기는 후술되는 바와 같이 개선될 수 있다.
실제 상황에서 데이터는 적절한 특징 세트, 즉 클래스의 선형 분리가능성을 최대화하는 특징을 선택하여 거의 선형으로 완전히 분리가능하지 않다 하더라도, 선형 분류기로 우수한 분류 정밀도를 달성하는 것이 또한 가능하다. 적응 선형 분류기는 바람직하게는 분류기의 성능을 개선시키도록 구성된다. 전술된 바에 기초하여 명백한 바와 같이, 분류기는 특징 공간으로부터 클래스 공간으로 맵핑한다. 하나의 계산을 요구하는 단계는 분류기의 내부 파라미터를 고정하는 것과 관련되고, 이 단계는 또한 많은 데이터를 요구한다. 그리하여, 통상적으로, 파라미터를 온라인으로 또는 "실시간으로 모바일 디바이스에 고정하는 것은 가능하지 않다. 그러나, 계산량이 작은 분류 알고리즘이 온라인 학습을 지원하기 위해 구축되고 구성될 수 있다.
이에 따라, 분류기가 상황을 결정하는데 적용될 때마다, 신 특징 값 벡터가 획득되고 분류기를 적응시키는데 사용된다. 이것이 달성될 수 있는 방법은 예를 들어 디바이스의 유저로부터 얻는 피드백의 종류에 따라 달라진다. 직접 상황 정보가 유저로부터 예를 들어 디바이스의 UI를 통해 획득된다면, 예를 들어 획득된 데이터(원시 측정 데이터와 유도된 특징 값)에 대한 상황에 대해 옵션 리스트나 타이핑으로부터 상황을 선택하는 것이 가능하다면 분류기를 업데이트하는 것이 보다 간단하게 된다.
inew를 신 특징 (값) 벡터 xnew의 클래스(디바이스의 유저에 의해 지시된 상황)라고 하자. 그러면 대응하는 수단이 예를 들어 다음과 같이 업데이트될 수 있다:
Figure 112011092464854-pct00004
(3)
여기서
Figure 112011092464854-pct00005
는 바람직하게는 충분히 작은 학습 속도 파라미터이다. 이것은 산술 평균, 소위 지수 이동 평균(EMA : exponential moving average)을 계산하는 재귀 알고리즘(recursive algorithm)의 근사적인 형태이다. 또한 유저로부터 클래스 정보는 모든 시간, 즉 매 상황 분류 동작 (라운드) 동안 필요한 것은 아니고; 업데이트는 신 피드백 정보가 이용가능할 때에 수행될 수 있다는 것을 주목해야 한다.
상기 업데이트 구조는 유저가 직접 피드백을 제공할 때 적용가능하며, 즉 직접은 특징 벡터 뒤의 데이터와 특징 벡터와 연관된 상황을 나타낸다. 그러나, 많은 경우에, 이것은 유저를 위한 나쁜 작업일 수 있다.
다른 보충적이거나 대안적인 가능성은 유저로부터 단지 간접 피드백 신호만을 수집하는 것이며, 즉 유저는 이것이 잘 수행하는 방법에 대해서만 분류기에 피드백을 제공한다. 이때 업데이트는 암시적이거나 간접적인 피드백 및 분류 명령에 따라 수행될 수 있다. i*를 상황을 위한 추정(estimate)이라고 하자. 유저가 피드백 신호를 제공하고 이것이 포지티브일 때, 클래스를 위한 이상적인 벡터는 예를 들어 다음과 같이 변경될 수 있다:
Figure 112011092464854-pct00006
(4)
여기서 xnew는 신 특징 (값) 벡터이다. 다시 말해, 이상적인 벡터는 신 특징 벡터와 구 이상적인 벡터 사이의 가중된 차이에 기초하여 결정된 양만큼 신 특징 (값) 벡터에 더 가까이 간다. 대응하여, 유저가 네거티브 피드백을 제공하면, 업데이트는 예를 들어 다음과 같이 수행될 수 있다:
Figure 112011092464854-pct00007
(5)
다시 말해, 클래스의 이상적인 벡터는 신 특징 벡터와 구 이상 벡터 사이의 가중된 차이에 기초하여 결정된 양만큼 특징 벡터로부터 더 멀어진다. 상기 수식에서,
Figure 112011092464854-pct00008
와
Figure 112011092464854-pct00009
는 바람직하게는 포지티브 피드백과 네거티브 피드백에 대해 각각 동일하거나 동일하지 않은 (그리고 이와 유사하게
Figure 112011092464854-pct00010
와 동일하거나 동일하지 않은) 충분히 작은 학습 속도이다. 이들 2개의 수식은 학습 벡터 양자화(LVQ) 알고리즘의 특별한 경우이다.
특징 선택 방법의 영역으로 되돌아가면, 원시 데이터로부터 막대한 개수의 다른 특징을 구성하는 것이 초기에 가능하다. 그러나, 실제 분류에서는 가능한 한 적은 수의 특징을 사용하는 것이 계산 면과 메모리 면에서 유리하다. 원시 신호로부터 특징과 이와 관련된 특징 값을 결정하는 것은 일반적으로 많은 계산을 요구하고 너무 많은 수의 특징들이 사용되는 경우 심지어 차선의 결과를 달성하는 것도 가능하다. 바람직하게는 실질적으로 선형으로 분리가능한 (예를 들어, 거의 또는 최대로) 특징이 선형 분류기에서 선택된다.
순차 포워드 선택(SFS : Sequential Forward Selection)이 많은 애플리케이션 도메인에서 특징 선택에 사용되는 하나의 방법이다. SFS는 본 발명의 상황에서도 적용될 수 있다. SFS 알고리즘에서 키 아이디어는 각 시간 단계에서 분류 정밀도를 최대로 현재 특징 풀로 증가시키는 특징을 추가하는 것이다. 다시 말해 SFS 알고리즘은 특징 공간에서 원하는 최적화를 수행한다. 다른 예시적인 방법은 전체 특징 세트로 시작하고 점차적으로 풀로부터 특징을 제거하는 순차 백워드 선택(SBS : Sequential Backward Selection)으로 불리운다. 다른 예로서, 순차 플로우팅 포워드 선택(SFFS : Sequential Floating Forward Selection)에서, 절차는 2개의 부분을 포함하며, 서브세트를 위한 신 특징은 SFS 방법에 의해 추가된다. 최악의 특징은 이후 이전 세트에 개선이 이루어지지 않을 때까지 조건적으로 배제된다. 이 방법은 SFS의 네스팅 효과(nesting effect)를 회피하며, 여기서 버려지는 특징이 더 이상 선택될 수 없다. 특징을 포함하는 것과 배제(exclusion)하는 것은 기준값을 사용하여 추론된다. 이것은, 예를 들어, 거리 측정이나 분류 결과일 수 있다. 알고리즘을 보다 철저히 설명하기 위해, 이전에 선택된 특징에 최상의 기준을 제공하는 신 특징이 특징 서브세트에 추가된다(SFS 방법). 조건적 배제가 신 특징 세트에 적용되며, 이로부터 최소로 중요한 특징(least significant feature)이 결정된다. 만약 최소로 중요한 특징이 마지막으로 추가되는 것이라면, 알고리즘은 SFS에 의해 신 특징을 선택하는 것으로 되돌아간다. 그렇지 않으면 최소로 중요한 특징이 배제되며 이용가능한 특징 세트로 되돌아 가서 조건적 배제가 계속된다. 다시, 최소로 중요한 특징이 결정되며 이 특징 없는 기준이 메모리에 있는 동일한 개수의 특징을 가지는 기준과 비교된다. 기준이 개선되면, 특징은 배제되고 이용가능한 특징 세트로 되돌아 가고 이 단계는 더 이상 개선이 이루어지지 않을 때까지 반복된다. 사이클이 이전에 한정된 서브세트 사이즈에 도달할 때까지 신 특징을 추가하여 다시 시작한다.
본 발명의 적용가능성의 실제적인 예는 테스트 설정을 참조하여 아래에 기술된다.
가속도계와 생리적 센서와 같은 여러 센서를 사용하여 수집된 실제 상황 정보를 포함하는 데이터세트가 사용되었다. 이 데이터는 뛰는 것과 걷는 것과 같은 여러 스포츠 활동에서 수집되었다. 이들 샘플 활동에 더하여, 또한 쇼핑, 레스토랑에서 먹는 것, 간략화된 축구 놀이(2사람 사이에 볼을 패스하는 것) 등과 같은 다수의 조합된 활동이 기록되었다. 이 연구에서 초점은 간단한 활동과 축구 놀이에 있었다. 엉덩이와 손목 가속도계 신호와 심장 박동률 신호가 입력 데이터로서 사용되었다. 특징 값은 시간 도메인(예를 들어, 최대값과 최소값)과 주파수 도메인 특징(예를 들어, 파워 스펙트럼 엔트로피)을 포함하는 다른 윈도우 길이(예를 들어, 10초)를 가지는 대응하는 원시 신호를 윈도우잉(windowing)하여 계산되었다. 특징 값은 시간 해상도를 1초로 하여 보간되었다.
데이터 획득을 위한 3D 가속도계는 2개가 있어서, 아래 표 1에 도시된 초기 특징 풀을 생성하였다.
특징 설명/값
최대 가속도 가속도 신호의 최대 값
최소 가속도
평균 가속도
최소최대 가속도 최대와 최소 사이의 차
변동(variance) 가속도 신호의 변동
파워 스펙트럼 엔트로피 정규화된 파워 스펙트럼 추정치의 엔트로피
피크 주파수 스펙트럼의 최고 피크의 주파수
피크 파워 최고 피크의 높이
심장 박동률 평균 심장 박동률 값
표 1 : 초기 특징 풀
도 3a에서 분류 정밀도는 상황 인식에 사용되는 특징의 수에 대하여 도시되었다. 특징은 SFS 방법에 의해 선택되었다. 이 도면으로부터 상대적으로 높은 정밀도는 최소-거리 분류기의 시각화된 경우에서 약 5개의 특징으로 이미 달성된다는 것을 볼 수 있다. 그러나, 최대 정밀도를 제공하는 것은 약 10개 또는 11개의 특징들이 필요하다. 도 3a에 있는 곡선은 이 경우에 SFS인 사용되는 특징 선택 방법에 따라 달라지므로, 다른 특징 선택 기술로 이 결과를 간단히 일반화하는 것은 가능하지 않다. 본 테스트에서는 최종적으로 10개의 특징들이 사용되었다.
최소-거리 분류기를 위한 SFS 및 SFFS 방법으로 발견되는 10개의 특징을 가지는 특징 세트들이 표 2에 입력된다.
SFS SFFS
엉덩이 가속도, X-차원, 최소최대 엉덩이 가속도, X-차원, 변동
엉덩이 가속도, Y-차원, 최대 엉덩이 가속도, Y-차원, 최대
엉덩이 가속도, Y-차원, 최소 엉덩이 가속도, Y-차원, 최소
엉덩이 가속도, Y-차원, 최소최대 엉덩이 가속도, Y-차원, 최소최대
엉덩이 가속도, Y-차원, 평균 엉덩이 가속도, Y-차원, 평균
엉덩이 가속도, Y-차원, 변동 엉덩이 가속도, Y-차원, 변동
엉덩이 가속도, Z-차원, 평균 엉덩이 가속도, Y-차원, 피크주파수
엉덩이 가속도, Z-차원, 변동 엉덩이 가속도, Z-차원, 변동
손목 가속도, Y-차원, 변동 손목 가속도, X-차원, 피크주파수
손목 가속도, X-차원, 평균 손목 가속도, Y-차원, 피크주파수
표 2 : 선택된 특징 세트
최소-거리 분류기의 경우에, 차원들 중 하나의 차원(Y 차원)이 지배적인 것으로 발견되었다; 이 성분으로부터 계산된 모든 시간 도메인 특징이 두 특징 세트에 존재한다. 나머지 상태에서, 즉 테스트 대상이 정지해 있을 때, 이 Y 차원은 중력 방향으로 정렬된다. 나아가, 두 자동 특징 선택 방법이 하나의 가속도 센서만으로부터 거의 완전히 얻어지는 특징 세트로 종료했다. 이것은 단 하나의 잠재적으로 내장된 가속도 센서(가속도계)를 가지고 모바일 디바이스에 분류기를 구현하고 또 하드웨어적으로 간단한 상황 인식 시스템을 가지고 합당하게 높은 상황 인식 정밀도를 획득하는 가능성을 제공하였다. 이 시스템은 앉아있는 것과 뛰는 것과 같은 명확히 차이나는 활동들 사이에 구체적으로 신뢰할 만한 인식을 가능하게 한다.
대부분의 본 테스트에서 다음과 같은 9개의 활동, 즉 야외 자전거 타기, 축구 놀이, 누워있는 것, 노르딕 걷기(nordic walking), 조정 머신(rowing machine)으로 조정하기, 뛰기, 앉기, 서기 및 걷기를 사용하였다.
최소-거리 분류기로 SFS 특징 선택 방법은 73%의 총 분류 정밀도를 달성했고 SFFS는 이와 유사한 결과, 72%를 초래했다. 두 특징 선택 방법은 실질적으로 유사한 결과를 초래하였으며 이에 의해 활동은 용이하게 검출가능한 것들과 더 어려운 것들로 카테고리화될 수 있다. SFS와 SFFS 방법들 사이에 총 분류 정밀도의 차이는 매우 작았으나, 사실 개인 활동의 인식 정밀도에 변차들이 있었다. 조합된 활동 축구는 최소-거리 분류기의 경우에 SFS 특징에서보다 SFFS 특징에서 더 우수하게 검출되었다. 조정(rowing)은 일부 테스트 경우에 앉아있는 것과 혼동되었다. 이유는 테스트 대상이 실제로 조정 머신의 벤치에 앉아있는 것이기 때문이고 운직임이 매우 낮은 세기로 수행된다면 이것은 통상 앉아있는 것으로 용이하게 잘못 분류될 수 있다. 또한 자전거 타기는 걷기와 혼동될 수 있다. 이들 두 움직임들은 모두 꽤 짧은 주기 기간을 가지는 명백히 주기적인 운동이다. 이들 사이에 주요한 차이는 움직임의 세기이다. 걷기에서, 가속도 신호의 총 에너지는 자전거 타기에서보다 통상 훨씬 더 크다. 그러나, 일부 사람들은 꽤 평활한 스타일로 걷는 경향이 있으며 이는 작은 에너지를 가지는 신호를 생성하여 분류 에러를 초래한다.
일반적으로, 분류기의 내용 (관리되는 학습) 단계는 많은 계산과 통상 또한 많은 메모리 자원을 요구한다. 따라서, 각 유저의 행동에 자동적으로 적응할 수 있는 개별화된 상황 인식 시스템을 구현하는 것에 직면하고 있다. 이후, 전술된 업데이트 구조에 기초한 테스트 결과가 제공된다. 적응 공정의 결과, 분류기는 피드백을 제공하는 사람별로 개별화된다. 초기에 분류기는 예를 들어 더 큰 유저 그룹(예를 들어, 디바이스/분류기 제조사에 의해 사용되는 유저의 테스트 그룹)에 기초하여 조절된 다음 사용 동안 각 유저에 적응될 수 있다.
테스트 실행 동안, 상황 인식 공정은 이용가능한 데이터세트와 랜덤화된 테스트 설정을 사용하여 시뮬레이팅되었다. 각 라운드에서, 랜덤 활동이 선택되었다. 이때 랜덤화된 고정된 길이(약 5초 내지 약 100초)의 시간 윈도우가 선택된 활동으로부터 분리되었다. 윈도우로부터 계산된 평균 값은 선형 분류기에 사용되었다. 동일한 활동으로부터 짧은 시간 윈도우는 상당히 다를 수 있으므로, 절차는 활동의 다른 특성의 적절한 커버리지를 보장하기 위해 복수 회, 예를 들어, 약 100 000회 반복되었다. 전술된 바와 같이, 각 상황 인식 활동 후에 디바이스의 유저로부터 피드백을 얻을 필요가 없다. 유저 행동이 가능성을 가지는 피드백 신호를 제공하여 시뮬레이팅되었다. 나아가, 유저는 디바이스의 정확한 상황을 알고 있는 것으로 가정되었다.
획득된 상황 인식 정밀도에서 적응하는 효과는 도 3b에 도시된다. 학습 속도 파라미터와 피드백 가능성은 0.1로 설정되었다. 사용되는 윈도우 길이는 5초이었다. 평균적으로, 0.1의 학습 속도로, 약 10-20개의 피드백이 유저에 대해 분류기를 적응하는데 필요하였다. 디바이스의 유저에 의해 개인적인 피드백 정보에 기초하여 적응하는 것은 적응되지 않은 비개인화된 분류기(예를 들어 복수의 유저로부터 보다 일반적인 훈련 데이터로 훈련된 분류기)에 비해 평균적으로 수 퍼센트 단위만큼, 예를 들어 약 5-10퍼센트 단위만큼 일반적으로 전체 분류 정밀도를 증가시킨다. 더 긴 윈도우는 더 우수한 상황 인식 정밀도( 및 증가된 계산)를 초래할 수 있다. 이것은 단일 데이터 값으로 야기된 불확정성이 더 길어진 샘플 윈도우에서 감소되므로 당연하다. 학습 속도 파라미터를 증가시키는 것은 학습 속도가 너무 높지 않은 한 분류 정밀도를 또한 증가시킨다. 매우 높은 학습 속도 파라미터의 경우에, 분류기는 개인 샘플에 매우 민감하고 총 분류 정밀도는 감소한다. 약 0.1 미만의 학습 속도 파라미터가 개인화 작업에 적합하다.
분류의 하나의 목적은 본 발명과 관련하여 모바일 디바이스가 사용되는 상황을 나타내고 이 상황을 특징화하는 이용가능한 데이터를 가지고 높은 상황 인식 정밀도를 달성하는 것이다. 구체적으로 모바일 디바이스에서 인식을 제한하는 제한사항은 자원의 부족, 즉 계산 메모리( 및 심지어 센서) 공간의 부족과, 파워 자원의 부족이다. 제안된 적응성 선형 분류기는 낮은 자원 요구를 한다. 분류 방법 자체가 상황 인식 정밀도에 영향을 미칠 뿐아니라 분류기의 입력으로 사용되는 특징이 영향을 미친다. 각 분류기에 대한 적절한 특징 세트를 찾아야 한다. 상기 최소-거리 분류기의 경우에, 특징 세트는 대부분 원시 데이터로부터 효과적으로 계산될 수 있는 시간 도메인 특징으로 구성되었다. 이 세트는 또한 엉덩이 가속도 센서에 의해 제공되는 신호에 기초하여 특징이 거의 완전히 결정될 수 있는 바람직한 특성을 가진다. 이것은 그 기능상 적어도 특정 사용 시나리오에서 상황 인식을 위한 단 하나의 가능한 내장 가속도 센서를 적용하는 것이 가능하다는 것을 나타낸다. 상황 인식 시스템을 개인화하는 적응 방법을 구현함으로써 상황 인식 정밀도를 상당히 증가시키는 것이 가능하다. 유리하게 대략 10개의 피드백 신호가 이 시스템을 개인화하기 위해 유저로부터 획득될 수 있다. 개인화를 가지고, 간단한 최소-거리 분류기를 사용하여 획득된 정밀도는 보다 복잡한 알고리즘을 사용하는 것에 의해 달성된 것과 비슷하다.
도 3c는 다른 분류기에 비해 모바일 폰(테스트되는 플랫폼 : Nokia N95)의 (1.2Ah) 배터리 수명의 차트를 개시한다. 이 차트로부터 볼 수 있는 바와 같이, 제안된 선형(최소-거리) 분류기는 예를 들어 계산 량이 적음으로 인해 테스트되는 것들 중 단연 최대 배터리 절약 분류 알고리즘이다. 따라서, 도 3d는 다른 분류기에 의해 유도된 평균 CPU 부하(테스트되는 플랫폼 : Nokia N95)의 차트를 개시한다. 도 4는 단지 예로써 본 발명의 일 실시예에 따른 방법 흐름도를 개시한다. 402에서, 본 발명에 따른 모바일 디바이스는 상황 인식을 위해 예를 들어 관련된 소프트웨어와 센싱 개체의 설치와 실행을 통해 획득되고 구성된다. 분류기에 사용되는 특징은 결정될 수 있다. 404에서 모바일 디바이스 및/또는 유저의 상황을 나타내는 데이터가 획득된다. 406에서 데이터의 적어도 일부를 나타내는 하나 이상의 특징 값이 결정된다. 408에서, 바람직하게는 적응성 선형 분류기를 포함하는 상황 인식 로직이 분류 동작 동안 특징 값을 상황 클래스로 맵핑한다. 피드백이 410에서 획득된다면, 분류기는 412에서 모바일 디바이스의 유저에 의해 제공되는 피드백 정보와 상기 특징 값에 기초하여 분류 로직을 적응하도록 더 구성된다. 획득된 피드백이 직접 명시된 피드백인 경우(미도시)(즉, 유저가 데이터 캡쳐에 정확한 상황 클래스를 제공하는 경우), 유저에 의해 직접 나타낸 상황이 바람직하게는 선택되고 분류기는 실제 분류 알고리즘을 실행하는 것을 생략할 수 있다. 그러나, 분류 로직은 더 바람직하게는 전술된 바와 같이 직접 나타낸 상황에 따라 업데이트된다. 방법 실행은 414에서 종료된다. 점선 화살표는 방법 실행의 잠재적으로 연속적인 특성을 도시한다. 방법 단계들의 상호 순서는 각 특정 사용 시나리오에 의해 설정된 요건에 기초하여 이 기술 분야에 통상의 지식을 가진 자에 의해 변경될 수 있다.
따라서, 이 기술 분야에 통상의 지식을 가진 자라면 본 개시내용과 일반적인 지식에 기초하여 필요한 변경과 부가를 통해 각 특정 사용 경우에 첨부된 청구범위에 한정된 본 발명의 범위를 구현하기 위하여 제공된 내용을 적용할 수 있을 것이다. 예를 들어, 상황 인식 이벤트의 신뢰성이 계산될 수 있다. 예를 들어 가장 가까운 센트로이드와의 거리가 최소-거리 분류기의 경우에 결정될 수 있다. 신뢰성이 매우 높지 않으면(이 거리가 예를 들어 미리 결정된 임계값을 초과하면), 상황 인식 절차는 다른 디바이스로부터 오는 분류 정보로부터 얻어질 수 있다. 최소-거리 분류기는 협동하는 상황 인식 도메인을 사용할 수 있으며, 여기서 예를 들어, 대응하는 이벤트의 분류에 대한 평균 데이터가 이용가능하며 불특정한 경우에는 독립적인 분류기를 수반할 수 있다. 나아가, 적응 선형 분류기 대신에 일부 다른 유형의 적응성 분류기는 전술된 기본 원리에 따라 사용될 수 있다. 대안적으로, 심지어 비적응성 선형 분류기는, 바람직하게는 선택된 특징들이 선형 분류기의 성능을 증가시키기 위해 실질적으로, 예를 들어, 최대로 또는 거의 선형으로 분리가능하도록 특징 결정 로직이 선택된 특징을 적용하는 한 여전히 본 발명의 상황에서 사용될 수 있다.

Claims (20)

  1. 모바일 디바이스(102)에서,
    모바일 디바이스 또는 유저의 상황을 나타내는 센싱 데이터에 기초하여 복수의 대표적인 특징 값을 결정하는 특징 결정 로직(230)과;
    분류 동작 동안 상기 복수의 특징 값을 상황 클래스로 맵핑하는 적응성 선형 분류기(234)를 구비하는 상황 인식 로직(228)
    을 포함하며,
    상기 분류기는 상기 모바일 디바이스의 유저에 의해 제공되는 피드백 정보와 상기 특징 값에 기초하여 분류 로직을 적응하도록 더 구성되고,
    수행되는 분류에 관한 포지티브 또는 네거티브 피드백의 경우에, 상기 분류기는 상기 인식된 클래스의 프로토타입 특징 값 벡터가 상기 복수의 특징 값으로 결정된 특징 벡터로 각각 더 가까이 가거나 더 멀어지도록 상기 분류 로직을 적응시키게 구성된 것을 특징으로 하는 모바일 디바이스.
  2. 제 1 항에 있어서, 상기 모바일 디바이스 또는 유저의 상황을 나타내는 센싱 데이터를 획득하는 다수의 센싱 개체(230)를 포함하는 것을 특징으로 하는 모바일 디바이스.
  3. 제 1 항에 있어서, 상기 분류 동작에 적용된 복수의 특징은 상호 실질적으로 선형으로 분리가능한 것을 특징으로 하는 모바일 디바이스.
  4. 삭제
  5. 제 1 항에 있어서, 상기 적응의 양은 신 특징 벡터와 구 이상적인 벡터 사이의 가중된 차이에 기초하여 적어도 부분적으로 결정되는 것을 특징으로 하는 모바일 디바이스.
  6. 제 1 항 또는 제 5 항에 있어서, 상기 적응은 지수 이동 평균(EMA : exponential moving average)에 기초하는 것을 특징으로 하는 모바일 디바이스.
  7. 제 6 항에 있어서, 상기 모바일 디바이스에 대해 유저의 하나 이상의 동작이나 동작의 부재로부터 상황 분류 피드백을 추론하도록 구성된 것을 특징으로 하는 모바일 디바이스.
  8. 제 7 항에 있어서, 상기 유저에 의해 제공되는 피드백에 기초하여 적응을 통해 모바일 디바이스의 유저에 대한 상황 인식 로직을 개인화하도록 구성된 것을 특징으로 하는 모바일 디바이스.
  9. 제 1 항에 있어서, 상기 데이터에 대한 정확한 클래스의 지시를 포함하는 유저로부터 직접 피드백을 획득하도록 구성되고, 상기 클래스의 프로토파입 특징 값 벡터는 이로부터 유도되는 데이터 또는 특징에 기초하여 적응되는 것을 특징으로 하는 모바일 디바이스.
  10. 제 9 항에 있어서, 상기 적응은 학습 벡터 양자화(LVQ)에 기초하는 것을 특징으로 하는 모바일 디바이스.
  11. 제 1 항에 있어서, 상기 분류기는 최소 거리 분류기를 포함하는 것을 특징으로 하는 모바일 디바이스.
  12. 제 2 항에 있어서, 상기 센싱 개체는 가속도, 엉덩이 가속도, 손목 가속도, 압력, 광, 시간, 심장 박동율, 온도, 위치, 능동 유저 프로파일, 칼렌더 입력 데이터, 배터리 상태 및 사운드 데이터로 구성된 그룹으로부터 선택된 적어도 하나의 요소에 대해 데이터를 획득하도록 구성된 것을 특징으로 하는 모바일 디바이스.
  13. 제 1 항에 있어서, 상기 센싱 데이터로부터, 최대 가속도, 최소 가속도, 평균 가속도, 최대 가속도와 최소 가속도 사이의 차이, 가속도의 변동, 파워 스펙트럼 엔트로피, 피크 주파수, 피크 파워, 및 평균 심장 박동율로 구성된 그룹으로부터 선택된 적어도 하나의 특징을 결정하도록 구성된 것을 특징으로 하는 모바일 디바이스.
  14. 제 1 항에 있어서, 상기 인식된 상황 클래스에 따라 적어도 하나의 동작을 수행하도록 구성된 것을 특징으로 하는 모바일 디바이스.
  15. 제 14 항에 있어서, 상기 적어도 하나의 동작은, 디바이스의 유저 인터페이스의 적응, 애플리케이션의 적응, 메뉴의 적응, 프로파일의 적응, 모드의 적응, 애플리케이션의 트리거, 애플리케이션의 닫기, 애플리케이션의 실행, 보기 실행, 보기 최소화, 키패드 잠금을 활성화 또는 종료, 연결 구축, 연결 종료, 데이터 전송, 메시지 송신, 사운드의 플레이와 같은 오디오 출력의 트리거, 진동과 같은 촉각 피드백의 활성화, 디스플레이의 활성화, 애플리케이션에 데이터의 입력, 및 디바이스의 정지로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 모바일 디바이스.
  16. 제 14 항 또는 제 15 항에 있어서, 상기 적어도 하나의 동작은, 서비스 조절, 서비스 개시, 서비스 종료, 서비스 적응으로 구성된 그룹으로부터 선택된 적어도 하나의 요소를 포함하며, 상기 서비스는 모바일 디바이스에서 실행되는 로컬 서비스 또는 모바일 디바이스에 의해 원격으로 액세스되는 서비스일 수 있는 것을 특징으로 하는 모바일 디바이스.
  17. 제 1 항에 있어서, 상기 특징들 중 하나 이상은 순차 포워드 선택(SFS) 또는 순차 플로우팅 포워드 선택 알고리즘(SFFS)을 사용하여 선택되는 것을 특징으로 하는 모바일 디바이스.
  18. 모바일 디바이스에 의해 상황을 인식하는 방법에 있어서,
    상기 모바일 디바이스 또는 유저의 상황을 나타내는 데이터를 획득하는 단계(404)와;
    상기 데이터에 기초하여 상기 데이터의 적어도 일부를 나타내는 복수의 특징 값을 결정하는 단계(406)와;
    상기 복수의 특징값을 상황 클래스로 적응성 선형 분류기에 의해 분류하는 단계(408)와;
    상기 유저에 의해 제공되는 피드백과 상기 특징 값에 기초하여 상기 분류기의 분류 로직을 적응시키는 단계(410,412)를 포함하며,
    수행되는 분류에 관한 포지티브 또는 네거티브 피드백의 경우에,
    상기 분류기의 분류 로직을 적응시키는 단계는,
    상기 인식된 클래스의 프로토타입 특징 값 벡터가 상기 복수의 특징 값으로 결정된 특징 벡터로 각각 더 가까이 가거나 더 멀어지도록 상기 분류 로직을 적응시키게 구성된 것을 특징으로 하는 모바일 디바이스에 의해 상황을 인식하는 방법.
  19. 삭제
  20. 제18항에 기재된 모바일 디바이스에 의해 상황을 인식하는 방법을 실행하기 위하여 적응된 코드 수단을 포함하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장매체.
KR1020117027826A 2009-05-22 2010-05-21 모바일 디바이스에서 상황 인식 KR101725566B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20095570 2009-05-22
FI20095570A FI20095570L (fi) 2009-05-22 2009-05-22 Kontekstin tunnistaminen mobiiliaitteissa
PCT/FI2010/050409 WO2010133770A1 (en) 2009-05-22 2010-05-21 Context recognition in mobile devices

Publications (2)

Publication Number Publication Date
KR20120018337A KR20120018337A (ko) 2012-03-02
KR101725566B1 true KR101725566B1 (ko) 2017-04-10

Family

ID=40680750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117027826A KR101725566B1 (ko) 2009-05-22 2010-05-21 모바일 디바이스에서 상황 인식

Country Status (7)

Country Link
US (2) US20120059780A1 (ko)
EP (1) EP2433416B1 (ko)
JP (1) JP2012527810A (ko)
KR (1) KR101725566B1 (ko)
ES (1) ES2634463T3 (ko)
FI (1) FI20095570L (ko)
WO (1) WO2010133770A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2963388T3 (es) * 2008-01-16 2024-03-26 Blackberry Ltd Virtualización securizada de la capa de presentación para dispositivos de comunicación inalámbrica de mano
US8776177B2 (en) 2009-06-16 2014-07-08 Intel Corporation Dynamic content preference and behavior sharing between computing devices
US9092069B2 (en) 2009-06-16 2015-07-28 Intel Corporation Customizable and predictive dictionary
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
US8254957B2 (en) 2009-06-16 2012-08-28 Intel Corporation Context-based limitation of mobile device operation
US8446398B2 (en) 2009-06-16 2013-05-21 Intel Corporation Power conservation for mobile device displays
FI122770B (fi) * 2009-11-11 2012-06-29 Adfore Technologies Oy Kontekstitietoisuudella ohjattava mobiililaite
US20120062387A1 (en) * 2010-09-10 2012-03-15 Daniel Vik Human interface device input filter based on motion
US8838147B2 (en) * 2011-08-31 2014-09-16 Nokia Corporation Method and apparatus for determining environmental context utilizing features obtained by multiple radio receivers
EP2758956B1 (en) 2011-09-23 2021-03-10 Digimarc Corporation Context-based smartphone sensor logic
US9148487B2 (en) * 2011-12-15 2015-09-29 Verizon Patent And Licensing Method and system for managing device profiles
EP2795538A4 (en) * 2011-12-21 2016-01-27 Nokia Technologies Oy PROCESS, DEVICE AND COMPUTER SOFTWARE FOR CONTEX IDENTIFICATION
US20140047259A1 (en) * 2012-02-03 2014-02-13 mCube, Incorporated Methods and Apparatus for Mobile Device Power Management Using Accelerometer Data
US9471092B2 (en) 2012-02-03 2016-10-18 MCube Inc. Distributed MEMS devices time synchronization methods and system
PL398136A1 (pl) 2012-02-17 2013-08-19 Binartech Spólka Jawna Aksamit Sposób wykrywania kontekstu urzadzenia przenosnego i urzadzenie przenosne z modulem wykrywania kontekstu
KR101943986B1 (ko) * 2012-03-21 2019-01-31 삼성전자주식회사 애플리케이션 또는 컨텐트를 추천하는 이동 통신 단말 및 추천 방법
WO2013165355A1 (en) 2012-04-30 2013-11-07 Hewlett-Packard Development Company, L.P. Controlling behavior of mobile devices
US20130346347A1 (en) * 2012-06-22 2013-12-26 Google Inc. Method to Predict a Communicative Action that is Most Likely to be Executed Given a Context
US9740773B2 (en) * 2012-11-02 2017-08-22 Qualcomm Incorporated Context labels for data clusters
US9654977B2 (en) 2012-11-16 2017-05-16 Visa International Service Association Contextualized access control
TWI488671B (zh) * 2012-11-26 2015-06-21 Univ Nat Yunlin Sci & Tech Athletic Condition Assessment System Based on Classifier
US9336295B2 (en) 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
KR102062763B1 (ko) * 2012-12-07 2020-01-07 삼성전자주식회사 상황 정보 기반의 정보 제공 방법 및 시스템과 그 기록 매체
US10649619B2 (en) * 2013-02-21 2020-05-12 Oath Inc. System and method of using context in selecting a response to user device interaction
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
US9549042B2 (en) 2013-04-04 2017-01-17 Samsung Electronics Co., Ltd. Context recognition and social profiling using mobile devices
US9372103B2 (en) 2013-07-12 2016-06-21 Facebook, Inc. Calibration of grab detection
US9588581B2 (en) * 2013-09-10 2017-03-07 Intel Corporation Composable thin computing device
JP6070512B2 (ja) * 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3092830B2 (en) * 2014-01-10 2020-02-19 Signify Holding B.V. Feedback in a positioning system
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9304576B2 (en) * 2014-03-25 2016-04-05 Intel Corporation Power management for a wearable apparatus
US9563855B2 (en) * 2014-06-27 2017-02-07 Intel Corporation Using a generic classifier to train a personalized classifier for wearable devices
CN104239034B (zh) * 2014-08-19 2017-10-17 北京奇虎科技有限公司 智能电子设备的场合识别方法和信息通知方法及其装置
TWI549076B (zh) * 2014-11-06 2016-09-11 宏碁股份有限公司 電子裝置及其服務管理方法
US10659594B2 (en) 2015-02-12 2020-05-19 American University Of Beirut Context aware mobile personalization system and methods of use
KR102249161B1 (ko) 2015-06-19 2021-05-06 에스케이텔레콤 주식회사 측위 정보 및 스크린 상태 정보를 이용한 위치 추론 방법, 그리고 이를 이용한 상황 인지 장치
EP3301891B1 (en) 2016-09-28 2019-08-28 Nxp B.V. Mobile device and method for determining its context
CN106650941B (zh) * 2016-12-30 2019-01-25 山东大学 一种基于可靠性管理的不确定性消除情景感知系统及其工作方法
CN106650937B (zh) * 2016-12-30 2019-09-27 山东大学 一种基于反馈的自适应主客观权重上下文感知系统及其工作方法
KR101924330B1 (ko) * 2017-02-10 2019-02-20 주식회사 테크포아이 동적 환경에 적응할 수 있는 사용자 중심 상황 인지시스템 및 그 방법
KR102617480B1 (ko) * 2017-02-22 2023-12-26 광주과학기술원 기계학습 기반 낙상 위험도 추정 장치 및 방법
KR102443534B1 (ko) * 2018-01-12 2022-09-15 라인플러스 주식회사 메시징 서비스 환경에서의 사용자 상황 감지 및 사용자 상황에 기반한 메시징 서비스와의 인터랙션
CN110276235B (zh) * 2018-01-25 2023-06-16 意法半导体公司 通过感测瞬态事件和连续事件的智能装置的情境感知
US11368457B2 (en) 2018-02-20 2022-06-21 Visa International Service Association Dynamic learning system for intelligent authentication
WO2019177283A1 (en) * 2018-03-15 2019-09-19 Samsung Electronics Co., Ltd. Method and electronic device for enabling contextual interaction
US10901688B2 (en) * 2018-09-12 2021-01-26 International Business Machines Corporation Natural language command interface for application management
US20200252500A1 (en) * 2019-01-31 2020-08-06 Marcello Giordano Vibration probing system for providing context to context-aware mobile applications
WO2022040894A1 (en) 2020-08-25 2022-03-03 Citrix Systems, Inc. Context-based notification processing system
US11405457B2 (en) * 2020-12-08 2022-08-02 Citrix Systems, Inc. Intelligent file access system
EP4348524A1 (en) * 2021-06-03 2024-04-10 Mocha Holdings Llc Apparatus and method for suggesting user-relevant digital content using edge computing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204390A (ja) * 2002-01-08 2003-07-18 Ricoh Co Ltd 携帯移動電話装置
JP2005173930A (ja) * 2003-12-10 2005-06-30 Sony Corp 電子機器、認証方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404923B1 (en) * 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US6323807B1 (en) * 2000-02-17 2001-11-27 Mitsubishi Electric Research Laboratories, Inc. Indoor navigation with wearable passive sensors
US6912386B1 (en) * 2001-11-13 2005-06-28 Nokia Corporation Method for controlling operation of a mobile device by detecting usage situations
US20040192269A1 (en) * 2003-03-26 2004-09-30 Hill Thomas Casey System and method for assignment of context classifications to mobile stations
US7778632B2 (en) * 2005-10-28 2010-08-17 Microsoft Corporation Multi-modal device capable of automated actions
DE602006021433D1 (de) * 2006-10-27 2011-06-01 Sony France Sa Ereigniserfassung in Mehrkanal-Sensorsignalströmen
US20090278937A1 (en) * 2008-04-22 2009-11-12 Universitat Stuttgart Video data processing
US20100087987A1 (en) * 2008-10-08 2010-04-08 Gm Global Technoloogy Operations, Inc. Apparatus and Method for Vehicle Driver Recognition and Customization Using Onboard Vehicle System Settings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204390A (ja) * 2002-01-08 2003-07-18 Ricoh Co Ltd 携帯移動電話装置
JP2005173930A (ja) * 2003-12-10 2005-06-30 Sony Corp 電子機器、認証方法

Also Published As

Publication number Publication date
FI20095570A0 (fi) 2009-05-22
EP2433416B1 (en) 2017-04-26
FI20095570L (fi) 2009-09-11
US20190230210A1 (en) 2019-07-25
KR20120018337A (ko) 2012-03-02
ES2634463T3 (es) 2017-09-27
JP2012527810A (ja) 2012-11-08
WO2010133770A1 (en) 2010-11-25
EP2433416A1 (en) 2012-03-28
EP2433416A4 (en) 2014-02-26
US20120059780A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
KR101725566B1 (ko) 모바일 디바이스에서 상황 인식
Miluzzo et al. Pocket, bag, hand, etc.-automatically detecting phone context through discovery
TWI489397B (zh) 用於提供適應性手勢分析之方法、裝置及電腦程式產品
US9726498B2 (en) Combining monitoring sensor measurements and system signals to determine device context
US8990384B2 (en) Mobile device controlled by context awareness
CN105264456B (zh) 运动围栏
US9459118B2 (en) Adjusting step count to compensate for arm swing
TW201218736A (en) Method and apparatus for providing context sensing and fusion
US9699739B2 (en) Determination of device body location
CN109756241B (zh) 设备主体位置的确定
US11599070B2 (en) Electronic device and method for determining task including plural actions
US10938977B2 (en) Surface detection for mobile devices
KR20100133538A (ko) 휴대용 단말기에서 모션 인식 장치 및 방법
Yang et al. Physical activity recognition with mobile phones: challenges, methods, and applications
KR101995799B1 (ko) 상황 인지 서비스를 제공하기 위한 장소 인식 장치 및 방법
CN114080258B (zh) 一种运动模型生成方法及相关设备
CN113744736B (zh) 命令词识别方法、装置、电子设备及存储介质
CN113032560B (zh) 语句分类模型训练方法、语句处理方法及设备
US20180007138A1 (en) Electronic device, selection control system, selection method, and recording medium
Tiku et al. A Portable Indoor Localization Framework for Smartphone Heterogeneity Resilience
KR20230073681A (ko) 관절 각도변화 기반 운동준비상태 확인 전자장치 및 방법
CN117115596A (zh) 对象动作分类模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant