KR20050044398A

KR20050044398A - 사용 상황들을 검출함으로써 이동 장치의 작동을 제어하기위한 방법

Info

Publication number: KR20050044398A
Application number: KR1020047007120A
Authority: KR
Inventors: 힘베르그요한; 만닐라헤이키; 코르피아호칼; 토이보넨한누티.티.; 티칸매키요한나
Original assignee: 노키아 코포레이션
Priority date: 2001-11-13
Filing date: 2002-11-11
Publication date: 2005-05-12
Also published as: EP3261325B1; EP1444841A1; US6912386B1; EP1444841B1; EP3261325A1; EP1444841A4; CN1611082A; CN1611082B; KR100731113B1; WO2003043356A1

Abstract

이동 전화와 같은 이동 통신 장치는 가속, 노이즈 레벨, 광도 및 습도를 감시하는 센서들을 구비할 수 있다(도 1). 장치 작동중의 훈련 단계(learning phase) 동안, 센서들(9)로부터 출력된 데이터가 저장될 수 있으며, 특별한 시간 세그먼트들과 관련될 수 있다. 장치의 사용은 훈련 단계동안 감시될 수 있으며, 센서 데이터와 관련될 수 있다. 만약 사용 패턴이 어떤 센서 레벨들에 대해 검출된다면, 향후의 유사한 상황에 대한 규칙이 인식되고, 장치에 의해 저장된다(4). 사용 단계에서, 유사한 향후 상황들을 만나게 되면 저장된 규칙들(6)은 장치의 사용자 인터페이스를 변경시키는데 적용된다. 장치의 훈련 및 사용 단계들은 중복될 수 있다.

Description

사용 상황들을 검출함으로써 이동 장치의 작동을 제어하기 위한 방법{A method for controlling operation of a mobile device by detecting usage situations}

본 발명은 일반적으로 사용 상황에 기초하여 이동 장치의 작동을 제어하기 위한 방법에 관한 것으로, 보다 상세하게는 센서 데이터, 사용자 작동들 및 사용 상황들(usage situations)을 관련시키기 위한 방법에 관한 것이다.

이동 전화들과 같은 대부분의 이동 장치들은 장치의 사용자에게 이용 가능한 다수의 다른 옵션들 및 기능들을 가지고 있다. 예를 들면, 이동 장치의 사용자는 전형적으로 다이얼링을 위해 저장된 전화 번호들을 선택할 수 있고, 장치의 호출 볼륨(ringing volume)을 변경하거나, 장치의 디스플레이의 광도를 변경하는 등을 할 수 있다. 그러한 옵션들 및 기능들은 전형적으로 제시되고, 장치에 의해 사용되는 프로그래밍된 사용자 인터페이스를 통해 수동으로 선택이 가능하다.

이동 장치의 작동들을 제어하기 위한 종래 솔루션들은 사용 상황에 따른 사용자에 의한 수동 제어를 포함하거나, 만약 주변 조명의 레벨이 낮다면 자동 디스플레이 조명 또는 마이크로폰에 의해 감지되는 주변의 노이즈 레벨에 따른 자동 오디오 볼륨 설정과 같은 하나의 센서 조건의 직접적인 사용을 포함한다.

그러나, 그러한 장치가 다수의 센서 데이터에 기초하여 더욱 기꺼이 그리고 자동적으로 외부 조건들에 적응한다면 유리할 것이다. 따라서, 통신 상황들(communication situations)이 상당히 변화할 수 있는 경우에, 이동 통신에서의 데이터의 보다 효율적인 수집 및 사용에 대한 필요성이 있다.

도 1은 본 발명의 어떤 실시예들에 따른, 예시적인 장치 및 상기 장치에 의해 사용되는 규칙들을 결정하기 위한 예시적인 과정의 설명이다.

도 2는 도 1의 장치와의 사용자 상호 작용의 예시적인 상관 관계 및 사용 규칙을 결정하기 위해 훈련 단계에서의 그러한 장치의 센서들에 의해 저장되는 데이터를 기술하는 차트이다.

도 3은 장치가 도 2에서와 같은 유사한 센서 패턴을 인식하고, 훈련 단계동안 결정된 저장된 규칙을 선택하는 예시적인 상황을 기술하는 차트이다.

본 발명의 일 실시예에 따르면, 적어도 하나의 센서를 가지는 이동 전화와 같은 이동 통신 장치의 사용자 인터페이스를 제어하기 위한 방법이 개시되는데, 상기 방법은 (1) 시간 주기동안 복수의 외부 조건들을 나타내는 아날로그 또는 디지털 센서 신호들을 저장하는 단계, (2) 상기 센서 신호들을 시계열 분할(time series segmentation)에 의하는 것과 같이 일련의 센서 데이터 세그먼트들로 분할하는 단계, (3) 상기 센서 데이터 세그먼트들중 적어도 하나동안 상기 사용자에 의해 수행되는 작동 지시를 저장하는 단계, 및 (4) 상기 장치의 향후 작동을 위한 규칙을 결정하는 단계로, 상기 규칙은 상기 센서 데이터 세그먼트들 및 상기 작동에 대응하는 단계를 포함하는 것을 특징으로 한다. 센서 신호들의 분할(segmenting)은 상기 센서 신호들의 저장과 함께 실질적으로 실시간으로 수행될 수 있다. 분할은 소정량의 센서 신호들이 저장된 후에 수행될 수 있다.

본 발명의 다른 실시예에 따르면, 이동 통신 장치의 사용자 인터페이스를 제어하기 위한 방법이 개시되는데, 상기 방법은 복수의 외부 조건들을 검출하는 단계, 상기 외부 조건들과 일치하는 규칙을 발견하기 위해 규칙 데이터베이스를 검색하는 단계, 및 상기 규칙에 대응하는 기능을 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다양한 실시예에 따르면, 상기 규칙은 사용자 인터페이스에서의 변화에 대응할 수 있다.

본 발명의 또 다른 실시예에 따르면, 작동 규칙은 컴퓨터 서버로부터 무선 통신에 의하는 것과 같이 외부 소스로부터 다운로드될 수 있다.

본 발명의 또 다른 실시예에 따르면, 상기 센서들에 의해 감시되는 외부 조건들은 검출된 가속, 노이즈 레벨, 광도 및 습도를 포함할 수 있다.

다음에, 본 발명은 본 발명에서 기술된 방법의 전형적인 어플리케이션들을 도시하는 첨부된 도면들을 참조하여 더욱 상세하게 기술될 것이다.

본 발명의 이동 장치는 장치의 환경에 대한 다양한 정보 및 사용자의 현재 환경을 결정할 수 있는 하나 이상의 센서들을 포함한다. 상기 센서(들)는 예를 들면, 가속, 노이즈 레벨, 광도 및 습도 센서들일 수 있다. 센서들은 외부의 물리적인 조건들, 사용자 자체 또는 사용자의 몇 가지 행동들을 감시하기 위해 사용될 수 있다. 본 발명은 상기 센서들에 의해 제공되는 정보를 사용하기 위한 방법을 제공한다. 상기 정보는 1) 이동 장치의 작동들을 제어하거나 2) 사용자 인터페이스들을 위해 센서 데이터를 인덱싱 및 체계화하거나, 검색 및 분석을 위해 사용될 수 있다. 그러한 것들의 예시는 1) 예를 들면, 콘서트중에 무음 모드(silent mode)로 전화를 설정하거나, 대중 교통에 대한 시간표 정보를 검색하는 등의 어떤 환경에 따라 어플리케이션들을 개시하거나 2) 예를 들면, "철도역에서 걸어가는 동안에는 호출(incoming cals)을 도시"와 같이 환경 특유 용어(context specific terminology)를 사용한 재호출(recall)을 위한 정보를 인덱싱하는 것을 포함한다.

본 발명에서, 센서 데이터를 중복되지 않고, 내부적으로 동질인 세그먼트들(internally homogeneous segmentations)로 분할하기 위해 시계열 분할(time series segmentation)이 사용된다. 발견되는 세그먼트들은 상기 장치 및 그 사용자가 처한 어떤 상태들을 반영한다. 향후 행동들의 예측이 가능하도록, 인지된 세그먼트들의 간결한 표현들이 사용자의 행동들(예를 들면, 전화 호출들)이 비교될 수 있는 템플릿들(templates)로서 사용된다. 형식적으로, 분할 문제(segmentation problem)는 일반적인 집단화 문제(general clustering problem)의 특별한 경우이지만, 데이터의 임시 구조는 연산 속도를 증가시키기 위해 사용될 수 있는 부가적인 제한들을 제공한다.

본 발명에서 기술된 상기 방법은 이동 장치의 작동들을 제어하기 위해 복수의 외부조건들을 검출하는 하나 이상의 센서들로부터 나오는 데이터를 사용하는 효율적이며 정교한 방법을 기술하며, 그 결과 이동 장치를 환경 인식적(context-aware)으로 만들어 그 유용성을 매우 증가시킨다.

장치에 의해 분할되는 센서 데이터는 원시 센서 데이터(raw sensor data), 즉 센서로부터 직접 수신한 데이터이거나, 또는 더욱 유용한 형식으로 만들기 위해 데이터가 우선적으로 처리되는 전처리 센서 데이터(pre-processed sensor data)일 수 있다. 광도 센서(luminosity sensor)로부터 나오는 데이터를 고려함에 있어서, 예를 들면 원시 센서 데이터는 주파수 스펙트럼을 생성하기 위해 푸리에 변환 또는 유사한 것을 사용해서 전처리될 수 있으며, 그러면 전처리된 센서 데이터는 본 발명의 범위내에서 분할될 수 있다. 그러한 경우에, 전처리된 광도 센서 데이터는 주파수 스펙트럼에 기초하여 실내 또는 실외에 있는 사용자에 대응하여 검출된 주변의 빛이 자연광인지 또는 인조광인지를 더욱 정확하게 검출하기 위해 사용될 수 있다. 더욱이, 그러한 전처리된 센서 데이터는 더욱 쉽게 압축될 수 있으며, 이에 의해 그러한 데이터를 사용해서 추후에 처리하거나 계산들을 수행하기 위해 요구되는 시간량을 감소시킬 수 있다. 원시 및 전처리된 센서 데이터의 어떠한 조합도 유사하게 사용될 수 있다.

더욱 상세하게 사용 환경을 인식하는 것은 가능한 한 간단하게 사용하도록 이동 장치들을 제조함에 있어서 중요하다. 적응적이며, 개인화된 사용자 인터페이스를 제공하기 위해 사용자의 상황의 인식이 사용될 수 있다. 장치 및 사용자의 환경을 결정하기 위한 이동 장치에서의 센서들의 사용은 단순히 상기 센서들을 상기 장치들에 부착함으로써 해결되지 않는다. 환경의 더욱 정확하고 유용한 정보를 추론하는 것은 사용될 다른 타입들의 센서들의 사용 및 수집될 더 많은 데이터 양을 요구한다. 이러한 데이터를 효율적으로 사용할 수 있기 위해서, 데이터가 사용 가능한 정보를 추론하기 위해 효율적으로 처리되어야 하며, 데이터의 유용한 압축된 표현을 만들어내야 한다.

본 발명은 센서 데이터를 이동 장치의 다른 상태들을 반영하는 중복되지 않고, 내부적으로 동질의 세그먼트들(homogeneous segmentation)로 분할하기 위한 방법을 기술한다. 다른 사용 상황들에서 센서 데이터를 수집하고, 그것을 상기 세그먼트들로 분할함으로써 데이터를 처리하고, 다음에 상기 세그먼트들과 대응하는 사용 상황들 및 사용자 작동들과 상관시킴으로써, 장치가 센서 데이터 및 환경간의 관계들을 인식하도록 할 수 있다. 이러한 훈련 단계후에, 장치는 실시간 센서 데이터를 수집하고, 상기 데이터를 분할하고, 세그먼트들과 사용 상황들간의 훈련된 대응(learned correspondence)에 따른 그의 사용 상황을 검출함으로써 그의 환경을 추론할 수 있다. 더욱이, 장치는 그러한 사용 상황들에서 센서 데이터 세그먼트들, 사용 상황들, 및 전형적인 사용자 작동들간의 이전의 또는 훈련된 대응들에 기초하여 장치상의 작동들을 개시하거나 예측할 수 있다. 이러한 방식으로, 예컨대 이동 전화의 환경에 대한 정보는 사용자 인터페이스를 개선시키는데 사용될 수 있다. 예를 들면, 만약 환경으로부터 사용자가 뛰고 있다는 것을 안다면, 디스플레이에서 사용되는 전면부(front)는 더욱 커질 수 있다.

본 발명에서 기술된 방법은 이동 전화들과 같은 통신 이동 장치들에서 특히 더 적합하다. 성공적인 인간 통신은 전형적으로 전후 관계(contextual)이다. 통신은 사용자가 누구와 대화를 하는지, 사용자가 어디에 있는지, 몇 시인지, 다른 사람들이 사용자의 근처에 있는지, 과거에 어떤 상황들이 일어났는지와 같은 것들에 의존해서 변화한다. 따라서, 사용자의 매일의 경험들로부터 사용될 수 있는 많은 환경 정보가 있다. 통신 상황들이 매우 심각하게 변할 수 있는 경우에, 환경 인식에 대한 필요성이 이동 통신에서 특히 커진다.

본 발명에서, 환경 인식(context awareness)을 얻기 위한 방법이 이동 장치들에 대한 환경 인식에서 센서 데이터의 시계열 분할(time series segmentation)에 기초하여 기술된다. 동적 프로그래밍(dynamic programming)에 의해 요구되는 미소한 시간에서 대략적으로 최적의 결과들을 주는 센서 데이터의 시계열 분할을 위한 구현이 기술된다. 이러한 구현은 동적 프로그래밍 의 것들과 대조적으로 매우 작은 상수들을 가진 시간 에서 분할 문제를 해결하기 위해 사용될 수 있다. 세그먼트간의 변이들(intra-segment variances)을 최소화시키는 세그먼트들을 발견하기 위해 동적 프로그래밍이 사용될 수 있는 경우에, 본 발명에서 기술된 구현은, 분할 문제의 몇가지 경우들에 대해서는, 최적 이하의 솔루션(less-than-optimal solution)을 수반하지만, 본 발명에서 기술된 분할 문제에 대한 최종 결과에 대해서는 신속하며 충분하다.

본 발명은 이전에 검출되고 분석된 사용자의 사용 상황들에 따라 장치의 사용자 인터페이스를 수정함으로써, 이동 장치의 사용자 인터페이스 작동을 제어하기 위한 방법을 기술한다.

도 1을 참조하면, 이동 장치(10)는, 이하에서 기술되는 바와 같이, 이동 통신 기능들을 구현하기 위한 통신 하드웨어 및 소프트웨어(8), 하나 이상의 센서들(9) 및 여기서 기술된 기능을 가능하게 하는 처리 명령어들 및 작동 규칙들을 저장하기 위한 규칙 데이터베이스(6) 모두를 저장하기 위한 메모리(7)를 포함한다.

장치(10)는 일반적으로 다음의 방법에 따라 작동한다. 이동 장치(10)내에 내장된 하나 이상의 센서들(9)은 아날로그 또는 디지털 데이터중 어느 하나로써 주위의 센서 신호들을 수집하고 저장하는데 사용된다(단계 1). 센서 데이터는 분할되어 센서 데이터 세그먼트들로서 신호 표현(representation of the signal)된다(단계 2). 사용자 작동들이 등록되고, 수집된 센서 데이터와 상관된다(단계 3). 상관(correlation)에 기초한 사용 규칙들(rules of use)이 결정되고, 센서 데이터 세그먼트들 및 상기 세그먼트들에서 이동 장치상에서 수행된 일관된 사용자 작동들에 기초하여 이동 장치(9)내의 규칙 데이터베이스(6)에 저장된다(단계 4). 단계 4는 또한 센서 데이터 세그먼트들의 시퀀스에 있어서 세그먼트들의 어떤 부시퀀스들(subsequences)의 일관된 발생의 인식을 포함할 수 있다. 결국, 상기 이전에 검출되고 분석된 사용 상황의 존재를 반영하는 규칙에 의해 식별된 특정 상황에서 상기 장치의 설정들을 반영하도록 이동 장치의 사용자 인터페이스가 수정되어야 하는지를 결정하기 위하여, 장치(10)는 센서 세그먼트들 및 사용자 작동들과 일치하는 시퀀스를 발견하기 위해 상기 규칙 데이터베이스를 계속적으로 검색할 수 있다(단계 5).

이동 장치의 사용자 인터페이스 제어는 작동들을 개시하거나 예측함으로써 이동 장치의 작동을 제어하거나, 사용자 인터페이스들, 검색 및 분석을 위하여 센서 데이터를 인덱싱 및 체계화하는 단계를 포함한다.

센서 데이터를 분할하는 단계는 수집된 센서 신호들이 실시간으로 분할되거나, 어떤 소정양의 데이터가 수집되고 저장된 후에 분할되도록 구현될 수 있다.

규칙 데이터베이스(6)내의 규칙들은 어떤 센서 데이터 세그먼트에서 일어나는 상기 이동 장치(10)에 대한 일관된 사용자 작동들을 기술한다. 더욱이, 상기 규칙들은 상호간에 의존적으로 일관되게 일어나는 센서 데이터 세그먼트들의 시퀀스들 및 센서 데이터 세그먼트들의 상기 시퀀스의 세그먼트들에서 일어나는 상기 이동 장치에 대한 사용자 작동들의 시퀀스들을 기술한다.

본 발명에서 기술된 이동 장치(10)의 작동을 제어하기 위한 방법은 2개의 단계들을 포함하는데, 1) 훈련 단계로, 센서 데이터가 저장되고, 사용자 작동들은 검출 및 기록되며(logged), 센서 데이터는 분할되고, 규칙들이 사용자 작동들 및 센서 데이터의 상관 관계에 기초하여 정의되는 단계, 및 2) 사용 단계로, 저장된 규칙을 구현하기에 적절한 조건들을 결정하기 위해 센서 데이터가 감시되고, 조건이 검출될 때 상기 규칙 데이터베이스로부터 규칙을 검색하고, 상기 규칙에 따라 작동을 구현하는 단계를 포함한다. 상기 규칙은 예를 들면, 어두운 광도 조건에서 디스플레이를 약하게 하거나, 사용자가 움직이고 있을 때 더 큰 폰트를 디스플레이하거나, 또는 사용자 인터페이스에 대한 유사한 변경들을 포함할 수 있다.

위에서 기술된 2개의 단계들은 구현되기 전에 우선 작동이 훈련되도록 순차적일 수 있다. 대안적으로, 소정의 규칙이 외부 소스로부터 다운로드될 수 있다. 더욱이 장치(10)가 사용중인 동안에 장치(10)가 규칙 데이터베이스(6)를 정의 또는 확장 및 조절할 수 있도록 이러한 단계들이 동시에 또는 병렬적으로 동작할 수 있다.

본 발명의 다른 실시예들에 따르면, 장치(10)는 연속적인 센서 신호들(또는 이산 샘플 센서 신호들)을 이벤트들의 시퀀스들로 맵핑시키고 데이터 압축을 얻을 수 있다. 또한, 필요한 세그먼트들을 만들기 위한 간단하고 효율적인 구현들이 본 발명에서 기술된다. 본 발명에서 기술된 방법은 단지 제시된 시계열 분할(time series segmentation)의 구현에 제한되지 않으나, 첨부된 청구항들의 범위내에서 수정될 수 있다.

이하에서 자세히 기술되는 바와 같이, 시계열 데이터의 분할을 위해 2개의 효율적인 알고리즘들의 구현이 고려된다. 이러한 알고리즘 절차들을 기술할 수 있기 위한 목적으로, 시계열(time series), 분할들(segmentations), 및 비용 함수(cost function)가 정의된다.

시계열들 s는 N개의 샘플들 x(1), x(2), ..., x(N)으로 이루어진다. 표기 s(a,b)는 계열(series) s의 세그먼트, 즉 연속하는 샘플들(consecutive samples) x(a), x(a+1),...;x(b)를 정의하고, 여기서 a≤b이다. 만약 s₁=s(a,b) 및 s₂=s(b+1,c)가 2개의 세그먼트들이라면, s₁s₂=s(a,c)는 이것들의 결합(concatenation)을 의미한다.

s의 k-분할(k-segmentation) S는 s₁s₂…s_k=s 이고 각 s_i가 비지 않도록(non-empty) k 세그먼트들의 시퀀스 s₁s₂…s_k이다. 바꾸어 말하면, 세그먼트 경계들 c₁,c₂,…,c_k-1,0<c₁<c₂<…c_k-1<N이 존재하며, 여기서 s₁=s(1,c₁),s₂=s(c₁+1,c₂),…,;s_k=s(c _k-1+1,N), c₀=0 및 c_k=N이다.

시계열의 단지 내부적인 동질의 분할(homogeneous segmentations)이 사용될 것이다. 형식상 이러한 목표를 기술하기 위해, 코스트(cost) 함수 F가 개개의 세그먼트들의 내부 이질성(internal heterogeneity)과 관련되며, 세그먼트의 전체 코스트(cost)을 최소화하기 위해 사용된다. 전체 코스트(ocerall cost)에 대해 2가지가 가정된다. 우선, 하나의 세그먼트의 코스트(cost) cost_F(s(a,b))은 데이터 포인트들(data points)의 함수이며, 데이터 포인트들의 수는 n=b-a+1이다. 따라서, 다음식과 같다.

두번째로, k 세그먼트 cost_F(s₁s₂…s_k)의 코스트(cost)는 그의 세그먼트들 s₁, s₂, …, s_k 의 코스트들(costs)의 합이다:

코스트(cost) 함수 cost_F를 사용하는 시계열 s의 최적의 k-분할(k-segmentation) 는 cost_F(s₁s₂…s_k)가 모든 가능한 k 세그먼트들 가운데에서 최소이도록 된다.

코스트(cost) 함수 F는 세그먼트의 성분들의 변이들(variances)의 합을 사용할 수 있다:

여기서, n=b-a+1이고, d는 수 차원(number dimensions)이다. 따라서, 세그먼트들에 대한 코스트(cost) 함수는 다음식과 같다.

여기서, 세그먼트들은 길이 n₁,n₂,…,n_k를 가지며, 시퀀스의 길이 N은 이고, V(s_i)는 위와 같이 정의된다. 다른 코스트(cost) 함수들은 본 발명과 함께 사용되도록 쉽게 고려된다.

해결되어야 하는 문제는 코스트(cost)을 최소화하는 세그먼트 경계들 c_i를 발견하는 것이다. 이러한 목적을 위해 2개의 효율적인 알고리즘들이 본 발명에서 기술된다.

국부적 반복 대체(LIR: Local Iterative Replacement) 알고리즘은 단순한 절차로, 상기 절차에서 세그먼트 개접점(break point)을 위해 구성되는 한계점(breaking point)에 대한 새로운 위치가 이웃하는 (시계열의 시작 및 끝을 포함하는) 2개의 개접점들(break points)간에 최적으로 선택된다. 개점점들은 국부적으로 최적인 위치들보다는 더 나은 위치들을 향하여 단계적으로 이동할 수 있다.

LIR 함수에 따라서, 초기의 개접점들(break points)은 일정하게 구분된 또는 임의의 초기 위치들을 사용함으로써, 또는 톱-다운 방법(top-down method)으로 발견적으로(heuristically) 선택된다. 다음에, 개접점 c_i,1≤i≤k-1이 임의의 또는 순차적으로 선택된다. 다음에, 개접점이 제거되고, c_i에서 만나는 2개의 연속하는 세그먼트들이 연결되어 s(c_i-1+1,c_i+1)로 된다. 다음에, 연결된 세그먼트에 대하여 최적의 2개의 분할 개접점 c_i'를 위치시키고, 개점점 c_i를 솔루션의 c_i'로 대체시킴으로써, 연결된 시퀀스에서 개접점에 대한 새로운 최적 위치가 결정된다. 다음에, 개접점의 선택 및 새로운 최적 위치의 결정은 소정의 정지 기준(stopping criterion)을 충족시킬 때까지(예를 들면, 소정의 문턱값보다 적은 코스트가 결정될 때까지) 반복된다.

전역적 반복 대체 (GIR: Global Iterative Replacement) 알고리즘에서는, 개접점(break point) c_i를 그의 이웃들 c_i-1 및 c_i+1간에 재배치시키는 대신, 최적의 위치(best location)가 전체 시퀀스에서 검색된다. 이것은 명백히 국부적 반복 대체(LIR)를 포함하지만, 몇개의 국부적 최소들(local minima)을 피할 수 있다. GIR은 한번에 하나의(one-at-a-time), 최적의(optimal), 분할 세그먼트-연결 세그먼트 쌍(split segment-merge segment pairs)을 만들고, 세그먼트들의 수를 일정하게 유지한다.

GIR 절차에 따르면, LIR에서와 같이, 초기의 분할 Sn = s₁s₂…s_k;n=0이 설정된다. 개접점(break point) c_i,1≤i≤k-1은 임의의 순서 또는 순차적 순서중 어느 하나로 선택되고, 다음에 제거된다. c_i에서 만나는 2개의 연속하는 세그먼트들이 연결되어 로 된다. 다음에, 각 세그먼트 s'_j,j=1,2,...,k-1에 대해 새로운 분할 에서 S'_j1에 및 S'_j2에 대한 최적의 2개의 분할(optimal 2-segmentation)을 찾음으로써, 그리고 분할 코스트에서 대응하는, 가능한 절감들(respective possinle savings)을 계산함으로써, 시퀀스의 어디에서도 개접점에 대한 새로운 최적 위치를 찾을 수 있다. 다음에 가장 큰 절감(savings) d_l를 가진 분할(split) s'_l이 선택되고, 개접점(break point)은 d_l에서 설정되며, 새로운 분할은 이 된다. n=n+1에 대해서, 세그먼트들은 로써 다음 라운드(round)에 대해서도 다시 계산된다. 다음에 이러한 단계들은 LIR 절차들에서와 같이, 정지 기준(stopping criterion)이 만족될 때까지 반복된다.

위의 2개의 알고리즘들, LIR 및 GIF에 대한 자연 정지 기준(natural stopping algorithm)은 전체 코스트(total cost)가 한정된 수의 알고리즘 단계들이 되는 개접점의 어떠한 허용 가능한 이동에 의해 감소될 수 없다는 점이다. 또한 반복 회수가 사전에 제한될 수 있다.

본 발명에서 기술된 방법의 사용의 예시 및 위에서 기술된 알고리즘들의 응용으로서, 도 2는 다른 사용 상황들에서 센서들(9)로부터 수집된 분할된 센서 데이터를 도시하며, 중복되지 않은(non-overlapping) 그리고 내부적으로 동질의 세그먼트들간의 변이들(transitions)을 명백하게 보여주고 있다.

도 2로 돌아와서, 도 2에는 시간축의 식별된 포인트들에서 센서 데이터 및 사용자 상황들을 디스플레이하는 차트가 디스플레이되어 있다. x축은 시간(초단위)을 나타내고, 시간에서의 센서 신호는 중간 계조 표현(gray scale representation)으로 도시된다. 신호들은 사용자의 움직임 상태(뛰기(Running), 빨리 걷기(WalkingFast), 걷기(Walking))), 노이즈 레벨(시끄러움(Loud), 보통(Modest), 조용함(Silent)), 조명도(어두움(Drak), 보통(Normal), 밝음(Bright)), 위치(location), 일반적인 동적인 상태 또는 방향(가까이(AtHand), 불안정(Unstable), 안정(Stable), 좌측보도(SidewaysLeft), 우측보도(SidewaysRight), 안테나업(AntennaUp), 안테나다운(AntennaDown), 디스플레이업(DisplayUp), 디스플레이다운(DisplayDown))을 나타낸다. 중간 계조 신호 표현에서, 보다 진한 회색(darker gray color)은 보다 강한 신호를, 보다 약한 음영들(lighter shades)은 약한 신호들을 나타낸다. 위에서 기술된 어떠한 방식으로도, 신호들은 본 발명에 따라 분할된다.

도 2에서 수직선들은 시간 시퀀스를 3개의 세그먼트들 A, B, 및 C로 나누는 경계들(bordres)(B1-B4)을 나타낸다. 사진들 P1-P4는 세그먼트들 A, B, 및 C의 세그먼트 경계들에서 사용자에게 무슨 일이 일어나는지를 도시하며, 예를 들면 사용자가 계단을 내려가거나(P1), 사용자가 계단을 나가거나(P2), 사용자가 빌딩을 나가거나(P3), 사용자가 빌딩안으로 들어간다(P4). 그림들 P1 및 P5-P8은 다른 세그먼트들 동안의 사용 상황을 도시하는데, 예를 들면 세그먼트 A 이전에 사용자가 복도에서 걸어가거나(P5), 사용자가 계단에서 걷거나(세그먼트 A, 사진 P1), 사용자가 복도에서 걷거나(세그먼트 B, 사진 P6) 및 사용자가 밖으로 걸어 나간다(세그먼트 C, 사진 P7). 세그먼트 C 이후에, 사용자는 안으로 걸어 들어간다(P8). 세그먼트 C동안에, 사용자는 장치에 X 작동을 한다.

본 예시에서, 센서 신호 및 대응하는 사용자 작동들은 세그먼트들의 시퀀스로서 표현되는데, 예를 들면 N1, N2,...,A,B,C(X),M1,M2,...,이고, 여기서 N1,N2는 세그먼트 A전에 발생하는 세그먼트들을 나타내고, M1,M2는 세그먼트 C이후에 발생하는 세그먼트들을 나타낸다. 만약 세그먼트들 A, B, 및 C의 시퀀스에 대응하는 상황 및 세그먼트 C에서 장치에 대한 작동 X를 하는 사용자가 자주 발생한다면, 규칙 "세그먼트들 A, B, 및 C후에, 작동 X 개시"가 장치의 메모리(7)에 저장될 수 있다.

도 3은 장치의 향후 사용 단계동안 수집된 분할된 센서 데이터를 도시한다. 사진들 P'1-P'4는 세그먼트들 A', B' 및 C'의 세그먼트 경계들 B'1-B'4에서 무슨 일이 일어나는지를 보여준다. 사진들 P'1 및 P'5-P'8은 다른 세그먼트들동안 사용 상황을 도시한다. 이전에 발견된 A, B 및 C와 같은 세그먼트들의 시퀀스들 A',B' 및 C'가 발견되고, 이전의 규칙은 작동 X를 개시하거나 예측하는데 사용될 수 있다.

종래 솔루션들과 비교할 때, 본 발명과 관련하여 많은 장점들이 얻어질 수 있다. 본 발명에서 기술된 상기 방법들은 충분한 환경 정보 및 상기 장치의 외부 조건들이 장치(10)를 적절한 정도까지 환경을 인식하도록(context-aware)함으로써, 기존의 이동 장치들에서보다 사용자에게 제공될 새로운 서비스들을 가능하게 하면서 그 사용을 간단하게 하도록, 심지어 더 적은 처리력과 제한된 메모리 자원들을 가진 이동 장치들에서도, 이동 통신 장치가 충분히 큰 양의 센서 데이터를 처리할 수 있도록 한다. 본 발명은 단지 위에서 제시된 실시예들 및 예시들에 제한되지 않으나, 첨부된 청구항들의 정신 및 범위내에서 수정될 수 있다.

Claims

적어도 하나의 센서를 가지는 이동 통신 장치의 사용자 인터페이스를 제어하기 위한 방법에 있어서,

시간 주기동안 복수의 외부 조건들을 나타내는 센서 신호들을 저장하는 단계;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하는 단계;

상기 센서 데이터 세그먼트들중 적어도 하나동안 상기 사용자에 의해 수행되는 작동 지시를 저장하는 단계; 및

향후 작동을 위한 규칙을 결정하는 단계로, 상기 규칙은 상기 센서 데이터 세그먼트들 및 상기 작동에 대응하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 규칙은

상기 이동 통신 장치의 사용자 인터페이스에서의 변화에 대응하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 이동 통신 장치는

이동 전화인 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 외부 조건들은

가속, 노이즈 레벨, 광도 센서들 및 습도를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 센서 신호들의 상기 분할은

상기 센서 신호들의 저장과 동시에 실질적으로 실시간으로 수행되는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 센서 신호들의 상기 분할은

소정량의 상기 센서 신호들이 저장된 후에 수행되는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 분할은

상기 센서 신호들의 시계열 분할(time series segmentation)을 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 규칙을 결정하는 단계는

외부 소스로부터 규칙을 다운로드하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 센서 신호들을 저장하는 단계는

아날로그 센서 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 센서 신호들을 저장하는 단계는

디지털 센서 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제1항에 있어서, 상기 규칙을 결정하는 단계는

규칙 데이터베이스내에 상기 규칙을 저장하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제11항에 있어서, 상기 사용자 인터페이스 제어방법은

복수의 외부 조건들을 검출하는 단계;

상기 외부 조건들과 일치하는 규칙을 발견하기 위해 상기 규칙들 데이터베이스를 검색하는 단계; 및

상기 규칙에 대응하는 기능을 수행하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
이동 통신 장치에 있어서,

복수의 외부 조건들을 검출하기 위한 적어도 하나의 센서;

복수의 작동들을 선택하기 위한 사용자 인터페이스를 제시하기 위한 디스플레이;

상기 적어도 하나의 센서로부터 복수의 센서 신호들을 저장하기 위한 메모리로, 상기 센서 신호들은 시간 주기동안 복수의 외부 조건들을 나타내는 메모리;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하기 위한 프로세서;

상기 센서 데이터 세그먼트들중 적어도 하나동안 상기 사용자에 의해 수행되는 작동 지시를 더 저장하기 위한 상기 메모리;

상기 센서 데이터 세그먼트들 및 상기 작동에 기초하여 상기 사용자 인터페이스를 수정하기 위한 규칙을 더 결정하기 위한 상기 프로세서를 포함하는 것을 특징으로 하는 이동 통신 장치
이동 통신 장치에 있어서,

복수의 외부 조건들을 검출하기 위한 수단;

복수의 작동들을 선택하기 위한 사용자 인터페이스를 제시하기 위한 수단;

상기 적어도 하나의 센서로부터 나오는 복수의 센서 신호들을 저장하기 위한 수단으로, 상기 센서 신호들은 시간 주기동안 복수의 외부 조건들을 나타내는 수단;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하기 위한 수단;

상기 센서 데이터 세그먼트들중 적어도 하나동안 상기 사용자에 의해 수행되는 작동 지시를 저장하기 위한 수단; 및

상기 센서 데이터 세그먼트들 및 상기 작동에 기초하여 상기 사용자 인터페이스를 수정하기 위한 규칙을 결정하기 위한 수단을 포함하는 것을 특징으로 하는 이동 통신 장치.
적어도 하나의 센서를 구비하는 이동 통신 장치에 의해 수행되는 방법을 구현하기 위한 처리 명령어들로 인코딩된 컴퓨터로 독출 가능한 매체에 있어서, 상기 방법은

시간 주기동안 복수의 외부 조건들을 나타내는 센서 신호들을 저장하는 단계;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하는 단계;

상기 센서 데이터 세그먼트들중 적어도 하나동안 상기 사용자에 의해 수행되는 작동 지시를 저장하는 단계; 및

향후 작동을 위한 규칙을 결정하는 단계로, 상기 규칙은 상기 센서 데이터 세그먼트들 및 상기 작동에 대응하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 독출 가능한 매체.
제1항에 있어서, 상기 센서 신호들은

원시 센서 데이터(raw sensor data) 및 전처리 센서 데이터(pre-processed sensor data)중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 독출 가능한 매체.
적어도 하나의 센서를 구비하는 이동 통신 장치의 사용자 인터페이스를 제어하기 위한 방법에 있어서,

특별한 외부 조건들을 나타내는 센서 신호들을 저장하는 단계;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하는 단계;

상기 특별한 외부 조건들동안 상기 사용자에 의해 수행되는 작동 지시를 저장하는 단계; 및

만약 상기 작동이 상기 특별한 외부 조건들의 향후 발생동안 수행된다면, 상기 사용자에 의해 수행되는 상기 작동 및 상기 특별한 외부 조건들에 대응하는 규칙을 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 규칙은

상기 이동 통신 장치의 사용자 인터페이스에서의 변화에 대응하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 이동 통신 장치는

이동 전화인 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 특별한 외부 조건들은

가속, 노이즈 레벨, 광도 센서들 및 습도중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 센서 신호들의 상기 분할은

상기 센서 신호들의 저장과 동시에 실질적으로 실시간으로 수행되는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 센서 신호들의 상기 분할은

소정량의 상기 센서 신호들이 저장된 후에 수행되는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 센서 신호들의 상기 분할은

상기 센서 신호들의 시계열 분할(time series segmentation)을 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 규칙을 결정하는 단계는

외부 소스로부터 규칙을 다운로드하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 센서 신호들을 저장하는 단계는

아날로그 센서 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 센서 신호들을 저장하는 단계는

디지털 센서 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 규칙을 결정하는 단계는

규칙 데이터베이스내에 상기 규칙을 저장하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제27항에 있어서, 상기 사용자 인터페이스 제어방법은

복수의 외부 조건들을 검출하는 단계;

상기 외부 조건들과 일치하는 규칙을 발견하기 위해 상기 규칙 데이터베이스를 검색하는 단계; 및

상기 규칙에 대응하는 기능을 수행하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
제17항에 있어서, 상기 센서 신호들은

원시 센서 데이터(raw sensor data) 및 전처리 센서 데이터(pre-processed sensor data)중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
이동 통신 장치에 있어서,

특별한 외부 조건들을 나타내는 센서 신호들을 저장하기 위한 수단;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하기 위한 수단;

상기 특별한 외부 조건들동안 상기 사용자에 의해 수행되는 작동 지시를 저장하기 위한 수단;

만약 상기 작동이 상기 특별한 외부 조건들의 향후 발생동안 수행된다면, 상기 사용자에 의해 수행되는 상기 작동 및 상기 특별한 외부 조건들에 대응하는 규칙을 결정하기 위한 수단을 포함하는 것을 특징으로 하는 이동 통신 장치.
이동 통신 장치에 있어서,

복수의 외부 조건들을 검출하기 위한 적어도 하나의 센서;

복수의 작동들을 선택하기 위한 사용자 인터페이스를 제시하기 위한 디스플레이;

특별한 외부 조건들을 나타내는 센서 신호들을 저장하기 위한 메모리;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하기 위한 프로세서;

상기 특별한 외부 조건들동안 상기 사용자에 의해 수행되는 작동 지시를 더 저장하기 위한 상기 메모리; 및

만약 상기 작동이 상기 특별한 외부 조건들의 향후 발생동안 수행된다면, 상기 사용자에 의해 수행되는 상기 작동 및 상기 특별한 외부 조건들에 대응하는 규칙을 더 결정하기 상기 프로세서를 포함하는 것을 특징으로 하는 이동 통신 장치.
적어도 하나의 센서를 구비하는 이동 통신 장치에 의해 수행되는 방법을 구현하기 위한 처리 명령어들로 인코딩된 컴퓨터로 독출 가능한 매체에 있어서, 상기 방법은

복수의 외부 조건들을 나타내는 센서 신호들을 저장하는 단계;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하는 단계;

상기 특별한 외부 조건들동안 상기 사용자에 의해 수행되는 작동 지시를 저장하는 단계; 및

만약 상기 작동이 상기 특별한 외부 조건들의 향후 발생동안 수행된다면, 상기 사용자에 의해 수행되는 상기 작동 및 상기 특별한 외부 조건들에 대응하는 규칙을 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 독출 가능한 매체.
적어도 하나의 센서를 구비하는 이동 통신 장치의 사용자 인터페이스를 제어하기 위한 방법에 있어서,

시간 주기동안 복수의 외부 조건들을 나타내는 센서 신호들을 저장하는 단계;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하는 단계;

상기 센서 데이터 세그먼트들중 적어도 하나동안 상기 사용자에 의해 수행되는 복수의 작동들의 지시를 저장하는 단계; 및

향후 작동을 위한 규칙을 결정하는 단계로, 상기 규칙은 상기 센서 데이터 세그먼트들 및 상기 복수의 작동들에 대응하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.
적어도 하나의 센서를 구비하는 이동 통신 장치의 사용자 인터페이스를 제어하기 위한 방법에 있어서,

특별한 외부 조건들을 나타내는 센서 신호들을 저장하는 단계;

상기 센서 신호들을 일련의 센서 데이터 세그먼트들로 분할하는 단계;

상기 특별한 외부 조건들동안 상기 사용자에 의해 수행되는 복수의 작동들중 적어도 하나의 지시를 저장하는 단계; 및

만약 상기 복수의 작동들이 상기 특별한 외부 조건들의 향후 발생동안 수행된다면, 상기 사용자에 의해 수행되는 상기 복수의 작동들 및 상기 특별한 외부 조건들에 대응하는 규칙을 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 제어방법.