KR100971164B1 - 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를 활용하는 방법, 장치 및 컴퓨터 프로그램 생성물 - Google Patents

이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를 활용하는 방법, 장치 및 컴퓨터 프로그램 생성물 Download PDF

Info

Publication number
KR100971164B1
KR100971164B1 KR1020097003279A KR20097003279A KR100971164B1 KR 100971164 B1 KR100971164 B1 KR 100971164B1 KR 1020097003279 A KR1020097003279 A KR 1020097003279A KR 20097003279 A KR20097003279 A KR 20097003279A KR 100971164 B1 KR100971164 B1 KR 100971164B1
Authority
KR
South Korea
Prior art keywords
rule
context
mobile terminal
trigger value
action
Prior art date
Application number
KR1020097003279A
Other languages
English (en)
Other versions
KR20090031780A (ko
Inventor
파누 코르피파
요나 하킬라
유하 켈라
사미 론카이넨
일카 칸살라
야니 만티자르비
우르포 투오멜라
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20090031780A publication Critical patent/KR20090031780A/ko
Application granted granted Critical
Publication of KR100971164B1 publication Critical patent/KR100971164B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

이동 단말기는 사용자에 의해 적어도 부분적으로 지정되는 사용자 인터페이스를 포함한다. 상기 이동 단말기는, 사용자 인터페이스 지정 장치(user interface specification unit)로서 공동으로 규칙을 형성하는 적어도 하나의 트리거 및 액션을, 사용자와 협동하여 선택하고; 계층적 정보 모델에 따라, 한 세트의 이용가능 이벤트들을 포함하는 디렉토리 구조를 자동으로 생성하고; 상기 한 세트의 이용가능 이벤트들로부터 적어도 하나의 트리거 값을, 사용자와 협동하여 선택하고; 그리고 상기 적어도 하나의 트리거 값이 충족되는 것에 대한 응답으로 상기 이동 단말기에 의해 수행되는 액션을 정의하기 위해, 프로그램된 데이터 프로세서에 따라 동작하는 사용자 인터페이스 지정 장치를 포함한다.

Description

이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를 활용하는 방법, 장치 및 컴퓨터 프로그램 생성물{Method, apparatus and computer program product to utilize context ontology in mobile device application personalization}
본 발명은 일반적으로 소프트웨어 툴들에 관한 것이고, 더 상세하게는, 비한정적인 예로서, 셀룰러 전화와 같은 스몰 스크린 장치용 사용자 인터페이스(UI)를 발전시키기는데 유용한 소프트웨어 툴들에 관한 것이며, 상기 UI는 관련 어휘 모델을 지니는 콘텍스트 온톨로지와 관계된다.
현재 및 미래의 이동 단말기들은 적어도 부분적으로는 제3자 애플리케이션(third party application)들을 위한 플랫폼들로 여겨질 수 있으며, 증가하는 애플리케이션들 및 액세서리들을 지원할 것이다. 이러한 요구들은 이동장치의 사용자 인터페이스 애스팩트(user interface aspect)들을 훨씬 더 강조할 것이다.
지금까지, 애플리케이션 동작을 콘텍스트에 적응시킨다는 개념은 논문에서 상당한 주목을 받아왔다. 콘텍스트 인식 연산의 목적이 충분한 근거가 있고 상황을 감지하고 자기의 액션을 적응시킬 수 있는 장치들의 발전을 가져왔지만, 한가지 기본적 문제, 즉 인간에 의해 제시되는 콘텍스트 인식과 연산 시스템들의 콘텍스트 인식과는 근본적으로 다르다는 문제가 있다(예컨대, Erickson, T., Some problems with the notion of context-aware computing, Communications of the ACM, 45(2), (2002), 102-104 참조). 콘텍스트를 기반으로 하는 하드-코드 완전 자동 액션(hard-coded fully automatic action)들은 거의 유용하지 못하며, 부정확한 자동 액션들의 발생은 실망스러울 수 있다. Greenberg는 현실 세계의 콘텍스트와 매치되는 한정적인 세트의 콘텍스트들을 열거하는 것은 항상 가능하지는 않다는 것을 지적한 바 있다(Greenberg, S., Context as a dynamic construct, Human-Computer Interaction, 16 (2001), 257-268). 그러한 세트가 발견되고 그리고 그것이 오늘날 유효하다면,"사회적 및 물리적 환경의 내부적 및 외부적 변경들" 때문에 그 밖의 다른 때에는 그러한 세트가 부적절할 수 있다. 더욱이, 소정 콘텍스트로부터 적절한 액션을 결정하는 것은 곤란할 수 있다.
하지만, 콘텍스트 인식의 유일한 목적으로서 완전 자동 액션들을 지향할 필요는 없다.
Figure 112009009847113-pat00001
외 다수(
Figure 112009009847113-pat00002
,
Figure 112009009847113-pat00003
,
Figure 112009009847113-pat00004
,
Figure 112009009847113-pat00005
, Context-Studio - Tool for Personalizing Context-Aware Applications in Mobile Terminals, Proc. Australasian Computer Human Interaction Conference 2003, (2003), 64-73)는 콘텍스트 기반 적응을 위해 자동화 시스템의 카테고리화(categorization)를 사용할 것을 제안한 바 있다. 콘텍스트-의존 액션(context-dependent action)들의 자동화에 관한 세 가지 상이한 레벨들은: 수동(manual), 반자동(semi-automated), 및 완전자동(fully automated)으로 구 별될 수 있다. 수동 액션들이란, 장치(또는 사용자)에 의해 탐지된 콘텍스트 정보를 기반으로 하여 사용자에 의해 수행되는 액션들을 말한다. 반자동 레벨에서, 사용자는 장치에 의해 탐지된 콘텍스트를 기반으로 하여 애플리케이션 액션들을 미리 정의하거나, 또는 콘텍스트를 기반으로 하여 장치에 의해 제안되는 액션들 중에서 선택할 수 있다. 완전자동 레벨에서, 애플리케이션은 장치에 의해 탐지된 콘텍스트에 따라 (사전에 프로그래밍된)액션들을 자동으로 수행할 수 있다.
반자동 적응 모델은 Greenberg에 의해 확인된 문제로서 콘텍스트를 기반으로 하여 적절한 액션을 결정하는 문제를 부분적으로 극복한다. 이벤트-액션 동작이 애플리케이션 개발자 대신 사용자에 의해 정의된다면, 상당한 정도의 개인화(personalization) 및 융통성(flexibility)이 달성될 수 있다. 시간에 따라 환경이 변경될 때 필요하다면, 사용자에게 이벤트-액션 구성들을 변경하도록 허용함으로써 더 나은 융통성이 달성될 수 있다.
Ranganathan과 Campbell(Ranganathan, A., Cambell, R., An infrastructure for context-awareness based on first oder logic, Personal and Ubiquitous Computing Journal 7, Springer-Verlag, (2003), 353-364)은 콘텍스트-기반 애플리케이션 액션들을 정의하기 위한 최초 오더 로직 기반 규칙 모델(first oder logic-based rule model) 및 분산 프레임워크(distributed framework)를 소개한 바 있다. 다른 과업으로서, 상기 저자들은 사용자로 하여금 최초 오더 로직을 기입하는 대신, 이용가능한 콘텍스트들 및 액션들로부터 규칙 요소들을 선택할 수 있도록 하는 그래픽 인터페이스의 개발을 확인시킨다. Sohn과 Dey(Sohn, T., Dey, A., 2003 ICAP: An Informal Tool for Interactive Prototyping of Context-Aware Applications, Ext. abstracts CHI03, (2003), 974-975)는, 사용자들에게 콘텍스트 정보를 수집하는 입력 장치들 및 응답을 지원하는 출력 장치들을 정의하도록 하는 비정형 펜 기반 툴(informal pen-based tool)을 소개한 바 있다. 입력들 및 출력들 은 상기 툴에 의해 규칙들로 결합되고 그리고 테스트될 수 있다. 하지만, 상기 툴은 스몰 스크린 이동 단말기 및 장치용으로 디자인되어 있지 않으며, 사용자 인터페이스 요소들이 명시적 정보 모델을 기반으로 하여 생성되지도 않는다. 상기 저자들은 미래의 과업으로서 디자이너들 및 최종 사용자들 양자로 하여금 콘텍스트 인식 애플리케이션들을 생성 및 변형할 수 있도록 하는 목표를 확인시킨다. Dey 외 다수(Dey, A., Hamid, R., Beckmann, C., Li, I., Hsu, D., a CAPpella: Programming by Demonstration of Context-Aware Application, Proc. CHI 2004, ACM,, (2004))는 콘텍스트 인식 애플리케이션을 프로토타이핑(prototyping)하기 위한 프로그래밍-바이-데몬스트레이션(programming-by-demonstration) 접근법을 시험한 바 있다. 상기 저자들은 사용자에게 예시적 콘텍스트 모델들에 의해 트레인(train)하고 그리고 주석을 달도록 허용하는 툴을 개발한 바 있으며, 상기 예시적 콘텍스트 모델들은 액션들과 결부될 수 있다. 다시 말하면, 상기 툴의 사용자 인터페이스는 스몰 스크린 이동 장치용으로 디자인되어 있지 않다. 또한, 상기 UI에서 온톨로지(ontology)의 콘텍스트들을 나타내는 스케일링가능 모델(scalable model)과 관련되는 포커스(focus)는, 사용자에 의해 콘텍스트들이 자유로이 선택될 수 있는 본 발명에 더 적당한 포커스와는 다르다.
콘텍스트 온톨로지는, 액션들을 활성화하기 위해 사용될 수 있는 모든 가능한 콘텍스트 이벤트들을 열거하는데 적용될 수 있다. 온톨로지들에 대한 많은 정의들이 이용될 수 있다(Gomez-Perez, A., Fernandez-Lopez, M., Corcho, O., Ontological Engineering, Springer-Verlag, (2003), 403 p 참조). 본 명세서에서 사용되는 바와 같이, 온톨로지의 목적은 정보를 표현하여 상기 정보가 인간들에게 쉽게 이해될 수 있고 기계들에 의해 읽어들여 질 수 있도록 하는 것이다. 콘텍스트 정보의 인간 이해도(human understandability)는 이동 장치의 최종 사용자로 하여금 콘텍스트 인식 특징들을 구성할 수 있도록 한다. 콘텍스트 정보의 기계 읽힘성(machine readability)은 온톨로지를 기반으로 하여 사용자 인터페이스 요소들을 동적으로 형성할 수 있도록 한다. 더욱이, 온톨로지는 CEP(Context Exchange Protocol) XML 스크립트들과 같은 규칙들의 기술을 용이하게 하며, 이는 추론 엔진(inference engine)에 의해 실행될 수 있다(Lakkala, H., Context Script Specification, (2003), 22p. Available: http://www.mupe.net, 이하 Lakkala 2003b). 많은 콘텍스트 모델들 및 온톨로지들이 논문에 나타난바 있다(예컨대, Schmidt, A., Aidoo, K.A., Takaluoma, A., Tuomela, U., Laerhoven, K., Van de Velde, W., Advanced interaction in context, Proc. 1st International symposium on handheld and ubiquitous computing 1999, Springer-Verlag, (1999); Henricksen, K., Indulska, J., Rakotonirainy, A., Modeling Context Information in Pervasive Computing Systems, Proc. International Conference on Pervasive Computing 2002, LNCS 2414, Springer-Verg, (2002); 및 Wang, X., Zhang, D., Gu, T., Pung, H., Ontology Based Context Modeling and Reasoning using OWL, Proc. Workshop on Context Modeling and Reasoning at IEEE International Conference on Pervasive Computing and Communication, (2004), 18-22).
위에서 언급한 콘텍스트 스튜디오(Context Studio)는 반자동 콘텍스트 기반 적응을 위한 애플리케이션 개인화 툴이다. 애플리케이션 개인화는 그래픽 사용자 인터페이스에 의해 수행되며, 이는 사용자로 하여금 콘텍스트들을 애플리케이션 액션들에 매핑할 수 있도록 한다. 콘텍스트 스튜디오 개념은
Figure 112009009847113-pat00006
외 다수(2003)에 의해 소개된 바 있으며, 이들은 또한, 상기 툴의 개념 증명 프로토타입(proof-of-concept prototype)에 대한 유용성 평가를 발표한 바 있다. 상기 평가 결과들은, 테스트자(test person)들이 애플리케이션 특정 콘텍스트 세팅(application specific contextual setting)들의 원리의 아웃라인을 그릴 수 있지만, 이들이 유효한 사용자 정의 조건들을 표현하는데 어려움이 있다는 것을 나타내었다. 사용 시나리오들에서 콘텍스트에 대한 주관적 아이디어는 테스트자들 마다 달랐으며, 그들의 선택에 영향을 미쳤다. 더욱이, 서브젝트(subject)들은 다중 불 연산자(multiple Boolean operator)들의 사용을 수반하는 규칙들을 구성하는데 어려움이 있다.
따라서, 초기 콘텍스트 스튜디오 연구에서 발견된 유용성 문제들을 적어도 일부라도 극복하는 것이 바람직하다.
추가적으로, 초기 프로토타입의 사용자 인터페이스는 이동 장치들의 전형적인 스몰 스크린들의 사용을 위해 구체적으로 디자인되어 있지 않았다. 스크린 공간의 부족은 여러 가지 정보 프레젠테이션 및 내비게이션 방법들을 요구한다.
본 발명의 모범적인 실시예에 따르면, 상기의 그리고 그 밖의 문제들이 극복되며, 다른 장점들이 실현된다.
본 발명의 일 태양에 있어서, 적어도 부분적으로 사용자에 의해 지정되는 사용자 인터페이스를 지니는 이동 단말기가 제공된다. 상기 이동 단말기, 이를테면 셀룰러 전화기, 또는 PDA, 또는 게임 장치, 또는 디지털 카메라는, 사용자 인터페이스 지정 장치(user interface specification unit)를 지니며, 상기 사용자 인터페이스 지정 장치는 공동으로 규칙을 형성하는 적어도 하나의 트리거(trigger) 및 액션(action)을 사용자와 협동하여 선택하고; 계층적 정보 모델(hierarchical information model)에 따라 한 세트의 이용가능 이벤트들을 포함하는 디렉터리 구조를 자동으로 생성하고; 상기 한 세트의 이용가능 이벤트들로부터 적어도 하나의 트리거 값을 사용자와 협동하여 선택하고; 그리고 상기 적어도 하나의 트리거 값이 충족되는 것에 대한 응답으로 상기 이동 단말기에 의해 수행되는 액션을 정의하기 위해 프로그램된 데이터 프로세서에 따라 동작한다.
상기 적어도 하나의 트리거 값은 상기 이동 단말기 내에서 생성되는 값에 따라, 이를테면 이동 단말기 센서에 의해 생성되는 값에 따라 충족될 수 있으며, 그리고/또는 상기 적어도 하나의 트리거 값은 상기 이동 단말기 외부에서 생성되는 값에 따라 충족될 수 있다.
비한정적인 일 실시예에 있어서, 규칙 스크립트(rule script)는 다른 사용자로부터 외부적으로 얻어지며, 다른 비한정적인 일 실시예에 있어서, 규칙 스크립트는 제3의 파티 규칙 제공자로부터, 이를테면 오버더에어(over-the-air)로 외부적으로 얻어진다.
본 발명의 다른 비한정적인 태양에 있어서, 컴퓨터 판독가능 매체에 저장되 고 그리고 데이터 프로세서로 하여금 이동 단말기용 사용자 인터페이스를 정의하기 위한 입력에 응답하도록 지시하는 프로그램 명령어들을 포함하는 컴퓨터 프로그램 생성물에 제공된다. 상기 컴퓨터 프로그램 생성물은, 공동으로 규칙을 형성하는 적어도 하나의 트리거 및 액션을 선택하고; 계층적 정보 모델에 따라 이용가능 이벤트들의 디렉토리 구조를 자동으로 생성하고; 상기 이용가능 이벤트 세트로부터 적어도 하나의 트리거 값을 선택하고; 그리고 그에 따라 이동 단말기에 의해 수행되는 액션을 정의하기 위한 프로그램 명령어들을 포함한다.
또한, 장치용 사용자 인터페이스의 적어도 하나의 애스펙트(aspect) 지정하는 방법 및 툴이 제공된다.
이하의 본 발명의 상세한 설명에서 첨부도면들과 관련하여 읽어볼 때, 본 발명에 관한 실시예들의 상기의 그리고 그 밖의 태양들이 더 명확해진다.
본 발명에 따르면, 초기 콘텍스트 스튜디오 연구에서 발견된 유용성 문제들을 적어도 일부라도 극복할 수 있으며, 초기 프로토타입의 사용자 인터페이스가 이동 장치들의 전형적인 스몰 스크린들의 사용을 위해 구체적으로 디자인되어 있지 아니한 문제점과 스크린 공간 부족에 의한 여러 가지 정보 프레젠테이션 및 내비게이션 방법들을 제공한다.
본 발명의 바람직한 실시예에는, 콘텍스트와 액션 어휘 모델들, 규칙 모델 및 콘텍스트 프레임워크(
Figure 112009009847113-pat00007
,
Figure 112009009847113-pat00008
,
Figure 112009009847113-pat00009
,
Figure 112009009847113-pat00010
,
Figure 112009009847113-pat00011
, Managing Context Information in Mobile Devices, IEEE Pervasive Computing Magazine special issue: Dealing with Uncertainty 2(3), IEEE Computer Society, (2003), 42-51, 이하
Figure 112009009847113-pat00012
외 다수. 2003)가 활용된다. 상기 모델들은 규칙들 및 확장성 콘텍스트 어휘(extensible context vocabulary)들의 동적 관리를 가능하게 하며, 런타임(runtime)에서 사용자 인터페이스의 요소들의 자동 생성을 가능하게 한다.
본 발명의 모범적인 실시예들은 센서-기반 모바일 콘텍스트용 온톨로지 모델을 사용하며(
Figure 112009009847113-pat00013
,.
Figure 112009009847113-pat00014
, An Ontology for Mobile Device Conference on Modeling and Using Context 2003, LNAI 2680, Springer-Verlag, (2003), 451-459, 이하
Figure 112009009847113-pat00015
, ＆
Figure 112009009847113-pat00016
참조, 및
Figure 112009009847113-pat00017
외 다수. 2003 참조), 이전 모델들의 향상으로서 더 상세한 어휘 모델을 제시한다.
위에서 언급된 바와 같이, 온톨로지의 목적은 정보가 인간들에게 쉽게 이해될 수 있고 그리고 기계들에 의해 읽혀질 수 있도록 상기 정보를 표현하는 것일 수 있다. 본 명세서에서 사용되는 바와 같이, 온톨로지는 사용자에 의해 요구되는 모든 컴포넌트(component)들 또는 추상화(abstraction)들(예컨대, 장치들, 시간 모멘트들, 장소들 등)을 포함할 수 있는 일반 모델로서 인식될 수 있다. 일반적으로, 온톨로지들은, "깊이(depth)"의 정도 및 도메인 의미론(domain semantics)상의 제한들(공리(axiom)들, 제약(constraint)들)을 기반으로 하여 라이트웨이트(lightweight) 및 헤비웨이트(heavyweight)로 나눌 수 있다. 본 발명의 모범적이 고 비한정적인 실시예들에 적용되는 온톨로지는 개념들, 개념 택소노미(taxonomy)들(어휘들), 및 개념들을 기술하는 특성들(구조)을 포함하는 라이트웨이트 온톨로지로 고려된다. 또한, 온톨로지들은 형식성(formality)의 레벨에 따라: 매우 비형식적인(highly informal; 자연 언어), 어느 정도 비형식적인(semi-informal), 어느 정도 형식적인(semi-formal), 및 엄격히 형식적인 것으로 특징지워 진다. 본 발명에 사용될 수 있는 온톨로지는 어느 정도 비형식적인 것으로 고려된다. 왜냐하면, 상기 온톨로지는 "자연 언어의 제한적인 그리고 구조화된 형식"(Gomez-Perez 외 다수, 2003)으로 표현되기 때문이다. 하지만, 본 발명은 단지 라이트웨이트 온톨로지들만을 사용하거나, 또는 어느 정도 비형식적인 온톨로지들 만을 사용하는 것으로 한정되지 않는다.
콘텍스트 스튜디오(Context Studio)에 적용되는, 또한 본 명세서에서 사용자 인터페이스 개인화 툴로서 언급되는 콘텍스트 온톨로지는 두 파트들: 구조(structure) 및 어휘(vocabulary)들을 지닌다. 구조는 상이한 도메인들 및 애플리케이션들에 사용되는 콘텍스트 공통 특성을 정의한다. 어휘들은 애플리케이션 기반의 또는 도메인 기반의 확장가능 콘텍스트 개념화(expandable context conceptualization)들이며, 이들은 애플리케이션 프로그래머는 물론, 최종 사용자를 위한 이해도 및 간단함을 목표로 한다. 새로운 도메인들을 위해 새로운 어휘들이 개발된다.
상기 온톨로지 구조는 한 세트의 특성들로 정의된다. 본 발명의 모범적이고 비한정적인 실시예들에 있어서, 각각의 콘텍스트(객체(object))는 여섯 가지 특성 들, 콘텍스트 타입(Context type), 콘텍스트 값(Context value), 소스(Source), 신뢰(Confidence), 타임스탬프(Timestamp) 및 속성(Attribute)들을 사용하여 기술된다(
Figure 112009009847113-pat00018
＆
Figure 112009009847113-pat00019
2003 참조). 콘텍스트 어휘들을 정의하는 것은 콘텍스트 타입들 및 콘텍스트 값들의 세트들을 정의하는 것과 관계가 있다(비한정적인 예들로서 도 6 참조). 본 발명의 이해를 위해 적당하지 않은 다른 특징들은 본 명세서에서 더 상세히 논의되지 않는다.
온톨로지 어휘들은 도메인 또는 애플리케이션 요구들에 따라 디자인된다. 어휘 디자인은 콘텍스트 타입 및 콘텍스트 값 특성들에 대하여 인간이 이해할 수 있는 도메인-특정 또는 애플리케이션-특정 값들을 정의하는 처리이다. 상기 값들이 가능한 현실 세계 상황들을 카테고리화(categorize) 하고 기술하여 정보가 애플리케이션들에 유용하고, 그리고 인간에게 이해될 수 있도록 하는 것은 바람직하지만, 본 발명이 실시에 관한 한계는 아니다.
도 1 및 도 2를 참조하면, 콘텍스트 타입들(1)이 네임(name)으로 정의되고 그리고 콘텍스트 값들을 카테고리화 한다. 콘텍스트 타입(1)은 변수 네임(variable name)과 공통점이 있지만, 콘텍스트 값들(2)은 변수에 대한 한 세트의 값들과 공통점이 있다. 도 1에는, 하나의 콘텍스트 타입(1) 및 상기 콘텍스트 타입(1)에 대한 한 세트의 콘텍스트 값들(2)에 관한 모범적인 어휘 모델이 도시되어 있다. 도 2에는, 어휘에 관하여 한 콘텍스트 기술의 비한정적인 일례가 도시되어 있다. 콘텍스트 타입(1)은 1 이상의 개념(concept)들(예컨대, Concept1,...,ConceptN)을 가질 수 있으며, 각각의 콘텍스트 타입(1)은 1 이상의 콘텍스트 값 들(Valueu1,...,ValueM)을 가질 수 있다. 특정 타임에서의 콘텍스트 인스턴스(context instance)는 각각의 콘텍스트 타입(1)에 대한 값들(1-M) 중에서 한 값을 가질 수 있다. 서로 다른 콘텍스트 타입들 은 적어도 하나의 공통 개념을 가질 수 있다. 따라서, 콘텍스트 타입(1) 개념들에 관한 트리 계층(tree hierarchy)을 형성하는 것이 가능하고 유용하며, 상기 트리 계층에서 리프 노드(leaf node)들은 콘텍스트 값들(2)을 나타낸다. 계층(hierarchy)은, 단지 하나의 경로 대신 상기 콘텍스트 트리의 가지(branch)들에 질의(querying)하고 가입(subscribing)하는데 활용될 수 있다.
바람직하게는, 콘텍스트 타입 개념들은 일반적인 것에서 특정적인 것으로 카테고리화되어, 더 일반적인 개념들이 루트로 향하는 왼편에 있고, 더 특정적인 개념들이 리프를 향하는 오른편에 있도록 한다. 상기 방식에 있어서, 콘텍스트 타입(1)들은 공통되는, 더 일반적인 개념들을 가질 수 있지만, 더 특정적인 개념들로 분리된다.
사용의 간소성 및 용이성을 위해, 긴 콘텍스트 타입들을 피하는 것이 바람직하다. 예컨대, 비한정적인 일례지만 콘텍스트 타입(1)은 최대로 세 가지 또는 네 가지의 개념을 가질 수 있다. 예컨대, 콘텍스트 타입(1) 개념들이 사용자 인터페이스에서 폴더들로 모델링된다면, 깊은 폴더 계층들을 내비케이팅(navigating)하는 것은 느린 처리가 될 수 있다. 반면에, 콘텍스트 타입(1)들은 그들이 작은 세트의 값들(2)을 가질 수 있도록 충분히 특정되어야 한다. 사용자가 한 세트의 값들에서 한 값을 선택해야 한다면, 너무 큰 세트의 값들(2)은 적어도 사용자 인터페이스에 서 다루기가 곤란하다. 본 발명의 모범적인 실시예들에 있어서, 각각의 콘텍스트 값(2)은 어떤 애플리케이션과 잠재적으로 관계가 있다.
도 4에 도시된 테이블 1은 가속(acceleration) 및 터치(touch) 센서 데이터로부터 추상화된 장치 카테고리 콘텍스트들을 기술하는 콘텍스트 어휘의 일례를 제시하는 것이다. 도 2의 예시적 콘텍스트가 테이블 1의 제 1 행에 텍스트 형태로 기술되어 있으며, 여기서 두 개념들(Device, Orientation)이 안테나 및 디스플레이 방향성들(예컨대, up, down left, right)과 관련된 여섯 개의 값들과 연관되어 있다.
콘텍스트들(1)을 기반으로 하여 수행되는 액션(action)들은 콘텍스트 어휘 모델을 사용함으로써 표현될 수 있다. 본 발명의 모범적인 실시예들에 있어서, 액션들은 두 개의 특성들, 액션 타입(3) 및 액션 값(4)으로 정의되며, 이들은 콘텍스트 타입(1) 및 콘텍스트 값(2)이 콘텍스트들을 기술하는 방식과 유사한 방식으로 액션들을 기술한다. 도 5에 도시된 테이블 2는 액션 타입들에 대한 액션 어휘, Phone: Application: Profiles; Phone: Joystick; Phone: Keypad 및 관련 액션 값들(4)의 일례를 제시한다. 더욱이, 외부 장치들은 그들의 액션들을 통지할 수 있으며, 이들은 콘텍스트 스튜디오 액션 어휘들로서 동적으로 포함될 수 있다.
온톨로지 어휘 모델은 어휘들로부터 콘텍스트 스튜디오 사용자 인터페이스의 요소들을 생성할 수 있도록 한다. 계층적 어휘들은 확장 및 변경이 가능하며, 그 퀄리티(quality)들은 생성된 UI에 의해 계승된다. 개념 계층(concept hierarchy)이 없다면, 콘텍스트 값들에 관한 플랫 리스트(flat list)들은 사용가능한 상호 작 용(interaction)을 가능하게 하기 위해 쉽게 너무 커질 수 있다.
명명 규칙들( Naming Conventions )
바람직하게는, 콘텍스트 스튜디오의 콘텍스트 관리는 콘텍스트 프레임워크(
Figure 112009009847113-pat00020
외 다수. 2003 참조)를 활용하도록 디자인된다. 적절한 명명(naming)은 , 특히 특성들, 콘텍스트 타입, 콘텍스트 값, 및 소스를 기술하는데 있어서, 본질적인 것으로 고려될 수 있으며, 이들은 콘텍스트 매니저 "블랙보드(blackboard)"에 부가되는 각각의 콘텍스트 객체(context object)에 필요하다. 또한, 상기 특성들은 상기 콘텍스트 매니저에서 콘텍스트 정보에 액세스하는데 사용된다. 콘텍스트 타입들을 명명하는데 고려되어야 할 두 가지 주요 관점이 존재한다. 첫째, 적절한 명명은 사용자에게 콘텍스트의 의미를 반영하여야 하며, 상기 사용자는 애플리케이션 개발자 또는 개인화 툴 사용자인 것이 전형적이다. 바람직하게는, 명명은 콘텍스트의 사용을 드러낸다. 둘째, 올바른 명명 규칙의 사용은 콘텍스트 정보 사용자가 상기 콘텍스트 매니저에 의해 제공되는 기능들을 완전히 활용할 수 있도록 보장한다.
콘텍스트 타입들이 일반적인 개념에서 특정적인 개념으로 요소들을 포함하는 경로들로 빌드될 때, 콘텍스트 정보는 더 큰 콘텍스트 정보 서브세트를 표현하는 부분적 콘텍스트 타입들에 의해 액세스될 수 있다. 지금까지, 상기 명명 규칙은 또한, 상기 언급된 CEP(Context Exchange Protocol)에 활용되어 왔으며, 여기서 콘텍스트 타입 계층의 서브세트에 대한 참조(reference)는 와일드카드(wildcard)로 지칭된다(Lakkala, H., Context Exchange Protocol Specification, (2003), 28p. Available: http://WWW.mupe.net, 이하 Lakkala 2003a라 한다). 더욱이, CEP는 벤 더(vendor) 특정 콘텍스트 타입들이 상기 벤더를 명명하는 프리픽스(prefix), 예컨대 "x-vendor_name:"으로 시작하여 노멀 콘텍스트 타입 정의(normal context type definition)가 뒤따르도록 명명되는 것을 추천한다.
콘텍스트 값들의 세트는 수치적이거나 또는 상징적일 수 있다. 콘텍스트 값들이 숫자적으로 기술된다면, 바람직하게 이들은 애플리케이션 사용을 위해 인간에게 명확한 의미를 지니게 된다. 이를테면, 디그리(degree)에 의한 주위 온도. 원시 수치적 측정 값(raw numerical measurement value)들이 사용된다면, 콘텍스트 값 세트의 명명은 불필요하며, 콘텍스트 타입(1)은 정상적으로 사용될 수 있다. 콘텍스트 값들(2)이 애플리케이션 개인화 목적으로 사용자에 의해 정의된다면, 이들은 인간이 이해할 수 있으며, 상징적인 것이 바람직하고, 그리고 상기 세트 내의 값들의 수는 상기 세트에서 값의 선택이 규칙의 조건에 따라 기능하도록 허용할 만큼 충분히 적어야 한다. 작은 세트의 값들이 필요할 때, 수치적 값들은 명명된 간격(interval)들로 나누어질 수 있다. 예컨대, 온도 값은 "over 20"일 수 있다. 수치적 값들을 상징적 값들로 추상화하기 위해 몇몇 다른 방법들이 존재한다(예컨대,
Figure 112009009847113-pat00021
외 다수. 2003 참조).
콘텍스트 소스 특성은 어휘들로 기술되지 않지만, 동일 콘텍스트 타입(1)에 대해 많은 콘텍스트 제공자들이 존재한다면, 그리고 고객이 특정 소스로부터 유래된 콘텍스트들에 관심이 있다면, 콘텍스트 소스 특성이 어휘들로 기술되는 것이 필요하다. 따라서, 소스에 대한 명명 정책은 서로 다른 콘텍스트 정보 제공자들 간의 명명 충돌(naming conflict)들을 방지하는 것이 바람직하다. 소스들의 카테고리들 은: 단말기 내부(terminal internal) 및 단말기 외부(terminal external)로 지칭될 수 있다. 단말기 내부 소스들은, 비한정적인 두 실시예들로서 프리픽스 "Terminal:" 또는 "Phone:"으로 시작하여 소스에 관한 기술, 이를테면 센서 네임이 뒤따르도록 명명될 수 있다. 단말기 소스가 다중 요소들을 지닌다면, 콘텍스트 타입(1)과 유사하게 명명되는 것이 바람직하며, 여기서 네임은 경로, 예컨대 "Terminal:Sensor:Acceleration"을 형성한다. 단말기 외부 소스들은 제공자를 식별하는 프로토콜 문장(protocol statement)들, 예컨대 "http://context_provider.com/context_type"으로 명명될 수 있다(Lakkala 2003a 참조).
콘텍스트 스튜디오 규칙들( CONTEXT STUDIO RULES )
콘텍스트 스튜디오는 사용자로 하여금 콘텍스트들을 액션들과 연결하는 규칙들을 지정할 수 있도록 한다. 일단 이동 장치에서 규칙들이 활성화되면, 규칙에 지정된 바에 따라 콘텍스트들이 액션들을 발생시킨다. 규칙 조건 부분 요소들은 트리거(trigger)들이라 칭한다. 트리거는 액션을 활성화하는데 사용될 수 있는 어떠한 이벤트(event) 또는 상태(state)일 수 있다. 트리거들은 콘텍스트 어휘의 인스턴스(instance)들이다. 콘텍스트 타입(1; 변수 네임) 및 콘텍스트 값(2; 변수 값)은 함께 트리거를 정의 한다. 액션은, 한 세트의 트리거들이 발생했을 때 활성화될 수 있는 어떠한 애플리케이션, 기능, 또는 이벤트이며, 여기서 트리거 세트는 적어도 하나의 멤버(member)를 가진다. 규칙 액션 부분 요소는 액션으로 지칭된다. 명확성을 위해, 하나의 규칙은 하나의 액션을 포함할 수 있다. 액션 타입(3) 및 액션 값(4)은 액션을 정의한다.
규칙은 한 세트의 트리거들과 액션을 연결하는 표현(expression)이다. 본 발명의 모범적인 실시예들에 있어서, 규칙들은 하나의 액션 요소 및 적어도 하나의 트리거 요소를 포함한다. 규칙들은: IF 트리거(들) THEN 액션의 형식을 가진다. 사용자를 위해 규칙들의 지정을 단순화하기 위하여, 트리거들을 연결하는 유일한 연산자가 AND인 것이 바람직하다. 다수 트리거들을 포함하는 규칙의 일례는 다음과 같다: IF 트리거1 AND 트리거2 AND 트리거3 THEN 액션. 본 발명의 모범적인 실시예들에 있어서, 연산자 OR는 동일 액션에 대해 사용자에게 추가적 병렬 규칙들의 지정을 허용함으로써 구현된다. 하지만, 유의할 점은 본 발명의 다른 실시예들에 있어서 동일한 규칙에 혼합된 연산자들(예컨대, OR 및 AND, 및/또는 그 밖의 불 연산자들)이 사용될 수 있다. 또한 본 발명의 모범적인 실시예들에 있어서, 사용자는 불완전한 규칙들을 만드는 것이 허용된다. 즉, 액션 또는 트리거 부분이 생략될 수 있다. 불완전한 규칙들은 UI에서 아이콘들에 의해 기능이 억제된(disable) 것으로 표시된다.
콘텍스트 스튜디오는 규칙들에 대해 CEP 콘텍스트 스크립트 표현을 채용한다(Lakkala 2003a, 2003b). 콘텍스트 스크립트들은 세미-포멀(semi-formal) XML 기술들이며, 이들은 규칙들을 기술하는데 사용될 수 있다. 도 3에는, 예시적 규칙(Rule):
If the device is still and display down,
then set the phone audio profile to "Meeting"
에 대해 콘텍스트 스크립트로 기술된 규칙의 비한정적인 일례가 도시되어 있다.
상기 예시적 규칙(Rule)은, 장치 방향성(device orientation)이 디스플레이 다운(display down)되고 상기 장치가 정지(still)되면, 장치 프로파일(device profile)이 "Meeting"으로 설정되도록 한다. 도시된 바와 같이, 스크립트 명세(script specification)와 일치하는 규칙들 및 콘텍스트 스튜디오 규칙은 사용자 인터페이스에 디스플레이될 수 있다. 따라서, 다른 사람들에 의해 정의된 규칙들을 사용하는 것이 가능하며, 규칙 소스에서 오버더에어(over the air)로 규칙 스크립트가 다운로드될 수 있는 것처럼, 오버더에어로 다른 사용자들과의 규칙 스크립트들의 교환이 이루어질 수 있다. 그러나 몇몇 규칙들은 개인용일 수 있으며, 따라서 다른 사람들에 의해 사용되지 못할 수 있다. 예컨대, 사람의 집 위치가 위치 좌표(location coordinate)들과 결부되어 있다면, (예컨대, 그 밖의 다른 사람이 동일 위치에서 거주하는 사용자의 다른 가족이 아니라면) 기술은 그 밖의 다른 사람의 집에 의해서는 유효하지 않다. 유의할 점은, 도 3에 나타난 폰트들은 반드시 일정한 비율로 그려지는 것은 아니라는 것이다.
규칙 스크립트들은 UI 규칙 뷰(UI Rule view)에서 생성되고, 보여지고 그리고 편집될 수 있다. 도 3에는 예시적 CEP 스크립트로 주어진 규칙의 뷰가 제시되어 있다.
바람직하게는, 콘텍스트 스튜디오에서의 콘텍스트 관리는 이동 장치를 위한 블랙보드 기반 콘텍스트 프레임워크를 기반으로 하며(
Figure 112009009847113-pat00022
외 다수. 2003 참조), 규칙 스크립트들은, 콘텍스트 매니저를 사용하는 스크립트 엔진(Lakkala 2003a) 으로 불리는 추론 엔진(inference engine)에 의해 평가된다. 조건적 동작들, 이를테면 And, Or, Not, Equal, Not Equal, Less, Greater, Less Or Equal, Greater Or Equal 및 In Range는 콘텍스트 스크립트 모델 및 추론 엔진에 의해 지원된다. 모범적인 온라인 시스템에 있어서, 상기 콘텍스트 매니저는 콘텍스트 소스들 및 추상화기(abstractor)들로부터 모든 콘텍스트 정보를 수신하며, 그리고 콘텍스트 스튜디오에 의해 생성된 규칙 스크립트에 사용되는 그러한 콘텍스트들의 변경들로서, 사용자에 의해 그래픽 UI로 정의된 변경들에 관해 상기 스크립트 엔진에 지시한다. 상기 스크립트 엔진은 상기 변경된 콘텍스트들에 대한 규칙들을 평가하며, 규칙에 정의된 바와 같이, 애플리케이션 액션들 또는 플랫폼 이벤트들을 활성화하기 위해 파이어드 규칙(fired rule)들이 사용된다.
사용자 인터페이스( USER INTERFACE )
바람직하게는, 콘텍스트 스튜디오 규칙들은 반자동 적응 모델의 개념에 따라, 단순히 사용자 인터페이스(UI)로도 지칭되는 그래픽 사용자 인터페이스(GUI)를 사용하여 사용자에 의해 지정된다. 사용자 인터페이스는 콘텍스트 온톨로지의 애플리케이션이다. 트리거들 및 액션들의 표현은 온톨로지 어휘 모델을 기반으로 한다. 상기 UI의 트리거(Trigger), 액션(Action) 및 규칙(Rule) 뷰 요소들은 온톨로지 및 규칙 모델들을 기반으로 하여 자동으로 그리고 동적으로 생성된다. 사용자 내비게이션을 용이하게 하기 위해 온톨로지 계층(ontology hierarchy)은 상기 UI에서 폴더-파일 모델 표현으로 변형될 수 있다. 콘텍스트 및 액션 타입 개념들은 어휘 계층에 따라 폴더들 및 서브폴더들로 표현될 수 있다. 콘텍스트 및 액션 값들은 개념 폴더들 내의 파일들에 대응한다. 어휘들의 확장 및 변경은 런타임(runtime)에 가능하며, 그에 대응하여 상기 UI가 업데이트될 수 있다. 새로운 콘텍스트 및 액션 타입들은 상기 UI에서 새로운 경로(path)들로 제시되며, 새로운 콘텍스트 및 액션 값들은 상기 폴더들 내의 새로운 파일들로 제시된다.
본 발명의 실시예들의 사용에 관한 비한정적인 일례에 있어서, 상기 UI는 스몰 사이즈 스크린들, 예컨대 셀룰러 전화기들, 게임 장치들, 디지털 카메라들, 음악 저장 및 재생 기기들, PDA(Personal Digital Assistant)들 및 그 밖의 장치들과 제한된 디스플레이 스크린 영역을 지니는 단말기들 같은 휴대용 이동 장치들 및 단말기들에서 만나게 되는 스몰 사이즈 스크린들 용으로 디자인된 것이다.
비한정적인 일례로서, 사용자가 앞선 실시예에서 주어진 규칙에 대해 올바른 트리거를 찾기 위해 장치(Device) 카테고리 콘텍스트 어휘를 내비게이팅(navigating)하고 있다고 가정한다. 상기 사용자는 경로 Device＼Movement를 따르고, 그리고 도 7의 일례에 도시된 바와 같이 Gesture-타입 콘텍스트 값 Tap을 선택한 후, 뷰는 규칙 편집 뷰(rule edit view)로 되돌아간다. 액션 계층은 상기 UI에서 유사한 방식으로 디스플레이되고 그리고 내비게이팅될 수 있다.
사용자가 규칙들을 구성하기 바라는 두 가지 모범적인 시나리오들은 다음과 같다:
시나리오 1: 당신은 당신의 가장 가까운 친구 마이크에게 자주 전화한다. 당신은 자동차 운전 중에 또는 자전거를 타는 중에 그에게 자주 전화를 하기 때문에, 당신은 빠르게 그리고 전화기를 보지않고 전화를 할 수 있기를 원한다. 상기 전화 기는 "흔들기(shaking)" 동작을 인식한다. 그렇다면 당신은 상기 전화기를 당신이 흔들때, 상기 전화기가 마이크에게 전화걸기 시작하도록 결정하고 싶다.
시나리오 2: 당신은 매우 자주 당신의 친구들과 나이트클럽에서 저녁 시간을 보낸다. 당신이 클럽에 있을 때, 당신이 전화 또는 메시지를 수신하는 경우 당신은 당신의 전화기가 "야외(Outdoor)" 프로파일로 전환되어 당신이 들을 수 있게 되기를 원하며, 그래서 당신은 자동화 프로파일 변경을 정의한다. 그 결과는 경고 볼륨이 Outdoor 프로파일 레벨의 볼륨으로 자동으로 증가한다.
상기 모범적인 시나리오들에 대응하는 적절한 규칙들은 도 3의 규칙 편집 위도우에서 적합한 정의들을 선택함으로써 구성될 수 있다. 선택되는 값들은 '트리거들' 및 '액션들' 계층 폴더 구조에서 내비게이팅함으로써 발견될 수 있다. 또한, 도 6을 참조하며, 도 6에는 트리거(들), 액션 부분, 계층적 정보 모델(예컨대, Device ==> Movement ==> Shake/Tilt/Spin), 및 상기 계층적 모델에 따른 UI의 결과적 자동 생성에 관한 비한정적인 일례가 도시되어 있다.
본 명세서에서 콘텍스트 스튜디오로도 지칭되는, 반자동 콘텍스트 기반 적응을 위한 애플리케이션 개인화 툴의 실시예들에 있어서, UI는 콘텍스트 온톨로지를 활용하도록 디자인된다. 한정하는 것은 아니지만 바람직하게는, 온톨로지 어휘 계층은 상기 UI에서 폴더-파일 모델 표현으로 변형된다. 향상된 어휘 모델을 지니는 온톨로지는 상기 UI에 스케일링가능(scalable) 정보 표현, 및 콘텍스트와 액션 정보의 용이한 내비게이션을 제공하며, 어휘들의 변경들에 따라 직접적으로 상기 UI를 업데이트할 수 있게 한다.
또한, 상기 온톨로지는 포멀 규칙 모델(formal rule model)로서의 콘텍스트 스크립트들의 활용을 지원한다.
상기 기술에 근거하여, 본 발명의 모범적인 실시예들이 상이한 정보 소스들을 기반으로 하여 이동 단말기 애플리케이션 및 액세서리들의 플랫폼 독립 동적 개인화를 가능하게 함을 이해할 수 있다. 바람직하게는, 개인화는 그래픽 사용자 인터페이스를 지니는 툴과 상호 작용하는 최종 사용자에 의해 수행되며, 상기 사용자 인터페이스의 요소들은 이용가능한 정보 소스들의 기술(description)들에 따라 생성된다. 개인화를 위한 예시적인 정보 소스들은 제스처들, 단말기 이벤트들, 센서 이벤트들, 외부 네트워크 소스들, 태그들, 위치, 프레즌스(presence) 등을 포함한다. 제어되는 예시적인 애플리케이션들은 외부 장치들, 프로파일들, 단말기 제어들에 의해 통지되는 기능들, 및 일반적으로 그 밖의 이용가능한 단말기 애플리케이션 기능을 포함한다.
위에서 설명된 본 발명의 모범적인 실시예들은 정보 소스들의 이벤트들 및 애플리케이션 액션들 기술하기 위한 모델을 제공한다. 상기 개인화 툴의 그래픽 사용자 인터페이스의 요소들은, 상기 툴이 높은 유용성을 유지하는 동안 자동으로 그리고 동적으로 생성될 수 있다.
본 발명의 모범적인 실시예들은 잠재적으로 많은 양의 이용가능한 애플리케이션들 및 액세서리들의 사용에 있어서 상이한 선호도들을 가지는 이동 단말기 사용자들의 요구를 처리한다. 따라서, 단말기 애플리케이션들 및 액세서리들의 사용은 최소한의 상호 작용으로 사용자에 의해 더욱 쉽게 구성될 수 있게 된다. 또한, 단말기 애플리케이션들 및 액세서리들의 사용은 더욱 융통성 있게 된다.
유추적으로, 더 많은 "소프트 키(soft key)들"의 구성에 대한 요구가 존재할 수 있다. 본 발명의 비한정적인 실시예들에 따르면, "소프트 키들"은 어떤 터미널 애플리케이션 기능들 또는 액세서리들에 의해 통지되는 기능들을 활성화하는 어떤 이벤트들인 것으로 고려될 수 있다.
따라서, 본 발명의 모범적인 실시예들은 사용자로 하여금 액션들을 활성화하기 위해 그리고 단말기 애플리케이션들 또는 액세서리들의 액션들을 균일하게 기술하기 위해 사용될 수 있는 이벤트들(예컨대, "소프트 키들")을 균일하게 기술할 수 있도록 한다. 상기 모델은 정보 표현을 용이하게 하여, 상기 정보가 쉽게 인간들에게 이해될 수 있고 기계들에 의해 읽혀질 수 있도록 한다. 인간의 이해도(human understandability)는 이동 단말기 최종 사용자로 하여금 이동 단말기를 개인화할 수 있도록 한다. 필요한 기계 읽힘성(machine readability) 특징은 사용자 인터페이스 요소들을 동적으로 형성할 수 있게 한다. 더욱이, 상기 모델은 사용자 지정 조건-액션 규칙(user-specified condition-action rule)들에 관한 형식적 기술을 가능하게 하며, 이로써 플랫폼 독립 개인화를 용이하게 한다. 모범적인 실시예들에 있어서, 규칙들은 사용자에 의해 그래픽 UI(GUI)로 지정된 그래픽 기술들로부터 생성된다.
이 점에 있어서 도 6 및 도 7을 다시 참조한다. 도 6에는 상기 모델의 규칙 컴포넌트들의 간소화되고 비한정적인 예시가 나타나있는 반면, 도 7에는 상기 모델 어휘로부터 생성된 디렉토리 계층을 기반으로 한 규칙 형성이 나타나있다. 도 7에 서 사용자는 적어도 하나의 트리거 및 액션을 선택하며, 이들은 공동으로 규칙을 형성한다. 트리거 정의의 일례로서, 이용가능한 트리거 이벤트들의 디렉토리 구조는 계층적 정보 모델에 따라 자동으로 생성된다(도 6 참조); 사용자는 이용가능한 트리거 세트에서 트리거 타입의 값을 선택하고(상기 경우에 "Gesture"), 그리고나서 특정 Gesture 트리거 값을 선택한다(상기 경우에 "Tap"). 그에 따라 액션이 정의 될 수 있다.
본 발명의 사용에 의해 실현되는 장점들은, 어떤 이용가능한 이벤트를 기반으로 하여 단말기 애플리케이션들 및 액세서리 기능들의 동적 구성의 용이화; 기능들의 플랫폼-독립 개인화; UI 요소들의 자동 생성; 정보 모델 및 결과적으로 생성된 UI 모델의 확장성(scalability); 외부 소스들(예컨대, 다른 사용자들 또는 제3의 파티 규칙 스크립트 제공자들)로부터 규칙 스크립트들을 제공하는 능력; 애플리케이션 제어를 위한 이벤트들에 따라, 다수 소스들, 이를테면 센서들을 사용하는 능력; 및 애플리케이션 제어를 위해 제스처들을 지정하는 능력을 포함하지만, 이에 한정될 필요는 없다.
일 태양에 있어서 본 발명은, 콘텍스트 인식 특징을 구현하기 위해 반자동 콘텍스트 기반 적응을 위한 애플리케이션 개인화 툴인 콘텍스트 스튜디오를 적어도 부분적으로 기반으로 하는 온톨로지 툴을 제공한다. 본 발명의 실시예들에 있어서, 콘텍스트 스튜디오 개념은 스몰 스크린 이동 장치들의 최종 사용자들을 위해 더 발전된다. 향상된 어휘 모델을 지니는 콘텍스트 스튜디오는 UI에서 콘텍스트 및 액션 정보의 스케일링 가능한 표현 및 용이한 내비게이션을 제공하는데 활용된다. 온톨 로지 어휘 계층은 그래픽 사용자 인터페이스에서 폴더-파일 모델 표현으로 변형된다. 모범적인 실시예들에 있어서, UI 요소들은 온톨로지 어휘들에 대한 확장들 및 변경들에 따라, 온라인 시스템에서 자동으로 직접 업데이트될 수 있다. 규칙 모델은 사용자 인터페이스에서 콘텍스트-액션 규칙들의 체계적 관리 및 제시를 허용하기 위해 활용된다.
본 발명의 모범적인 실시예들은, 스몰 스크린 이동 장치들의 최종 사용자들을 위해, 내비게이션 및 정보 제시가 스몰 스크린들 용으로 더 적합하게 디자인될 수 있도록 하여, 콘텍스트 스튜디오 개념 또는 더 일반적으로 반자동 콘텍스트 기반 적응을 위한 애플리케이션 개인화 툴을 더 발전시킨다. 콘텍스트 온톨로지 및 어휘 모델은 사용자 인터페이스을 자동으로 그리고 동적으로 생성할 수 있게 한다. 온톨로지 계층은 사용자 인터페이스를 위한 디렉토리 모델 표현으로 변형되고, 이로써 내비게이션이 용이화된다. 온톨로지 어휘들에 대한 확장들 및 변경들은 UI에 자동으로 업데이트될 수 있다. 규칙 모델은 사용자 인터페이스에서 규칙들의 체계적 관리 및 제시(presentation)를 허용하기 위해 활용된다.
도 8에는, 본 발명의 모범적인 실시예들을 구현하는데 사용될 수 있는 이동 장치, 예컨대 이동 통신 단말기와 같은 장치(100)의 비한정적인 실시예에 관한 간략화된 블록도가 도시되어 있다. 적합한 이동 장치들의 비한정적 실시예들은, 셀룰러 전화기들, PDA들, 포터블 컴퓨터들, 음악 저장 및 재생 기기들 및 그러한 기능들의 결합들을 통합하는 휴대 장치들 또는 단말기들을 포함하지만, 이에 한정되는 것은 아니다. 상기 이동 장치(100)는 (적어도 일부분은 정의된 규칙들을 저장하기 위한 비휘발성 메모리(non-volatile memory; NVM) 장치일 수 있는)메모리(104)와 연결되는 데이터 처리기(102)를 포함하며, 상기 메모리(104)는 적어도 상기 데이터 처리기(102)를 위한 동작 프로그램(OP)을 저장하며, 상기 동작 프로그램(104a)은 본 발명의 실시예들에 따른 방법들의 실행이 가능한 것으로 전제된다. 상기 이동 장치(100)는 또한, 사용자 인터페이스(106)로서 UI의 디스플레이를 위한 디스플레이 스크린(또는 동등한 데이터 표시 장치; 106a) 및 적어도 하나의 데이터 입력(data entry; DE) 장치(106b), 이를테면 키패드 또는 키보드, 또는 포인팅 장치, 또는 터치 스크린, 또는 데이터 입력 장치들의 조합을 지니는 사용자 인터페이스(106)를 포함한다. 상기 컴포넌트들의 사용에 의해, 도 1 내지 도 7에 도시된 바와 같이, 사용자는 규칙들을 정의하는 것이 가능해지며, 그리고나서 상기 규칙들은 상기 메모리(104)에 저장된다. 상기 이동 장치(100)는 또한, 트리거 상태 결정들을 위한(예컨대, 3차원 공간에서 상기 이동 장치(100)의 방향성 및/또는 움직임을 결정하기 위한) 데이터 입력을 제공하기 위해, 상기 이동 장치(100)의 어떤 내부적 및/또는 환경적 조건을 감지할 수 있는 적어도 하나의 센서(108), 이를테면 가속도계(accelerometer) 및/또는 온도계 및/또는 기계적 스위치 및/또는 위치 결정 시스템(예컨대, GPS 수신기)을 포함할 수 있다. 유의할 점은, 상기 컴포넌트들 중 적어도 몇몇은, 이를테면 상기 데이터 처리기(102) 및 사용자 인터페이스(106)는 상기 이동 장치(100)로부터, 이를테면 데스크톱 PC 또는 워크스테이션에서 물리적으로 멀리 위치될 수 있으며, 외부 사용자 인터페이스를 사용하여 정의된 임의의 규칙들은 상기 메모리(104)에 저장되기 위해 유선 또는 무선 외부 연결(110)을 통하여 상 기 이동 장치(100)에 입력될 수 있다는 것이다. 유의할 점은, 위에서 언급한 스크립트들도 또한 유선 또는 무선 외부 연결(110)을 통하여 상기 이동 장치(100)에 입력될 수 있다.
상기 메모리(104)는 로컬 기술 환경에 적합한 임의의 타입일 수 있고 그리고 상기 메모리(104)는 임의의 데이터 저장 기술, 이를테면 반도체-기반 메모리 장치들, 자기 메모리 장치들 및 시스템들, 광 메모리 장치들 및 시스템들, 고정식 메모리 및 분리식 메모리를 사용하여 구현될 수 있다. 상기 데이터 처리기(102)는 로컬 기술 환경에 적합한 임의의 타입일 수 있고, 그리고 상기 데이터 처리기(102)는 비한정적 예들로서 1 이상의 범용 컴퓨터들, 특수용 컴퓨터들, 마이크로프로세서들, 디지털 신호 처리기(digital signal processor; DSP)들 및 멀티-코어 프로세서 아키텍처를 기반으로 한 프로세서들을 포함할 수 있다.
도 9에는 이동 단말기 또는 장치(100)을 위한 사용자 인터페이스를 정의하기 위해 동작 프로그램(104a)의 제어를 받는 데이터 처리기(102)에 의해 실행될 수 있는 방법에 따른 간략화된 로직 흐름도가 도시되어 있다. 상기 방법은 공동으로 규칙을 생성하는 적어도 하나의 트리거 및 액션을 선택하는 단계(블록 a); 계층적 정보 모델에 따라 이용가능한 이벤트들의 디렉토리 구조를 자동으로 생성하는 단계(블록 b); 상기 이용가능한 이벤트 세트에서 적어도 하나의 트리거 값을 선택하는 단계(블록 c); 및 따라서 이동 단말기 또는 장치(100)에 의해 수행되는 액션을 정의하는 단계(블록 d)를 포함한다.
본 발명의 모범적인 실시예는 이동 장치(100)의 데이터 처리기에 의해, 이를 테면 데이터 처리기(102), 또는 하드웨어에 의해, 또는 소프트웨어 및 하드웨어에 의해 실행가능한 컴퓨터 소프트웨어로써 구현될 수 있다. 또한, 이 점에 있어서 유의해야 할 점은, 도 9의 로직 흐름도의 여러 블록들이 프로그램 단계들, 또는 상호연결된 로직 회로들, 블록들 및 기능들, 또는 프로그램 단계들과 로직 회로들, 블록들 및 기능들의 조합을 표현할 수 있다는 것이다.
상기 설명을 고려하여 첨부도면들 및 첨부한 청구의 범위와 관련하여 읽어볼 때, 당업자들이라면 여러 가지 변경예들 및 적응예들이 명확해 질 것이다. 단지 몇몇 실시예들이라도, 당업자들에 의해 다른 유사 또는 균등한 트리거들, 액션들 및 이동 단말기 타입들의 사용이 시도될 수 있다. 하지만, 본 발명의 설명에 관한 그러한 그리고 유사한 모든 변경예들은 여전히 본 발명의 범위에 속하는 것이다.
또한, 본 발명의 모범적인 실시예들의 특징들 중 몇몇 특징은, 그 밖의 특징들의 상응하는 사용이 없어도 이익을 얻기 위해 사용될 수 있다. 따라서, 상기의 설명은 본 발명을 한정하는 것이 아니라 본 발명의 원리들을 예시하는 것으로 고려되어야 한다.
도 1은 콘텍스트 타입들 및 콘텍스트 값들을 포함하는 어휘들을 생성하기 위한 모델을 보여주는 도면이다.
도 2는 콘텍스트 타입의 일례 및 한 세트의 콘텍스트 값들을 예시하는 도면이다.
도 3은 콘텍스트 스튜디오 규칙 편집 뷰의 일례 및 대응 CEP 스크립트를 예시하는 도면이다.
도 4는 장치 카테고리 센서-기반 콘텍스트 어휘가 예시된 콘텍스트 타입들에 관한 테이블 1을 보여주는 도면이다.
도 5는 전화 카테고리 액션 어휘가 예시된 액션 타입들에 관한 테이블 2를 보여주는 도면이다.
도 6은 계층적 정보 모델의 모범적인 사용에 따른 규칙 컴포넌트들 및 매핑 장치 UI를 예시하는 도면이다.
도 7은 규칙을 생성하는 다단계 처리를 보여주는 도면이다.
도 8은 본 발명을 구현하는데 사용될 수 있는 이동 장치를 보여주는 간략화된 블록도이다.
도 9는 도 8의 이동 장치용 사용자 인터페이스를 정의하기 위한 동작 프로그램으로 제어되는 데이터 프로세서에 의해 실행될 수 있는 방법에 따른 간략화된 로직 흐름도이다.

Claims (20)

  1. 계층적 정보 모델(hierarchical information model)에 따라, 이용가능 이벤트들의 제1 디렉토리 구조를 자동으로 디스플레이하는 단계;
    적어도 하나의 이용가능 이벤트와 관련된 적어도 하나의 트리거 값의 선택을 수신하는 단계;
    상기 계층적 정보 모델에 따라, 이용가능 액션들의 제2 디렉토리 구조를 자동으로 디스플레이하는 단계;
    이용가능 액션의 선택을 수신하는 단계; 및
    상기 적어도 하나의 선택된 트리거 값과 상기 선택된 액션에 기초하여 규칙(rule)을 형성하는 단계를 포함하고,
    상기 액션은 장치에 의해 수행되며,
    규칙 스크립트(rule script)는 다른 사용자로부터 외부적으로 얻어지고, 상기 규칙 스크립트는 상기 형성된 규칙과 다른 규칙을 기술하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 장치에 의해 생성되는 값에 따라 충족되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 장치의 부분을 구성하는 센서(sensor)에 의해 생성되는 값에 따라 충족되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 장치의 외부에서 생성되는 값에 따라 충족되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    규칙 스크립트는 제3의 파티의 규칙 스크립트 제공자로부터 외부적으로 얻어지고, 상기 규칙 스크립트는 상기 형성된 규칙과 다른 규칙을 기술하는 것을 특징으로 하는 방법.
  6. 사용자에 의해 적어도 부분적으로 지정되는 사용자 인터페이스를 포함하는 이동 단말기에 있어서,
    계층적 정보 모델(hierarchical information model)에 따라, 한 세트의 이용가능 이벤트들을 포함하는 제1 디렉토리 구조를 자동으로 디스플레이하고;
    상기 한 세트의 이용가능 이벤트들로부터 적어도 하나의 트리거 값을, 사용자와 협동하여 선택하고;
    상기 계층적 정보 모델에 따라, 한 세트의 이용가능 액션들을 포함하는 제2 디렉토리 구조를 자동으로 디스플레이하고;
    상기 한 세트의 이용가능 이벤트들로부터 하나의 액션을, 사용자와 협동하여 선택하고;
    상기 적어도 하나의 선택된 트리거 값과 상기 선택된 액션에 기초하여 규칙(rule)을 형성하도록, 프로그램된 데이터 프로세서에 따라 동작하는 사용자 인터페이스 지정 유닛(user interface specification unit)을 포함하고,
    상기 액션은 상기 적어도 하나의 트리거 값이 충족되는 것에 대한 응답으로 상기 이동 단말기에 의해 수행되며,
    규칙 스크립트가, 다른 사용자로부터 외부적으로 얻어지는 것을 특징으로 하는 이동 단말기.
  7. 제6항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 이동 단말기 내에서 생성되는 값에 따라 충족되는 것을 특징으로 하는 이동 단말기.
  8. 제6항에 있어서,
    상기 적어도 하나의 트리거 값이, 이동 단말기 센서에 의해 생성되는 값에 따라 충족되는 것을 특징으로 하는 이동 단말기.
  9. 제6항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 이동 단말기의 외부에서 생성되는 값에 따라 충족되는 것을 특징으로 하는 이동 단말기.
  10. 제6항에 있어서,
    규칙 스크립트가, 제3의 파티의 규칙 스크립트 제공자로부터 외부적으로 얻어지는 것을 특징으로 하는 이동 단말기.
  11. 데이터 처리기를 명령하는 프로그램 명령어들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 매체(computer readable medium)로서,
    상기 프로그램 명령어들은,
    계층적 정보 모델(hierarchical information model)에 따라, 이용가능 이벤트들의 제1 디렉토리 구조를 자동으로 디스플레이하고;
    적어도 하나의 이용가능 이벤트와 관련된 적어도 하나의 트리거 값의 선택을 수신하고;
    상기 계층적 정보 모델에 따라, 이용가능 액션들의 제2 디렉토리 구조를 자동으로 디스플레이하고;
    이용가능 액션의 선택을 수신하고;
    상기 적어도 하나의 선택된 트리거 값과 상기 선택된 액션에 기초하여 규칙(rule)을 형성하도록 하고,
    상기 액션은 이동 단말기에 의해 수행되며,
    규칙 스크립트가 다른 이동 단말기로부터 얻어지고, 상기 규칙 스크립트는 상기 형성된 규칙과 다른 규칙을 기술하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 이동 단말기에 의해 생성되는 값에 따라 충족되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  13. 제11항에 있어서,
    상기 적어도 하나의 트리거 값이, 이동 단말기 센서에 의해 생성되는 값에 따라 충족되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  14. 제11항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 이동 단말기의 외부에서 생성되고 그리고 무선 연결을 통해 상기 이동 단말기에 전달되는 값에 따라 충족되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  15. 제11항에 있어서,
    규칙 스크립트가 제3의 파티의 규칙 스크립트 제공자로부터 얻어지고, 상기규칙 스크립트는 상기 형성된 규칙과 다른 규칙을 기술하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  16. 계층적 정보 모델(hierarchical information model)에 따라, 한 세트의 이용가능 이벤트들을 포함하는 제1 디렉토리 구조를 디스플레이하는 수단;
    상기 한 세트의 이용가능 이벤트들로부터 적어도 하나의 트리거 값의 선택을 수신하는 수단;
    상기 계층적 정보 모델에 따라, 한 세트의 이용가능 액션들을 포함하는 제2 디렉토리 구조를 자동으로 디스플레이하는 수단;
    하나의 액션의 선택을 수신하는 수단; 및
    상기 적어도 하나의 선택된 트리거 값과 상기 선택된 액션에 기초하여 규칙(rule)을 형성하는 수단을 포함하고,
    상기 액션은 상기 적어도 하나의 트리거 값이 충족되는 것에 대한 응답으로 이동 단말기에 의해 수행되며,
    규칙들이, 사용자에 의해 그래픽 사용자 인터페이스(graphical user interface)로 지정되는 그래픽 기술(graphical description)들로부터 생성되는 것을 특징으로 하는 이동 단말기.
  17. 제16항에 있어서,
    상기 적어도 하나의 트리거 값이, 상기 이동 단말기의 부분을 구성하는 센서 수단(sensor means)에 의해 생성되는 값에 따라 충족되는 것을 특징으로 하는 이동 단말기.
  18. 제16항에 있어서,
    상기 이동 단말기가, 사용자 인터페이스 요소들을 자동적으로 그리고 동적으로 생성하기 위해 콘텍스트 온톨로지(context ontology) 및 어휘 모델(vocabulary model)을 포함하고, 온톨로지 계층(ontology hierarchy)이 상기 사용자 인터페이스를 위한 제1 디렉토리 모델 표현(directory model representation)으로 변형되는 것을 특징으로 하는 이동 단말기.
  19. 삭제
  20. 삭제
KR1020097003279A 2004-07-01 2005-06-29 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를 활용하는 방법, 장치 및 컴퓨터 프로그램 생성물 KR100971164B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US58519104P 2004-07-01 2004-07-01
US60/585,191 2004-07-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020077002394A Division KR20070024737A (ko) 2004-07-01 2005-06-29 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를활용하는 방법, 장치 및 컴퓨터 프로그램 생성물

Publications (2)

Publication Number Publication Date
KR20090031780A KR20090031780A (ko) 2009-03-27
KR100971164B1 true KR100971164B1 (ko) 2010-07-20

Family

ID=35783553

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020077002394A KR20070024737A (ko) 2004-07-01 2005-06-29 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를활용하는 방법, 장치 및 컴퓨터 프로그램 생성물
KR1020097003279A KR100971164B1 (ko) 2004-07-01 2005-06-29 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를 활용하는 방법, 장치 및 컴퓨터 프로그램 생성물

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020077002394A KR20070024737A (ko) 2004-07-01 2005-06-29 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를활용하는 방법, 장치 및 컴퓨터 프로그램 생성물

Country Status (8)

Country Link
US (1) US8407593B2 (ko)
JP (1) JP4498417B2 (ko)
KR (2) KR20070024737A (ko)
CN (1) CN101002175B (ko)
BR (1) BRPI0513210A8 (ko)
HK (1) HK1102514A1 (ko)
RU (1) RU2355022C2 (ko)
WO (1) WO2006006028A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393487B2 (en) * 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US20050193370A1 (en) * 2004-02-27 2005-09-01 Goring Brian R. System and method for interactive wireless applications with conditional UI controls and screen navigation
US7271825B2 (en) * 2004-11-04 2007-09-18 Sony Corporation Kinesiological model-based gestural augmentation of voice communication
US20070213045A1 (en) * 2006-03-10 2007-09-13 Jonas Gunnar Hermansson Electronic equipment with data transfer function using motion and method
US20070211573A1 (en) * 2006-03-10 2007-09-13 Hermansson Jonas G Electronic equipment with data transfer function using motion and method
US20070259685A1 (en) * 2006-05-08 2007-11-08 Goran Engblom Electronic equipment with keylock function using motion and method
US7986917B2 (en) * 2006-07-10 2011-07-26 Sony Ericsson Mobile Communications Ab Method and system for data transfer from a hand held device
US20080020733A1 (en) * 2006-07-21 2008-01-24 Tomas Karl-Axel Wassingbo Mobile electronic device with motion detection authentication
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
KR100793057B1 (ko) * 2006-09-01 2008-01-10 한국전자통신연구원 이기종 센서 네트워크 기반의 정보 서비스 생성을 위한ｕｓｎ 미들웨어 장치 및 그 방법과, 그를 이용한 정보서비스 제공 시스템
JP5176300B2 (ja) * 2006-09-22 2013-04-03 富士通株式会社 電子機器、その制御方法及びその制御プログラム
US8224310B2 (en) * 2006-11-15 2012-07-17 Motorola Mobility, Inc. Method and system for managing an electronic device
US8391786B2 (en) * 2007-01-25 2013-03-05 Stephen Hodges Motion triggered data transfer
US20080207125A1 (en) * 2007-02-27 2008-08-28 Motorola, Inc. Method and Apparatus to Facilitate Conforming a Wireless Personal Communications Device to a Local Social Standard
US8396909B1 (en) * 2007-04-12 2013-03-12 United Services Automobile Association (Usaa) Electronic file management hierarchical structure
US8375072B1 (en) 2007-04-12 2013-02-12 United Services Automobile Association (Usaa) Electronic file management hierarchical structure
US20080280642A1 (en) * 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Intelligent control of user interface according to movement
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9760839B1 (en) 2007-07-25 2017-09-12 United Services Automobile Association (Usaa) Electronic recording statement management
US8677285B2 (en) * 2008-02-01 2014-03-18 Wimm Labs, Inc. User interface of a small touch sensitive display for an electronic data and communication device
US8630646B2 (en) * 2008-03-07 2014-01-14 Telefonaktiebolaget L M Ericsson (Publ) Systems and methods for application configuration in a client device
US8170186B2 (en) * 2008-04-07 2012-05-01 Sony Mobile Communications Ab Electronic device with motion controlled functions
US20090273586A1 (en) * 2008-04-30 2009-11-05 Sony Ericsson Mobile Communications Ab Device and method for composing and handling messages
US9773362B2 (en) 2008-08-08 2017-09-26 Assa Abloy Ab Directional sensing mechanism and communications authentication
ES2441370T3 (es) * 2008-08-08 2014-02-04 Assa Abloy Ab Mecanismo de detección direccional y autenticación de comunicaciones
US9208306B2 (en) 2008-08-08 2015-12-08 Assa Abloy Ab Directional sensing mechanism and communications authentication
US20100095251A1 (en) * 2008-10-15 2010-04-15 Sony Ericsson Mobile Communications Ab Linkage between motion sensing and position applications in a portable communication device
US8489569B2 (en) * 2008-12-08 2013-07-16 Microsoft Corporation Digital media retrieval and display
CN101763328B (zh) * 2008-12-25 2014-01-15 鸿富锦精密工业（深圳）有限公司 数据传输系统及其方法
US8311577B2 (en) * 2009-06-15 2012-11-13 International Business Machines Corporation Proactive control of mobile communications devices
US20110028194A1 (en) * 2009-07-31 2011-02-03 Razer (Asia-Pacific) Pte Ltd System and method for unified-context mapping of physical input device controls to application program actions
KR20110074017A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기 및 그 동작 제어 방법
US8983989B2 (en) * 2010-02-05 2015-03-17 Microsoft Technology Licensing, Llc Contextual queries
US8903794B2 (en) * 2010-02-05 2014-12-02 Microsoft Corporation Generating and presenting lateral concepts
US8260664B2 (en) * 2010-02-05 2012-09-04 Microsoft Corporation Semantic advertising selection from lateral concepts and topics
US8150859B2 (en) * 2010-02-05 2012-04-03 Microsoft Corporation Semantic table of contents for search results
US20110231395A1 (en) * 2010-03-19 2011-09-22 Microsoft Corporation Presenting answers
CN101883107B (zh) * 2010-06-18 2014-06-04 华为技术有限公司 实现上下文感知业务应用的方法和相关装置
ITRM20100486A1 (it) * 2010-09-20 2010-12-20 Lozzo Giordano Da Metodo per la visualizzazione e la navigazione/esplorazione di informazioni relazionali riconducibili a grafi su piattaforme di tipo mobile (iphone smartphone mobilephone pda)
WO2012039301A1 (ja) * 2010-09-22 2012-03-29 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示装置および表示方法ならびにそのプログラム、端末装置
US8644519B2 (en) * 2010-09-30 2014-02-04 Apple Inc. Electronic devices with improved audio
US8881057B2 (en) 2010-11-09 2014-11-04 Blackberry Limited Methods and apparatus to display mobile device contexts
US8811648B2 (en) 2011-03-31 2014-08-19 Apple Inc. Moving magnet audio transducer
WO2012129663A1 (en) * 2011-03-31 2012-10-04 C.T. Consultants Inc. Framework for context-aware systems and methods
KR20120127987A (ko) * 2011-05-16 2012-11-26 삼성전자주식회사 통화 모드 전환 방법 및 장치
US20130312284A1 (en) * 2011-05-27 2013-11-28 Nike, Inc. Article of Footwear Having Welded Upper
US8521848B2 (en) * 2011-06-28 2013-08-27 Microsoft Corporation Device sensor and actuation for web pages
US9311426B2 (en) * 2011-08-04 2016-04-12 Blackberry Limited Orientation-dependent processing of input files by an electronic device
US8879761B2 (en) 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US9207957B2 (en) * 2012-04-06 2015-12-08 Accenture Global Services Limited Adaptive architecture for a mobile application based on rich application, process, and resource contexts and deployed in resource constrained environments
US20130290926A1 (en) * 2012-04-30 2013-10-31 Rheti Inc. Semantic code binding to enable non-developers to build apps
CN102681784A (zh) 2012-05-09 2012-09-19 中兴通讯股份有限公司 基于传感器操作移动终端的方法和装置、移动终端
KR102070196B1 (ko) * 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US10042603B2 (en) * 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US8942410B2 (en) 2012-12-31 2015-01-27 Apple Inc. Magnetically biased electromagnet for audio applications
US10649619B2 (en) * 2013-02-21 2020-05-12 Oath Inc. System and method of using context in selecting a response to user device interaction
KR102139931B1 (ko) * 2013-03-14 2020-07-31 삼성전자주식회사 연역적 추론과 귀납적 추론을 결합한 상황 인지 장치 및 방법
CN103235686A (zh) * 2013-03-29 2013-08-07 北京智谷睿拓技术服务有限公司 应用管理方法及装置
CN103558947A (zh) * 2013-11-26 2014-02-05 广东欧珀移动通信有限公司 一种触控终端开关机的方法及触控终端
EP2881899B1 (de) 2013-12-09 2018-09-12 Deutsche Telekom AG System und Verfahren zur automatisierten Aggregation von Beschreibungen individueller Objektvarianten
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9760345B2 (en) 2014-07-26 2017-09-12 Alfonso Diez Recursive ontology-based systems engineering
CN106605201B (zh) 2014-08-06 2021-11-23 苹果公司 用于电池管理的减小尺寸的用户界面
CN104182232B (zh) 2014-08-22 2017-12-15 华为技术有限公司 一种创建上下文感知应用的方法及用户终端
WO2016036541A2 (en) 2014-09-02 2016-03-10 Apple Inc. Phone user interface
US9525943B2 (en) 2014-11-24 2016-12-20 Apple Inc. Mechanically actuated panel acoustic system
US10110394B2 (en) 2015-05-11 2018-10-23 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same
US11514058B2 (en) 2017-03-17 2022-11-29 Microsoft Technology Licensing, Llc Context rules for a graph
US11307752B2 (en) * 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
CN115867878A (zh) * 2020-07-10 2023-03-28 瑞典爱立信有限公司 用于获得用户输入的方法和设备
US11635885B2 (en) 2020-12-02 2023-04-25 Samsung Electronics Co., Ltd. Electronic device for supporting automation services
KR20220077446A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 오토메이션 서비스를 지원하는 전자 장치
CN113384899B (zh) * 2021-07-05 2022-10-04 在线途游（北京）科技有限公司 基于规则的运营方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0936794A2 (en) 1998-02-13 1999-08-18 Nokia Mobile Phones Ltd. Radio communications device with emergency services
US20020083025A1 (en) * 1998-12-18 2002-06-27 Robarts James O. Contextual responses based on automated learning techniques
KR20040094236A (ko) * 2003-05-02 2004-11-09 에스케이 텔레콤주식회사 대화형 인터페이스를 이용한 정보제공 시스템 및 방법
US20060128012A1 (en) * 2004-12-03 2006-06-15 Treena Arinzeh Substrate recognition by differentiable human mesenchymal stem cells

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283856A (en) * 1991-10-04 1994-02-01 Beyond, Inc. Event-driven rule-based messaging system
JP3245348B2 (ja) * 1996-06-05 2002-01-15 富士重工業株式会社 車両用故障診断装置
US6128012A (en) * 1996-09-19 2000-10-03 Microsoft Corporation User interface for a portable data management device with limited size and processing capability
US6049831A (en) * 1996-11-08 2000-04-11 Gte Laboratories Incorporated System for transmitting network-related information where requested network information is separately transmitted as definitions and display information
US7278106B1 (en) * 1998-07-14 2007-10-02 Computer Associates Think, Inc. Method and apparatus for interacting with a source code control system
GB2341052B (en) * 1998-08-26 2003-05-14 Nokia Mobile Phones Ltd Wireless communication terminal
JP2000293289A (ja) * 1999-04-09 2000-10-20 Hitachi Ltd 携帯型端末装置
US6460180B1 (en) * 1999-04-20 2002-10-01 Webtv Networks, Inc. Enabling and/or disabling selected types of broadcast triggers
US6965889B2 (en) * 2000-05-09 2005-11-15 Fair Isaac Corporation Approach for generating rules
WO2002099597A2 (en) * 2001-06-07 2002-12-12 Unwired Express, Inc. Method and system for providing context awareness
CN1240006C (zh) * 2001-08-13 2006-02-01 鸿富锦精密工业（深圳）有限公司 利用过滤器为无线设备进行个性化资料抄写的方法
US6973620B2 (en) * 2001-09-06 2005-12-06 International Business Machines Corporation Method and apparatus for providing user support based on contextual information
US7203635B2 (en) * 2002-06-27 2007-04-10 Microsoft Corporation Layered models for context awareness
DE10305168A1 (de) * 2003-01-31 2004-08-26 Volkswagen Ag Benutzerschnittstelle für eine Bedienung von Mobiltelefonen insbesondere in Kraftfahrzeugen
AU2004258349B2 (en) * 2003-07-22 2010-11-11 Kinor Technologies Inc. Information access using ontologies
EP1526457B1 (en) * 2003-10-22 2013-03-13 Sony Deutschland GmbH Context-aware automatic service discovery and execution engine in mobile ad-hoc networks
WO2005111851A2 (en) * 2004-04-30 2005-11-24 Microsoft Corporation Rules framework for definition and execution of end-user rules logic

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0936794A2 (en) 1998-02-13 1999-08-18 Nokia Mobile Phones Ltd. Radio communications device with emergency services
US20020083025A1 (en) * 1998-12-18 2002-06-27 Robarts James O. Contextual responses based on automated learning techniques
KR20040094236A (ko) * 2003-05-02 2004-11-09 에스케이 텔레콤주식회사 대화형 인터페이스를 이용한 정보제공 시스템 및 방법
US20060128012A1 (en) * 2004-12-03 2006-06-15 Treena Arinzeh Substrate recognition by differentiable human mesenchymal stem cells

Also Published As

Publication number Publication date
RU2355022C2 (ru) 2009-05-10
KR20090031780A (ko) 2009-03-27
WO2006006028A8 (en) 2007-08-09
RU2007102691A (ru) 2008-08-10
US8407593B2 (en) 2013-03-26
KR20070024737A (ko) 2007-03-02
BRPI0513210A (pt) 2008-04-29
CN101002175A (zh) 2007-07-18
CN101002175B (zh) 2013-04-03
JP2008504779A (ja) 2008-02-14
JP4498417B2 (ja) 2010-07-07
WO2006006028A1 (en) 2006-01-19
BRPI0513210A8 (pt) 2018-04-24
US20060005156A1 (en) 2006-01-05
HK1102514A1 (en) 2007-11-23

Similar Documents

Publication Publication Date Title
KR100971164B1 (ko) 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를 활용하는 방법, 장치 및 컴퓨터 프로그램 생성물
Korpipää et al. Utilising context ontology in mobile device application personalisation
Hervás et al. A Context Model based on Ontological Languages: a Proposal for Information Visualization.
Dey � Context-Aware Computing
RU2417408C2 (ru) Динамический опыт пользователя посредством семантически богатых объектов
KR100992022B1 (ko) 실행 시간에 이동 장치에 추상적 사용자 인터페이스의 동적매핑 시스템 및 방법
US20120200607A1 (en) Offering menu items to a user
KR20130142642A (ko) 이동 단말기, 서버, 시스템, 이동 단말기 및 서버의 제어 방법
Dey et al. Context-awareness and mobile devices
González et al. Context-oriented programming with the ambient object system.
Dumas et al. Design guidelines for adaptive multimodal mobile input solutions
Sánchez et al. Adaptive interface ecosystems in smart cities control systems
Iqbal et al. Towards adaptive user interfaces for mobile-phone in smart world
CN114117225A (zh) 图书推荐方法及图书推荐设备
Bacha et al. Using context modeling and domain ontology in the design of personalized user interface
CN114546113A (zh) 菜单的运行方法、装置、存储介质及电子设备
Dey Explanations in Context-Aware Systems.
Hartmann et al. Context models and context awareness
Kornilova Adaptive user interface patterns for mobile applications
O’Neill et al. Semiotics and interaction analysis
Alatalo et al. Designing mobile-aware adaptive hypermedia
Kölker et al. Towards a Context-Sensitive User Interaction Framework for Information Systems
Hartmann et al. Tailoring the interface to individual users
Hamann et al. A model-driven approach for developing adaptive software systems
Olander Design and implementation of a portal application for mobile handsets

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150618

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee