KR20060127647A - Ubi-middleware for supporting the context-aware service and method of providing the context-aware service in mobile terminal - Google Patents

Ubi-middleware for supporting the context-aware service and method of providing the context-aware service in mobile terminal Download PDF

Info

Publication number
KR20060127647A
KR20060127647A KR1020050048878A KR20050048878A KR20060127647A KR 20060127647 A KR20060127647 A KR 20060127647A KR 1020050048878 A KR1020050048878 A KR 1020050048878A KR 20050048878 A KR20050048878 A KR 20050048878A KR 20060127647 A KR20060127647 A KR 20060127647A
Authority
KR
South Korea
Prior art keywords
context
service
aware
sml
information
Prior art date
Application number
KR1020050048878A
Other languages
Korean (ko)
Other versions
KR100712808B1 (en
Inventor
나승원
김후종
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020050048878A priority Critical patent/KR100712808B1/en
Publication of KR20060127647A publication Critical patent/KR20060127647A/en
Application granted granted Critical
Publication of KR100712808B1 publication Critical patent/KR100712808B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/221Parsing markup language streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Abstract

A ubiquitous middleware for supporting a context-aware service and a method for offering the context-aware service in a mobile terminal by using the same are provided to autonomously perform a user desire, hope, and command, and offer optimal information to a user in real-time by recognizing context of the user according to a service scenario. A U-SML(Ubiquitous Service Markup Language) parser(40) parses a U-SML document received from the outside into a description part, a condition part, and an action part. A service queue(41) receives the service description part. A service scheduler(42) informs a context-aware command part(43) of a context-aware service schedule by checking the schedule described in the description part queued in the service queue. A context information repository(45) obtains/stores context information around the user from a sensor embedded in the mobile terminal and/or an external information providing server. A context information manager(44) transfers the context information to the context-aware command part while managing various context information stored in the context information repository.

Description

상황 인식 서비스 지원을 위한 유비-미들웨어 및 이를 이용한 이동통신 단말기에서의 상황 인식 서비스 제공 방법{Ubi-Middleware for supporting the context-aware service and Method of providing the context-aware service in mobile terminal}Ubi-Middleware for supporting the context-aware service and Method of providing the context-aware service in mobile terminal}

도 1은 본 발명이 적용되는 이동통신 단말기의 유비-미들웨어 인프라에 대한 일실시예 계층도.1 is a hierarchical diagram of an ubiquitous middleware infrastructure of a mobile communication terminal to which the present invention is applied.

도 2는 본 발명에 따른 상황 인식 서비스 지원을 위한 유비-미들웨어에 대한 일실시예 구성도.2 is a diagram illustrating an embodiment of ubiquitous middleware for context-aware service support according to the present invention.

도 3은 본 발명에서 정의한 U-SML 문서의 모듈에 대한 일실시예 구성도.3 is a diagram illustrating an embodiment of a module of a U-SML document defined in the present invention.

도 4는 본 발명에 따른 유비-미들웨어에서 사용되는 상황 인식 관련 데이터에 대한 일실시예 설명도.4 is a diagram illustrating an embodiment of context-aware data used in ubiquitous middleware according to the present invention.

도 5는 본 발명에 따른 이동통신 단말기에서의 유비-미들웨어를 이용한 상황 인식 서비스 제공 방법에 대한 일실시예 흐름도.5 is a flowchart illustrating a method for providing a context awareness service using ubiquitous middleware in a mobile communication terminal according to the present invention.

도 6은 본 발명이 적용된 상황 인식 서비스에 대한 일실시예 설명도.6 is a diagram illustrating an embodiment of a context awareness service to which the present invention is applied.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

40 : U-SML 파서 41 : 서비스 큐40: U-SML Parser 41: Service Queue

42 : 서비스 스케쥴러 43 : 상황 인식 명령부42: service scheduler 43: situation awareness command unit

44 : 상황 정보 관리자 45 : 상황 정보 저장소44: Situation Information Manager 45: Situation Information Store

46 : 액션 스크립트 핸들러46: ActionScript handler

본 발명은 상황 인식 서비스(context-aware service)에 관한 것으로, 더욱 상세하게는 서비스 시나리오에 따라 사용자가 처한 상황을 인식하여 사용자의 요구, 희망, 명령 등을 자율적으로 실행하고 사용자에게 최적의 정보를 실시간으로 제공하기 위한 XML 기반의 유비-미들웨어와, 이동통신 단말기에서 이 유비-미들웨어의 지원을 받아 사용자에게 상황 인식 서비스를 제공하는 방법에 관한 것이다.The present invention relates to a context-aware service, and more particularly, to recognize a user's situation according to a service scenario, to autonomously execute a user's request, desire, command, and the like, and to provide optimal information to the user. The present invention relates to an XML-based ubiquitous middleware for providing in real time, and a method for providing a context awareness service to a user with support of the ubiquitous middleware in a mobile communication terminal.

최근의 정보통신 패러다임은 유비쿼터스 컴퓨팅(Ubiquitous Computing), 유비쿼터스 네트워크(Ubiquitous Network), 퍼배시브 컴퓨팅(Pervasive Computing) 등이라 할 수 있다. 이는 모두 동일한 개념으로서, 유비쿼터스가 의미하는 것은 사용자가 언제/어디서라도 원하는 정보를 손쉽게 얻을 수 있음을 말한다.Recent telecommunication paradigms may be ubiquitous computing, ubiquitous network, pervasive computing, and the like. These are all the same concept, meaning ubiquitous means that the user can easily obtain the information they want anytime / anywhere.

향후 도래할 유비쿼터스 시대에는 컴퓨팅 및 커뮤니케이션 능력을 가진 스마트 객체들이 동적인 환경 변화를 인식하고 이에 적응할 수 있는 특성, 즉 상황 인식 특성을 갖게 될 것이다.In the coming ubiquitous era, smart objects with computing and communication capabilities will be able to recognize and adapt to dynamic environment changes, that is, situational awareness.

앞서 언급한 상황 인식(context aware)이란 주변 환경으로부터 사용자의 현재 위치, 행동 및 작업, 온도, 시간, 감정 상태 등의 변화를 획득해 내는 것을 말한다. 그리고, 상황 인식 서비스(CAS; context aware service)란 위와 같은 상황 정보(context information)를 토대로 사용자가 처한 상황에 적합한 서비스를 제공하는 것을 말한다. 이러한 상황 인식 서비스는 상황 정보의 수집 및 교환을 통해 사용자가 처한 상황을 인식하고, 해석 및 추론과 같은 처리 과정을 거쳐 사용자에게 상황에 적합한 서비스를 제공하는 것이며, 향후 유비쿼터스 시대에서 주요 서비스로 부각될 것이다.Context aware refers to acquiring changes in the user's current location, behavior and tasks, temperature, time, and emotional state from the environment. In addition, a context aware service (CAS) refers to providing a service suitable for a user's situation based on the above context information. This context-aware service recognizes the user's situation by collecting and exchanging the situation information, and provides the user with the appropriate service through the process of interpretation and reasoning, and will emerge as the main service in the ubiquitous era in the future. will be.

종래에 사람과 사람간의 커뮤니케이션에서는 사용자가 자신의 오감과 지성에 의존하여 상황 정보를 수집하여 추론을 통해 현재 상황을 판단해 적절한 서비스를 타인에게 요청하여 제공받고 있는 형편이다.Conventionally, in communication between people, the user collects situation information based on his five senses and intellect, judges the current situation through inference, and requests and provides appropriate services to others.

그렇지만, 향후 유비쿼터스 시대에서는 일상 생활 주변의 주요 사물 및 장치가 컴퓨팅 및 커뮤니케이션 능력과 주변 상황을 인식하는 능력을 가지게 될 것이며, 이에 지능화된 사물 및 장치간의 커뮤니케이션을 통해 사용자는 상황에 적절하고 유용한 서비스를 편안하게 제공받을 수 있을 것이다. 이와 같은 유비쿼터스 시대에서 지능화된 사물 및 장치로는 대중들에게 보편화된 이동통신 단말기가 대표적일 수 있다.However, in the future ubiquitous era, the major objects and devices around everyday life will have computing and communication ability and the ability to recognize the surrounding situation. You will be comfortable. In such a ubiquitous era, as an intelligent thing and device, a mobile communication terminal that is universal to the public may be representative.

그러나, 종래의 이동통신 단말기는 이동성과 휴대성이 보장되지만, 지능형 에이전트 기능, 특히 상황 정보 수집 및 교환을 통해 사용자가 처한 상황을 인식하고, 해석 및 추론과 같은 처리 과정을 거쳐 사용자에게 상황에 적합한 서비스를 제 공하지는 못하고 있는 형편이다.However, the conventional mobile communication terminal guarantees mobility and portability, but recognizes the user's situation through intelligent agent function, in particular, collecting and exchanging situation information, and is suitable for the user through processing such as interpretation and inference. It does not provide services.

예컨대, 이동통신 단말기에 무선 인터넷 기능이 탑재되어 있어서 사용자는 언제/어디서나 인터넷에 접속하여 원하는 정보를 얻을 수 있으나, 현재 자신이 처한 상황을 스스로 인지하여 직접 정보 검색 등을 통해 상황에 적합한 서비스를 제공받고 있는 형편이다.For example, the mobile communication terminal is equipped with a wireless Internet function so that the user can access the Internet anytime and anywhere to obtain the desired information. I'm getting it.

또한, 지능형 에이전트 프로그램이 이동통신 단말기에 탑재되더라도, 단말 제조업체별로 서로 다른 사양의 이동통신 단말기에는 각 단말 스펙에 따른 지능형 에이전트 프로그램이 각각 탑재되어야 된다. 한편, 위와 같은 서로 다른 지능형 에이전트 프로그램으로 콘텐츠, 바람직하게는 상황 정보가 서로 다른 형식, 포맷 등으로 각각 제공되어야 되며, 이에 콘텐츠 제공업체 서버에서는 각 단말에 맞는 상황 정보를 생성해야 된다. 다시 말하면, 이러한 지능형 에이전트 프로그램은 단말 운영체제 위에서 실행되는 어플리케이션으로서, 표준화된 상황 인식 스펙이 존재하지 않기 때문에 각 프로그램 개발업체별로 서로 다른 규격으로 구현되고 있는 형편이다.In addition, even if the intelligent agent program is mounted in the mobile communication terminal, the intelligent agent program according to each terminal specification should be mounted in the mobile communication terminal having different specifications for each terminal manufacturer. On the other hand, the content of the intelligent agent program as described above, preferably the situation information should be provided in different formats, formats, etc., respectively, the content provider server must generate the situation information for each terminal. In other words, such an intelligent agent program is an application that runs on a terminal operating system. Since there is no standardized situation recognition specification, each program developer is implemented in a different standard.

본 발명은 상기와 같은 문제점을 해결하고 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 서비스 시나리오에 따라 사용자가 처한 상황을 인식하여 사용자의 요구, 희망, 명령 등을 자율적으로 실행하고 사용자에게 최적의 정보를 실시간으로 제공하기 위한 XML 기반의 유비-미들웨어와, 이동통신 단말기에서 이 유비- 미들웨어의 지원을 받아 사용자에게 상황 인식 서비스를 제공하는 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems and to meet the above demands, and recognizes the situation of the user according to the service scenario to autonomously execute the user's request, desire, command, etc. and is optimal for the user. The purpose of the present invention is to provide a ubiquitous middleware based on XML for providing information in real time, and a method for providing a context awareness service to a user with the support of the ubiquitous middleware in a mobile communication terminal.

상기의 목적을 달성하기 위한 본 발명은, 외부로부터 제공받은 U-SML(Ubiquitous-Service Markup Language) 문서를 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트 및 상황 인식 서비스 실행 파트로 파싱하는 U-SML 파서; 상기 U-SML 파서에서 파싱된 상황 인식 서비스 설명 파트가 큐잉되는 서비스 큐; 상기 서비스 큐에 큐잉된 상황 인식 서비스 설명 파트에 기술된 스케쥴을 파악하여 상황 인식 명령부에게 상황 인식 서비스 스케쥴을 알리는 서비스 스케쥴러; 단말 내부에 탑재된 센서 또는/및 외부 정보 제공 서버로부터 획득한 사용자 주변의 상황 정보가 저장되는 상황 정보 저장소; 상기 상황 정보 저장소에 저장되어 있는 각종 상황 정보를 관리하면서 상황 인식 명령부에게 상황 정보를 전달하는 상황 정보 관리자; 상기 서비스 스케쥴러로부터 알림받은 스케쥴에 따라 실행되면서 상기 U-SML 파서에서 파싱된 상황 인식 서비스 조건 파트에 기술된 상황 조건과 상황 정보 관리자로부터 전달받은 상황 정보가 일치하는지를 검사하고, 검사 결과로 일치한 경우에 액션 스크립트 핸들러에게 해당되는 상황 인식 서비스 실행을 명령하는 상황 인식 명령부; 및 상기 상황 인식 명령부의 명령에 의해 상기 U-SML 파서에서 파싱된 상황 인식 서비스 실행 파트에 기술된 실행 내용을 해당되는 어플리케이션을 통해 실행시키는 액션 스크립트 핸들러로 이루어진 상황 인식 서비스 지원을 위한 유비-미들웨어를 제공한다.In order to achieve the above object, the present invention provides a U-SML for parsing an externally provided Ubiquitous-Service Markup Language (U-SML) document into a context recognition service description part, a context recognition service condition part, and a context awareness service execution part. A parser; A service queue to which the context aware service description part parsed by the U-SML parser is queued; A service scheduler which grasps the schedule described in the context aware service description part queued in the service queue and informs the context aware command section of the context aware service schedule; A situation information storage configured to store situation information around a user acquired from a sensor mounted in the terminal and / or an external information providing server; A context information manager for managing the context information stored in the context information repository and delivering the context information to the context awareness command unit; If the situation condition described in the context recognition service condition part parsed by the U-SML parser matches the situation information received from the situation information manager while executing according to the schedule notified from the service scheduler, and matches with the inspection result. A context awareness instruction unit for instructing an action handler to execute a context awareness service; And an action script handler configured to execute the execution contents described in the context recognition service execution part parsed by the U-SML parser through a corresponding application by an instruction of the context awareness command unit. to provide.

한편, 본 발명의 방법은, 이동통신 단말기에서의 상황 인식 서비스 제공 방법에 있어서, 상기 이동통신 단말기에서는 사용자의 서비스 시나리오에 의해 생성된 U-SML(Ubiquitous-Service Markup Language) 문서가 외부로부터 다운로드되면 상기 U-SML 문서를 유비-미들웨어에 등록하고, 상기 유비-미들웨어가 U-SML 문서 등록에 따라 상황 인식 서비스를 개시하되, 상기 U-SML 문서를 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트 및 상황 인식 서비스 실행 파트로 파싱하는 제 1 단계; 상기 파싱된 상황 인식 서비스 설명 파트를 큐잉시키는 제 2 단계; 상기 큐잉된 상황 인식 서비스 설명 파트에 기술된 스케쥴을 파악하는 제 3 단계; 상기 파악한 스케쥴에 따라 상기 파싱된 상황 인식 서비스 조건 파트에 기술된 상황 조건과 단말 내부에 탑재된 센서 또는/및 외부 정보 제공 서버로부터 획득한 사용자 주변의 상황 정보가 일치하는지를 검사하는 제 4 단계; 및 상기 검사 결과로 상황 조건과 상황 정보가 일치한 경우에 상기 파싱된 상황 인식 서비스 실행 파트에 기술된 실행 내용을 해당되는 어플리케이션을 통해 실행시키라고 명령하는 제 5 단계를 포함한다.On the other hand, the method of the present invention, in the context-aware service providing method in the mobile communication terminal, when the Ubiquitous-Service Markup Language (U-SML) document generated by the service scenario of the user is downloaded from the outside The U-SML document is registered in the ubiquitous middleware, and the ubiquitous middleware starts a context recognition service according to the U-SML document registration, and the U-SML document is included in the context recognition service description part, the context recognition service condition part, and Parsing into a context aware service execution part; Queuing the parsed context aware service description part; Identifying a schedule described in the queued context aware service description part; A fourth step of checking whether or not the context condition described in the parsed context recognition service condition part coincides with the context information around the user acquired from a sensor mounted in the terminal and / or an external information providing server according to the identified schedule; And a fifth step of instructing execution of the execution contents described in the parsed situation recognition service execution part to be executed through the corresponding application when the situation condition and the situation information match with the inspection result.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라 질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed descriptions of well-known functions or configurations will be omitted if it is determined that the detailed description of the present invention may unnecessarily obscure the subject matter of the present invention. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 본 발명이 적용되는 이동통신 단말기의 유비-미들웨어 인프라에 대한 일실시예 계층도이다.1 is a hierarchical diagram of an ubiquitous middleware infrastructure of a mobile communication terminal to which the present invention is applied.

도 1에 도시된 바와 같이, 일반적인 이동통신 단말기에는 하드웨어 계층에 속하는 디스플레이, 키패드, 마이크, 스피커, 메모리, CPU, GPS 모듈 등과 같은 하드웨어(10), 운영체제 계층에 속하는 O/S(예; REX 등)(11)과, 미들웨어 계층에 속하는 무선 인터넷 플랫폼[예; 위피(WIPI) 등](12)과, 어플리케이션 계층에 속하는 콘텐츠(13) 및 다운로드 어플리케이션(14)이 탑재되어 있다. 한편, 통신망에는 상기 이동통신 단말기로 인터넷을 통해 각종 콘텐츠를 제공하기 위한 콘텐츠 제공 서버(20)가 구비되어 있다.As shown in FIG. 1, a typical mobile communication terminal includes a hardware 10 such as a display, a keypad, a microphone, a speaker, a memory, a CPU, a GPS module, etc. belonging to a hardware layer, and an O / S (eg, REX, etc.) belonging to an operating system layer. 11 and a wireless Internet platform (eg, belonging to the middleware layer); 12, a content 13 belonging to an application layer, and a download application 14 are mounted. On the other hand, the communication network is provided with a content providing server 20 for providing various contents to the mobile communication terminal via the Internet.

위와 같은 이동통신 단말기의 미들웨어 계층에 본 발명의 유비-미들웨어(Ubi-Middleware)(30)가 탑재되며, 유비-미들웨어(30)의 상위 계층인 어플리케이션 계층에 유비-에이전트(32)를 유비-미들웨어(30)로 포팅(연결)시키기 위한 유비-에이전트 관리 게이트웨이(Ubi-Agent Management Gateway)(31)가 탑재되며, 어플리케이션 계층에 사용자와의 멀티 모달을 위한 유비-에이전트(Ubi-Agent)(32)가 탑재된다.Ubi-Middleware 30 of the present invention is mounted on the middleware layer of the mobile communication terminal as described above, and the Ubi-Agent 32 is installed on the application layer that is the upper layer of the Ubi-Middleware 30. Ubi-Agent Management Gateway (31) for porting (connecting) to (30) is mounted, Ubi-Agent (Ubi-Agent) for multi-modality with the user in the application layer (32) Is mounted.

전술한 바와 같이, 유비-미들웨어 인프라(Ubi-Middleware Infra)는 크게 유비 에이전트 단말 인프라 영역, 즉 유비-미들웨어(30), 유비-에이전트 관리 게이트 웨이(31) 및 유비-에이전트(32)와, 기존의 모바일 서비스 인프라 영역, 즉 무선 인터넷 플랫폼(12), 다운로드 어플리케이션(14) 등으로 나뉨을 알 수 있다. 여기서, 모바일 서비스 인프라 영역은 콘텐츠 제공 서버(20)에서 가공/저장/전송된 상황 인식 서비스 관련 콘텐츠를 기존과 같이 처리하기 위함이고, 유비 에이전트 단말 인프라 영역은 콘텐츠 제공 서버(20)로부터 제공받은 상황 인식 관련 콘텐츠를 토대로 사용자가 처한 상황을 인식하여 사용자의 요구, 희망, 명령 등을 자율적으로 실행하고 사용자에게 최적의 정보를 실시간으로 제공하기 위함이다.As described above, the Ubi-Middleware Infra is largely divided into the Ubi-Agent terminal infrastructure area, that is, Ubi-Middleware 30, Ubi-Agent Management Gateway 31 and Ubi-Agent 32, and It can be seen that the mobile service infrastructure area of, i.e., wireless Internet platform 12, download application 14, and the like. Here, the mobile service infrastructure area is to process the content related to the context recognition service processed / stored / transmitted from the content providing server 20 as before, the ubiquitous agent terminal infrastructure area is provided from the content providing server 20 This is to recognize the situation of the user based on the contents related to the recognition, to autonomously execute the user's demands, desires, and commands, and to provide the user with the optimal information in real time.

위와 같이 이동통신 단말기에 유비 에이전트 단말 인프라 영역과 모바일 서비스 인프라 영역을 구분짓는 것은 기존에 존재하던 다양한 서비스를 수정하지 않고서 이동통신 단말기에서 사용할 수 있도록 하기 위함이며, 이는 콘텐츠 제공자에게 콘텐츠 재생성에 따른 비용/부담을 덜어줄 수 있다.The distinction between the ubiquitous agent terminal infrastructure area and the mobile service infrastructure area in the mobile communication terminal as described above is to enable the mobile communication terminal to be used without modifying various existing services. Can ease the burden

따라서, 본 발명의 유비 에이전트 단말 인프라 영역에서는 기존의 모바일 서비스 인프라 영역인 위피, 브라우저 등과의 연동을 통해 기존 서비스 내에서 상황 인식 관련 콘텐츠를 가공/응용할 수 있다.Therefore, in the ubiquitous agent terminal infrastructure area of the present invention, context-related content may be processed / applied within the existing service through interworking with the existing mobile service infrastructure area of Wi-Fi and a browser.

도 2는 본 발명에 따른 상황 인식 서비스 지원을 위한 유비-미들웨어에 대한 일실시예 구성도이다.2 is a diagram illustrating an embodiment of ubiquitous middleware for supporting context awareness service according to the present invention.

본 발명에 따른 이동통신 단말기에서의 상황 인식 서비스 지원을 위한 유비-미들웨어(30)는 U-SML 파서(U-SML Parser)(40), 서비스 큐(Service Queue)(41), 서비스 스케쥴러(Service Scheduler)(42), 상황 인식 명령부(Context-Aware Commander)(44), 상황 정보 관리자(Context Information Manager)(44), 상황 정보 저장소(Context Information Repository)(45), 액션 스크립트 핸들러(Action Script Handler)(46)로 이루어진다.The ubiquitous middleware 30 for supporting a context aware service in a mobile communication terminal according to the present invention includes a U-SML parser 40, a service queue 41, and a service scheduler. Scheduler 42, Context-Aware Commander 44, Context Information Manager 44, Context Information Repository 45, Action Script Handler Handler) 46.

한편, 도면에 도시된 상황 인식 서비스 수행부(Context-Aware Service Implementer)(47)는 기존의 모바일 서비스 인프라 영역에 속하는 위피, 브라우저, 다운로드 어플리케이션 등으로 구현되며, 액션 스크립트 핸들러(46)에 의해 상황 인식 서비스가 수행되는 모듈로서 본 발명의 유비-미들웨어(30)에 속하지 않음을 밝혀 둔다.Meanwhile, the context-aware service implementer 47 shown in the figure is implemented as a Wi-Fi, a browser, a download application, etc. belonging to the existing mobile service infrastructure area, and the context is handled by the action script handler 46. Note that the recognition service is a module that does not belong to the ubiquitous middleware 30 of the present invention.

본 발명에서는 모바일 환경에서 자주 사용되는 상황 인식 서비스를 쉽게 표현할 수 있는 언어, 즉 XML 기반의 "U-SML(Ubiquitous-Service Markup Language)"을 정의한다. 이러한 U-SML의 각 모듈에 대해서는 도 3을 참조하여 상세히 후술하기로 한다.The present invention defines a language capable of easily expressing a context-aware service frequently used in a mobile environment, that is, an XML-based "Ubiquitous-Service Markup Language (U-SML)". Each module of the U-SML will be described later in detail with reference to FIG. 3.

도 2에 도시된 바와 같이, 본 발명의 유비-미들웨어는 U-SML 문서로 표현된 상황 인식 서비스 시나리오의 디스크립션 파트(Description Part, 상황 인식 서비스 설명 파트), 컨디션 파트(Condition Part, 상황 인식 서비스 조건 파트) 및 액션 파트(Action Part, 상황 인식 서비스 실행 파트)에 맞추어 이동통신 단말기 사용자가 처한 상황을 인식하여 사용자의 요구, 희망, 명령 등을 자율적으로 실행하고 사용자에게 최적의 정보를 실시간으로 제공한다.As shown in FIG. 2, the ubiquitous middleware of the present invention is a description part of a context recognition service scenario represented by a U-SML document, a context recognition service description part, a condition part, and a context recognition service condition. Recognize the situation of the user of the mobile communication terminal according to the part) and the action part (action part, execution part) and autonomously execute the user's request, desire, command, etc. and provide the user with the best information in real time. .

즉, U-SML 문서는 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트, 상황 인식 서비스 실행 파트로 이루어지며, 하나의 상황 인식 서비스에 대해 하나의 U-SML 문서가 대응된다. 이러한 U-SML 문서는 유비-미들웨어(30), 바람직하게는 U-SML 파서(40)에 의해 백그라운드 프로세스로 문서 내 구문이 파싱(해석)되어 이동통신 단말기 상에서 읽혀진다.That is, the U-SML document is composed of a context aware service description part, a context aware service condition part, and a context aware service execution part, and one U-SML document corresponds to one context aware service. Such U-SML documents are parsed (interpreted) by the ubiquity middleware 30, preferably U-SML parser 40, in a background process and read on the mobile terminal.

상기 U-SML 문서가 이동통신 단말기 상에서 파싱(parsing)됨에 따라, 상기 서비스 큐(41)에 U-SML 문서의 상황 인식 서비스 설명 파트가 큐잉(queuing)되고, 상기 서비스 스케쥴러(42)에서 서비스 큐(41)에 큐잉된 상황 인식 서비스 설명 파트에 기술된 스케쥴을 상황 인식 명령부(43)로 전달하고, 상황 정보 관리자(44)에서 상황 정보 저장소(45)에 저장된 상황 정보를 상황 인식 명령부(43)로 전달한다. 이에, 상기 상황 인식 명령부(43)에서 U-SML 문서의 상황 인식 서비스 조건 파트에 기술된 조건과 위 상황 정보가 일치하면 액션 스크립트 핸들러(46)에 해당 내용을 실행시키라고 명령하고, 그에 따라 상기 액션 스크립트 핸들러(46)에서 U-SML 문서의 상황 인식 서비스 실행 파트에 기술된 내용을 상황 인식 서비스 수행부(47)를 통해 실행시킨다.As the U-SML document is parsed on the mobile communication terminal, the context-aware service description part of the U-SML document is queued in the service queue 41, and the service scheduler 42 performs a service queue. The schedule described in the context awareness service description part queued at 41 is transmitted to the context awareness command section 43, and the context information manager 44 sends the context information stored in the context information store 45 to the context awareness command section ( 43). Accordingly, when the context recognition command unit 43 matches the condition described in the context recognition service condition part of the U-SML document with the above context information, the action script handler 46 instructs the action to be executed, and accordingly The action script handler 46 executes the contents described in the context aware service execution part of the U-SML document through the context awareness service performer 47.

한편, 상황 인식 서비스 조건이 일치되지 않는 상황 인식 서비스 실행 파트는 실행되지 않은 채로 서비스 큐(41)에 계속 남아 있게 되며, 상황 인식 서비스 실행 파트가 실행되지 않은 채로 서비스 큐(41)에 저장되어 있는 U-SML 문서는 유효 기간이 만료[즉, 상황 인식 서비스 설명 파트에 기술된 스케쥴이 만료]되면 서비스 스케쥴러(42)에 의해 정리, 즉 삭제된다.Meanwhile, the context aware service execution part that does not match the context awareness service condition remains in the service queue 41 without being executed, and is stored in the service queue 41 without the context awareness service execution part running. The U-SML document is cleaned up, that is, deleted by the service scheduler 42 when the validity period expires (i.e., the schedule described in the context aware service description part expires).

도 3은 본 발명에서 정의한 U-SML 문서의 모듈에 대한 일실시예 구성도이다.3 is a diagram illustrating an embodiment of a module of a U-SML document defined in the present invention.

도 3에 도시된 바와 같이, 본 발명에서 정의한 U-SML 문서는 데이터가 포함되어 있는 XML 기반의 문서로서, 앞서 언급한 바와 같이 디스크립션 파트(Description Part, 상황 인식 서비스 설명 파트)(50), 컨디션 파트(Condition Part, 상황 인식 서비스 조건 파트)(60) 및 액션 파트(Action Part, 상황 인식 서비스 실행 파트)(70)로 이루어진다. 특히, U-SML 문서는 이동통신 단말기에 구현될 상황 인식 서비스에 따라 각 기능의 업데이트가 용이하며, 간단하게 새로운 서비스 생성이 가능하다는 장점이 있다.As shown in FIG. 3, the U-SML document defined in the present invention is an XML-based document including data. As described above, a description part (condition description service description part) 50 and a condition are mentioned. It consists of a part (Condition Part, context awareness service condition part) 60 and an action part (action part, context awareness service execution part) 70. In particular, the U-SML document has the advantage that it is easy to update each function according to the context-aware service to be implemented in the mobile terminal, and that a new service can be simply generated.

상기 상황 인식 서비스 설명 파트(50)는 서비스명(title)(51), 스케쥴(schedule)(52) 및 사용자 권한(user permission)(53) 등으로 이루어진다.The context aware service description part 50 is composed of a service title 51, a schedule 52, a user permission 53, and the like.

상기 상황 인식 서비스 조건 파트(60)는 사용자 위치(location)(61), 배터리 상태(battery)(62), 사용자 이동성(move)(63), 서비스 사용 시각(use time)(64a), 현재 시각(time)(64b), 조도(light)(65), 온도(temperature)(66), 소음(noise)(67), 날씨(weather)(68) 및 메디컬 센싱 정보(medical sensing)(69) 등으로 이루어진다.The context-aware service condition part 60 includes a user location 61, a battery 62, a user move 63, a use time 64a, a current time. time (64b), light (65), temperature (66), noise (67), weather (68) and medical sensing (69), etc. Is done.

상기 상황 인식 서비스 실행 파트(70)는 SMS 송수신, 사운드 알람, 브라우저 실행, 특정 프로그램 실행에 관한 처리 절차가 기술된 다수의 스크립트(script)(71)로 이루어진다. 한편, 각 파트(50, 60, 70)의 모듈은 선택적으로 U-SML 문서에 기술된다.The context recognition service execution part 70 is composed of a plurality of scripts 71 describing processing procedures related to SMS transmission, reception, sound alarm, browser execution, and specific program execution. On the other hand, the modules of each part 50, 60, 70 are optionally described in the U-SML document.

위와 같은 U-SML 문서에 대해 [표 1]에 예문을 들면 다음과 같다.An example of the above U-SML document in [Table 1] is as follows.

<usml> <descrption> //상황 인식 서비스 설명 파트(50) <title>골프장 주변 식당 안내</title> <schedule start=“2005/05/01” expire=“2005/05/31” week=“sat, sun” time=“10:00AM~12:00AM” loop=“20min”> </description> <condition> //상황 인식 서비스 조건 파트(60) <location area=“골프장” option=“field” cond=“1”> <location area=“경기도, 대한민국” option=“around” cond=“1”> <nomove duration=“>1:00:00”> <time range=“>11:00AM,<12:00PM”> </condition> <action> //상황 인식 서비스 실행 파트(70) <script>browser.url=“http://wap.nate.com/food/a.jsp?location=$location&favorite=$favorite”; </script> </action> </usml><usml> <descrption> // Situation Awareness Service Description Part (50) <title> Guide to Restaurants Near Golf Course </ title> <schedule start = “2005/05/01” expire = “2005/05/31” week = “ sat, sun ”time =“ 10:00 AM~12:00AM ”loop =“ 20min ”> </ description> <condition> // Situation Awareness Service Condition Part 60 <location area =“ Golf Course ”option =“ field ” cond = “1”> <location area = “Gyeonggi-do, South Korea” option = “around” cond = “1”> <nomove duration = “> 1:00:00”> <time range = “> 11:00 AM, < 12:00 PM ”> </ condition> <action> // Run Situational Aware Service Part (70) <script> browser.url =“ http://wap.nate.com/food/a.jsp?location=$location&favorite = $ favorite ”; </ script> </ action> </ usml>

위 [표 1]의 U-SML 문서에서, "<description>"에는 화면에 표시되는 "<title>"과 스케쥴 정보를 명시하는 "<schedule>"이 기술되어 있으며, 기술된 내용은 "2005년 05월 01일부터 2005년 05월 31일 사이에 주말동안 오전 10시부터 오전 12시까지 20분 간격으로 상황 인식 조건을 인지한다"라는 것이다. 여기서, 사용자 권한(53)에 대해서는 기술되어 있지 않다.In the U-SML document of [Table 1] above, "<description>" describes "<title>" displayed on the screen and "<schedule>" which specifies the schedule information. "We recognize situational awareness at 20-minute intervals between 10 am and 12 am during the weekend between May 01 and May 31, 2005." Here, the user right 53 is not described.

"<condition>"에는 하나 이상의 조건 및 여러 조건이 결합된 형태의 조건이 기술될 수 있다. "<condition>"에 기술된 내용은 "대한민국의 경기도에 위치한 골프장에서 사용자가 골프를 치고 있고, 사용자가 1시간 이상 골프장 밖으로 움직이지(이탈하지) 않고, 현재 시각이 오전 11시부터 오전 12시 사이라면 조건이 일치한다"라는 것이다."<condition>" may describe one or more conditions and a condition in which several conditions are combined. The content described in "<condition>" means that the user is playing golf at a golf course located in Gyeonggi-do, South Korea, and the user does not move out of the golf course for more than one hour (does not leave) and the current time is from 11 am to 12 am If it's between, the condition is consistent. "

"<action>"에는 인지 조건이 맞으면 브라우저에 접속하라는 스크립트(71)가 기술되어 있으며, 그 내용은 "콘텐츠 제공 서버(20)로 접속해 현재 위치 정보($location)와 사용자가 먹을 수 있는 음식 정보 및 음식점 정보($favorite)를 브라우저에 표시한다"라는 것이다."<action>" describes a script (71) for accessing the browser when the recognition condition is met, the contents of which are connected to the "content providing server 20, the current location information ($ location) and the food that the user can eat. Information and restaurant information ($ favorite) in the browser. "

도 4는 본 발명에 따른 유비-미들웨어에서 사용되는 상황 인식 관련 데이터에 대한 일실시예 설명도이다.4 is a diagram illustrating an embodiment of context awareness related data used in ubiquitous middleware according to the present invention.

도면에 도시된 바와 같이, 유비-미들웨어에서 사용되는 상황 인식 관련 데이터는 상황 인식 조건 데이터(context-aware condition data), 센싱 데이터(sensing data) 및 정보/동작 데이터(information & action data)로 나뉜다.As shown in the figure, context-related data used in ubiquitous middleware is divided into context-aware condition data, sensing data, and information / action data.

상기 상황 인식 조건 데이터는 상황 인식 서비스 제공 서버에서 가공되어 U-SML 문서에 포함되는데, 사용자의 서비스 시나리오 입력 사항에 따라 조건이 결정되어 생성된다. 이동통신 단말기에서는 다운로드 어플리케이션(14)을 통해 상황 인식 서비스 제공 서버로부터 상황 인식 조건 데이터를 다운로드받으며, 이러한 U-SML 문서가 유비-미들웨어(30)에 의해 읽혀짐에 의해 상황 인식 조건 데이터가 유비-미들웨어(30)에서 처리된다. 도 3에 도시된 "<condition>"이 사용자의 서비스 시나리오 입력 사항에 따라 생성된 상황 인식 조건 데이터이다.The context recognition condition data is processed by the context recognition service providing server and included in the U-SML document. The condition is determined and generated according to the service scenario input of the user. In the mobile communication terminal, the situation recognition condition data is downloaded from the context awareness service providing server through the download application 14, and the U-SML document is read by the ubiquitous middleware 30 so that the context recognition condition data is ubiquitous. It is processed in the middleware 30. "<Condition>" shown in FIG. 3 is situation recognition condition data generated according to a service scenario input item of a user.

상기 센싱 데이터는 이동통신 단말기에 탑재된 각종 센서로부터 획득한 비가공 센싱 테이터[즉 센서에서 획득한 X/Y 좌표로 표현되는 GPS 위치정보 등)와, 위치 정보 제공 서버(LBS 서버)에서 이동통신 단말기로부터 수신받은 데이터가 가공되어 이동통신 단말기로 제공되는 가공 센싱 데이터[즉 X/Y 좌표로 표현되는 GPS 위치정보에 상응하는 POI 정보, 예컨대 X/Y 좌표 지점의 건물명, 도로 정보 등]으로 분류된다. 이러한 센싱 데이터는 유비-미들웨어(30)에서 상황 인지 조건을 판단할 때 사용자 상황 정보로 사용된다. 도 3에 도시된 "<condition>"의 서비스 사용 시각이 현재 시각과 일치하는 지를 판단할 때에 사용되는 이동통신 단말기에 탑재된 시계가 센서이며, 이 시계를 통해 파악한 현재 시각이 비가공 센싱 데이터이다.The sensing data includes raw sensing data obtained from various sensors mounted in the mobile communication terminal (ie, GPS position information represented by X / Y coordinates acquired from the sensor) and mobile communication in a location information providing server (LBS server). The data received from the terminal is processed and classified into processed sensing data (ie, POI information corresponding to GPS location information expressed in X / Y coordinates, for example, building names of X / Y coordinate points, road information, etc.) provided to the mobile communication terminal. do. The sensing data is used as user context information when the situation recognition condition is determined by the ubiquity middleware 30. The sensor mounted on the mobile communication terminal used to determine whether the service usage time of "<condition>" shown in FIG. 3 matches the current time is a sensor, and the current time captured through this clock is raw sensing data. .

상기 정보/동작 데이터는 유비-미들웨어(30)에서 상황 인식 조건 데이터와 센싱 데이터(사용자 상황)을 비교하여 조건이 일치한 경우에 콘텐츠 제공 서버(20)로부터 다운로드되는 데이터이다. 도 3에 도시된 "<action>"에 기술된 다운로드 URL에 명시된 왑페이지가 정보/동작 데이터이다.The information / action data is data downloaded from the content providing server 20 when the conditions match by comparing the situation recognition condition data with the sensing data (user situation) in the ubiquity middleware 30. The swap page specified in the download URL described in "<action>" shown in Fig. 3 is information / action data.

도 5는 본 발명에 따른 이동통신 단말기에서의 유비-미들웨어를 이용한 상황 인식 서비스 제공 방법에 대한 일실시예 흐름도이다.5 is a flowchart illustrating a method for providing a context awareness service using ubiquitous middleware in a mobile communication terminal according to the present invention.

먼저, 사용자가 상황 인식 서비스, 예컨대 골프장 주변 식당 안내 서비스를 제공받기 위해, 2005년 05월 01일에 자신의 이동통신 단말기로 상황 인식 서비스 제공 서버로 접속한다(500).First, in order to receive a situation awareness service, for example, a restaurant guide service around a golf course, a user accesses a situation awareness service providing server to his mobile communication terminal on May 01, 2005 (500).

위와 같이 상황 인식 서비스 제공 서버에 접속한 상태에서 사용자는 상황 인식 서비스 제공 서버에서 제공되는 서비스 리스트, 예를 들어 "1. 골프장 주변 식당 안내 서비스", "2. 영화관 앞에서 영화 안내 서비스", "3. 날씨에 따른 외출복 제안 서비스" 등을 살펴 보면서 자신이 원하는 서비스인 "1. 골프장 주변 식당 안내 서비스"를 선택한다(501).When the user is connected to the context-aware service providing server as described above, the user provides a list of services provided by the context-aware service providing server, for example, "1. Restaurant guide service around a golf course", "2. Movie guide service in front of a cinema", "3 Looking for a service to go out according to the weather, etc. "1. Select a service around the golf course restaurants" (501).

그리고 나서, 사용자는 상황 인식 서비스 제공 서버의 질의에 따라 "골프장 주변 식당 안내 서비스"에 대한 서비스 시나리오를 입력시킨다(502). 이때, 사용자는 상황 인식 서비스 스케쥴로 "2005년 05월 01일부터 2005년 05월 31일 사이에 주말동안 오전 10시부터 오전 12시까지 20분 간격으로 상황 인식 조건을 인지한다"와, 상황 인식 서비스 조건으로 "대한민국의 경기도에 위치한 골프장에서 사용자가 골프를 치고 있고, 사용자가 1시간 이상 골프장 밖으로 움직이지(이탈하지) 않고, 현재 시각이 오전 11시부터 오전 12시 사이인 경우"와, 상황 인식 서비스 실행 내용으로 "콘텐츠 제공 서버(20)로 접속해 현재 위치 정보($location)와 사용자가 먹을 수 있는 음식 정보 및 음식점 정보($favorite)를 브라우저에 표시한다"라는 서비스 시나리오를 입력시킨다.Then, the user inputs a service scenario for “restaurant guide service around golf course” according to the query of the context aware service providing server (502). At this time, the user recognizes the situation recognition condition in the 20 minutes interval from 10 am to 12 am during the weekend between May 01, 2005 and May 31, 2005 as the situation awareness service schedule. As a condition of service, "If you are playing golf at a golf course in Gyeonggi-do, South Korea, and you are not moving outside of the golf course for more than one hour, and the current time is between 11 am and 12 am," A service scenario of "recognizing the location information ($ location) and the user's food information and restaurant information ($ favorite) displayed on the browser by accessing the content providing server 20 as a content recognition server execution content" is input.

이에, 상기 상황 인식 서비스 제공 서버에서는 사용자가 입력시킨 서비스 시나리오를 토대로 사용자에게 제공할 "골프장 주변 식당 안내 서비스"에 대한 U-SML 문서를 생성하여 이동통신 단말기로 다운로드시킨다(503). 이러한 U-SML 문서는 [표 1]에서 앞서 보인 바 있다.Accordingly, the context-aware service providing server generates a U-SML document for a "restaurant guide service around the golf course" to be provided to the user based on the service scenario input by the user and downloads the U-SML document to the mobile communication terminal (503). These U-SML documents have been shown earlier in [Table 1].

그에 따라, 상기 이동통신 단말기에서는 다운로드 어플리케이션(14)을 통해 콘텐츠, 바람직하게는 "골프장 주변 식당 안내 서비스"에 대한 U-SML 문서를 다운로드받아 유비-에이전트(32)에 의해 유비-미들웨어(30)에 등록된다(504). 이에, 상기 유비-미들웨어(30)에서는 U-SML 문서를 다운로드받은 시점, 즉 "골프장 주변 식당 안내 서비스"를 등록한 2005년 05월 01일부터 본 서비스를 개시한다. 이하, 유비-미들웨어(30)에서 "골프장 주변 식당 안내 서비스"가 2005년 05월 01일부터 개시되고 나서 사용자가 2005년 05월 28일 오전 10시 30분부터 대한민국 경기도 광주에 위치한 나이스 골프장에서 골프를 치는 도중에 이 사용자에게 골프장 주변 식당 안내 서비스를 제공하는 것을 예로 들어 설명하기로 한다.Accordingly, the mobile communication terminal downloads the U-SML document for the content, preferably, "restaurant guide service around the golf course" through the download application 14, and the ubiquitous middleware 30 by the ubiquitous agent 32. It is registered at 504. Accordingly, the ubiquitous middleware 30 starts the service from May 01, 2005, when the U-SML document is downloaded, that is, "restaurant guide service around the golf course." In the following, Ubi-Middleware (30), "restaurant guide service around the golf course" began on May 01, 2005, the user is playing golf at Nice golf course in Gwangju, Gyeonggi-do, Korea from 10:30 am on May 28, 2005 In the following description, an example of providing a restaurant guide service around a golf course to the user during hitting will be described.

전술한 바와 같이 "골프장 주변 식당 안내 서비스"에 대한 U-SML 문서가 유비-미들웨어(30)에 등록됨에 따라 유비-미들웨어(30)가 본 서비스를 개시한다. 즉, 유비-미들웨어(30)에 등록되는 U-SML 문서를 U-SML 파서(40)가 문서 내의 구문을 분석하여 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트 및 상황 인식 서비스 실행 파트로 파싱한다(505). 그리고 나서, 서비스 큐(41)에 U-SML 문서 파일과, U-SML 파서(40)에서 파싱된 상황 인식 서비스 설명 파트[상황 인식 서비스 스케쥴: "2005년 05월 01일부터 2005년 05월 31일 사이에 주말동안 오전 10시부터 오전 12시까지 20분 간격으로 상황 인식 조건을 인지한다"]가 큐잉된다(506).As described above, the U-SML document for "restaurant guide service around the golf course" is registered in the ubiquitous middleware 30, so the ubiquitous middleware 30 starts the service. That is, the U-SML document registered in the ubiquitous middleware 30 parses the syntax in the document into a context recognition service description part, a context recognition service condition part, and a context recognition service execution part. (505). Then, the U-SML document file in the service queue 41 and the context-aware service description part parsed by the U-SML parser 40 [situation-aware service schedule: from May 01, 2005 to May 31, 2005] Recognizes the situation awareness condition every 20 minutes from 10 AM to 12 AM during the weekend between days "].

이후에, 서비스 스케쥴러(42)에서는 서비스 큐(41)에 큐잉된 상황 인식 서비스 설명 파트에 기술된 스케쥴을 파악하여 서비스 스케쥴 시각마다 스케쥴 개시를 상황 인식 명령부(43)로 알리고, 상황 정보 관리자(44)에서는 상황 정보 저장소(45)에 저장된 상황 정보(예; 현재 시각, 사용자 위치 등)을 상황 인식 명령부(43)로 전달한다(507). 상기 상황 정보 저장소(45)에 저장되는 상황 정보는 이동통신 단말기에 탑재되어 있는 각종 센서(예; 시계, GPS 모듈 등)을 통해 획득한 비가공 센싱 데이터이거나 LBS 서버 등으로부터 다운로드받은 가공 센싱 데이터이다.Subsequently, the service scheduler 42 grasps the schedule described in the context aware service description part queued to the service queue 41, and informs the situation recognition command unit 43 of the start of the schedule for each service schedule time. In operation 44, context information (eg, current time, user location, etc.) stored in the context information storage 45 is transmitted to the context awareness command unit 43 (507). The contextual information stored in the contextual information storage 45 is raw sensing data obtained through various sensors (eg, a clock, a GPS module, etc.) mounted in a mobile communication terminal, or processed sensing data downloaded from an LBS server. .

위와 같이, 서비스 스케쥴러(42) 및 상황 정보 관리자(44)로부터 스케쥴 정보와 상황 정보를 지속적으로 획득하면서, 상기 상황 인식 명령부(43)에서는 U-SML 문서의 상황 인식 서비스 조건 파트에 기술된 조건과 위 상황 정보가 일치하는지를 검사하는 과정을 지속적으로 수행한다. 즉, 상황 인식 명령부(43)는 스케쥴 정보에 따라, 예컨대 "2005년 05월 01일부터 2005년 05월 31일 사이에 주말동안 오전 10시부터 오전 12시까지 20분 간격으로 실행되며, 실행될 때마다 U-SML 파서(40)에서 파싱된 상황 인식 서비스 조건 파트[상황 인식 서비스 조건: "대한민국의 경기도에 위치한 골프장에서 사용자가 골프를 치고 있고, 사용자가 1시간 이상 골프장 밖으로 움직이지(이탈하지) 않고, 현재 시각이 오전 11시부터 오전 12시 사이인 경우]와 상황 정보가 일치하는지를 검사한다(508). 부가적으로, 서비스 스케쥴러(42) 및 상황 정보 관리자(44)는 이동통신 단말기의 전원이 켜져 있는 한 지속적으로 해당 프로세스를 수행하는 것이 바람직하다.As described above, while the schedule information and the situation information are continuously obtained from the service scheduler 42 and the situation information manager 44, the situation recognition command section 43 describes the conditions described in the situation recognition service condition part of the U-SML document. The process of checking whether and the above situation information is consistent is continuously performed. In other words, the situation recognition command unit 43 is executed at intervals of 20 minutes from 10 AM to 12 AM during the weekend, for example, between May 01, 2005 and May 31, 2005, according to the schedule information. Situational Awareness Service condition part parsed by U-SML parser 40 every time [Situational Awareness Service condition: "You are playing golf at a golf course located in Gyeonggi-do, South Korea, Checks whether the current time is between 11 am and 12 am] and the status information (508). In addition, the service scheduler 42 and the context information manager 44 preferably perform the process continuously as long as the mobile communication terminal is powered on.

상기와 같이 검사를 계속 하다가, U-SML 문서의 상황 인식 서비스 조건 파트에 기술된 조건과 위 상황 정보가 일치하면, 즉 사용자가 2005년 05월 28일 오전 10시 30분부터 대한민국 경기도 광주에 위치한 나이스 골프장에 들어와서 현재 시각인 오전 11시 40분에 나이스 골프장에서 계속 골프를 치고 있다면 상기 상황 인식 명령부(43)에서는 상황 인식 서비스 조건 일치 사실을 인지하여 액션 스크립트 핸들러(46)에게 해당 서비스 내용을 실행시키라고 명령한다(509).If the above conditions are consistent with the conditions described in the Situational Awareness Service Condition part of the U-SML document, that is, the user is located in Gwangju, Gyeonggi-do, Korea from 10:30 AM on May 28, 2005 If you enter the nice golf course and continue playing golf at the nice golf course at 11:40 am at the current time, the situation recognition command unit 43 recognizes that the condition recognition service condition is matched, and then provides the action script handler 46 to the action script handler 46. Command to execute (509).

이에, 상기 액션 스크립트 핸들러(46)에서는 U-SML 파서(40)에서 파싱된 상황 인식 서비스 실행 파트[상황 인식 서비스 실행 내용: "콘텐츠 제공 서버(20)로 접속해 현재 위치 정보($location)와 사용자가 먹을 수 있는 음식 정보 및 음식점 정보($favorite)를 브라우저에 표시한다"]에 따라 해당되는 상황 인식 서비스 수행부(47)[브라우저인 것이 바람직함]를 실행시켜 스크립트의 처리 절차에 상응하는 서비스를 수행한다(510). 그에 따라, 상황 인식 서비스 수행부(47)에 속하는 브라우저가 콘텐츠 제공 서버(20)로 접속해 LBS 서버간의 연동을 통해 사용자 현재 위치(예; 나이스 골프장 17번홀 등)과 음식 정보(예; "1. 산사랑 부페", "2. 왕새우소금구이", "3. 하늘소(소고기)" 등)과 음식점 정보(예: "1. 산사랑 부페" 예약/길안내 등)을 다운로드받아 화면에 표시한다.In this case, the action handler 46 parses the context-aware service execution part parsed by the U-SML parser 40 (the context recognition service execution content: " the content providing server 20 and accesses the current location information ($ location) "). Display the user's edible food information and restaurant information ($ favorite) in the browser "] to execute the corresponding situation recognition service execution unit 47 (preferably a browser) corresponding to the processing procedure of the script. Perform the service (510). Accordingly, a browser belonging to the context awareness service performing unit 47 accesses the content providing server 20 and connects the user's current location (eg, Nice golf course No. 17 hole, etc.) and food information (eg, "1" through interworking between the LBS servers. Download "Sasan Love Buffet", "2. Roasted Shrimp Salt", "3. Sky Beef (Beef)" and restaurant information (eg "1. San Love Buffet" reservation / directions, etc.) and display it on the screen.

도 6은 본 발명이 적용된 상황 인식 서비스에 대한 일실시예 설명도이다.6 is a diagram illustrating an embodiment of a context awareness service to which the present invention is applied.

사용자가 2005년 05월 28일 오전 10시 30분부터 대한민국 경기도 광주에 위치한 나이스 골프장에 들어와서 현재 시각인 오전 11시 40분에 나이스 골프장에서 계속 골프를 치고 있다면 이동통신 단말기에서는 점심 시간에 맞추어 골프장 주변 식당을 안내하는 화면을 브라우저에 표시하며, 이에 사용자는 상황 인식 서비스 알림음을 통해 골프장 주변 식당 안내 서비스를 인지하여 브라우저에 표시된 내용에 따라 무선 인터넷에 접속해 음식점 길 안내를 받거나 음식점 예약 등을 할 수 있게 된다.If a user enters Nice Golf Course in Gwangju, Gyeonggi-do from 10:30 AM on May 28, 2005 and continues to play at Nice Golf Course at 11:40 AM, the mobile terminal will be ready for lunch. The browser displays a screen for guiding nearby restaurants, and the user can recognize the restaurant guide service around the golf course through the context-aware service notification sound, and access the wireless Internet according to the contents displayed in the browser to receive restaurant directions or make reservations for the restaurant. You can do it.

이상 본 발명의 내용이 실시예를 들어 설명되었으나, 본 발명의 실시예는 본 발명의 예시에 불과하며 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다. 본 발명이 속하는 분야의 기술자는 본원의 특허청구범위에 기재된 원리 및 범위 내에서 본 발명을 여러 가지 형태로 변형 또는 변경할 수 있다.While the content of the present invention has been described by way of examples, the embodiments of the present invention are merely illustrative of the present invention and should not be construed as limiting the scope of the present invention. Those skilled in the art to which the present invention pertains may modify or alter the present invention in various forms within the principles and scope described in the claims herein.

상기와 같은 본 발명은 유비-미들웨어에서 U-SML 문서로 기술된 사용자의 서비스 시나리오 내용에 맞추어 사용자가 처한 상황을 인식해 사용자의 요구, 희망, 명령 등을 자율적으로 실행하고 사용자에게 최적의 정보를 실시간으로 제공할 수 있고, 이에 이동통신 단말기에서도 유비쿼터스 컴퓨팅 환경을 구축할 수 있도록 하는 효과가 있다.As described above, the present invention recognizes the user's situation in accordance with the contents of the user's service scenario described as U-SML document in Ubi-Middleware, and autonomously executes the user's request, desire, command, etc. It can be provided in real time, and there is an effect that allows the mobile communication terminal to build a ubiquitous computing environment.

또한, 본 발명은 사용자에게 상황 인식 서비스를 제공받기 위한 번거로움을 덜어줄 수 있으며, 기존 모바일 서비스 인프라 영역을 수정하지 않고서 이동통신 단말기에서 미들웨어로 사용할 수 있도록 하고, 이에 기존의 위피, 브라우저 등과의 연동을 통해 기존 서비스 내에서 상황 인식 서비스를 사용자에게 최적으로 제공할 수 있는 효과가 있다.In addition, the present invention can reduce the hassle for providing a situation-aware service to the user, and can be used as a middleware in the mobile communication terminal without modifying the existing mobile service infrastructure area, and thus with the existing Wiki, browser, etc. Through interworking, context-aware services can be optimally provided to users within existing services.

Claims (7)

외부로부터 제공받은 U-SML(Ubiquitous-Service Markup Language) 문서를 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트 및 상황 인식 서비스 실행 파트로 파싱하는 U-SML 파서;A U-SML parser for parsing an externally provided Ubiquitous-Service Markup Language (U-SML) document into a context aware service description part, a context aware service condition part, and a context aware service execution part; 상기 U-SML 파서에서 파싱된 상황 인식 서비스 설명 파트가 큐잉되는 서비스 큐;A service queue to which the context aware service description part parsed by the U-SML parser is queued; 상기 서비스 큐에 큐잉된 상황 인식 서비스 설명 파트에 기술된 스케쥴을 파악하여 상황 인식 명령부에게 상황 인식 서비스 스케쥴을 알리는 서비스 스케쥴러;A service scheduler which grasps the schedule described in the context aware service description part queued in the service queue and informs the context aware command section of the context aware service schedule; 단말 내부에 탑재된 센서 또는/및 외부 정보 제공 서버로부터 획득한 사용자 주변의 상황 정보가 저장되는 상황 정보 저장소;A situation information storage configured to store situation information around a user acquired from a sensor mounted in the terminal and / or an external information providing server; 상기 상황 정보 저장소에 저장되어 있는 각종 상황 정보를 관리하면서 상황 인식 명령부에게 상황 정보를 전달하는 상황 정보 관리자;A context information manager for managing the context information stored in the context information repository and delivering the context information to the context awareness command unit; 상기 서비스 스케쥴러로부터 알림받은 스케쥴에 따라 실행되면서 상기 U-SML 파서에서 파싱된 상황 인식 서비스 조건 파트에 기술된 상황 조건과 상황 정보 관리자로부터 전달받은 상황 정보가 일치하는지를 검사하고, 검사 결과로 일치한 경우에 액션 스크립트 핸들러에게 해당되는 상황 인식 서비스 실행을 명령하는 상황 인식 명령부; 및If the situation condition described in the context recognition service condition part parsed by the U-SML parser matches the situation information received from the situation information manager while executing according to the schedule notified from the service scheduler, and matches with the inspection result. A context awareness instruction unit for instructing an action handler to execute a context awareness service; And 상기 상황 인식 명령부의 명령에 의해 상기 U-SML 파서에서 파싱된 상황 인식 서비스 실행 파트에 기술된 실행 내용을 해당되는 어플리케이션을 통해 실행시 키는 액션 스크립트 핸들러An action script handler that executes the execution contents described in the context recognition service execution part parsed by the U-SML parser through the corresponding application by the instruction of the context awareness command unit. 로 이루어진 상황 인식 서비스 지원을 위한 유비-미들웨어.Ubi-middleware for supporting situation-aware services. 제 1 항에 있어서,The method of claim 1, 상기 U-SML 문서는 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트 및 상황 인식 서비스 실행 파트로 구조화되어 있는 XML 기반의 문서이며, 하나의 U-SML 문서가 하나의 상황 인식 서비스에 대응되는 것을 특징으로 하는 상황 인식 서비스 지원을 위한 유비-미들웨어.The U-SML document is an XML-based document structured as a context aware service description part, a context aware service condition part, and a context aware service execution part, and one U-SML document corresponds to one context aware service. Ubiquitous middleware for supporting context-aware services. 제 2 항에 있어서,The method of claim 2, 상기 U-SML 문서의 상황 인식 서비스 설명 파트에는 상황 인식 서비스명 및 상황 인식 서비스 스케쥴 정보가 기술되어 있는 것을 특징으로 하는 상황 인식 서비스 지원을 위한 유비-미들웨어.Ubi- middleware for the context-aware service support, characterized in that the context-aware service name and the context-aware service schedule information is described in the context-aware service description part of the U-SML document. 제 2 항에 있어서,The method of claim 2, 상기 U-SML 문서의 상황 인식 서비스 조건 파트에는 사용자 위치, 배터리 상태, 사용자 이동성, 서비스 사용 시각, 현재 시각, 조도, 온도, 소음, 날씨 및 메 디컬 센싱 정보 중 적어도 어느 하나가 선택적으로 기술되어 있는 것을 특징으로 하는 상황 인식 서비스 지원을 위한 유비-미들웨어.The situation recognition service condition part of the U-SML document optionally includes at least one of user location, battery status, user mobility, service use time, current time, illuminance, temperature, noise, weather, and medical sensing information. Ubi-middleware for context-aware service support, characterized in that. 제 2 항에 있어서,The method of claim 2, 상기 U-SML 문서의 상황 인식 서비스 실행 파트에는 SMS 메시지 송수신, 사운드 알람, 브라우저 실행, 특정 프로그램 실행에 관한 처리 절차가 적어도 어느 하나의 스크립트에 의해 선택적으로 기술되어 있는 것을 특징으로 하는 상황 인식 서비스 지원을 위한 유비-미들웨어.The situation recognition service execution part of the U-SML document supports the situation recognition service, wherein a procedure for transmitting and receiving an SMS message, a sound alarm, a browser execution, and a specific program execution is selectively described by at least one script. Ubi-Middleware. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 5, 외부로부터 제공받은 상기 U-SML 문서는 상기 서비스 큐에 저장되되, 상기 서비스 스케쥴러에 의해 U-SML 문서의 상황 인식 서비스 설명 파트에 기술된 스케쥴이 만료된 U-SML 문서가 삭제되는 것을 특징으로 하는 상황 인식 서비스 지원을 위한 유비-미들웨어.The U-SML document received from the outside is stored in the service queue, and the service scheduler deletes the U-SML document whose schedule described in the context recognition service description part of the U-SML document expires. Ubi-middleware to support context-aware services. 이동통신 단말기에서의 상황 인식 서비스 제공 방법에 있어서,In the context aware service providing method in a mobile communication terminal, 상기 이동통신 단말기에서는 사용자의 서비스 시나리오에 의해 생성된 U- SML(Ubiquitous-Service Markup Language) 문서가 외부로부터 다운로드되면 상기 U-SML 문서를 유비-미들웨어에 등록하고, 상기 유비-미들웨어가 U-SML 문서 등록에 따라 상황 인식 서비스를 개시하되,When the U-SML (Ubiquitous-Service Markup Language) document generated by the service scenario of the user is downloaded from the outside, the mobile communication terminal registers the U-SML document in ubiquitous middleware, and the ubiquitous middleware is U-SML. In accordance with document registration, the situation awareness service is started. 상기 U-SML 문서를 상황 인식 서비스 설명 파트, 상황 인식 서비스 조건 파트 및 상황 인식 서비스 실행 파트로 파싱하는 제 1 단계;Parsing the U-SML document into a context aware service description part, a context aware service condition part, and a context aware service execution part; 상기 파싱된 상황 인식 서비스 설명 파트를 큐잉시키는 제 2 단계;Queuing the parsed context aware service description part; 상기 큐잉된 상황 인식 서비스 설명 파트에 기술된 스케쥴을 파악하는 제 3 단계;Identifying a schedule described in the queued context aware service description part; 상기 파악한 스케쥴에 따라 상기 파싱된 상황 인식 서비스 조건 파트에 기술된 상황 조건과 단말 내부에 탑재된 센서 또는/및 외부 정보 제공 서버로부터 획득한 사용자 주변의 상황 정보가 일치하는지를 검사하는 제 4 단계; 및A fourth step of checking whether or not the context condition described in the parsed context recognition service condition part coincides with the context information around the user acquired from a sensor mounted in the terminal and / or an external information providing server according to the identified schedule; And 상기 검사 결과로 상황 조건과 상황 정보가 일치한 경우에 상기 파싱된 상황 인식 서비스 실행 파트에 기술된 실행 내용을 해당되는 어플리케이션을 통해 실행시키라고 명령하는 제 5 단계A fifth step of instructing execution of the execution contents described in the parsed situation recognition service execution part to be executed through a corresponding application when the situation condition and the situation information match with the inspection result; 를 포함하는 이동통신 단말기에서의 유비-미들웨어를 이용한 상황 인식 서비스 제공 방법.Method for providing a context awareness service using ubiquitous middleware in a mobile communication terminal comprising a.
KR1020050048878A 2005-06-08 2005-06-08 Mobile terminal for supporting the context-aware service and Method of providing the context-aware service in the mobile terminal KR100712808B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050048878A KR100712808B1 (en) 2005-06-08 2005-06-08 Mobile terminal for supporting the context-aware service and Method of providing the context-aware service in the mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050048878A KR100712808B1 (en) 2005-06-08 2005-06-08 Mobile terminal for supporting the context-aware service and Method of providing the context-aware service in the mobile terminal

Publications (2)

Publication Number Publication Date
KR20060127647A true KR20060127647A (en) 2006-12-13
KR100712808B1 KR100712808B1 (en) 2007-04-30

Family

ID=37730670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050048878A KR100712808B1 (en) 2005-06-08 2005-06-08 Mobile terminal for supporting the context-aware service and Method of providing the context-aware service in the mobile terminal

Country Status (1)

Country Link
KR (1) KR100712808B1 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763462B1 (en) * 2005-12-30 2007-10-04 한국과학기술원 Method of analyzing scenario for ubiquitous system development, computer readable record medium on which program for executing method is recorded and system for analyzing the same
WO2009045014A1 (en) * 2007-10-04 2009-04-09 Samsung Electronics Co., Ltd. Method and apparatus for providing content and method and apparatus for displaying content
US8812577B2 (en) 2007-04-06 2014-08-19 Korea Advanced Institute Of Science And Technology Mobile middleware supporting context monitoring and context monitoring method using the same
KR101467454B1 (en) * 2007-12-18 2014-12-02 한국전자통신연구원 System for cognizing condition by using middle-ware of mobile communication terminal and its operating method
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US11206223B2 (en) 2016-06-30 2021-12-21 Microsoft Technology Licensing, Llc Signal upload optimization
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651751B1 (en) 2005-10-14 2006-12-01 한국전자통신연구원 Method of service access control in ubiquitous platform and securtity middleware thereof

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763462B1 (en) * 2005-12-30 2007-10-04 한국과학기술원 Method of analyzing scenario for ubiquitous system development, computer readable record medium on which program for executing method is recorded and system for analyzing the same
US8812577B2 (en) 2007-04-06 2014-08-19 Korea Advanced Institute Of Science And Technology Mobile middleware supporting context monitoring and context monitoring method using the same
WO2009045014A1 (en) * 2007-10-04 2009-04-09 Samsung Electronics Co., Ltd. Method and apparatus for providing content and method and apparatus for displaying content
US9853711B2 (en) 2007-10-04 2017-12-26 Samsung Electronics Co., Ltd. Method and apparatus for providing content and method and apparatus for displaying content
KR101467454B1 (en) * 2007-12-18 2014-12-02 한국전자통신연구원 System for cognizing condition by using middle-ware of mobile communication terminal and its operating method
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
KR20190124345A (en) * 2011-06-03 2019-11-04 애플 인크. Generating and processing task items that represent tasks to perform
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
KR20200039824A (en) * 2011-06-03 2020-04-16 애플 인크. Generating and processing task items that represent tasks to perform
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11206223B2 (en) 2016-06-30 2021-12-21 Microsoft Technology Licensing, Llc Signal upload optimization
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services

Also Published As

Publication number Publication date
KR100712808B1 (en) 2007-04-30

Similar Documents

Publication Publication Date Title
KR100712808B1 (en) Mobile terminal for supporting the context-aware service and Method of providing the context-aware service in the mobile terminal
US11651676B2 (en) System and method of controlling external apparatus connected with device
EP1609290B1 (en) Managing context-related information with a mobile station
WO2018157721A1 (en) Method for acquiring and providing information, device, system and storage medium
CN104808971B (en) Network application program manager, method and device and mobile terminal
US20130091197A1 (en) Mobile device as a local server
US20150156257A1 (en) Application service providing method and system, and related device
KR20060120256A (en) System and method for managing applications and media content of a wireless communication device
CN102550003A (en) A method and arrangement for managing persistent rich internet applications
US20140378176A1 (en) Method, apparatus and system for short message-based information push and mobile client supporting the same
JP6077231B2 (en) Information acquisition method and apparatus for user terminal in communication system
CN110928543A (en) Page processing method and device and storage medium
US9582584B2 (en) Method, apparatus and system for filtering data of web page
CN107341052A (en) A kind of message treatment method and device
US20150229702A1 (en) Remote access to content from a thin client
EP3062481B1 (en) Method and related device for providing application service
US9600802B2 (en) Method and apparatus for intelligence-oriented service using context information estimation in mobile terminal
WO2020173345A1 (en) Method for service decision distribution among multiple terminal devices and system
CN112818143B (en) Page display method and device, electronic equipment and storage medium
US20240028660A1 (en) Address Obtaining Method and Device
KR100780394B1 (en) Method for language study using mobile phone
KR101114071B1 (en) Method for providing a morning call service on mobile station
CN110399228A (en) A kind of automobile data recorder communication means and device
CN113778707A (en) Front-end frame loading method and device, electronic equipment and storage medium
CN113742703A (en) Application program control method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee