KR101000792B1 - 동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치 - Google Patents

동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치 Download PDF

Info

Publication number
KR101000792B1
KR101000792B1 KR1020080106626A KR20080106626A KR101000792B1 KR 101000792 B1 KR101000792 B1 KR 101000792B1 KR 1020080106626 A KR1020080106626 A KR 1020080106626A KR 20080106626 A KR20080106626 A KR 20080106626A KR 101000792 B1 KR101000792 B1 KR 101000792B1
Authority
KR
South Korea
Prior art keywords
user interface
user
control
context
controlled
Prior art date
Application number
KR1020080106626A
Other languages
English (en)
Other versions
KR20100047647A (ko
Inventor
김재호
송민환
안일엽
이상신
원광호
최종찬
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020080106626A priority Critical patent/KR101000792B1/ko
Publication of KR20100047647A publication Critical patent/KR20100047647A/ko
Application granted granted Critical
Publication of KR101000792B1 publication Critical patent/KR101000792B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 사용자가 원하는 제어 대상에 대한 사용자 인터페이스를 실시간 동적으로 생성하는 동적 사용자 인터페이스 생성 방법으로서, 유비쿼터스 모바일 오브젝트가 컨텍스트를 검색하는 단계; 검색된 컨텍스트를 통해 사용자가 제어하려는 장치를 추론하는 단계; 및 추론된 장치를 제어하는 사용자 인터페이스를 생성하는 단계를 포함하며, 본 발명에 의해 유비쿼터스 스마트 공간(Ubiquitous Smart Space)에서, 유비쿼터스 모바일 오브젝트(Ubiquitous Mobile Object)가 상황을 인지하고 판단해서 사용자에게 적합한 서비스를 적시에 자율적으로 제공할 수 있다
사용자 인터페이스, 유비쿼터스 모바일 오브젝트, 추론엔진

Description

동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치{Method for Creating Dynamic User Interface and Mobile Divice Using the Same}
본 발명은 사용자 인터페이스를 생성하는 방법, 더 구체적으로는 상황을 인지하고 그에 기반한 동적 유저터페이스를 생성하는 방법에 관한 것이다.
개인과 가족의 생활의 편리를 도모하고, 보다 안락하고 쾌적한 생활환경에 대한 요구가 증대됨에 따라, 홈 오토메이션 시스템을 비롯하여 다양한 유비쿼터스(Ubiquitous) 환경이 구축되고 있다.
현재 각 가정 또는 특정한 건물 등에 구축된 유비쿼터스 환경에서는 디스플레이 단말에 표시되는 UI를 사용자가 조작함으로서, 각종 기기의 조작이 이루어질 뿐만 아니라, 방대한 양의 정보를 얻을 수 있다. 냉장고에 부착된 모니터 화면으로 인터넷을 사용하고, 필요한 조리법 등을 확인하는 장면은 이미 실생활에서도 볼 수 있는 광경이 되었다.
도 1은 이러한 현재의 유비쿼터스 환경을 개략적으로 도시한 것이다. 사용자(01)는 현재 지니고 있는 단말 장치(03)를 통해 냉장고(09)를 제어한다. 사용 자(01)는 직접 냉장고(09)에 부착된 단말(11)을 통해 냉장고(09)를 제어하거나 네트워크 서버(13)를 통해 네트워크 상에서 수행되는 다양한 서비스를 이용할 수 있다.
더 나아가, 현재에는 이런 유비쿼터스 환경 혹은 근거리 통신망을 보다 적극적이고 폭넓게 활용해 생활의 편의를 도모하고자 다양한 방법이 논의되고 있다.
하지만, 현재의 유비쿼터스 스마트 환경(USS, Ubiquitous Smart Space)에서는 네트워크 상에 있는 디스플레이(11)에 표시된 사용자 인터페이스를 통해서 스마트 스페이스 내의 각종 기능을 이용할 수 있다.
또한, 사용자(01)가 소지하고 있는 모바일 단말(03)을 통해 서비스를 이용하거나 시스템을 제어하려 하는 경우에도, 모바일 단말(03)의 입력부(07)를 직접 조작하여, 제어 대상 목적물에 대한 사용자 인터페이스를 생성하고, 표시부(05)를 통해 이를 확인하며 직접 조작을 한다.
결국, 스마트 환경을 이용하기 위해서는 사용자가, 사용자 인터페이스가 표시된 디스플레이로 직접 이동하거나, 소지한 모바일 단말을 직접 조작하여, 해당 사용자 인터페이스를 생성하고 이를 활용해야만 하는 어려움이 있었다.
즉, 사용자의 직접적인 동작, 적극적인 행위가 개입되지 않으면, 스마트 환경 내의 다양한 기능을 활용할 수 없다.
뿐만 아니라, 스마트 환경 자체는 네트워크 상에 구비된 다양한 대상물을 통해 여러가지 기능들을 제공하면서도, 이를 제어하는 사용자 인터페이스는 하나의 단말을 통해 제공한다.
따라서, 해당 단말을 통해 원하는 사용자 인터페이스를 찾아내거나 이를 활용하는 것은, 상당히 익숙한 사용자가 아니면, 번거럽고 어려운 것이 사실이다.
본 발명은 상기한 바와 같은 문제를 해결하기 위해, 사용자가 보다 편리하게 대상을 제어하고, 보다 손쉽게 사용할 수 있는 지능형 모바일 단말을 제공하는 것을 목적으로 한다.
더 구체적으로 본 발명은 사용자의 행동을 인지하고, 이에 대응하여 현재 사용자가 필요로 하는 사용자 인터페이스를 자동적으로 구현할 수 있는 모바일 단말을 제공하는 것을 목적으로 한다.
또한, 본 발명은 사용자의 현재 사용 상황을 인지하고, 이를 사용자 인터페이스에 표시함으로써 사용자가 이를 효과적으로 활용할 수 있는 모바일 단말을 제공하는 것을 목적으로 한다.
아울러, 본 발명은 사용자의 필요에 따라 다양한 프레임워크를 지원할 수 있는 모바일 단말을 제공하는 것을 목적으로 한다.
또한, 본 발명은 지능형 단말 장치를 사용하여, 사용자의 의도를 인식해서, 사용자가 제어하길 원하는 디바이스와의 사이에서 필요한 정보를 주고받고, 이를 기반으로 사용자가 의도한 디바이스의 사용자 인터페이스를 실시간 동적으로 생성하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 상술한 목적을 달성하기 위해, 유비쿼터스 모바일 오브젝트가 컨텍스트를 검색하는 단계; 상기 검색된 컨텍스트를 통해 사용자가 제어하려는 장치 를 추론하는 단계; 및 상기 추론된 장치를 제어하는 사용자 인터페이스를 생성하는 단계를 포함하는, 동적 사용자 인터페이스 생성 방법을 제공한다.
본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 컨텍스트 검색 단계는, 상기 유비쿼터스 모바일 오브젝트의 내장 센서를 통해, 사용자의 행동 인지 및 사용 환경 정보를 검색할 수도 있다.
또한 본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 추론 단계는, 상기 사용자가 제어하려고 하는 제어 유형을 추론하는 것을 포함하며, 상기 사용자 인터페이스 생성 단계에서는, 추론된 제어 대상 장치의 사용자 인터페이스 중에서, 추론된 제어 유형에 대응하는 사용자 인터페이스를 생성할 수도 있다.
또한 본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 동적 사용자 인터페이스 생성 방법은, 사용자가 제어하고자 하는 장치들을 지정하는 단계를 더 포함하며, 상기 제어 대상 장치를 추론하는 단계는 상기 사용자가 지정한 장치들을 대상으로 이루어질 수도 있다.
본 발명은 또한, 유비쿼터스 모바일 오브젝트가 사용 환경을 검색하는 단계;검색된 사용 환경에서 통계적으로 활용도가 높은 장치를 제어 대상으로 선택하는 단계; 및 상기 선택된 제어 대상 장치를 제어하는 사용자 인터페이스를 생성하는 단계를 포함하는, 동적 사용자 인터페이스 생성 방법을 제공한다.
본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 사용자 인터페이스 생성 단계는, 상기 선택된 장치에 관한 사용자 인터페이스 중에서, 사용 환경에서 통계적으로 활용도가 높은 제어 유형에 대응하는 사용자 인터페이스를 생성할 수도 있다.
본 발명은 또한, 동적 사용자 인터페이스 생성 방법유비쿼터스 모바일 오브젝트가 컨텍스트를 검색하는 단계; 상기 검색된 컨텍스트를 통해 제어 대상 장치를 선택하는 단계; 상기 제어 대상 장치로부터 사용자 인터페이스 프리미티브(UI Primitive)를 전송받는 단계; 및 상기 사용자 인터페이스 프리미티브를 이용하여 상기 제어 대상 장치를 제어하는 사용자 인터페이스를 생성하는 단계를 포함하는, 동적 사용자 인터페이스 생성 방법을 제공한다.
본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 동적 사용자 인터페이스 생성 방법은, 사용자가 제어하고자 하는 장치들을 지정하는 단계를 더 포함하며, 상기 제어 대상 장치를 선택하는 단계는 상기 사용자가 지정한 장치들을 대상으로 이루어질 수도 있다.
또한 본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 제어 대상 장치의 선택 단계는, 상기 제어 대상 장치에 대한 제어 유형의 선택을 포함하고, 상기 사용자 인터페이스 프리미티브(UI Primitive)를 전송받는 단계에서는, 상기 제어 유형에 대응하는 사용자 인터페이스 프리미티브를 전송받고, 상기 사용자 인터페이스 생성 단계에서는, 상기 제어 유형에 대응하는 사용자 인터페이스를 생성할 수도 있다.
또한 본 발명의 동적 사용자 인터페이스 생성 방법에서, 상기 동적 사용자 인터페이스 생성 방법은, 사용자가 제어 유형을 지정하는 단계를 더 포함하며, 상기 제어 유형을 선택하는 단계는 상기 사용자가 지정한 제어 유형들을 대상으로 이 루어질 수도 있다.
본 발명은 컨텍스트를 감지하는 센서부; 상기 감지된 컨텍스트를 통해 사용자의 의사를 추론하여 제어 대상 장치를 선택하고, 상기 장치를 제어하는 사용자 인터페이스를 생성하는 제어부; 및 상기 사용자 인터페이스를 통해 대상을 제어하도록 하는 입출력부를 포함하는, 동적 사용자 인터페이스를 갖는 모바일 단말 장치를 제공한다.
본 발명은 사용 환경을 감지하는 센서부; 각각의 사용 환경에 대응하는 통계 정보를 저장하고 있는 저장부; 상기 통계 정보를 활용하여, 상기 감지된 사용환경에 대하여 활용도가 가장 높은 장치를 선택하고, 상기 장치를 제어하는 사용자 인터페이스를 생성하는 제어부; 및 상기 사용자 인터페이스를 통해 대상을 제어하도록 하는 입출력부를 포함하는, 동적 사용자 인터페이스를 갖는 모바일 단말 장치를 제공한다.
본 발명의 동적 사용자 인터페이스를 갖는 모바일 단말 장치는, 상기 제어 대상 장치로부터 사용자 인터페이스 프리미티브를 전송받는 무선 송수신부를 더 포함하며, 상기 제어부는 상기 사용자 인터페이스 프리미티브를 이용하여, 사용자 인터페이스를 생성할 수도 있다.
본 발명에 의하면, 유비쿼터스 또는 근거리 무선 네트워크 환경에서 사용자가 원하는 다양한 기능을 보다 쉽고 편리하게 제어할 수 있다.
본 발명에 의하면, 사용자가 원하는 대상에 대한 사용자 인터페이스를 실시 간 동적으로 생성할 수 있다.
본 발명에 의하면, 사용자 환경의 현재 정보들에 근거해서 사용자 인터페이스를 보다 적극적이고 편리하게 생성할 수 있다.
본 발명은 유비쿼터스 스마트 공간(USS:Ubiquitous Smart Space, 이하 “USS”라 한다)에서, 유비쿼터스 모바일 오브젝트(UMO:Ubiquitous Mobile Object, 이하 “UMO”라 한다)가 상황을 인지하고 판단해서 사용자에게 적합한 서비스를 적시에 자율적으로 제공 가능하도록 한다.
또한 UMO는 주변의 리소스들을 검색하며, 사용자의 의도나 기호 또는 요구 사항에 따라서 지능형 리소스 공유를 위한 소프트웨어 프레임워크를 제공한다.
이하, 첨부한 도면을 통해 본 발명의 바람직한 실시형태를 구체적으로 설명한다.
도 2는 본 발명의 상황 인지 기반 동적 사용자 인터페이스와 이를 지원하는 모바일 단말의 사용례를 개략적으로 도시한 것이다.
사용자가 소지하고 있는 모바일 단말 장치(21), 예를 들면 UMO가 탑재된 시계는 본 발명의 상황인식 기반 동적 사용자 인터페이스를 지원한다. 사용자가 상황인식 기반 동적 사용자 인터페이스를 지원하는 환경, 즉 스마트 오브젝트(SO:Smart Object, 이하 ‘SO’라 한다)가 대상마다 장착된 USS 환경에 들어가면, 사용자의 모바일 단말 장치(21)는 해당 환경의 컨텍스트(Context)를 검색하고, 이를 근거로 다양한 사용자 인터페이스를 사용자에게 제공하기 시작한다.
각각의 사용자 인터페이스(23)는 현재의 컨텍스트를 검색하고, 이에 기반해 탑재된 추론 엔진을 통해 추론된 결과를 근거로, 사용자에게 제시되는 것들이다.
모바일 단말 장치(21)는 탑재된 근거리 통신 모듈을 통해, 제어 대상물들, 구체적으로는 제어 대상물에 탑재된 SO와 지속적으로 통신하고 있다.
따라서, 사용자의 행동을 인지한 모바일 단말 장치(21)가 이를 현재의 사용 환경, 혹은 상황과 연관시켜 추론한 결과를 해당 대상물, 즉 SO에 전송하고, 필요한 데이터를 수신함으로서 사용자가 필요로 한다고 추론한 서비스에 대한 사용자 인터페이스를 생성한다.
예를 들면, 사용자가 TV를 향해 움직이거나, 티비의 정면에 앉거나, 티비에 대해 설정해둔 일정한 거리 및 각도를 유지하게 되면, 모바일 단말 장치(21) 내 인지 시스템과 추론 엔진이 사용자의 행동을 감지하고, 이를 근거로 사용자의 행동을 통해 원하는 서비스가 무엇인지 추론한다.
그 결과, 원하는 서비스가 TV의 시청이라고 추론하게 되면, 모바일 단말 장치(21)는 이를 TV에 통지하고, TV에 탑재된 SO로부터 필요한 프리미티브(Primitive)를 전송받아, TV의 제어에 필요한 사용자 인터페이스(23b)를 생성한다.
마찬가지로, 사용자가 창이나 에어컨을 향해 이동하면, 모바일 단말 장치(21)는 탑재된 다양한 센서를 통해, 사용자의 이동 방향에 있는 목적물과 방 안의 밝기나 온도, 습도 등 사용 환경을 인지해서, 사용자가 에어컨을 작동시키거나 블라인드를 내리려 하고 있다는 것을 추론하고 이에 대응하는 사용자 인터페이 스(23c, 23d)를 생성할 수도 있다.
뿐만 아니라, 사용자는 미리 시간을 정해두고 원하는 정보를 전달 받을 수도 있고(23a), 필요한 정보가 도착할 때마다 이를 바로 전달 받을 수도 있다(23e).
본 실시예에서는 상황인식 기반 동적 사용자 인터페이스를 지원하는 모바일 단말 장치로서 UMO를 내장한 시계를 사용하여 설명하였으나, 본 발명은 핸드폰, 리모콘, PDA, 내비게이터 등 다양한 모바일 단말 장치에 구현될 수 있다.
뿐만 아니라, 사용자는 자동적으로 자신이 원하는 정보를 확인하는 것 외에, 직접 모바일 단말 장치을 조작하여 필요한 정보를 얻을 수도 있다(23a, 23e).
본 발명의 동적 사용자 인터페이스는 사용자가 의도하는 디바이스의 제어 및 서비스를 자율적으로 인지하여, 사용자가 소지한 경량의 모바일 단말에 실시간 동적으로 생성·표시되는 사용자 인터페이스이다.
도 3은 본 발명에 따라서 상황 인지 기반 동적 사용자 인터페이스를 갖는 모바일 단말 장치(50)의 개략적인 구성도이다.
모바일 단말 장치(50)의 센서부(57)는 모바일 단말 장치를 소지한 사용자에 관한 운동 여부, 위치 이동, 체온 등 다양한 사용자 정보를 감지하며, 모바일 단말 장치가 위치한 곳의 밝기, 온도, 습도 등 주변 환경 정보를 인식한다.
무선 송수신부(59)는 사용자 인터페이스를 생성하기 위해, 제어 대상과 통신을 행하고, 필요한 UI 프리미티브를 수신한다.
무선 송수신부(59)를 통해, USS 네트워크와 통신함으로써 현재 사용자가 USS 환경에 있는지, 주변에 제어 가능한 장치가 있는지를 검색할 수도 있고, 센서 부(57)를 통해, USS 네트워크의 신호를 감지하거나, 제어 가능 장치의 센서 노드를 감지하여 현재 사용자가 USS 환경에 있는지, 주변에 어떤 장치가 있는지를 검색할 수도 있다.
제어부(53)는 센서부(57)가 감지한 다양한 정보를, 저장부(60)에 미리 입력된 설정값과 대조한다. 설정값들은 입력부(51)를 통해 입력 또는 변경될 수 있다.
저장부(60)에는 센서부(57)가 감지한 정보를 유효한 정보로 받아들일지를 판단하는, 각각의 센서에 대한 기준값이 저장되어 있다. 측정한 값이 해당 기준값을 만족하면 제어부는 측정값을 유효한 데이터로 인정하고 이를 근거로 제어 대상을 추론하거나 선택한다.
저장부(60)에는 상기 기준값들 외에, 사용자가 제어를 원하는 장치가 미리 지정되어 있거나 혹은 사용자가 제어하기 원하는 제어 행위가 유형별로 저장되어 있어도 된다. 이 경우, 제어 대상 장치의 검색은 지정된 장치들 중에서 이루어지며, 제어 대상 장치의 추론과 선택도 이 범위 내에서 이루어진다. 또한 사용자가 구체적인 제어 유형을 지정한 경우에는, 이 제어 유형에 대응하는 사용자 인터페이스가 형성된다.
이때, 사용자가 지정하는 제어 유형은 구체적인 제어 행위, 예컨대 에어컨의 가동/중단, 블라인드의 개폐 등과 같이 특정 장치에 대하여, 해당 장치의 기능들 중에서 특정한 것을 제어하는 행위 뿐만 아니라, TV와 에어컨을 연속으로 제어한다거나, 블라인드와 환기 장치를 함께 제어하는 것과 같이 제어 장치간의 연계를 지정할 수도 있다.
센서부(51)가 감지한 사용자의 행동 정보와 현재의 환경 정보에 근거하여, 제어부(53)의 추론 엔진이 사용자의 의사를 추론한다. 이때 추론되는 제어 의사는, 사용자가 제어하고자 하는 장치가 무엇인지를 추론할 수도 있고, 더 나아가, 해당 장치를 어떻게 제어할 것인지에 관한 제어 유형을 추론할 수도 있다.
저장부(60)는 상기 설정값들 외에도 각각의 환경에 대한 다양한 통계자료를 기억할 수도 있다. 이 경우, 제어부(53)는 추론엔진을 통한 사용자 의사의 추론 대신, 저장부(60)에 기억된 통계자료를 활용하여 사용자에게 필요한 사용자 인터페이스를 생성할 수도 있다. 즉, 제어부(53)는 센서부(57)가 감지한 현재 환경에서 통계자료상 가장 활용도가 높은 것으로 나타난 장치를, 검색된 장치들 중에서 선택하고, 해당 장치를 제어하는 사용자 인터페이스를 생성할 수도 있다.
제어부(53)는 무선 송수신부(59)를 통해, 사용자가 제어하고자 하는 제어 대상 장치에, 신호를 송신한다. 무선 송수신부(59)에는 USS 환경을 사용할 수 있는 근거리 통신 모듈, 예컨대 Zigbee 파이 모듈 등이 탑재되어 있으며, USS 환경에서 대상 장치를 제어하는 사용자 인터페이스가 생성되면 해당 장치를 제어한다.
무선 송수신부(59)로부터 신호를 송신 받은 제어 대상 장치의 SO(Smart Object)는 자신을 제어하기 위해 필요한 사용자 인터페이스를 생성할 수 있도록, UI 프리미티브를 모바일 단말 장치(50)에 송신한다. 이때, 제어 대상 장치의 SO는 특정한 기능, 특정한 제어 유형에 대응하는 UI 프리미티브를 모바일 단말 장치(50)에 송신할 수도 있다.
제어부(53)는 수신한 UI 프리미티브를 이용하여, 대상 장치의 제어를 위한 사용자 인터페이스를 생성하고, 이를 표시부(55)에 표시한다. 이때 표시되는 사용자 인터페이스는, 모바일 단말 장치의 표시부(55)의 크기 또는 사용자의 제어의사를 고려하여, 기본적인 제어를 위한 사용자 인터페이스이어도 되고, 사용자가 의도하는 제어 유형까지 추론된 경우에는 특정한 제어를 수행하기 위한 사용자 인터페이스를 생성해도 된다.
제어부(53)는 또한, 제어 대상 장치로부터 UI 프리미티브를 수신하지 않고, 저장부(60)에 기억된 UI 프리미티브를 활용하여 사용자 인터페이스를 생성할 수도 있다. 이 경우, 무선 송수신부(59)는 UI 프리미티브를 수신하지 않고, 해당 제어 대상 장치를 제어할 수 있는 무선 통신만을 담당하게 된다.
표시부(55)에 표시된 사용자 인터페이스를 이용하기 위해, 표시부(55)를 터치패드 식으로 구성하여 입력부(51)의 역할도 함께 수행하도록 해도 되고, 별도의 입력부(51)를 통해, 사용자 인터페이스를 이용해도 된다.
도 4 및 도 5는 본 발명에서 동적 사용자 인터페이스를 지원하는 모바일 단말 장치의 작동 개념도 및 그 플로우차트이다.
상황 인지에 기반한 동적 사용자 인터페이스를 지원하는 USS 환경 및 UMO를 내장한 모바일 단말 장치에 대하여, 모바일 단말 장치는 새롭게 USS 환경에 진입하거나, USS 환경에서 새롭게 작동을 개시하면, 모바일 단말 장치는 현재의 컨텍스트를 검색한다.
구체적으로 모바일 단말 장치는 해당 환경에 존재하는 디바이스를 검색한다(S41 단계).
도 4에 도시된 바와 같이, SO를 탑재한 다양한 디바이스(31)들, 예컨대 TV(31a), 블라인드(31b), 에어컨(31c), 오디오(31d) 등이 검색된다. SO는 근거리 통신 모듈을 탑재하고, 경량의 연산 시스템을 내재하고 있는 소형 디바이스이므로, 다양한 대상에 탑재가 가능하며, 사용자의 모바일 디바이스와 무선통신이 가능하다.
해당 환경 내의 디바이스들이 검색되면, 해당 환경에 관한 컨텍스트를 감지한다(S42 단계).
환경 감지는 USS 환경을 구성하는 다양한 구성물 또는 사용자가 소지한 모바일 디바이스에 장치된 환경 센서(33)를 통해서 이루어진다.
예컨대, 사용자가 USS 환경이 구축된 방 안에서 움직이는 경우, 모바일 단말 장치에 내장된 위치 센서(33d)나 가속도 센서(33b)를 통해 사용자의 위치 이동 또는 행동 패턴이 감지되며, 이를 통해 사용자가 창문쪽을 향했다는 컨텍스트가 추출된다.
또한, 방 내부의 여러 센서(33a, 33c)로부터 온도나 조도 등의 데이터를 전송받거나, 모바일 단말 장치에 조광 센서(33a)나 온도 센서(33a)를 내장하고 이를 통해 방 안의 온도나 밝기에 관한 데이터를 얻는다.
컨텍스트를 수집하는 과정에서 디바이스 검색과 환경 컨텍스트의 검색은 동시에 이루어져도 되고, 상술한 바와 같이 디바이스 검색을 먼저 하고, 환경 컨텍스트의 검색이 이어져도 되며, 환경 컨텍스트들을 먼저 검색하고, 디바이스를 검색해도 된다.
또한, 미리 사용자가 지정한 디바이스들을 모바일 단말기의 저장부에 기억한 뒤에, 이 지정된 디바이스들의 존재, 제어가부 등을 검색해도 된다.
모바일 단말 장치는 이렇게 추출된 컨텍스트를 수집해서, 내부에 탑재한 경량의 추론 엔진을 통해, 사용자의 행동을 추론한다. 예컨대, 사용자가 창문 쪽으로 향해 있으며, 방 안의 밝기는 크게 변화가 없으나, 사용자의 체온이 저하하고 있고, 방안의 온도가 내려가고 있다면, 모바일 단말에 내장된 추론 엔진은 사용자가 창문을 닫고자 한다는 것을 추론해내게 된다.
얻어진 추론에 근거해서, 모바일 단말 장치는 UI(User Interface) 프리미티브(Primitive)를 변경한다(S43 단계). 예컨대, 사용자가 창문을 닫고자 한다는 추론을 얻은 모바일 단말 장치는 창문의 개폐를 제어하는 SO에 이를 통지하고, SO로부터 창문 개폐를 제어하는 사용자 인터페이스 생성에 필요한 UI(User Interface) 프리미티브(Primitive)를 전송받는다. 창문의 SO와 사용자의 모바일 단말에 Zigbee 모듈을 내장하거나, USN(Ubiquitous Sensor Network)을 구축함으로써 필요한 데이터를 자유롭게 전송 및 수신할 수 있다.
창문에 부착된 창문 제어용 SO는 모바일 단말 장치로부터 사용자가 창문을 닫으려 한다는 정보를 받으면, 자신, 즉 창문의 개폐 조작 사용자 인터페이스에 대한 UI 프리미티브를 전송한다. 상기 UI 프리미티브는 UIML(User Interface Markup Language)를 기반으로 해도 되고, 그 외 사용자 환경에 적합하도록 다양하게 선택 가능하다. 모바일 단말 장치는 기존의 UI 프리미티브를 새롭게 전송받은 UI 프리미티로 교체한다.
모바일 단말 장치는 상술한 바와 같이, UI 프리미티브를 제어 대상 장치로부터 수신하지 않고, UI 프리미티브를 저장부에 기억해서 필요한 UI 프리미티브를 선택해서 제어 대상 장치에 대응하는 새로운 UI 프리미티브로 변경할 수도 있다.
모바일 단말 장치는 새로운 UI 프리미티브에 기반하여 동적 사용자 인터페이스를 생성한다(S44 단계). 이렇게 실시간 동적으로 생성된 사용자 인터페이스는 사용자의 기호나 의도에 따라서 다양하게 표현될 수 있다. 예컨대, 사용자가 미리 설정해 놓은 방식에 따라서, 창문의 계폐를 제어하는 사용자 인터페이스의 경우에는 단순히 창문을 열고 닫는 기능만을 선택할 수 있도록 인터페이스가 구현될 수도 있고, 닫는 정도나 여는 정도까지 선택할 수 있도록 구현될 수도 있다.
본 발명에서는 이런 사용자 인터페이스가 사용자의 직접적인 조작없이 자동적으로 생성된다. 즉, 상기 S41 단계 ~ S45 단계를 통해, 사용자의 행동을 인지하고, 사용환경을 감지한 뒤에, 이를 근거로 추론엔진에서 사용자의 의도를 추론한 결과에 기반하여, 사용자에게 필요하다고 판단된 사용자 인터페이스(37a, 37b, 37c, 37d, … )가 사용자의 모바일 디바이스에 자동적으로 생성 표시된다.
즉, 사용자는 단순히 창문을 향하는 행동을 취해, 자신의 모바일 단말 장치에 창문제어 UI가 표시되도록 할 수 있고 이를 조작함으로써, 창문 제어 프로토콜을 통하여 편리하게 창문의 개폐를 제어할 수 있게 된다.
사용자 인터페이스의 생성은 사용자의 의사를 추론하는 방식이 아니라, 통계적으로 선택하여 생성할 수도 있다.
상기 S41 단계 ~ S45 단계를 통해, 센서부가 감지한 환경 컨텍스트를 통해 현재의 사용환경을 판단하고, 통계적으로 해당 환경에서 가장 사용 빈도가 높거나 효율적이라고 알려진 장치를 선택할 수도 있다.
즉, 사용자가 어두운 방으로 들어간 경우, 모바일 단말 장치의 센서가 현재 방의 상태가 기준값보다 현저히 어둡다는 것을 검지하면, 제어부는 저장부의 통계데이터를 검색해, 어두운 방에서 조작된 장치들의 횟수 등과 같은 통계자료를 근거로, 조명장치에 대한 사용자 인터페이스를 생성하고 이를 표시할 수도 있다.
사용자 인터페이스를 생성한 뒤에는 사용자의 조작을 기다린다(S45 단계).
사용자가 해당 인터페이스를 통해 대상물을 제어한 경우(S46 단계)나 미리 설정해둔 일정한 시간이 경과하도록 사용자의 조작이 없는 경우(S45 단계)에는 다시 초기 상태로 복귀한다.
상황 인지 및 서비스 추론(35)의 다양한 태양들(35a, 35b, 35c, 35d, 35e, …)이, 상황을 인지하고 이를 기반으로 동적 사용자 인터페이스를 생성하는 모바일 단말 장치의 전체 작동 과정에서, 차례로 발생하는 것을 확인할 수 있다.
도 1은 종래의 유비쿼터스 환경을 개략적으로 도시한 것이다
도 2는 본 발명의 상황 인지 기반 동적 사용자 인터페이스와 이를 지원하는 모바일 단말의 사용례를 개략적으로 도시한 것이다.
도 3은 본 발명에 따라서 상황 인지 기반 동적 사용자 인터페이스를 갖는 모바일 단말 장치의 개략적인 구성도이다.
도 4는 본 발명에서 동적 사용자 인터페이스를 지원하는 모바일 단말 장치의 작동 개념도이다.
도 5는 본 발명에서 모바일 단말 장치가 동적 사용자 인터페이스를 생성하는 방법을 개략적으로 도시한 플로우차트이다.

Claims (13)

  1. 유비쿼터스 모바일 오브젝트가 컨텍스트를 검색하는 단계;
    상기 검색된 컨텍스트를 통해 사용자가 제어하려는 장치를 추론하는 단계; 및
    상기 추론된 장치를 제어하는 사용자 인터페이스를 생성하는 단계를 포함하고,
    상기 추론하는 단계는,
    상기 사용자가 제어하려고 하는 제어 유형을 추론하는 것을 포함하며,
    상기 사용자 인터페이스를 생성하는 단계는,
    추론된 제어 대상 장치의 사용자 인터페이스 중에서, 추론된 제어 유형에 대응하는 사용자 인터페이스를 생성하는 것인, 동적 사용자 인터페이스 생성 방법.
  2. 제1항에 있어서,
    상기 컨텍스트 검색 단계는,
    상기 유비쿼터스 모바일 오브젝트의 내장 센서를 통해, 사용자의 행동 인지 및 사용 환경 정보를 검색하는 것인, 동적 사용자 인터페이스 생성 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 동적 사용자 인터페이스 생성 방법은,
    사용자가 제어하고자 하는 장치들을 지정하는 단계를 더 포함하며,
    상기 제어 대상 장치를 추론하는 단계는 상기 사용자가 지정한 장치들을 대상으로 이루어지는 것인, 동적 사용자 인터페이스 생성 방법.
  5. 삭제
  6. 삭제
  7. 유비쿼터스 모바일 오브젝트가 컨텍스트를 검색하는 단계;
    상기 검색된 컨텍스트를 통해 제어 대상 장치를 선택하는 단계;
    상기 제어 대상 장치로부터 사용자 인터페이스 프리미티브(UI Primitive)를 전송받는 단계; 및
    상기 사용자 인터페이스 프리미티브를 이용하여 상기 제어 대상 장치를 제어하는 사용자 인터페이스를 생성하는 단계를 포함하는, 동적 사용자 인터페이스 생성 방법.
  8. 제7항에 있어서,
    상기 동적 사용자 인터페이스 생성 방법은,
    사용자가 제어하고자 하는 장치들을 지정하는 단계를 더 포함하며,
    상기 제어 대상 장치를 선택하는 단계는 상기 사용자가 지정한 장치들을 대상으로 이루어지는 것인, 동적 사용자 인터페이스 생성 방법.
  9. 제7항에 있어서,
    상기 제어 대상 장치의 선택 단계는, 상기 제어 대상 장치에 대한 제어 유형의 선택을 포함하고,
    상기 사용자 인터페이스 프리미티브(UI Primitive)를 전송받는 단계에서는, 상기 제어 유형에 대응하는 사용자 인터페이스 프리미티브를 전송받고,
    상기 사용자 인터페이스 생성 단계에서는, 상기 제어 유형에 대응하는 사용자 인터페이스를 생성하는 것인, 동적 사용자 인터페이스 생성 방법.
  10. 제9에 있어서,
    상기 동적 사용자 인터페이스 생성 방법은,
    사용자가 제어 유형을 지정하는 단계를 더 포함하며,
    상기 제어 유형을 선택하는 단계는 상기 사용자가 지정한 제어 유형들을 대상으로 이루어지는 것인, 동적 사용자 인터페이스 생성 방법.
  11. 컨텍스트를 감지하는 센서부;
    상기 감지된 컨텍스트를 통해 사용자의 의사 및 상기 사용자가 제어하려고 하는 제어 유형을 추론하여 제어 대상 장치를 선택하고, 상기 추론된 제어 대상 장치의 사용자 인터페이스 중에서, 추론된 제어 유형에 대응하는 사용자 인터페이스를 생성하는 제어부; 및
    상기 사용자 인터페이스를 통해 상기 추론된 제어 대상을 제어하도록 하는 입출력부를 포함하는, 동적 사용자 인터페이스를 갖는 모바일 단말 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 제어 대상 장치로부터 사용자 인터페이스 프리미티브를 전송받는 무선 송수신부를 더 포함하며,
    상기 제어부는 상기 사용자 인터페이스 프리미티브를 이용하여, 사용자 인터페이스를 생성하는, 동적 사용자 인터페이스를 갖는 모바일 단말 장치.
KR1020080106626A 2008-10-29 2008-10-29 동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치 KR101000792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080106626A KR101000792B1 (ko) 2008-10-29 2008-10-29 동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080106626A KR101000792B1 (ko) 2008-10-29 2008-10-29 동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치

Publications (2)

Publication Number Publication Date
KR20100047647A KR20100047647A (ko) 2010-05-10
KR101000792B1 true KR101000792B1 (ko) 2010-12-13

Family

ID=42274585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080106626A KR101000792B1 (ko) 2008-10-29 2008-10-29 동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치

Country Status (1)

Country Link
KR (1) KR101000792B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019132052A1 (ko) * 2017-12-26 2019-07-04 엘지전자 주식회사 동작 상황에 기반하여 유관 장치를 제어하는 장치, 이를 제어하는 스케줄 봇 및 서버

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640173B1 (ko) 2005-07-11 2006-11-01 아주대학교산학협력단 상황 인지 기반 가전 제어 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640173B1 (ko) 2005-07-11 2006-11-01 아주대학교산학협력단 상황 인지 기반 가전 제어 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019132052A1 (ko) * 2017-12-26 2019-07-04 엘지전자 주식회사 동작 상황에 기반하여 유관 장치를 제어하는 장치, 이를 제어하는 스케줄 봇 및 서버
US11310068B2 (en) 2017-12-26 2022-04-19 Lg Electronics Inc. Device of controlling related device using artificial intelligence based on operation situation, schedule bot and server controlling thereof

Also Published As

Publication number Publication date
KR20100047647A (ko) 2010-05-10

Similar Documents

Publication Publication Date Title
KR101287497B1 (ko) 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
US10437206B2 (en) Control apparatus, control method, program and system
US20220303341A1 (en) Method and device for controlling home device
RU2642410C2 (ru) Способ (варианты), прибор (варианты) и система для управления интеллектуальной бытовой техникой, интеллектуальная бытовая техника, мобильное и носимое устройства
KR102307701B1 (ko) 주변 기기 제어 방법 및 장치
Gellersen et al. Multi-sensor context-awareness in mobile devices and smart artifacts
KR100775006B1 (ko) 상황인지 기반의 이동 서비스를 제공하는 단말 장치 및 그방법과, 그 단말 장치와 협력하여 옥내 이동 서비스를제공하는 서버 시스템
US10012963B2 (en) Smart household appliance, mobile communication device, system and method for controlling smart household appliance
KR101737123B1 (ko) 네트워트 장치의 제어방법
CN111240555A (zh) 利用摄像装置的智能物联网菜单
JP2017508227A (ja) 対話検出ウェアラブル制御デバイス
CN103370922A (zh) 确定激活的现实对象以运行软件应用
KR20150106553A (ko) 로봇을 이용한 홈 네트워크 시스템 및 그 제어방법
CN104407702A (zh) 基于情境感知执行动作的方法、装置和系统
CN114077227A (zh) 页面切换方法、装置、场景控制面板、设备及存储介质
KR102144554B1 (ko) 사용자 맞춤형 서비스 장치 및 사용자 맞춤형 생활서비스를 제공하는 시스템
CN114446036A (zh) 家用器具与移动设备的联接
KR101000792B1 (ko) 동적 사용자 인터페이스 생성 방법 및 이를 이용하는 모바일 단말 장치
KR102399594B1 (ko) 디스플레이 장치 및 그 동작 방법
WO2009025499A1 (en) Remote control system using natural view user interface, remote control device, and method therefor
Hua Facilitate interactions with devices in the internet of things (iot) with context-awareness
CN114508835B (zh) 一种终端和空调模式调节方法
CN113794783B (zh) 数据处理方法、装置及存储介质
US20230083823A1 (en) Wearable electronic device for controlling multiple iot devices, method for operating same, and storage medium
KR20170092379A (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 6