KR20170096774A - Activity-centric contextual modes of operation for electronic devices - Google Patents

Activity-centric contextual modes of operation for electronic devices Download PDF

Info

Publication number
KR20170096774A
KR20170096774A KR1020160018446A KR20160018446A KR20170096774A KR 20170096774 A KR20170096774 A KR 20170096774A KR 1020160018446 A KR1020160018446 A KR 1020160018446A KR 20160018446 A KR20160018446 A KR 20160018446A KR 20170096774 A KR20170096774 A KR 20170096774A
Authority
KR
South Korea
Prior art keywords
user
behavior
electronic device
user behavior
action
Prior art date
Application number
KR1020160018446A
Other languages
Korean (ko)
Inventor
이준영
Original Assignee
이준영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이준영 filed Critical 이준영
Priority to KR1020160018446A priority Critical patent/KR20170096774A/en
Priority to PCT/KR2016/002099 priority patent/WO2017142116A1/en
Publication of KR20170096774A publication Critical patent/KR20170096774A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Telephone Function (AREA)

Abstract

The present invention relates to a user behavior-based context aware operating mode of an electronic device. According to the present invention, it is known that a user changes a function of an electronic device when the user has a change in the behavior thereof in a result of observing a usage behavior of users of electronic devices. For example, when the user wants to sleep, the user turns off a TV and illumination, sets an alarm, and turns a smartphone into a vibrating or silent mode. All of the functional changes are related to the behavior sleep of the user, and the functional changes requires multiple clicks, the pinching, the swiping, etc. in a button, touch screen, or other interface method, thereby being a very complex task for many users. A system and a method of the present invention are to reduce the complexity of such user interface method. According to the system and the method of the present invention, when a new user behavior is sensed, needed functional changes are automatically applied in accordance with a predefined operation mode to be suitable for the sensed user behavior. Therefore, according to the present invention, a user interface and a user experience are suitable for a modern electronic device which is simple, intuitive, and has a complex function.

Description

전자기기의 사용자 행동기반 정황인식 작동모드 {Activity-centric contextual modes of operation for electronic devices}[0001] The present invention relates to an electronic device,

전자기기들의 기능들이 증가하면서 발생하는 복잡성을 해소하기 위하여 새로운 개념의 전자기기 제어 및 사용자 인터페이스 방식을 제공하는 시스템과 방법A system and a method for providing a new concept of electronic device control and a user interface method in order to solve complexity caused by an increase in functions of electronic devices

현재 모바일 기기와 컴퓨터들은 사용자 인터페이스가 앱 (애플리케이션)을 중심으로 구성되어 있다. 다시 말하면, 앱 아이콘과 기능 버튼들로 구성되어 있다. 예를 들면, 사용자가 음악을 듣고자 한다면 사용자는 오디오 앱 아이콘을 클릭하고 또 다른 버튼들을 클릭하여 원하는 재생목록을 선택하고 음악을 재생한다. 이와 같은 사용자 인터페이스, 즉 "앱 아이콘과 버튼들을 클릭"하는 방식은 1984년 애플에서 맥킨토시 128K를 시판하면서 GUI (Graphical User Interface) 와 마우스의 조합으로 시작되어 아직까지도 대표적인 컴퓨팅 환경으로 이어져 왔다.Currently, mobile devices and computers have a user interface centered on apps. In other words, it consists of an app icon and function buttons. For example, if the user wants to listen to music, the user clicks the audio app icon and clicks another button to select the desired playlist and play the music. This kind of user interface, or "clicks on the app icons and buttons", was launched in 1984 by Apple with the Macintosh 128K, a graphical user interface (GUI) and a mouse, and has been a typical computing environment.

1996년 출시한 애플의 아이폰에서 도입한 터치스크린과, 터치 동작인식 등 획기적인 기술들이 1984년 이후 시도되었지만, "앱 아이콘과 버튼들을 클릭"하는 기본은 변하지 않았다. 현재 탭, 스와이프 (swipe), 핀치 (pinch)와 같은 새로운 기술들이 개발되었지만, 모두 "앱 아이콘과 버튼들을 클릭"을 쉽게 하기 위한 방법들일 뿐이다. 그뿐 아니라, 일반적인 전자기기의 경우에도 대표적인 사용자 인터페이스는 전원스위치와 기능버튼들이며, "전원스위치와 버튼들을 클릭"으로 표현될 수 있다. 그러므로 모바일기기와 일반적인 전자기기의 대표적인 사용자 인터페이스는 모두 "전원과 기능버튼들을 클릭"하는 방식이다.The groundbreaking technologies such as touch screen and touch motion recognition introduced in Apple's iPhone launched in 1996 have been tried since 1984, but the basics of "clicking on app icons and buttons" have not changed. New technologies such as tabs, swipes, and pinch have been developed, but all are just ways to make it easier to "click on app icons and buttons". In addition, in the case of a general electronic apparatus, a representative user interface is a power switch and function buttons, and can be expressed as "power switch and buttons click ". Therefore, typical user interfaces of mobile devices and general electronic devices are both "power and function button clicks".

최근 스마트기기들이 개발되면서 많은 전자기기에 컴퓨팅 및 네트워킹 기능이 추가되고 있으며, 그로 인하여 각각의 기기들의 기능을 넘어 네트워크에 연결된 다른 기기와 함께 "집단"기능으로 연계된다. 예를 들어, 스마트폰들은 가전제품, 홈오토메이션시스템, 자동차 전장, 기타 네트워크에 연결된 전자기기 등과 연동되고 있다. 이러한 추세는 더 많은 기능을 제공하는 반면에 사용자 인터페이스에 있어서 복잡성을 증대시키고 있다. 대부분의 경우, 다른 전자기기와 연동하고 제어를 하기 위해 서로 다른 시스템과 방법을 사용하고 있으며 더 많은 아이콘, 스위치, 버튼들이 필요하게 되고 이로 인해 복잡성을 증대시키게 되고 상호연결성 (interconnectivity)과 제어의 가치를 저해하게 된다.With the recent development of smart devices, computing and networking functions have been added to many electronic devices, so that they are linked to the "collective" function with other devices connected to the network beyond the function of each device. For example, smartphones are linked to home appliances, home automation systems, automotive electronics, and other networked electronic devices. While this trend provides more functionality, it increases the complexity of the user interface. In most cases, different systems and methods are used to interact with and control other electronic devices, and more icons, switches, and buttons are needed, which increases complexity and increases the value of interconnectivity and control .

기존의 사용자 인터페이스는 "기능중심의" 사용자 인터페이스라고 표현할 수 있다. 사용자는 "전원스위치와 버튼들을 클릭"하여 모바일기기와 전자기기를 사용자의 필요에 따라 끊임없이 기능을 조절하고 있다. 하지만, 단일의 전자기기 또는 네트워크에 연결된 여러 전자기기의 기능적 복잡성은 "기능중심의" 사용자 인터페이스의 한계를 보여준다. 음성인식 및 동장인식도 기술적인 발전과 사용자 인터페이스의 용이성에 따라 인기를 끌고 있지만 이들 또한 "전원스위치와 버튼을 클릭"하기 위한 또 다른 편의기능의 역할이다.An existing user interface can be described as a "function-based" user interface. The user continuously controls the function of the mobile device and the electronic device according to the user's need by clicking the power switch and the buttons. However, the functional complexity of a single electronic device or several electronic devices connected to the network shows the limitations of a "function-oriented" user interface. Speech recognition and panning recognition are also gaining popularity due to technological advances and ease of user interface, but they are also the role of another convenience feature to "click on the power switch and button".

과거에 비추어 볼 때, 기능의 증대는 복잡성의 증대를 불러일으켰으며 새로운 사용자 인터페이스는 일반적인 해결책이었다. 이제 "앱 아이콘과 버튼을 클릭"과 "전원스위치와 버튼을 클릭"하는 방식을 넘어선 새로운 사용자 인터페이스가 필요한 시점이다. 본 발명은 모바일기기 및 일반적인 전자기기에 적용되는 사용자 인터페이스의 시스템과 방법을 개량하여, 모바일기기 및 전자기기의 기능적 복잡성을 해결하는 사용자 경험을 제공하기 위함이다.In the past, increased functionality has resulted in increased complexity, and the new user interface has been a common solution. Now it is time to get a new user interface that goes beyond "clicking the app icon and button" and "clicking the power switch and button". The present invention is to provide a user experience that solves the functional complexity of mobile devices and electronic devices by improving the user interface system and method applied to mobile devices and general electronic devices.

모바일기기 및 전자기기들의 기능적 복잡성을 해결하기 위하여 새로운 사용자 인터페이스를 필요로 한다. 복잡성을 해결하기 위해서는 단순화를 필요로 하며, 단순화는 공통분모를 요구한다. 본 발명은 정황, 엄밀히 말하여 사용자 정황, 영문으로 user context (유저컨텍스트), 을 공통분모로 적용하여 전자기기의 기능적 복잡성을 단순화하고자 한다.A new user interface is required to solve the functional complexity of mobile devices and electronic devices. Complexity requires simplification and simplification requires a common denominator. The present invention seeks to simplify the functional complexity of electronic devices by applying context, strictly user context, and user context (user context) in English as a common denominator.

컨텍스트 (정황) 는 (어떤 일의) 맥락, 전후 사정으로 정의되어 있다. 아직까지 유저컨텍스트 (사용자 정황) 는 위치인식으로 인식되어 왔다. 모바일기기가 확산되면서 사용자의 위치정보가 가장 보편적인 유저컨텍스트 (사용자 정황) 였다.The context is defined as context, context. So far user context (user context) has been recognized as location recognition. As mobile devices spread, user's location information was the most common user context (user context).

본 발명은 사용자의 행동 그리고/또는 사용자의 행동을 취하려는 의도를 유저컨텍스트, 즉 사용자 정황으로 활용하여, 이를 사용자 행동기반 정황으로 정의한다. (이후로 사용자의 행동 그리고/또는 사용자의 행동을 취하려는 의도를 사용자의 행동으로 간략 표기한다.) 본 발명은 전자기기의 기능적 복잡성을 단순화하기 위하여 사용자의 행동을 공통분모로 활용한다. 그러한 활용은 사용자 행동의 변화에 따라 전자기기의 기능 변화가 수반됨을 가정한다. 예를 들면, 사용자가 요리를 할 때는 사용자는 스마트폰을 핸즈프리로 사용하고, 주방조명 외에는 전등을 모두 소등하고, 클래식음악을 듣고 싶어할 수 있다. 하지만, 사용자가 텔레비전을 시청할때에는 사용자는 스마트폰을 진동모드로 사용하고, 거실조명을 약하게 하고, 음악재생을 중단하려 할 것이다. 사용자가 다른 행동을 할 때 그 행동변화에 따라 사용자는 전자기기들에 대해 다른 기능이나 반응을 원하게 된다.The present invention utilizes a user's behavior and / or an intention to take a user's behavior as a user context, i.e., the user context, and defines the context as a user behavior based. (Hereinafter, the user's actions and / or the intention to take the actions of the user are abbreviated as the actions of the user.) The present invention utilizes the actions of the user as a common denominator to simplify the functional complexity of the electronic device. Such utilization assumes that a change in function of the electronic device is accompanied by a change in user behavior. For example, when a user is cooking, the user may want to use the smartphone as a hands-free, lights other than kitchen lights, turn off the lights, and listen to classical music. However, when the user watches the television, the user will try to use the smartphone in the vibration mode, weaken the living room lighting, and stop playing the music. When a user performs a different action, the user desires another function or response to the electronic device according to the behavior change.

다시 말해, 전자기기의 복잡한 기능변화는 사용자의 행동변화로부터 일어날 수 있다. 이러한 일대다 (一對多) 관계, 즉 하나의 행동변화 대비 여러 기능변화, 는 복잡성을 단순화하는 핵심요소이다. 이 사용자의 행동과 전자기기의 기능들과의 일대다 관계는 "작동모드"로 정의된다. 각각의 작동모드는 사용자의 행동변화에 필요한 전자기기의 기능변화를 포함한다. 따라서, 본 발명에서 각각의 사용자 행동은 연관된 작동모드 (본 발명에서 전자기기의 사용자 행동기반 정황인식 작동모드로 정의) 를 가지고 있다.In other words, complex functional changes of electronic devices can arise from user behavior changes. This one-to-many relationship, that is, a change of function versus a behavior change, is a key factor in simplifying complexity. A one-to-many relationship between the behavior of this user and the functions of the electronic device is defined as the "operating mode". Each operation mode includes a function change of the electronic device necessary for the user's behavior change. Thus, in the present invention, each user action has an associated operating mode (defined as the user behavior based contextual recognition operating mode of the electronic device in the present invention).

본 발명에서 사용자의 행동을 사용자의 정황 (유저컨텍스트, 본 발명에서 정의하는 사용자 행동기반 정황) 으로 활용하기 위하여 육하원칙 (누가, 무엇을, 언제, 어디서, 왜, 어떻게) 을 이용하여 사용자의 행동에 대한 모든 정보를 취합한다. 따라서, 사용자 행동의 상세한 요소는 사용자 그룹 (누가), 사물/대상 (무엇을), 시간 (언제), 위치 (어디서), 의도/이유 (왜), 기타 정황정보 (어떻게) 의 일부나 모두를 포함할 수 있으며 데이터 구조를 활용하여 정의할 수 있다. 표준화된 데이터 구조는 전자기기 내부 또는 전자기기들 간에서 사용자 행동에 대한 정보를 수집, 저장, 접근, 커뮤니케이션 하기 위해 필요할 수 있다.In the present invention, in order to utilize a user's behavior as a context of the user (user context, user behavior based context defined in the present invention), the user is allowed to use the two-way rule (who, what, when, Collect all information about you. Therefore, the detailed elements of user behavior can include all or some of the user group (who), object / object (what), time (when), location (where), intent / reason (why) And can be defined using data structures. A standardized data structure may be needed to collect, store, access, and communicate information about user behavior within or between electronic devices.

사용자 행동을 육하원칙을 이용하여 사용자 행동기반 정황으로 정의할 때, 그 사용자 행동에 맞는 전자기기의 기능적 변화는 본 발명에서 표현하는 "사용자 행동기반 정황인식 작동모드"로 정의된다. 작동모드는 소프트웨어 및 하드웨어에 대한 기능과 세팅을 포함할 수 있다. 예를 들면, 스마트폰의 작동모드는 오디오앱의 재생목록과 볼륨조절 또는 스마트폰 기기 자체의 벨소리 세팅이 포함될 수 있다. 스마트홈의 조명제어시스템 작동모드는 밝기조절 세팅이 포함될 수 있다. 그러므로 사용자의 행동이 "요리"에서 "텔레비젼 시청"으로 바뀌게 되면, 미리 설정된 "텔레비젼 시청"이라는 사용자 행동의 정황인식 작동모드에 따라 스마트폰은 자동적으로 진동모드로 전환되고 오디오앱을 정지시키고 스마트홈 조명제어시스템은 거실 조명을 약하게 조절하게 된다.When the user behavior is defined as the context of user behavior based on the two-dimensional hierarchy, the functional change of the electronic device corresponding to the user behavior is defined as the "user behavior based context aware operation mode" expressed in the present invention. The operating modes may include functions and settings for software and hardware. For example, the mode of operation of the smartphone may include a playlist and volume control of the audio app or ringtone settings of the smartphone device itself. The lighting control system operating mode of the smart home may include a brightness adjustment setting. Therefore, when the user's behavior changes from "cooking" to "watching TV ", the smartphone automatically switches to the vibration mode, stops the audio app, The lighting control system adjusts the living room lighting lightly.

사용자는 미리 각각의 사용자 행동에 대하여 전자기기들이 어떻게 작동해야 하는지 정황인식 작동모드에 미리 설정해 놓으면 된다. 그렇게 되면, 매번 사용자가 미리 설정한 사용자 행동으로 전환했을 때, 전자기기들은 미리 설정된 기능과 세팅으로 전환하게 된다. 그러므로 본 발명은 사용자의 모바일 경험뿐 아니라 모든 전자기기에 대한 경험을 간소화시킨다. 사용자는 스마트폰, 웨어러블기기, 가전기기, 홈오토메이션기기, 자동차관련 전자기기 및 기타 전자기기를 사용자의 행동의 변화로써 제어할 수 있게 된다.The user may set in advance the context-aware operating mode in advance how electronic devices should operate for each user behavior. Then, each time the user switches to a preset user action, the electronic devices are switched to preset functions and settings. The present invention therefore simplifies the experience for all electronic devices as well as the user's mobile experience. Users can control smart phones, wearable devices, home appliances, home automation devices, automobile related electronic devices and other electronic devices by changing user behavior.

전자기기들은 점점 스마트해지고 다른 환경 조건에 다르게 작동하기 위해 환경을 모니터링하기 위한 센서들을 사용한다. 본 발명은 사용자의 새로운 행동 그리고/또는 새로운 행동을 취하려는 사용자의 의도를 주요 환경 조건으로 전제한다. 그러므로 본 발명의 전자기기들은 사용자의 새로운 행동 그리고/또는 새로운 행동을 취하려는 사용자의 의도를 감지하고, 서로 다른 사용자 행동 그리고/또는 행동을 취하려는 사용자의 의도에 따라 전자기기들은 다르게 작동한다. 각각의 사용자 행동에 대하여 하나 또는 다수의 연관된 사용자 행동기반 정황인식 작동모드를 정의하며, 그 작동모드는 다른 사용자 행동에 따라 전자기기들이 어떻게 다르게 작동하는지 정의한다. 본 발명은 네트워크 상의 다수의 전자기기들에 대해 사용자 행동기반 정황인식 작동모드를 어떻게 구현하는지 구현방법을 제시한다. 그러므로 하나의 전자기기에서 새로운 사용자 행동이 감지되었을 때, 그 전자기기가 새로운 사용자 행동을 네트워크 상의 다른 전자기기들에게 통보하고, 그 네트워크 상의 다른 전자기기들이 새로운 사용자 행동에 연계되어 미리 정의된 정황인식 작동모드로 변환한다.Electronics are becoming increasingly smarter and use sensors to monitor the environment to work differently in different environmental conditions. The present invention assumes the user's intention to take a new behavior and / or a new behavior of the user as a key environmental condition. Thus, the electronic devices of the present invention behave differently according to the intention of the user to perceive the user's intention to take a new behavior and / or a new behavior of the user, and to take different user behavior and / or behavior. For each user action, one or more associated user behavior based context aware operating modes are defined that define how the electronic devices behave differently according to different user behavior. The present invention provides an implementation method of how to implement a context-aware operating mode based on user behavior for a plurality of electronic devices on a network. Therefore, when a new user behavior is detected in one electronic device, the electronic device informs other electronic devices on the network of the new user behavior, and other electronic devices on the network associate with the new user behavior, To the operating mode.

전자기기들은 기능들로 넘쳐나고 있다. 그러한 기능의 복잡성은 결국 사용자 경험을 저해하고 그 전자기기들의 가능성을 제한한다. 예를 들면, 스마트폰이 광대한 기능들로 모든 이의 일상을 바꾸었지만, 많은 이들은 그 가능성들을 사용하는데 어려움을 겪고 있고 기존의 플립폰 보다도 사용하기 어려워 하고 있다. 본 발명은 전자기기와의 사용자 상호작용 (interation) 을 간단하게 하는 시스템과 방법을 정의한다. 서로 다른 사용자 행동에 대하여 사용자 행동기반 정황인식 작동모드들이 일단 정의되고 나면, 새로운 사용자 행동이 감지되었을 때 본 발명의 전자기기들은 그들의 기능들을 자동으로 바꿀 수 있다. 그러므로, 그 전자기기들과의 사용자 상호작용 (interaction) 은 새로운 사용자 행동을 선택하는 수준으로 단순해지거나, 나아가 그 전자기기들이 사용자 행동을 자동으로 감지하는 수준으로 단순해진다. 미래에 사람의 움직임 인식이나 음성 인식 등의 기술들이 발전하게 되면, 본 발명의 홈오토메이션시스템은 사용자가 조깅을 하려는 의도를 사용자가 런닝화를 신으려는 움직임을 통해 분석하고 파악하여, 사용자에게 "조깅을 할 준비가 되었나요"라고 확인하게 되고, 사용자의 상호작용 (interation) 은 단지 "예" 또는 "아니오"를 대답하는 수준으로 단순해질 것이다.Electronic devices are flooding with functions. The complexity of such functionality ultimately hinders the user experience and limits the possibilities of those electronic devices. For example, smartphones have changed their daily lives with vast functions, but many are having difficulty using those possibilities and making them more difficult to use than traditional flip phones. The present invention defines systems and methods that simplify user interactions with electronic devices. Once context-aware operating modes based on user behavior are defined for different user actions, the electronic devices of the present invention can automatically change their functions when new user behavior is detected. Therefore, the user interaction with the electronic devices is simplified to a level of selecting a new user action, and further simplified to a level at which the electronic devices automatically detect user behavior. When technologies such as human motion recognition and speech recognition are developed in the future, the home automation system of the present invention analyzes and intends the user's intention to jog through the movement of the user to wear a running shoe, Ready to do ", and the user's interation will be simplified to a level of" Yes "or" No ".

도.1은 종래 전자기기의 사용자 경험 시나리오 예시,
도.2는 도.1의 사용자 시나리오 100에 서술된 사용자 행동 "조깅"에 대한 사용자 행동, 전자기기들, 전자기기들의 기능과 세팅들간의 일대다 연관 관계,
도.3은 도.1의 사용자 시나리오 100에 서술된 사용자 행동 "취침"에 대한 사용자 행동, 전자기기들, 전자기기들의 기능과 세팅들간의 일대다 연관 관계,
도.4는 전자기기의 일 실시예,
402 입력부
404 출력부
406 제어부
408 그래픽모듈
410 네트워크
412 메모리
414 저장기기
416 통신모듈
418 사용자 행동기반 정황인식 작동모드 제어모듈
도.5는 전자기기 400의 다양한 실시예,
도.6은 사용자 행동의 감지방법에 대한 다양한 실시예,
도.7은 본 발명의 일 실시예에 따른 사용자 행동의 데이터 구조,
도.8은 본 발명의 일 실시예에 따른 정황인식 작동모드의 데이터 구조,
도.9는 본 발명의 일 실시예에 따는 사용자 행동과 정황인식 작동모드 간의 연관관계도,
도.10은 본 발명의 일 실시예에 따른 사용자 행동기반 정황인식 작동모드가 적용된 사용자 경험 시나리오,
도.11은 종래 스마트폰의 아키텍처 실시예,
도.12는 본 발명의 일 실시예에 따른 스마트폰의 아키텍처,
도.13A는 본 발명의 일 실시예에 따른 흐름도 (1/2),
도.13B는 본 발명의 일 실시예에 따른 흐름도 (2/2),
도.14는 본 발명의 일 실시예에 따른 홈스크린 화면,
도.15는 본 발명의 일 실시예에 따른 초기 화면,
도.16은 본 발명의 일 실시예에 따른 새로운 사용자 행동 편집 화면,
도.17은 본 발명의 일 실시예에 따른 자동감지 편집 화면,
도.18은 본 발명의 일 실시예에 따른 애플리케이션 활성화 편집 화면,
도.19는 본 발명의 일 실시예에 따른 센서 입력 편집 화면,
도.20은 본 발명의 일 실시예에 따른 블루투스 입력 편집 화면,
도.21은 본 발명의 일 실시예에 따른 사용자 행동기반 정황인식 작동모드 편집 화면,
도.22는 본 발명의 일 실시예에 따른 애플리케이션 활성화 편집 화면,
도.23은 본 발명의 일 실시예에 따른 주기기 세팅 편집 화면,
도.24는 본 발명의 일 실시예에 따른 주변기기 편집 화면,
도.25는 본 발명의 일 실시예에 따른 주변기기 세팅 편집 화면,
도.26은 본 발명의 일 실시예에 따른 새로운 사용자 행동 시작 확인 화면,
도.27은 본 발명의 일 실시예에 따른 세팅 편집 화면,
도.28은 본 발명의 일 실시예에 따른 새로운 사용자 행동 감지 확인 화면,
도.29는 본 발명의 일 실시예에 따른 새로운 사용자 행동 알림 확인 화면,
도.30은 본 발명의 일 실시예에 따른 정황인식 작동모드 부재 알림 화면.
1 illustrates an example of a user experience scenario of a conventional electronic device,
2 illustrates a one-to-many association between the user behavior for user behavior "jogging " described in user scenario 100 of FIG. 1, the functions and settings of electronic devices,
3 illustrates a one-to-many association between the user behavior for the user behavior "sleeping " described in user scenario 100 of Fig. 1, the functions and settings of electronic devices,
4 shows an embodiment of an electronic apparatus,
402 input unit
404 output section
406 Control unit
408 graphics module
410 network
412 memory
414 Storage devices
416 communication module
418 User Behavior Based Context Aware Operation Mode Control Module
5 illustrates various embodiments of the electronic device 400,
6 illustrates various embodiments of a method of sensing user behavior,
7 illustrates a data structure of a user behavior according to an embodiment of the present invention,
8 illustrates a data structure of a context-aware operating mode according to an embodiment of the present invention,
Figure 9 also shows the association between user behavior and context aware operating mode according to an embodiment of the present invention,
FIG. 10 illustrates a user experience scenario in which a context-aware operation mode based on user behavior is applied according to an embodiment of the present invention,
11 shows an architecture embodiment of a conventional smart phone,
12 illustrates an architecture of a smartphone according to an embodiment of the present invention,
13A is a flow diagram (1/2), FIG.
13B are flowcharts (2/2),
14 illustrates a home screen screen according to an exemplary embodiment of the present invention,
15 shows an initial screen according to an embodiment of the present invention,
16 is a diagram showing a new user behavior editing screen according to an embodiment of the present invention,
FIG. 17 is a diagram illustrating an automatic detection editing screen according to an embodiment of the present invention,
18 shows an application activation edit screen according to an embodiment of the present invention,
FIG. 19 is a diagram illustrating a sensor input editing screen according to an embodiment of the present invention,
20 illustrates a Bluetooth input edit screen according to an embodiment of the present invention,
FIG. 21 is a diagram illustrating a user behavior based contextual recognition operation mode editing screen according to an embodiment of the present invention,
FIG. 22 illustrates an application activation edit screen according to an embodiment of the present invention,
FIG. 23 is a diagram showing a main device setting editing screen,
FIG. 24 illustrates a peripheral editing screen according to an embodiment of the present invention,
25 is a diagram illustrating a peripheral setting editing screen according to an embodiment of the present invention,
26 is a flowchart illustrating a new user action start confirmation screen according to an embodiment of the present invention,
27 shows a setting editing screen according to an embodiment of the present invention,
28 is a diagram illustrating a new user behavior detection confirmation screen according to an embodiment of the present invention,
29 is a diagram showing a new user behavior notification confirmation screen according to an embodiment of the present invention,
30 is a context-aware operating mode member notification screen according to an embodiment of the present invention;

단수 또는 복수의 전자기기의 사용자 행동기반 정황인식 작동모드에 대한 시스템과 방법을 도.1부터 도.30까지 참조하여 설명하였다.A system and method for context-aware operation mode based on user behavior of a single or plural electronic devices has been described with reference to Figs. 1 to 30. Fig.

도.1은 사용자가 조깅과 취침이라는 행동을 취했을 때 사용자의 전자기기들에 대한 사용자 경험에 대한 일 실시예에 따른 사용자 시나리오 100을 보여준다. 시나리오 100은 첫 단계 102로서 "사용자는 조깅을 하기로 결심"이라는 새로운 행동을 취하려는 의도로 시작한다. 단계 104와 106을 통해 사용자는 사용자의 운동을 추적하는 앱을 시작하고 앱에서 운동종류를 "조깅"으로 선택한다. 단계 108, 110, 112를 통해 사용자는 조깅에 적합한 음악 재생목록을 선택하고, 조깅 중에 수신전화의 벨소리를 듣기 위해 무음/진동 스위치를 무음/진동에서 벨소리가 들리도록 바꿔주고, 조깅에 적합하게 볼륨을 조절한다. 단계 114를 통해서 사용자는 집을 나서기 전에 모든 조명을 끈다. 이제 사용자는 조깅할 준비를 모두 마쳤다. 사용자는 단계 116을 통해 운동을 추적하는 앱의 시작 버튼을 누르고 단계 118을 통해 조깅을 한다. 단계 120을 통해 사용자는 조깅을 마친 후 운동을 추적하는 앱의 종료 버튼을 누르고 추적정보를 저장한다. 단계 122, 124, 126, 128을 통해 사용자는 집에 들어 오면서 조명을 키고, 보일러를 키고, 샤워를 하고, 샤워가 끝난 후 보일러를 끈다.FIG. 1 shows a user scenario 100 according to an embodiment of a user experience for a user's electronic devices when the user takes an action of jogging and sleeping. Scenario 100 begins with the intention of taking a new action, "User decides to jog," as a first step 102. Through steps 104 and 106, the user starts an app that tracks the user's workout and selects the workout type as "jogging" in the app. Through the steps 108, 110 and 112, the user selects a music playlist suitable for jogging and changes the silent / vibration switch to silent / vibrate in order to hear the ringing of the incoming call during jogging, . Through step 114, the user turns off all the lights before leaving home. Now the user is ready for jogging. The user presses the start button of the app that tracks the exercise through step 116 and jogs through step 118. [ In step 120, the user presses the end button of the app to track the exercise after the jogging and stores the tracking information. Through steps 122, 124, 126, and 128, the user enters the house, lights, boilers, takes a shower, and turns off the boiler after the shower is over.

단계 102부터 128까지의 단계들은 사용자의 조깅 행동과 관련되어 있으며, 사용자는 스마트폰, 보일러, 조명기기의 3가지 다른 전자기기들을 접한다. 사용자가 3가지 전자기기들과 접하는 것은 사용자의 조깅 행동에 맞게 3가지 전자기기들의 기능과 세팅을 조정해 주기 위해서이다. Steps 102 through 128 relate to the user's jogging behavior and the user interacts with three different electronic devices: a smartphone, a boiler, and a lighting device. The user's contact with the three electronic devices is to adjust the functions and settings of the three electronic devices according to the user's jogging behavior.

단계 130부터 136은 사용자가 샤워 후 취침을 하기 위하여 "취침"이라는 새로운 사용자 행동에 맞는 전자기기들의 기능과 세팅을 조정하는 단계들을 보여준다. 단계 132를 통해 "취침"이라는 사용자 행동을 위하여 사용자는 오디오를 켜고, 취침 전에 듣기 적합한 음악 재생목록을 선택하고, 30분 후 꺼지도록 오디오의 타이머를 조정한다. 단계 134와 136을 통해 사용자는 조명기기의 타이머를 30분에 맞추고 취침을 시작한다. 단계 130부터 136에 이르는 단계들로 사용자는 조명기기와 오디오의 2가지 전자기기들을 접한다.Steps 130 through 136 illustrate the steps for adjusting the functions and settings of the electronic devices according to the new user behavior "sleeping " for the user to take a shower after a shower. For the user action "sleep" through step 132, the user turns on the audio, selects a music playlist suitable for listening before going to bed, and adjusts the timer of the audio to turn off after 30 minutes. Through steps 134 and 136, the user sets the timer of the luminaire to 30 minutes and starts sleeping. From steps 130 to 136, the user touches two electronic devices, the illuminator and the audio.

예시적인 시나리오 100은 종래의 전자기기들과의 사용자 경험을 예로 들고 있으며, 조깅과 취침이라는 2가지 사용자 행동과, 스마트폰, 보일러, 조명기기, 오디오의 4가지 전자기기들, 그리고 그 4가지 전자기기들의 다양한 기능과 세팅의 조정을 포함한다. 사용자 행동이 변화할 때 사용자는 새로운 사용자 행동에 적합하도록 전자기기들을 켜거나 끄거나 또는 그 전자기기들의 기능과 세팅들을 조정해 준다. 미래의 전자기기들이 더욱 똑똑해지고 네트워크화가 될수록 사용자들은 더욱더 많은 기능을 누릴 수 있지만, 사용자 행동이 변화할 때마다 그 기능들과 세팅들을 계속 조정해줘야 하기 때문에 사용자 인터페이스는 복잡성이 증대될 것이다.Exemplary scenario 100 is an example of user experience with conventional electronic devices and includes two user actions: jogging and sleeping, four electronic devices such as smart phones, boilers, lighting devices, audio, This includes the adjustment of the various functions and settings of the devices. When user behavior changes, the user turns on or off the electronic devices to suit the new user behavior, or adjusts the functions and settings of the electronic devices. As future electronic devices become smarter and more networked, users will enjoy more functionality, but the user interface will increase in complexity as the user needs to continually adjust its functions and settings as user behavior changes.

본 발명은 사용자 인터페이스의 복잡성을 해결하는 해법을 제시한다. 복잡성을 해결하기 위해서 본 발명은 사용자 행동을 공통분모로 사용하여, 전자기기들의 복잡한 기능과 세팅들을 분류하고, 현재의 사용자 행동에 필요한 전자기기들의 기능과 세팅들만을 그룹화한다. 도.2와 도.3은 예시적인 사용자 시나리오 100에서 보여준 사용자 행동 "조깅"과 "취침"에 관련된 전자기기들과 그들의 기능과 세팅들 간의 연관도 200과 300으로서 각각의 실시예를 보여준다. 도.2에서 보여주는 것과 같이 사용자 행동 "조깅" 202는 스마트폰 204, 조명기기 214, 보일러 218의 3가지 전자기기들과 206, 208, 210, 212, 216, 220의 6가지 기능과 세팅들과 관련이 있다. 도.3은 사용자 행동 "취침" 302가 조명기기 214, 오디오 306의 2가지 전자기기들과 304, 308의 2가지 기능과 세팅들과 관련이 있음을 보여준다.The present invention provides a solution to solve the complexity of the user interface. To solve the complexity, the present invention uses user behavior as a common denominator to classify the complex functions and settings of electronic devices, and groups only the functions and settings of electronic devices necessary for current user behavior. Figures 2 and 3 illustrate each embodiment as an association 200 and 300 between electronic devices and their functions and settings related to user behavior "jogging" and "sleep " shown in the exemplary user scenario 100. As shown in Fig. 2, the user behavior "jogging" 202 includes the six functions and settings of the three electronic devices 206, 208, 210, 212, 216 and 220, namely, the smartphone 204, the lighting device 214 and the boiler 218 It is relevant. 3 shows that the user behavior "sleep" 302 is related to two functions and settings of the two electronic devices 304 and 308, the lighting device 214 and the audio 306.

도.2와 도.3에서 보이는 바와 같이, 사용자 행동, 전자기기들, 그 전자기기들의 기능과 세팅들 간의 일대다 관계는 본 발명의 핵심요소이다. 본 발명은 이 일대다 관계를 복잡성을 해결하는데 활용하고 사용자 경험을 단순화한다. 사용자 행동 "조깅"이 감지되면 206, 208, 210, 212, 216, 220의 6가지 기능과 세팅들이 자동으로 204, 214 218의 3가지 전자기기들에서 조정될 수 있다. 사용자 행동 "취침"이 감지되면 304, 308의 2가지 기능과 세팅들이 자동으로 214, 306의 전자기기들에서 조정될 수 있다.As shown in Figs. 2 and 3, a one-to-many relationship between user behavior, electronic devices, functions and settings of the electronic devices is a key element of the present invention. The present invention utilizes this one-to-many relationship to solve complexity and simplifies the user experience. When the user action "jogging" is detected, six functions and settings 206, 208, 210, 212, 216 and 220 can be automatically adjusted in the three electronic devices 204, 214 and 218. When the user action "sleep" is detected, the two functions and settings 304 and 308 can be automatically adjusted in electronic devices 214 and 306. [

본 발명은 예시적인 시나리오 100에서 보여주듯이 사용자는 사용자 행동의 변화에 따라 전자기기들로부터 다른 작동을 원하기 때문에 기능과 세팅들을 조정한다는 사실에 주목한다. 그러므로 사용자 행동의 변화는 전자기기들의 여러 기능과 세팅들의 변화들의 근본 원인이다. 본 발명은 사용자의 행동을 감지하고 그 감지한 사용자 행동에 맞게 전자기기들의 기능과 세팅들을 자동으로 조정해 주는 시스템과 방법을 제시한다. 본 발명은 해당 전자기기들의 미리 지정된 기능과 세팅들의 조정을 "작동모드"라고 정의한다. 각각의 다른 사용자 행동은 각각의 다른 전자기기 작동모드와 연계된다. 본 발명에서 사용자 행동을 사용자의 정황, 즉 사용자 컨텍스트, 로 정의하고 있기 때문에, 각각의 사용자 행동에 대한 "작동모드"는 "사용자 행동기반 정황인식 작동모드"로 정의한다. 사용자 행동기반 정황인식 작동모드는 사용자 행동의 변화가 감지되었을 때 전자기기들의 모드 또는 상태에 대한 정보를 담고 있다. 기능과 세팅의 조정은 전자기기들의 하나 또는 그 이상의 기능, 앱, 구성요소들의 켜기, 끄기, 접근권한 등을 포함한다.It is noted that the present invention adjusts functions and settings because the user desires different operations from the electronic devices as the user behavior changes, as shown in the exemplary scenario 100. Therefore, changes in user behavior are the root cause of changes in various functions and settings of electronic devices. The present invention provides a system and method for automatically detecting a user's behavior and adjusting the functions and settings of the electronic devices according to the detected user behavior. The present invention defines the coordination of predefined functions and settings of the electronic devices as an "operating mode ". Each different user action is associated with each of the other electronic device operating modes. In the present invention, since the user behavior is defined as the user context, that is, the user context, the "operation mode" for each user behavior is defined as "user behavior based context aware operation mode ". The user behavior based context aware operation mode contains information about the mode or state of electronic devices when a change in user behavior is detected. Adjustments to functions and settings include turning on and off one or more functions, apps, and components of electronic devices, and accessing them.

기능은 입력기능 (예: 마이크), 출력기능 (예: 오디오 출력), 커뮤니케이션기능 (예: 블루투스), 그래픽기능 (예: 디스플레이 밝기조절), 또는 상기 표기된 기능들의 조합 등을 포함한다. 예를 들면, "비밀 미팅"이라는 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드는 녹화를 방지하기 위해 마이크를 끄거나 사진촬영을 금지하기 위해 카메라기능을 끄는 것 등을 포함한다.The function includes an input function (eg microphone), an output function (eg audio output), a communication function (eg Bluetooth), a graphic function (eg display brightness control), or a combination of the above noted functions. For example, a user behavior based contextual recognition mode of operation for a user action called "secret meeting " includes turning off the microphone to turn off the camera or turning off the camera function to prevent photography, etc.

사용자 행동기반 정황인식 작동모드는 사용자에게 접근성이 주어진 전자기기들의 하나 또는 그 이상의 구성요소들에 대한 우선순위와 가용성을 변경시킬 수 있다. 구성요소는 미디어요소 (예: 음악, 동영상), 커뮤니케이션요소 (예: 이메일, 문자, 연락처), 기타 구성요소 (예: 인터넷 브라우저의 즐겨찾기 링크), 또는 상기에 표기된 요소들의 조합 등을 포함한다. 예를 들면, "재택 (at home)"이라는 사용자 행동기반 정황인식 작동모드는 업무관련 또는 회사기밀관련 이메일, 연락처, 즐겨찾기 링크 등을 비활성화시킬 수 있다.The user behavior based context aware operation mode may change the priority and availability of one or more components of the electronic devices that are given accessibility to the user. A component may include media elements (e.g., music, video), communication elements (e.g., email, text, contacts), other components (e.g., favorite links in an Internet browser) . For example, a user behavior based context aware operating mode called "at home " may deactivate business related or corporate confidential emails, contacts, favorite links, and the like.

도.4는 본 발명의 일 실시예에 따른 하나 또는 그 이상의 사용자 행동기반 정황인식 작동모드를 포함하는 전자기기 400을 보여준다. 전자기기 400은 음악재생기기, 동영상재생기기, 게임기기, 개인용 컴퓨터, 프린터, 스마트폰, 태블릿기기, 패블릿기기, 스마트워치, 기타 웨어러블기기, 디지털개인비서, 기타 커뮤니케이션기기, 카메라, 가전기기, 홈오토메이션기기, 자동차용 전자기기, 키오스크와 같은 사용자 인터페이스기기, 상기 기기들의 조합 등 다양한 전자기기가 될 수 있다. 경우에 따라, 전자기기 400은 진공청소와 같은 단순한 기능만을 제공할 수도 있고, 진공청소뿐 아니라 음악도 재생하는 다양한 기능을 포함할 수도 있다.Figure 4 illustrates an electronic device 400 that includes one or more user behavior based context aware operating modes in accordance with an embodiment of the present invention. The electronic device 400 can be used for various applications such as a music player, a video player, a game machine, a personal computer, a printer, a smart phone, a tablet device, a tablet device, a smart watch, a wearable device, a digital personal assistant, A home automation device, an automobile electronic device, a user interface device such as a kiosk, a combination of the above devices, and the like. In some cases, the electronic device 400 may provide only a simple function such as vacuum cleaning, and may include various functions to reproduce music as well as vacuum cleaning.

전자기기 400은 휴대용일 수도 있고, 손안에 들고 다닐 수도 있고, 몸에 걸칠 수도 있고, 인체에 이식시킬 수도 있고, 또는 사용자가 가는 곳마다 사용할 수 있도록 또 다른 형태를 포함할 수도 있다. 또한, 전자기기 400은 휴대성이 없이 텔레비전이나 공조기기와 같이 정적일 수도 있다. 추가로, 전자기기 400은 휴대성도 없고 정적이지 않지만 자동차 네비게이션기기, 자동차 운전성제어기기, 비행기의 좌석과 같이 움직이는 기구에 포함된 전자기기로서 움직일 수 있다.The electronic device 400 may be portable, may be carried in a hand, worn on the body, implanted in a human body, or may include other forms for use by the user everywhere. Also, the electronic device 400 may be static like a television or an air conditioner without portability. In addition, the electronic device 400 can be moved as an electronic device included in a moving device, such as a car navigation device, a vehicle driving control device, or an airplane seat, although the device is not portable and static.

전자기기 400은 입력부 402, 출력부 404, 제어부 406, 그래픽부 408, 통신버스 410, 메모리부 412, 저장부 414, 통신부 416, 사용자 행동기반 정황인식 작동모드 제어부 418 등을 포함할 수 있다. 입력부 402는 터치 인터페이스, GPS 센서, 마이크, 카메라, 신경 센서 외 인간의 행동 또는 행동을 취하려는 의도를 감지할 수 있는 기타의 감지방법을 포함할 수 있다. 출력부 404는 디스플레이, 스피커 및 그 외의 사용자에게 정보나 미디어를 제공하는 방법들을 포함한다. 전자기기 400은 운영체계나 애플리케이션을 포함할 수 있다. 그 운영체계나 애플리케이션은 제어부 406에서 작동하면서 전자기기 400의 기능과 세팅들을 제어할 수 있다. 그 운영체계나 애플리케이션은 메모리부 412나 저장부 414에 저장될 수 있다. 그래픽부 408은 시스템, 소프트웨어나 기타의 영상 정보나 미디어를 사용자에게 제공하는 방법을 포함할 수 있다. 통신부 416은 와이파이, 이더넷, 블루투스, NFC, 적외선, 셀룰러, 기타의 통신 프로토콜, 또는 상기의 조합 등으로 통신 네트워크와 연계하여 작동할 수 있다. 사용자 행동기반 정황인식 제어모듈 418은 소프트웨어로 구현될 수도 있으며, 다른 경우에는 하드웨어나 펌웨어, 또는 그들의 조합으로 구현될 수도 있다. 사용자 행동기반 정황인식 제어모듈 418은 또 다른 전자기기 400의 입력부 402, 제어부 406, 통신부 416과 같은 컴포넌트로부터 정보를 받아서 새로운 사용자 행동을 감지하기 위해 활용할 수 있다.The electronic device 400 may include an input unit 402, an output unit 404, a control unit 406, a graphic unit 408, a communication bus 410, a memory unit 412, a storage unit 414, a communication unit 416, The input unit 402 may include a touch interface, a GPS sensor, a microphone, a camera, a neural sensor, and other sensing methods that can sense human behavior or intention to take action. Output 404 includes methods for providing information or media to a display, speaker, and other users. The electronic device 400 may include an operating system or an application. The operating system or application can control the functions and settings of the electronic device 400 while operating in the control unit 406. [ The operating system or application may be stored in the memory unit 412 or the storage unit 414. Graphics unit 408 may include a method of providing a system, software, or other visual information or media to a user. The communication unit 416 may operate in conjunction with a communication network, such as a WiFi, Ethernet, Bluetooth, NFC, Infrared, cellular, or other communication protocol, or any combination thereof. The user behavior based context recognition control module 418 may be implemented in software, in other cases hardware, firmware, or a combination thereof. The user context based context recognition control module 418 may receive information from components such as the input unit 402, the control unit 406, and the communication unit 416 of another electronic device 400 and utilize them to detect new user behavior.

사용자 행동기반 정황인식 작동모드를 구현하는 시스템과 방법은 전자기기 400과 같은 형태의 단수의 기기, 다른 형태의 단수의 기기, 또는 전자기기 400 또는 다른 형태의 기기들의 조합으로 구성된 복수의 기기들을 포함할 수 있다. 도.5는 사용자 행동기반 정황인식 작동모드의 실시예에 해당되는 다양한 형태의 전자기기들을 예시 500을 통해 보여준다. 도.5의 예시에서 전자기기 400의 다양한 형태로서 스마트폰 502, 웨어러블기기 506, 가전기기 508, 홈오토메이션기기 510, 자동차용 전자기기 512, 키오스크와 같이 유통에서 활용하는 사용자 인터페이스기기 514들을 네트워크 504에 모두 연결된 형태로 보여준다. 네트워크 504는 와이파이, 블루투스, 이더넷, TCP/IP, GSM, CDMA, 기타 통신 프로토콜, 또는 상기의 조합 등의 유무선 방식일 수 있다. 도.5의 전자기기들은 사용자 행동기반 정황인식 작동모드와 사용자의 현재 행동에 대한 정보를 공유하기 위해 상호 간에 통신할 수 있다. 도.5의 모든 전자기기들은 새로운 사용자 행동을 감지하고 그 사용자 행동 또는 해당하는 정황인식 작동모드에 대한 정보를 네트워크 504에 연결된 다른 전자기기들과 통신할 수 있다. 도.5의 예시에서는 스마트폰 502은 주기기라고 명칭하고 다른 형태의 전자기기들은 주변기기라고 명칭한다. 본 발명의 모든 전자기기들은 주기기 또는 주변기기가 될 수 있다. 다수의 전자기기의 사용자 행동기반 정황인식 작동모드에 대한 이해를 돕기 위해 사용자가 주로 작동하는 전자기기를 주기기라고 명칭하고 네트워크상의 주기기가 아닌 나머지의 전자기기들은 주변기기라고 명칭한다.Systems and methods for implementing a context-aware operating mode based on user behavior include a plurality of devices comprised of a single device, such as electronic device 400, a single device of another type, or a combination of electronic devices 400 or other types of devices can do. FIG. 5 illustrates various types of electronic devices corresponding to the embodiment of the context-aware operating mode based on the user behavior through an example 500. FIG. 5, the user interface devices 514 used in distribution, such as the smartphone 502, the wearable device 506, the home appliance 508, the home automation device 510, the automobile electronic device 512, and the kiosk, As shown in FIG. The network 504 may be a wired or wireless type such as Wi-Fi, Bluetooth, Ethernet, TCP / IP, GSM, CDMA, other communication protocols, Electronic devices of Fig. 5 can communicate with each other to share information on the user's current behavior and the context-aware operating mode based on the user behavior. All electronic devices in FIG. 5 can detect new user behavior and communicate information about the user behavior or the corresponding context-aware operating mode to other electronic devices connected to the network 504. In the example of FIG. 5, the smart phone 502 is called a main device and other types of electronic devices are called a peripheral device. All of the electronic devices of the present invention can be main devices or peripherals. In order to facilitate understanding of the user behavior based context recognition operation mode of a plurality of electronic devices, an electronic device in which a user operates mainly is called a main device, and the remaining electronic devices other than the periodic device on the network are called peripheral devices.

본 발명은 사용자의 행동을 사용자의 정황으로 감지하는 시스템과 방법을 제시한다. 사용자 행동의 감지는 사용자의 명시적인 입력 또는 암시된 가정을 포함한다. 다시 말해서 사용자는 수동으로 사용자의 행동을 입력하거나 전자기기들이 가용한 정보를 분석하여 사용자의 행동을 추정할 수 있다. 도.6에서 일 실시예 600으로 사용자 행동을 감지할 수 있는 방법들을 나열하였다.The present invention provides a system and method for detecting a user's behavior in the context of a user. Detection of user behavior includes the user's explicit input or implied assumptions. In other words, the user can manually input the user's behavior or analyze the information available to the electronic devices to estimate the user's behavior. Methods for detecting user behavior from FIG. 6 to an embodiment 600 are listed.

도.6에서 보여주듯이 사용자 행동감지 602는 수동적인 경우 604와 자동적인 경우 612로 나뉜다. 수동적인 경우는 경우 606과 같이 사용자가 사용자 행동을 사용자 행동목록에서 선택하는 경우, 경우 608과 같이 사용자가 NFC, QR 코드, RFID, 또는 미리 정의된 사용자 행동에 해당하는 다른 방법들로 태깅하는 경우, 또는 경우 610과 같이 사용자가 미리 정의된 사용자 행동에 해당하는 특정 앱을 작동시키는 경우 등이다. 수동적인 감지는 새로운 사용자 행동을 취하려는 사용자의 의도를 나타내는 직접적인 동작을 포함한다. 반대로, 자동적인 감지는 가용한 암시적 정보들로부터 사용자 행동을 추정한다. 자동적인 감지는 경우 614와 같이 사용자의 위치가 사용자의 특정 행동을 암시하는 경우, 경우 616과 같이 현재의 시간이 사용자의 특정 행동을 암시하는 경우, 경우 618과 같이 특정의 전자기기가 사용자의 특정 행동을 암시하는 경우, 경우 620과 같이 특정한 사용자와의 근접성이 사용자의 특정 행동을 암시하는 경우 등이다.As shown in FIG. 6, the user behavior detection 602 is divided into a passive case 604 and an automatic case 612. When the user selects the user action from the user action list as in case 606, if the user performs tagging with NFC, QR code, RFID, or other methods corresponding to the predefined user behavior as in case 608 , Or if the user operates a particular app corresponding to a predefined user action, such as 610. The passive detection includes a direct action indicating the intention of the user to take the new user action. Conversely, automatic detection estimates user behavior from available implicit information. If the current time implies the user's specific action, such as 616, then the automatic detection may be performed by a specific electronic device, such as 618, if the user's location implies the user's specific action, Such as when the proximity to a particular user, such as Case 620, implies a user's specific behavior.

사용자의 명시적인 입력의 방법은 전자기기들의 입력부를 이용한 내부적인 입력 (예: 스마트폰의 터치스크린) 또는 네트워크로 연결된 또 다른 전자기기들의 입력부를 이용한 외부적인 입력 (예: 사용자의 스마트폰과 연결되어 있는 스마트워치와 같은 웨어러블기기의 입력부) 등을 포함한다.A user's explicit input method may be an internal input using an input of an electronic device (e.g., a touch screen of a smart phone) or an external input using an input of another networked electronic device (e.g., And an input unit of a wearable device such as a smart watch that has been provided.

자동적인 감지는 위치기반 센서, 태깅 방식, 캘린더 입력, 또는 기타 감지장치 (예: 사무실 근처에서 GPS로 "업무" 행동 감지, 스타벅스의 와이파이 연결로 "커피휴식" 행동 감지, 쇼핑몰에서 NFC 태깅하여 "쇼핑" 행동 감지, 미팅일정에 대한 캘린더 입력으로 해당시간에 "미팅" 행동 감지, 시계 알람 입력으로 해당시간에 "기상" 행동 감지, 차량의 블루투스 연결로 "운전" 행동 감지) 등을 포함한다. 기술의 발전이 계속될수록 모션분석, 신경계분석, 또는 다른 방식의 사용자 행동 감지나 사용자의 행동을 취하려는 의지 감지 등이 사용자 행동을 자동으로 감지하기 위해 활용될 수 있다.Automatic detection can be done by location-based sensors, tagging methods, calendar inputs, or other sensing devices such as GPS "work" behavior detection near the office, Starbucks WiFi connection "coffee break" "Shopping" behavior detection, "meeting" behavior detection at that time with a calendar entry for the meeting schedule, "weather" behavior detection at that time with clock alarm input, and "driving" behavior detection with Bluetooth connectivity of the vehicle) . As technology continues to evolve, motion analysis, nervous system analysis, or other forms of user behavior detection, or will detection of user behavior, can be utilized to automatically detect user behavior.

사용자 행동 감지 602는 새로운 사용자 행동의 라이프사이클 중 어느 순간에도 이루어질 수 있다. 예를 들면, 새로운 사용자 행동은 사용자 행동 이전, 변화, 도중, 종료, 이후 등에서 감지될 수 있다.User behavior detection 602 may be performed at any time during the life cycle of a new user action. For example, new user behavior can be detected before, during, during, after, or after user behavior.

새로운 사용자 행동이 감지되었을 때, 언어학의 육하원칙 (언제, 어디서, 누가, 무엇을, 왜, 어떻게) 을 활용하여 사용자 행동에 대한 정보를 수집하고 완결된 상황을 파악하여 통합적인 사용자 정황을 도출할 수 있다. 다시 말해, 본 발명의 시스템과 방법이 사용자 행동을 감지하였을 때, 본 발명은 감지된 사용자 행동과 관련된 시간 (언제), 장소 (어디서), 사용자 그룹 (누가), 대상 (무엇을), 의도 (왜), 기타 정황적 정보 (어떻게) 등의 정보를 감지하고 측정하여 기록할 수 있다.When new user behavior is detected, it is possible to collect information on user behavior by utilizing the two or three principles of linguistics (when, where, what, why, how) have. In other words, when the system and method of the present invention detects user behavior, the present invention can be used to determine the time (when), place (where), user group (who), object (what) Why), and other contextual information (how) can be detected, recorded, and recorded.

육하원칙을 이용하여 사용자 행동을 사용자 정황으로 도출하는 것은 기존의 사용자 정황을 도출하는 방식 대비 획기적인 혁신이다. 스마트폰이 도입된 이후, 위치인식 (location awareness) 은 가장 보편적인 사용자 정황 정보였었다. 하지만, 전자기기들의 범주가 커지고 기능들이 늘어나면서, 위치인식만으로 사용자의 정황을 도출하는 것에 대한 한계를 갖고 있었다. 가속도 센서, 동작인식, 영상분석 등 다양한 기술들이 위치인식을 넘어선 사용자 정황을 도출하기 위해 개발되었지만 그 기술들은 완성도 있는 "통합적인" 사용자 정황을 정의하기 위한 하나의 체계 (프레임워크) 로는 부족하였다. 육하원칙을 프레임워크로 활용하여 사용자 행동으로 사용자 정황을 정의함으로써, 본 발명은 사용자의 현재 정황에 대한 정보를 수집하고 완결된 상황을 (마치 언어학에서 육하원칙으로 가능하듯이) 파악할 수 있다.It is a revolutionary innovation to derive the user behavior from the user context using the two-way and five-way rules, compared to the way of deriving the existing user context. Since smartphones were introduced, location awareness was the most common user context information. However, as the category of electronic devices has increased and functions have increased, there has been a limitation in deriving the user's context by only recognizing the location. Various technologies, such as acceleration sensors, motion recognition, and image analysis, have been developed to derive user context beyond location awareness, but they lacked a framework to define a complete "integrated" user context. By defining the user context by user behavior using the two-way hierarchy as a framework, the present invention gathers information about the user's current context and grasps the completed situation (as if the two-way hierarchy is possible in linguistics).

사용자 행동의 시간 (육하원칙의 언제) 을 감지하기 위해서, 타이머 또는 전자기기들의 시계 기능으로 사용자 행동의 상대적 또는 절대적 시간 정보를 측정할 수 있다. 사용자의 장소 (육하원칙의 어디서) 를 감지하기 위해서, GPS, 블루투스, 와이파이, NFC 태그, 상기의 조합 등 위치인식 기술들이 사용될 수 있다. 사용자 그룹에 대한 정보를 감지하기 위하여, 전자기기들에 저장된 사용자 식별 정보, NFC 태그, RFID 칩, 바코드, 안면 인식, 지문 인식, 홍채 인식, 또는 기타 관련된 사용자 행동의 사용자나 사용자 그룹을 감지할 수 있는 바이오메트릭 인식 기술 등이 사용될 수 있다. 대상 정보 (육하원칙의 무엇을) 는 사용자 행동과 관련된 모든 대상에 대한 정보 (예를 들면, "조깅" 사용자 행동의 경우는 사용자가 무엇을 소지하고 있는가, 또는 "식사" 사용자 행동의 경우는 사용자가 무엇을 먹고 있는가) 를 포함할 수 있다. 사용자의 의도는 사용자의 의도를 확인할 수 있는 명시적인 입력 또는 암시적인 정보로 추론된 가정 등을 포함한다. 사용자가 "샤워"라는 사용자 행동을 취했을 때, 사용자는 그 의도로 "조깅 후"라고 입력할 수도 있고, 전자기기에서 이전의 사용자 행동 "조깅"으로부터 "조깅 후"라는 의도를 가정할 수 있다. 육하원칙의 어떻게는 사용자 행동과 관련된 사용자나 환경에 대하여 다양한 정황적인 정보 (예를 들면, 사용자의 기분 또는 날씨 등) 를 포함할 수 있다. 본 발명의 시스템과 방법은 육하원칙의 일부 또는 전부를 사용자 정황 인식의 필요에 따라 포함할 수 있다.In order to detect the time of user behavior (when in the two-way hierarchy), the relative or absolute time information of the user's behavior can be measured by the clock function of the timer or electronic devices. Location aware technologies such as GPS, Bluetooth, Wi-Fi, NFC tags, combinations of the above can be used to detect the user's location A user or a user group of user identification information, NFC tags, RFID chips, bar codes, facial recognition, fingerprint recognition, iris recognition, or other related user actions stored in electronic devices can be detected Biometrics recognition technology can be used. The target information (what is in the two-dimensional hierarchy) includes information about all the objects related to the user's behavior (for example, "jogging" user behavior, what the user is carrying, What you are eating). The user's intent includes explicit assumptions that can confirm the user's intent or assumptions deduced as implicit information. When the user takes a user action of "shower ", the user may enter" after jogging " with the intent and assume the intention of "after jogging" from the previous user action "jogging" in the electronic device. How the Six Sigma principle can include various contextual information (eg, user mood or weather, etc.) about a user or environment related to user behavior. The system and method of the present invention may include some or all of the two-way rules according to the needs of user context awareness.

사용자 행동에 관련된 프로필이나 정의는 다양한 전자기기들 간에 정보를 메모리나 저장기기에 저장하고 접근하고 휴대성이나 호환성을 확보하기 위하여 도.7의 데이터구조와 같이 표준화된 포멧을 사용할 수 있다. 데이터구조는 사용자 행동 아이디 702, 사용자 행동 명 704, 사용자 행동 설명 706, 시작 시간 708, 종료 시간 710, 경도와 위도의 위치 712, 사용자 그룹 714, 관련된 대상 716, 의도 718, 기타 정황적 정보 720 등을 포함할 수 있다. 데이터구조 700은 전자기기 400에 (예를 들면, 메모리 412나 저장부 414에) 저장될 수 있다. 그 외에도, 데이터구조 700의 일부 또는 전부는 전자기기 400과 통신하는 또 다른 외부 시스템이나 기기에 위치해 있을 수 있다.Profiles or definitions related to user behavior may use standardized formats, such as the data structure of .7, to store and access information between various electronic devices in memory or storage devices and to ensure portability and compatibility. The data structure includes a user behavior ID 702, a user behavior name 704, a user behavior description 706, a start time 708, an end time 710, a location 712 of longitude and latitude, a user group 714, an associated object 716, an intention 718, . ≪ / RTI > The data structure 700 may be stored in electronic device 400 (e.g., in memory 412 or storage 414). In addition, some or all of the data structure 700 may be located in another external system or device that communicates with the electronic device 400.

새로운 사용자 행동이 사용자 정황으로 육하원칙의 데이터와 함께 감지되면, 감지된 사용자 행동에 맞게 전자기기들의 기능과 세팅들에 변화를 적용한다. 전자기기들의 기능과 세팅들의 변화는 본 발명에서 "사용자 행동기반 정황인식 작동모드"라고 정의한다. "사용자 행동기반 정황인식 작동모드"는 사용자의 정황으로서 정의된 하나의 사용자 행동에 맞는 작동모드를 가리킨다. 사용자 행동기반 정황인식 작동모드는 각각의 사용자 행동에 대하여 미리 정의되고, 사용자 행동이 감지되었을 때 해당하는 정황인식 작동모드가 메모리부 412나 저장부 414로부터 액세스 되어 전자기기들에 적용된다. 도.8은 도.1에 표기된 시나리오 100의 사용자 행동기반 정황인식 작동모드에 대한 예시적인 데이터구조 800을 보여준다. 또 다른 실시예에서는 사용자 행동에 해당하는 사용자 행동기반 정황인식 작동모드를 명기하는 것 외에 사용자 행동기반 정황인식 작동모드를 전자기기 400에 적용하기 위해 필요한 프로파일이나 정의에 노래, 비디오, 이메일 등의 자산에 대한 참조 정보나 다운로드 또는 동기화가 필요한 애플리케이션에 대한 정보를 포함할 수 있다.When a new user action is detected in the user context with the data of the two-way rule, a change is applied to the functions and settings of the electronic devices in accordance with the detected user behavior. The change in functions and settings of electronic devices is defined in the present invention as "user behavior based context aware operation mode ". The "user behavior based context aware operation mode" indicates an operation mode corresponding to one user behavior defined as a context of the user. The context-aware operation mode based on the user behavior is defined in advance for each user behavior, and the context-aware operation mode corresponding to the user behavior is accessed from the memory unit 412 or the storage unit 414 and applied to the electronic devices. 8 shows an exemplary data structure 800 for the user behavior based context aware operating mode of scenario 100 shown in FIG. In another embodiment, in addition to specifying a user behavior based context aware operation mode corresponding to a user behavior, a context or a contextual recognition operation mode may be added to a profile or definition required for applying the context aware operation mode to the electronic device 400 And information about applications that need to download or synchronize.

정황인식 작동모드의 데이터구조는 모드 ID 802, 사용자 행동 ID 804, 전자기기 ID 806, 전자기기명 808, 모드명 810, 모드설명 812, 모드오너 814, 개인 또는 공용모드 구분자 816, 변경이 필요한 전자기기 기능 및 세팅 818, 모드 우선순위 820 등을 포함할 수 있다. 모드 ID 802는 해당하는 사용자 행동 ID 804가 있으며, 사용자 행동 ID에 해당하는 새로운 사용자 행동이 감지되었을 때, 해당하는 모드 802의 정황인식 작동모드가 전자기기ID 806에 해당하는 전자기기에 적용된다. 예를 들면, 도.8의 행 822와 같이, 사용자 행동 ID SPZ002에 해당하는 새로운 사용자 행동이 감지되었을 때, 모드 ID STP021에 해당하는 사용자 행동기반 정황인식 작동모드는 전자기기 ID 734066에 해당하는 스마트폰 기기에 적용된다. 모드명 810과 모드설명 812는 사용자 행동기반 정황인식 작동모드의 명칭과 설명을 정의한다. 모드오너 814와 개인 또는 공용모드 구분자 816은 정황인식 작동모드의 작성자들과 모드가 공용의 목적으로 공유될 수 있는지에 대한 여부를 정의한다. 전자기기 기능 및 세팅 818은 전자기기 808에 변경이 필요한 기능과 세팅을 정의한다. 그 변경은 전자기기 808의 하나 또는 그 이상의 기능, 앱, 구성요소들의 켜기, 끄기, 접근권한 등을 포함한다. 모드 우선순위 820은 다른 모드 대비 우선순위를 정의한다.The data structure of the contextual recognition operating mode includes a mode ID 802, a user behavior ID 804, an electronic device ID 806, an electronic device name 808, a mode name 810, a mode description 812, a mode owner 814, a personal or public mode identifier 816, Functions and settings 818, mode priority 820, and the like. The mode ID 802 has a corresponding user behavior ID 804, and when a new user behavior corresponding to the user behavior ID is detected, the context-aware operating mode of the corresponding mode 802 is applied to the electronic device corresponding to the electronic device ID 806. [ For example, when a new user action corresponding to the user action ID SPZ002 is detected, such as row 822 in Fig. 8, the user behavior based context aware operation mode corresponding to the mode ID STP021 is a smart corresponding to the electronic device ID 734066 It applies to phone equipment. The mode name 810 and the mode description 812 define the name and description of the user behavior based context recognition operation mode. The mode owner 814 and the private or public mode delimiter 816 define whether the mode of the context aware operating mode and the mode can be shared for public purposes. Electronic device functions and settings 818 define the functions and settings that need to be changed in the electronic device 808. The change includes turning on, turning off, accessing, etc. one or more functions, apps, and components of the electronic device 808. The mode priority 820 defines the priority relative to other modes.

도.8의 행 822, 824, 826, 828, 830은 도.1의 시나리오 100에서의 사용자 행동기반 정황인식 작동모드의 예를 보여준다. 시나리오 100에서 사용자는 사용자 행동 "조깅"을 위해 스마트폰의 기능과 세팅의 변경이 필요하다. 본 발명에서는 사용자 행동 "조깅"에 필요한 스마트폰의 기능과 세팅에 대해 변경이 미리 정의되고 사용자 행동 "조깅"이 감지되었을 때 스마트폰에 자동으로 적용된다. 행 822에서 정의하였듯이, 사용자 행동 ID SPZ002의 사용자 행동 "조깅"이 감지되었을 때, 행 822의 열 818에서 정의한 기능과 세팅이 자동으로 적용된다. 그 변경은 운동 추적 앱 (추적 앱)을 작동하고, 음악 재생목록을 조깅 (조깅용 재생목록) 에 맞추고, 벨소리를 켜는 (볼륨레벨7) 것이다. 매 행은 해당하는 사용자 행동에 맞게 하나의 전자기기에 대해 하나의 사용자 행동기반 정황인식 작동모드을 정의한다. 따라서, 본 예시에서는, 사용자 행동 "조깅"은 3개의 전자기기에 관련되므로 열 822, 824, 826에서와 같이 3개의 관련된 사용자 행동기반 정황인식 작동모드를 포함한다. 마찬가지로, 사용자 행동 "취침"에 해당하는 열 828과 830의 2개의 사용자 행동기반 정황인식 작동모드는 사용자 행동 "취침"이 감지되었을 때 적용된다.Row 822, 824, 826, 828, 830 of FIG. 8 shows an example of a user behavior based context aware operating mode in scenario 100 of FIG. In scenario 100, the user needs to change the functions and settings of the smartphone in order to "jog" the user behavior. In the present invention, the changes are predefined for smartphone functions and settings needed for user action "jogging " and are automatically applied to smartphones when user behavior" jogging " is detected. As defined in row 822, when user behavior "jogging" of user behavior ID SPZ002 is detected, the functions and settings defined in column 818 of row 822 are automatically applied. The change would be to turn on the exercise track app (tracking app), jog the music playlist (playlist for jogging), and turn on ringtone (volume level 7). Each line defines one user behavior based context aware operating mode for one electronic device in accordance with the corresponding user behavior. Thus, in the present example, the user behavior "jogging " involves three electronic devices and thus includes three related user behavior based context aware operating modes, as in columns 822, 824, Likewise, two user behavior based context aware operating modes of columns 828 and 830 corresponding to user behavior "sleep " are applied when a user action" sleep "

다른 실시예에서는 하나의 사용자 행동에 대하여 사용자 특화된 사용자 행동기반 정황인식 작동모드를 정의할 수 있다. 모드오너 814는 그 모드의 원래의 작성자를 정의한다. 개인 또는 공용모드 구분자 816은 사용자 행동기반 정황인식 작동모드가 개인 용도인지 공용 용도인지를 정의한다. 사용자는 사용자 행동기반 정황인식 작동모드의 전체 또는 일부에 한한 정보를 정의할 수 있으며, 그 모드는 네트워크 서버에 "게재"되어 다른 사용자들이 그 특화된 사용자 행동기반 정황인식 작동모드를 사용하거나, 그 반대의 경우로 다른 사용자들이 "게재"한 사용자 행동기반 정황인식 작동모드를 사용할 수 있다.In another embodiment, a user-specific user behavior based context aware operating mode may be defined for one user behavior. The mode owner 814 defines the original creator of the mode. The personal or public mode delimiter 816 defines whether the user behavior based context aware operation mode is for personal use or for public use. The user may define information for all or only a portion of the user behavior based context aware operating mode, which may be "published" to a network server to allow other users to use their specialized user behavior based context aware operating mode, , A context-aware operating mode based on user behavior that other users "publish" can be used.

도.9는 도.1의 시나리오 100에서 보여준 사용자 행동 "조깅"의 예시에 대한 사용자 행동과 정황인식 작동모드의 상관관계도의 일 실시예 900을 보여준다. 도.9는 도.7의 행 722에서 정의된 사용자 행동 "조깅"이 도.8의 행 822, 824, 826에서 정의된 3개의 다른 사용자 행동기반 정황인식 작동모드들과 연계됨을 보여준다. 그러므로, 행 722에서 정의된 사용자 행동 "조깅"이 감지되었을 때 행 822. 824, 826에서 정의된 사용자 행동기반 정황인식 작동모드가 해당하는 전자기기들에 적용된다.FIG. 9 shows an embodiment 900 of a correlation diagram of user behavior and context awareness mode of operation for the example of user behavior "jogging " shown in scenario 100 of FIG. Fig. 9 shows that the user behavior "jogging" defined in row 722 of Fig. 7 is associated with three different user behavior based context aware operation modes defined in rows 822, 824 and 826 of Fig. Therefore, when the user behavior "jogging" defined in row 722 is detected, the user behavior based context aware operating mode defined in lines 822. 824, 826 is applied to the corresponding electronic devices.

도.10은 본 발명의 사용자 행동기반 정황인식 작동모드에 따른 사용자 체험을 일 실시예 시나리오 1000으로 보여준다. 시나리오 1000은 도.1의 시나리오 100에서의 행동과 같이 사용자가 조깅과 취침 행동을 취했을 때 전자기기들과의 사용자 체험을 보여준다. 시나리오 1000은 "사용자가 조깅을 하기로 결심"이라는 첫 번째 단계 1002로 새로운 행동에 대한 사용자의 의도로부터 시작한다. 다음으로, 사용자는 도.1의 단계 104와 106과 같이 운동 추적 앱을 키고 운동 추적 앱의 운동유형목록에서 "조깅"을 선택하는 대신에, 단계 1004와 같이 주기기 (스마트폰)에서 사용자 행동 "조깅"을 선택한다. 이것은 본 발명과 종래의 사용방식 간의 사용자 인터페이스의 차이이다. 본 발명에서는 사용자의 주된 상호작용 (interaction) 은 사용자 행동을 선택하는 것이며, 종래의 사용방식에서 사용자의 주된 상호작용은 앱들과 이루어진다. 사용자의 행동이 감지되면, 사용자 행동기반 정황인식 작동모드가 단계 1006, 1008, 1014, 1020, 1022와 같이 자동으로 적용된다. 주기기 (스마트폰) 의 사용자 행동 "조깅"에 대한 사용자 행동기반 정황인식 작동모드는 단계 1006과 1008과 같이 운동 추적 앱을 키고, 미리 설정된 조깅에 해당하는 음악 재생목록을 선택하고, 벨소리를 무음에서 키고, 음량을 미리 지정된 세팅으로 조절하는 것이다. 단계 1010과 같이 주기기 (스마트폰) 은 새로운 사용자 행동을 주변기기들에게 네트워크를 통해 전송하여 주변기기들이 사용자 행동 "조깅"에 해당하는 그들의 사용자 행동기반 정황인식 작동모드들을 적용할 수 있도록 한다. 사용자가 집을 나서면서, 사용자는 단계 1012와 같이 운동 추적 앱의 시작 버튼을 누른다. 주변기기로서 조명제어기의 사용자 행동기반 정황인식 작동모드는 단계 1014와 같이 사용자가 조깅을 시작하게 되면 조명을 끄고 단계 1020과 같이 사용자가 조깅을 마치게 되면 조명을 다시 키는 것이다. 단계 1016의 조깅이 끝나면, 사용자는 단계 1018과 같이 운동 추적 앱의 종료 버튼을 누르고 조깅의 운동 추적 정보를 저장한다. 또 다른 주변기기로서 보일러의 사용자 행동기반 정황인식 작동모드는 단계 1022와 같이 사용자가 조깅을 마치게 되면 보일러를 켜고, 사용자가 샤워를 하는 단계 1024 동안 기다렸다가, 단계 1026과 같이 미리 정해놓은 일정시간이 지나면 꺼지게 된다.FIG. 10 shows an example embodiment scenario 1000 of a user experience according to the user behavior based context aware operation mode of the present invention. Scenario 1000 shows the user experience with electronic devices when the user takes a jogging and sleeping behavior as in the scenario 100 of FIG. Scenario 1000 begins with the user's intent for the new behavior in a first step 1002 of "the user decides to jog." Next, instead of activating the exercise tracking app and selecting "jogging" from the exercise type list of the exercise tracking app, as in steps 104 and 106 of FIG. 1, Select "Jogging". This is the difference in user interface between the present invention and the conventional manner of use. In the present invention, the user's main interaction is to select user behavior, and in the conventional usage manner, the user's main interaction is with the apps. When the user's behavior is detected, the user behavior based context aware operating mode is automatically applied, such as steps 1006, 1008, 1014, 1020, 1022. The user behavior based context aware operation mode for user action (smartphone) user action (smartphone) may be implemented by activating the exercise tracking app, selecting a music playlist corresponding to a preset jogging, as in steps 1006 and 1008, And adjusts the volume to a predetermined setting. As in step 1010, the primary device (smartphone) transmits new user actions to the peripherals over the network so that the peripherals can apply their user behavior based context aware operating modes corresponding to user actions "jogging ". As the user exits home, the user presses the start button of the exercise tracking app as shown in step 1012. As a peripheral device, the user behavior based context recognition operation mode of the lighting controller is to turn off the illumination when the user starts jogging as in step 1014 and to turn on the illumination again when the user finishes jogging as in step 1020. When the jogging of the step 1016 is finished, the user presses the end button of the exercise tracking app as in the step 1018 and stores the exercise tracking information of the jogging. As another peripheral device, the user behavior based context recognition operation mode of the boiler turns on the boiler when the user finishes jogging as shown in step 1022, waits for the user to perform the showering step 1024, and then goes off after a predetermined period of time as shown in step 1026 do.

사용자 행동 "조깅"과 같은 개념으로, 단계 1028과 같이 사용자가 취침을 하기로 마음먹었을 때, 사용자는 단계 1030과 같이 주기기 (스마트폰)에서 새로운 사용자 행동 "취침"을 선택하기만 하면 되고, 주기기 (스마트폰)은 단계 1032와 같이 새로운 사용자 행동을 네트워크를 통해 주변기기들에 전송한다. 결과적으로 주변기기로서, 오디오와 조명제어기는 단계 1034와 1036과 같이 미리 정의된 재생목록을 재생하고 미리 정의된 시간이 지나면 작동을 멈추게 된다. 마지막으로 사용자는 단계 1038과 같이 취침을 시작한다.With the same concept as the user action "jogging ", when the user decides to go to bed as in step 1028, the user only has to select a new user behavior" sleep "in the main device (smartphone) The main device (smartphone) sends new user actions to the peripherals over the network as in step 1032. As a result, as a peripheral, the audio and lighting controllers play predefined playlists, such as steps 1034 and 1036, and stop working after a predefined time period. Finally, the user starts sleeping as in step 1038.

시나리오 1000의 사용자 행동기반 정황인식 작동모드에서는, 사용자는 기능의 복잡성에 귀찮아 할 필요가 없다. 사용자의 주된 상호작용은 단계 1004와 1030과 같이 사용자 행동목록에서 "조깅"과 "취침"을 각각의 경우에 따라 선택해 주기만 하면 된다. 사용자 행동기반 정황인식 작동모드 제어기가 사용자 행동 "조깅"과 "취침"을 감지하면, 주기기와 주변기기들은 각각 자동으로 "조깅"과 "취침"에 맞는 사용자 행동기반 정황인식 작동모드를 적용한다. 본 발명의 시나리오 1000과 비교하면, 기존 방식의 시나리오 100은 앱 및 전자기기들의 기능과 세팅과의 사용자 상호작용이 더 많이 발생한다. 시나리오 100에서는, 사용자는 사용자가 행동을 바꿀 때마다 전자기기들의 각각의 기능과 세팅들을 계속 켜거나 끄거나 또는 바꾸는 작업을 수행한다. 시나리오 1000에서는, 사용자의 상호작용은 제한적이고 직관적이다. 사용자는 간단히 사용자 행동을 선택하면 되며 필요한 대부분의 변화가 미리 지정된대로 자동으로 적용된다.In the scenario-based context-aware operating mode of scenario 1000, the user does not have to worry about the complexity of the function. The user's main interaction only needs to select "jogging" and "sleep" in the user action list in steps 1004 and 1030, respectively. User Behavior Based Contextual Awareness Mode When the controller detects user actions "jogging" and "sleeping", the periodic and peripherals automatically apply user behavior based context aware operating modes that automatically match "jogging" and "sleep". Compared with the scenario 1000 of the present invention, the scenario 100 of the existing method has more user interaction with the functions and settings of the apps and electronic devices. In scenario 100, the user performs the task of continually turning on, off, or changing the respective functions and settings of the electronic devices each time the user changes the behavior. In scenario 1000, the user interaction is limited and intuitive. The user simply selects the user behavior and most of the required changes are automatically applied as specified.

본 발명은 사용자의 상호작용을 각각의 기능과 세팅들에서 사용자 행동의 선택으로 바꾸어준다. 도.11은 기존 방식의 예시적인 스마트폰 아키텍처 1100을 보여준다. 도.11의 기존 아키텍처는 4개의 기본 단계, 하드웨어 단계 1102, 운영시스템 단계 1104, 애플리케이션 1106, 1108, 1110을 포함한 애플리케이션 단계, 그리고 사용자 인터페이스 단계 1118, 로 구성되어 있다. 예를 들면, 사용자가 행동을 변경하고 애플리케이션 1106, 1108, 1110의 1112, 1114, 1116의 기능들을 변경하고자 한다면, 그 사용자는 인터페이스 단계 1118을 통해 직접 변경한다. 그러므로 사용자 인터페이스는 애플리케이션의 기능들과 직접 연계되어 있다.The present invention translates a user's interaction into a selection of user actions in each function and settings. FIG. 11 shows an exemplary smartphone architecture 1100 in a conventional manner. The existing architecture of FIG. 11 consists of four basic steps, hardware steps 1102, operating system steps 1104, application steps including applications 1106, 1108, 1110, and user interface step 1118. For example, if the user changes behavior and wishes to change the functions of 1112, 1114, 1116 of applications 1106, 1108, 1110, the user changes directly through interface step 1118. Therefore, the user interface is directly related to the functions of the application.

도.12는 본 발명의 예시적인 스마트폰 아키텍처 1200을 보여준다. 본 발명의 새로운 아키텍처는 5개의 단계, 하드웨어 단계 1202, 운영시스템 단계 1204, 애플리케이션 1206, 1208, 1210을 포함한 애플리케이션 단계, 사용자 행동기반 정황인식 작동모드 제어 단계 1218, 그리고 사용자 인터페이스 단계 1222로 구성되어 있다. 예를 들면, 사용자가 행동을 변경하고 애플리케이션 1206, 1208, 1210의 1212, 1214, 1216의 기능들을 변경하고자 한다면, 그 사용자는 사용자 행동 1220을 선택하면 되고 사용자 행동기반 정황인식 작동모드 제어 단계 1218이 애플리케이션 1206, 1208, 1210의 1212, 1214, 1216의 기능들을 변경하는 사용자 행동 1220의 사용자 행동기반 정황인식 작동모드를 자동으로 적용하게 된다. 그러므로 도.11에서 보여준 기존 방식과 다르게 본 발명의 사용자 인터페이스는 사용자 행동기반 정황인식 작동모드와 직접 연계되고 애플리케이션들의 기능들과는 간접적으로만 연계된다.Figure 12 illustrates an exemplary smartphone architecture 1200 of the present invention. The new architecture of the present invention comprises five steps: an application step including hardware steps 1202, operating system steps 1204, applications 1206, 1208 and 1210, a user behavior based context aware operating mode control step 1218, and a user interface step 1222 . For example, if the user changes behavior and wishes to change the functions of 1212, 1214, 1216 of applications 1206, 1208, 1210, the user may select user behavior 1220 and the user behavior based context aware operating mode control step 1218 The user behavior based context aware operating mode of user behavior 1220 that alters the functions of applications 1212, 1214, 1216 of applications 1206, 1208, 1210 is automatically applied. Therefore, unlike the existing method shown in Fig. 11, the user interface of the present invention is directly associated with the user behavior based context aware operation mode and only indirectly with the functions of the applications.

도.13A와 도.13B는 부분 1과 부분 2로서 본 발명의 일 실시예에 의한 순서도 1300을 보여준다. 순서도 1300은 본 발명의 예시적인 사용 절차를 보여준다. 단계 1302와 같이, 사용자는 하나의 사용자 행동에 대하여 해당하는 사용자 행동기반 정황인식 작동모드와 자동감지 기준을 설정한다. 사용자 행동기반 정황인식 작동모드는 전자기기들 내에서 편집하고 설정할 수 있다. 또한, 사용자 행동기반 정황인식 작동모드는 다른 전자기기들이나 가능한 커뮤니케이션 방식들을 활용하여 네트워크에 연결된 저장소에서 불러와서 추가 편집을 통해서도 설정할 수 있다. 편집을 마치면, 그 사용자 행동기반 정황인식 작동모드는 전자기기, 네트워크상의 저장소, 또는 그 모두에 저장될 수 있다. 단계 1302에서, 사용자는 해당하는 사용자 행동에 맞는 자동감지 기준을 설정할 수 있으며, 이는 단계 1310에서 새로운 사용자 행동을 자동으로 감지하는데 사용된다.Figs. 13A and 13B show a flowchart 1300 according to an embodiment of the present invention, as in Part 1 and Part 2. Flowchart 1300 illustrates an exemplary use procedure of the present invention. As in step 1302, the user sets the corresponding user behavior based context aware operating mode and the automatic detection criteria for one user action. The user behavior based context aware operation mode can be edited and set in electronic devices. In addition, the user behavior based contextual recognition operation mode can be set up through additional editing by bringing it from a storage connected to the network utilizing other electronic devices or communication methods available. Once edited, the user behavior based context aware operating mode may be stored in the electronic device, in a repository on the network, or both. In step 1302, the user can set an automatic detection criterion that matches the corresponding user behavior, which is used in step 1310 to automatically detect new user behavior.

단계 1302에서 사용자 행동기반 정황인식 작동모드와 자동감지 기준이 설정되면, 전자기기는 단계 1306과 같이 새로운 사용자 행동을 감지할 때까지 단계 1304와 같이 대기상태로 기다린다. 사용자 행동은 단계 1308, 1310, 1312와 같이 여러 방법으로 감지될 수 있다. 단계 1308과 같이, 사용자는 미리 설정된 사용자 행동목록으로부터 직접 수동으로 사용자 행동을 선택할 수 있다. 사용자에 의한 사용자 행동의 수동적 선택은 새로운 사용자 행동 또는 사용자가 새로운 사용자 행동을 취하려는 의도를 명시적으로 사용자가 표현하는 것이다. 단계 1310과 같이, 본 발명의 전자기기들은 단계 1302에서 설정된 자동감지 기준들을 모니터링하여 새로운 사용자 행동을 자동적으로 감지할 수 있다. 단계 1302에서 미리 설정된 기준들이 맞게 되면, 전자기기는 단계 1320과 같이 전자기기는 새로운 사용자 행동에 대해 사용자와 확인절차를 가질 수 있다.If the user behavior based context aware operating mode and the auto-sensing criteria are set in step 1302, the electronic device waits in a standby state, such as step 1304, until it detects new user behavior, User actions may be detected in a number of ways, such as steps 1308, 1310, 1312. As in step 1308, the user can manually select a user action directly from the preset user behavior list. Passive selection of user behavior by the user is explicitly expressed by the user as a new user action or the intention of the user to take a new user action. As in step 1310, the electronic devices of the present invention can automatically detect new user behavior by monitoring the auto-sensing criteria set in step 1302. [ If the preset criteria are met in step 1302, the electronic device may have a confirmation procedure with the user for a new user action, such as step 1320. [

단계 1312와 같이, 주변기기들은 새로운 사용자 행동을 통보할 수 있으며, 단계 1314와 같이 그 사용자 행동에 대하여 메모리부 412 또는 저장부 414를 스캐닝하여 미리 설정된 사용자 행동기반 정황인식 작동모드의 존재 여부를 확인한다. 만약 메모리부 412 또는 저장부 414에 사용자 행동기반 정황인식 작동모드가 존재하지 않는 경우, 사용자는 단계 1318과 같이 새로운 사용자 행동기반 정황인식 작동모드를 새롭게 작성하여 설정할 수 있다.Peripheral devices may notify of a new user behavior as in step 1312, and the memory part 412 or the storage part 414 is scanned for the user behavior as in step 1314 to check whether a preset user behavior based context aware operation mode exists . If there is no user behavior based context aware operation mode in memory 412 or storage 414, the user may create and set a new context based context aware operation mode as shown in step 1318. [

단계 1316과 같이 새로운 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드가 메모리부 412나 저장부 414에서 액세스 되거나 단계 1318과 같이 새롭게 설정되면, 새로운 사용자 행동으로 전환하기 이전에 단계 1320과 같이 사용자 확인단계를 거치게 된다. 사용자 확인단계 1320을 거친 후, 기존의 사용자 행동기반 정황인식 작동모드는 향후 필요성을 위하여 메모리부 412, 저장부 414, 네트워크상의 저장소, 또는 그들의 조합에 단계 1322와 같이 백업 된다. 단계 1324와 같이, 사용자 행동기반 정황인식 작동모드는 전자기기에 적용된다. 즉, 이미 설정해 놓은 기능들의 변화가 전자기기에 적용된다. 마지막으로, 단계 1326과 같이 "확인된" 새로운 사용자 행동은 다른 기기들에 통지되고, 단계 1304의 대기모드로 전자기기는 복귀한다.If the user behavior based context aware operation mode for the new user behavior is accessed in the memory unit 412 or the storage unit 414 or is newly set up as step 1318, such as step 1316, the user confirmation step . After the user verification step 1320, the existing user behavior based context aware operating mode is backed up to the memory unit 412, the storage unit 414, the repository on the network, or a combination thereof, as in step 1322 for future needs. As in step 1324, the user behavior based context aware operating mode is applied to the electronic device. That is, a change in the functions that are already set is applied to the electronic device. Finally, new user actions, such as step 1326, are notified to other devices and the electronics return to the standby mode of step 1304.

도.14부터 도.30까지는 본 발명에 해당하는 일 실시예의 스마트폰 스크린샷들을 보여준다. 이 스크린샷들은 도.13A와 도.13B의 시나리오 1300과 함께 본 발명의 사용과 설정에 대한 절차를 이해하는데 쓰일 수 있다. 이 스크린샷들은 전자기기의 운영 시스템에 대한 일반적인 기술을 가진 사람들이 어려움 없이 본 발명을 만들고 사용하기 위한 상세 명세를 제공한다. 전자기기의 운영 시스템과 기능들에 대한 공개된 API (Application Programming Interface) 의 부재로 일반적인 프로그래머들이 본 발명의 프로토타입을 만들기는 어려울 수 있지만, 전자기기 제조회사의 운영 시스템 프로그래머들은 이 내용과 설명으로 본 발명을 제작할 수 있을 것이다.Figures 14 through 30 show smartphone screen shots of an embodiment of the present invention. These screen shots can be used to understand the procedures for use and configuration of the present invention with scenario 1300 of Figs. 13A and 13B. These screenshots provide a detailed description of how to make and use the invention without difficulty by those of ordinary skill in the art of operating systems of electronic devices. While it may be difficult for general programmers to create prototypes of the invention due to the absence of a published application programming interface (API) for the operating system and functions of the electronic device, the operating system programmers of the electronic device manufacturer The present invention can be produced.

도.14는 본 발명의 홈스크린샷의 예시를 보여준다. 이 실시예에서, 홈스크린은 "Activity (사용자 행동)" 아이콘 1402를 포함하고, 아이콘을 누르면 도.15에서 보여주듯이 본 발명의 초기화면으로 이동한다. 다른 실시예의 경우, 전자기기는 다른 방식으로 사용자 행동기반 정황인식 작동모드를 작동할 수 있다. (예를 들어, 또 다른 물리적인 버튼을 사용하거나 기존의 버튼을 일정 기간이상 누르고 있는 경우에 작동하게 할 수도 있다.) 도.15는 본 발명의 초기화면으로서 제목라벨 1502, "새로운 사용자 행동 추가" 버튼 1504, 기존의 사용자 행동목록, 사용자 행동 선택 슬라이더 1506, 세팅 버튼 1508을 보여준다.14 shows an example of a home screen shot of the present invention. In this embodiment, the home screen includes an " Activity "icon 1402, which, when pressed, moves to the initial screen of the present invention, as shown at. In another embodiment, the electronic device may operate the context-aware operating mode based on user behavior in a different manner. (For example, it may be operated when another physical button is used or when an existing button is pressed for a certain period of time or longer). Fig. 15 also shows a title label 1502, " Quot; button 1504, an existing user behavior list, a user behavior selection slider 1506, and a setting button 1508.

도.15부터 도.25까지 사용자 행동기반 정황인식 작동모드와 자동감지 기준을 설정하는 도.13의 단계 1302를 일 실시예의 스크린샷으로 설명한다. "새로운 사용자 행동 추가" 버튼 1504을 누르면 도.16의 새로운 사용자 행동 편집 화면 1600으로 이동한다. 새로운 사용자 행동 편집 화면 1600은 사용자 행동명 편집셀 1606, 사용자 행동 설명 편집셀 1608, "새로운 자동감지 조건 추가" 버튼 1610, 기존 자동감지 조건셀 1612, "새로운 사용자 행동기반 정황인식 작동모드 추가" 버튼 1614, 현재 사용자 행동기반 정황인식 작동모드셀 1616을 포함한다. 편집셀 1606과 1608을 터치했을 때, 텍스트 편집을 위해 키보드가 올라올 수 있다. "Cancel (취소)" 버튼 1602를 누르면 초기화면 1500으로 사용자를 되돌려 보낸다. 사용자가 새로운 사용자 행동, 자동감지 조건, 사용자 행동기반 정황인식 작동모드에 대한 편집을 완료하면, 사용자는 "Done (완료)" 버튼 1604를 눌러 새로운 사용자 행동, 자동감지 조건, 사용자 행동기반 정황인식 작동모드를 저장하고 초기화면 1500으로 이동한다.Step 1302 of FIG. 13, which sets the user behavior based context aware operating mode and the auto-sensing criteria from .15 to .25, is described in the screen shot of one embodiment. If the "Add new user behavior" button 1504 is clicked, the new user behavior editing screen 1600 is also moved. The new user behavior editing screen 1600 includes a user behavior name editing cell 1606, a user behavior description editing cell 1608, a "Add new automatic detection condition" button 1610, an existing automatic detection condition cell 1612, a " 1614, and a current user behavior based context aware operating mode cell 1616. When the editing cells 1606 and 1608 are touched, a keyboard can be brought up for text editing. When the "Cancel" button 1602 is pressed, the user is returned to the initial screen 1500. When the user completes editing of the new user behavior, the automatic detection condition, and the user behavior based context aware operation mode, the user presses the "Done" button 1604 to perform a new user action, Mode and moves to the initial screen 1500.

사용자는 "새로운 자동감지 조건 추가" 버튼 1610을 통해 새로운 자동감지 조건을 추가할 수 있으며, 도.13의 단계 1310과 같이 본 발명의 일 실시예에서 새로운 사용자 행동을 감지하는 조건을 정의하기 위해 활용된다. 도.17의 자동감지 조건 편집창 1700의 예는 본 실시예의 자동감지 조건의 예시들을 보여준다. 본 실시예는 새로운 사용자 행동을 자동으로 감지하기 위해 3가지 방법으로 구성된다. 본 실시예는 미리 지정된 앱의 구동 (application activation) 1704, 미리 지정된 센서의 입력 (sensor input) 1706, 미리 지정된 캘린더 입력 (calendar entry) 1708에 의해 자동 감지될 수 있다. 스크린샷 1700의 예시에서는, 셀 1714와 1718에서 예시를 들은 것과 같이 네비게이션 앱 (navigation) 또는 미리 지정된 블루투스를 감지하였을 때 셀 1606의 예시와 같은 새로운 사용자 행동 "Driving (운전)"을 자동으로 감지할 수 있다. 비활성화된 스위치 1720에서 보여주듯이 본 예시에서는 캘린더 입력 (calendar entry) 에 의한 사용자 행동 "Driving (운전)"의 자동감지는 허용되지 않는다. "Cancel (취소)" 버튼 1702를 누르면 사용자는 도.18의 새로운 사용자 행동 편집창 1600으로 되돌아간다. 사용자가 새로운 자동감지 조건에 대한 편집을 완료하게 되면, 사용자는 "Done (완료)" 버튼 1710을 누름으로써 새로운 자동감지 조건을 저장하고 새로운 사용자 행동 편집창 1600으로 이동할 수 있다.The user may add a new automatic detection condition through the "Add new automatic detection condition" button 1610. In step 1310 of FIG. 13, the user may utilize do. An example of the automatic detection condition edit window 1700 of Fig. 17 shows examples of the automatic detection condition of this embodiment. The embodiment is configured in three ways to automatically detect new user behavior. The present embodiment can be automatically detected by a predefined application activation 1704, a predefined sensor input 1706, and a predefined calendar entry 1708. In the example of screen shot 1700, when a navigation application or predefined Bluetooth is detected, as shown in the example in cells 1714 and 1718, a new user action "Driving" . As shown in the disabled switch 1720, automatic detection of the user behavior "Driving" by the calendar entry is not allowed in this example. When the "Cancel" button 1702 is pressed, the user returns to the new user behavior edit window 1600 of FIG. When the user finishes editing the new automatic detection condition, the user can save the new automatic detection condition and move to the new user behavior edit window 1600 by pressing the "Done" button 1710. [

앱 작동 셀 1714의 예시에서 보여주듯이, 네비게이션 앱을 작동시키면 사용자 행동 "Driving (운전)"의 자동감지를 유발시킨다. 사용자는 "Add application activation (앱 작동 추가)" 버튼 1712를 통해 도.18의 앱 작동 편집 스크린 1800의 예시적인 스크린샷으로 이동하여 더 많은 앱들을 앱 작동 셀 1714에 추가할 수 있다. 본 예시에서는, 운동 추적 앱 (exercise tracker) 과 네비게이션 앱 (navigation) 의 2가지 선택 가능한 앱들중에 네이게이션 앱 (navigation) 셀 1806만 선택되었고 체크 마크 1808로 구분되어 있다. 선택과정이 완료되면, 사용자는 "Done (완료)" 버튼 1804를 눌러 선택내용을 저장하고 스크린 1700으로 이동할 수 있다. 사용자가 선택내용을 취소하고 스크린 1700으로 이동하고자 한다면, 사용자는 "Cancel (취소)" 버튼 1802를 누르면 된다. Activating the navigation app, as shown in the example of the app behavior cell 1714, will trigger automatic detection of user behavior "Driving. &Quot; The user may go to the exemplary screenshot of the app operation edit screen 1800 of Fig. 18 via the "Add application activation" button 1712 to add more apps to the app operating cell 1714. In this example, only the navigation cell 1806 is selected from among two selectable applications, an exercise tracker and a navigation app, and is marked with a check mark 1808. When the selection process is completed, the user can press the " Done "button 1804 to store the selection and move to the screen 1700. If the user wishes to cancel the selection and move to the screen 1700, the user may press the "Cancel"

센서입력 셀 1718의 예시에서 보여주듯이, 미리 설정된 블루투스 입력에 의해 사용자 행동 "운전"의 자동 감지가 발생한다. 사용자는 "Add sensor input (센서입력 추가)" 버튼 1716을 통해 센서입력에 의한 자동 감지 조건을 추가할 수 있으며, 이를 통해 도.19의 예시적인 센서입력 편집 창 1900으로 이동한다. 도.19는 센서입력을 어떻게 자동 감지 조건으로 추가하는지 보여준다. 본 예시에서, 셀 1906은 사용자의 차량에서 "MY_CAR"라는 블루투스 네트워크를 발견하여 자동 감지 조건에 추가하였음을 보여준다. 화살표 버튼 1908은 도.20의 예시적인 블루투스 입력 편집 창 2000으로 이동하여 발견된 모든 블루투스 네트워크를 보여줄 수 있다. 본 예시에서는, 사용자는 셀 2006에서 보여주듯이 "MY_CAR"라는 블루투스 네트워크를 선택한다. 정보 버튼 2008은 해당 셀의 블루투스 네트워크에 대한 상세정보를 제공한다. 자동 감지 조건으로 블루투스 네트워크에 대해 선택이 완료되면, 사용자는 "Done (완료)" 버튼 2004를 눌러 선택결과를 저장하고 스크린 1900으로 이동할 수 있다. 사용자가 선택결과를 취소하고 스크린 1900으로 되돌아가고자 한다면, 사용자는 "Cancel (취소)" 버튼 2002를 누르면 된다. NFC, QR 코드, 와이파이, 블루투스, 기타 태깅 기술, 기타 네트워크 기술, 상기 기술의 혼합형태 등 다른 센서 입력들이 자동 감지 조건으로 사용될 수 있다. 모든 센서 입력에 대한 선택을 완료하게 되면, 사용자는 "Done (완료)" 버튼 1904를 누러 선택 결과를 저장하고 스크린 1700으로 이동할 수 있다. 사용자기 선택 결과를 취소하고 스크린 1700으로 되돌아가고자 한다면, 사용자는 "Cancel (취소)" 버튼 1902를 누를 수 있다.As shown in the example of the sensor input cell 1718, automatic detection of user behavior "operation " occurs by a preset Bluetooth input. The user can add an auto-sensing condition based on the sensor input via the "Add sensor input" button 1716 and move to the exemplary sensor input editing window 1900 of FIG. 19. Figure 19 shows how to add the sensor input as an auto-sensing condition. In this example, cell 1906 shows that a Bluetooth network called "MY_CAR " is found in the user's vehicle and added to the auto-sensing condition. The arrow button 1908 may be moved to the exemplary Bluetooth input edit window 2000 of FIG. 20 to show all discovered Bluetooth networks. In this example, the user selects a Bluetooth network named "MY_CAR " as shown in cell 2006. The information button 2008 provides detailed information about the Bluetooth network of the corresponding cell. When the selection for the Bluetooth network is completed under the automatic detection condition, the user can press the " Done "button 2004 to save the selection result and move to the screen 1900. [ If the user cancels the selection result and wishes to return to the screen 1900, the user presses the "Cancel" Other sensor inputs may be used as auto-sensing conditions, such as NFC, QR code, Wi-Fi, Bluetooth, other tagging technologies, other network technologies, mixed types of the above technologies. Upon completion of selection for all sensor inputs, the user may click on the " Done "button 1904 to save the selection results and move to screen 1700. If the user wishes to cancel the selection result and return to the screen 1700, the user can press the "Cancel" button 1902.

현재 사용자 행동기반 정황인식 작동모드 셀 1616은 사용자 행동 "운전"에 대한 예시적인 사용자 행동기반 정황인식 작동모드를 보여준다. 네비게이션 앱 (navigation), 주기기 세팅 (settings), 차고 게이트 제어기 (garage gate control) 가 사용자 행동 "운전"에 대한 예시적인 사용자 행동기반 정황인식 작동모드로 정의되었다. 그러므로 예시적인 사용자 행동 "운전"이 감지되면, 셀 1616에서 보여주듯이 네비게이션 앱 (navigation), 주기기 세팅 (settings), 차고 게이트 제어기 (garage gate control) 의 미리 지정된 기능들이 자동으로 적용된다.Current user behavior based context aware operation mode cell 1616 shows an exemplary user behavior based context aware operation mode for user behavior "driving. &Quot; Navigation navigation, main device settings, garage gate control are defined as exemplary user behavior based context aware operating modes for user behavior "driving. &Quot; Thus, if an exemplary user behavior "drive" is detected, the predefined functions of navigation navigation, main device settings, and garage gate control are automatically applied, as shown in cell 1616.

사용자 행동기반 정황인식 작동모드를 편집하기 위해서, 사용자는 도.16의 "사용자 행동기반 정황인식 작동모드 추가" 버튼 1614를 활용할 수 있다. "사용자 행동기반 정황인식 작동모드 추가" 버튼은 도.21의 예시적인 사용자 행동기반 정황인식 작동모드 편집창으로 이동할 수 있다. 스마트폰의 예시적인 실시예에서는, 전자기기들의 기능 변화에는 2106에서 보여주듯이 자동으로 앱을 작동시키거나 2110에서 보여주듯이 스마트폰의 기기 세팅을 바꿔주거나, 2114에서 보여주듯이 주변기기의 세팅을 바꿔줄 수 있다.In order to edit the user behavior based context aware operation mode, the user may utilize the "Add user context based context aware operation mode" button 1614 of FIG. The "Add user behavior based context aware operation mode" button can be moved to the exemplary user behavior based context aware operation mode edit window of FIG. In an exemplary embodiment of a smartphone, a function change of an electronic device may automatically change the settings of the peripheral device, as shown in 2114, by automatically activating the app as shown at 2106, changing the device settings of the smartphone as shown at 2110 have.

스크린 2100의 예시에서, 네비게이션 앱은 사용자 행동기반 정황인식 작동모드의 하나로 정의되었다. 그러므로 사용자 행동 "운전"이 감지되면, 네비게이션 앱은 자동으로 작동한다. 사용자 행동 "운전"을 위해 작동할 앱을 더 추가하기 위해서, "앱 추가" 버튼 2108을 활용할 수 있다. "앱 추가" 버튼 2108은 모든 추가가능한 앱들이 표기되어 있는 도.22의 예시적인 앱 작동 편집 창 2200으로 이동한다. 도.22의 예시에서, 운동 추적 앱 (exercise tracker) 과 네이게이션 앱 (navigation) 이 추가 가능한 앱들이며 네비게이션 앱은 체크 마크 2206으로 표시되었듯이 선택되었다. 선택이 완료되면, 사용자는 "Done (완료)" 버튼 2204를 눌러서 선택결과를 저장하고 스크린 2100으로 되돌아갈 수 있다. 사용자가 선택결과를 취소하고 스크린 2100으로 되돌아가려고 하는 경우 "Cancel (취소)" 버튼 2202를 누를 수 있다.In the example of screen 2100, the navigation app was defined as one of the user behavior based context aware operating modes. Therefore, if the user action "drive" is detected, the navigation app will run automatically. To add more apps to operate for user behavior "driving ", an" Add Apps " The "Add App" button 2108 moves to the example app operation edit window 2200 of Fig. 22 where all appendable apps are marked. In the example of FIG. 22, the exercise app is an app that can add an exercise tracker and a navigation app, and the navigation app is selected as indicated by a check mark 2206. When the selection is completed, the user can press the "Done" button 2204 to save the selection result and return to the screen 2100. Button 2202 if the user cancels the selection result and wants to return to the screen 2100. The " Cancel "

사용자 행동기반 정황인식 작동모드는 2110과 같이 주기기의 기기 세팅을 정의할 수 있으며, 예시의 사용자 행동 "운전"이 감지되었을 때, 미리 정의된 주기기의 세팅들이 적용될 수 있다. 예시에서, 화살표 2112를 누르면 도.23의 예시적인 주기기 세팅 편집 창 2300으로 이동하고 사용자는 사용자 행동 "운전"에 맞게 주기기의 세팅을 변경할 수 있다. 스크린 2300에서 보여주듯이, 사용자 행동기반 정황인식 작동모드의 주기기 세팅은 와이파이 네트워크 (Wi-Fi), 블루투스 네트워크 (Bluetooth), 셀룰러 데이터 사용방법 (Cellular Data), 기기 음량 (Sounds), 기기 보안 (Privacy) 등을 포함할 수 있다. 주기기 세팅이 사용자 행동기반 정황인식 작동모드에 정의되면, 사용자는 "Done (완료)" 버튼 2304를 눌러 선택결과를 저장하고 스크린 2100으로 되돌아갈 수 있다. 사용자가 선택결과를 취소하고 스크린 2100으로 되돌아가려고 하는 경우 "Cancel (취소)" 버튼 2302를 누를 수 있다.The user behavior based context aware operating mode may define the device settings of the main device, such as 2110, and the predefined main device settings may be applied when an exemplary user behavior "operation " is detected. In the example, pressing arrow 2112 also moves to the example main device setting edit window 2300 of. 23 and the user can change the settings of the main device to match the user behavior "drive. &Quot; As shown on screen 2300, the primary device settings of the user behavior based context-aware operating mode are Wi-Fi (Wi-Fi), Bluetooth network, Cellular Data, Device Sounds, Privacy). If the main device settings are defined in the user behavior based context aware operation mode, the user can press the "Done" button 2304 to save the selection results and return to the screen 2100. Button 2302 if the user cancels the selection result and tries to return to the screen 2100. The " Cancel "

사용자 행동기반 정황인식 작동모드는 주변기기도 포함될 수 있으며 예시적인 사용자 행동 "운전"이 감지되었을 때, 주변기기에 미리 지정된 세팅들이 적용될 수 있다. 예시적인 사용자 행동 "운전"의 경우, 도.21에서 보여주듯이 차고 게이트 제어 시스템 (garage gate control) 이 사용자 행동 "운전"이 감지되었을 때 작동하는 주변기기로 선택되었다. 사용자 행동 "운전"에 대한 추가적인 주변기기 세팅을 정의하기 위하여, 도.21의 "주변기기 추가" 버튼 2116을 활용할 수 있다. "주변기기 추가" 버튼 2116은 도.24의 예시적인 주변기기 편집 창 2400으로 이동하여, 사용자가 사용자 행동기반 정황인식 작동모드에 주변기기를 편집하거나 추가하도록 할 수 있다. 도.24의 예시에서, 차고 게이트 제어 시스템 (garage gate control) 이 사용자 행동 "운전"을 위한 사용자 행동기반 정황인식 작동모드에 주변기기로서 선택되었다. "Detail information (상세 정보)" 화살표 2406은 도.25의 예시적인 주변기기 세팅 편집 창 2500으로 이동하여, 사용자가 사용자 행동 "운전"을 위해 차고 게이트 제어 시스템 (garage gate control) 의 기능과 세팅을 편집할 수 있다. 본 예시에서, 차고 게이트 제어 시스템 (garage gate control) 은 사용자의 주기기인 스마트폰의 네비게이션 앱 (navigation) 과 연동하여 차고 게이트를 열거나 닫을 수 있다. 본 예시에서, 사용자의 자택 주변에서 네비게이션이 켜지거나 네비게이션의 목적지로서 자택에 도착하였을 때 차고 게이트는 열릴 수 있다. 스크린 2400은 주변 또는 네트워크 (와이파이, 블루투스, NFC 등) 상에서 연결 가능한 다른 주변기기들 (도.24의 예시에서 진공청소기 (vacuum cleaner), 스마트TV (smart TV), 조명제어 시스템 (lighting control system))을 보여줄 수 있다.The user behavior based context aware operating mode may also include peripherals and predefined settings may be applied to the peripheral when an exemplary user behavior "driving" is sensed. In the case of the exemplary user behavior "drive ", as shown in Fig. 21, the garage gate control was selected as a peripheral device to operate when the user action" drive " To define additional peripherals settings for user behavior "drive," a " Add Periphery "button 2116 may be utilized. The "add peripheral" button 2116 may be moved to the example peripheral edit window 2400 of FIG. 24 to allow the user to edit or add a peripheral to the user behavior based context aware operating mode. In the example of Figure 24, a garage gate control was selected as a peripheral in a user behavior based context aware operating mode for user behavior "driving. &Quot; The "Detail information" arrow 2406 moves to the exemplary peripheral setting edit window 2500 of FIG. 25 to allow the user to edit the functions and settings of the garage gate control for user action & can do. In this example, the garage gate control can open or close the garage gate in conjunction with the navigational navigation of the smartphone, which is the user's cycle. In this example, the garage gate can be opened when the navigation is turned on around the user's home or when he arrives at home as a destination of navigation. The screen 2400 may include other peripherals (such as vacuum cleaners, smart TVs, lighting control systems, etc.) that are connectable around or on a network (Wi-Fi, Bluetooth, NFC, .

도.16부터 도.25는 도.13의 단계 1302에서 어떻게 사용자 행동기반 정황인식 작동모드가 정의되는지 보여준다. 사용자 행동에 해당하는 사용자 행동기반 정황인시 작동모드가 정의되면, 전자기기는 도.13의 단계 1304와 같이 대기모드로서, 단계 1308과 같이 사용자의 직접적인 입력에 의해 사용자 행동을 감지하거나, 단계 13010과 같이 자동으로 감지되거나, 단계 1312와 같이 다른 전자기기들에서 알림으로 전달받아서 감지하기 위해 기다릴 수 있다.Figures 16 through 25 show how the user behavior based context aware operation mode is defined in step 1302 of Figure 13. If the time operation mode is defined as a user action based context corresponding to the user action, the electronic device senses the user action by a direct input of the user as in step 1308, as in step 1304 of FIG. 13, Or may be received by other electronic devices as notification, such as step 1312, to wait for detection.

도.26은 단계 1308에서 사용자의 직접적인 입력에 의해 어떻게 새로운 사용자 행동이 감지되는지 보여준다. 사용자는 본 발명의 초기화면 1500에서 슬라이더 버튼 1506을 눌러 본 예시의 새로운 사용자 행동 "조깅"을 수동으로 선택하여, 도.26의 새로운 사용자 행동 시작 확인 창 2600으로 이동할 수 있다. 본 발명의 창 2600은 단계 1316과 같이 사용자 행동 "조깅"에 맞는 사용자 행동기반 정황인식 작동모드와 자동 감지 조건을 액세스하여 표시한다. 사용자는 버튼 2604를 이용하여 자동 감지 조건을 수정할 수 있고, 버튼 2606을 이용하여 사용자 행동기반 정황인식 작동모드를 수정할 수 있다. 버튼 2604는 도.17의 창 1700과 동일한 자동 감지 조건 편집 창으로 이동하여, 단계 1302와 같이 사용자가 자동 감지 조건을 수정할 수 있도록 한다. 버튼 2606은 도 21의 창 2100과 동일한 사용자 행동기반 정황인식 작동모드 편집 창으로 이동하여, 단계 1302와 같이 사용자가 사용자 행동기반 정황인식 작동모드를 수정할 수 있도록 한다. 사용자가 자동 감지 조건과 사용자 행동기반 정황인식 작동조건을 확정하면, 사용자는 "Start activity (사용자 행동 시작)" 버튼 2608을 누름으로서 도.13B의 단계 1320과 같이 새로운 사용자 행동을 확정하거나, "Activity (행동)" 버튼 2602를 눌러 수정 내용을 취소하고 도.15의 초기화면 1500으로 되돌아갈 수 있다.26 shows how new user actions are detected by the user's direct input in step 1308. FIG. The user can manually select the new user behavior "jogging " in this example by pressing the slider button 1506 in the initial screen 1500 of the present invention and move to the new user behavior start confirmation window 2600 of FIG. The window 2600 of the present invention accesses and displays a user behavior based context aware operating mode and an automatic detection condition that conform to user behavior "jogging " as in step 1316. [ The user may modify the auto-sensing condition using the button 2604 and modify the contextual recognition operating mode based on the user behavior using the button 2606. [ Button 2604 moves to the same automatic detection condition edit window as the window 1700 of FIG. 17, so that the user can modify the automatic detection condition as shown in step 1302. The button 2606 moves to the same user behavior based context aware operation mode edit window as the window 2100 of FIG. 21, allowing the user to modify the user behavior based context aware operation mode as in step 1302. When the user confirms the auto-sensing condition and the context-aware operating condition based on the user behavior, the user confirms the new user behavior as in step 1320 of 13B by pressing the " Start activity "button 2608, (Action) "button 2602 to cancel the correction and return to the initial screen 1500 of FIG.

도.28은 예시적으로 새로운 사용자 행동 감지 확정 창 2800을 보여준다. 도.13A의 단계 1310과 같이 미리 지정한 자동 감지 조건을 만족하면, 본 발명의 전자기기는 단계 1316과 같이 도.28의 새로운 사용자 행동 감지 확정 창 2800을 표시한다. 새로운 사용자 행동 감지 확정 창 2800은 새로운 사용자 행동 경고 (new activity "jog" detected) 2802, 사용자 행동 설명 (user-activity description) 2804, 사용자 행동기반 정황인식 작동모드 정보 (mode of operation) 2806, Cancel (취소) 버튼 2808, Start Activity (시작) 버튼 2810을 표시한다. 사용자는 Cancel (취소) 버튼 2808을 이용하여 자동 감지 경고를 무시하고 이전 창으로 되돌아갈 수도 있고, Start Activity (시작) 버튼 2810을 이용하여 도.13B의 단계 1320과 같이 자동 감지 경고를 수락하고 감지된 사용자 행동을 시작할 수도 있다.28 shows an exemplary new user behavior detection determination window 2800 by way of example. If the predetermined automatic detection condition is satisfied as in step 1310 of FIG. 13A, the electronic device of the present invention displays a new user behavior detection determination window 2800 of FIG. The new user behavior detection confirmation window 2800 includes a new activity "jog" detected 2802, a user-activity description 2804, a user behavior based context aware operation mode information 2806, a Cancel () Cancel) button 2808, and a start activity (start) button 2810. The user can use the Cancel button 2808 to ignore the automatic detection warning and return to the previous window or accept the automatic detection warning as in step 1320 of FIG. 13B using the Start Activity button 2810 Lt; / RTI > user actions.

도.29와 도.30은 각각 예시적인 새로운 사용자 행동 알림 창과 예시적인 사용자 행동기반 정황인식 작동모드 부재 경고 창을 보여준다. 도.13A의 단계 1312와 같이 주변기기들이 새로운 사용자 행동을 공지하게 되면, 본 발명의 전자기기는 단계 1316과 같이 공지된 사용자 행동이 주기기에 존재하는 경우, 도.29의 새로운 사용자 행동 알림 확인 창 2900을 표시하고, 단계 1318과 같이 공지된 사용자 행동이 주기기에 존재하지 않는 경우, 도.30의 사용자 행동기반 정황인식 작동모드 부재 경고 창 3000을 표시한다.29 and 30 show an exemplary new user behavior notification window and an exemplary user behavior based contextual recognition operation mode absence warning window, respectively. If the peripherals announce a new user action as in step 1312 of FIG. 13A, the electronic device of the present invention may display a new user behavior notification window 2900 And displays the user behavior based context aware operating mode absence warning window 3000 of FIG. 30 when the known user behavior does not exist in the period, such as step 1318.

주기기에 공지된 사용자 행동이 존재하면, 주기기는 새로운 사용자 행동 알림 (new activity "jog" notified) 2902, 사용자 행동 설명 (user-activity description) 2904, 사용자 행동기반 정황인식 작동모드 정보 (mode of operation) 2906, Cancel (취소) 버튼 2908, Start activity (수락) 버튼 2910을 표시한다. 사용자는 알림 경고를 무시하고 기존의 창으로 이동하기 위해 Cancel (취소) 버튼 2908을 이용할 수 있고, 도.13B의 단계 1320과 같이 Start activity (수락) 버튼 2910을 이용하여 알림 경고를 수락하고 공지된 사용자 행동을 시작할 수 있다.If there are known user actions in the periodicity, the periodifier may include a new activity "jog" notified 2902, a user-activity description 2904, a user behavior based context aware operating mode information (mode of operation) 2906, a Cancel button 2908, and a Start activity (accept) button 2910. The user can use the Cancel button 2908 to ignore the notification alert and move to an existing window and accept the notification alert using the Start activity button 2910 as in step 1320 of Figure 13B, User actions can be initiated.

주기기에 공지된 사용자 행동이 존재하지 않는 경우, 주기기는 주기기에 공지된 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드가 존재하지 않다는 메세지와 함께 새로운 사용자 행동 공지 경고 (new activity "jog" notified no contextual mode available) 3002를 표시한다. 주기기는 사용자 행동기반 정황인식 작동모드 편집 버튼 (define contextual mode) 3004과 cancel (취소) 버튼 3006을 함께 표시할 수 있다. 사용자 행동기반 정황인식 작동모드 편집 버튼 (define contextual mode) 3004는 도.16의 창 1600과 동일한 새로운 사용자 행동 편집 창으로 새로운 사용자 행동 편집을 위해 이동할 수 있다. 사용자는 공지 경고를 무시하고 cancel (취소) 버튼 3006을 눌러 기존 창으로 되돌아갈 수 있다.If there is no known user action in the periodic, then the periodic has a new activity "jog" notified no contextual < / RTI > alert with a message that there is no user- mode available) 3002 is displayed. The periodizer may display a user context-based contextual operation mode edit button 3004 and a cancel button 3006 together. The user behavior based contextual recognition mode edit button 3004 can be moved to edit a new user behavior with the same new user behavior edit window as the window 1600 of FIG. The user can return to the existing window by pressing the cancel button 3006, ignoring the notification warning.

본 발명의 초기 화면 1500에서 세팅 버튼 1508을 이용하여 도.27의 예시적인 세팅 편집 창 2700으로 이동할 수 있다. 창 2700의 예시적인 세팅이 보여 주듯이, 본 발명의 세팅은 자동 감지를 활성화/비활성화하는 자동 감지 스위치 (automatic detection), 사용자 확정을 활성화/비활성화하는 사용자 확정 스위치 (confirm activity changes), 사용자 행동의 캘린더 입력을 활성화/비활성화하는 캘린더 입력 스위치 (save activity to calendar), 주변기기에서의 새로운 사용자 행동 공지를 활성화/비활성화하는 공지 스위치 (notification) 등을 포함할 수 있다. In the initial screen 1500 of the present invention, the setting button 1508 can be used to move to the exemplary setting editing window 2700 of Fig. As the exemplary settings of window 2700 illustrate, the settings of the present invention may include automatic detection for enabling / disabling automatic detection, confirm activity changes for activating / deactivating user confirmation, A calendar input switch for enabling / disabling input, a notification for activating / deactivating new user behavior announcements in the peripheral, and the like.

Claims (20)

모바일 기기, 웨어러블 기기, 스마트TV, 가전제품, 홈오토메이션 기기, 빌딩자동화 기기, 자동차용 전자기기, 로봇, 사용자 인터페이스 기기 외 다양한 전자기기에 대하여 다양한 사용자 행동을 정황으로 다양한 정황인식 작동모드를 관리하는 방법으로서,
A. 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로, 또는 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악하는 단계: 및
그리고 단계 A에서 파악된 사용자 행동에 따라,
B. 하나 또는 여러 개의 전자기기에 하나 또는 여러 개의 연관된 작동모드를 적용하는 단계를 포함한다. 여기서 작동모드란 미리 지정된 세팅 값으로 전자기기의 하나 또는 여러 개의 기능을 변경하는 것을 포함한다.
감지된 사용자 행동에 맞춰 (감지된 사용자 행동을 정황으로) 전자기기의 기능들을 변경하는 것은 전자기기의 사용자 경험을 획기적으로 개선하고 단순화시키는 "정황적인" 사용자 경험을 제공한다.
It manages a variety of context-aware operating modes in a variety of user contexts for various electronic devices such as mobile devices, wearable devices, smart TVs, home appliances, home automation devices, building automation devices, automotive electronic devices, robots, As a method,
A. Identifying the user's behavior, or the user's willingness to take action, either manually, by the user's input through the input of the electronic device, or automatically, in a behavior-sensing manner; and
In accordance with the user behavior identified in step A,
B. Applying one or more associated operating modes to one or more electronic devices. Wherein the operating mode includes changing one or more functions of the electronic device to predetermined setting values.
Altering the functions of the electronic device in accordance with the detected user behavior (in the context of detected user behavior) provides a " contextual "user experience that dramatically improves and simplifies the user experience of the electronic device.
제 1항에서, 사용자 행동이나 사용자가 행동을 취하려는 의도를 정의함에 있어서 육하원칙 (언제, 어디서, 누가, 무었을, 왜, 어떻게) 을 적용하여 사용자 행동에 대한 정보를 데이터 구조로 수집, 저장, 액세스하는 방법을 추가적으로 포함한다.The method according to claim 1, wherein the information on the user behavior is collected, stored, and stored in a data structure by applying the user's behavior or the user's intention to take action, by applying the two-way rule (when, where, Access method. 제 1항에서, 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 스마트 시계, 스마트 목걸이, 스마트 반지, 스마트 장신구 등 다양한 웨어러블 기기의 입력부를 통해 사용자의 입력을 활용하는 방법을 포함한다.2. The method of claim 1, wherein, in inputting a user's input through an input unit of the electronic device, the user's behavior or a willingness of the user to take an action is determined by using a smart watch, smart necklace, smart ring, smart jewelry, And utilizing the user's input through the input. 제 1항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, NFC, QR 코드, 바코드, RFID, 기타 태깅 기술 등 사용자 행동 감지를 위한 태깅 방법들을 포함한다.The method includes tagging methods for detecting user behavior such as NFC, QR code, barcode, RFID, and other tagging techniques in order to automatically understand the behavior of the user or the willingness of the user to take action in the behavior sensing method . 제 1항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 음성인식, 움직임/제스처 인식, 기타 인공지능 기술 등의 사용자의 행동과 거동을 분석하는 방법을 포함한다.A method for analyzing a user's behavior and behavior such as voice recognition, motion / gesture recognition, and other artificial intelligence techniques in order to automatically understand the behavior of the user or the willingness of the user to take action . 제 1항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 전자기기의 데이터, 입력부 또는 통신 데이터를 미리 정의한 기준값과 비교 모니터링하여 자동으로 사용자 행동을 감지하고, 미리 정의한 데이터 구조를 활용하여 상기의 미리 정의한 기준값을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 방법을 포함한다.The method as claimed in claim 1, wherein, in the behavior detection method, when the behavior of the user or the willingness of the user to take an action is grasped, the data, the input unit, or the communication data of the electronic device are compared with a predetermined reference value, And a method for editing, storing, sharing, and / or accessing the predefined reference value in a storage device (memory, storage device, etc.) of an electronic device or a storage device on a network using a predefined data structure. 제 1항에서, 미리 정의된 세팅 값에 있어서, 미리 정의한 데이터 구조를 활용하려 전자기기의 기능 세팅을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 방법을 포함한다.The method of claim 1, further comprising the steps of: editing, storing, sharing and / or modifying the functional settings of the electronic device in a storage device (memory, storage device, etc.) / RTI > 제 1항에서, 전자기기의 기능이란 전자기기의 입력부, 출력부, 통신모듈, 저장기기, 메모리, 미디어 자산, 그리고/또는 소프트웨어 요소 등에 대한 접근성을 포함한다. The method of claim 1, wherein the function of the electronic device includes accessibility to the input, output, communication module, storage device, memory, media asset, and / or software component of the electronic device. 제 1항에서, 전자기기는 네트워크에 연결되어 사용자 행동 또는 사용자가 행동을 취하려는 의도와 연관된 정황인식 작동모드를 네트워크를 통해 통신, 편집, 저장, 액세스한다.The electronic device of claim 1, wherein the electronic device is connected to a network for communicating, editing, storing, and accessing via the network a context aware operating mode associated with user behavior or an intention of the user to take action. 제 1항에서 사용자 행동 또는 사용자가 행동을 취하려는 의도를 전자기기가 포함하고 있는 캘린더 기능의 입력 항목으로 포함한다.The method of claim 1, wherein the user action or the intention of the user to take an action is included as an input item of a calendar function included in the electronic device. 모바일 기기, 웨어러블 기기, 스마트TV, 가전제품, 홈오토메이션 기기, 빌딩자동화 기기, 자동차용 전자기기, 로봇, 사용자 인터페이스 기기 외 다양한 전자기기에 대하여 다양한 사용자 행동을 정황으로 다양한 정황인식 작동모드를 관리하는 시스템으로서,
A. 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로, 또는 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악하는 부: 및
그리고 A부에서 파악된 사용자 행동에 따라,
B. 하나 또는 여러 개의 전자기기에 하나 또는 여러 개의 연관된 작동모드를 적용하는 부를 포함한다. 여기서 작동모드란 미리 지정된 세팅 값으로 전자기기의 하나 또는 여러 개의 기능을 변경하는 것을 포함한다.
감지된 사용자 행동에 맞춰 (감지된 사용자 행동을 정황으로) 전자기기의 기능들을 변경하는 것은 전자기기의 사용자 경험을 획기적으로 개선하고 단순화시키는 "정황적인" 사용자 경험을 제공한다.
It manages a variety of context-aware operating modes in a variety of user contexts for various electronic devices such as mobile devices, wearable devices, smart TVs, home appliances, home automation devices, building automation devices, automotive electronic devices, robots, As a system,
A. Part to identify the user's behavior, or the user's willingness to take action, either manually by the user's input through the input of the electronic device,
In accordance with the user behavior identified in Part A,
B. Including one or more associated operating modes on one or several electronic devices. Wherein the operating mode includes changing one or more functions of the electronic device to predetermined setting values.
Altering the functions of the electronic device in accordance with the detected user behavior (in the context of detected user behavior) provides a " contextual "user experience that dramatically improves and simplifies the user experience of the electronic device.
제 11항에서, 사용자 행동이나 사용자가 행동을 취하려는 의도를 정의함에 있어서 육하원칙 (언제, 어디서, 누가, 무었을, 왜, 어떻게) 을 적용하여 사용자 행동에 대한 정보를 데이터 구조로 수집, 저장, 액세스하는 부를 추가적으로 포함한다.12. The method according to claim 11, wherein, in defining the user behavior or the intention of the user to take an action, the information about the user behavior is collected, stored, And further includes a part for accessing. 제 11항에서, 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 스마트 시계, 스마트 목걸이, 스마트 반지, 스마트 장신구 등 다양한 웨어러블 기기의 입력부를 통해 사용자의 입력을 활용하는 부를 포함한다.12. The method according to claim 11, wherein, in inputting a user's input through the input unit of the electronic device, the user's action or the willingness of the user to take an action is determined by using a smart watch, smart necklace, smart ring, smart jewelry, And a part for utilizing the user's input through the input part. 제 11항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, NFC, QR 코드, 바코드, RFID, 기타 태깅 기술 등 사용자 행동 감지를 위한 태깅 부들을 포함한다.The method of claim 11, further comprising tagging units for detecting user behavior such as NFC, QR code, barcode, RFID, and other tagging technology in automatically detecting the behavior of the user or the willingness of the user to take action . 제 11항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 음성인식, 움직임/제스처 인식, 기타 인공지능 기술 등의 사용자의 행동과 거동을 분석하는 부를 포함한다.11. The method according to claim 11, further comprising analyzing the behavior and behavior of the user such as speech recognition, movement / gesture recognition, and other artificial intelligence techniques in order to automatically understand the behavior of the user or the user's willingness to take action . 제 11항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 전자기기의 데이터, 입력부 또는 통신 데이터를 미리 정의한 기준값과 비교 모니터링하여 자동으로 사용자 행동을 감지하고, 미리 정의한 데이터 구조를 활용하여 상기의 미리 정의한 기준값을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 부를 포함한다.12. The method as claimed in claim 11, wherein, in the behavior detection method, when the behavior of the user or the willingness of the user to take an action is grasped, the data, the input unit, or the communication data of the electronic device are compared with a predetermined reference value, And a section for editing, storing, sharing, and / or accessing the predefined reference value in a storage device (memory, storage device, etc.) of an electronic device or a storage device on a network by utilizing a predefined data structure. 제 11항에서, 미리 정의된 세팅 값에 있어서, 미리 정의한 데이터 구조를 활용하려 전자기기의 기능 세팅을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 부를 포함한다.12. The method of claim 11, wherein, for predefined setting values, the function settings of the electronic device are edited, stored, shared and stored in a storage device (memory, storage device, / RTI > 제 11항에서, 전자기기의 기능이란 전자기기의 입력부, 출력부, 통신모듈, 저장기기, 메모리, 미디어 자산, 그리고/또는 소프트웨어 요소 등에 대한 접근성을 포함한다.12. The method of claim 11, wherein the function of the electronic device includes accessibility to the input, output, communication module, storage device, memory, media assets, and / or software components of the electronic device. 제 11항에서, 전자기기는 네트워크에 연결되어 사용자 행동 또는 사용자가 행동을 취하려는 의도와 연관된 정황인식 작동모드를 네트워크를 통해 통신, 편집, 저장, 액세스한다.12. The electronic device of claim 11, wherein the electronic device is connected to a network for communicating, editing, storing, and accessing via the network a context aware operating mode associated with user behavior or an intention of the user to take action. 제 11항에서 사용자 행동 또는 사용자가 행동을 취하려는 의도를 전자기기가 포함하고 있는 캘린더 기능의 입력 항목으로 포함한다.In the eleventh aspect, the user behavior or the intention of the user to take an action is included as an input item of the calendar function included in the electronic device.
KR1020160018446A 2016-02-17 2016-02-17 Activity-centric contextual modes of operation for electronic devices KR20170096774A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160018446A KR20170096774A (en) 2016-02-17 2016-02-17 Activity-centric contextual modes of operation for electronic devices
PCT/KR2016/002099 WO2017142116A1 (en) 2016-02-17 2016-03-02 Activity-centric contextual modes of operation for electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160018446A KR20170096774A (en) 2016-02-17 2016-02-17 Activity-centric contextual modes of operation for electronic devices

Publications (1)

Publication Number Publication Date
KR20170096774A true KR20170096774A (en) 2017-08-25

Family

ID=59625271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160018446A KR20170096774A (en) 2016-02-17 2016-02-17 Activity-centric contextual modes of operation for electronic devices

Country Status (2)

Country Link
KR (1) KR20170096774A (en)
WO (1) WO2017142116A1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230004884A (en) * 2020-05-11 2023-01-06 애플 인크. Digital Assistant Hardware Extraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11973894B2 (en) 2019-04-30 2024-04-30 Apple Inc. Utilizing context information with an electronic device
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US12061752B2 (en) 2018-06-01 2024-08-13 Apple Inc. Attention aware virtual assistant dismissal
US12067990B2 (en) 2014-05-30 2024-08-20 Apple Inc. Intelligent assistant for home automation

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
AU2014278592B2 (en) 2013-06-09 2017-09-07 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. Low-latency intelligent automated assistant
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. Virtual assistant operation in multi-device environments
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (en) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11889149B2 (en) 2018-09-11 2024-01-30 International Business Machines Corporation Intelligent mitigation of concentration conflicts
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110909159B (en) * 2019-09-29 2022-09-16 珠海格力电器股份有限公司 User intention identification method, device, terminal and storage medium
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN115033152B (en) * 2022-06-22 2024-06-14 中国商用飞机有限责任公司 Display interface control method and electronic equipment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092746B2 (en) * 2009-06-29 2015-07-28 Masaaki Tokuyama Workflow processing program, information processing device and workflow processing method
US10346849B2 (en) * 2011-07-12 2019-07-09 Ca, Inc. Communicating personalized messages using quick response (QR) codes
JP5915341B2 (en) * 2012-04-06 2016-05-11 ソニー株式会社 Information processing apparatus, information processing method, and computer program
US9066326B2 (en) * 2013-03-14 2015-06-23 Google Technology Holdings LLC Automatic user notification, with quick response (QR) code generation following failed NFC device pairing
US9356710B2 (en) * 2014-04-08 2016-05-31 Mastercard International Incorporated Methods and apparatus for consumer testing of an NFC device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US12067990B2 (en) 2014-05-30 2024-08-20 Apple Inc. Intelligent assistant for home automation
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US12061752B2 (en) 2018-06-01 2024-08-13 Apple Inc. Attention aware virtual assistant dismissal
US11973894B2 (en) 2019-04-30 2024-04-30 Apple Inc. Utilizing context information with an electronic device
KR20230004884A (en) * 2020-05-11 2023-01-06 애플 인크. Digital Assistant Hardware Extraction
KR20230003587A (en) * 2020-05-11 2023-01-06 애플 인크. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction

Also Published As

Publication number Publication date
WO2017142116A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
KR20170096774A (en) Activity-centric contextual modes of operation for electronic devices
US20160179087A1 (en) Activity-centric contextual modes of operation for electronic devices
US10354014B2 (en) Virtual assistant system
US11902707B1 (en) Location based device grouping with voice control
US11620103B2 (en) User interfaces for audio media control
CN107005612B (en) Digital assistant alarm system
US9729821B1 (en) Sensor fusion for location based device grouping
Shafer et al. Interaction issues in context-aware intelligent environments
US20140172123A1 (en) User terminal apparatus, network apparatus, and control method thereof
CN108885485A (en) Digital assistants experience based on Detection of Existence
CN109348052A (en) For managing the user interface of controllable external equipment
CN107222391A (en) Group's based reminding method, device and equipment
CN108710306A (en) Control method, device and the computer readable storage medium of smart machine
CN106547216A (en) The method and device of intelligent scene trigger condition is set
CN105278336A (en) Application display method and apparatus, and terminal
US20240291916A1 (en) Interfaces and devices for dynamically-available media playback
CN107132769A (en) Smart machine control method and device
JP7412564B2 (en) Operating system level distributed ambient computing
CN106534517B (en) Operating status method of adjustment, device and electronic equipment
KR20170097890A (en) Electronic apparatus and Method for providing service thereof
JP2019204287A (en) Information processing device, information processing method, and information processing program
Nguyen Designing smart interactions for smart objects
US11960914B2 (en) Methods and systems for suggesting an enhanced multimodal interaction
KR102426564B1 (en) User interface for audio message
CN106959744A (en) Intelligent mixing system and method for the apparatus assembly of computerization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application