KR20170096774A - Activity-centric contextual modes of operation for electronic devices - Google Patents
Activity-centric contextual modes of operation for electronic devices Download PDFInfo
- Publication number
- KR20170096774A KR20170096774A KR1020160018446A KR20160018446A KR20170096774A KR 20170096774 A KR20170096774 A KR 20170096774A KR 1020160018446 A KR1020160018446 A KR 1020160018446A KR 20160018446 A KR20160018446 A KR 20160018446A KR 20170096774 A KR20170096774 A KR 20170096774A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- behavior
- electronic device
- user behavior
- action
- Prior art date
Links
- 230000006399 behavior Effects 0.000 claims abstract description 303
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000009471 action Effects 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 83
- 238000001514 detection method Methods 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims 2
- 230000008859 change Effects 0.000 abstract description 23
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000002093 peripheral effect Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000003213 activating effect Effects 0.000 description 6
- 238000003825 pressing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010407 vacuum cleaning Methods 0.000 description 2
- 238000003324 Six Sigma (6σ) Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- User Interface Of Digital Computer (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Telephone Function (AREA)
Abstract
Description
전자기기들의 기능들이 증가하면서 발생하는 복잡성을 해소하기 위하여 새로운 개념의 전자기기 제어 및 사용자 인터페이스 방식을 제공하는 시스템과 방법A system and a method for providing a new concept of electronic device control and a user interface method in order to solve complexity caused by an increase in functions of electronic devices
현재 모바일 기기와 컴퓨터들은 사용자 인터페이스가 앱 (애플리케이션)을 중심으로 구성되어 있다. 다시 말하면, 앱 아이콘과 기능 버튼들로 구성되어 있다. 예를 들면, 사용자가 음악을 듣고자 한다면 사용자는 오디오 앱 아이콘을 클릭하고 또 다른 버튼들을 클릭하여 원하는 재생목록을 선택하고 음악을 재생한다. 이와 같은 사용자 인터페이스, 즉 "앱 아이콘과 버튼들을 클릭"하는 방식은 1984년 애플에서 맥킨토시 128K를 시판하면서 GUI (Graphical User Interface) 와 마우스의 조합으로 시작되어 아직까지도 대표적인 컴퓨팅 환경으로 이어져 왔다.Currently, mobile devices and computers have a user interface centered on apps. In other words, it consists of an app icon and function buttons. For example, if the user wants to listen to music, the user clicks the audio app icon and clicks another button to select the desired playlist and play the music. This kind of user interface, or "clicks on the app icons and buttons", was launched in 1984 by Apple with the Macintosh 128K, a graphical user interface (GUI) and a mouse, and has been a typical computing environment.
1996년 출시한 애플의 아이폰에서 도입한 터치스크린과, 터치 동작인식 등 획기적인 기술들이 1984년 이후 시도되었지만, "앱 아이콘과 버튼들을 클릭"하는 기본은 변하지 않았다. 현재 탭, 스와이프 (swipe), 핀치 (pinch)와 같은 새로운 기술들이 개발되었지만, 모두 "앱 아이콘과 버튼들을 클릭"을 쉽게 하기 위한 방법들일 뿐이다. 그뿐 아니라, 일반적인 전자기기의 경우에도 대표적인 사용자 인터페이스는 전원스위치와 기능버튼들이며, "전원스위치와 버튼들을 클릭"으로 표현될 수 있다. 그러므로 모바일기기와 일반적인 전자기기의 대표적인 사용자 인터페이스는 모두 "전원과 기능버튼들을 클릭"하는 방식이다.The groundbreaking technologies such as touch screen and touch motion recognition introduced in Apple's iPhone launched in 1996 have been tried since 1984, but the basics of "clicking on app icons and buttons" have not changed. New technologies such as tabs, swipes, and pinch have been developed, but all are just ways to make it easier to "click on app icons and buttons". In addition, in the case of a general electronic apparatus, a representative user interface is a power switch and function buttons, and can be expressed as "power switch and buttons click ". Therefore, typical user interfaces of mobile devices and general electronic devices are both "power and function button clicks".
최근 스마트기기들이 개발되면서 많은 전자기기에 컴퓨팅 및 네트워킹 기능이 추가되고 있으며, 그로 인하여 각각의 기기들의 기능을 넘어 네트워크에 연결된 다른 기기와 함께 "집단"기능으로 연계된다. 예를 들어, 스마트폰들은 가전제품, 홈오토메이션시스템, 자동차 전장, 기타 네트워크에 연결된 전자기기 등과 연동되고 있다. 이러한 추세는 더 많은 기능을 제공하는 반면에 사용자 인터페이스에 있어서 복잡성을 증대시키고 있다. 대부분의 경우, 다른 전자기기와 연동하고 제어를 하기 위해 서로 다른 시스템과 방법을 사용하고 있으며 더 많은 아이콘, 스위치, 버튼들이 필요하게 되고 이로 인해 복잡성을 증대시키게 되고 상호연결성 (interconnectivity)과 제어의 가치를 저해하게 된다.With the recent development of smart devices, computing and networking functions have been added to many electronic devices, so that they are linked to the "collective" function with other devices connected to the network beyond the function of each device. For example, smartphones are linked to home appliances, home automation systems, automotive electronics, and other networked electronic devices. While this trend provides more functionality, it increases the complexity of the user interface. In most cases, different systems and methods are used to interact with and control other electronic devices, and more icons, switches, and buttons are needed, which increases complexity and increases the value of interconnectivity and control .
기존의 사용자 인터페이스는 "기능중심의" 사용자 인터페이스라고 표현할 수 있다. 사용자는 "전원스위치와 버튼들을 클릭"하여 모바일기기와 전자기기를 사용자의 필요에 따라 끊임없이 기능을 조절하고 있다. 하지만, 단일의 전자기기 또는 네트워크에 연결된 여러 전자기기의 기능적 복잡성은 "기능중심의" 사용자 인터페이스의 한계를 보여준다. 음성인식 및 동장인식도 기술적인 발전과 사용자 인터페이스의 용이성에 따라 인기를 끌고 있지만 이들 또한 "전원스위치와 버튼을 클릭"하기 위한 또 다른 편의기능의 역할이다.An existing user interface can be described as a "function-based" user interface. The user continuously controls the function of the mobile device and the electronic device according to the user's need by clicking the power switch and the buttons. However, the functional complexity of a single electronic device or several electronic devices connected to the network shows the limitations of a "function-oriented" user interface. Speech recognition and panning recognition are also gaining popularity due to technological advances and ease of user interface, but they are also the role of another convenience feature to "click on the power switch and button".
과거에 비추어 볼 때, 기능의 증대는 복잡성의 증대를 불러일으켰으며 새로운 사용자 인터페이스는 일반적인 해결책이었다. 이제 "앱 아이콘과 버튼을 클릭"과 "전원스위치와 버튼을 클릭"하는 방식을 넘어선 새로운 사용자 인터페이스가 필요한 시점이다. 본 발명은 모바일기기 및 일반적인 전자기기에 적용되는 사용자 인터페이스의 시스템과 방법을 개량하여, 모바일기기 및 전자기기의 기능적 복잡성을 해결하는 사용자 경험을 제공하기 위함이다.In the past, increased functionality has resulted in increased complexity, and the new user interface has been a common solution. Now it is time to get a new user interface that goes beyond "clicking the app icon and button" and "clicking the power switch and button". The present invention is to provide a user experience that solves the functional complexity of mobile devices and electronic devices by improving the user interface system and method applied to mobile devices and general electronic devices.
모바일기기 및 전자기기들의 기능적 복잡성을 해결하기 위하여 새로운 사용자 인터페이스를 필요로 한다. 복잡성을 해결하기 위해서는 단순화를 필요로 하며, 단순화는 공통분모를 요구한다. 본 발명은 정황, 엄밀히 말하여 사용자 정황, 영문으로 user context (유저컨텍스트), 을 공통분모로 적용하여 전자기기의 기능적 복잡성을 단순화하고자 한다.A new user interface is required to solve the functional complexity of mobile devices and electronic devices. Complexity requires simplification and simplification requires a common denominator. The present invention seeks to simplify the functional complexity of electronic devices by applying context, strictly user context, and user context (user context) in English as a common denominator.
컨텍스트 (정황) 는 (어떤 일의) 맥락, 전후 사정으로 정의되어 있다. 아직까지 유저컨텍스트 (사용자 정황) 는 위치인식으로 인식되어 왔다. 모바일기기가 확산되면서 사용자의 위치정보가 가장 보편적인 유저컨텍스트 (사용자 정황) 였다.The context is defined as context, context. So far user context (user context) has been recognized as location recognition. As mobile devices spread, user's location information was the most common user context (user context).
본 발명은 사용자의 행동 그리고/또는 사용자의 행동을 취하려는 의도를 유저컨텍스트, 즉 사용자 정황으로 활용하여, 이를 사용자 행동기반 정황으로 정의한다. (이후로 사용자의 행동 그리고/또는 사용자의 행동을 취하려는 의도를 사용자의 행동으로 간략 표기한다.) 본 발명은 전자기기의 기능적 복잡성을 단순화하기 위하여 사용자의 행동을 공통분모로 활용한다. 그러한 활용은 사용자 행동의 변화에 따라 전자기기의 기능 변화가 수반됨을 가정한다. 예를 들면, 사용자가 요리를 할 때는 사용자는 스마트폰을 핸즈프리로 사용하고, 주방조명 외에는 전등을 모두 소등하고, 클래식음악을 듣고 싶어할 수 있다. 하지만, 사용자가 텔레비전을 시청할때에는 사용자는 스마트폰을 진동모드로 사용하고, 거실조명을 약하게 하고, 음악재생을 중단하려 할 것이다. 사용자가 다른 행동을 할 때 그 행동변화에 따라 사용자는 전자기기들에 대해 다른 기능이나 반응을 원하게 된다.The present invention utilizes a user's behavior and / or an intention to take a user's behavior as a user context, i.e., the user context, and defines the context as a user behavior based. (Hereinafter, the user's actions and / or the intention to take the actions of the user are abbreviated as the actions of the user.) The present invention utilizes the actions of the user as a common denominator to simplify the functional complexity of the electronic device. Such utilization assumes that a change in function of the electronic device is accompanied by a change in user behavior. For example, when a user is cooking, the user may want to use the smartphone as a hands-free, lights other than kitchen lights, turn off the lights, and listen to classical music. However, when the user watches the television, the user will try to use the smartphone in the vibration mode, weaken the living room lighting, and stop playing the music. When a user performs a different action, the user desires another function or response to the electronic device according to the behavior change.
다시 말해, 전자기기의 복잡한 기능변화는 사용자의 행동변화로부터 일어날 수 있다. 이러한 일대다 (一對多) 관계, 즉 하나의 행동변화 대비 여러 기능변화, 는 복잡성을 단순화하는 핵심요소이다. 이 사용자의 행동과 전자기기의 기능들과의 일대다 관계는 "작동모드"로 정의된다. 각각의 작동모드는 사용자의 행동변화에 필요한 전자기기의 기능변화를 포함한다. 따라서, 본 발명에서 각각의 사용자 행동은 연관된 작동모드 (본 발명에서 전자기기의 사용자 행동기반 정황인식 작동모드로 정의) 를 가지고 있다.In other words, complex functional changes of electronic devices can arise from user behavior changes. This one-to-many relationship, that is, a change of function versus a behavior change, is a key factor in simplifying complexity. A one-to-many relationship between the behavior of this user and the functions of the electronic device is defined as the "operating mode". Each operation mode includes a function change of the electronic device necessary for the user's behavior change. Thus, in the present invention, each user action has an associated operating mode (defined as the user behavior based contextual recognition operating mode of the electronic device in the present invention).
본 발명에서 사용자의 행동을 사용자의 정황 (유저컨텍스트, 본 발명에서 정의하는 사용자 행동기반 정황) 으로 활용하기 위하여 육하원칙 (누가, 무엇을, 언제, 어디서, 왜, 어떻게) 을 이용하여 사용자의 행동에 대한 모든 정보를 취합한다. 따라서, 사용자 행동의 상세한 요소는 사용자 그룹 (누가), 사물/대상 (무엇을), 시간 (언제), 위치 (어디서), 의도/이유 (왜), 기타 정황정보 (어떻게) 의 일부나 모두를 포함할 수 있으며 데이터 구조를 활용하여 정의할 수 있다. 표준화된 데이터 구조는 전자기기 내부 또는 전자기기들 간에서 사용자 행동에 대한 정보를 수집, 저장, 접근, 커뮤니케이션 하기 위해 필요할 수 있다.In the present invention, in order to utilize a user's behavior as a context of the user (user context, user behavior based context defined in the present invention), the user is allowed to use the two-way rule (who, what, when, Collect all information about you. Therefore, the detailed elements of user behavior can include all or some of the user group (who), object / object (what), time (when), location (where), intent / reason (why) And can be defined using data structures. A standardized data structure may be needed to collect, store, access, and communicate information about user behavior within or between electronic devices.
사용자 행동을 육하원칙을 이용하여 사용자 행동기반 정황으로 정의할 때, 그 사용자 행동에 맞는 전자기기의 기능적 변화는 본 발명에서 표현하는 "사용자 행동기반 정황인식 작동모드"로 정의된다. 작동모드는 소프트웨어 및 하드웨어에 대한 기능과 세팅을 포함할 수 있다. 예를 들면, 스마트폰의 작동모드는 오디오앱의 재생목록과 볼륨조절 또는 스마트폰 기기 자체의 벨소리 세팅이 포함될 수 있다. 스마트홈의 조명제어시스템 작동모드는 밝기조절 세팅이 포함될 수 있다. 그러므로 사용자의 행동이 "요리"에서 "텔레비젼 시청"으로 바뀌게 되면, 미리 설정된 "텔레비젼 시청"이라는 사용자 행동의 정황인식 작동모드에 따라 스마트폰은 자동적으로 진동모드로 전환되고 오디오앱을 정지시키고 스마트홈 조명제어시스템은 거실 조명을 약하게 조절하게 된다.When the user behavior is defined as the context of user behavior based on the two-dimensional hierarchy, the functional change of the electronic device corresponding to the user behavior is defined as the "user behavior based context aware operation mode" expressed in the present invention. The operating modes may include functions and settings for software and hardware. For example, the mode of operation of the smartphone may include a playlist and volume control of the audio app or ringtone settings of the smartphone device itself. The lighting control system operating mode of the smart home may include a brightness adjustment setting. Therefore, when the user's behavior changes from "cooking" to "watching TV ", the smartphone automatically switches to the vibration mode, stops the audio app, The lighting control system adjusts the living room lighting lightly.
사용자는 미리 각각의 사용자 행동에 대하여 전자기기들이 어떻게 작동해야 하는지 정황인식 작동모드에 미리 설정해 놓으면 된다. 그렇게 되면, 매번 사용자가 미리 설정한 사용자 행동으로 전환했을 때, 전자기기들은 미리 설정된 기능과 세팅으로 전환하게 된다. 그러므로 본 발명은 사용자의 모바일 경험뿐 아니라 모든 전자기기에 대한 경험을 간소화시킨다. 사용자는 스마트폰, 웨어러블기기, 가전기기, 홈오토메이션기기, 자동차관련 전자기기 및 기타 전자기기를 사용자의 행동의 변화로써 제어할 수 있게 된다.The user may set in advance the context-aware operating mode in advance how electronic devices should operate for each user behavior. Then, each time the user switches to a preset user action, the electronic devices are switched to preset functions and settings. The present invention therefore simplifies the experience for all electronic devices as well as the user's mobile experience. Users can control smart phones, wearable devices, home appliances, home automation devices, automobile related electronic devices and other electronic devices by changing user behavior.
전자기기들은 점점 스마트해지고 다른 환경 조건에 다르게 작동하기 위해 환경을 모니터링하기 위한 센서들을 사용한다. 본 발명은 사용자의 새로운 행동 그리고/또는 새로운 행동을 취하려는 사용자의 의도를 주요 환경 조건으로 전제한다. 그러므로 본 발명의 전자기기들은 사용자의 새로운 행동 그리고/또는 새로운 행동을 취하려는 사용자의 의도를 감지하고, 서로 다른 사용자 행동 그리고/또는 행동을 취하려는 사용자의 의도에 따라 전자기기들은 다르게 작동한다. 각각의 사용자 행동에 대하여 하나 또는 다수의 연관된 사용자 행동기반 정황인식 작동모드를 정의하며, 그 작동모드는 다른 사용자 행동에 따라 전자기기들이 어떻게 다르게 작동하는지 정의한다. 본 발명은 네트워크 상의 다수의 전자기기들에 대해 사용자 행동기반 정황인식 작동모드를 어떻게 구현하는지 구현방법을 제시한다. 그러므로 하나의 전자기기에서 새로운 사용자 행동이 감지되었을 때, 그 전자기기가 새로운 사용자 행동을 네트워크 상의 다른 전자기기들에게 통보하고, 그 네트워크 상의 다른 전자기기들이 새로운 사용자 행동에 연계되어 미리 정의된 정황인식 작동모드로 변환한다.Electronics are becoming increasingly smarter and use sensors to monitor the environment to work differently in different environmental conditions. The present invention assumes the user's intention to take a new behavior and / or a new behavior of the user as a key environmental condition. Thus, the electronic devices of the present invention behave differently according to the intention of the user to perceive the user's intention to take a new behavior and / or a new behavior of the user, and to take different user behavior and / or behavior. For each user action, one or more associated user behavior based context aware operating modes are defined that define how the electronic devices behave differently according to different user behavior. The present invention provides an implementation method of how to implement a context-aware operating mode based on user behavior for a plurality of electronic devices on a network. Therefore, when a new user behavior is detected in one electronic device, the electronic device informs other electronic devices on the network of the new user behavior, and other electronic devices on the network associate with the new user behavior, To the operating mode.
전자기기들은 기능들로 넘쳐나고 있다. 그러한 기능의 복잡성은 결국 사용자 경험을 저해하고 그 전자기기들의 가능성을 제한한다. 예를 들면, 스마트폰이 광대한 기능들로 모든 이의 일상을 바꾸었지만, 많은 이들은 그 가능성들을 사용하는데 어려움을 겪고 있고 기존의 플립폰 보다도 사용하기 어려워 하고 있다. 본 발명은 전자기기와의 사용자 상호작용 (interation) 을 간단하게 하는 시스템과 방법을 정의한다. 서로 다른 사용자 행동에 대하여 사용자 행동기반 정황인식 작동모드들이 일단 정의되고 나면, 새로운 사용자 행동이 감지되었을 때 본 발명의 전자기기들은 그들의 기능들을 자동으로 바꿀 수 있다. 그러므로, 그 전자기기들과의 사용자 상호작용 (interaction) 은 새로운 사용자 행동을 선택하는 수준으로 단순해지거나, 나아가 그 전자기기들이 사용자 행동을 자동으로 감지하는 수준으로 단순해진다. 미래에 사람의 움직임 인식이나 음성 인식 등의 기술들이 발전하게 되면, 본 발명의 홈오토메이션시스템은 사용자가 조깅을 하려는 의도를 사용자가 런닝화를 신으려는 움직임을 통해 분석하고 파악하여, 사용자에게 "조깅을 할 준비가 되었나요"라고 확인하게 되고, 사용자의 상호작용 (interation) 은 단지 "예" 또는 "아니오"를 대답하는 수준으로 단순해질 것이다.Electronic devices are flooding with functions. The complexity of such functionality ultimately hinders the user experience and limits the possibilities of those electronic devices. For example, smartphones have changed their daily lives with vast functions, but many are having difficulty using those possibilities and making them more difficult to use than traditional flip phones. The present invention defines systems and methods that simplify user interactions with electronic devices. Once context-aware operating modes based on user behavior are defined for different user actions, the electronic devices of the present invention can automatically change their functions when new user behavior is detected. Therefore, the user interaction with the electronic devices is simplified to a level of selecting a new user action, and further simplified to a level at which the electronic devices automatically detect user behavior. When technologies such as human motion recognition and speech recognition are developed in the future, the home automation system of the present invention analyzes and intends the user's intention to jog through the movement of the user to wear a running shoe, Ready to do ", and the user's interation will be simplified to a level of" Yes "or" No ".
도.1은 종래 전자기기의 사용자 경험 시나리오 예시,
도.2는 도.1의 사용자 시나리오 100에 서술된 사용자 행동 "조깅"에 대한 사용자 행동, 전자기기들, 전자기기들의 기능과 세팅들간의 일대다 연관 관계,
도.3은 도.1의 사용자 시나리오 100에 서술된 사용자 행동 "취침"에 대한 사용자 행동, 전자기기들, 전자기기들의 기능과 세팅들간의 일대다 연관 관계,
도.4는 전자기기의 일 실시예,
402
입력부
404
출력부
406
제어부
408
그래픽모듈
410
네트워크
412
메모리
414
저장기기
416
통신모듈
418
사용자 행동기반 정황인식 작동모드 제어모듈
도.5는 전자기기 400의 다양한 실시예,
도.6은 사용자 행동의 감지방법에 대한 다양한 실시예,
도.7은 본 발명의 일 실시예에 따른 사용자 행동의 데이터 구조,
도.8은 본 발명의 일 실시예에 따른 정황인식 작동모드의 데이터 구조,
도.9는 본 발명의 일 실시예에 따는 사용자 행동과 정황인식 작동모드 간의 연관관계도,
도.10은 본 발명의 일 실시예에 따른 사용자 행동기반 정황인식 작동모드가 적용된 사용자 경험 시나리오,
도.11은 종래 스마트폰의 아키텍처 실시예,
도.12는 본 발명의 일 실시예에 따른 스마트폰의 아키텍처,
도.13A는 본 발명의 일 실시예에 따른 흐름도 (1/2),
도.13B는 본 발명의 일 실시예에 따른 흐름도 (2/2),
도.14는 본 발명의 일 실시예에 따른 홈스크린 화면,
도.15는 본 발명의 일 실시예에 따른 초기 화면,
도.16은 본 발명의 일 실시예에 따른 새로운 사용자 행동 편집 화면,
도.17은 본 발명의 일 실시예에 따른 자동감지 편집 화면,
도.18은 본 발명의 일 실시예에 따른 애플리케이션 활성화 편집 화면,
도.19는 본 발명의 일 실시예에 따른 센서 입력 편집 화면,
도.20은 본 발명의 일 실시예에 따른 블루투스 입력 편집 화면,
도.21은 본 발명의 일 실시예에 따른 사용자 행동기반 정황인식 작동모드 편집 화면,
도.22는 본 발명의 일 실시예에 따른 애플리케이션 활성화 편집 화면,
도.23은 본 발명의 일 실시예에 따른 주기기 세팅 편집 화면,
도.24는 본 발명의 일 실시예에 따른 주변기기 편집 화면,
도.25는 본 발명의 일 실시예에 따른 주변기기 세팅 편집 화면,
도.26은 본 발명의 일 실시예에 따른 새로운 사용자 행동 시작 확인 화면,
도.27은 본 발명의 일 실시예에 따른 세팅 편집 화면,
도.28은 본 발명의 일 실시예에 따른 새로운 사용자 행동 감지 확인 화면,
도.29는 본 발명의 일 실시예에 따른 새로운 사용자 행동 알림 확인 화면,
도.30은 본 발명의 일 실시예에 따른 정황인식 작동모드 부재 알림 화면.1 illustrates an example of a user experience scenario of a conventional electronic device,
2 illustrates a one-to-many association between the user behavior for user behavior "jogging " described in
3 illustrates a one-to-many association between the user behavior for the user behavior "sleeping " described in
4 shows an embodiment of an electronic apparatus,
402 input unit
404 output section
406 Control unit
408 graphics module
410 network
412 memory
414 Storage devices
416 communication module
418 User Behavior Based Context Aware Operation Mode Control Module
5 illustrates various embodiments of the
6 illustrates various embodiments of a method of sensing user behavior,
7 illustrates a data structure of a user behavior according to an embodiment of the present invention,
8 illustrates a data structure of a context-aware operating mode according to an embodiment of the present invention,
Figure 9 also shows the association between user behavior and context aware operating mode according to an embodiment of the present invention,
FIG. 10 illustrates a user experience scenario in which a context-aware operation mode based on user behavior is applied according to an embodiment of the present invention,
11 shows an architecture embodiment of a conventional smart phone,
12 illustrates an architecture of a smartphone according to an embodiment of the present invention,
13A is a flow diagram (1/2), FIG.
13B are flowcharts (2/2),
14 illustrates a home screen screen according to an exemplary embodiment of the present invention,
15 shows an initial screen according to an embodiment of the present invention,
16 is a diagram showing a new user behavior editing screen according to an embodiment of the present invention,
FIG. 17 is a diagram illustrating an automatic detection editing screen according to an embodiment of the present invention,
18 shows an application activation edit screen according to an embodiment of the present invention,
FIG. 19 is a diagram illustrating a sensor input editing screen according to an embodiment of the present invention,
20 illustrates a Bluetooth input edit screen according to an embodiment of the present invention,
FIG. 21 is a diagram illustrating a user behavior based contextual recognition operation mode editing screen according to an embodiment of the present invention,
FIG. 22 illustrates an application activation edit screen according to an embodiment of the present invention,
FIG. 23 is a diagram showing a main device setting editing screen,
FIG. 24 illustrates a peripheral editing screen according to an embodiment of the present invention,
25 is a diagram illustrating a peripheral setting editing screen according to an embodiment of the present invention,
26 is a flowchart illustrating a new user action start confirmation screen according to an embodiment of the present invention,
27 shows a setting editing screen according to an embodiment of the present invention,
28 is a diagram illustrating a new user behavior detection confirmation screen according to an embodiment of the present invention,
29 is a diagram showing a new user behavior notification confirmation screen according to an embodiment of the present invention,
30 is a context-aware operating mode member notification screen according to an embodiment of the present invention;
단수 또는 복수의 전자기기의 사용자 행동기반 정황인식 작동모드에 대한 시스템과 방법을 도.1부터 도.30까지 참조하여 설명하였다.A system and method for context-aware operation mode based on user behavior of a single or plural electronic devices has been described with reference to Figs. 1 to 30. Fig.
도.1은 사용자가 조깅과 취침이라는 행동을 취했을 때 사용자의 전자기기들에 대한 사용자 경험에 대한 일 실시예에 따른 사용자 시나리오 100을 보여준다. 시나리오 100은 첫 단계 102로서 "사용자는 조깅을 하기로 결심"이라는 새로운 행동을 취하려는 의도로 시작한다. 단계 104와 106을 통해 사용자는 사용자의 운동을 추적하는 앱을 시작하고 앱에서 운동종류를 "조깅"으로 선택한다. 단계 108, 110, 112를 통해 사용자는 조깅에 적합한 음악 재생목록을 선택하고, 조깅 중에 수신전화의 벨소리를 듣기 위해 무음/진동 스위치를 무음/진동에서 벨소리가 들리도록 바꿔주고, 조깅에 적합하게 볼륨을 조절한다. 단계 114를 통해서 사용자는 집을 나서기 전에 모든 조명을 끈다. 이제 사용자는 조깅할 준비를 모두 마쳤다. 사용자는 단계 116을 통해 운동을 추적하는 앱의 시작 버튼을 누르고 단계 118을 통해 조깅을 한다. 단계 120을 통해 사용자는 조깅을 마친 후 운동을 추적하는 앱의 종료 버튼을 누르고 추적정보를 저장한다. 단계 122, 124, 126, 128을 통해 사용자는 집에 들어 오면서 조명을 키고, 보일러를 키고, 샤워를 하고, 샤워가 끝난 후 보일러를 끈다.FIG. 1 shows a
단계 102부터 128까지의 단계들은 사용자의 조깅 행동과 관련되어 있으며, 사용자는 스마트폰, 보일러, 조명기기의 3가지 다른 전자기기들을 접한다. 사용자가 3가지 전자기기들과 접하는 것은 사용자의 조깅 행동에 맞게 3가지 전자기기들의 기능과 세팅을 조정해 주기 위해서이다.
단계 130부터 136은 사용자가 샤워 후 취침을 하기 위하여 "취침"이라는 새로운 사용자 행동에 맞는 전자기기들의 기능과 세팅을 조정하는 단계들을 보여준다. 단계 132를 통해 "취침"이라는 사용자 행동을 위하여 사용자는 오디오를 켜고, 취침 전에 듣기 적합한 음악 재생목록을 선택하고, 30분 후 꺼지도록 오디오의 타이머를 조정한다. 단계 134와 136을 통해 사용자는 조명기기의 타이머를 30분에 맞추고 취침을 시작한다. 단계 130부터 136에 이르는 단계들로 사용자는 조명기기와 오디오의 2가지 전자기기들을 접한다.
예시적인 시나리오 100은 종래의 전자기기들과의 사용자 경험을 예로 들고 있으며, 조깅과 취침이라는 2가지 사용자 행동과, 스마트폰, 보일러, 조명기기, 오디오의 4가지 전자기기들, 그리고 그 4가지 전자기기들의 다양한 기능과 세팅의 조정을 포함한다. 사용자 행동이 변화할 때 사용자는 새로운 사용자 행동에 적합하도록 전자기기들을 켜거나 끄거나 또는 그 전자기기들의 기능과 세팅들을 조정해 준다. 미래의 전자기기들이 더욱 똑똑해지고 네트워크화가 될수록 사용자들은 더욱더 많은 기능을 누릴 수 있지만, 사용자 행동이 변화할 때마다 그 기능들과 세팅들을 계속 조정해줘야 하기 때문에 사용자 인터페이스는 복잡성이 증대될 것이다.
본 발명은 사용자 인터페이스의 복잡성을 해결하는 해법을 제시한다. 복잡성을 해결하기 위해서 본 발명은 사용자 행동을 공통분모로 사용하여, 전자기기들의 복잡한 기능과 세팅들을 분류하고, 현재의 사용자 행동에 필요한 전자기기들의 기능과 세팅들만을 그룹화한다. 도.2와 도.3은 예시적인 사용자 시나리오 100에서 보여준 사용자 행동 "조깅"과 "취침"에 관련된 전자기기들과 그들의 기능과 세팅들 간의 연관도 200과 300으로서 각각의 실시예를 보여준다. 도.2에서 보여주는 것과 같이 사용자 행동 "조깅" 202는 스마트폰 204, 조명기기 214, 보일러 218의 3가지 전자기기들과 206, 208, 210, 212, 216, 220의 6가지 기능과 세팅들과 관련이 있다. 도.3은 사용자 행동 "취침" 302가 조명기기 214, 오디오 306의 2가지 전자기기들과 304, 308의 2가지 기능과 세팅들과 관련이 있음을 보여준다.The present invention provides a solution to solve the complexity of the user interface. To solve the complexity, the present invention uses user behavior as a common denominator to classify the complex functions and settings of electronic devices, and groups only the functions and settings of electronic devices necessary for current user behavior. Figures 2 and 3 illustrate each embodiment as an
도.2와 도.3에서 보이는 바와 같이, 사용자 행동, 전자기기들, 그 전자기기들의 기능과 세팅들 간의 일대다 관계는 본 발명의 핵심요소이다. 본 발명은 이 일대다 관계를 복잡성을 해결하는데 활용하고 사용자 경험을 단순화한다. 사용자 행동 "조깅"이 감지되면 206, 208, 210, 212, 216, 220의 6가지 기능과 세팅들이 자동으로 204, 214 218의 3가지 전자기기들에서 조정될 수 있다. 사용자 행동 "취침"이 감지되면 304, 308의 2가지 기능과 세팅들이 자동으로 214, 306의 전자기기들에서 조정될 수 있다.As shown in Figs. 2 and 3, a one-to-many relationship between user behavior, electronic devices, functions and settings of the electronic devices is a key element of the present invention. The present invention utilizes this one-to-many relationship to solve complexity and simplifies the user experience. When the user action "jogging" is detected, six functions and
본 발명은 예시적인 시나리오 100에서 보여주듯이 사용자는 사용자 행동의 변화에 따라 전자기기들로부터 다른 작동을 원하기 때문에 기능과 세팅들을 조정한다는 사실에 주목한다. 그러므로 사용자 행동의 변화는 전자기기들의 여러 기능과 세팅들의 변화들의 근본 원인이다. 본 발명은 사용자의 행동을 감지하고 그 감지한 사용자 행동에 맞게 전자기기들의 기능과 세팅들을 자동으로 조정해 주는 시스템과 방법을 제시한다. 본 발명은 해당 전자기기들의 미리 지정된 기능과 세팅들의 조정을 "작동모드"라고 정의한다. 각각의 다른 사용자 행동은 각각의 다른 전자기기 작동모드와 연계된다. 본 발명에서 사용자 행동을 사용자의 정황, 즉 사용자 컨텍스트, 로 정의하고 있기 때문에, 각각의 사용자 행동에 대한 "작동모드"는 "사용자 행동기반 정황인식 작동모드"로 정의한다. 사용자 행동기반 정황인식 작동모드는 사용자 행동의 변화가 감지되었을 때 전자기기들의 모드 또는 상태에 대한 정보를 담고 있다. 기능과 세팅의 조정은 전자기기들의 하나 또는 그 이상의 기능, 앱, 구성요소들의 켜기, 끄기, 접근권한 등을 포함한다.It is noted that the present invention adjusts functions and settings because the user desires different operations from the electronic devices as the user behavior changes, as shown in the
기능은 입력기능 (예: 마이크), 출력기능 (예: 오디오 출력), 커뮤니케이션기능 (예: 블루투스), 그래픽기능 (예: 디스플레이 밝기조절), 또는 상기 표기된 기능들의 조합 등을 포함한다. 예를 들면, "비밀 미팅"이라는 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드는 녹화를 방지하기 위해 마이크를 끄거나 사진촬영을 금지하기 위해 카메라기능을 끄는 것 등을 포함한다.The function includes an input function (eg microphone), an output function (eg audio output), a communication function (eg Bluetooth), a graphic function (eg display brightness control), or a combination of the above noted functions. For example, a user behavior based contextual recognition mode of operation for a user action called "secret meeting " includes turning off the microphone to turn off the camera or turning off the camera function to prevent photography, etc.
사용자 행동기반 정황인식 작동모드는 사용자에게 접근성이 주어진 전자기기들의 하나 또는 그 이상의 구성요소들에 대한 우선순위와 가용성을 변경시킬 수 있다. 구성요소는 미디어요소 (예: 음악, 동영상), 커뮤니케이션요소 (예: 이메일, 문자, 연락처), 기타 구성요소 (예: 인터넷 브라우저의 즐겨찾기 링크), 또는 상기에 표기된 요소들의 조합 등을 포함한다. 예를 들면, "재택 (at home)"이라는 사용자 행동기반 정황인식 작동모드는 업무관련 또는 회사기밀관련 이메일, 연락처, 즐겨찾기 링크 등을 비활성화시킬 수 있다.The user behavior based context aware operation mode may change the priority and availability of one or more components of the electronic devices that are given accessibility to the user. A component may include media elements (e.g., music, video), communication elements (e.g., email, text, contacts), other components (e.g., favorite links in an Internet browser) . For example, a user behavior based context aware operating mode called "at home " may deactivate business related or corporate confidential emails, contacts, favorite links, and the like.
도.4는 본 발명의 일 실시예에 따른 하나 또는 그 이상의 사용자 행동기반 정황인식 작동모드를 포함하는 전자기기 400을 보여준다. 전자기기 400은 음악재생기기, 동영상재생기기, 게임기기, 개인용 컴퓨터, 프린터, 스마트폰, 태블릿기기, 패블릿기기, 스마트워치, 기타 웨어러블기기, 디지털개인비서, 기타 커뮤니케이션기기, 카메라, 가전기기, 홈오토메이션기기, 자동차용 전자기기, 키오스크와 같은 사용자 인터페이스기기, 상기 기기들의 조합 등 다양한 전자기기가 될 수 있다. 경우에 따라, 전자기기 400은 진공청소와 같은 단순한 기능만을 제공할 수도 있고, 진공청소뿐 아니라 음악도 재생하는 다양한 기능을 포함할 수도 있다.Figure 4 illustrates an
전자기기 400은 휴대용일 수도 있고, 손안에 들고 다닐 수도 있고, 몸에 걸칠 수도 있고, 인체에 이식시킬 수도 있고, 또는 사용자가 가는 곳마다 사용할 수 있도록 또 다른 형태를 포함할 수도 있다. 또한, 전자기기 400은 휴대성이 없이 텔레비전이나 공조기기와 같이 정적일 수도 있다. 추가로, 전자기기 400은 휴대성도 없고 정적이지 않지만 자동차 네비게이션기기, 자동차 운전성제어기기, 비행기의 좌석과 같이 움직이는 기구에 포함된 전자기기로서 움직일 수 있다.The
전자기기 400은 입력부 402, 출력부 404, 제어부 406, 그래픽부 408, 통신버스 410, 메모리부 412, 저장부 414, 통신부 416, 사용자 행동기반 정황인식 작동모드 제어부 418 등을 포함할 수 있다. 입력부 402는 터치 인터페이스, GPS 센서, 마이크, 카메라, 신경 센서 외 인간의 행동 또는 행동을 취하려는 의도를 감지할 수 있는 기타의 감지방법을 포함할 수 있다. 출력부 404는 디스플레이, 스피커 및 그 외의 사용자에게 정보나 미디어를 제공하는 방법들을 포함한다. 전자기기 400은 운영체계나 애플리케이션을 포함할 수 있다. 그 운영체계나 애플리케이션은 제어부 406에서 작동하면서 전자기기 400의 기능과 세팅들을 제어할 수 있다. 그 운영체계나 애플리케이션은 메모리부 412나 저장부 414에 저장될 수 있다. 그래픽부 408은 시스템, 소프트웨어나 기타의 영상 정보나 미디어를 사용자에게 제공하는 방법을 포함할 수 있다. 통신부 416은 와이파이, 이더넷, 블루투스, NFC, 적외선, 셀룰러, 기타의 통신 프로토콜, 또는 상기의 조합 등으로 통신 네트워크와 연계하여 작동할 수 있다. 사용자 행동기반 정황인식 제어모듈 418은 소프트웨어로 구현될 수도 있으며, 다른 경우에는 하드웨어나 펌웨어, 또는 그들의 조합으로 구현될 수도 있다. 사용자 행동기반 정황인식 제어모듈 418은 또 다른 전자기기 400의 입력부 402, 제어부 406, 통신부 416과 같은 컴포넌트로부터 정보를 받아서 새로운 사용자 행동을 감지하기 위해 활용할 수 있다.The
사용자 행동기반 정황인식 작동모드를 구현하는 시스템과 방법은 전자기기 400과 같은 형태의 단수의 기기, 다른 형태의 단수의 기기, 또는 전자기기 400 또는 다른 형태의 기기들의 조합으로 구성된 복수의 기기들을 포함할 수 있다. 도.5는 사용자 행동기반 정황인식 작동모드의 실시예에 해당되는 다양한 형태의 전자기기들을 예시 500을 통해 보여준다. 도.5의 예시에서 전자기기 400의 다양한 형태로서 스마트폰 502, 웨어러블기기 506, 가전기기 508, 홈오토메이션기기 510, 자동차용 전자기기 512, 키오스크와 같이 유통에서 활용하는 사용자 인터페이스기기 514들을 네트워크 504에 모두 연결된 형태로 보여준다. 네트워크 504는 와이파이, 블루투스, 이더넷, TCP/IP, GSM, CDMA, 기타 통신 프로토콜, 또는 상기의 조합 등의 유무선 방식일 수 있다. 도.5의 전자기기들은 사용자 행동기반 정황인식 작동모드와 사용자의 현재 행동에 대한 정보를 공유하기 위해 상호 간에 통신할 수 있다. 도.5의 모든 전자기기들은 새로운 사용자 행동을 감지하고 그 사용자 행동 또는 해당하는 정황인식 작동모드에 대한 정보를 네트워크 504에 연결된 다른 전자기기들과 통신할 수 있다. 도.5의 예시에서는 스마트폰 502은 주기기라고 명칭하고 다른 형태의 전자기기들은 주변기기라고 명칭한다. 본 발명의 모든 전자기기들은 주기기 또는 주변기기가 될 수 있다. 다수의 전자기기의 사용자 행동기반 정황인식 작동모드에 대한 이해를 돕기 위해 사용자가 주로 작동하는 전자기기를 주기기라고 명칭하고 네트워크상의 주기기가 아닌 나머지의 전자기기들은 주변기기라고 명칭한다.Systems and methods for implementing a context-aware operating mode based on user behavior include a plurality of devices comprised of a single device, such as
본 발명은 사용자의 행동을 사용자의 정황으로 감지하는 시스템과 방법을 제시한다. 사용자 행동의 감지는 사용자의 명시적인 입력 또는 암시된 가정을 포함한다. 다시 말해서 사용자는 수동으로 사용자의 행동을 입력하거나 전자기기들이 가용한 정보를 분석하여 사용자의 행동을 추정할 수 있다. 도.6에서 일 실시예 600으로 사용자 행동을 감지할 수 있는 방법들을 나열하였다.The present invention provides a system and method for detecting a user's behavior in the context of a user. Detection of user behavior includes the user's explicit input or implied assumptions. In other words, the user can manually input the user's behavior or analyze the information available to the electronic devices to estimate the user's behavior. Methods for detecting user behavior from FIG. 6 to an
도.6에서 보여주듯이 사용자 행동감지 602는 수동적인 경우 604와 자동적인 경우 612로 나뉜다. 수동적인 경우는 경우 606과 같이 사용자가 사용자 행동을 사용자 행동목록에서 선택하는 경우, 경우 608과 같이 사용자가 NFC, QR 코드, RFID, 또는 미리 정의된 사용자 행동에 해당하는 다른 방법들로 태깅하는 경우, 또는 경우 610과 같이 사용자가 미리 정의된 사용자 행동에 해당하는 특정 앱을 작동시키는 경우 등이다. 수동적인 감지는 새로운 사용자 행동을 취하려는 사용자의 의도를 나타내는 직접적인 동작을 포함한다. 반대로, 자동적인 감지는 가용한 암시적 정보들로부터 사용자 행동을 추정한다. 자동적인 감지는 경우 614와 같이 사용자의 위치가 사용자의 특정 행동을 암시하는 경우, 경우 616과 같이 현재의 시간이 사용자의 특정 행동을 암시하는 경우, 경우 618과 같이 특정의 전자기기가 사용자의 특정 행동을 암시하는 경우, 경우 620과 같이 특정한 사용자와의 근접성이 사용자의 특정 행동을 암시하는 경우 등이다.As shown in FIG. 6, the
사용자의 명시적인 입력의 방법은 전자기기들의 입력부를 이용한 내부적인 입력 (예: 스마트폰의 터치스크린) 또는 네트워크로 연결된 또 다른 전자기기들의 입력부를 이용한 외부적인 입력 (예: 사용자의 스마트폰과 연결되어 있는 스마트워치와 같은 웨어러블기기의 입력부) 등을 포함한다.A user's explicit input method may be an internal input using an input of an electronic device (e.g., a touch screen of a smart phone) or an external input using an input of another networked electronic device (e.g., And an input unit of a wearable device such as a smart watch that has been provided.
자동적인 감지는 위치기반 센서, 태깅 방식, 캘린더 입력, 또는 기타 감지장치 (예: 사무실 근처에서 GPS로 "업무" 행동 감지, 스타벅스의 와이파이 연결로 "커피휴식" 행동 감지, 쇼핑몰에서 NFC 태깅하여 "쇼핑" 행동 감지, 미팅일정에 대한 캘린더 입력으로 해당시간에 "미팅" 행동 감지, 시계 알람 입력으로 해당시간에 "기상" 행동 감지, 차량의 블루투스 연결로 "운전" 행동 감지) 등을 포함한다. 기술의 발전이 계속될수록 모션분석, 신경계분석, 또는 다른 방식의 사용자 행동 감지나 사용자의 행동을 취하려는 의지 감지 등이 사용자 행동을 자동으로 감지하기 위해 활용될 수 있다.Automatic detection can be done by location-based sensors, tagging methods, calendar inputs, or other sensing devices such as GPS "work" behavior detection near the office, Starbucks WiFi connection "coffee break" "Shopping" behavior detection, "meeting" behavior detection at that time with a calendar entry for the meeting schedule, "weather" behavior detection at that time with clock alarm input, and "driving" behavior detection with Bluetooth connectivity of the vehicle) . As technology continues to evolve, motion analysis, nervous system analysis, or other forms of user behavior detection, or will detection of user behavior, can be utilized to automatically detect user behavior.
사용자 행동 감지 602는 새로운 사용자 행동의 라이프사이클 중 어느 순간에도 이루어질 수 있다. 예를 들면, 새로운 사용자 행동은 사용자 행동 이전, 변화, 도중, 종료, 이후 등에서 감지될 수 있다.
새로운 사용자 행동이 감지되었을 때, 언어학의 육하원칙 (언제, 어디서, 누가, 무엇을, 왜, 어떻게) 을 활용하여 사용자 행동에 대한 정보를 수집하고 완결된 상황을 파악하여 통합적인 사용자 정황을 도출할 수 있다. 다시 말해, 본 발명의 시스템과 방법이 사용자 행동을 감지하였을 때, 본 발명은 감지된 사용자 행동과 관련된 시간 (언제), 장소 (어디서), 사용자 그룹 (누가), 대상 (무엇을), 의도 (왜), 기타 정황적 정보 (어떻게) 등의 정보를 감지하고 측정하여 기록할 수 있다.When new user behavior is detected, it is possible to collect information on user behavior by utilizing the two or three principles of linguistics (when, where, what, why, how) have. In other words, when the system and method of the present invention detects user behavior, the present invention can be used to determine the time (when), place (where), user group (who), object (what) Why), and other contextual information (how) can be detected, recorded, and recorded.
육하원칙을 이용하여 사용자 행동을 사용자 정황으로 도출하는 것은 기존의 사용자 정황을 도출하는 방식 대비 획기적인 혁신이다. 스마트폰이 도입된 이후, 위치인식 (location awareness) 은 가장 보편적인 사용자 정황 정보였었다. 하지만, 전자기기들의 범주가 커지고 기능들이 늘어나면서, 위치인식만으로 사용자의 정황을 도출하는 것에 대한 한계를 갖고 있었다. 가속도 센서, 동작인식, 영상분석 등 다양한 기술들이 위치인식을 넘어선 사용자 정황을 도출하기 위해 개발되었지만 그 기술들은 완성도 있는 "통합적인" 사용자 정황을 정의하기 위한 하나의 체계 (프레임워크) 로는 부족하였다. 육하원칙을 프레임워크로 활용하여 사용자 행동으로 사용자 정황을 정의함으로써, 본 발명은 사용자의 현재 정황에 대한 정보를 수집하고 완결된 상황을 (마치 언어학에서 육하원칙으로 가능하듯이) 파악할 수 있다.It is a revolutionary innovation to derive the user behavior from the user context using the two-way and five-way rules, compared to the way of deriving the existing user context. Since smartphones were introduced, location awareness was the most common user context information. However, as the category of electronic devices has increased and functions have increased, there has been a limitation in deriving the user's context by only recognizing the location. Various technologies, such as acceleration sensors, motion recognition, and image analysis, have been developed to derive user context beyond location awareness, but they lacked a framework to define a complete "integrated" user context. By defining the user context by user behavior using the two-way hierarchy as a framework, the present invention gathers information about the user's current context and grasps the completed situation (as if the two-way hierarchy is possible in linguistics).
사용자 행동의 시간 (육하원칙의 언제) 을 감지하기 위해서, 타이머 또는 전자기기들의 시계 기능으로 사용자 행동의 상대적 또는 절대적 시간 정보를 측정할 수 있다. 사용자의 장소 (육하원칙의 어디서) 를 감지하기 위해서, GPS, 블루투스, 와이파이, NFC 태그, 상기의 조합 등 위치인식 기술들이 사용될 수 있다. 사용자 그룹에 대한 정보를 감지하기 위하여, 전자기기들에 저장된 사용자 식별 정보, NFC 태그, RFID 칩, 바코드, 안면 인식, 지문 인식, 홍채 인식, 또는 기타 관련된 사용자 행동의 사용자나 사용자 그룹을 감지할 수 있는 바이오메트릭 인식 기술 등이 사용될 수 있다. 대상 정보 (육하원칙의 무엇을) 는 사용자 행동과 관련된 모든 대상에 대한 정보 (예를 들면, "조깅" 사용자 행동의 경우는 사용자가 무엇을 소지하고 있는가, 또는 "식사" 사용자 행동의 경우는 사용자가 무엇을 먹고 있는가) 를 포함할 수 있다. 사용자의 의도는 사용자의 의도를 확인할 수 있는 명시적인 입력 또는 암시적인 정보로 추론된 가정 등을 포함한다. 사용자가 "샤워"라는 사용자 행동을 취했을 때, 사용자는 그 의도로 "조깅 후"라고 입력할 수도 있고, 전자기기에서 이전의 사용자 행동 "조깅"으로부터 "조깅 후"라는 의도를 가정할 수 있다. 육하원칙의 어떻게는 사용자 행동과 관련된 사용자나 환경에 대하여 다양한 정황적인 정보 (예를 들면, 사용자의 기분 또는 날씨 등) 를 포함할 수 있다. 본 발명의 시스템과 방법은 육하원칙의 일부 또는 전부를 사용자 정황 인식의 필요에 따라 포함할 수 있다.In order to detect the time of user behavior (when in the two-way hierarchy), the relative or absolute time information of the user's behavior can be measured by the clock function of the timer or electronic devices. Location aware technologies such as GPS, Bluetooth, Wi-Fi, NFC tags, combinations of the above can be used to detect the user's location A user or a user group of user identification information, NFC tags, RFID chips, bar codes, facial recognition, fingerprint recognition, iris recognition, or other related user actions stored in electronic devices can be detected Biometrics recognition technology can be used. The target information (what is in the two-dimensional hierarchy) includes information about all the objects related to the user's behavior (for example, "jogging" user behavior, what the user is carrying, What you are eating). The user's intent includes explicit assumptions that can confirm the user's intent or assumptions deduced as implicit information. When the user takes a user action of "shower ", the user may enter" after jogging " with the intent and assume the intention of "after jogging" from the previous user action "jogging" in the electronic device. How the Six Sigma principle can include various contextual information (eg, user mood or weather, etc.) about a user or environment related to user behavior. The system and method of the present invention may include some or all of the two-way rules according to the needs of user context awareness.
사용자 행동에 관련된 프로필이나 정의는 다양한 전자기기들 간에 정보를 메모리나 저장기기에 저장하고 접근하고 휴대성이나 호환성을 확보하기 위하여 도.7의 데이터구조와 같이 표준화된 포멧을 사용할 수 있다. 데이터구조는 사용자 행동 아이디 702, 사용자 행동 명 704, 사용자 행동 설명 706, 시작 시간 708, 종료 시간 710, 경도와 위도의 위치 712, 사용자 그룹 714, 관련된 대상 716, 의도 718, 기타 정황적 정보 720 등을 포함할 수 있다. 데이터구조 700은 전자기기 400에 (예를 들면, 메모리 412나 저장부 414에) 저장될 수 있다. 그 외에도, 데이터구조 700의 일부 또는 전부는 전자기기 400과 통신하는 또 다른 외부 시스템이나 기기에 위치해 있을 수 있다.Profiles or definitions related to user behavior may use standardized formats, such as the data structure of .7, to store and access information between various electronic devices in memory or storage devices and to ensure portability and compatibility. The data structure includes a user behavior ID 702, a
새로운 사용자 행동이 사용자 정황으로 육하원칙의 데이터와 함께 감지되면, 감지된 사용자 행동에 맞게 전자기기들의 기능과 세팅들에 변화를 적용한다. 전자기기들의 기능과 세팅들의 변화는 본 발명에서 "사용자 행동기반 정황인식 작동모드"라고 정의한다. "사용자 행동기반 정황인식 작동모드"는 사용자의 정황으로서 정의된 하나의 사용자 행동에 맞는 작동모드를 가리킨다. 사용자 행동기반 정황인식 작동모드는 각각의 사용자 행동에 대하여 미리 정의되고, 사용자 행동이 감지되었을 때 해당하는 정황인식 작동모드가 메모리부 412나 저장부 414로부터 액세스 되어 전자기기들에 적용된다. 도.8은 도.1에 표기된 시나리오 100의 사용자 행동기반 정황인식 작동모드에 대한 예시적인 데이터구조 800을 보여준다. 또 다른 실시예에서는 사용자 행동에 해당하는 사용자 행동기반 정황인식 작동모드를 명기하는 것 외에 사용자 행동기반 정황인식 작동모드를 전자기기 400에 적용하기 위해 필요한 프로파일이나 정의에 노래, 비디오, 이메일 등의 자산에 대한 참조 정보나 다운로드 또는 동기화가 필요한 애플리케이션에 대한 정보를 포함할 수 있다.When a new user action is detected in the user context with the data of the two-way rule, a change is applied to the functions and settings of the electronic devices in accordance with the detected user behavior. The change in functions and settings of electronic devices is defined in the present invention as "user behavior based context aware operation mode ". The "user behavior based context aware operation mode" indicates an operation mode corresponding to one user behavior defined as a context of the user. The context-aware operation mode based on the user behavior is defined in advance for each user behavior, and the context-aware operation mode corresponding to the user behavior is accessed from the
정황인식 작동모드의 데이터구조는 모드 ID 802, 사용자 행동 ID 804, 전자기기 ID 806, 전자기기명 808, 모드명 810, 모드설명 812, 모드오너 814, 개인 또는 공용모드 구분자 816, 변경이 필요한 전자기기 기능 및 세팅 818, 모드 우선순위 820 등을 포함할 수 있다. 모드 ID 802는 해당하는 사용자 행동 ID 804가 있으며, 사용자 행동 ID에 해당하는 새로운 사용자 행동이 감지되었을 때, 해당하는 모드 802의 정황인식 작동모드가 전자기기ID 806에 해당하는 전자기기에 적용된다. 예를 들면, 도.8의 행 822와 같이, 사용자 행동 ID SPZ002에 해당하는 새로운 사용자 행동이 감지되었을 때, 모드 ID STP021에 해당하는 사용자 행동기반 정황인식 작동모드는 전자기기 ID 734066에 해당하는 스마트폰 기기에 적용된다. 모드명 810과 모드설명 812는 사용자 행동기반 정황인식 작동모드의 명칭과 설명을 정의한다. 모드오너 814와 개인 또는 공용모드 구분자 816은 정황인식 작동모드의 작성자들과 모드가 공용의 목적으로 공유될 수 있는지에 대한 여부를 정의한다. 전자기기 기능 및 세팅 818은 전자기기 808에 변경이 필요한 기능과 세팅을 정의한다. 그 변경은 전자기기 808의 하나 또는 그 이상의 기능, 앱, 구성요소들의 켜기, 끄기, 접근권한 등을 포함한다. 모드 우선순위 820은 다른 모드 대비 우선순위를 정의한다.The data structure of the contextual recognition operating mode includes a
도.8의 행 822, 824, 826, 828, 830은 도.1의 시나리오 100에서의 사용자 행동기반 정황인식 작동모드의 예를 보여준다. 시나리오 100에서 사용자는 사용자 행동 "조깅"을 위해 스마트폰의 기능과 세팅의 변경이 필요하다. 본 발명에서는 사용자 행동 "조깅"에 필요한 스마트폰의 기능과 세팅에 대해 변경이 미리 정의되고 사용자 행동 "조깅"이 감지되었을 때 스마트폰에 자동으로 적용된다. 행 822에서 정의하였듯이, 사용자 행동 ID SPZ002의 사용자 행동 "조깅"이 감지되었을 때, 행 822의 열 818에서 정의한 기능과 세팅이 자동으로 적용된다. 그 변경은 운동 추적 앱 (추적 앱)을 작동하고, 음악 재생목록을 조깅 (조깅용 재생목록) 에 맞추고, 벨소리를 켜는 (볼륨레벨7) 것이다. 매 행은 해당하는 사용자 행동에 맞게 하나의 전자기기에 대해 하나의 사용자 행동기반 정황인식 작동모드을 정의한다. 따라서, 본 예시에서는, 사용자 행동 "조깅"은 3개의 전자기기에 관련되므로 열 822, 824, 826에서와 같이 3개의 관련된 사용자 행동기반 정황인식 작동모드를 포함한다. 마찬가지로, 사용자 행동 "취침"에 해당하는 열 828과 830의 2개의 사용자 행동기반 정황인식 작동모드는 사용자 행동 "취침"이 감지되었을 때 적용된다.Row 822, 824, 826, 828, 830 of FIG. 8 shows an example of a user behavior based context aware operating mode in
다른 실시예에서는 하나의 사용자 행동에 대하여 사용자 특화된 사용자 행동기반 정황인식 작동모드를 정의할 수 있다. 모드오너 814는 그 모드의 원래의 작성자를 정의한다. 개인 또는 공용모드 구분자 816은 사용자 행동기반 정황인식 작동모드가 개인 용도인지 공용 용도인지를 정의한다. 사용자는 사용자 행동기반 정황인식 작동모드의 전체 또는 일부에 한한 정보를 정의할 수 있으며, 그 모드는 네트워크 서버에 "게재"되어 다른 사용자들이 그 특화된 사용자 행동기반 정황인식 작동모드를 사용하거나, 그 반대의 경우로 다른 사용자들이 "게재"한 사용자 행동기반 정황인식 작동모드를 사용할 수 있다.In another embodiment, a user-specific user behavior based context aware operating mode may be defined for one user behavior. The mode owner 814 defines the original creator of the mode. The personal or
도.9는 도.1의 시나리오 100에서 보여준 사용자 행동 "조깅"의 예시에 대한 사용자 행동과 정황인식 작동모드의 상관관계도의 일 실시예 900을 보여준다. 도.9는 도.7의 행 722에서 정의된 사용자 행동 "조깅"이 도.8의 행 822, 824, 826에서 정의된 3개의 다른 사용자 행동기반 정황인식 작동모드들과 연계됨을 보여준다. 그러므로, 행 722에서 정의된 사용자 행동 "조깅"이 감지되었을 때 행 822. 824, 826에서 정의된 사용자 행동기반 정황인식 작동모드가 해당하는 전자기기들에 적용된다.FIG. 9 shows an
도.10은 본 발명의 사용자 행동기반 정황인식 작동모드에 따른 사용자 체험을 일 실시예 시나리오 1000으로 보여준다. 시나리오 1000은 도.1의 시나리오 100에서의 행동과 같이 사용자가 조깅과 취침 행동을 취했을 때 전자기기들과의 사용자 체험을 보여준다. 시나리오 1000은 "사용자가 조깅을 하기로 결심"이라는 첫 번째 단계 1002로 새로운 행동에 대한 사용자의 의도로부터 시작한다. 다음으로, 사용자는 도.1의 단계 104와 106과 같이 운동 추적 앱을 키고 운동 추적 앱의 운동유형목록에서 "조깅"을 선택하는 대신에, 단계 1004와 같이 주기기 (스마트폰)에서 사용자 행동 "조깅"을 선택한다. 이것은 본 발명과 종래의 사용방식 간의 사용자 인터페이스의 차이이다. 본 발명에서는 사용자의 주된 상호작용 (interaction) 은 사용자 행동을 선택하는 것이며, 종래의 사용방식에서 사용자의 주된 상호작용은 앱들과 이루어진다. 사용자의 행동이 감지되면, 사용자 행동기반 정황인식 작동모드가 단계 1006, 1008, 1014, 1020, 1022와 같이 자동으로 적용된다. 주기기 (스마트폰) 의 사용자 행동 "조깅"에 대한 사용자 행동기반 정황인식 작동모드는 단계 1006과 1008과 같이 운동 추적 앱을 키고, 미리 설정된 조깅에 해당하는 음악 재생목록을 선택하고, 벨소리를 무음에서 키고, 음량을 미리 지정된 세팅으로 조절하는 것이다. 단계 1010과 같이 주기기 (스마트폰) 은 새로운 사용자 행동을 주변기기들에게 네트워크를 통해 전송하여 주변기기들이 사용자 행동 "조깅"에 해당하는 그들의 사용자 행동기반 정황인식 작동모드들을 적용할 수 있도록 한다. 사용자가 집을 나서면서, 사용자는 단계 1012와 같이 운동 추적 앱의 시작 버튼을 누른다. 주변기기로서 조명제어기의 사용자 행동기반 정황인식 작동모드는 단계 1014와 같이 사용자가 조깅을 시작하게 되면 조명을 끄고 단계 1020과 같이 사용자가 조깅을 마치게 되면 조명을 다시 키는 것이다. 단계 1016의 조깅이 끝나면, 사용자는 단계 1018과 같이 운동 추적 앱의 종료 버튼을 누르고 조깅의 운동 추적 정보를 저장한다. 또 다른 주변기기로서 보일러의 사용자 행동기반 정황인식 작동모드는 단계 1022와 같이 사용자가 조깅을 마치게 되면 보일러를 켜고, 사용자가 샤워를 하는 단계 1024 동안 기다렸다가, 단계 1026과 같이 미리 정해놓은 일정시간이 지나면 꺼지게 된다.FIG. 10 shows an
사용자 행동 "조깅"과 같은 개념으로, 단계 1028과 같이 사용자가 취침을 하기로 마음먹었을 때, 사용자는 단계 1030과 같이 주기기 (스마트폰)에서 새로운 사용자 행동 "취침"을 선택하기만 하면 되고, 주기기 (스마트폰)은 단계 1032와 같이 새로운 사용자 행동을 네트워크를 통해 주변기기들에 전송한다. 결과적으로 주변기기로서, 오디오와 조명제어기는 단계 1034와 1036과 같이 미리 정의된 재생목록을 재생하고 미리 정의된 시간이 지나면 작동을 멈추게 된다. 마지막으로 사용자는 단계 1038과 같이 취침을 시작한다.With the same concept as the user action "jogging ", when the user decides to go to bed as in
시나리오 1000의 사용자 행동기반 정황인식 작동모드에서는, 사용자는 기능의 복잡성에 귀찮아 할 필요가 없다. 사용자의 주된 상호작용은 단계 1004와 1030과 같이 사용자 행동목록에서 "조깅"과 "취침"을 각각의 경우에 따라 선택해 주기만 하면 된다. 사용자 행동기반 정황인식 작동모드 제어기가 사용자 행동 "조깅"과 "취침"을 감지하면, 주기기와 주변기기들은 각각 자동으로 "조깅"과 "취침"에 맞는 사용자 행동기반 정황인식 작동모드를 적용한다. 본 발명의 시나리오 1000과 비교하면, 기존 방식의 시나리오 100은 앱 및 전자기기들의 기능과 세팅과의 사용자 상호작용이 더 많이 발생한다. 시나리오 100에서는, 사용자는 사용자가 행동을 바꿀 때마다 전자기기들의 각각의 기능과 세팅들을 계속 켜거나 끄거나 또는 바꾸는 작업을 수행한다. 시나리오 1000에서는, 사용자의 상호작용은 제한적이고 직관적이다. 사용자는 간단히 사용자 행동을 선택하면 되며 필요한 대부분의 변화가 미리 지정된대로 자동으로 적용된다.In the scenario-based context-aware operating mode of
본 발명은 사용자의 상호작용을 각각의 기능과 세팅들에서 사용자 행동의 선택으로 바꾸어준다. 도.11은 기존 방식의 예시적인 스마트폰 아키텍처 1100을 보여준다. 도.11의 기존 아키텍처는 4개의 기본 단계, 하드웨어 단계 1102, 운영시스템 단계 1104, 애플리케이션 1106, 1108, 1110을 포함한 애플리케이션 단계, 그리고 사용자 인터페이스 단계 1118, 로 구성되어 있다. 예를 들면, 사용자가 행동을 변경하고 애플리케이션 1106, 1108, 1110의 1112, 1114, 1116의 기능들을 변경하고자 한다면, 그 사용자는 인터페이스 단계 1118을 통해 직접 변경한다. 그러므로 사용자 인터페이스는 애플리케이션의 기능들과 직접 연계되어 있다.The present invention translates a user's interaction into a selection of user actions in each function and settings. FIG. 11 shows an
도.12는 본 발명의 예시적인 스마트폰 아키텍처 1200을 보여준다. 본 발명의 새로운 아키텍처는 5개의 단계, 하드웨어 단계 1202, 운영시스템 단계 1204, 애플리케이션 1206, 1208, 1210을 포함한 애플리케이션 단계, 사용자 행동기반 정황인식 작동모드 제어 단계 1218, 그리고 사용자 인터페이스 단계 1222로 구성되어 있다. 예를 들면, 사용자가 행동을 변경하고 애플리케이션 1206, 1208, 1210의 1212, 1214, 1216의 기능들을 변경하고자 한다면, 그 사용자는 사용자 행동 1220을 선택하면 되고 사용자 행동기반 정황인식 작동모드 제어 단계 1218이 애플리케이션 1206, 1208, 1210의 1212, 1214, 1216의 기능들을 변경하는 사용자 행동 1220의 사용자 행동기반 정황인식 작동모드를 자동으로 적용하게 된다. 그러므로 도.11에서 보여준 기존 방식과 다르게 본 발명의 사용자 인터페이스는 사용자 행동기반 정황인식 작동모드와 직접 연계되고 애플리케이션들의 기능들과는 간접적으로만 연계된다.Figure 12 illustrates an
도.13A와 도.13B는 부분 1과 부분 2로서 본 발명의 일 실시예에 의한 순서도 1300을 보여준다. 순서도 1300은 본 발명의 예시적인 사용 절차를 보여준다. 단계 1302와 같이, 사용자는 하나의 사용자 행동에 대하여 해당하는 사용자 행동기반 정황인식 작동모드와 자동감지 기준을 설정한다. 사용자 행동기반 정황인식 작동모드는 전자기기들 내에서 편집하고 설정할 수 있다. 또한, 사용자 행동기반 정황인식 작동모드는 다른 전자기기들이나 가능한 커뮤니케이션 방식들을 활용하여 네트워크에 연결된 저장소에서 불러와서 추가 편집을 통해서도 설정할 수 있다. 편집을 마치면, 그 사용자 행동기반 정황인식 작동모드는 전자기기, 네트워크상의 저장소, 또는 그 모두에 저장될 수 있다. 단계 1302에서, 사용자는 해당하는 사용자 행동에 맞는 자동감지 기준을 설정할 수 있으며, 이는 단계 1310에서 새로운 사용자 행동을 자동으로 감지하는데 사용된다.Figs. 13A and 13B show a
단계 1302에서 사용자 행동기반 정황인식 작동모드와 자동감지 기준이 설정되면, 전자기기는 단계 1306과 같이 새로운 사용자 행동을 감지할 때까지 단계 1304와 같이 대기상태로 기다린다. 사용자 행동은 단계 1308, 1310, 1312와 같이 여러 방법으로 감지될 수 있다. 단계 1308과 같이, 사용자는 미리 설정된 사용자 행동목록으로부터 직접 수동으로 사용자 행동을 선택할 수 있다. 사용자에 의한 사용자 행동의 수동적 선택은 새로운 사용자 행동 또는 사용자가 새로운 사용자 행동을 취하려는 의도를 명시적으로 사용자가 표현하는 것이다. 단계 1310과 같이, 본 발명의 전자기기들은 단계 1302에서 설정된 자동감지 기준들을 모니터링하여 새로운 사용자 행동을 자동적으로 감지할 수 있다. 단계 1302에서 미리 설정된 기준들이 맞게 되면, 전자기기는 단계 1320과 같이 전자기기는 새로운 사용자 행동에 대해 사용자와 확인절차를 가질 수 있다.If the user behavior based context aware operating mode and the auto-sensing criteria are set in
단계 1312와 같이, 주변기기들은 새로운 사용자 행동을 통보할 수 있으며, 단계 1314와 같이 그 사용자 행동에 대하여 메모리부 412 또는 저장부 414를 스캐닝하여 미리 설정된 사용자 행동기반 정황인식 작동모드의 존재 여부를 확인한다. 만약 메모리부 412 또는 저장부 414에 사용자 행동기반 정황인식 작동모드가 존재하지 않는 경우, 사용자는 단계 1318과 같이 새로운 사용자 행동기반 정황인식 작동모드를 새롭게 작성하여 설정할 수 있다.Peripheral devices may notify of a new user behavior as in
단계 1316과 같이 새로운 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드가 메모리부 412나 저장부 414에서 액세스 되거나 단계 1318과 같이 새롭게 설정되면, 새로운 사용자 행동으로 전환하기 이전에 단계 1320과 같이 사용자 확인단계를 거치게 된다. 사용자 확인단계 1320을 거친 후, 기존의 사용자 행동기반 정황인식 작동모드는 향후 필요성을 위하여 메모리부 412, 저장부 414, 네트워크상의 저장소, 또는 그들의 조합에 단계 1322와 같이 백업 된다. 단계 1324와 같이, 사용자 행동기반 정황인식 작동모드는 전자기기에 적용된다. 즉, 이미 설정해 놓은 기능들의 변화가 전자기기에 적용된다. 마지막으로, 단계 1326과 같이 "확인된" 새로운 사용자 행동은 다른 기기들에 통지되고, 단계 1304의 대기모드로 전자기기는 복귀한다.If the user behavior based context aware operation mode for the new user behavior is accessed in the
도.14부터 도.30까지는 본 발명에 해당하는 일 실시예의 스마트폰 스크린샷들을 보여준다. 이 스크린샷들은 도.13A와 도.13B의 시나리오 1300과 함께 본 발명의 사용과 설정에 대한 절차를 이해하는데 쓰일 수 있다. 이 스크린샷들은 전자기기의 운영 시스템에 대한 일반적인 기술을 가진 사람들이 어려움 없이 본 발명을 만들고 사용하기 위한 상세 명세를 제공한다. 전자기기의 운영 시스템과 기능들에 대한 공개된 API (Application Programming Interface) 의 부재로 일반적인 프로그래머들이 본 발명의 프로토타입을 만들기는 어려울 수 있지만, 전자기기 제조회사의 운영 시스템 프로그래머들은 이 내용과 설명으로 본 발명을 제작할 수 있을 것이다.Figures 14 through 30 show smartphone screen shots of an embodiment of the present invention. These screen shots can be used to understand the procedures for use and configuration of the present invention with
도.14는 본 발명의 홈스크린샷의 예시를 보여준다. 이 실시예에서, 홈스크린은 "Activity (사용자 행동)" 아이콘 1402를 포함하고, 아이콘을 누르면 도.15에서 보여주듯이 본 발명의 초기화면으로 이동한다. 다른 실시예의 경우, 전자기기는 다른 방식으로 사용자 행동기반 정황인식 작동모드를 작동할 수 있다. (예를 들어, 또 다른 물리적인 버튼을 사용하거나 기존의 버튼을 일정 기간이상 누르고 있는 경우에 작동하게 할 수도 있다.) 도.15는 본 발명의 초기화면으로서 제목라벨 1502, "새로운 사용자 행동 추가" 버튼 1504, 기존의 사용자 행동목록, 사용자 행동 선택 슬라이더 1506, 세팅 버튼 1508을 보여준다.14 shows an example of a home screen shot of the present invention. In this embodiment, the home screen includes an " Activity "icon 1402, which, when pressed, moves to the initial screen of the present invention, as shown at. In another embodiment, the electronic device may operate the context-aware operating mode based on user behavior in a different manner. (For example, it may be operated when another physical button is used or when an existing button is pressed for a certain period of time or longer). Fig. 15 also shows a
도.15부터 도.25까지 사용자 행동기반 정황인식 작동모드와 자동감지 기준을 설정하는 도.13의 단계 1302를 일 실시예의 스크린샷으로 설명한다. "새로운 사용자 행동 추가" 버튼 1504을 누르면 도.16의 새로운 사용자 행동 편집 화면 1600으로 이동한다. 새로운 사용자 행동 편집 화면 1600은 사용자 행동명 편집셀 1606, 사용자 행동 설명 편집셀 1608, "새로운 자동감지 조건 추가" 버튼 1610, 기존 자동감지 조건셀 1612, "새로운 사용자 행동기반 정황인식 작동모드 추가" 버튼 1614, 현재 사용자 행동기반 정황인식 작동모드셀 1616을 포함한다. 편집셀 1606과 1608을 터치했을 때, 텍스트 편집을 위해 키보드가 올라올 수 있다. "Cancel (취소)" 버튼 1602를 누르면 초기화면 1500으로 사용자를 되돌려 보낸다. 사용자가 새로운 사용자 행동, 자동감지 조건, 사용자 행동기반 정황인식 작동모드에 대한 편집을 완료하면, 사용자는 "Done (완료)" 버튼 1604를 눌러 새로운 사용자 행동, 자동감지 조건, 사용자 행동기반 정황인식 작동모드를 저장하고 초기화면 1500으로 이동한다.
사용자는 "새로운 자동감지 조건 추가" 버튼 1610을 통해 새로운 자동감지 조건을 추가할 수 있으며, 도.13의 단계 1310과 같이 본 발명의 일 실시예에서 새로운 사용자 행동을 감지하는 조건을 정의하기 위해 활용된다. 도.17의 자동감지 조건 편집창 1700의 예는 본 실시예의 자동감지 조건의 예시들을 보여준다. 본 실시예는 새로운 사용자 행동을 자동으로 감지하기 위해 3가지 방법으로 구성된다. 본 실시예는 미리 지정된 앱의 구동 (application activation) 1704, 미리 지정된 센서의 입력 (sensor input) 1706, 미리 지정된 캘린더 입력 (calendar entry) 1708에 의해 자동 감지될 수 있다. 스크린샷 1700의 예시에서는, 셀 1714와 1718에서 예시를 들은 것과 같이 네비게이션 앱 (navigation) 또는 미리 지정된 블루투스를 감지하였을 때 셀 1606의 예시와 같은 새로운 사용자 행동 "Driving (운전)"을 자동으로 감지할 수 있다. 비활성화된 스위치 1720에서 보여주듯이 본 예시에서는 캘린더 입력 (calendar entry) 에 의한 사용자 행동 "Driving (운전)"의 자동감지는 허용되지 않는다. "Cancel (취소)" 버튼 1702를 누르면 사용자는 도.18의 새로운 사용자 행동 편집창 1600으로 되돌아간다. 사용자가 새로운 자동감지 조건에 대한 편집을 완료하게 되면, 사용자는 "Done (완료)" 버튼 1710을 누름으로써 새로운 자동감지 조건을 저장하고 새로운 사용자 행동 편집창 1600으로 이동할 수 있다.The user may add a new automatic detection condition through the "Add new automatic detection condition"
앱 작동 셀 1714의 예시에서 보여주듯이, 네비게이션 앱을 작동시키면 사용자 행동 "Driving (운전)"의 자동감지를 유발시킨다. 사용자는 "Add application activation (앱 작동 추가)" 버튼 1712를 통해 도.18의 앱 작동 편집 스크린 1800의 예시적인 스크린샷으로 이동하여 더 많은 앱들을 앱 작동 셀 1714에 추가할 수 있다. 본 예시에서는, 운동 추적 앱 (exercise tracker) 과 네비게이션 앱 (navigation) 의 2가지 선택 가능한 앱들중에 네이게이션 앱 (navigation) 셀 1806만 선택되었고 체크 마크 1808로 구분되어 있다. 선택과정이 완료되면, 사용자는 "Done (완료)" 버튼 1804를 눌러 선택내용을 저장하고 스크린 1700으로 이동할 수 있다. 사용자가 선택내용을 취소하고 스크린 1700으로 이동하고자 한다면, 사용자는 "Cancel (취소)" 버튼 1802를 누르면 된다. Activating the navigation app, as shown in the example of the
센서입력 셀 1718의 예시에서 보여주듯이, 미리 설정된 블루투스 입력에 의해 사용자 행동 "운전"의 자동 감지가 발생한다. 사용자는 "Add sensor input (센서입력 추가)" 버튼 1716을 통해 센서입력에 의한 자동 감지 조건을 추가할 수 있으며, 이를 통해 도.19의 예시적인 센서입력 편집 창 1900으로 이동한다. 도.19는 센서입력을 어떻게 자동 감지 조건으로 추가하는지 보여준다. 본 예시에서, 셀 1906은 사용자의 차량에서 "MY_CAR"라는 블루투스 네트워크를 발견하여 자동 감지 조건에 추가하였음을 보여준다. 화살표 버튼 1908은 도.20의 예시적인 블루투스 입력 편집 창 2000으로 이동하여 발견된 모든 블루투스 네트워크를 보여줄 수 있다. 본 예시에서는, 사용자는 셀 2006에서 보여주듯이 "MY_CAR"라는 블루투스 네트워크를 선택한다. 정보 버튼 2008은 해당 셀의 블루투스 네트워크에 대한 상세정보를 제공한다. 자동 감지 조건으로 블루투스 네트워크에 대해 선택이 완료되면, 사용자는 "Done (완료)" 버튼 2004를 눌러 선택결과를 저장하고 스크린 1900으로 이동할 수 있다. 사용자가 선택결과를 취소하고 스크린 1900으로 되돌아가고자 한다면, 사용자는 "Cancel (취소)" 버튼 2002를 누르면 된다. NFC, QR 코드, 와이파이, 블루투스, 기타 태깅 기술, 기타 네트워크 기술, 상기 기술의 혼합형태 등 다른 센서 입력들이 자동 감지 조건으로 사용될 수 있다. 모든 센서 입력에 대한 선택을 완료하게 되면, 사용자는 "Done (완료)" 버튼 1904를 누러 선택 결과를 저장하고 스크린 1700으로 이동할 수 있다. 사용자기 선택 결과를 취소하고 스크린 1700으로 되돌아가고자 한다면, 사용자는 "Cancel (취소)" 버튼 1902를 누를 수 있다.As shown in the example of the
현재 사용자 행동기반 정황인식 작동모드 셀 1616은 사용자 행동 "운전"에 대한 예시적인 사용자 행동기반 정황인식 작동모드를 보여준다. 네비게이션 앱 (navigation), 주기기 세팅 (settings), 차고 게이트 제어기 (garage gate control) 가 사용자 행동 "운전"에 대한 예시적인 사용자 행동기반 정황인식 작동모드로 정의되었다. 그러므로 예시적인 사용자 행동 "운전"이 감지되면, 셀 1616에서 보여주듯이 네비게이션 앱 (navigation), 주기기 세팅 (settings), 차고 게이트 제어기 (garage gate control) 의 미리 지정된 기능들이 자동으로 적용된다.Current user behavior based context aware
사용자 행동기반 정황인식 작동모드를 편집하기 위해서, 사용자는 도.16의 "사용자 행동기반 정황인식 작동모드 추가" 버튼 1614를 활용할 수 있다. "사용자 행동기반 정황인식 작동모드 추가" 버튼은 도.21의 예시적인 사용자 행동기반 정황인식 작동모드 편집창으로 이동할 수 있다. 스마트폰의 예시적인 실시예에서는, 전자기기들의 기능 변화에는 2106에서 보여주듯이 자동으로 앱을 작동시키거나 2110에서 보여주듯이 스마트폰의 기기 세팅을 바꿔주거나, 2114에서 보여주듯이 주변기기의 세팅을 바꿔줄 수 있다.In order to edit the user behavior based context aware operation mode, the user may utilize the "Add user context based context aware operation mode"
스크린 2100의 예시에서, 네비게이션 앱은 사용자 행동기반 정황인식 작동모드의 하나로 정의되었다. 그러므로 사용자 행동 "운전"이 감지되면, 네비게이션 앱은 자동으로 작동한다. 사용자 행동 "운전"을 위해 작동할 앱을 더 추가하기 위해서, "앱 추가" 버튼 2108을 활용할 수 있다. "앱 추가" 버튼 2108은 모든 추가가능한 앱들이 표기되어 있는 도.22의 예시적인 앱 작동 편집 창 2200으로 이동한다. 도.22의 예시에서, 운동 추적 앱 (exercise tracker) 과 네이게이션 앱 (navigation) 이 추가 가능한 앱들이며 네비게이션 앱은 체크 마크 2206으로 표시되었듯이 선택되었다. 선택이 완료되면, 사용자는 "Done (완료)" 버튼 2204를 눌러서 선택결과를 저장하고 스크린 2100으로 되돌아갈 수 있다. 사용자가 선택결과를 취소하고 스크린 2100으로 되돌아가려고 하는 경우 "Cancel (취소)" 버튼 2202를 누를 수 있다.In the example of
사용자 행동기반 정황인식 작동모드는 2110과 같이 주기기의 기기 세팅을 정의할 수 있으며, 예시의 사용자 행동 "운전"이 감지되었을 때, 미리 정의된 주기기의 세팅들이 적용될 수 있다. 예시에서, 화살표 2112를 누르면 도.23의 예시적인 주기기 세팅 편집 창 2300으로 이동하고 사용자는 사용자 행동 "운전"에 맞게 주기기의 세팅을 변경할 수 있다. 스크린 2300에서 보여주듯이, 사용자 행동기반 정황인식 작동모드의 주기기 세팅은 와이파이 네트워크 (Wi-Fi), 블루투스 네트워크 (Bluetooth), 셀룰러 데이터 사용방법 (Cellular Data), 기기 음량 (Sounds), 기기 보안 (Privacy) 등을 포함할 수 있다. 주기기 세팅이 사용자 행동기반 정황인식 작동모드에 정의되면, 사용자는 "Done (완료)" 버튼 2304를 눌러 선택결과를 저장하고 스크린 2100으로 되돌아갈 수 있다. 사용자가 선택결과를 취소하고 스크린 2100으로 되돌아가려고 하는 경우 "Cancel (취소)" 버튼 2302를 누를 수 있다.The user behavior based context aware operating mode may define the device settings of the main device, such as 2110, and the predefined main device settings may be applied when an exemplary user behavior "operation " is detected. In the example, pressing
사용자 행동기반 정황인식 작동모드는 주변기기도 포함될 수 있으며 예시적인 사용자 행동 "운전"이 감지되었을 때, 주변기기에 미리 지정된 세팅들이 적용될 수 있다. 예시적인 사용자 행동 "운전"의 경우, 도.21에서 보여주듯이 차고 게이트 제어 시스템 (garage gate control) 이 사용자 행동 "운전"이 감지되었을 때 작동하는 주변기기로 선택되었다. 사용자 행동 "운전"에 대한 추가적인 주변기기 세팅을 정의하기 위하여, 도.21의 "주변기기 추가" 버튼 2116을 활용할 수 있다. "주변기기 추가" 버튼 2116은 도.24의 예시적인 주변기기 편집 창 2400으로 이동하여, 사용자가 사용자 행동기반 정황인식 작동모드에 주변기기를 편집하거나 추가하도록 할 수 있다. 도.24의 예시에서, 차고 게이트 제어 시스템 (garage gate control) 이 사용자 행동 "운전"을 위한 사용자 행동기반 정황인식 작동모드에 주변기기로서 선택되었다. "Detail information (상세 정보)" 화살표 2406은 도.25의 예시적인 주변기기 세팅 편집 창 2500으로 이동하여, 사용자가 사용자 행동 "운전"을 위해 차고 게이트 제어 시스템 (garage gate control) 의 기능과 세팅을 편집할 수 있다. 본 예시에서, 차고 게이트 제어 시스템 (garage gate control) 은 사용자의 주기기인 스마트폰의 네비게이션 앱 (navigation) 과 연동하여 차고 게이트를 열거나 닫을 수 있다. 본 예시에서, 사용자의 자택 주변에서 네비게이션이 켜지거나 네비게이션의 목적지로서 자택에 도착하였을 때 차고 게이트는 열릴 수 있다. 스크린 2400은 주변 또는 네트워크 (와이파이, 블루투스, NFC 등) 상에서 연결 가능한 다른 주변기기들 (도.24의 예시에서 진공청소기 (vacuum cleaner), 스마트TV (smart TV), 조명제어 시스템 (lighting control system))을 보여줄 수 있다.The user behavior based context aware operating mode may also include peripherals and predefined settings may be applied to the peripheral when an exemplary user behavior "driving" is sensed. In the case of the exemplary user behavior "drive ", as shown in Fig. 21, the garage gate control was selected as a peripheral device to operate when the user action" drive " To define additional peripherals settings for user behavior "drive," a " Add Periphery "
도.16부터 도.25는 도.13의 단계 1302에서 어떻게 사용자 행동기반 정황인식 작동모드가 정의되는지 보여준다. 사용자 행동에 해당하는 사용자 행동기반 정황인시 작동모드가 정의되면, 전자기기는 도.13의 단계 1304와 같이 대기모드로서, 단계 1308과 같이 사용자의 직접적인 입력에 의해 사용자 행동을 감지하거나, 단계 13010과 같이 자동으로 감지되거나, 단계 1312와 같이 다른 전자기기들에서 알림으로 전달받아서 감지하기 위해 기다릴 수 있다.Figures 16 through 25 show how the user behavior based context aware operation mode is defined in
도.26은 단계 1308에서 사용자의 직접적인 입력에 의해 어떻게 새로운 사용자 행동이 감지되는지 보여준다. 사용자는 본 발명의 초기화면 1500에서 슬라이더 버튼 1506을 눌러 본 예시의 새로운 사용자 행동 "조깅"을 수동으로 선택하여, 도.26의 새로운 사용자 행동 시작 확인 창 2600으로 이동할 수 있다. 본 발명의 창 2600은 단계 1316과 같이 사용자 행동 "조깅"에 맞는 사용자 행동기반 정황인식 작동모드와 자동 감지 조건을 액세스하여 표시한다. 사용자는 버튼 2604를 이용하여 자동 감지 조건을 수정할 수 있고, 버튼 2606을 이용하여 사용자 행동기반 정황인식 작동모드를 수정할 수 있다. 버튼 2604는 도.17의 창 1700과 동일한 자동 감지 조건 편집 창으로 이동하여, 단계 1302와 같이 사용자가 자동 감지 조건을 수정할 수 있도록 한다. 버튼 2606은 도 21의 창 2100과 동일한 사용자 행동기반 정황인식 작동모드 편집 창으로 이동하여, 단계 1302와 같이 사용자가 사용자 행동기반 정황인식 작동모드를 수정할 수 있도록 한다. 사용자가 자동 감지 조건과 사용자 행동기반 정황인식 작동조건을 확정하면, 사용자는 "Start activity (사용자 행동 시작)" 버튼 2608을 누름으로서 도.13B의 단계 1320과 같이 새로운 사용자 행동을 확정하거나, "Activity (행동)" 버튼 2602를 눌러 수정 내용을 취소하고 도.15의 초기화면 1500으로 되돌아갈 수 있다.26 shows how new user actions are detected by the user's direct input in
도.28은 예시적으로 새로운 사용자 행동 감지 확정 창 2800을 보여준다. 도.13A의 단계 1310과 같이 미리 지정한 자동 감지 조건을 만족하면, 본 발명의 전자기기는 단계 1316과 같이 도.28의 새로운 사용자 행동 감지 확정 창 2800을 표시한다. 새로운 사용자 행동 감지 확정 창 2800은 새로운 사용자 행동 경고 (new activity "jog" detected) 2802, 사용자 행동 설명 (user-activity description) 2804, 사용자 행동기반 정황인식 작동모드 정보 (mode of operation) 2806, Cancel (취소) 버튼 2808, Start Activity (시작) 버튼 2810을 표시한다. 사용자는 Cancel (취소) 버튼 2808을 이용하여 자동 감지 경고를 무시하고 이전 창으로 되돌아갈 수도 있고, Start Activity (시작) 버튼 2810을 이용하여 도.13B의 단계 1320과 같이 자동 감지 경고를 수락하고 감지된 사용자 행동을 시작할 수도 있다.28 shows an exemplary new user behavior
도.29와 도.30은 각각 예시적인 새로운 사용자 행동 알림 창과 예시적인 사용자 행동기반 정황인식 작동모드 부재 경고 창을 보여준다. 도.13A의 단계 1312와 같이 주변기기들이 새로운 사용자 행동을 공지하게 되면, 본 발명의 전자기기는 단계 1316과 같이 공지된 사용자 행동이 주기기에 존재하는 경우, 도.29의 새로운 사용자 행동 알림 확인 창 2900을 표시하고, 단계 1318과 같이 공지된 사용자 행동이 주기기에 존재하지 않는 경우, 도.30의 사용자 행동기반 정황인식 작동모드 부재 경고 창 3000을 표시한다.29 and 30 show an exemplary new user behavior notification window and an exemplary user behavior based contextual recognition operation mode absence warning window, respectively. If the peripherals announce a new user action as in
주기기에 공지된 사용자 행동이 존재하면, 주기기는 새로운 사용자 행동 알림 (new activity "jog" notified) 2902, 사용자 행동 설명 (user-activity description) 2904, 사용자 행동기반 정황인식 작동모드 정보 (mode of operation) 2906, Cancel (취소) 버튼 2908, Start activity (수락) 버튼 2910을 표시한다. 사용자는 알림 경고를 무시하고 기존의 창으로 이동하기 위해 Cancel (취소) 버튼 2908을 이용할 수 있고, 도.13B의 단계 1320과 같이 Start activity (수락) 버튼 2910을 이용하여 알림 경고를 수락하고 공지된 사용자 행동을 시작할 수 있다.If there are known user actions in the periodicity, the periodifier may include a new activity "jog" notified 2902, a user-
주기기에 공지된 사용자 행동이 존재하지 않는 경우, 주기기는 주기기에 공지된 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드가 존재하지 않다는 메세지와 함께 새로운 사용자 행동 공지 경고 (new activity "jog" notified no contextual mode available) 3002를 표시한다. 주기기는 사용자 행동기반 정황인식 작동모드 편집 버튼 (define contextual mode) 3004과 cancel (취소) 버튼 3006을 함께 표시할 수 있다. 사용자 행동기반 정황인식 작동모드 편집 버튼 (define contextual mode) 3004는 도.16의 창 1600과 동일한 새로운 사용자 행동 편집 창으로 새로운 사용자 행동 편집을 위해 이동할 수 있다. 사용자는 공지 경고를 무시하고 cancel (취소) 버튼 3006을 눌러 기존 창으로 되돌아갈 수 있다.If there is no known user action in the periodic, then the periodic has a new activity "jog" notified no contextual < / RTI > alert with a message that there is no user- mode available) 3002 is displayed. The periodizer may display a user context-based contextual operation mode edit button 3004 and a cancel
본 발명의 초기 화면 1500에서 세팅 버튼 1508을 이용하여 도.27의 예시적인 세팅 편집 창 2700으로 이동할 수 있다. 창 2700의 예시적인 세팅이 보여 주듯이, 본 발명의 세팅은 자동 감지를 활성화/비활성화하는 자동 감지 스위치 (automatic detection), 사용자 확정을 활성화/비활성화하는 사용자 확정 스위치 (confirm activity changes), 사용자 행동의 캘린더 입력을 활성화/비활성화하는 캘린더 입력 스위치 (save activity to calendar), 주변기기에서의 새로운 사용자 행동 공지를 활성화/비활성화하는 공지 스위치 (notification) 등을 포함할 수 있다. In the
Claims (20)
A. 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로, 또는 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악하는 단계: 및
그리고 단계 A에서 파악된 사용자 행동에 따라,
B. 하나 또는 여러 개의 전자기기에 하나 또는 여러 개의 연관된 작동모드를 적용하는 단계를 포함한다. 여기서 작동모드란 미리 지정된 세팅 값으로 전자기기의 하나 또는 여러 개의 기능을 변경하는 것을 포함한다.
감지된 사용자 행동에 맞춰 (감지된 사용자 행동을 정황으로) 전자기기의 기능들을 변경하는 것은 전자기기의 사용자 경험을 획기적으로 개선하고 단순화시키는 "정황적인" 사용자 경험을 제공한다.It manages a variety of context-aware operating modes in a variety of user contexts for various electronic devices such as mobile devices, wearable devices, smart TVs, home appliances, home automation devices, building automation devices, automotive electronic devices, robots, As a method,
A. Identifying the user's behavior, or the user's willingness to take action, either manually, by the user's input through the input of the electronic device, or automatically, in a behavior-sensing manner; and
In accordance with the user behavior identified in step A,
B. Applying one or more associated operating modes to one or more electronic devices. Wherein the operating mode includes changing one or more functions of the electronic device to predetermined setting values.
Altering the functions of the electronic device in accordance with the detected user behavior (in the context of detected user behavior) provides a " contextual "user experience that dramatically improves and simplifies the user experience of the electronic device.
A. 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로, 또는 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악하는 부: 및
그리고 A부에서 파악된 사용자 행동에 따라,
B. 하나 또는 여러 개의 전자기기에 하나 또는 여러 개의 연관된 작동모드를 적용하는 부를 포함한다. 여기서 작동모드란 미리 지정된 세팅 값으로 전자기기의 하나 또는 여러 개의 기능을 변경하는 것을 포함한다.
감지된 사용자 행동에 맞춰 (감지된 사용자 행동을 정황으로) 전자기기의 기능들을 변경하는 것은 전자기기의 사용자 경험을 획기적으로 개선하고 단순화시키는 "정황적인" 사용자 경험을 제공한다.It manages a variety of context-aware operating modes in a variety of user contexts for various electronic devices such as mobile devices, wearable devices, smart TVs, home appliances, home automation devices, building automation devices, automotive electronic devices, robots, As a system,
A. Part to identify the user's behavior, or the user's willingness to take action, either manually by the user's input through the input of the electronic device,
In accordance with the user behavior identified in Part A,
B. Including one or more associated operating modes on one or several electronic devices. Wherein the operating mode includes changing one or more functions of the electronic device to predetermined setting values.
Altering the functions of the electronic device in accordance with the detected user behavior (in the context of detected user behavior) provides a " contextual "user experience that dramatically improves and simplifies the user experience of the electronic device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160018446A KR20170096774A (en) | 2016-02-17 | 2016-02-17 | Activity-centric contextual modes of operation for electronic devices |
PCT/KR2016/002099 WO2017142116A1 (en) | 2016-02-17 | 2016-03-02 | Activity-centric contextual modes of operation for electronic devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160018446A KR20170096774A (en) | 2016-02-17 | 2016-02-17 | Activity-centric contextual modes of operation for electronic devices |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170096774A true KR20170096774A (en) | 2017-08-25 |
Family
ID=59625271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160018446A KR20170096774A (en) | 2016-02-17 | 2016-02-17 | Activity-centric contextual modes of operation for electronic devices |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20170096774A (en) |
WO (1) | WO2017142116A1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230004884A (en) * | 2020-05-11 | 2023-01-06 | 애플 인크. | Digital Assistant Hardware Extraction |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11837237B2 (en) | 2017-05-12 | 2023-12-05 | Apple Inc. | User-specific acoustic models |
US11973894B2 (en) | 2019-04-30 | 2024-04-30 | Apple Inc. | Utilizing context information with an electronic device |
US11979836B2 (en) | 2007-04-03 | 2024-05-07 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US12009007B2 (en) | 2013-02-07 | 2024-06-11 | Apple Inc. | Voice trigger for a digital assistant |
US12026197B2 (en) | 2017-05-16 | 2024-07-02 | Apple Inc. | Intelligent automated assistant for media exploration |
US12061752B2 (en) | 2018-06-01 | 2024-08-13 | Apple Inc. | Attention aware virtual assistant dismissal |
US12067990B2 (en) | 2014-05-30 | 2024-08-20 | Apple Inc. | Intelligent assistant for home automation |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
AU2014278592B2 (en) | 2013-06-09 | 2017-09-07 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
AU2015266863B2 (en) | 2014-05-30 | 2018-03-15 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | Low-latency intelligent automated assistant |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Multi-modal interfaces |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | Virtual assistant operation in multi-device environments |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK179822B1 (en) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11889149B2 (en) | 2018-09-11 | 2024-01-30 | International Business Machines Corporation | Intelligent mitigation of concentration conflicts |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | User activity shortcut suggestions |
US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
CN110909159B (en) * | 2019-09-29 | 2022-09-16 | 珠海格力电器股份有限公司 | User intention identification method, device, terminal and storage medium |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
CN115033152B (en) * | 2022-06-22 | 2024-06-14 | 中国商用飞机有限责任公司 | Display interface control method and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9092746B2 (en) * | 2009-06-29 | 2015-07-28 | Masaaki Tokuyama | Workflow processing program, information processing device and workflow processing method |
US10346849B2 (en) * | 2011-07-12 | 2019-07-09 | Ca, Inc. | Communicating personalized messages using quick response (QR) codes |
JP5915341B2 (en) * | 2012-04-06 | 2016-05-11 | ソニー株式会社 | Information processing apparatus, information processing method, and computer program |
US9066326B2 (en) * | 2013-03-14 | 2015-06-23 | Google Technology Holdings LLC | Automatic user notification, with quick response (QR) code generation following failed NFC device pairing |
US9356710B2 (en) * | 2014-04-08 | 2016-05-31 | Mastercard International Incorporated | Methods and apparatus for consumer testing of an NFC device |
-
2016
- 2016-02-17 KR KR1020160018446A patent/KR20170096774A/en not_active Application Discontinuation
- 2016-03-02 WO PCT/KR2016/002099 patent/WO2017142116A1/en active Application Filing
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11979836B2 (en) | 2007-04-03 | 2024-05-07 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US12009007B2 (en) | 2013-02-07 | 2024-06-11 | Apple Inc. | Voice trigger for a digital assistant |
US12067990B2 (en) | 2014-05-30 | 2024-08-20 | Apple Inc. | Intelligent assistant for home automation |
US11837237B2 (en) | 2017-05-12 | 2023-12-05 | Apple Inc. | User-specific acoustic models |
US12026197B2 (en) | 2017-05-16 | 2024-07-02 | Apple Inc. | Intelligent automated assistant for media exploration |
US12061752B2 (en) | 2018-06-01 | 2024-08-13 | Apple Inc. | Attention aware virtual assistant dismissal |
US11973894B2 (en) | 2019-04-30 | 2024-04-30 | Apple Inc. | Utilizing context information with an electronic device |
KR20230004884A (en) * | 2020-05-11 | 2023-01-06 | 애플 인크. | Digital Assistant Hardware Extraction |
KR20230003587A (en) * | 2020-05-11 | 2023-01-06 | 애플 인크. | Digital assistant hardware abstraction |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
Also Published As
Publication number | Publication date |
---|---|
WO2017142116A1 (en) | 2017-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20170096774A (en) | Activity-centric contextual modes of operation for electronic devices | |
US20160179087A1 (en) | Activity-centric contextual modes of operation for electronic devices | |
US10354014B2 (en) | Virtual assistant system | |
US11902707B1 (en) | Location based device grouping with voice control | |
US11620103B2 (en) | User interfaces for audio media control | |
CN107005612B (en) | Digital assistant alarm system | |
US9729821B1 (en) | Sensor fusion for location based device grouping | |
Shafer et al. | Interaction issues in context-aware intelligent environments | |
US20140172123A1 (en) | User terminal apparatus, network apparatus, and control method thereof | |
CN108885485A (en) | Digital assistants experience based on Detection of Existence | |
CN109348052A (en) | For managing the user interface of controllable external equipment | |
CN107222391A (en) | Group's based reminding method, device and equipment | |
CN108710306A (en) | Control method, device and the computer readable storage medium of smart machine | |
CN106547216A (en) | The method and device of intelligent scene trigger condition is set | |
CN105278336A (en) | Application display method and apparatus, and terminal | |
US20240291916A1 (en) | Interfaces and devices for dynamically-available media playback | |
CN107132769A (en) | Smart machine control method and device | |
JP7412564B2 (en) | Operating system level distributed ambient computing | |
CN106534517B (en) | Operating status method of adjustment, device and electronic equipment | |
KR20170097890A (en) | Electronic apparatus and Method for providing service thereof | |
JP2019204287A (en) | Information processing device, information processing method, and information processing program | |
Nguyen | Designing smart interactions for smart objects | |
US11960914B2 (en) | Methods and systems for suggesting an enhanced multimodal interaction | |
KR102426564B1 (en) | User interface for audio message | |
CN106959744A (en) | Intelligent mixing system and method for the apparatus assembly of computerization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |