KR20150022673A - 단말의 모드 변경 방법 및 장치 - Google Patents

단말의 모드 변경 방법 및 장치 Download PDF

Info

Publication number
KR20150022673A
KR20150022673A KR20140103785A KR20140103785A KR20150022673A KR 20150022673 A KR20150022673 A KR 20150022673A KR 20140103785 A KR20140103785 A KR 20140103785A KR 20140103785 A KR20140103785 A KR 20140103785A KR 20150022673 A KR20150022673 A KR 20150022673A
Authority
KR
South Korea
Prior art keywords
mode
terminal
camera
user
movement
Prior art date
Application number
KR20140103785A
Other languages
English (en)
Other versions
KR102305578B1 (ko
Inventor
송성욱
조성윤
임종한
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14837640.3A priority Critical patent/EP3036599B1/en
Priority to PCT/KR2014/007844 priority patent/WO2015026203A1/en
Priority to US14/466,054 priority patent/US9652024B2/en
Priority to CN201480046235.2A priority patent/CN105492998A/zh
Publication of KR20150022673A publication Critical patent/KR20150022673A/ko
Application granted granted Critical
Publication of KR102305578B1 publication Critical patent/KR102305578B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

본 발명의 일 실시예에 따른 전력 관리를 위한 복수의 모드를 제공하는 단말은 사용자의 움직임에 대한 정보를 획득하는 카메라, 사용자에 의한 입력을 감지하는 입력부 및 상기 단말이 활성 모드(active mode)에 진입한 상태에서 상기 카메라가 제1 패턴의 움직임을 감지하면 대기 모드(standby mode)로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 카메라가 제2 패턴의 움직임을 감지하면 비활성 모드(inactive mode)로 변경하고, 상기 단말이 상기 비활성 모드에 진입한 상태에서 입력부에서 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하는 제어를 포함하고, 상기 카메라는 상기 활성 모드 또는 상기 대기 모드에 진입한 상태에서만 상기 사용자의 움직임에 대한 정보를 획득한다.

Description

단말의 모드 변경 방법 및 장치 {METHOD AND APPARATUS FOR SWITCHING MODE OF TERMINAL}
본 발명은 단말의 모드를 변경하는 방법 및 장치에 관한 것으로서, 보다 구체적으로는 사용자의 움직임에 대한 정보를 획득하는 카메라를 구비하고 전력 관리를 위한 복수의 모드를 제공하는 단말이 모드를 변경하는 방법 및 장치에 관한 것이다.
단말의 전력 소비를 줄이기 위해 상기 단말은 복수의 모드를 제공할 수 있다. 예를 들어 단말은 활성 모드(active mode)와 수면 모드(sleep mode)의 2가지 모드를 제공할 수 있으며, 사용자의 키 입력에 의해 상기 모드가 상호 변경될 수 있다.
카메라를 장착한 단말이 늘어남에 따라 카메라가 수집한 영상을 이용한 단말의 기능이 늘어나고 있다. 예를 들어, 아이 트래킹(eye tracking) 기능은 단말의 사용자의 눈동자의 움직임(예를 들어 각도 정보)을 이용하여 커서를 조작할 수 있는 기능이다.
단말의 모드 변경에 아이 트래킹 기능이 이용되는 경우에는, 아이 트래킹 기능에 관련된 장치(예를 들어, 카메라)가 비활성(inactive) 상태인 경우와 활성(active) 상태인 경우 각각에 대하여, 단말이 수면 모드에서 활성모드로 진입하는 방법을 달리 할 것이 요구된다.
본 발명의 일 실시예에 따른 사용자의 움직임에 대한 정보를 획득하는 카메라를 구비하고 전력 관리를 위한 복수의 모드를 제공하는 단말이 모드를 변경하는 방법은, 상기 단말이 활성 모드(active mode)에 진입한 상태에서, 상기 카메라가 제1 패턴의 움직임을 감지하면 대기 모드(standby mode)로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 카메라가 제2 패턴의 움직임을 감지하면 비활성 모드(inactive mode)로 변경하고, 상기 단말이 상기 비활성 모드에 진입한 상태에서, 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하는 단계를 포함하고, 상기 카메라는 상기 활성 모드 또는 상기 대기 모드에 진입한 상태에서만 상기 사용자의 움직임에 대한 정보를 획득하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 전력 관리를 위한 복수의 모드를 제공하는 단말은, 사용자의 움직임에 대한 정보를 획득하는 카메라, 사용자에 의한 입력을 감지하는 입력부, 및 상기 단말이 활성 모드(active mode)에 진입한 상태에서 상기 카메라가 제1 패턴의 움직임을 감지하면 대기 모드(standby mode)로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 카메라가 제2 패턴의 움직임을 감지하면 비활성 모드(inactive mode)로 변경하고, 상기 단말이 상기 비활성 모드에 진입한 상태에서 입력부에서 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하는 제어를 포함하고, 상기 카메라는 상기 활성 모드 또는 상기 대기 모드에 진입한 상태에서만 상기 사용자의 움직임에 대한 정보를 획득하는 것을 특징으로 한다.
본 발명에 따르면, 수면 모드를 카메라가 정보를 획득할 수 있는 대기 모드(standby mode)와 카메라가 정보를 획득하지 않는 비활성 모드(inactive mode)로 나누고, 단말의 현재 모드에 따라 아이 트래킹에 의한 모드 변경 가능 여부가 달라지게 되어 사용자의 편의성을 높일 수 있다.
또한 본 발명에 따르면, 수면 모드를 센서부가 센싱 데이터를 획득할 수 있는 대기 모드(standby mode)와 센서부가 센싱 데이터를 획득하지 않는 비활성 모드(inactive mode)로 나누고, 단말의 현재 모드에 따라 센싱 데이터에 의한 모드 변경 가능 여부가 달라지게 되어 사용자의 편의성을 높일 수 있다.
또한 본 발명에 따르면, 대기 모드에 진입한 단말의 모뎀의 웨이크업(wake-up) 주기와 단말의 카메라 또는 센서부의 활성화 시간을 동기화하여 저전력 구현이 가능하다.
도 1은 아이 트래킹 정보를 이용한 웨어러블 디바이스의 상태 천이를 나타낸다.
도 2는 도 1의 실시예에 따른 웨어러블 디바이스의 전력 소모를 나타낸다.
도 3은 저전력 구현을 위하여 아이 트래킹을 이용하는 단말 제어를 나타낸다.
도 4는 도 3의 실시예에 따른 단말의 전력 소모를 나타낸다.
도 5는 단말의 무선 통신을 위해 페이징 신호를 수신하는 모뎀의 상태 천이를 나타낸다.
도 6은 도 5의 실시예에 따른 모뎀의 전력 소모의 패턴을 나타낸다.
도 7 및 도 8은 전력 관리를 위한 복수의 모드를 제공하는 단말의 구성을 도시한다.
도 9은 전력 관리를 위한 복수의 모드를 제공하는 단말의 상태 천이를 나타낸다.
도 10은 대기 모드에서 유저 인터페이스의 전력 소모를 나타낸다.
도 11 및 도 12은 단말의 모드 변경과 이에 따른 전력 소모를 나타낸다.
도 13은 페이징 신호의 수신과 아이 트래킹의 감지 간의 동기화를 나타낸다.
도 14는 전력 관리를 위한 복수의 모드를 제공하는 단말의 모드 변경 동작의 하나의 실시예를 도시한다.
도 15는 전력 관리를 위한 복수의 모드를 제공하는 단말의 모드 변경 동작의 다른 실시예를 도시한다.
본 명세서 및 청구범위에 있어서 "포함하는"은 다른 요소들 또는 동작들을 배제한다는 의미가 아니다. 본 명세서 및 청구범위에 있어서 단수 명사는 달리 특별히 언급되지 않는다면 복수 명사를 포함할 수 있다. 예컨대 "단말"은 하나의 단말을 가리킬 수도 있고 2 이상의 단말을 포함할 수도 있다. 본 명세서 및 청구범위에 있어서 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 본 명세서 및 청구범위에 있어서 "제1, 제2, 제3"는 유사한 요소들을 구별하기 위해 사용되었으며, 반드시 순차적 또는 연대순으로 기술하기 위해 사용된 것은 아니다.
본 명세서 및 청구범위에 있어서 "단말"은 카메라를 구비한 장치이다. 본 명세서 및 청구범위에 있어서 휴대용 단말은, 예를 들면, IMS(IP Multimedia Subsystem) 단말, 태블릿(Tablet) 개인 컴퓨터(Personal Computer: PC), 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인용 휴대 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰(mobile phone), 디지털 액자 등을 포함할 수 있다.
이하, 본 발명의 다양한 실시예를 첨부한 도면을 참조하여 설명한다. 하기의 설명에서는 본 발명의 실시예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 간략화되거나 생략된다. 여기서 본 발명의 특징이 상술한 예시들로 한정되는 것은 아니며, 이하에서 설명하는 각 구성들의 형태 변경이나, 추가적인 기능들까지도 포함할 수 있다. 도면들에서, 일부 요소들의 크기는 예시를 위해 확대될 수 있으며, 크기에 비례하여 도시한 것이 아니다.
도 1은 아이 트래킹 정보를 이용한 웨어러블 디바이스(wearable device)의 상태 천이(transition)를 나타낸다.
Unlocked mode(110)는 사용자의 활동(activity)이 발생하고 있는 상태를 나타낸다. 사용자(user)의 입력이 특정 시간 동안 없는 경우 즉 Inactivity timer가 expire될 때까지의 시간 동안 사용자의 활동(activity)가 없는 경우 Locked mode(120)로 진입한다. Locked mode(120)에서는 디스플레이 등의 장치들을 저전력 모드로 전환하고 사용자로부터 입력을 기다린다. 일반적인 무선 단말기 또는 컴퓨터의 경우 키 입력(key input)을 통하여 locked mode(120)에서 unlocked mode(110)로 천이할 수 있다. 도 1에서는 사용자가 손을 사용하여 입력할 필요 없이 아이 트래킹 정보를 이용하여 activity 정보를 전달함으로써 locked mode(120)에서 unlocked mode(110)로 천이할 수 있다. 즉, 아이 트래킹을 위하여 지속적으로 디스플레이에 특정 패턴(pattern)을 디스플레이하고, 사용자의 눈이 이 패턴을 추적하는지를 추정하고, 추적한다고 판단될 경우 Unlocked Mode(110)로 전환한다. 이러한 기술은 key input에 제한을 받는 head mounted device (MTD)등의 웨어러블 디바이스에서 효과적으로 적용될 수 있다.
도 2는 도 1의 실시예에 따른 웨어러블 디바이스의 전력 소모를 나타낸다.
Unlocked Mode에서 사용자의 inactivity가 t1동안 지속될 경우 상기 웨어버블 디바이스는 Locked mode로 진입하게 된다. Locked mode에서는 저전력 모드 운용을 원칙으로 하고 아이 트래킹을 위한 장치만을 구동하도록 설정할 수 있으며, 이에 따라 unlocked mode에 비하여 전력 소모를 줄일 수 있다. 이 경우 locked mode는 수면 모드와 동일한 의미로 사용될 수 있다.
도 3은 저전력 구현을 위하여 아이 트래킹을 이용하는 단말 제어를 나타낸다.
유저 인터페이스(user interface)에의 키 입력 등의 물리적 접촉 뿐만 아니라, 아이 트래킹 정보를 이용하여 사용자의 activity를 추정하여, 단말을 제어할 수 있다. Active Mode(310)는 사용자의 activity가 지속되는 상태를 나타낸다. Inactivity Mode(320)는 저전력 모드로써 유저 인터페이스를 통한 키 입력 등을 통하여 active mode(310)로 천이할 수 있다.
도 4는 도 3의 실시예에 따른 단말의 전력 소모를 나타낸다.
단말이 Active Mode에서 아이 트래킹 정보 또는 유저 인터페이스를 통하여 관측한 사용자의 inactivity가 t1동안 지속될 경우 단말은 inactive 모드로 진입하여 저전력 구현을 위해 관련 기능을 정지시킬 수 있다. 이에 따라 active mode와 비교하여 단말의 소모 전력을 줄일 수 있다. 도 4에서는 inactive mode에서의 단말의 소모 전력이 0(mW)인 경우를 도시하였으나, 0(mW)이 아닌 전력이 소모될 수도 있다. 사용자는 접촉(contact) 기반 user interface 입력(예를 들어 키 입력)에 의하여 inactive mode에서 active mode로 변경하여 단말이 다시 동작하도록 할 수 있다.
도 5는 단말의 무선 통신을 위해 페이징 신호를 수신하는 모뎀의 상태 천이를 나타낸다.
RRC_CONNECTED 상태(510)는 기지국과 단말간의 통신이 지연없이 가능한 상태를 나타내며, RRC_IDLE 상태(520)는 기지국과 단말간의 통신 자원을 release한 상태로 재통신시 지연이 발생하는 상태를 나타낸다. 기지국과 단말간의 data activity를 모니터(monitor)하여 inactivity timer t1가 expire될 때까지 data activity가 관측되지 않는 경우 단말은 RRC_CONNECTED 상태(510)에서 RRC_IDLE 상태(520)로 천이하여 관련 기능을 정지시킬 수 있다. 단말이 기지국과 통신하기 위해서는 네트워크로부터의 페이징(paging) 신호의 수신이 필요하며 이를 위하여 기지국과 단말이 미리 약속된 시점에 페이징 신호를 송수신한다. 단말은 주기적으로 idle mode에서 active mode로 천이하여 신호를 수신하고, 수신한 상기 신호를 복조하고, 복조한 상기 신호에 네트워크로부터의 관련 paging 신호가 존재할 경우 RRC-CONNECTED 상태(510)로 천이하여 통신을 재개하게 된다.
도 6은 도 5의 실시예에 따른 모뎀의 전력 소모의 패턴을 나타낸다.
여기서 paging interval ti는 네트워크 파라미터로 결정될 수 있다. active time ta는 단말이 paging 수신을 위하여 wake-up후 수신 신호 demodulation 및 처리를 위하여 active 상태에 있는 time interval를 나타낸다. Paging 수신을 위한 단말 active time ta을 최소화하거나 paging interval ti을 증가시킴으로써 단말의 standby time을 증가시킬 수 있다.
도 7 및 도 8은 전력 관리를 위한 복수의 모드를 제공하는 단말의 구성을 도시한다.
도 7을 참조하면, 상기 단말은 카메라(100), 제어부(110), 디스플레이부(120), 클락(130), 통신부(140), 저장부(150), 입력부(160), 센서부(170)의 구성을 포함할 수 있다.
카메라(100)는 영상 정보를 감지 및 획득한다. 도 8과 같이, 카메라(100)는 안경 기능을 갖는 단말의 Rear view camera에 해당할 수 있다. 카메라(100)는 스마트폰의 디스플레이부와 동일한 면에 있는 카메라에 해당할 수 있다. 카메라(100)는 주기적으로 사용자의 움직임에 대한 정보를 획득하고 이를 제어부(110)에 전달할 수 있다. 상기 사용자의 움직임은 사용자의 눈동자의 움직임을 포함할 수 있다. 카메라(100)는 활성 모드 또는 대기 모드에 진입한 상태에서만 사용자의 움직임에 대한 정보를 획득하도록 구현할 수 있다.
제어부(110)는 사용자 시선에 대한 영상으로부터 눈동자의 시선 각도를 추적하는 아이 트래킹 모듈 (111), 아이 트래킹 정보에 기초하여 단말의 모드를 제어하는 모드 컨트롤 모듈 (112), 그리고 사용자 요구에 의한 기능을 수행하는 인스트럭션(113, instructions)을 포함할 수 있다. 제어부(110)는 카메라가 감지한 사용자의 움직임이 제1 패턴의 움직임, 제2 패턴의 움직임 또는 제3 패턴의 움직임과 매칭되는지 판단할 수 있다. 상기 제1 패턴의 움직임, 제2 패턴의 움직임 또는 제3 패턴의 움직임은 서로 같거나 다르게 설정할 수 있으며, 각각 하나 이상의 눈동자의 움직임을 포함할 수 있다. 또한, 제어부(110)는 클락(130)의 주기에 맞추어 정해진 시점에서만 모니터링을 수행함으로써 전력 소모를 낮추도록 할 수 있다.
디스플레이부(120)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 또는 OLED(Organic Light Emitted Diode) 등으로 형성될 수 있다. 또는, 도 8과 같이, 디스플레이부(120)는 안경 기능을 갖는 단말의 렌즈에 해당할 수 있다.
클락(130)의 주기는 임의적으로 조정이 가능하며, 통신부(140)가 WiMax 혹은 LTE와 같은 셀룰러 통신 기능을 갖는 경우, 클락(130)의 주기를 모뎀의 페이징 신호 수신을 위한 wake-up 주기와 동일하게 사용함으로써 전력소모를 줄일 수 있다.
통신부(140)는 단말이 외부 장치와 신호를 송수신한다. 통신부(140)는, 예를 들어, 무선 통신 인터페이스(wireless communication interface) 또는 모뎀을 포함할 수 있다. 통신부(140)는 클락(130)과 연결되어 페이징 신호의 수신을 위한 wake-up의 주기를 조정(align)할 수 있다.
저장부(150)는 아이 트래킹 알고리즘 및 이전 시점에서의 시선 각도의 정보를 기록함으로써 모드 컨트롤에 쓰이게 한다. 저장부(150)는 단말기에서 수행될 수 있는 기능에 해당하는 응용 프로그램과 단말기에서 기능이 수행되는 중에 발생되는 데이터 등을 저장할 수 있다.
입력부(160)는 단말기의 기능 제어 및 각종 기능들의 설정과 관련되어 사용자에 의해 입력되는 신호를 제어부(110)로 전달한다. 그리고 입력부(160)는 터치 스크린으로 형성되거나, 일반적인 키패드로 형성될 수 있다. 입력부(160)는 유저 인터페이스와 같은 의미로 사용될 수 있다. 또한 입력부(160)는 기능을 수행하기 위해 선택되는 기능키, 소프트키 등으로 구성될 수 있다. 입력부(160)은 단말이 inactive 상태에서 active 상태로의 천이를 위한 사용자 contact에 의한 switching 기능을 수행한다. 또는, 도 8과 같이, 입력부(160)는 안경 기능을 갖는 단말의 하나 이상의 버튼에 해당할 수 있다. 입력부(160)는 단말의 모드를 활성 모드로 변경하는 것을 요청하는 제1 모드 스위칭 입력 또는 제2 모드 스위칭 입력을 감지할 수 있다. 입력부(160)는 단말의 모드를 비활성 모드로 변경할 수 없도록 요청하는 비활성 모드의 불능화 입력을 감지할 수 있다. 입력부(160)는 사용자의 보이스 또는 주변 환경의 사운드를 통한 입력을 감지할 수도 있다.
센서부(170)는 사용자의 상황을 인식하기 위해 여러 센서를 포함할 수 있다. 예를 들어, 지자기 센서, 온도 센서, 기압 센서, 근접 센서, 조도 센서, GPS(Global Positioning System), 가속도 센서, 각속도 센서, 속도 센서, 중력 센서, 기울기 센서, 자이로 센서, 거리 센서 등이 센서부(160)에 포함될 수 있다. 센서부(170)는 단말의 주변의 밝기 값을 측정하거나 단말의 사용자와의 거리를 측정할 수 있다.
한편, 상기 단말은 디스플레이부(120), 입력부(160), 센싱부(170)가 계속적으로 동작하는 활성 모드, 디스플레이부(120), 입력부(160), 센싱부(170)가 제한적으로 동작하는 대기 모드, 디스플레이부(120) 또는 입력부(160)만 동작하는 비활성 모드를 가지는 것으로 구현될 수 있다.
도 7에서 카메라(100), 제어부(110), 디스플레이부(120), 클락(130), 통신부(140), 저장부(150), 입력부(160), 센서부(170)가 별도의 블록으로 구성되고, 각 블록이 상이한 기능을 수행하는 것으로 기술하였지만 이는 기술상의 편의를 위한 것일 뿐, 반드시 이와 같이 각 기능이 구분되어지는 것은 아니다.
예를 들어 제어부(110)는 단말이 활성 모드(active mode)에 진입한 상태에서 상기 카메라가 제1 패턴의 움직임을 감지하면 대기 모드(standby mode)로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 카메라가 제2 패턴의 움직임을 감지하면 비활성 모드(inactive mode)로 변경하고, 상기 단말이 상기 비활성 모드에 진입한 상태에서 입력부에서 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경할 수 있다. 제어부(110)는 단말이 상기 대기 모드에 진입한 상태에서, 상기 카메라가 제3 패턴의 움직임을 감지하거나 입력부에서 제2 모드 스위칭 입력을 감지하면 단말의 모드를 활성 모드로 변경할 수 있다. 상기 제1 패턴의 움직임, 상기 제2 패턴의 움직임 또는 상기 제3 패턴의 움직임은 각각 하나 이상의 눈동자의 움직임을 포함할 수 있다. 대기 모드에서의 상기 카메라의 해상도(resolution)는, 활성 모드에서의 상기 카메라의 해상도보다 낮도록 구현할 수 있다.
또한 제어부(110)는 상기 단말이 상기 활성 모드에 진입한 상태에서 제1 타이머가 경과(expire)될 때까지 사용자 입력을 감지(detect)하지 않으면 상기 대기 모드로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 제2 타이머가 경과될 때까지 사용자 입력을 감지하지 않으면 상기 비활성 모드로 변경할 수 있다. 입력부(160)가 상기 비활성 모드의 불능화 입력(disabling input)을 감지한 후에, 제어부(110)는 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 입력부가 상기 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하고, 상기 카메라가 제2 패턴의 움직임을 감지하거나 제2 타이머가 경과(expire)될 때까지 사용자 입력을 감지(detect)하지 않는 경우에 비활성 모드로 변경하지 않을 수 있다.
또한 제어부(110)는, 상기 단말이 상기 활성 모드에 진입한 상태에서 센서부(170)에서 측정한 밝기 값이 제1 밝기 기준값 이하이면 상기 대기 모드로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 센서부(170)에서 측정한 밝기가 제2 밝기 기준값 이하이면 상기 비활성 모드로 변경할 수 있다. 제어부(110)는, 상기 단말이 상기 활성 모드에 진입한 상태에서 센서부(170)에서 측정한 거리가 제1 거리 기준값 이상이면 상기 대기 모드로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 센서부(170)에서 측정한 거리가 제2 거리 기준값 이상이면 상기 비활성 모드로 변경할 수 있다. 한편, 상기 기재와 달리 입력부(160)가 센서부(170)의 기능을 수행하는 것으로 혼용되어 사용될 수도 있다.
도 8은 단말이 안경 기능을 갖는 경우의 단말의 구성을 나타낸다. 도 8에서, 렌즈는 디스플레이 역할을 수행하고 렌즈에 rearview camera를 부착한 것을 도시하였다. 상기 rerarview camera는 아이 트래킹을 위한 정보를 수집할 수 있다. 또한, 도 8은 안경테에 제어부(110), 클락(130), 통신부(140), 입력부(160)를 장착한 것을 도시하였다.
도 9은 전력 관리를 위한 복수의 모드를 제공하는 단말의 상태 천이를 나타낸다.
도 9에서 복수의 모드는 활성 모드(Active Mode), 대기 모드(Standby Mode), 비활성 모드(Inactive Mode)의 3단계로 구별되어 있다. 활성 모드는 사용자의 활동(activity)가 지속되는 상태를 나타내고, 대기 모드와 비활성 모드는 저전력 모드이다. 단말이 대기 모드에 진입하면, 아이 트래킹을 위한 유저 인터페이스 또는 센서부의 구동과 같은 일부 기능을 제외한 단말의 기능들을 정지시킬 수 있다. 단말이 비활성 모드에 진입하면 키 입력(key input) 등의 접촉 유저 인터페이스를 통하여만 활성 모드로 천이할 수 있다. 비활성 모드에서 활성 모드로 천이하기 위한 입력을 제1 모드 스위칭 입력이라 부를 수 있다. 활성 모드와 대기 모드는 아이 트래킹 정보를 이용한 양방향 천이가 가능하다.
대기 모드는 아이 트래킹이 가능한 한도에서 카메라 해상도(Camera resolution) 조정을 통하여 단말의 전력 소모를 줄일 수 있다. 즉 아이 트래킹을 위한 대기 모드에서는 고해상도가 아닌 아이 트래킹에 최적화된 해상도를 사용할 수 있다. 예를 들어, 단말에 장착된 카메라의 해상도(resolution)가 활성 모드에서 8M pixel인 경우, 대기 모드에서는 상기 해상도를 아이 트래킹에 필요한 1M pixel로 낮출 수 있다. 이는 센서부에 의해 획득한 컨텍스트 정보를 이용하여 모드 변경을 수행하는 경우에도, 센서부의 센싱 감도를 낮추어서 소모 전력을 줄이는 형태로 적용될 수 있다.
대기 모드에서 사용자의 비활동(inactivity)이 일정 시간 이상 지속되거나 아이 트래킹에 의해 특정 패턴의 움직임을 감지하면, 비활성 모드로 천이하여 아이 트래킹 관련 장치(카메라)를 disable하여 전력을 감소시킬 수 있다. 비활성 모드에서 활성 모드로의 천이는 유저 인터페이스(user interface)에의 키 입력 등의 접촉(contact)에 기반하여 발생할 수 있다.
한편, 대기 모드에서 비활성 모드로 천이하기 위한 조건 중 하나인 비활동 타이머(Inactivity timer)를 disable하도록 설정하여, 비활성 모드로의 천이가 발생하지 않고 대기 모드와 활성 모드 간의 천이만 존재하도록 구현할 수 있다. 이 경우에는 아이 트래킹을 통하여 단말의 모드 변경을 모두 제어할 수 있게 된다.
도 10은 대기 모드에서 유저 인터페이스의 전력 소모를 나타낸다.
대기 모드에서 정해진 시간 ta동안만 모니터링 동작을 수행하고 잔여 시간은 관련 블록을 off함으로써 전력소모를 줄일 수 있다. 모니터링 동작은 특정 주기 ti를 가지고 활성화될 수 있으며, 주기 ti는 사용자가 설정할 수 있다. 대기 모드에서 ta를 제외한 시간동안은 단말이 Idle State에 머무르며, Idle state에 머무르는 동안은 모니터링 동작에 필요한 블록을 off(disable)한다. 대기 모드에서는 주기적 또는 사용자가 원하는 시점에 wake-up을 위한 저전력 저 주파수 클락(low power low frequency clock)을 구동할 수 있다. 대기 모드에서 ta동안은 단말이 Monitoring State에 머무르며, Monitoring State에 머무르는 동안은 monitoring 관련 블록(예를 들어 카메라 또는 센서부)을 enable하여 아이 트래킹 정보 또는 컨텍스트 정보를 획득하고, 이를 이용하여 활성 모드로로의 천이 여부를 결정할 수 있다.
도 11 및 도 12은 단말의 모드 변경과 이에 따른 전력 소모를 나타낸다.
활성 모드에서 t1 시간 동안의 inactivity를 감지하면 대기 모드로 진입한다. 대기 모드에서는 아이 트래킹 또는 센서부의 센싱을 통하여 사용자 활동(user activity)을 모니터링하며, 상기 모니터링은 도 10에 도시한 것과 같이 주기적으로 수행될 수 있다. 대기 모드에서 t2시간 동안의 inactivity를 감지하거나 eye tracking event를 감지하면 비활성 모드로 진입한다(도 11의 1110). 비활성 모드에서는 모니터링 관련 블록을 추가적으로 off(disable)하게 된다. 대기 모드에서 inactivity time인 t2이 경과하기 이전에 eye tracking event가 발생하는 경우, 단말 상태가 활성 모드(도 12의 1210)로 다시 진입한 것을 도시하고 있다.
도 13은 페이징 신호의 수신과 아이 트래킹의 감지 간의 동기화를 나타낸다.
단말은, 무선 통신을 위한 모뎀의 상태(state)와 아이 트래킹을 위한 장치들(유저 인터페이스 및 카메라 등)의 상태를 개별적으로 제어할 수 있다. 도 13(a)와 같이, idle state에 있는 모뎀은 페이징 신호의 수신을 위해 주기적으로 active state로 상태가 변경될 수 있다. 또한 도 13(b)와 같이, 아이 트래킹의 모니터링을 위해, idle state에 있는 아이 트래킹을 위한 장치들은 주기적으로 monitoring state로 상태가 변경될 수 있다. 상기의 모뎀의 wake up 동작과 아이 트래킹을 위한 장치들의 wake up 동작을 동기화하면 단말의 전력 소모를 줄일 수 있다. 이는 다시 말해 모뎀의 수면 모드 제어와 아이 트래킹을 위한 장치들의 대기 모드 제어를 동기화하는 것이다.
한편, 모뎀의 경우 표준에 의하여 wake up의 주기가 정해져 있다. 따라서 대기 모드에서 아이 트래킹 모니터링을 주기적으로 수행할 경우, 모뎀의 wake up 시점에 맞추어 관련 기능을 수행함으로써 wake up시 발생하는 전류소모의 오버헤드(overhead)를 제거할 수 있다. 도 13에서는 Monitoring을 위한 active 시점을 모뎀의 wake up 주기와 정렬(align)한 것을 도시하였다.
도 14는 전력 관리를 위한 복수의 모드를 제공하는 단말의 모드 변경 동작의 하나의 실시예를 도시한다.
우선, 단말이 활성 모드(active mode)에 진입한 상태이다(S1405). 활성 모드에 진입한 상태에서는 상기 단말이 포함하는 카메라가 사용자의 움직임에 대한 정보를 계속적으로(continuously) 획득할 수 있다. 상기 단말이 활성 모드에 진입한 상태에서, 상기 카메라가 제1 패턴의 움직임을 감지하는지 판단할 수 있다(S1410). 상기 제1 패턴의 움직임은 사용자에 의해 미리 설정될 수 있으며, 예를 들어, 사용자의 팔을 이용한 동작, 사용자의 다리를 이용한 동작, 또는 사용자의 눈동자의 움직임에 해당할 수 있다. 상기 카메라가 상기 제1 패턴의 움직임을 감지하지 않으면, 단말의 입력부가 사용자 입력을 감지하지 않는 상태에서 제1 타이머가 경과(expire)되는지 판단할 수 있다(S1415). 상기 제1 타이머는 사용자에 의해 미리 설정될 수 있으며, 예를 들어 3분에 해당할 수 있다. 사용자 입력을 감지하지 않은 상태로 제1 타이머가 경과되지 않았으면, 상기 단말은 활성 모드에 진입한 상태를 유지한다.
상기 카메라가 제1 패턴의 움직임을 감지하거나 또는 단말의 입력부가 사용자 입력을 감지하지 않는 상태로 제1 타이머가 경과하면, 상기 단말은 대기 모드(standby mode)로 진입한다(S1420). 대기 모드에 진입한 상태에서는 상기 단말이 포함하는 카메라가 사용자의 움직임에 대한 정보를 주기적으로(periodically) 획득할 수 있다.
상기 단말이 대기 모드에 진입한 상태에서, 상기 카메라가 제3 패턴의 움직임을 감지하는지 또는 단말의 입력부가 제2 모드 스위칭 입력을 감지하는지 판단할 수 있다(S1425). 상기 카메라가 제3 패턴의 움직임을 감지하거나 또는 단말의 입력부가 제2 모드 스위칭 입력을 감지하는 경우에는, 상기 단말은 활성 모드로 진입한다.
상기 단말이 대기 모드에 진입한 상태에서, 단말의 입력부가 비활성 모드의 불능화 입력(disabling input)을 감지하는지 판단할 수 있다(S1430). 1430 단계에서 상기 단말이 대기 모드에 진입한 상태에서 상기 불능화 입력을 감지하는지 판단하는 것으로 도시하였으나 이에 한정되는 것은 아니고, 상기 1430 단계는, 상기 단말이 대기 모드에 진입한 상태에서 상기 불능화 입력을 감지하거나 또는 대기 모드에 진입하기 이전에 상기 불능화 입력을 감지하였는지 판단하는 것으로 구현할 수도 있다. 상기 입력부가 상기 불능화 입력을 감지하는 경우에는, 상기 입력부가 제1 모드 스위칭 입력을 감지하는지 판단할 수 있다(S1435). 상기 입력부가 제1 모드 스위칭 입력을 감지하면 상기 단말은 활성 모드에 진입할 수 있다.
상기 단말이 대기 모드에 진입한 상태에서, 상기 카메라가 제2 패턴의 움직임을 감지하는지 판단할 수 있다(S1440). 상기 제2 패턴의 움직임은 사용자에 의해 미리 설정될 수 있으며, 예를 들어, 사용자의 팔을 이용한 동작, 사용자의 다리를 이용한 동작, 또는 사용자의 눈동자의 움직임에 해당할 수 있다. 상기 카메라가 상기 제2 패턴의 움직임을 감지하지 않으면, 단말의 입력부가 사용자 입력을 감지하지 않는 상태에서 제2 타이머가 경과(expire)되는지 판단할 수 있다(S1445). 상기 제2 타이머는 사용자에 의해 미리 설정될 수 있으며, 예를 들어 2분에 해당할 수 있다. 사용자 입력을 감지하지 않은 상태로 제2 타이머가 경과되지 않았으면, 상기 단말은 대기 모드에 진입한 상태를 유지한다.
상기 카메라가 제2 패턴의 움직임을 감지하거나 또는 단말의 입력부가 사용자 입력을 감지하지 않는 상태로 제2 타이머가 경과하면, 상기 단말은 비활성 모드(inactive mode)로 진입한다(S1450). 비활성 모드에 진입한 상태에서는 상기 단말이 포함하는 카메라에 전력이 공급되지 않으므로, 상기 카메라가 사용자의 움직임에 대한 정보를 획득하지 않는다.
상기 단말이 비활성 모드에 진입한 상태에서, 단말의 입력부가 제1 모드 스위칭 입력을 감지하는지 판단할 수 있다(S1455). 상기 입력부가 상기 제1 모드 스위칭 입력을 감지하지 않으면, 상기 단말은 비활성 모드에 진입한 상태를 유지한다. 상기 입력부가 제1 모드 스위칭 입력을 감지하면 상기 단말은 활성 모드에 진입한다(S1460).
도 15는 전력 관리를 위한 복수의 모드를 제공하는 단말의 모드 변경 동작의 실시예를 도시한다.
우선, 단말이 활성 모드(active mode)에 진입한 상태이다(S1505). 활성 모드에 진입한 상태에서는 상기 단말이 포함하는 센서부가 단말의 컨텍스트 정보를 계속적으로(continuously) 획득할 수 있다. 상기 컨텍스트 정보는, 예를 들어, 상기 단말의 주변의 밝기 값, 상기 단말의 사용자와 상기 단말 간의 거리, 상기 단말이 감지하는 진동 중에서 적어도 하나를 포함할 수 있다. 상기 컨텍스트 정보는 상기 예시에 한정되는 것은 아니며, 단말의 센서부에 의해 획득할 수 있는 다른 정보를 포함할 수도 있다. 상기 단말은 활성 모드에 진입한 상태에서, 상기 센서부는 상기 단말의 주변의 밝기 값이 제1 밝기 기준값 이하인지 또는 상기 단말의 사용자와의 거리가 제1 거리 기준값 이상인지 판단할 수 있다(S1510). 상기 제1 밝기 기준값 또는 상기 제1 거리 기준값은 사용자에 의해 미리 설정될 수 있다. 상기 단말의 주변의 밝기 값이 제1 밝기 기준값 이상이고 상기 단말의 사용자와의 거리가 제1 거리 기준값 이하이면, 상기 단말은 활성 모드에 진입한 상태를 유지한다.
상기 단말의 주변의 밝기 값이 제1 밝기 기준값 이하이거나 상기 단말의 사용자와의 거리가 제1 거리 기준값 이상이면, 상기 단말은 대기 모드(standby mode)로 진입한다(S1515). 대기 모드에 진입한 상태에서는 상기 단말이 포함하는 센서부가 단말의 컨텍스트 정보를 주기적으로(periodically) 획득할 수 있다.
상기 단말이 대기 모드에 진입한 상태에서, 상기 센서부는 상기 단말의 주변의 밝기 값이 제2 밝기 기준값 이하인지 또는 상기 단말의 사용자와의 거리가 제2 거리 기준값 이상인지 판단할 수 있다(S1520). 상기 제2 밝기 기준값 또는 상기 제2 거리 기준값은 사용자에 의해 미리 설정될 수 있다. 상기 단말의 주변의 밝기 값이 제2 밝기 기준값 이상이고 상기 단말의 사용자와의 거리가 제2 거리 기준값 이하이면, 상기 단말은 대기 모드에 진입한 상태를 유지한다.
상기 단말의 주변의 밝기 값이 제2 밝기 기준값 이하이거나 상기 단말의 사용자와의 거리가 제2 거리 기준값 이상이면, 상기 단말은 비활성 모드로 진입한다(S1525). 비활성 모드에 진입한 상태에서는 상기 단말이 포함하는 센서부에 전력이 공급되지 않으므로, 상기 센서부가 사용자의 움직임에 대한 정보를 획득하지 않는다. 비활성 모드에서 센서부의 일부 기능이 작동하는 경우에는 작동하는 해당 기능을 이용하여 컨텍스트 정보를 획득하고, 획득한 컨텍스트 정보를 단말의 모드 변경의 기준으로 삼을 수도 있다.
제1 밝기 기준값은 제2 밝기 기준값보다 큰 것이 일반적이고, 제1 거리 기준값은 제2 거리 기준값보다 작은 것이 일반적이다. 한편, 상기 제2 밝기 기준값은 상기 제1 밝기 기준값과 동일한 값으로 설정할 수 있다. 또한 상기 제2 거리 기준값은 상기 제1 거리 기준값과 동일한 값으로 설정할 수 있다. 이 경우 상기 단말의 주변의 밝기 값이 제1 밝기 기준값 이하이거나 상기 단말의 사용자와의 거리가 제1 거리 기준값 이상이면, 활성 모드에 진입한 상태의 단말은 비활성 모드로 곧바로(directly) 진입할 수 있다.
상기 단말이 비활성 모드에 진입한 상태에서, 단말의 입력부가 제1 모드 스위칭 입력을 감지하는지 판단할 수 있다(S1530). 상기 입력부가 상기 제1 모드 스위칭 입력을 감지하지 않으면, 상기 단말은 비활성 모드에 진입한 상태를 유지한다. 상기 입력부가 제1 모드 스위칭 입력을 감지하면 상기 단말은 활성 모드에 진입한다(S1535).
도 15에서는 단말의 컨텍스트 정보로서 단말의 주변의 밝기 값과 단말의 사용자와 단말 간의 거리에 기초하여 단말의 모드를 변경하는 것을 예시하였으나 이에 한정되는 것은 아니다. 예를 들어, 단말의 주변의 밝기 값과 단말의 사용자와 단말 간의 거리 중에서 하나만에 기초하여 단말의 모드를 변경할 수도 있고, 센서부가 감지할 수 있는 다른 컨텍스트 정보로 할 수도 있다. 또한 도 14에서 설명한 아이 트래킹 정보 또는 타이머 경과 정보 중에서 적어도 하나를 더 고려하여 단말의 모드 변경을 제어하는 것으로 구현할 수도 있다.

Claims (20)

  1. 사용자의 움직임에 대한 정보를 획득하는 카메라를 구비하고 전력 관리를 위한 복수의 모드를 제공하는 단말이 모드를 변경하는 방법에 있어서,
    상기 단말이 활성 모드(active mode)에 진입한 상태에서, 상기 카메라가 제1 패턴의 움직임을 감지하면 대기 모드(standby mode)로 변경하는 단계;
    상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 카메라가 제2 패턴의 움직임을 감지하면 비활성 모드(inactive mode)로 변경하는 단계; 및
    상기 단말이 상기 비활성 모드에 진입한 상태에서, 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하는 단계를 포함하고,
    상기 카메라는 상기 활성 모드 또는 상기 대기 모드에 진입한 상태에서만 상기 사용자의 움직임에 대한 정보를 획득하는 것을 특징으로 하는 단말의 모드 변경 방법.
  2. 제1항에 있어서,
    상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 카메라가 제3 패턴의 움직임을 감지하거나 제2 모드 스위칭 입력을 감지하면 활성 모드로 변경하는 단계를 더 포함하는 것을 특징으로 하는 단말의 모드 변경 방법.
  3. 제2항에 있어서,
    상기 카메라는 상기 사용자의 눈동자의 움직임을 감지하고,
    상기 제1 패턴의 움직임, 상기 제2 패턴의 움직임 또는 상기 제3 패턴의 움직임은 각각 하나 이상의 눈동자의 움직임을 포함하는 것을 특징으로 하는 단말의 모드 변경 방법.
  4. 제1항에 있어서,
    상기 대기 모드에서의 상기 카메라의 해상도(resolution)는, 상기 활성 모드에서의 상기 카메라의 해상도보다 낮은 것을 특징으로 하는 단말의 모드 변경 방법.
  5. 제1항에 있어서,
    상기 단말이 상기 활성 모드에 진입한 상태에서, 제1 타이머가 경과(expire)될 때까지 사용자 입력을 감지(detect)하지 않으면 상기 대기 모드로 변경하는 단계; 및
    상기 단말이 상기 대기 모드에 진입한 상태에서, 제2 타이머가 경과될 때까지 사용자 입력을 감지하지 않으면 상기 비활성 모드로 변경하는 단계를 더 포함하는 것을 특징으로 하는 단말의 모드 변경 방법.
  6. 제5항에 있어서,
    상기 비활성 모드의 불능화 입력(disabling input)을 감지하는 단계; 및
    상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하는 단계를 더 포함하고,
    상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 카메라가 제2 패턴의 움직임을 감지하거나 제2 타이머가 경과(expire)될 때까지 사용자 입력을 감지(detect)하지 않는 경우에 비활성 모드로 변경하지 않는 것을 특징으로 하는 단말의 모드 변경 방법.
  7. 제1항에 있어서,
    상기 카메라는, 상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 사용자의 움직임에 대한 정보를 주기적으로 획득하는 것을 특징으로 하는 단말의 모드 변경 방법.
  8. 제7항에 있어서,
    상기 사용자의 움직임에 대한 정보의 획득의 주기는, 상기 단말이 페이징 신호를 수신하는 주기와 동일하도록 동기화된 것을 특징으로 하는 단말의 모드 변경 방법.
  9. 제1항에 있어서,
    상기 단말의 주변의 밝기 값을 측정하는 단계;
    상기 단말이 상기 활성 모드에 진입한 상태에서, 상기 밝기 값이 제1 밝기 기준값 이하이면 상기 대기 모드로 변경하는 단계; 및
    상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 밝기 값이 제2 밝기 기준값 이하이면 상기 비활성 모드로 변경하는 단계를 더 포함하는 것을 특징으로 하는 단말의 모드 변경 방법.
  10. 제1항에 있어서,
    상기 사용자와의 거리를 측정하는 단계;
    상기 단말이 상기 활성 모드에 진입한 상태에서, 상기 거리가 제1 거리 기준값 이상이면 상기 대기 모드로 변경하는 단계; 및
    상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 거리가 제2 거리 기준값 이상이면 상기 비활성 모드로 변경하는 단계를 더 포함하는 것을 특징으로 하는 단말의 모드 변경 방법.
  11. 전력 관리를 위한 복수의 모드를 제공하는 단말에 있어서,
    사용자의 움직임에 대한 정보를 획득하는 카메라;
    사용자에 의한 입력을 감지하는 입력부; 및
    상기 단말이 활성 모드(active mode)에 진입한 상태에서 상기 카메라가 제1 패턴의 움직임을 감지하면 대기 모드(standby mode)로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 카메라가 제2 패턴의 움직임을 감지하면 비활성 모드(inactive mode)로 변경하고, 상기 단말이 상기 비활성 모드에 진입한 상태에서 입력부에서 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하는 제어부를 포함하고,
    상기 카메라는 상기 활성 모드 또는 상기 대기 모드에 진입한 상태에서만 상기 사용자의 움직임에 대한 정보를 획득하는 것을 특징으로 하는 단말.
  12. 제11항에 있어서,
    상기 제어부는, 상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 카메라가 제3 패턴의 움직임을 감지하거나 입력부에서 제2 모드 스위칭 입력을 감지하면 활성 모드로 변경하는 것을 특징으로 하는 단말.
  13. 제12항에 있어서,
    상기 카메라는 상기 사용자의 눈동자의 움직임을 감지하고,
    상기 제1 패턴의 움직임, 상기 제2 패턴의 움직임 또는 상기 제3 패턴의 움직임은 각각 하나 이상의 눈동자의 움직임을 포함하는 것을 특징으로 하는 단말.
  14. 제11항에 있어서,
    상기 대기 모드에서의 상기 카메라의 해상도(resolution)는, 상기 활성 모드에서의 상기 카메라의 해상도보다 낮은 것을 특징으로 하는 단말.
  15. 제11항에 있어서,
    상기 제어부는, 상기 단말이 상기 활성 모드에 진입한 상태에서 제1 타이머가 경과(expire)될 때까지 사용자 입력을 감지(detect)하지 않으면 상기 대기 모드로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 제2 타이머가 경과될 때까지 사용자 입력을 감지하지 않으면 상기 비활성 모드로 변경하는 것을 특징으로 하는 단말.
  16. 제15항에 있어서, 상기 제어부는,
    상기 입력부가 상기 비활성 모드의 불능화 입력(disabling input)을 감지한 후에, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 입력부가 상기 제1 모드 스위칭 입력을 감지하면 상기 활성 모드로 변경하고, 상기 카메라가 제2 패턴의 움직임을 감지하거나 제2 타이머가 경과(expire)될 때까지 사용자 입력을 감지(detect)하지 않는 경우에 비활성 모드로 변경하지 않는 것을 특징으로 하는 단말.
  17. 제11항에 있어서,
    상기 카메라는, 상기 단말이 상기 대기 모드에 진입한 상태에서, 상기 사용자의 움직임에 대한 정보를 주기적으로 획득하는 것을 특징으로 하는 단말.
  18. 제17항에 있어서,
    상기 사용자의 움직임에 대한 정보의 획득의 주기는, 상기 단말이 페이징 신호를 수신하는 주기와 동일하도록 동기화된 것을 특징으로 하는 단말.
  19. 제11항에 있어서,
    상기 단말은 상기 단말의 주변의 밝기 값을 측정하는 센서부를 더 포함하고,
    상기 제어부는, 상기 단말이 상기 활성 모드에 진입한 상태에서 상기 센서부에서 측정한 밝기 값이 제1 밝기 기준값 이하이면 상기 대기 모드로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 센서부에서 측정한 밝기가 제2 밝기 기준값 이하이면 상기 비활성 모드로 변경하는 것을 특징으로 하는 단말.
  20. 제11항에 있어서,
    상기 단말은 상기 사용자와의 거리를 측정하는 센서부를 더 포함하고,
    상기 제어부는, 상기 단말이 상기 활성 모드에 진입한 상태에서 상기 센서부에서 측정한 거리가 제1 거리 기준값 이상이면 상기 대기 모드로 변경하고, 상기 단말이 상기 대기 모드에 진입한 상태에서 상기 센서부에서 측정한 거리가 제2 거리 기준값 이상이면 상기 비활성 모드로 변경하는 것을 특징으로 하는 단말.
KR1020140103785A 2013-08-23 2014-08-11 단말의 모드 변경 방법 및 장치 KR102305578B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14837640.3A EP3036599B1 (en) 2013-08-23 2014-08-22 Mode switching method and apparatus of terminal
PCT/KR2014/007844 WO2015026203A1 (en) 2013-08-23 2014-08-22 Mode switching method and apparatus of terminal
US14/466,054 US9652024B2 (en) 2013-08-23 2014-08-22 Mode switching method and apparatus of terminal
CN201480046235.2A CN105492998A (zh) 2013-08-23 2014-08-22 终端的模式切换方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361869247P 2013-08-23 2013-08-23
US61/869,247 2013-08-23

Publications (2)

Publication Number Publication Date
KR20150022673A true KR20150022673A (ko) 2015-03-04
KR102305578B1 KR102305578B1 (ko) 2021-09-27

Family

ID=53020591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140103785A KR102305578B1 (ko) 2013-08-23 2014-08-11 단말의 모드 변경 방법 및 장치

Country Status (3)

Country Link
EP (1) EP3036599B1 (ko)
KR (1) KR102305578B1 (ko)
CN (1) CN105492998A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166740A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 이동 단말기
WO2022139895A1 (en) * 2020-12-21 2022-06-30 Intel Corporation Methods and apparatus to improve user experience on computing devices
US20220334620A1 (en) 2019-05-23 2022-10-20 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
US11538316B2 (en) 2016-04-07 2022-12-27 Hanwha Techwin Co., Ltd. Surveillance system and control method thereof
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
KR102494735B1 (ko) * 2022-10-07 2023-02-06 주식회사 에이닉스 유휴 모드 제어 기반의 컴퓨터 에너지 절감 시스템
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11966268B2 (en) 2019-12-27 2024-04-23 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076172A1 (zh) * 2016-10-25 2018-05-03 华为技术有限公司 一种图像显示方法及终端
CN108307382B (zh) * 2017-01-13 2022-11-08 中兴通讯股份有限公司 终端状态的获取、指示方法及装置
JP2018160799A (ja) * 2017-03-23 2018-10-11 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御方法、プログラム、及び、電子機器システム
US10882453B2 (en) * 2017-04-01 2021-01-05 Intel Corporation Usage of automotive virtual mirrors
TWI768439B (zh) * 2020-08-20 2022-06-21 黃湘豪 非入侵式通訊檢查和控制裝置
US20220383512A1 (en) * 2021-05-27 2022-12-01 Varjo Technologies Oy Tracking method for image generation, a computer program product and a computer system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2587341A1 (en) * 2011-10-27 2013-05-01 Tobii Technology AB Power management in an eye-tracking system
US20130135204A1 (en) * 2011-11-30 2013-05-30 Google Inc. Unlocking a Screen Using Eye Tracking Information

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
US9766700B2 (en) * 2011-12-14 2017-09-19 Intel Corporation Gaze activated content transfer system
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2587341A1 (en) * 2011-10-27 2013-05-01 Tobii Technology AB Power management in an eye-tracking system
US20130135204A1 (en) * 2011-11-30 2013-05-30 Google Inc. Unlocking a Screen Using Eye Tracking Information

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538316B2 (en) 2016-04-07 2022-12-27 Hanwha Techwin Co., Ltd. Surveillance system and control method thereof
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
WO2020166740A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 이동 단말기
US11782488B2 (en) 2019-05-23 2023-10-10 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US20220334620A1 (en) 2019-05-23 2022-10-20 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11874710B2 (en) 2019-05-23 2024-01-16 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11966268B2 (en) 2019-12-27 2024-04-23 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
WO2022139895A1 (en) * 2020-12-21 2022-06-30 Intel Corporation Methods and apparatus to improve user experience on computing devices
KR102494735B1 (ko) * 2022-10-07 2023-02-06 주식회사 에이닉스 유휴 모드 제어 기반의 컴퓨터 에너지 절감 시스템

Also Published As

Publication number Publication date
EP3036599A1 (en) 2016-06-29
CN105492998A (zh) 2016-04-13
KR102305578B1 (ko) 2021-09-27
EP3036599B1 (en) 2020-04-01
EP3036599A4 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
KR102305578B1 (ko) 단말의 모드 변경 방법 및 장치
US9652024B2 (en) Mode switching method and apparatus of terminal
US10416748B2 (en) Method and apparatus for controlling an operation mode of a mobile terminal
US9921631B2 (en) Methods and apparatus for saving power
US9851779B2 (en) Method and apparatus for controlling sleep mode using a low power processor in portable terminal
US10356320B2 (en) Information processing device and image input device
US10706491B2 (en) Display device with multi-processor, control method for the same, and storage medium having control program stored thereon
JP2015156610A (ja) 電子機器、および電源制御方法
WO2019183786A1 (zh) 一种提示信息的显示方法及电子设备
JP6432767B2 (ja) 電子機器及びその制御方法、制御プログラム
KR20120138311A (ko) 휴대 단말기에서 배터리를 교체하는 장치 및 방법
US20160021291A1 (en) Launching a camera of a wireless device from a wearable device
JP6123514B2 (ja) 電子機器、電子機器の制御方法およびプログラム
KR102128582B1 (ko) 카메라를 가지는 전자 장치 및 이를 운영하는 방법
CN110738971A (zh) 用于墨水屏的页面刷新方法及装置
CN112198954B (zh) 帧率设置方法、装置、存储介质及移动终端
KR102244040B1 (ko) 전자장치의 전류소모를 줄이기 위한 방법 및 장치
US11508282B2 (en) Display control device, display control method, and non-transitory recording medium
KR101913632B1 (ko) 휴대단말기의 동작 모드 제어 방법 및 장치
GB2579999A (en) Methods and apparatus for saving power

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant