KR101965365B1 - 검출되는 응시에 기초한 디바이스 상호작용을 위한 시스템들 및 방법들 - Google Patents

검출되는 응시에 기초한 디바이스 상호작용을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR101965365B1
KR101965365B1 KR1020157028707A KR20157028707A KR101965365B1 KR 101965365 B1 KR101965365 B1 KR 101965365B1 KR 1020157028707 A KR1020157028707 A KR 1020157028707A KR 20157028707 A KR20157028707 A KR 20157028707A KR 101965365 B1 KR101965365 B1 KR 101965365B1
Authority
KR
South Korea
Prior art keywords
detected
gaze
triggering event
detecting
detection
Prior art date
Application number
KR1020157028707A
Other languages
English (en)
Other versions
KR20150128967A (ko
Inventor
다렐 엘. 크룰세
프란시스 비. 맥더겔
사운 더블유. 반 다이켄
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150128967A publication Critical patent/KR20150128967A/ko
Application granted granted Critical
Publication of KR101965365B1 publication Critical patent/KR101965365B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Power Sources (AREA)
  • Position Input By Displaying (AREA)

Abstract

응시 검출을 사용하여 사용자가 디바이스와 상호작용하도록 허용하는 시스템들 및 방법들이 제공된다. 제공되는 시스템들 및 방법들에서는, 트리거링 이벤트를 검출함으로써, 응시 검출이 개시된다. 일단 응시 검출이 개시되었다면, 사용자의 응시를 검출하는 것은 사용자가, 디바이스의 디스플레이 컴포넌트를 활성화하고, 디바이스 상에서 보안 챌린지를 통과하고, 그리고 디바이스 상에서 콘텐트 및 경보들을 보도록 허용할 수 있다. 응시 검출은, 사용자의 응시를 찾는 것을 계속할 수 있고, 응시가 검출되는 한, 디바이스의 디스플레이 컴포넌트를 활성화된 상태로 유지시킬 수 있지만, 일단 응시가 더 이상 검출되지 않으면, 디바이스의 디스플레이 컴포넌트를 비활성화할 수 있다. 또한, 전력을 아끼기 위해, 다른 트리거링 이벤트가 검출될 때까지, 응시 검출은 비활성화될 수 있다.

Description

검출되는 응시에 기초한 디바이스 상호작용을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR DEVICE INTERACTION BASED ON A DETECTED GAZE}
[0001] 본원에 개시되는 실시예들은 일반적으로, 검출되는 응시에 기초하여 디바이스들과 상호작용하기 위한 시스템들 및 방법들에 관한 것이다.
[0002] 전자 디바이스들이 더 신속해지고, 증가된 해상도를 갖는 더 큰 디스플레이들을 갖기 때문에, 이들 전자 디바이스들을 동작시키는데 필요한 전력이 또한 증가한다. 전력을 아끼기 위하여, 많은 디바이스들은 사용중이지 않을 때 디스플레이를 턴 오프할 셋팅들을 포함한다.
[0003] 그러나, 사용자가 디바이스와 상호작용하기를 원할 때, 사용자는 종종, 디스플레이를 활성화하기 위해, 먼저 버튼을 누르거나 또는 그렇지 않으면 디바이스와 수동으로 상호작용할 필요가 있다. 예컨대, 데스크톱 컴퓨터는 종종, 디스플레이를 활성화하기 위해, 하나 또는 그 초과의 버튼들을 누르거나 또는 마우스와 같은 상호작용 디바이스를 조작하도록 사용자에게 요구한다. 모바일 디바이스들 상에서, 사용자는 버튼을 누르거나 또는 디스플레이를 탭(tap)해야 할 수 있다. 추가로, 보안 챌린지(security challenge)들, 예컨대 잠금화면(lockscreen)들을 포함하는 디바이스들 상에서, 잠금해제(unlock) 기능이 모바일 디바이스 상에서의 단순한 스와이프(swipe)이든 또는 복잡한 패스워드를 입력하는 것이든 간에, 사용자는 종종 잠금해제 기능을 또한 수행해야 한다.
[0004] 따라서, 필요한 것은, 개선되고 더 매끄러운 상호작용 경험을 제공하고 사용자가 디바이스와 상호작용하는 것을 더 쉽게 만드는, 디바이스와 상호작용하기 위한 방법이다.
[0005] 몇몇 실시예들에 일치하게, 검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템이 제공된다. 시스템은, 트리거링 이벤트를 검출하도록 구성된 하나 또는 그 초과의 센서들, 및 사용자의 응시를 검출하도록 구성된 광학 검출 센서 모듈을 포함하고, 하나 또는 그 초과의 센서들이 트리거링 이벤트를 검출할 때, 광학 검출 센서 모듈이 활성화된다. 시스템은 또한, 디스플레이 컴포넌트를 포함하고, 광학 검출 센서 모듈이 사용자의 응시를 검출할 때, 디스플레이 컴포넌트가 활성화되고, 미리결정된 시간량 후, 광학 검출 센서가 더 이상 응시를 검출하지 않을 때, 디스플레이 컴포넌트가 비활성화된다.
[0006] 몇몇 실시예들에 일치하게, 추가로, 디바이스 상호작용을 위한 방법이 제공된다. 방법은, 트리거링 이벤트를 검출하는 단계, 트리거링 이벤트가 검출될 때, 응시 검출을 활성화하는 단계, 광학 검출 센서로부터의 정보에 기초하여, 응시가 활성화된 응시 검출에 기초하여 검출되는지의 여부를 결정하는 단계, 응시가 검출될 때 디바이스의 디스플레이를 활성화하는 단계, 및 미리결정된 시간량 후, 응시가 검출되지 않을 때, 응시 검출을 비활성화하는 단계를 포함한다. 또한, 방법은 컴퓨터-판독가능 매체에서 구현될 수 있다.
[0007] 몇몇 실시예들에 일치하게, 추가로, 디바이스 상에서 콘텐트를 디스플레이하기 위한 방법이 제공된다. 방법은, 콘텐트가 디바이스에 의한 디스플레이를 위해 이용 가능함을 결정하는 단계, 콘텐트가 디스플레이를 위해 이용 가능한 것으로 결정될 때, 디바이스의 디스플레이 컴포넌트를 및 디바이스의 광학 검출 센서를 활성화하는 단계, 광학 검출 센서와 통신하는 디바이스의 하나 또는 그 초과의 프로세서들에 의해, 응시가 검출되는지의 여부를 결정하는 단계, 응시가 검출될 때 콘텐트를 디스플레이하고, 응시가 검출되는 한, 디스플레이 컴포넌트를 액티브로 유지시키는 단계, 및 응시가 검출되지 않을 때, 광학 검출 센서 및 디스플레이 컴포넌트를 비활성화하는 단계를 포함한다.
[0008] 몇몇 실시예들에 일치하게, 추가로, 디바이스 상호작용을 위한 시스템이 제공된다. 시스템은, 트리거링 이벤트를 검출하기 위한 수단 및 응시를 검출하기 위한 수단을 포함하고, 트리거링 이벤트가 검출될 때, 응시를 검출하기 위한 수단이 활성화된다. 시스템은 또한, 응시가 검출되는지의 여부를 결정하기 위한 수단, 응시가 검출될 때, 디바이스의 디스플레이를 활성화하기 위한 수단, 및 미리결정된 시간량 후, 응시가 검출되지 않을 경우, 응시 검출을 비활성화하기 위한 수단을 포함한다.
[0009] 도 1은 몇몇 실시예들에 일치하는 프로세싱 디바이스를 예시하는 도면이다.
[0010] 도 2는 몇몇 실시예들에 일치하는, 사용자의 응시를 검출하는 것에 기초한 디바이스 상호작용을 위한 프로세스를 예시하는 흐름도이다.
[0011] 도 3은 몇몇 실시예들에 일치하는, 응시 검출을 사용하여 디바이스의 디스플레이 컴포넌트를 활성화하기 위한 프로세스를 예시하는 흐름도이다.
[0012] 도 4는 몇몇 실시예들에 일치하는, 응시 검출을 사용하여 디스플레이 컴포넌트 상에서 콘텐트를 디스플레이하기 위한 프로세스를 예시하는 흐름도이다.
[0013] 도면들에서는, 동일한 표시를 갖는 엘리먼트들이 동일한 또는 유사한 기능들을 갖는다.
[0014] 하기의 설명에서는, 특정 실시예들을 설명하는 특정 세부사항들이 제시된다. 그러나, 이들 특정 세부사항들 중 일부 또는 전부 없이, 개시되는 실시예들이 실시될 수 있음이 당업자에게 명백할 것이다. 제시되는 특정 실시예들은 예시적인 것으로 여겨지지만, 제한하는 것으로 여겨지지는 않는다. 당업자는, 본원에서 구체적으로 설명되지 않지만 본 개시물의 범위 및 사상 내에 있는 다른 재료를 인식할 수 있다.
[0015] 도 1은 몇몇 실시예들에 일치하는 프로세싱 디바이스(100)를 예시하는 도면이다. 프로세싱 디바이스(100)는 모바일 디바이스, 예컨대 iPhone™과 같은 스마트폰, 또는 iOS™ 운영체제, Android™ 운영체제, BlackBerry™ 운영체제, Microsoft® Windows® Phone 운영체제, Symbian™ OS, 또는 webOS™를 실행하는 다른 모바일 디바이스일 수 있다. 또한, 프로세싱 디바이스(100)는 태블릿 컴퓨터, 예컨대 iPad™, 또는 전술된 운영체제들 중 하나를 실행하는 다른 태블릿 컴퓨터일 수 있다. 또한, 프로세싱 디바이스(100)는 PC들 또는 랩톱들 또는 넷북들, 예컨대 케이블 또는 위성 콘텐트 제공자들에 의해 제공되는 셋톱 박스(STB)들, 또는 Nintendo® Wii™, Microsoft® Xbox 360™, 또는 Sony® PlayStation™ 3과 같은 비디오 게임 시스템 콘솔들, 또는 다른 비디오 게임 시스템 콘솔들일 수 있다. 몇몇 실시예들에 따라, 프로세싱 디바이스(100)는, 다른 것들 중에서, 정보를 사용자에게 디스플레이하고, 사용자와 같은 오브젝트의 근접을 검출하고, 그리고 사용자의 얼굴 및 응시를 검출하기 위해 구성된, 하드웨어 및/또는 소프트웨어의 임의의 적절한 결합을 사용하여 구현될 수 있다. 특히, 프로세싱 디바이스(100)는, 다른 것들 중에서, 정보를 사용자에게 디스플레이하고, 사용자와 같은 오브젝트의 근접을 검출하고, 그리고 사용자의 얼굴 및 응시를 검출하기 위해, 하나 또는 그 초과의 프로세서들을 갖고 그리고 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 비-일시적 머신-판독가능 매체 상에 저장된 명령들을 판독할 수 있는, 하드웨어 및/또는 소프트웨어의 임의의 적절한 결합을 포함할 수 있다. 머신-판독가능 미디어의 몇몇 흔한 형태들은, 예컨대, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 및/또는 임의의 다른 매체(하나 또는 그 초과의 프로세서들 또는 컴퓨터가 이 임의의 다른 매체로부터 판독하도록 적응됨)를 포함한다.
[0016] 프로세싱 디바이스(100)는 네트워크와의 통신을 위해 구성된 네트워크 인터페이스 컴포넌트(102)를 포함할 수 있다. 몇몇 실시예들에 일치하게, 네트워크 인터페이스 컴포넌트(102)는 동축 케이블, 광섬유 케이블, 디지털 가입자 라인(DSL) 모뎀, 공중 교환 전화 네트워크(PSTN) 모뎀, 이더넷 디바이스, 및/또는 다양한 다른 타입들의 유선 네트워크 통신 디바이스들과 인터페이싱하도록 구성될 수 있다. 또한, 네트워크 인터페이스 컴포넌트(102)는 하나 또는 그 초과의 무선 트랜시버들을 포함할 수 있는데, 각각의 무선 트랜시버는 안테나를 포함할 수 있고, 이 안테나는 분리 가능하거나 또는 통합되며, 그리고 상이한 무선 네트워킹 프로토콜, 예컨대 Wi-Fi™, 3G, 4G, HDSPA, LTE, RF, NFC에 따라 정보를 송수신할 수 있다. 몇몇 실시예들에 일치하게, 프로세싱 디바이스(100)는, 프로세싱 디바이스(100) 내의 다양한 컴포넌트들을 상호접속시키기 위한, 그리고 다양한 컴포넌트들 사이의 통신 정보를 위한 시스템 버스(104)를 포함한다. 몇몇 실시예들에서, 버스(104)는 시스템 온 칩(SoC)에서 구현되고, 그리고 칩 상의 다양한 엘리먼트들 또는 컴포넌트들, 및/또는 하나 또는 그 초과의 프로세서들의 코어들을 접속시킨다. 컴포넌트들은, 하나 또는 그 초과의 프로세서들, 중앙 프로세싱 유닛(CPU)들, 이미지 신호 프로세서(ISP)들, 마이크로-제어기들, 또는 디지털 신호 프로세서(DSP)들일 수 있는 프로세싱 컴포넌트(106), 랜덤 액세스 메모리(RAM)에 대응할 수 있는 시스템 메모리 컴포넌트(108), 판독 전용 메모리(ROM)에 대응할 수 있는 내부 메모리 컴포넌트(110), 그리고 광학, 자기, 또는 고체-상태 메모리들에 대응할 수 있는 외부 또는 정적 메모리(112)를 포함할 수 있다. 몇몇 실시예들에 일치하게, 프로세싱 디바이스(100)는 또한, 정보를 사용자에게 디스플레이하기 위한 디스플레이 컴포넌트(114)를 포함할 수 있다. 디스플레이 컴포넌트(114)는 액정 디스플레이(LCD) 스크린, 유기 발광 다이오드(OLED) 스크린(액티브 매트릭스 AMOLED 스크린들을 포함함), LED 스크린, 플라즈마 디스플레이, 또는 음극선관(CRT) 디스플레이일 수 있다. 디스플레이 컴포넌트(114)는 프로세싱 디바이스(100)와 통합될 수 있거나, 또는 프로세싱 디바이스(100)와 별개이고 프로세싱 디바이스(100)에 커플링될 수 있다. 디스플레이 컴포넌트(114)는, 검출된 주변 밝기에 기초하여 디스플레이 컴포넌트(114)의 밝기를 제어하도록 구성될 수 있는 연관된 주변광 센서(미도시)를 가질 수 있다. 프로세싱 디바이스(100)는 또한, 입력 및 내비게이션 제어 컴포넌트(116)를 포함할 수 있고, 이 입력 및 내비게이션 제어 컴포넌트(116)는 사용자가 정보를 입력하고 디스플레이 컴포넌트(114)를 따라서 내비게이팅하도록 허용한다. 입력 및 내비게이션 컴포넌트(116)는, 예컨대, 물리적이든 또는 가상적이든 간에 키보드 또는 키 패드, 마우스, 트랙볼, 또는 다른 이러한 디바이스, 또는 용량성 센서-기반 터치 스크린을 포함할 수 있다. 프로세싱 디바이스(100)는 몇몇 실시예들에 따라, 도 1에서 도시된 것보다 더 많거나 또는 더 적은 컴포넌트들을 포함할 수 있다. 예컨대, 프로세싱 디바이스(100)는 시스템 메모리 컴포넌트(108), 내부 메모리 컴포넌트(110), 및 외부 메모리 컴포넌트(112) 중 임의의 하나 또는 둘을 포함할 수 있다. 또한, 도 1에 도시된 컴포넌트들은 도 1의 하나 또는 그 초과의 다른 컴포넌트들에 직접적으로 커플링될 수 있고, 이는 시스템 버스(104)에 대한 필요를 제거한다. 일반적으로, 도 1에 도시된 컴포넌트들은 본원에 개시되는 실시예들을 수행할 수 있는 프로세싱 디바이스(100)의 컴포넌트들의 예들로서 도시된다. 그러나, 프로세싱 디바이스(100)는 더 많거나 또는 더 적은 컴포넌트들을 가질 수 있고, 본원에 개시되는 몇몇 실시예들을 여전히 수행할 수 있다.
[0017] 프로세싱 디바이스(100)는 또한, 프로세싱 디바이스(100)의 가속을 검출하기 위한 가속도계(118)를 포함할 수 있다. 몇몇 실시예들에 따라, 가속도계(118)에 의해 검출되는 가속은 프로세싱 디바이스(100)의 이동 또는 모션을 표시할 수 있다. 예컨대, 검출되는 가속은 사용자(120)가 프로세싱 디바이스(100)를 집거나 또는 이동시키는 것을 표시할 수 있다. 몇몇 실시예들에 따라, 가속도계(118)는 디바이스(100)의 가속을 검출하고, 검출된 가속을, 메모리들(108, 110, 및 112) 중 임의의 메모리에 저장된 명령들에 따라 모션을 표시하는 알려진 가속과 비교한다. 몇몇 실시예들에 따라, 가속도계(118)는 디바이스(100)의 가속을 검출할 수 있고, 메모리들(108-112) 중 임의의 메모리에 저장된 명령들에 따라 가속 정보를 프로세싱하기 위해, 검출된 가속에 관한 정보를 프로세싱 컴포넌트(106)에 전송할 수 있다. 제공된 정보에 기초하여, 프로세싱 컴포넌트(106)는 디바이스가 모션중인지 또는 모션중에 있었는지를 결정할 수 있다.
[0018] 프로세싱 디바이스(100)는 또한, 광학 검출 센서 모듈(122)을 포함할 수 있다. 광학 검출 센서 모듈(122)은 사람, 예컨대 사용자(120)의 얼굴 및/또는 응시를 검출할 수 있는 임의의 센서 모듈일 수 있다. 또한, 광학 검출 센서 모듈(122)은 하나 또는 그 초과의 프로세서들 및 적어도 하나의 메모리를 포함할 수 있는데, 이 하나 또는 그 초과의 프로세서들은, 광학 정보를 캡쳐하고 캡쳐된 광학 정보를 분석하여, 사람, 예컨대 사용자(120)의 얼굴 및/또는 응시를 검출하기 위해, 적어도 하나의 메모리에 저장된 명령들을 실행하도록 구성된다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122)은 광학 정보를 캡쳐하고 이 정보를 프로세싱 컴포넌트(106)에 전송하며, 이 프로세싱 컴포넌트(106)는, 광학 검출 센서 모듈(122) 및 메모리들(108-112) 중 임의의 것에 저장된 명령들에 기초하여, 얼굴 및/또는 응시를 검출하기 위해 이 정보를 분석할 수 있다.
[0019] 몇몇 실시예들에 따라, 광학 검출 센서 모듈(122)은 카메라, 예컨대 프로세싱 디바이스(100)의 빌트인 프론트 페이싱 카메라, 또는 커플링된 디스플레이 또는 커플링된 주변 카메라 디바이스에 빌트인된 카메라를 포함할 수 있거나, 또는 이들과 통신할 수 있다. 카메라는 가시광 카메라 또는 깊이-감지 카메라, 예컨대 Microsoft® Xbox™ Kinect™ 카메라일 수 있다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122)은 또한, 사용자(120)의 눈을 추적하기 위해 눈 또는 사용자(120)의 눈 내의 특정 특징들로부터 반사되는 광을 감지하는 적외선 또는 다른 광-기반 눈 추적기를 포함할 수 있거나, 또는 이들과 통신할 수 있다. 몇몇 실시예들에 따라, 광학 검출 센서 모듈(122)은 센서로 하여금 이미지들의 프레임들을 캡쳐하게 하도록 구성될 수 있고, 이 이미지들의 프레임들은, 이미지들의 프레임들에서 얼굴을 검출하고 얼굴이 검출되는 경우 얼굴로부터 응시를 검출하기 위해, 모듈(122) 내에서 또는 몇몇 실시예들에서 프로세싱 컴포넌트(106)에 의해 프로세싱된다. 모듈(122), 또는 메모리들(108, 110, 및 112) 중 임의의 메모리에 저장된 하나 또는 그 초과의 얼굴 및 응시 검출 알고리즘들을 사용하여, 얼굴 및 응시가 검출될 수 있다. 예컨대, 검출되는 얼굴, 예컨대 사용자(120)의 눈 방향을 결정함으로써 응시가 검출될 수 있다. 몇몇 실시예들에 따라, 광학 검출 센서 모듈(122)은, 디스플레이 컴포넌트(114)를 활성화할지 또는 비활성화할지를 결정할 때의 사용을 위해 얼굴을 검출하고 이후 사용자(120)의 응시를 검출하도록, 디바이스(100)의 보안 체크를 통과하도록, 그리고/또는 디스플레이 컴포넌트(114) 상에서 경보 또는 메시지를 디스플레이하도록 구성될 수 있다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122)은, 사용자(120)가 미리결정된 오브젝트 또는 영역, 예컨대 프로세싱 디바이스(100) 또는 디스플레이 컴포넌트(114)를 응시하는 것에 기초하여 응시를 검출하도록 구성될 수 있다. 따라서, 본원에 설명된 바와 같이 응시를 검출하는 것은, 프로세싱 디바이스(100) 또는 디스플레이 컴포넌트(114)를 마주보도록 사용자(120)에게 요구할 수 있다. 몇몇 실시예들에서, 응시를 검출하기 위해, 사용자(120)는 단지, 프로세싱 디바이스(100) 또는 디스플레이 컴포넌트(114)를 향해 바라보는 그들의 눈들을 요구받을 수 있다.
[0020] 프로세싱 디바이스(100)는 또한, 근접 센서(124)를 포함할 수 있다. 근접 센서(124)는 오브젝트가 디바이스(100)와 근접하게 될 때를 검출하도록 구성될 수 있다. 몇몇 실시예들에 따라, 오브젝트는 사용자(120)일 수 있다. 또한, 근접 센서(124)는 오브젝트가 디바이스(100)의 약 20-50㎝ 내에 있게 될 때를 검출하도록 구성될 수 있다. 몇몇 실시예들에 일치하게, 근접 센서(124)는 하나 또는 그 초과의 초음파 근접 센서들일 수 있다. 근접 센서(124)는 또한, 하나 또는 그 초과의 열 센서들, 예컨대 오브젝트가 디바이스와 근접할 때 오브젝트, 예컨대 사용자(120)에 의해 생성되는 열을 검출하는 적외선 열 센서를 포함할 수 있다. 근접 센서(124)는 또한, 하나 또는 그 초과의 전기장 근접 센서들을 포함할 수 있고, 이 전기장 근접 센서들은, 오브젝트가 센서 상의 전극들에 의해 생성된 또는 다른 방식으로 센서와 연관된 전기장에 들어갈 때, 전도성 또는 부분 전도성 오브젝트, 예컨대 사용자(120)의 존재를 검출할 수 있다. 근접 센서(124)는 또한, 디스플레이 컴포넌트(114)에 대하여 위에서 설명된 바와 같은 주변광 센서를 포함할 수 있고, 이 주변광 센서는, 오브젝트에 의한 광의 가림(occlusion)의 결과로서, 오브젝트가 주변광이 감소하게 하는 것에 의해 오브젝트, 예컨대 사용자(120)의 존재를 검출할 수 있다. 몇몇 실시예들에 따라, 근접 센서(124)는, 광학 검출 센서 모듈(122) 및/또는 모듈(122)과 연관된 센서, 예컨대 카메라를 활성화하고, 그리고 얼굴 및 응시 검출 알고리즘들을 개시하기 위한 트리거로서 동작하도록 구성될 수 있다. 오브젝트, 예컨대 사용자(120)가 디바이스(100)와 근접할 때에만, 광학 검출 센서 모듈(122) 및/또는 그것의 연관된 센서를 활성화하고 얼굴 및 응시 검출 알고리즘들을 개시함으로써, 얼굴이 디바이스(100)와 근접하지 않을 때, 디바이스는 전력을 아낄 수 있다.
[0021] 프로세싱 디바이스(100)의 컴포넌트들이 프로세싱 디바이스(100)와 통합된 것으로서 도시되지만, 컴포넌트들이 그렇게 제한되지는 않으며, 프로세싱 디바이스(100)와 별개일 수 있고 프로세싱 디바이스(100)의 외부에 있을 수 있으며, 그리고 유선 또는 무선 커플링을 통해 프로세싱 디바이스(100) 및 시스템 버스(104)에 커플링될 수 있다.
[0022] 몇몇 실시예들에 일치하게, 광학 검출 센서 모듈(122)에 의해 검출되는 바와 같이 사용자(120)가 디스플레이 컴포넌트(114)를 응시할 때 디스플레이 컴포넌트(114)를 활성화하고, 사용자(120)가 디스플레이 컴포넌트(114)를 응시하고 있는 한, 디스플레이 컴포넌트(114)를 활성화된 상태로 유지시키기 위해, 디바이스(100)는 가속도계(118), 광학 검출 센서 모듈(122), 및 근접 센서(124)를 개별적으로 또는 다양한 결합들로 사용할 수 있다. 추가로 전력을 아끼기 위해서, 사용자(120)가 디스플레이 컴포넌트(114)를 응시하고 있지 않을 때 디스플레이 컴포넌트(114)를 비활성화하고, 트리거링 이벤트에 응답하여서만, 광학 검출 센서 모듈(122) 및/또는 그것의 연관된 센서 및/또는 응시 검출을 활성화하기 위해, 디바이스(100)는 가속도계(118), 광학 검출 센서 모듈(122), 및 근접 센서(124)를 개별적으로 또는 다양한 결합들로 사용할 수 있다. 몇몇 실시예들에 일치하게, 트리거링 이벤트는 가속도계(118)에 의해 검출되는 디바이스(100)의 이동, 그리고 오브젝트, 예컨대 사용자(120)의 근접 중 적어도 하나를 포함할 수 있고, 이 근접은 근접 센서(124)에 의해 검출된다.
[0023] 도 2는 몇몇 실시예들에 일치하는, 사용자의 응시를 검출하는 것에 기초한 디바이스 상호작용을 위한 프로세스를 예시하는 흐름도이다. 예시의 목적을 위해, 도 2에 도시된 프로세스(200)는 도 1을 참조하여 설명될 것이다. 도 2에 도시된 프로세스는 디바이스(100)의 프로세싱 컴포넌트(106)의 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 컴퓨터-판독가능 명령들로 구현될 수 있다. 몇몇 실시예들에서, 프로세스(200)는 메모리들(108-112) 중 임의의 메모리에 저장된 디바이스(100)의 운영체제에 의해 구현될 수 있고, 프로세싱 컴포넌트(106)에 의해 실행될 수 있다. 몇몇 실시예들에서, 프로세스(200)는 운영체제의 백그라운드 서비스로서 구현될 수 있다. 도 2에 도시된 바와 같이, 예컨대 프로세싱 컴포넌트(106)에 의해, 트리거링 이벤트가 검출될 때(202), 프로세스(200)가 시작한다. 몇몇 실시예들에 따라, 트리거링 이벤트는 디바이스(100)의 이동을 표시하는, 가속도계(118)에 의해 검출되는 가속일 수 있다. 검출되는 가속은 가속도계(118) 또는 프로세싱 컴포넌트(106)에 의해 알려진 가속 임계치와 비교될 수 있고, 디바이스(100)의 우발적 이동이 트리거링 이벤트로서 검출되지 못하게 방지하기 위해, 이 알려진 가속 임계치는 사용자(120)가 디바이스(100)를 집는 것을 표시한다. 트리거링 이벤트는 또한 사용자(120)의 검출되는 근접일 수 있고, 이 근접은 근접 센서(124)에 의해 검출된다. 사용자(120)가 근접 검출 센서(124) 및 디바이스(100)와 근접할 때에만, 검출되는 근접이 트리거링 이벤트로서 등록됨을 보장하기 위해, 검출되는 근접은 또한 검출되는 열을 포함할 수 있다. 트리거링 이벤트는 또한, 프로세싱 컴포넌트(106)에 의해 생성되는 경보를 포함할 수 있다. 경보는 수신된 이-메일, 전화 호출, 또는 다른 메시지에 관해 사용자(120)에게 통지하는 시스템 경보일 수 있거나, 또는 다가오는 달력 약속 등에 관해 사용자(120)에게 통지하는 경보일 수 있다. 몇몇 실시예들에서, 예컨대, 터치스크린으로 그리고/또는 디바이스의 에지에 배치된 하나 또는 그 초과의 용량성 터치 센서들로 그리고/또는 전기장 센서로 검출될 수 있는 바와 같이, 트리거링 이벤트는 사용자가 디바이스를 터치하는 것을 포함한다.
[0024] 몇몇 실시예들에서, 트리거링 이벤트는 가속 센서(118)에 의해 검출되는 가속, 근접 센서(124)에 의한 사용자(120)의 근접, 또는 프로세싱 컴포넌트(106)에 의해 생성되는 경보 중 임의의 것의 결합일 수 있다. 예컨대, 프로세싱 컴포넌트(106)는, 프로세싱 디바이스(100)로 하여금, 진동하거나, 청각 사운드를 생성하거나, 또는 섬광을 생성하거나, 또는 사용자(120)가 경보에 관해 알게 되도록 사용자(120)의 관심을 잡을 수 있는 다른 표시자를 생성하게 하는 경보를 생성할 수 있다. 이후, 사용자(120)는 디바이스(100)를 집을 수 있고, 경보를 보기 위해 디바이스(100)를 아주 근접하게 가져올 수 있다. 가속도계(118)는 디바이스(100)를 집는 모션을 검출할 수 있고, 근접 센서(124)는 사용자(120)의 근접을 검출할 수 있다. 몇몇 실시예들에서, 트리거링 이벤트는 프로세싱 컴포넌트(106)에 의해 생성되는 경보, 그리고 사용자가 디바이스의 임계치 근접 내에 있는 것을 포함한다. 이들 액션들 중 임의의 액션 또는 액션들 전부의 결합이, 프로세싱 컴포넌트(106)로 하여금 후속 액션을 수행하게 하는 트리거링 이벤트일 수 있다.
[0025] 트리거링 이벤트가 검출된 후, 응시 검출이 활성화된다(204). 몇몇 실시예들에서, 응시 검출을 활성화하는 것은, 예컨대, 광학 검출 센서 모듈(122) 및/또는 프로세싱 컴포넌트(106), 또는 이들의 결합에 의해 실행되는 바와 같이, 응시 검출 모듈, 기능, 및/또는 프로세스를 활성화 또는 개시하는 것을 포함한다. 몇몇 실시예들에 따라, 응시 검출을 활성화하는 것은, 응시를 검출하기 위한 광학 이미지들을 모듈(122) 내에서 그리고/또는 프로세싱 컴포넌트(106)에 의해 캡쳐 및 프로세싱하기 위해, 광학 검출 센서 모듈(122)을 활성화하는 것을 포함한다. 또한, 응시 검출을 활성화하는 것은 얼굴 검출을 활성화하는 것, 그리고 이후, 얼굴이 검출되는 경우, 응시 검출을 활성화하는 것을 포함할 수 있다. 몇몇 실시예들에서, 응시 검출을 활성화하는 것은 모듈(122)과 연관된 광학 검출 센서의 듀티 사이클 또는 프레임 레이트를 증가시키는 것을 포함할 수 있고, 따라서 응시 검출이 활성화되기 전보다, 광학 검출 센서는 더 많은 이미지들을 캡쳐한다. 광학 검출 센서 모듈(122)은, 모듈(122) 내에 포함된 기능을 사용하여 그리고/또는 메모리들(108, 110, 및 112) 중 임의의 메모리에 저장된 명령들 및 프로세싱 컴포넌트(106)와 결합하여, 응시가 검출되는지를 결정할 수 있다(206). 응시는, 다수의 응시 검출 알고리즘들 중 임의의 알고리즘을 사용하여 검출될 수 있고, 알려진 얼굴 검출 알고리즘들에 따라 수행되는 얼굴 검출을 포함할 수 있다. 예컨대, 얼굴이 검출되는 경우, 검출된 얼굴 상의 눈들의 방향을 결정하기 위해, 광학 검출 센서에 의해 캡쳐된 정보를 분석함으로써, 광학 검출 센서 모듈(122)은 얼굴이 디스플레이 컴포넌트(114)의 방향으로 응시하고 있는지를 결정할 수 있다. 또한, 검출된 얼굴의 다른 특징들, 예컨대, 눈들 또는 입의 코너들, 검출된 얼굴 상의 눈썹들, 검출된 얼굴 상의 귀들, 또는 응시의 방향을 결정하는데 사용될 수 있는 다른 얼굴 특징들을 분석함으로써, 광학 검출 센서 모듈(122)은 얼굴이 디스플레이 컴포넌트(114)의 방향으로 응시하고 있는지를 결정할 수 있다.
[0026] 응시가 검출되지 않을 경우, 다른 트리거링 이벤트가 검출(202)될 때까지, 응시 검출이 비활성화될 수 있다(208). 몇몇 실시예들에서, 응시 검출을 비활성화하는 것은, 전력을 아끼기 위해, 광학 검출 센서 모듈(122) 및/또는 연관된 센서를 파워 다운하는 것을 포함할 수 있다. 몇몇 실시예들에서, 응시 검출을 비활성화하는 것은, 응시 검출이 활성화될 때보다 더 적은 이미지들이 캡쳐되도록, 광학 검출 센서의 듀티 사이클 또는 프레임 레이트를 낮추는 것을 포함할 수 있다. 몇몇 실시예들에서, 응시 검출을 비활성화하는 것은, 광학 검출 센서 모듈(122)이 캡쳐된 이미지들을 프로세싱하는 것 없이, 광학 검출 센서가 이미지들을 캡쳐하는 것을 계속하는 것을 포함할 수 있다. 이러한 실시예들에서, 캡쳐된 이미지들은 버퍼, 광학 검출 센서 모듈(122)의 내부의 메모리, 또는 메모리들(108-112) 중 임의의 메모리에 저장될 수 있다.
[0027] 응시가 검출되는 경우, 디스플레이 컴포넌트(114)가 활성화될 수 있고, 그리고/또는 콘텐트가 디스플레이 컴포넌트(114) 상에서 미리결정된 시간량 동안 디스플레이될 수 있으며(210), 이는 사용자가 디스플레이 컴포넌트(114) 상에서 정보를 보도록 허용한다. 디스플레이 컴포넌트(114)를 활성화하고 콘텐트를 디스플레이하는 것은, 키잠금 또는 보안 챌린지를 통과하는 것을 포함할 수 있다. 몇몇 실시예들에서, 디스플레이 컴포넌트(114)를 활성화하는 것은, 프로세싱 컴포넌트(106)로 하여금, 디스플레이 컴포넌트(114)에 의해 디스플레이될 수 있는 키잠금 또는 보안 챌린지를 생성하게 할 수 있다. 키잠금은, 키잠금을 제거하기 위한 액션, 예컨대 슬라이더를 표시된 방향으로 슬라이딩하는 것을 취하도록 사용자들에게 요구하는 슬라이더 또는 다른 모션 챌린지일 수 있다. 보안 챌린지는 요구되는 패스워드, 개인 식별 번호(PIN), 패턴 챌린지, 또는 보안 목적들을 위해 사용자에게 제시되는 생체인증 챌린지일 수 있다. 몇몇 실시예들에서, 미리결정된 시간의 무활동(inactivity) 후 또는 사용자(120)가 디바이스(100)를 보호하기 위해 잠금 스위치 또는 커맨드를 통해 디바이스(100)를 수동으로 잠근 후, 키잠금 및 보안 챌린지 중 적어도 하나가 디바이스(100)의 운영체제에 의해 요구될 수 있다. 검출된 응시를 통해 디스플레이 컴포넌트(114)를 활성화하는 것은, 키잠금 또는 보안 챌린지를 바이패스할 수 있다. 예컨대, 응시 검출이 응시를 검출하는 경우, 이 응시의 검출은, 디스플레이 컴포넌트(114)를 활성화하고 키잠금을 바이패스하기에는 충분할 수 있지만, 보안 챌린지를 바이패스하기에는 충분하지 않을 수 있다. 그러나, 몇몇 실시예들에서, 응시 검출이 얼굴 검출을 포함하는 경우, 광학 검출 센서 모듈(122)은 단독으로, 또는 프로세싱 컴포넌트와 결합하여, 얼굴을 검출하고, 광학 검출 센서 모듈(122)의 내부 메모리, 또는 메모리들(108-112) 중 임의의 메모리에 저장될 수 있는 알려진 얼굴, 예컨대 사용자(120) 또는 다른 허가받은 사용자의 얼굴에 검출된 얼굴이 매칭되는지를 결정하도록 구성될 수 있다. 검출된 얼굴이 사용자(120)의 얼굴에 매칭되는 경우, 디스플레이 컴포넌트(114)가 활성화될 때, 보안 챌린지가 바이패스될 수 있다.
[0028] 미리결정된 시간량이 지난 후, 광학 검출 센서 모듈(122)은 응시가 검출되는지를 다시 결정할 수 있고(206), 그리고 응시가 여전히 검출되는 경우, 디스플레이 컴포넌트(114)는 액티브로 머무를 수 있고 그리고/또는 콘텐트를 디스플레이할 수 있다(210). 미리결정된 시간량 후 응시가 더 이상 검출되지 않을 경우, 디스플레이는 비활성화될 수 있고, 그리고/또는 콘텐트는 더 이상 디스플레이되지 않을 수 있으며, 그리고 다른 트리거링 이벤트가 검출될 때까지(202), 광학 검출 센서 모듈(122)에 의한 응시 검출이 비활성화될 수 있다(208). 몇몇 실시예들에서, 사용자(120)는, 시간량이 지나기에 앞서 또는 그 대신에, 디스플레이 컴포넌트(114)를 비활성화하고 응시 검출을 비활성화할 수 있다. 예컨대, 물리적이든 또는 가상적이든 간에 디스플레이 컴포넌트(114) 상에서 디스플레이되는 버튼을 누름으로써 또는 디바이스(100)의 셋팅을 변경함으로써, 사용자는 디스플레이 컴포넌트(114) 및/또는 응시 검출을 수동으로 턴 오프할 수 있다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122)은 추가로, 제스처를 검출하도록 구성될 수 있고, 검출되는 제스처는, 디스플레이 컴포넌트(114) 및/또는 응시 검출이 비활성화되도록 명령할 수 있다. 예컨대, 몇몇 실시예들에서, 경보를 묵살하고 그리고/또는 디스플레이 컴포넌트(114)가 활성화되지 못하게 방지하기 위해, 디스플레이 컴포넌트(114) 위에서의 스와이프 또는 디바이스(100)의 광학 센서를 가리는 것이 사용될 수 있다. 몇몇 실시예들에서, 디스플레이 컴포넌트(114) 및/또는 응시 검출을 비활성화하기 위해, 앞서 설명된 바와 같은 주변광 센서가 사용될 수 있다. 예컨대, 주변광 센서는 주변광이 존재하지 않거나 또는 매우 소량의 주변광이 있음을 검출할 수 있는데, 이는 디바이스가 서랍, 가방, 또는 주머니 속에 위치됨을 표시할 수 있다. 주변광 센서는 이 정보를 프로세싱 컴포넌트(106)에 전송할 수 있고, 이 프로세싱 컴포넌트(106)는 전력을 아끼기 위해 디스플레이 컴포넌트(114) 및/또는 응시 검출을 비활성화하는 결정을 할 수 있다.
[0029] 몇몇 실시예들에서, 사용자(120)는 추가로, 광학 검출 센서 모듈(122)에 의해 단독으로 또는 프로세싱 컴포넌트(106)와 결합하여 구현되는 눈 추적 및/또는 응시 검출을 통해, 활성화된 디스플레이 컴포넌트(114) 상에 디스플레이된 콘텐트와 상호작용할 수 있다. 예컨대, 사용자(120)는 자신의 눈들을 한 쪽으로부터 다른 한 쪽으로 "스와이프" 모션으로 이동시킬 수 있고, 이 모션은, 광학 검출 센서 모듈(122)에 의해 검출될 때, 디스플레이 컴포넌트(114) 상에서 디스플레이된 콘텐트에 대한 스와이프로서 해석될 수 있으며, 이는 디스플레이된 경보를 묵살하고, 다음 차례의 메시지로 이동하고 등이다. 사용자(120)가 미리결정된 시간 기간 동안 디스플레이된 콘텐트를 응시하고 있음을 검출하는 것은 이 콘텐트를 선택하는 것으로서 해석될 수 있다. 사용자(120)가 깜박이는 것을 검출하는 것은, 사용자(120)가 디스플레이된 콘텐트를 닫고 있음으로 해석될 수 있다. 검출되는 머리 끄덕임과 결합하여, 사용자(120)가 미리결정된 시간 기간 동안 콘텐트를 쳐다보고 있음을 검출하는 것은, 디스플레이된 콘텐트의 선택으로서 해석될 수 있고, 따라서 사용자(120)는, 예컨대 콘텐트를 파일 폴더로 이동시키고, 콘텐트를 삭제하고 등을 위해, 디스플레이된 콘텐트를 디스플레이 컴포넌트(114)의 스크린 상에서 이동시킬 수 있다. 몇몇 실시예들에서, 예컨대 디스플레이 컴포넌트(114)가 활성화되고 콘텐트가 디스플레이된 후, 디스플레이된 콘텐트와 부가적인 방식들로 상호작용하기 위해서, 사용자(120)의 머리 또는 얼굴에 의해 만들어지는 제스처들을 번역하기 위해, 디스플레이 컴포넌트(114)를 활성화하고 디스플레이 컴포넌트(114) 상에 콘텐트를 디스플레이하기 위한 응시를 검출하는 것이, 알려진 응시 및 머리 또는 얼굴 제스처 검출 알고리즘들과 결합될 수 있다.
[0030] 몇몇 실시예들에 일치하게, 도 2에서 예시된 프로세스(200)는, 트리거링 이벤트에 응답하여서만 응시 검출을 활성화함으로써, 그리고 사용자(120)가 광학 검출 센서 모듈(122)을 응시하고 있을 때, 디스플레이 컴포넌트를 액티브로 유지시키고 콘텐트를 디스플레이된 상태로 유지시킴으로써, 절전(power savings)을 제공할 수 있다. 또한, 도 2에서 예시된 프로세스(200)는, 사용자(120)에 의한 디바이스(100)와의 개선된 상호작용을 또한 제공할 수 있으며, 이는 디바이스(100)의 광학 검출 센서 모듈(122)을 응시함으로써, 디스플레이 컴포넌트(114) 상에 디스플레이된 콘텐트를 보기 위해 사용자(120)가 디바이스(100)와 상호작용하도록 허용한다.
[0031] 도 3은 몇몇 실시예들에 일치하는, 응시 검출을 사용하여 디바이스(100)의 디스플레이 컴포넌트(114)를 활성화하기 위한 프로세스를 예시하는 흐름도이다. 예시의 목적을 위해, 도 3은 도 1을 참조하여 설명될 것이다. 도 3에 도시된 프로세스(300)는 디바이스(100)의 프로세싱 컴포넌트(106)의 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 컴퓨터-판독가능 명령들로 구현될 수 있다. 몇몇 실시예들에서, 프로세스(300)는 메모리들(108-112) 중 임의의 메모리에 저장된 디바이스(100)의 운영체제에 의해 구현될 수 있고, 프로세싱 컴포넌트(106)에 의해 실행될 수 있다. 몇몇 실시예들에서, 프로세스(300)는 운영체제의 백그라운드 서비스로서 구현될 수 있다. 도 3에 도시된 바와 같이, 근접 검출 센서(124)를 사용하여 근접 검출을 개시함으로써(302), 프로세스(300)가 시작한다. 몇몇 실시예들에서, 근접 검출은 사용자(120)에 의해 개시될 수 있다. 몇몇 실시예들에서, 근접 검출은 디바이스(100)의 운영체제에 의해 자동으로 개시될 수 있다. 도 2에 대하여 위에서 설명된 바와 같이, 트리거링 이벤트에 응답하여 근접 검출의 개시가 이루어질 수 있다. 근접 검출은 또한, 디바이스(100)가 파워 온될 때 개시될 수 있고, 디바이스(100)가 파워 온되는 지속기간 동안, 온(on) 상태로 머무를 수 있다. 근접 검출 센서(124)는, 프로세싱 컴포넌트(106) 및 메모리들(108, 110, 및 112) 중 임의의 메모리에 저장된 명령들과 결합하여, 오브젝트가 근접 검출 센서와 근접하여 검출되는지를 결정할 수 있다(304). 몇몇 실시예들에 따라, 오브젝트가 근접한지를 결정하는 것은, 초음파 및/또는 적외선 센서들을 사용하여 근접을 검출하는 것을 포함할 수 있다. 또한, 오브젝트가 근접한지를 결정하는 것은, 비-사용자 오브젝트들이 검출되지 않도록, 오브젝트의 열을 검출하는 것을 또한 포함할 수 있다. 근접 검출은 또한 주변광 센서를 사용하여 주변광의 감소를 검출하는 것을 포함할 수 있고, 이 주변광의 감소는 오브젝트, 예컨대 사용자(120) ―사용자(120)가 디바이스(100)와 근접하게 될 때, 백그라운드 광을 가림― 에 의해 유발된다.
[0032] 근접 검출이 개시된 후, 근접 검출 센서(124)는 근접 검출 센서(124)와 근접한 오브젝트들을 모니터링하는 것을 계속할 수 있다. 근접 검출 센서(124)가 근접한 오브젝트를 검출할 때, 광학 검출 센서 모듈(122)이 활성화될 수 있다(306). 몇몇 실시예들에서, 근접 검출 센서(124)는 광학 검출 센서 모듈(122) 및/또는 광학 검출 센서 모듈(122)과 연관된 광학 센서보다 전력을 덜 소모할 수 있다. 따라서, 몇몇 실시예들에서, 근접 검출 센서(124)를 사용하여 근처 오브젝트들을 모니터링하는 것은, 광학 검출 센서 모듈(122)을 사용하여 근처 오브젝트들을 모니터링하는 것과 비교할 때, 전력을 절약할 수 있다. 얼굴이 검출되는지를 결정하기 위해(308), 광학 검출 센서 모듈(122)에 의해 캡쳐된 정보가 분석될 수 있다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122) 내에서 프로세스 또는 기능, 예컨대 얼굴 검출 알고리즘을 실행함으로써, 광학 검출 센서 모듈(122)에 의해 캡쳐된 정보가 분석될 수 있다. 광학 검출 센서 모듈(122)에 의해 캡쳐된 정보는 또한, 메모리들(108-112) 중 임의의 메모리에 저장된 얼굴 검출 알고리즘에 따른 분석을 위해 프로세싱 컴포넌트(106)에 전송될 수 있다. 또한, 얼굴 검출 알고리즘에 따른 프로세싱 컴포넌트(106) 및 광학 검출 센서 모듈(122)의 결합에 의해, 광학 검출 센서 모듈에 의해 캡쳐된 정보가 분석될 수 있다. 몇몇 실시예들에서, 얼굴 검출 알고리즘은 임의의 알려진 얼굴 검출 알고리즘일 수 있다. 얼굴이 검출되지 않을 경우, 다른 오브젝트가 근접 검출 센서(124)와 근접하여 검출될 때까지(304), 광학 검출 센서 모듈(122) 및/또는 연관된 센서는 감소된 전력 모드에 들어갈 수 있다(310). 몇몇 실시예들에서, 전력을 아끼기 위해, 광학 검출 센서 모듈(122)에 대한 감소된 전력 모드는 연관된 센서를 파워 다운하는 것을 포함할 수 있다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122)이 활성화될 때보다 더 적은 이미지들이 캡쳐되도록, 감소된 전력 모드는 연관된 센서의 듀티 사이클 또는 프레임 레이트를 낮추는 것을 포함할 수 있다. 몇몇 실시예들에서, 감소된 전력 모드는, 광학 검출 센서 모듈(122)이 캡쳐된 이미지들을 프로세싱하는 것 없이, 광학 센서가 이미지들을 캡쳐하는 것을 계속하는 것을 포함할 수 있다. 이러한 실시예들에서, 캡쳐된 이미지들은 버퍼, 광학 검출 센서 모듈(122)의 내부의 메모리, 또는 메모리들(108-112) 중 임의의 메모리에 저장될 수 있다.
[0033] 308에서 얼굴이 검출되는 경우, 응시 검출이 개시될 수 있다(312). 몇몇 실시예들에서, 응시 검출을 개시하는 것은, 예컨대 광학 검출 센서 모듈(122) 및/또는 프로세싱 컴포넌트(106), 또는 이들의 결합에 의해 실행되는 바와 같이, 응시 검출 모듈, 기능, 및/또는 프로세스를 활성화 또는 개시하는 것을 포함한다. 몇몇 실시예들에 따라, 응시 검출을 개시하는 것은, 응시를 검출하기 위한 광학 이미지들을 모듈 내에서 그리고/또는 프로세싱 컴포넌트(106)에 의해 캡쳐 및 프로세싱하기 위해, 광학 검출 센서 모듈(122)을 개시하는 것을 포함한다. 몇몇 실시예들에서, 응시 검출을 개시하는 것은 광학 검출 센서 모듈(122)과 연관된 광학 센서의 듀티 사이클 또는 프레임 레이트를 증가시키는 것을 포함할 수 있고, 따라서 응시 검출이 활성화되기 전보다, 광학 검출 센서 모듈(122)은 더 많은 이미지들을 캡쳐한다. 광학 검출 센서 모듈(122)은, 모듈(122) 내에 포함된 기능을 사용하여 그리고/또는 메모리들(108, 110, 및 112) 중 임의의 메모리에 저장된 명령들 및 프로세싱 컴포넌트(106)와 결합하여, 응시가 검출되는지를 결정할 수 있다(314). 응시는, 예컨대 위에서 설명된 바와 같이, 임의의 다수의 응시 검출 알고리즘들을 사용하여 검출될 수 있고, 이 응시 검출 알고리즘들은, 검출된 얼굴 상의 눈들의 방향을 결정하기 위해, 광학 검출 센서 모듈(122)에 의해 캡쳐된 정보를 분석하는 것을 포함할 수 있다. 또한, 검출된 얼굴의 다른 특징들, 예컨대, 눈들 또는 입의 코너들, 검출된 얼굴 상의 눈썹들, 검출된 얼굴 상의 귀들, 또는 응시의 방향을 결정하고 검출된 얼굴이 디스플레이 컴포넌트(114)의 방향으로 응시하고 있는지를 결정하는데 사용될 수 있는 다른 얼굴 특징들을 분석함으로써, 응시가 검출될 수 있다. 응시가 검출되지 않을 경우, 얼굴이 여전히 광학 검출 센서 모듈(122)의 시야에 있는 한, 광학 검출 센서 모듈(122)은 응시를 찾는 것을 계속한다(308, 312, 314). 그러나, 몇몇 실시예들에서, 미리결정된 시간 기간 후, 응시가 검출되지 않을 경우, 광학 검출 센서 모듈(122)은 감소된 전력 모드에 들어갈 수 있고(310), 응시 검출이 비활성화될 수 있다. 그러나, 응시가 검출되는 경우, 디스플레이 컴포넌트(114)가 활성화될 수 있고(316), 이는 사용자가 디스플레이 컴포넌트 상에 디스플레이된 콘텐트를 보도록 허용한다. 도 2에서 예시된 프로세스(200)에 대하여 위에서 설명된 바와 같이, 디스플레이 컴포넌트(114)를 활성화하고 콘텐트를 디스플레이하는 것은, 키잠금 또는 보안 챌린지를 통과하는 것을 포함할 수 있다. 또한, 도 2의 프로세스(200)에 대하여 위에서 설명된 바와 같이, 사용자(120)는 추가로, 광학 검출 센서 모듈(122)에 의해 단독으로 또는 프로세싱 컴포넌트(106)와 결합하여 구현되는 눈 추적 및/또는 응시 검출을 통해, 활성화된 디스플레이 컴포넌트(114) 상에 디스플레이된 콘텐트와 상호작용할 수 있다.
[0034] 몇몇 실시예들에 일치하게, 사용자(120)가 디바이스(100)의 미리결정된 근접 내에 있는 것으로 결정되고 디바이스(100)를 액티브하게 응시하고 있을 때, 디스플레이 컴포넌트(114)를 활성화함으로써, 도 3에서 예시된 프로세스(300)는 절전을 제공할 수 있다. 또한, 프로세스(300)는 추가로, 디바이스(100)의 미리결정된 근접 내에 있는 얼굴이 검출되는 경우 응시 검출을 활성화함으로써, 절전을 제공한다. 또한, 프로세스(300)는 사용자(120)에 의한 디바이스(100)와의 개선된 상호작용을 또한 제공할 수 있으며, 이는 디바이스(100)의 광학 검출 센서 모듈(122)을 응시함으로써, 디스플레이 컴포넌트(114) 상에 디스플레이된 콘텐트를 보기 위해 사용자(120)가 디바이스(100)와 상호작용하도록 허용한다.
[0035] 도 4는 몇몇 실시예들에 일치하는, 응시 검출을 사용하여 디스플레이 컴포넌트(114) 상에서 콘텐트를 디스플레이하기 위한 프로세스를 예시하는 흐름도이다. 예시의 목적을 위해, 도 4는 도 1을 참조하여 설명될 것이다. 도 4에 도시된 프로세스(400)는 디바이스(100)의 프로세싱 컴포넌트(106)의 하나 또는 그 초과의 프로세서들에 의한 실행을 위해 컴퓨터-판독가능 명령들로 구현될 수 있다. 몇몇 실시예들에서, 프로세스(400)는 메모리들(108-112) 중 임의의 메모리에 저장된 디바이스(100)의 운영체제에 의해 구현될 수 있고, 프로세싱 컴포넌트(106)에 의해 실행될 수 있다. 몇몇 실시예들에서, 프로세스(400)는 운영체제의 백그라운드 서비스로서 구현될 수 있다. 도 4에 도시된 바와 같이, 트리거링 이벤트가 검출될 때(402), 프로세스(400)가 시작한다. 몇몇 실시예들에 따라, 트리거링 이벤트는 디바이스(100)의 이동을 표시하는, 가속도계(118)에 의해 검출되는 가속일 수 있다. 검출되는 가속은 가속도계(118) 또는 프로세싱 컴포넌트(106)에 의해 알려진 가속 임계치와 비교될 수 있고, 디바이스(100)의 우발적 이동이 트리거링 이벤트로서 검출되지 못하게 방지하기 위해, 이 알려진 가속 임계치는 사용자(120)가 디바이스(100)를 집는 것을 표시한다. 트리거링 이벤트는 또한 사용자(120)의 검출되는 근접일 수 있고, 이 근접은 근접 센서(124)에 의해 검출된다. 사용자(120)가 근접 검출 센서(124) 및 디바이스(100)와 근접할 때에만, 검출되는 근접이 트리거링 이벤트로서 등록됨을 보장하기 위해, 검출되는 근접은 또한 검출되는 열을 포함할 수 있다. 트리거링 이벤트는 또한, 프로세싱 컴포넌트(106)에 의해 생성되는 경보를 포함할 수 있다. 경보는 수신된 이-메일, 전화 호출, 또는 다른 메시지에 관해 사용자(120)에게 통지하는 시스템 경보일 수 있거나, 또는 다가오는 달력 약속 등에 관해 사용자(120)에게 통지하는 경보일 수 있다.
[0036] 몇몇 실시예들에서, 트리거링 이벤트는 가속 센서(118)에 의해 검출되는 가속, 근접 센서(124)에 의한 사용자(120)의 근접, 터치, 또는 프로세싱 컴포넌트(106)에 의해 생성되는 경보 중 임의의 것의 결합을 포함할 수 있다. 예컨대, 프로세싱 컴포넌트(106)는, 프로세싱 디바이스(100)로 하여금, 진동하거나, 청각 사운드를 생성하거나, 또는 섬광을 생성하거나, 또는 사용자(120)가 경보에 관해 알게 되도록 사용자(120)의 관심을 잡을 수 있는 다른 표시자를 생성하게 하는 경보를 생성할 수 있다. 이후, 사용자(120)는 디바이스(100)를 집을 수 있고, 경보를 보기 위해 디바이스(100)를 아주 근접하게 가져올 수 있다. 가속도계(118)는 디바이스(100)를 집는 모션을 검출할 수 있고, 근접 센서(124)는 사용자(120)의 근접을 검출할 수 있다. 이들 액션들 중 임의의 액션 또는 액션들 전부의 결합이, 프로세싱 컴포넌트(106)로 하여금 후속 액션을 수행하게 하는 트리거링 이벤트일 수 있다.
[0037] 트리거링 이벤트를 검출하는 것에 응답하여, 디스플레이 컴포넌트(114)가 활성화될 수 있다(404). 몇몇 실시예들에서, 예컨대, 트리거링 이벤트가 검출될 때, 트리거링 이벤트의 표시를 제공하고 그리고/또는 트리거링 이벤트, 예컨대 경보의 프리뷰를 사용자(120)에게 제공하기 위해, 디바이스(100) 상에서 실행되는 운영체제는 디스플레이 컴포넌트(114)를 자동으로 활성화할 수 있다. 미리결정된 시간 후 어떠한 액션도 취해지지 않을 경우, 운영체제는 전력을 아끼기 위해 디스플레이 컴포넌트(114)를 비활성화할 수 있다. 또한, 트리거링 이벤트를 검출하는 것에 응답하여, 근접 센서(124)가 활성화될 수 있다(406). 몇몇 실시예들에서, 근접 센서(124)는, 디스플레이 컴포넌트(114)가 액티브일 때 액티브가 되도록, 또는 디스플레이 컴포넌트가 액티브가 아닐 때 인액티브(inactive) 또는 감소된 전력 모드로 있도록 구성될 수 있다. 근접 센서(124)의 구성은 운영체제 구성일 수 있다.
[0038] 또한, 트리거링 이벤트를 검출하는 것에 응답하여, 광학 검출 센서 모듈(122)이 활성화될 수 있다(408). 광학 검출 센서 모듈(122)은, 모듈(122) 내의 기능을 사용하여 그리고/또는 메모리들(108, 110, 및 112) 중 임의의 메모리에 저장된 명령들 및 프로세싱 컴포넌트(106)와 결합하여, 응시가 검출되는지를 결정할 수 있다(410). 응시는, 다수의 응시 검출 알고리즘들 중 임의의 알고리즘을 사용하여 검출될 수 있고, 알려진 얼굴 검출 알고리즘들에 따라 수행되는 얼굴 검출을 포함할 수 있다. 예컨대, 얼굴이 검출되는 경우, 검출된 얼굴 상의 눈들의 방향을 결정하기 위해, 광학 검출 센서 모듈(122)에 의해 캡쳐된 정보를 분석함으로써, 광학 검출 센서 모듈(122)은 얼굴이 디스플레이 컴포넌트(114)의 방향으로 응시하고 있는지를 결정할 수 있다. 또한, 검출된 얼굴의 다른 특징들, 예컨대, 눈들 또는 입의 코너들, 검출된 얼굴 상의 눈썹들, 검출된 얼굴 상의 귀들, 또는 응시의 방향을 결정하는데 사용될 수 있는 다른 얼굴 특징들을 분석함으로써, 광학 검출 센서 모듈(122)은 얼굴이 디스플레이 컴포넌트(114)의 방향으로 응시하고 있는지를 결정할 수 있다.
[0039] 응시가 검출되지 않을 경우, 광학 검출 센서 모듈(122)은 감소된 전력 모드에 들어갈 수 있다(412). 몇몇 실시예들에서, 광학 검출 센서 모듈(122)에 대한 감소된 전력 모드는 전력을 아끼기 위해 광학 센서를 파워 다운하는 것을 포함할 수 있다. 몇몇 실시예들에서, 감소된 전력 모드는, 광학 검출 센서 모듈이 활성화될 때보다 더 적은 이미지들이 캡쳐되도록, 광학 검출 센서의 듀티 사이클 또는 프레임 레이트를 낮추는 것을 포함할 수 있다. 몇몇 실시예들에서, 감소된 전력 모드는, 광학 검출 센서 모듈(122)이 캡쳐된 이미지들을 프로세싱하는 것 없이, 광학 센서가 이미지들을 캡쳐하는 것을 계속하는 것을 포함할 수 있다. 이러한 실시예들에서, 캡쳐된 이미지들은 버퍼, 광학 검출 센서 모듈(122)의 내부의 메모리, 또는 메모리들(108-112) 중 임의의 메모리에 저장될 수 있다.
[0040] 응시가 검출되지 않을 경우, 근접 센서(124)는 또한 비활성화될 수 있다(414). 근접 센서(124)의 비활성화는 저전력 모드에 들어가는 것을 포함할 수 있고, 이 저전력 모드는 광학 검출 센서 모듈(122)의 저전력 모드와 유사할 수 있다. 몇몇 실시예들에서, 근접 센서의 비활성화는, 근접 센서(124)가 전력을 소모하고 있지 않도록 근접 센서(124)를 비활성화하는 것을 포함할 수 있다. 또한, 응시가 검출되지 않을 경우, 다른 트리거링 이벤트가 검출될 때까지(402), 디스플레이 컴포넌트(114)는 비활성화될 수 있다(416). 디스플레이 컴포넌트(114)를 비활성화하는 것은, 디스플레이 컴포넌트에 의한 디스플레이를 위해 렌더링된 콘텐트가 사용자(120)에게 보이지 않도록, 디스플레이 컴포넌트(114)의 역광을 비활성화하는 것을 포함할 수 있다. 또한, 디스플레이 컴포넌트(114)를 비활성화하는 것은 디스플레이 컴포넌트(114)와 연관된 렌더링 및 프로세싱 능력들을 비활성화하는 것을 포함할 수 있고, 따라서 비활성화된 동안에는, 콘텐트가 디스플레이 컴포넌트(114)에 의한 디스플레이를 위해 렌더링되지 않는다. 416에서 디스플레이 컴포넌트(114)가 자동으로 비활성화될 수 있지만, 몇몇 실시예들에서, 예컨대, 물리적이든 또는 가상적이든 간에 디스플레이 컴포넌트(114) 상에서 디스플레이되는 버튼을 누름으로써 또는 디바이스(100)의 셋팅을 변경함으로써, 사용자(120)는 디스플레이 컴포넌트(114)를 비활성화할 수 있다. 몇몇 실시예들에서, 광학 검출 센서 모듈(122)은 추가로, 제스처를 검출하도록 구성될 수 있는데, 검출된 제스처는 디스플레이 컴포넌트(114)를 비활성화할 수 있다. 또한, 위에서 설명된 바와 같이, 주변광 센서에 의한 주변광의 무 검출 또는 매우 소량의 주변광의 검출에 응답하여, 디스플레이 컴포넌트(114)가 비활성화될 수 있다.
[0041] 광학 검출 센서 모듈(122)에 의해 응시가 검출되는 경우, 키잠금 또는 보안 챌린지가 통과될 수 있다(418). 몇몇 실시예들에서, 검출된 응시는 키잠금을 바이패스하기에는 충분할 수 있지만, 패스워드 또는 PIN과 같은 보안 챌린지를 바이패스하기에는 충분하지 않을 수 있다. 몇몇 실시예들에 따라, 광학 검출 센서 모듈(122)은 단독으로, 또는 프로세싱 컴포넌트(106)와 결합하여, 얼굴을 검출하고, 광학 검출 센서 모듈(122)의 내부 메모리, 또는 메모리들(108-112) 중 임의의 메모리에 저장될 수 있는 알려진 얼굴, 예컨대 사용자(120)의 얼굴에 검출된 얼굴이 매칭되는지를 결정하도록 구성될 수 있다. 검출된 얼굴이 사용자(120)의 얼굴에 매칭되는 경우, 디스플레이 컴포넌트(114)가 활성화될 때, 보안 챌린지가 바이패스될 수 있다. 몇몇 실시예들에서, 트리거의 타입이, 보안 챌린지가 바이패스되는지의 여부를 결정할 수 있다. 예컨대, 업데이팅되고 있는 뉴스피드의 경보가, 보안 챌린지가 바이패스되게 할 수 있지만, 개인 이메일의 수신은 여전히 보안 챌린지가 제시되게 할 수 있다. 몇몇 실시예들에서, 허가받은 사용자들은 디바이스 상의 모든 콘텐트에 대해 허가받는다. 다른 실시예들에서, 각각의 허가받은 사용자는 허락들의 세트를 가질 수 있고, 이 허락들의 세트는, 허가받은 사용자의 인식 시 보안 챌린지가 제시될 것인지, 그리고/또는 주어진 타입의 트리거링 이벤트가 발생할 때 사용자가 액세스를 허락받을 것인지를 결정한다. 몇몇 실시예들에서, 사용자를 인증하는 것은, 사용자의 눈들의 색을 알려진 눈 색들에 매칭하는 것, 그리고/또는 사용자의 생체인증 데이터, 예컨대 사용자 눈들의 흔들림을 입증하는 것을 포함할 수 있다. 사용자가 보안을 통과한 후, 디스플레이 컴포넌트(114)는 콘텐트를 디스플레이할 수 있다(420). 디스플레이되는 콘텐트는 위에서 설명된 트리거링 경보, 예컨대 수신된 이-메일, 달력 경보, 메시지 등일 수 있다. 콘텐트는 미리결정된 시간 동안 디스플레이 컴포넌트 상에서 디스플레이될 수 있고, 그 이후, 광학 검출 센서는 사용자(120)가 여전히 광학 검출 센서 모듈(122)을 응시하고 있는지를 결정할 수 있다(422). 응시가 검출되지 않을 경우, 위에서 설명된 바와 같이, 다른 트리거링 이벤트가 검출되거나(402) 또는 사용자(120)가 하기의 컴포넌트들 중 임의의 컴포넌트를 수동으로 활성화할 때까지, 광학 검출 센서 모듈(122)은 감소된 전력 모드에 들어갈 수 있고(412), 근접 센서(124)는 비활성화될 수 있으며(414), 디스플레이 컴포넌트(114)는 비활성화될 수 있다(416). 응시가 검출되는 경우, 응시가 검출되는 한 또는 사용자가 디스플레이 컴포넌트(114)를 수동으로 비활성화할 때까지, 디스플레이 컴포넌트(114)는 활성화된 상태로 머무를 수 있고(424), 그리고 전력을 절약하기 위해 근접 센서(124)는 비활성화될 수 있다(426). 또한, 도 2의 프로세스(200)에 대하여 위에서 설명된 바와 같이, 사용자(120)는 추가로, 광학 검출 센서 모듈(122)에 의해 단독으로 또는 프로세싱 컴포넌트(106)와 결합하여 구현되는 눈 추적 및/또는 응시 검출을 통해, 활성화된 디스플레이 컴포넌트(114) 상에 디스플레이된 콘텐트와 상호작용할 수 있다.
[0042] 몇몇 실시예들에 일치하게, 프로세스(400)는, 사용자(120)가 디바이스(100)를 액티브하게 응시하고 있는 것으로 결정될 때, 콘텐트를 디스플레이하기 위한 디스플레이 컴포넌트(114)를 활성화함으로써, 절전을 제공할 수 있다. 또한, 프로세스(400)는 추가로, 트리거링 이벤트에 응답하여, 근접 센서(124) 및 광학 검출 센서 모듈(122)을 활성화함으로써, 절전을 제공할 수 있다. 또한, 프로세스(400)는 사용자(120)에 의한 디바이스(100)와의 개선된 상호작용을 또한 제공할 수 있으며, 이는 디바이스(100)의 광학 검출 센서 모듈(122)을 응시함으로써, 키잠금 또는 보안 챌린지를 통과하고 디스플레이 컴포넌트(114) 상에 디스플레이된 콘텐트를 보기 위해, 사용자(120)가 디바이스(100)와 상호작용하도록 허용한다.
[0043] 본 개시물에 따라, 소프트웨어, 예컨대 프로그램 코드 및/또는 데이터는, 디바이스(100)의 메모리들(108, 110, 및 112) 중 임의의 메모리와 같은 비-일시적 머신 판독가능 매체를 포함하는 하나 또는 그 초과의 머신 판독가능 매체들 상에 저장될 수 있다. 또한, 본원에서 식별된 소프트웨어가 하나 또는 그 초과의 범용 또는 특수 목적 컴퓨터들 또는 애플리케이션 특정 집적 회로(ASIC)들 및/또는 네트워킹된 컴퓨터 시스템들을 사용하여 그리고/또는 다른 방식으로 구현될 수 있음이 고려된다. 적용 가능한 경우, 본원에서 설명된 다양한 단계들의 순서화는, 본원에서 설명된 특징들을 제공하기 위해, 변경되고, 복합적인 단계들로 결합되고, 그리고/또는 하위-단계들로 분리될 수 있다.
[0044] 결과적으로, 디바이스에 통합된 또는 커플링된 광학 검출 센서를 쳐다봄으로써 사용자가 디바이스를 활성화하고 잠금해제하도록 허용함으로써, 본원에서 설명된 바와 같은 실시예들은 사용자 편의성을 제공할 수 있다. 또한, 본원에서 설명된 바와 같은 실시예들은, 하나 또는 그 초과의 트리거링 이벤트들에 응답하여서만 응시 검출을 활성화하고, 이후, 응시가 검출될 때에만 디바이스의 디스플레이를 활성화함으로써, 절전을 또한 제공할 수 있다. 위에서 제공된 예들은 단지 예시적이며, 제한하도록 의도되지 않는다. 당업자는, 본 개시물의 범위 내에 있도록 의도되는, 개시된 실시예들에 일치하는 다른 시스템들을 쉽게 창안할 수 있다. 그래서, 본 출원은 하기의 청구항들에 의해서만 제한된다.

Claims (34)

  1. 검출되는 응시(gaze)에 기초하여 디바이스와 상호작용하기 위한 시스템으로서,
    고전력 상태에서 동작할 때 트리거링 이벤트를 검출하도록 구성된 하나 이상의 센서들 ― 상기 하나 이상의 센서들은 또한 저전력 상태에서 동작하도록 구성됨 ―;
    디스플레이 컴포넌트;
    제 1 이미지 캡쳐 레이트로 하나 이상의 이미지들을 캡쳐하고 그리고 제 2 이미지 캡쳐 레이트로 하나 이상의 이미지들을 캡쳐하도록 구성된 광학 검출 센서 모듈 ― 상기 광학 검출 센서 모듈은 상기 제 1 이미지 캡쳐 레이트로 동작할 때 적어도 하나의 이미지를 그리고 상기 제 2 이미지 캡쳐 레이트로 동작할 때 적어도 하나의 이미지를 캡쳐하도록 구성됨 ―; 및
    상기 하나 이상의 센서들, 상기 디스플레이 컴포넌트 및 상기 광학 검출 센서 모듈에 커플링된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 트리거링 이벤트의 검출 시, 응시 검출을 활성화하고;
    상기 하나 이상의 센서들에 의한 상기 트리거링 이벤트의 검출 및 상기 응시 검출의 활성화 시, 상기 하나 이상의 센서들 중 적어도 하나의 센서로 하여금 상기 저전력 상태에 진입하게 하고 ― 상기 하나 이상의 센서들은 상기 고전력 상태에서보다 상기 저전력 상태에서 더 적은 전력을 소모함 ―;
    상기 하나 이상의 센서들에 의한 동일한 트리거링 이벤트의 검출 및 상기 응시 검출의 활성화 시, 적어도 하나의 이미지를 캡쳐하기 위한 상기 제 1 이미지 캡쳐 레이트로부터 적어도 하나의 이미지를 캡쳐하기 위한 상기 제 2 이미지 캡쳐 레이트로 증가시키도록 그리고 상기 응시 검출을 수행하도록, 상기 광학 검출 센서 모듈에 명령하고 ― 상기 하나 이상의 센서들은 상기 저전력 상태에서 동작하고, 상기 광학 검출 센서 모듈은 상기 응시 검출이 활성화될 때 상기 제 2 이미지 캡쳐 레이트를 사용함 ―;
    상기 제 2 이미지 캡쳐 레이트로 캡쳐된 상기 하나 이상의 이미지들에 기초하여 사용자의 응시를 검출함으로써 상기 응시 검출을 수행하고;
    상기 사용자의 응시의 검출 시, 상기 디스플레이 컴포넌트로 하여금 비활성화 상태(deactivated state)로부터 활성화 상태(activated state)에 진입하게 하고; 그리고
    상기 응시가 더 이상 검출되지 않을 때, 미리결정된 양의 시간 이후, 상기 디스플레이 컴포넌트로 하여금 상기 비활성화 상태에 진입하게 하도록 구성되는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  2. 제 1 항에 있어서,
    트리거링 이벤트를 검출하도록 구성된 상기 하나 이상의 센서들은, 상기 디바이스의 모션을 검출하도록 구성된 가속도계를 포함하는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  3. 제 1 항에 있어서,
    트리거링 이벤트를 검출하도록 구성된 상기 하나 이상의 센서들은, 상기 디스플레이 컴포넌트에 커플링된 근접 센서를 포함하고, 상기 근접 센서는, 상기 사용자가 상기 디스플레이 컴포넌트의 미리결정된 근접범위(proximity) 내에 있을 때를 검출하도록 구성되는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  4. 제 3 항에 있어서,
    상기 근접 센서는 하나 이상의 초음파 근접 센서들 또는 전기장 센서를 포함하는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  5. 제 1 항에 있어서,
    상기 광학 검출 센서 모듈은 상기 디스플레이 컴포넌트에 커플링된 카메라를 포함하는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  6. 제 1 항에 있어서,
    네트워크로부터 정보를 수신하도록 구성된 네트워크 인터페이스 컴포넌트를 더 포함하고, 그리고
    상기 하나 이상의 프로세서들은 수신된 정보에 응답하여 디바이스 경보를 생성하도록 구성되고, 상기 트리거링 이벤트는 상기 디바이스 경보를 포함하는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  7. 디바이스 상호작용을 위한 방법으로서,
    고전력 상태에서 동작하는 하나 이상의 센서들에서 트리거링 이벤트를 검출하는 단계;
    상기 트리거링 이벤트의 검출 시, 응시 검출을 활성화하는 단계;
    상기 하나 이상의 센서들에 의한 상기 트리거링 이벤트의 검출 및 상기 응시 검출의 활성화 시, 상기 하나 이상의 센서들 중 적어도 하나의 센서로 하여금 저전력 상태에 진입하게 하는 단계 ― 상기 하나 이상의 센서들은 상기 고전력 상태에서보다 상기 저전력 상태에서 더 적은 전력을 소모함 ―;
    상기 하나 이상의 센서들에 의한 동일한 트리거링 이벤트의 검출 및 상기 응시 검출의 활성화 시, 광학 검출 센서로 하여금, 적어도 하나의 이미지를 캡쳐하기 위한 제 1 이미지 캡쳐 레이트로부터 적어도 하나의 이미지를 캡쳐하기 위한 제 2 이미지 캡쳐 레이트로 증가시키게 하고 그리고 상기 응시 검출을 수행하게 하는 단계 ― 상기 광학 검출 센서는 상기 제 1 이미지 캡쳐 레이트로 동작할 때 적어도 하나의 이미지를 그리고 상기 제 2 이미지 캡쳐 레이트로 동작할 때 적어도 하나의 이미지를 캡쳐하도록 구성되고, 상기 하나 이상의 센서들은 상기 저전력 상태에서 동작하고, 그리고 상기 광학 검출 센서는 응시 검출이 활성화될 때 상기 제 2 이미지 캡쳐 레이트를 사용함 ―;
    상기 광학 검출 센서로부터의 정보에 기초하여, 활성화된 응시 검출을 사용하여 응시가 검출되는지 여부를 결정하는 단계;
    응시가 검출될 때 디바이스의 디스플레이를 비활성화 상태로부터 활성화하는 단계; 및
    응시가 검출되지 않을 때, 미리결정된 양의 시간 이후, 상기 응시 검출을 비활성화하는 단계를 포함하는,
    디바이스 상호작용을 위한 방법.
  8. 제 7 항에 있어서,
    트리거링 이벤트를 검출하는 단계는 디바이스 경보, 사용자의 근접 및 상기 디바이스의 모션 중 적어도 하나를 검출하는 단계를 포함하는,
    디바이스 상호작용을 위한 방법.
  9. 제 8 항에 있어서,
    디바이스 경보를 검출하는 것은 수신된 메시지 및 달력 경보 중 적어도 하나를 검출하는 것을 포함하는,
    디바이스 상호작용을 위한 방법.
  10. 제 8 항에 있어서,
    상기 하나 이상의 센서들은 초음파 센서, 전기장 센서, 주변광 센서 및 적외선 센서 중 적어도 하나를 포함하고,
    사용자의 근접을 검출하는 것은 상기 초음파 센서, 상기 전기장 센서, 상기 주변광 센서 및 상기 적외선 센서 중 적어도 하나를 사용하여 상기 사용자의 근접을 검출하는 것을 포함하는,
    디바이스 상호작용을 위한 방법.
  11. 제 8 항에 있어서,
    상기 디바이스의 모션을 검출하는 것은 상기 디바이스의 가속을 검출하는 것을 포함하는,
    디바이스 상호작용을 위한 방법.
  12. 제 7 항에 있어서,
    상기 디바이스의 디스플레이를 활성화하는 단계는 상기 디바이스의 디스플레이를 활성화하는 단계, 및 키잠금(keylock)과 보안 챌린지(security challenge) 중 적어도 하나를 바이패스(bypass)하는 단계를 포함하는,
    디바이스 상호작용을 위한 방법.
  13. 제 7 항에 있어서,
    응시가 검출되는지의 여부를 결정하는 단계는, 사용자의 얼굴을 검출하고 그리고 검출된 얼굴의 눈 방향, 상기 검출된 얼굴의 입 및 눈들의 하나 이상의 코너들 및 상기 검출된 얼굴 상의 귀들 중 적어도 하나를 검출하는 단계를 포함하는,
    디바이스 상호작용을 위한 방법.
  14. 제 13 항에 있어서,
    응시가 검출되는지의 여부를 결정하는 단계는 상기 검출된 얼굴에 대한 얼굴 인식을 수행하는 단계를 더 포함하고, 상기 검출된 얼굴이 상기 디바이스의 허가받은 사용자로서 인식될 때, 상기 디스플레이가 활성화되는,
    디바이스 상호작용을 위한 방법.
  15. 제 7 항에 있어서,
    상기 응시가 검출되고 그리고 상기 디스플레이가 활성화되며,
    상기 방법은,
    상기 응시가 더 이상 검출되지 않을 때까지, 상기 디스플레이를 활성 상태(active state)로 유지시키는 단계를 더 포함하는,
    디바이스 상호작용을 위한 방법.
  16. 제 7 항에 있어서,
    응시가 검출되는지의 여부를 결정하는 단계는 검출된 얼굴에 대한 얼굴 인식을 수행하는 단계를 더 포함하고, 상기 검출된 얼굴이 상기 디바이스의 허가받은 사용자로서 인식될 때, 보안 챌린지가 바이패스되는,
    디바이스 상호작용을 위한 방법.
  17. 디바이스 상호작용을 위한 시스템으로서,
    고전력 상태에서 동작할 때 트리거링 이벤트를 검출하기 위한 수단 ― 상기 트리거링 이벤트를 검출하기 위한 수단은 또한 저전력 상태에서 동작하도록 구성됨 ―;
    응시를 검출하기 위한 수단 ― 상기 트리거링 이벤트를 검출하기 위한 수단에 의해 상기 트리거링 이벤트가 검출될 때, 응시 검출을 수행하도록 상기 응시를 검출하기 위한 수단이 활성화되고, 상기 응시를 검출하기 위한 수단을 활성화하는 것은 상기 응시를 검출하기 위한 수단의 듀티 사이클(duty cycle)을 증가시키는 것을 포함하고, 상기 듀티 사이클을 증가시키는 것은 적어도 하나의 이미지를 캡쳐하기 위한 제 1 이미지 캡쳐 레이트로부터 적어도 하나의 이미지를 캡쳐하기 위한 제 2 이미지 캡쳐 레이트로 증가시키는 것을 포함하고, 상기 응시를 검출하기 위한 수단은 상기 제 1 이미지 캡쳐 레이트로 동작할 때 적어도 하나의 이미지를 그리고 상기 제 2 이미지 캡쳐 레이트로 동작할 때 적어도 하나의 이미지를 캡쳐하도록 구성됨 ―;
    상기 트리거링 이벤트를 검출하기 위한 수단에 의한 동일한 트리거링 이벤트의 검출 시, 상기 트리거링 이벤트를 검출하기 위한 수단으로 하여금 상기 저전력 상태에 진입하게 하기 위한 수단 ― 상기 트리거링 이벤트를 검출하기 위한 수단은 상기 고전력 상태에 있을 때보다 상기 저전력 상태에서 동작하는 동안 더 적은 전력을 소모하고, 상기 트리거링 이벤트를 검출하기 위한 수단은 상기 저전력 상태에서 동작하고, 그리고 상기 응시를 검출하기 위한 수단은 응시 검출이 활성화될 때 증가된 듀티 사이클을 사용함 ―;
    상기 트리거링 이벤트가 검출되는 것에 기초하여 응시가 검출되는지 여부를 결정하기 위한 수단;
    상기 응시가 검출될 때, 디바이스의 디스플레이를 비활성화 상태로부터 활성화하기 위한 수단; 및
    상기 응시가 검출되지 않으면, 미리결정된 양의 시간 이후, 상기 응시를 검출하기 위한 수단을 비활성화하기 위한 수단을 포함하는,
    디바이스 상호작용을 위한 시스템.
  18. 제 17 항에 있어서,
    상기 트리거링 이벤트를 검출하기 위한 수단은 디바이스 경보, 사용자의 근접 및 상기 디바이스의 모션 중 적어도 하나를 검출하기 위한 수단을 포함하는,
    디바이스 상호작용을 위한 시스템.
  19. 제 18 항에 있어서,
    상기 디바이스 경보는 수신된 메시지 및 달력 경보 중 적어도 하나를 포함하는,
    디바이스 상호작용을 위한 시스템.
  20. 제 18 항에 있어서,
    상기 트리거링 이벤트를 검출하기 위한 수단은 사용자의 근접을 검출하기 위한 수단을 포함하는,
    디바이스 상호작용을 위한 시스템.
  21. 제 20 항에 있어서,
    상기 사용자의 근접을 검출하기 위한 수단은 초음파 센서, 전기장 센서, 주변광 센서 및 적외선 센서 중 적어도 하나를 포함하는,
    디바이스 상호작용을 위한 시스템.
  22. 제 18 항에 있어서,
    상기 트리거링 이벤트를 검출하기 위한 수단은 상기 디바이스의 가속을 검출하도록 구성된 가속도계를 포함하는,
    디바이스 상호작용을 위한 시스템.
  23. 제 17 항에 있어서,
    상기 디바이스의 디스플레이를 활성화하기 위한 수단은 키잠금 및 보안 챌린지 중 적어도 하나를 바이패스하기 위한 수단을 포함하는,
    디바이스 상호작용을 위한 시스템.
  24. 제 17 항에 있어서,
    상기 응시가 검출되는지 여부를 결정하기 위한 수단은, 사용자의 얼굴을 검출하고 그리고 검출된 얼굴의 눈 방향, 상기 검출된 얼굴의 입 및 눈들의 하나 이상의 코너들 및 상기 검출된 얼굴 상의 귀들 중 적어도 하나를 검출하기 위한 수단을 포함하는,
    디바이스 상호작용을 위한 시스템.
  25. 제 24 항에 있어서,
    상기 사용자의 얼굴을 검출하기 위한 수단은 상기 검출된 얼굴에 대한 얼굴 인식을 수행하도록 구성되고, 상기 검출된 얼굴이 상기 디바이스의 허가받은 사용자로서 인식될 때, 상기 디스플레이를 활성화하기 위한 수단이 상기 디스플레이를 활성화하는,
    디바이스 상호작용을 위한 시스템.
  26. 제 17 항에 있어서,
    상기 응시가 검출되는지 여부를 결정하기 위한 수단은, 검출된 얼굴에 대한 얼굴 인식을 수행하고 그리고 상기 검출된 얼굴이 상기 디바이스의 허가받은 사용자로서 인식될 때 보안 챌린지를 바이패스하기 위한 수단을 포함하는,
    디바이스 상호작용을 위한 시스템.
  27. 명령들을 포함하는 비-일시적인 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    고전력 상태에서 동작하는 하나 이상의 센서들을 통해 트리거링 이벤트를 검출하게 하고 ― 상기 하나 이상의 센서들은 또한 저전력 상태에서 동작하도록 구성됨 ―;
    상기 트리거링 이벤트의 검출 시, 응시 검출을 활성화하게 하고;
    상기 하나 이상의 센서들에 의한 상기 트리거링 이벤트의 검출 및 상기 응시 검출의 활성화 시, 응시 검출을 위해 캡쳐된 이미지들의 이미지 캡쳐 레이트를 적어도 하나의 이미지를 캡쳐하기 위한 감소된 상태로부터 증가시키게 하고 ― 적어도 하나의 이미지는 상기 감소된 상태에서 캡쳐되고, 그리고 적어도 하나의 이미지는 증가된 이미지 캡쳐 레이트로 캡쳐됨 ―;
    상기 하나 이상의 센서들에 의한 동일한 트리거링 이벤트의 검출 및 상기 응시 검출의 활성화 시, 상기 하나 이상의 센서들이 상기 저전력 상태에 진입하게 하고 ― 상기 하나 이상의 센서들은 상기 저전력 상태에서 동작하고, 그리고 상기 응시 검출이 수행될 때 상기 증가된 이미지 캡쳐 레이트가 사용됨 ―;
    활성화된 응시 검출을 사용하여 응시가 검출되는지 여부를 결정하게 하고;
    상기 응시가 검출될 때, 상기 디바이스의 디스플레이를 비활성화 상태로부터 활성화하게 하고;
    상기 응시가 검출되지 않을 때, 미리결정된 양의 시간 이후, 상기 응시 검출을 비활성화하게 하고; 그리고
    상기 응시가 더 이상 검출되지 않은 이후, 상기 하나 이상의 센서들이 고전력 상태에 진입하게 하고,
    상기 하나 이상의 센서들은 상기 저전력 상태에서보다 상기 고전력 상태에서 더 많은 전력을 소모하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  28. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 응시가 더이상 검출되지 않은 이후 상기 하나 이상의 센서들로 하여금 상기 고전력 상태에 진입하게 하도록 구성되는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  29. 제 1 항에 있어서,
    상기 하나 이상의 센서들은 제 1 센서 및 제 2 센서를 포함하고,
    상기 하나 이상의 센서들 중 적어도 하나의 센서로 하여금 상기 저전력 상태에 진입하게 하는 것은 상기 제 1 센서로 하여금 상기 저전력 상태에 진입하게 하는 것을 포함하고, 그리고 상기 트리거링 이벤트의 검출 시 상기 제 2 센서는 상기 고전력 상태에 남아있는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  30. 제 29 항에 있어서,
    상기 제 1 센서는 가속도계를 포함하고, 그리고 상기 제 2 센서는 근접 센서를 포함하는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  31. 제 30 항에 있어서,
    상기 가속도계가 상기 디바이스의 모션을 검출하는 것 및 상기 사용자가 상기 디스플레이 컴포넌트의 미리결정된 근접범위 내에 있을 때를 상기 근접 센서가 검출하는 것에 응답하여, 상기 트리거링 이벤트가 검출되는,
    검출되는 응시에 기초하여 디바이스와 상호작용하기 위한 시스템.
  32. 삭제
  33. 삭제
  34. 삭제
KR1020157028707A 2013-03-14 2014-03-13 검출되는 응시에 기초한 디바이스 상호작용을 위한 시스템들 및 방법들 KR101965365B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/831,197 2013-03-14
US13/831,197 US10216266B2 (en) 2013-03-14 2013-03-14 Systems and methods for device interaction based on a detected gaze
PCT/US2014/025346 WO2014151277A1 (en) 2013-03-14 2014-03-13 Systems and methods for device interaction based on a detected gaze

Publications (2)

Publication Number Publication Date
KR20150128967A KR20150128967A (ko) 2015-11-18
KR101965365B1 true KR101965365B1 (ko) 2019-04-03

Family

ID=50473796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028707A KR101965365B1 (ko) 2013-03-14 2014-03-13 검출되는 응시에 기초한 디바이스 상호작용을 위한 시스템들 및 방법들

Country Status (8)

Country Link
US (1) US10216266B2 (ko)
EP (1) EP2972673B1 (ko)
JP (1) JP6407246B2 (ko)
KR (1) KR101965365B1 (ko)
CN (1) CN105144032B (ko)
ES (1) ES2761579T3 (ko)
HU (1) HUE046806T2 (ko)
WO (1) WO2014151277A1 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3617843A1 (en) 2012-12-10 2020-03-04 Samsung Electronics Co., Ltd. Mobile device, control method thereof, and ui display method
US9671864B2 (en) 2013-03-21 2017-06-06 Chian Chiu Li System and methods for providing information
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
JP6295534B2 (ja) * 2013-07-29 2018-03-20 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
US10037081B2 (en) * 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US10119864B2 (en) 2014-03-11 2018-11-06 Google Technology Holdings LLC Display viewing detection
US20150261315A1 (en) * 2014-03-11 2015-09-17 Google Technology Holdings LLC Display viewing detection
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US20160227107A1 (en) * 2015-02-02 2016-08-04 Lenovo (Singapore) Pte. Ltd. Method and device for notification preview dismissal
US20160350607A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Biometric authentication device
US20170061935A1 (en) * 2015-08-31 2017-03-02 Sap Se Adaptive message display duration
CN105992984A (zh) * 2015-09-23 2016-10-05 深圳还是威健康科技有限公司 一种显示控制方法及智能手环
US10867606B2 (en) 2015-12-08 2020-12-15 Chian Chiu Li Systems and methods for performing task using simple code
KR20170084558A (ko) * 2016-01-12 2017-07-20 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN105744117B (zh) * 2016-03-25 2017-12-12 南京第五十五所技术开发有限公司 一种近距离运动检测装置和检测方法
US10514756B2 (en) * 2016-05-06 2019-12-24 Visteon Global Technologies, Inc. Adjusting an electronic display based on gaze tracking
US20180018024A1 (en) * 2016-07-12 2018-01-18 Qualcomm Incorporated Techniques for determining proximity based on image blurriness
EP3499852B1 (en) 2016-09-09 2021-03-24 Huawei Technologies Co., Ltd. Method and device for controlling screen of mobile terminal
EP3504610A1 (en) * 2016-09-22 2019-07-03 Apple Inc. Postponing the state change of an information affecting the graphical user interface until during the conditon of inattentiveness
US10410017B2 (en) 2016-09-30 2019-09-10 The Toronto-Dominion Bank Device lock bypass on selectable alert
KR20180068127A (ko) * 2016-12-13 2018-06-21 엘지전자 주식회사 이동단말기 및 그 제어방법
US10643443B2 (en) * 2016-12-30 2020-05-05 Axis Ab Alarm masking based on gaze in video management system
US9811315B1 (en) * 2017-01-03 2017-11-07 Chian Chiu Li Systems and methods for presenting location related information
US10242562B2 (en) * 2017-02-22 2019-03-26 Thames Technology Holdings, Inc. Control systems with modular configurable devices
IL269861B2 (en) * 2017-04-14 2023-11-01 Magic Leap Inc Multimodal eye tracking
US10565671B2 (en) * 2017-04-24 2020-02-18 Intel Corporation Reduce power by frame skipping
US11720655B2 (en) 2017-09-18 2023-08-08 Dov Moran System, device and method for logging-in by staring at a display device
US10768697B2 (en) 2017-11-02 2020-09-08 Chian Chiu Li System and method for providing information
US11232510B2 (en) * 2019-03-28 2022-01-25 Ncr Corporation Frictionless inquiry processing
KR20220006557A (ko) * 2019-05-10 2022-01-17 가부시키가이샤 한도오따이 에네루기 켄큐쇼 복합 디바이스, 및 전자 기기의 구동 방법
US11386898B2 (en) 2019-05-27 2022-07-12 Chian Chiu Li Systems and methods for performing task using simple code
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
TWI723440B (zh) * 2019-06-27 2021-04-01 宏碁股份有限公司 多媒體播放系統及控制多媒體檔案播放情形的方法
CN113906367B (zh) * 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US11580765B2 (en) 2019-09-02 2023-02-14 Tobii Ab Method and system for detecting physical presence
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
JP6918886B2 (ja) * 2019-09-30 2021-08-11 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
JP7455651B2 (ja) * 2020-04-27 2024-03-26 キヤノン株式会社 電子機器及びその制御方法
CN112527112B (zh) * 2020-12-08 2023-05-02 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
US11573620B2 (en) 2021-04-20 2023-02-07 Chian Chiu Li Systems and methods for providing information and performing task
IT202100019808A1 (it) * 2021-07-26 2023-01-26 St Microelectronics Srl Metodo di controllo di un apparecchio per l'attivazione di una o piu' funzionalita' dello stesso
JP7275239B1 (ja) 2021-12-08 2023-05-17 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
US11579705B1 (en) * 2022-01-12 2023-02-14 Hewlett-Packard Development Company, L.P. Photodetector activations
JP7354376B1 (ja) * 2022-07-26 2023-10-02 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070078552A1 (en) 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US20120071149A1 (en) 2010-09-16 2012-03-22 Microsoft Corporation Prevention of accidental device activation
US20120243729A1 (en) 2011-03-21 2012-09-27 Research In Motion Limited Login method based on direction of gaze
JP2013537670A (ja) 2010-08-04 2013-10-03 アップル インコーポレイテッド 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JPH09120323A (ja) 1995-10-25 1997-05-06 Canon Inc 電源制御方法及び装置及び電子機器
US5835083A (en) 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
JPH11288259A (ja) 1998-02-06 1999-10-19 Sanyo Electric Co Ltd 省電力制御方法及びその装置
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7091471B2 (en) 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
JP4002579B2 (ja) 2005-02-07 2007-11-07 埼玉日本電気株式会社 携帯通信端末及びその省電力方法
US20060192775A1 (en) 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
JP4807167B2 (ja) 2006-07-06 2011-11-02 オムロン株式会社 なりすまし検知装置
US7986816B1 (en) 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
US20120024372A1 (en) * 2008-03-01 2012-02-02 Domingo Delgado Solar operated water heater
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8478361B2 (en) 2008-12-12 2013-07-02 At&T Intellectual Property I, L.P. Human stimulus activation and deactivation of a screensaver
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP2012065107A (ja) 2010-09-15 2012-03-29 Kyocera Corp 携帯端末装置
EP2450872B1 (en) 2010-11-03 2013-12-25 BlackBerry Limited System and method for controlling a display of a mobile device
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US8682388B2 (en) 2010-12-31 2014-03-25 Motorola Mobility Llc Mobile device and method for proximity detection verification
EP2503479B1 (en) 2011-03-21 2015-08-05 BlackBerry Limited Login method based on direction of gaze
US8687840B2 (en) 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US8705812B2 (en) 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
US20130019370A1 (en) * 2011-07-22 2013-01-24 Cecilea Dweck Convertible shape control garment
JP2013029722A (ja) * 2011-07-29 2013-02-07 Sony Corp 表示装置および電子機器
GB2494629A (en) * 2011-09-09 2013-03-20 St Microelectronics Res & Dev Optical navigation device with sleep mode and active mode
CN102857220A (zh) * 2011-12-27 2013-01-02 龙迅半导体科技(合肥)有限公司 Usb2.0高速模式的串行时钟恢复电路
JP5945417B2 (ja) 2012-01-06 2016-07-05 京セラ株式会社 電子機器
JP5808435B2 (ja) * 2012-01-23 2015-11-10 三菱電機株式会社 情報表示装置
CN102662524A (zh) 2012-04-24 2012-09-12 深圳市拓盛电子科技有限公司 电子装置
US20140006305A1 (en) * 2012-06-28 2014-01-02 Sap Ag Consistent Interface for Confirmed Inbound Delivery
US20170091872A1 (en) * 2015-09-24 2017-03-30 Renesas Electronics Corporation Apparatus and method for evaluating driving ability, and program for causing computer to perform method
FR3046317B1 (fr) * 2015-12-24 2020-08-14 Schneider Electric Ind Sas Procede et systeme de controle de communication dans une infrastructure electrique

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070078552A1 (en) 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
JP2013537670A (ja) 2010-08-04 2013-10-03 アップル インコーポレイテッド 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US20120071149A1 (en) 2010-09-16 2012-03-22 Microsoft Corporation Prevention of accidental device activation
US20120243729A1 (en) 2011-03-21 2012-09-27 Research In Motion Limited Login method based on direction of gaze

Also Published As

Publication number Publication date
US20140267034A1 (en) 2014-09-18
EP2972673B1 (en) 2019-09-11
JP6407246B2 (ja) 2018-10-17
ES2761579T3 (es) 2020-05-20
WO2014151277A1 (en) 2014-09-25
CN105144032B (zh) 2018-05-29
KR20150128967A (ko) 2015-11-18
HUE046806T2 (hu) 2020-03-30
EP2972673A1 (en) 2016-01-20
US10216266B2 (en) 2019-02-26
JP2016517087A (ja) 2016-06-09
CN105144032A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
KR101965365B1 (ko) 검출되는 응시에 기초한 디바이스 상호작용을 위한 시스템들 및 방법들
USRE49323E1 (en) Mobile client device, operation method, and recording medium
US9983656B2 (en) Fingerprint sensor with power saving operating modes, and corresponding devices, systems, and methods
JP6542324B2 (ja) 注視決定とデバイス入力との使用
US9280652B1 (en) Secure device unlock with gaze calibration
EP3035656B1 (en) Method and apparatus for controlling an electronic device
US20140247208A1 (en) Invoking and waking a computing device from stand-by mode based on gaze detection
WO2018121428A1 (zh) 一种活体检测方法、装置及存储介质
WO2017118332A1 (zh) 一种应用中功能的调用方法及装置
US10956734B2 (en) Electronic device providing iris recognition based on proximity and operating method thereof
WO2019157804A1 (zh) 指纹解锁方法及装置
US20190171805A9 (en) Unlocking method and apparatus, and storage medium
KR102362042B1 (ko) 전자 장치의 제어 방법 및 장치
WO2020253495A1 (zh) 一种屏幕锁定的控制方法、装置、手持终端以及存储介质
CN115482568A (zh) 电子设备以及控制方法
US20200160038A1 (en) Electronic Device, and Visual Recognition System and Method Thereof
US20220221932A1 (en) Controlling a function via gaze detection
US11393330B2 (en) Surveillance system and operation method thereof
US10983690B2 (en) Methods and devices for precluding touch initiated control operations during three-dimensional motion
CN112261711A (zh) 控制方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant