KR101569423B1 - 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정 - Google Patents

사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정 Download PDF

Info

Publication number
KR101569423B1
KR101569423B1 KR1020157004264A KR20157004264A KR101569423B1 KR 101569423 B1 KR101569423 B1 KR 101569423B1 KR 1020157004264 A KR1020157004264 A KR 1020157004264A KR 20157004264 A KR20157004264 A KR 20157004264A KR 101569423 B1 KR101569423 B1 KR 101569423B1
Authority
KR
South Korea
Prior art keywords
sensor
mobile device
function
state
user
Prior art date
Application number
KR1020157004264A
Other languages
English (en)
Other versions
KR20150038141A (ko
Inventor
베노이트 엠 실링스
데이비드 해리 가르시아
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20150038141A publication Critical patent/KR20150038141A/ko
Application granted granted Critical
Publication of KR101569423B1 publication Critical patent/KR101569423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0212—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/10—Arrangements in telecontrol or telemetry systems using a centralized architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/47—Arrangements in telecontrol or telemetry systems using a wireless architecture using RFID associated with sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/50—Arrangements in telecontrol or telemetry systems using a mobile data collecting device, e.g. walk by or drive by
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/823—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent when the measured values exceed a threshold, e.g. sending an alarm
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Power Sources (AREA)

Abstract

일실시예로, 컴퓨팅 시스템이 제1 상태에 있을 때, 하나 이상의 제1 센서로부터 제1 입력 세트가 감지된다. 제1 센서 값 어레이가 생성되며, 제1 값 어레이는 입력으로 제1 신경 네트워크에 의해 생성된 제1 함수로 공급된다. 하나 이상의 제1 출력 값이 제1 함수를 기초로 계산되며, 이런 제1 출력 값을 기초로 제1 행위가 발생했는지의 결정이 이루어지고, 제1 행위가 발생했다면, 제2 센서 값 어레이가 하나 이상의 제2 센서로부터의 제2 입력 세트로부터 생성된다. 제2 센서 값 어레이는 입력으로서 제2 신경 네트워크에 의해 생성된 제2 함수로 공급된다. 하나 이상의 제2 출력 값이 제2 함수를 기초로 계산되며, 제1 상태는 이런 제2 출력 값을 기초로 종료된다.

Description

사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정{ADJUSTING MOBILE DEVICE STATE BASED ON USER INTENTIONS AND/OR IDENTITY}
본 명세서는 일반적으로 모바일 전자 장치에 관한 것이다.
가령 스마트폰, 태블릿, 노트북 컴퓨터 등과 같은 모바일 전자 장치는 다수의 동작 상태를 가질 수 있다. 예컨대, 모바일 장치가 그 사용자에 의해 사용중이지 않는 동안, 모바일 장치는 전력-소모 레벨을 감소시키고 배터리 수명을 연장시키기 위해 절전(power-saving) 또는 휴면 상태(예컨대, 스크린이 흐릿해지거나 어두워짐)에 있을 수 있다. 일부의 경우, 모바일 장치는 또한 모바일 장치가 비의도적 동작 또는 우발적 동작을 수행하지 않도록 입력-잠금 상태(예컨대, 모바일 장치의 터치스크린이나 키패드가 잠김)에 있을 수 있다. 다른 경우, 모바일 장치는 보안-잠금될 수 있으므로, 사용자는 그 장치를 잠금 해제하고 사용하기 위해 정확한 패스워드 또는 개인식별번호(PIN)를 제공하도록 요구된다. 반면에, 모바일 장치가 그 사용자에 의해 활발히 사용중인 동안, 모바일 장치는 (예컨대, 풀 전력 상태에 있으며 스크린이나 키패드가 잠금 해제되고 사용자 입력을 수신하도록 준비되는) 정상 동작 상태에 있을 수 있다.
본 명세서는 일반적으로 모바일 전자 장치에 관한 것이다.
일실시예로, 컴퓨팅 시스템이 제1 상태에 있을 때, 하나 이상의 제1 센서로부터 제1 입력 세트가 감지된다. 제1 센서 값 어레이가 생성되며, 제1 값 어레이는 입력으로 제1 신경 네트워크에 의해 생성된 제1 함수로 공급된다. 하나 이상의 제1 출력 값이 제1 함수를 기초로 계산되며, 이런 제1 출력 값을 기초로 제1 행위가 발생했는지의 결정이 이루어지고, 제1 행위가 발생했다면, 제2 센서 값 어레이가 하나 이상의 제2 센서로부터의 제2 입력 세트로부터 생성된다. 제2 센서 값 어레이는 입력으로서 제2 신경 네트워크에 의해 생성된 제2 함수로 공급된다. 하나 이상의 제2 출력 값이 제2 함수를 기초로 계산되며, 제1 상태는 이런 제2 출력 값을 기초로 종료된다.
본 발명의 내용 중에 포함되어 있다.
도 1은 예시적인 모바일 전자 장치를 도시한다.
도 2는 예시적인 모바일 장치의 외부를 도시한다.
도 3은 하나 이상의 모바일 장치로부터 훈련 데이터를 수신하기 위한 예시적인 네트워크 환경을 도시한다.
도 4는 훈련 데이터를 획득하고 전송하는 예시적인 방법을 도시한다.
도 5는 신경 네트워크를 통해 함수를 생성하는 예시적인 방법을 도시한다.
도 6은 모바일 장치 센서를 통해 모바일 장치의 물리적 상태를 감지하는 예시적인 방법을 도시한다.
도 7은 예시적인 컴퓨터 시스템을 도시한다.
이제, 본 명세서는 첨부도면에 도시된 바와 같이 본 발명의 몇몇 실시예들을 참조하여 상세히 기술된다. 하기의 상세한 설명에서는, 본 명세서의 완전한 이해를 제공하기 위해 많은 특정한 세부사항이 제시된다. 그러나, 본 명세서는 특정한 세부사항들의 일부 또는 전부 없이도 실행될 수 있다. 다른 예에서, 본 명세서를 불필요하게 모호하지 않게 하기 위해, 잘 알려진 공정 단계 및/또는 구조는 상세히 기술되지 않았다. 또한, 본 명세서는 특정한 실시예들과 함께 기술되나, 이런 설명이 본 명세서를 기술된 실시예들로 제한하려는 의도는 아니라는 점을 이해해야 한다. 이에 반해, 상세한 설명은 첨부된 청구항들에 의해 정의되는 바와 같이 본 명세서의 기술사상 및 범위 내에 포함될 수 있는 대안들, 변형들 및 균등물을 포함하도록 의도된다.
가령 스마트폰, 태블릿 또는 노트북과 같은 모바일 전자 장치는 다수의 동작 상태를 가질 수 있다. 예컨대, 모바일 장치가 일정 시간 구간(예컨대, 몇 초) 동안 그 사용자에 의해 사용되어 오지 않을 때, 모바일 장치는 절전 상태로 들어갈 수 있다. 절전 상태에서, 모바일 장치는 에너지를 절약하고 배터리 수명을 연장시키기 위해 저전력 레벨에서 동작할 수 있다. 모바일 장치의 스크린은 흐릿해지거나 어두워질 수 있다. 모바일 장치를 절전 상태에서 정상 전력 상태로 있게 하기 위해, 사용자는 모바일 장치를 가지고 일정 행위(예컨대, 모바일 장치의 전원 버튼 누르기)를 수행할 필요가 있을 수 있다. 일부의 경우(예컨대, 모바일 장치가 몇 초 동안 절전 상태에 있은 후에), 모바일 장치는 또한 입력-잠금 상태로 들어갈 수 있다. 입력-잠금 상태에서, 모바일 장치의 입력 컴포넌트(예컨대, 키패드 또는 터치-감응 스크린)는 비의도적 동작을 야기하는 우발적인 입력을 방지하도록 잠금될 수 있다. 모바일 장치의 키패드 또는 스크린을 잠금 해제하기 위해, 사용자는 모바일 장치를 가지고 또 다른 행위를 수행할 필요가 있을 수 있다. 예컨대, 모바일 장치가 키패드를 가진다면, 사용자는 키를 누를 필요가 있을 수 있다. 모바일 장치가 터치-감응 스크린을 가진다면, 사용자는 모바일 장치의 전원을 켜는 컨트롤을 누르고 그 스크린에서 스와이프 손짓(swipe gesture)을 할 필요가 있을 수 있다. 또한, 모바일 장치는 보안-잠금 상태에 있을 수 있다. 보안-잠금 상태에서, 모바일 장치는 모바일 장치의 비인가 접근과 사용을 방지하도록 잠금된 패스워드 또는 PIN(Personal Identification Number)이다. 모바일 장치를 잠금 해제하기 위해, 사용자는 적절한 패스워드 또는 PIN을 입력해야할 필요가 있을 수 있다. 모바일 장치가 그 사용자에 의해 활발히 사용되고 있을 때, 모바일 장치는 (예컨대, 풀 전력 레벨에서 동작하고 사용자 입력을 수신하도록 준비된) 정상 동작 상태에 있을 수 있다. 일부의 경우, 모바일 장치는 오디오 출력이 턴온(turned on)되는 동작 상태, 오디오 출력이 턴오프(turned off)되는 동작 상태 또는 오디오 출력이 특정 모드(예컨대, 큰소리, 조용한 소리, 진동 등)에 있는 동작 상태에 있을 수 있다. 다른 동작 상태가 또한 가능할 수 있고, 본 명세서는 임의의 적용가능한 동작 상태를 고려한다.
임의의 소정의 시간에, 모바일 장치는 예컨대 사용자가 모바일 장치를 현재 사용중인지 여부, 사용자가 모바일 장치를 최근에 사용한 이래로 지나간 시간량 또는 모바일 장치의 위치(예컨대, 휴대용 케이스, 사용자의 주머니나 지갑 등)에 따라 동작 상태 중 임의의 하나에 있을 수 있다.
예컨대, 사용자가 몇몇 시간 동안 모바일 장치(예컨대, Apple iPhone)를 사용하지 않았고 모바일 장치가 사용자의 주머니에 있었다고 가정하자. 이 경우, 모바일 장치는 배터리를 절약하도록 절전 상태에 있을 뿐 아니라 우발적 입력을 방지하도록 입력-잠금 상태에 있을 가능성이 높다. 게다가, 모바일 장치는 또한 모바일 장치로의 비인가 접근을 방지하는 보안-잠금 상태에 있을 수 있다. 더욱이, 사용자가 이제 모바일 장치를 사용하고자 한다고 가정하자. 사용자는: (1) 그의 주머니에서 모바일 장치를 꺼내고; (2) 모바일 장치가 절전 상태에서 나오도록 전원 버튼을 누르며; (3) 모바일 장치의 입력 컴포넌트를 잠금 해제하도록 터치 스크린을 스와이프할 필요가 있을 수 있다. 또한, 모바일 장치가 보안 잠금도 되어 있다면, 사용자는 또한 모바일 장치를 잠금 해제하기 위해 패스워드 또는 PIN을 입력해야 한다. 최소한, 사용자는 모바일 장치가 사용 준비되기 전에 수 초가 걸릴 수 있는 몇몇 행위들을 수행해야 한다. 이런 일련의 행위가 하루에 여러 번(예컨대, 사용자가 일정 시간 구간 동안 모바일 장치를 사용하지 않은 후에 사용자가 모바일 장치를 사용할 필요가 있을 때마다) 수행될 필요가 있다는 점을 고려하면, 이는 불편해질 수 있다.
따라서, 특정 실시예는 모바일 전자 장치에 대한 사용자의 의도를 기초로 모바일 전자 장치의 현재 상태를 자동으로 조정할 수 있다. 특정 실시예로, 가령 모바일 장치와 같은 모바일 전자 장치는 예컨대 제한 없이 (예컨대, 하나 이상의 손가락을 사용하여) 모바일 전자 장치의 표면을 터치하는 사용자를 감지하기 위한 (예컨대, 장치의 디스플레이에, 장치의 후면에 및/또는 장치의 하나 이상의 측면 모서리에 배치되는) 터치 센서, 모바일 전자 장치가 이동중인 여부와 이동 속도를 감지하기 위한 가속도계, 모바일 전자 장치 근처의 온도 변화를 측정하기 위한 온도계, 다른 물체(예컨대, 손, 책상 또는 다른 물체)에 대한 모바일 전자 장치의 근접성을 감지하기 위한 근접 센서, 모바일 전자 장치 주위의 주변 광을 측정하기 위한 광센서, 모바일 전자 장치 근처 물체의 디지털 이미지를 캡처하기 위한 이미지 센서(예컨대, 카메라), 모바일 전자 장치의 (예컨대, 위도와 경도의 관점에서) 위치를 결정하기 위한 위치 센서(예컨대, GPS(Global Positioning System)), NFC(near field communication) 센서, 블루투스 센서 등과 같은 다양한 타입의 센서를 포함할 수 있다. 본 명세서는 모바일 전자 장치가 임의의 적용가능한 타입의 센서를 포함할 수 있음을 고려한다. 이런 센서는 소정의 시간에 모바일 전자 장치에 대한 사용자의 의도를 결정하도록 분석될 수 있는 다양한 타입의 센서 데이터를 제공할 수 있다.
도 1은 예시적인 모바일 전자 장치(100)를 도시한다. 특정 실시예로, 모바일 전자 장치(100)는 프로세서(110), 메모리(120), 통신 구성요소(130)(예컨대, 무선 통신용 안테나 및 통신 인터페이스) 및 다양한 타입의 다수의 센서(150)(예컨대, 터치 센서, 가속도계, 온도계, 근접 센서, 광센서, 이미지 센서 등)를 포함할 수 있다. 특정 실시예로, 센서 허브(140)는 모바일 장치(100)에 선택적으로 포함될 수 있다. 센서(150)는 센서(150)를 제어하고, 센서(150)에 대한 전력을 관리하며, 센서 입력을 처리하고, 센서 데이터를 종합하며, 특정 센서 기능을 수행하는 저전력-소모 프로세서일 수 있는 센서 허브(140)와 연결될 수 있다. 또한, 특정 실시예로, 몇몇 타입의 센서(150)는 제어장치(160)와 연결될 수 있다. 이 경우, 센서 허브(140)는 센서(150)와 차례로 연결되는 제어장치(160)와 연결될 수 있다. 대안으로, 특정 실시예로, 센서(150)를 관리하기 위한 센서 허브(140) 대신에 센서 모니터가 있을 수 있다.
특정 실시예로, 모바일 전자 장치(100)(예컨대, 모바일 장치)는 입력 컴포넌트로서 터치스크린을 가질 수 있다. 도 2는 예시적인 모바일 장치(200)의 외부를 도시한다. 모바일 장치(200)는 6면: 전면, 후면, 상면, 하면, 좌측면 및 우측면을 가질 수 있다. 터치 센서는 모바일 장치(200)의 6면 중 일부의 어디든 배치될 수 있다. 예컨대, 도 2에서, 터치 센서(210A)를 결합한 터치스크린은 모바일 장치(200)의 전면에 배치된다. 터치스크린은 모바일 장치(200)에 대한 입력/출력(IO) 컴포넌트의 기능을 할 수 있다. 또한, 터치 센서(210B 및 210C)는 모바일 장치(200)의 좌측면 및 우측면에 각각 배치된다. 터치 센서(210B 및 210C)는 모바일 장치(200)의 면들을 터치하는 사용자의 손을 감지할 수 있다. 특정 실시예로, 터치 센서(210A, 210B 및 210C)는 저항성, 정전용량성 및/또는 유도성 터치 센서를 사용하여 구현될 수 있다. 터치 센서(210A, 210B 및 210C)의 전극은 얇고 견고한 재료 또는 세선 메시(thin wire mesh)에 배열될 수 있다. 정전용량식 터치 센서의 경우, 2가지 타입의 전극: 송신 전극 및 수신 전극이 있을 수 있다. 이런 전극은 전극 펄스로 송신 전극을 구동하고 사용자 터치의 위치를 감지하기 위해 사용자의 터치로 유발된 수신 전극의 정전용량 변화를 측정하도록 설계된 마이크로칩일 수 있는 제어장치(예컨대, 도 1에 도시된 제어장치(160))와 연결될 수 있다.
모바일 장치(200)는 모바일 전자 장치(100)의 일예이며, 실제로 장치는 임의의 수의 면들을 가질 수 있다. 본 명세서는 임의의 수의 면들을 가진 장치를 고려한다. 터치 센서는 장치의 임의의 면에 배치될 수 있다. 모바일 장치는 각각의 장치에 대해 다른 위치에 배열되는 복수의 터치 센서(210A-C)를 가질 수 있다.
특정 실시예로, 모바일 장치(200)는 그 후면에 배치된 근접 센서(220)(예컨대, 적외선 LED(발광 다이오드))를 가질 수 있다. 근접 센서(220)는 그 근접성 따라서 다른 물체와 모바일 장치(200)의 근접성을 결정하기 위한 센서 데이터를 공급할 수 있다.
특정 실시예로, 전면 이외에, 모바일 장치는 좌측면 및 우측면에 터치 센서를 가질 수 있다. 선택적으로, 모바일 장치는 후면, 상면 도는 하면에 터치 센서를 또한 가질 수 있다. 따라서, 사용자의 손이 모바일 장치를 움켜잡도록 모바일 장치를 터치하면, 터치 센서는 모바일 장치를 터치하는 사용자의 손가락이나 손바닥을 감지할 수 있다. 터치-센서 데이터는 사용자가 모바일 장치를 터치한 시기 및 장소를 결정하도록 분석될 수 있다. 사용자가 모바일 장치를 터치할 때, 이는 사용자가 모바일 장치를 사용하고자 할 수 있음의 표시일 수 있다. 특정 실시예로, 사용자가 모바일 장치를 터치했음을 감지하면, 모바일 장치는 절전 상태에서 정상 동작 상태로 있게 될 수 있다. 메인 CPU는 전원-공급 상태로 전환될 수 있고, 모바일 장치의 스크린이 턴온되고 밝게 될 수 있으며, 모바일 장치의 입력 컴포넌트(예컨대, 전면의 키패드 또는 터치스크린)는 자동으로 잠금 해제될 수 있다. 그 결과, 사용자가 사용을 위해 모바일 장치를 그의 주머니에서 꺼낼 때, 모바일 장치는 사용자 입력을 수신하고 정상 동작을 시작하도록 준비된다.
특정 실시예로, 좌측면, 우측면, 상면 및/또는 하면에 터치 센서를 배치하면, 사용자가 모바일 장치의 양면을 터치하고 있는지(즉, 사용자가 모바일 장치를 잡고 있는지)를 감지하는 것이 가능할 수 있다. 따라서, 터치 센서는 모바일 장치를 단순히 터치하는 것 이외에 모바일 장치를 잡는 것을 구별할 수 있다. 특정 실시예로, 사용자가 모바일 장치를 잡고 있음을 감지할 수 있으면, 사용자의 의도를 더 정확하고 더 잘 표시할 수 있다. 이런 의도를 사용하면, 모바일 장치는 절전 상태에서 정상 동작 상태로 있게 될 할 수 있다. 메인 CPU는 전원-공급 상태로 전환될 수 있고, 모바일 장치의 스크린이 턴온되고 밝게 될 수 있으며, 모바일 장치의 입력 컴포넌트(예컨대, 전면의 키패드 또는 터치스크린)는 자동으로 잠금 해제될 수 있다. 그 결과, 사용자가 사용을 위해 모바일 장치를 그의 주머니에서 꺼낼 때, 모바일 장치는 사용자 입력을 수신하고 정상 동작을 시작하도록 준비된다. 그렇지만, 상술한 바와 같이, 단일 터치를 사용하여 사용자의 의도를 추정하는 것이 가능하다.
특정 실시예로, 모바일 장치는 좌측면과 우측면의 터치 센터 이외에 또는 그 대신에 가속도계를 가질 수 있다. 대체로, 사용자는 모바일 장치가 보관된 그의 주머니에 손을 넣을 수 있고, 따라서 심지어 사용자가 그 시점에 모바일 장치를 사용하려고 의도하지 않을 때에도 모바일 장치를 터치할 수 있다. 모바일 장치가 또한 가속도계를 구비한다면, 가속도계가 제공한 센서 데이터는 사용자가 모바일 장치를 사용하려고 의도하는지를 추정하는데 또한 사용될 수 있다. 모바일 장치가 사용자의 주머니에 보관될 때, 모바일 장치는 사용자가 이동함에 따라 이동할 수 있다. 그러나, 이런 이동은 대개 상대적으로 느릴 수 있다. 반면에, 사용자가 모바일 장치를 움켜쥐고 사용을 위해 모바일 장치를 주머니에서 꺼낼 때, 모바일 장치의 이동 속도는 상대적으로 갑작스럽게 증가할 수 있다. 모바일 장치의 이동 속도의 이런 변화는 가속도계가 공급한 센서 데이터를 기초로 감지될 수 있다. 특정 실시예로, 사용자가 모바일 장치를 터치했음을 감지하는 것과는 별도로 또는 그에 부가하여, 모바일 장치의 이동 속도의 큰 변화가 있음을 감지하면, 모바일 장치는 절전 상태에서 정상 동작 상태로 있게 될 수 있고(예컨대, 모바일 장치의 스크린을 턴온할 수 있고), 모바일 장치의 입력 컴포넌트는 자동으로 잠금 해제될 수 있다.
특정 실시예로, 모바일 장치는 터치 센서(예컨대, 모바일 장치의 좌측면과 우측면의 터치 센서)에 부가하여 또는 그 대신에 자이로미터(gyrometer)를 구비할 수 있다. 자이로스코프(gyroscope)라고도 알려진 자이로미터는 하나 이상의 공간 차원에 따라 방위(orientation)를 측정하는 장치이다. 특정 실시예로, 자이로미터는 모바일 장치의 방위를 측정하는데 사용될 수 있다. 모바일 장치가 사용자의 주머니에 보관되어 있을 때, 모바일 장치는 대부분 하나의 방위로 머무를 수 있다. 그러나, 사용자가 모바일 장치를 움켜쥐고 사용을 위해 모바일 장치를 주머니에서 꺼낼 때, 모바일 장치의 방위가 상대적으로 갑작스럽게 변할 수 있다. 모바일 장치의 방위는 자이로미터에 의해 감지되고 측정될 수 있다. 모바일 장치의 방위가 크게 변했다면, 이는 사용자가 모바일 장치를 그의 주머니에서 꺼냈을 수 있는 또 다른 표시일 수 있다.
특정 실시예로, 모바일 장치는 광센서를 구비할 수 있다. 모바일 장치가 사용자의 주머니에 보관되어 있을 때, 모바일 장치의 주변은 상대적으로 어둡다. 반면에, 사용자가 그의 주머니에서 모바일 장치를 꺼내는 경우, 특히 낮 시간이거나 채광이 좋은 지역에서 모바일 장치의 주변은 상대적으로 밝을 수 있다. 광센서가 공급한 센서 데이터는 모바일 장치 주위의 주변 광 레벨의 큰 변화가 발생할 때 감지하도록 분석될 수 있다. 특정 실시예로, 사용자가 모바일 장치를 터치했음을 감지하거나 모바일 장치의 이동 속도의 큰 변화가 있음을 감지하는 것을 포함하는 (이에 국한되지는 않는) 다른 특성을 감지하는 것과는 별도로 또는 그에 부가하여, 모바일 장치 주위의 주변 광 레벨의 큰 변화가 있음을 감지하면, 모바일 장치는 절전 상태에서 정상 동작 상태로 있게 될 수 있고, 모바일 장치의 입력 컴포넌트는 자동으로 잠금 해제될 수 있다
특정 실시예로, 모바일 장치는 근접 센서를 구비할 수 있다. 근접 센서가 공급한 센서 데이터는 모바일 장치가 가령 사용자의 손과 같은 한 물체에 인접해 있을 때 감지하도록 분석될 수 있다. 예컨대, 도 2에 도시된 바와 같이, 모바일 장치(200)는 그 후면에 배치된 적외선 LED(220)(즉, 근접 센서)를 구비할 수 있다. 사용자가 그의 손으로 이런 모바일 장치를 잡을 때, 사용자의 손의 손바닥이 적외선 LED(220)를 덮을 수 있다. 그 결과, 적외선 LED(220)는 사용자의 손이 언제 모바일 장치(200)에 인접해 있는지를 감지할 수 있다. 특정 실시예로, 본 명세서에 기술된 다른 타입의 센서 표시와는 별도로 또는 이와 조합하여 모바일 장치가 사용자의 손에 인접해 있음을 감지하면, 모바일 장치는 절전 상태에서 정상 동작 상태로 있게 될 수 있고, 모바일 장치의 입력 컴포넌트는 자동으로 잠금 해제될 수 있다
모바일 장치는 임의의 수의 다양한 타입의 센서를 구비할 수 있고, 이런 센서는 다른 타입의 센서 데이터를 공급할 수 있다. 각각의 타입의 센서 데이터의 다른 조합들은 모바일 장치에 대한 사용자의 의도(예컨대, 사용자가 그의 주머니에서 모바일 장치를 꺼내서 이를 사용하려고 의도하는지 여부)를 감지하고 추정하는데 함께 사용될 수 있다. 다수의 타입의 센서 데이터를 조합하여 사용하면 하나의 타입의 센서 데이터만을 사용하는 것보다 소정의 시간에 모바일 장치에 대한 사용자의 의도를 더 정확하고 따라서 더 잘 추정할 수 있다. 그렇지만, 하나의 타입의 센서 데이터(예컨대, 터치-센서 데이터)를 사용하여 사용자의 의도를 추정하는 것이 가능하고 흔히 바람직하다. 추가로, 모든 사용자는 그들의 모바일 장치를 다르게 움켜잡기 때문에, 잡는 행위(grabbing actions)에 대한 센서 입력은 사용자와 장치에 따라 일관되지 않을 수 있다. 사용자가 모바일 장치를 잡을 때 특정 센서 값에 대한 모든 사용자와 장치에 따른 패턴을 감지하는 것은 수천 인시(man-hours)가 걸릴 수 있고, 그로 인해 이런 작업은 특정 실시예에서 인공 신경 네트워크(artificial neural network)에 의해 수행되는 것이 적합할 수 있다.
도 3은 클라이언트 모바일 장치로부터 훈련 데이터(training data)를 이용하는 특정 실시예에 대한 예시적인 네트워크 환경을 도시한다. 도 3은 다수의 모바일 장치(200a-200n)를 도시한다. 모바일 장치(200a-n)는 상술한 대로 임의의 타입일 수 있다. 특정 실시예로, 모바일 장치(200a-n)는 가령 스마트폰과 같은 특정 종류의 모바일 장치이다. 특정 실시예로, 모바일 장치(200a-n)는 특정 타입이나 모델의 스마트폰일 수 있다. 그러나, 특정 실시예로, 각각의 모바일 장치(200a-n)는 임의의 제조자 또는 모델일 수 있다.
특정 실시예로, 각각의 모바일 장치(200a-n)는 훈련 데이터(305)를 중앙 신경 네트워크 서버(301)로 기록하고 전송하기 위한 애플리케이션 프로그램을 포함할 수 있다. 모바일 장치(200a-n)가 수집한 훈련 데이터(305)는 1차 신경 네트워크(302) 및 2차 신경 네트워크(303)를 훈련하는데 사용될 수 있다. 특정 실시예로, 임의의 적절한 수의 신경 네트워크가 이용될 수 있다. 특정 실시예로, 단지 하나의 신경 네트워크만이 사용될 수 있다. 본 명세서는 임의의 수의 출력이나 함수를 생성하는 임의의 수의 신경 네트워크를 고려한다.
각각의 모바일 장치(200a-n)에 상주하는 애플리케이션 프로그램은 훈련 단계 동안 기결정된 시간 구간 내에 특정 운동을 수행하도록 사용자를 프롬프트(prompt)할 수 있다. 예컨대, 이 애플리케이션은 "당신의 폰을 평면에 놓고 다음의 15초 내에 당신이 보통 하는 식으로 사용을 위해 폰을 집어라"라고 사용자를 프롬프트할 수 있다. 사용자가 컴파일할 때, 훈련 애플리케이션은 특정 행위에 대한 센서 데이터를 다양한 센서(150)로부터 기록할 수 있고, 센서 값을 값들의 어레이 및 상태 값으로 전송할 수 있다. 예컨대, 훈련 데이터(305)는 정전용량(C0-Cn) 및 센서 값(S0-Sn)을 가진 1차원 어레이를 나타낸다. 특정 실시예로, 정전용량(C0-Cn)은 터치 센서(210A-C)로 생성된다. 특정 실시예로, 터치 센서(210A-C)는 저항성일 수 있고, 훈련 데이터(305)는 터치 센서(210A-C)에 의해 측정된 임피던스를 포함한다. 또한, 훈련 데이터(305)는 상태(state)를 포함한다. 예컨대, 훈련 애플리케이션은 탁자에서 폰을 움켜잡고 사용을 위해 폰을 들어올리는 것을 표현하는 제1 상태에 "0"을 할당할 수 있다. 또 다른 예로서, 훈련 애플리케이션은 사용을 위해 주머니에서 폰을 움겨잡는 것을 표현하는 제2 상태에 "1"을 할당할 수 있고, 훈련 애플리케이션은 폰이 주머니나 지갑에 있는 것을 표현하는 제3 상태에 "2"를 할당할 수 있다. 특정 실시예로, 훈련 애플리케이션은 임의의 적절한 행위나 동작을 표현하는 임의의 수의 상태를 가질 수 있다. 본 명세서는 임의의 수의 가능한 상태를 고려한다.
모바일 장치(200a-n)에서 훈련 애플리케이션은 인터넷(304)을 통해 훈련 데이터를 신경 네트워크 서버(301)로 전송한다. 신경 네트워크 서버(301)는 하나 이상의 신경 네트워크; 이 예에서는 1차 신경 네트워크(302) 및 2차 신경 네트워크(303)를 관리한다. 신경 네트워크(302 및 303)는 복수의 모바일 장치(200a-n)로부터 훈련 데이터를 수신할 수 있고, 기계 학습 알고리즘을 사용하여 하나 이상의 상태와 상관되는 센서 값의 패턴을 인식할 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)는 순환형 신경 네트워크(recurrent neural networks)일 수 있다. 특정 실시예로, 신경 네트워크는 피드포워드 신경 네트워크(feedforward neural networks)일 수 있다. 특정 실시예로, BPTT(backpropagation through time) 훈련이 이용된다. 특정 실시예로, 역전파 훈련(backpropagation training)이 이용된다. 본 명세서는 임의의 적절한 신경 네트워크 및 임의의 적절한 신경 네트워크(302 및 303)의 훈련 방법의 사용을 고려한다.
1차 신경 네트워크(302) 및 2차 신경 네트워크(303)는 훈련 데이터(305)에 포함된 센서 값의 일부만을 이용할 수 있다. 예컨대, 특정 실시예로, 1차 신경 네트워크(302)는 하나 이상의 복수의 모바일 장치(200a-n)의 터치 센서(210A-C)로부터 입력으로서 정전용량 값만을 수신할 수 있다. 특정 실시예로, 1차 신경 네트워크(302)는 단지 항상 실행중인 센서 또는 저-전력 센서로부터 센서 값을 수신할 수 있다. 특정 실시예로, 2차 신경 네트워크(303)는 1차 신경 네트워크(302)와 다르거나 중첩된 센서 세트로부터 입력을 수신할 수 있다. 예컨대, 2차 신경 네트워크(303)는 휴면 모드 또는 잠금 모드 동안 작동되지 않는 가속도계, 자이로미터, 광센서, 근접 센서 또는 하나 이상의 복수의 모바일(200a-n)의 다른 센서로부터 센서 값을 수신할 수 있다.
1차 신경 네트워크(302)는 센서 값 세트(C0-Cn)에 실행될 수 있거나 이와 컨볼빙(convolved)될 수 있는 함수 f0를 출력한다. 특정 실시예로, 함수 f0는 가령 제어장치(160)와 같은 모바일 장치(200)의 저-전력 마이크로컨트롤러의 처리 능력으로 제한된다. 특정 실시예로, 함수 f0는 메모리 또는 프로세서 리소스를 절약할 수 있는 가령 좌측 이동(left shifts) 또는 우측 이동(right shifts)과 같은 일련의 논리 연산자일 수 있다. 수학 연산을 구현하는 임의의 적절한 방법이 사용될 수 있다. 마찬가지로, 2차 신경 네트워크(303)는 센서 값 세트(S0-Sn)에 실행될 수 있거나 이와 컨볼빙될 수 있는 함수 f1을 출력한다. 특정 실시예로, 함수 f1은 함수 f0보다 훨씬 더 계산적으로 복잡할 수 있으며, 더 높은 성능의 부동-소수점 유닛이나 다른 프로세싱 요소를 필요로 할 수 있다. 특정 실시예로, 함수 f1은 모바일 장치(200)의 메인 프로세서(110)에 의해서만 실행될 수 있다. 계산 후, 신경 네트워크 서버(301)는 인터넷(304)을 통해 함수 f0 및 f1을 모바일 장치(200a-n)로 전송할 수 있다.
특정 실시예로, 신경 네트워크(302 및 303)는 기결정된 간격으로 함수 f0 및 f1을 각각 계산한다. 특정 실시예로, 이 간격은 1주일일 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)는 훈련 데이터(305)의 양이 기결정된 수의 샘플을 초과하는 경우 함수 f0 및 f1을 계산한다. 특정 실시예로, 신경 네트워크(302 및 303)는 함수 f0 및 f1을 연속적으로 계산하며, 함수 f0 또는 f1이 각각 가장 최근에 전송된 함수 값으로부터 기결정된 양만큼 변하는 경우에만 업데이터를 모바일 장치(200a-n)의 사용자에게 전송한다. 본 명세서는 함수 f0 또는 f1을 계산하고 모바일 장치(200a-n)로 전송하기 위한 임의의 적절한 간격을 고려한다.
신경 네트워크(302 및 303)에 의해 생성된 함수 f0 및 f1은 수신된 훈련 데이터(305) 세트의 수의 정확성을 향상시킨다. 특정 실시예로, 신경 네트워크 서버(301) 및 훈련 애플리케이션은 가령 소셜 네트워킹 시스템과 같은 애플리케이션이나 서비스의 사용자로부터 훈련 데이터를 획득할 수 있다. 특정 실시예로, 신경 네트워크 서버(301)는 모바일 장치(200a-n)에 상주한 소셜 네트워킹 애플리케이션을 가진 소셜 네트워킹 시스템에 의해 호스팅될 수 있다.
도 4는 특정 실시예에 따라 훈련 데이터를 수집하기 위한 예시적인 방법을 도시한다. 단계 400에서, 훈련자 애플리케이션은 사용자가 기결정된 시간 내에 하나 이상의 상태로 표현된 행위를 수행하도록 프롬프트한다. 앞서 논의한 대로, 이런 행위는 주머니로부터 폰을 제거하기, 평면에서 폰을 움켜잡기 또는 폰을 주머니나 지갑에 남겨두기를 포함할 수 있다. 특정 실시예로, 훈련 애플리케이션은 전환 상태(transition states)를 포함하는 임의의 수의 상태를 가질 수 있다. 예컨대, 훈련 애플리케이션은 제1 상태로서 모바일 장치(200)를 주머니에 두고, 제2 상태를 나타내는 데이터를 수집하도록 모바일 장치(200)를 주머니에서 제거되도록 사용자에게 요청할 수 있다. 특정 실시예로, 프롬프트는 가시적이거나 가청적일 수 있다. 예컨대, 모바일 장치(200)를 그들의 주머니에 놓은 후에, 사용자는 모바일 장치(200)의 센서가 "잡음", 즉 예컨대 주머니나 가방에서의 사용중인 아닌 움직임으로 생성된 데이터의 예를 기록할 수 있도록 일정한 수의 단계로 걷도록 들릴 수 있게 프롬프트될 수 있다. 본 명세서는 임의의 적절한 수의 상태 및 이런 상태로 표현된 행위를 수행하도록 사용자를 프롬프트하는 임의의 적절한 수단을 고려한다.
단계 401에서, 훈련 애플리케이션은 기결정된 시간 구간의 지속시간 동안 센서 값을 기록한다. 특정 실시예로, 모바일 장치(200)는 모든 이용가능한 센서로부터 기록한다. 특정 실시예로, 모바일 장치(200)는 단지 이용가능한 센서의 서브세트로부터 기록한다. 본 명세서는 모바일 장치(200)의 복수의 센서로부터 센서 데이터를 캡처하는 임의의 적절한 방법을 고려한다. 특정 실시예로, 훈련 애플리케이션은 모바일 장치(220a-n)의 다른 모델에 대한 각각의 터치 센서(120A-C)의 위치를 참작한다. 예컨대, 모바일 장치(200a)는 모바일 장치(200b)와 다른 위치에 터치 센서를 구비할 수 있다. 특정 실시예로, 훈련 애플리케이션은 사용자가 그들의 특정 모바일 장치의 제조사 및 모델을 입력하도록 요청할 수 있으므로, 각각의 센서 출력은 신경 네트워크(302 및 303)의 정확한 입력과 맵핑될 수 있다. 특정 실시예로, 훈련 애플리케이션은 모바일 장치 그 자체; 예컨대 모바일 장치의 펌웨어 또는 BIOS로부터 모바일 장치의 제조사 및 모델을 읽을 수 있다.
단계 402에서, 각각의 모바일 장치(200a-200n)에서 훈련 애플리케이션은 센서 값들 및 상태를 신경 네트워크 서버(301)로 전송한다. 특정 실시예로, 단계 400 및 401의 프로세스는 각각의 상태에 대해 반복되며, 특정 상태로 표현된 각각의 행위로부터의 모든 훈련 데이터는 종합되고 즉시 전송된다. 특정 실시예로, 프로세스는 각각의 상태에 대해 단계 400-402를 반복하며, 훈련 데이터(305)는 캡처되면 바로 신경 네트워크 서버(301)로 전송된다. 특정 실시예로, 모든 모바일 장치(200a-n)가 훈련(training)에 참여하는 것은 아닐 것이다. 예컨대, 모바일 장치(200n)는 훈련 데이터(305)를 신경 네트워크 서버(301)에 제공하지 않고 함수 f0 및 f1을 수신할 수 있다. 더 많은 장치가 훈련 데이터(305)를 제출하면, 함수 f0 및 f1이 더 정확해지고 견고해진다. 특정 실시예로, 훈련이 모바일 장치(200a-n)에 필요할 수 있다. 특정 실시예로, 다른 장치들이 도 4의 훈련을 주기적으로 수행하는데 필요할 수 있다. 본 명세서는 훈련 데이터(305)를 수집하는 임의의 적절한 방법을 고려한다.
도 5는 함수 f0 및 f1을 생성하도록 신경 네트워크 서버(301)에 의해 수행된 예시적인 방법을 도시한다. 단계 500에서, 신경 네트워크 서버(301)는 다양한 모바일 장치(200a-n)로부터 훈련 데이터(305)를 수신한다. 특정 실시예로, 신경 네트워크 서버(301)는 수신된 훈련 데이터(305) 세트의 수가 기결정된 임계값을 초과할 때 함수 f0 및 f1을 생성할 수 있다. 특정 실시예로, 신경 네트워크 서버(301)는 연속하여 f0 및 f1을 생성할 수 있을 뿐 아니라 주기적으로 생성된 함수를 모바일 장치(200a-n)로 전송할 수 있다. 본 명세서는 임의의 적절한 타이밍의 함수 생성, 업데이트 및 전송을 고려한다.
단계 501에서, 신경 네트워크 서버(301)는 센서 타입을 기초로 센서 값을 구분한다. 특정 실시예로, 1차 신경 네트워크(302) 및 2차 신경 네트워크(303)는 입력으로서 다른 센서를 이용할 수 있다. 예컨대, 1차 신경 네트워크(302)는 단지 정전용량식 터치 센서(120A-C)로부터 센서 값들만을 입력으로 수용할 수 있다. 따라서, 정전용량 값(C0-Cn) 및 상태 표식이 1차 신경 네트워크(302)로 공급될 수 있다. 반면에, 2차 신경 네트워크(302)는 단지 자이로미터, 가속도계, 광센서 등으로부터 센서 값들만을 수용할 수 있다. 따라서, 센서 값(S0-Sn) 및 상태 표식은 2차 신경 네트워크(303)로 공급될 수 있다. 특정 실시예로, 각각의 신경 네트워크에 의해 수용된 센서 입력 사이의 실질적인 중복이 있을 수 있다. 예컨대, 2차 신경 네트워크(303)는 하나 이상의 터치 센서(120A-C)뿐 아니라 가령 카메라, 광센서, 근접 센서 등과 같은 다른 고-전력 센서 모두로부터 센서 값을 수용할 수 있다. 본 명세서는 신경 네트워크(302 및 303)에 대한 입력의 임의의 조합을 고려한다.
단계 502a 및 502b에서, 특정 센서 값은 신경 네트워크(302 및 303)로 전송된다. 특정 실시예로, 특정 센서 값은 훈련 데이터(305)에 포함된 상태 값과 함께 전송된다. 따라서, 1차 신경 네트워크(302)는; 예컨대 장치가 잡혀져 있었거나, 장치가 탁자 위에 편평히 놓여져 있었거나, 장치가 가방이나 주머니에 있는, 센서 입력 중 장치의 상태와 함께 터치 센서(120A-C)로부터 정전용량(C0-Cn)을 수신할 수 있다. 마찬가지로, 2차 신경 네트워크(303)는 상태 값과 함께 센서 값(S0-Sn)(및, 특정 실시예로, C0-Cn)을 수신할 수 있다.
단계 503 및 504에서, 신경 네트워크(302 및 303)는 함수 f0 및 f1을 각각 생성한다. 신경 네트워크(302 및 303)는 임의의 타입의 신경 네트워크일 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)는 순환형 신경 네트워크일 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)는 Hopfield, Elman, Jordan, Echo 상태, 장단기 메모리(long short-term memory), 양-방향성 도는 연속시간 순환형 신경 네트워크(continuous time recurrent neural networks)일 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)는 피드 포워드 신경 네트워크일 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)는 적응형 선형 요소(adaptive linear elements, ADALINE) 및 다수의 적응형 선형 요소(MADALINE)를 이용할 수 있다. 본 명세서는 함수 f0 및 f1를 생성하기 위한 임의의 적절한 신경 네트워크(302 및 303)를 고려한다. 특정 실시예로, 신경 네트워크(302)는 신경 네트워크(303)와 다른 타입, 다른 훈련 방법 또는 다른 구조일 수 있다. 특정 실시예로, 신경 네트워크(302 및 303)의 계산상의 복잡성은 함수 f0 및 f1이 실행될 프로세스에 의해 제한된다. 예컨대, f0은 저-전력 마이크로컨트롤러에서 실행하기 위해 계산상으로 간단하도록 설계될 수 있다. 반면에, 함수 f1은 가령 프로세서(110)와 같은 고-전력 메인 프로세서 유닛에 의해 실행하기 위해 계산상으로 더 복잡하거나 프로세서-집약적이도록 설계될 수 있다.
단계 505에서, 신경 네트워크 서버(301)는 함수 f0 및 f1를 클라이언트 장치(200a-200n)로 전송한다. 앞서 논의한 바와 같이, 신경 네트워크 서버(301)는 함수 f0 및 f1을 임의의 모바일 장치(200)로 전송할 수 있다. 특정 실시예로, 모바일 장치(200)는 훈련 데이터(305)를 신경 네트워크 서버(301)로 전송함으로써 신경 네트워크 훈련에 참가할 필요가 없다. 특정 실시예로, 신경 네트워크 서버(301)는 기결정된 간격으로 함수 f0 및 f1을 전송할 수 있다. 상술한 바와 같이, 함수 f0 또는 f1은 그것이 이전에 전송된 함수와 기결정된 양만큼 상이한 경우 전송될 수 있다. 본 명세서는 임의의 적절한 전송 방법 또는 타이밍을 고려한다.
도 6은 잠금 상태를 선택적으로 나오도록 센서 데이터를 사용하기 위해 모바일 장치(200a-n)에 의해 실행되는 예시적인 방법을 도시한다. 이 프로세스가 시작할 때, 모바일 장치(200)는; 예컨대, 사용자가 장치를 수동으로 잠금한 후 또는 오랫동안 비활성 상태인 후인 유휴 또는 잠금 상태에 있다.
단계 601에서, 마이크로컨트롤러 또는 센서 제어장치(160)는 1차 센서의 입력을 감지한다. 특정 실시예로, 1차 센서는 1차 신경 네트워크(302)에 의해 생성된 함수 f0이 이용하는 센서이다. 특정 실시예로, 1차 센서는 터치 센서(120A-C)이며, 심지어 유휴 상태에 있어도 마이크로컨트롤러 또는 센서 제어장치(160)에 의해 연속하여 모니터된다.
단계 602에서, 마이크로컨트롤러 또는 센서 제어장치(160)는 입력 값으로 1차 센서가 생성한 값으로 함수 f0을 실행한다. 특정 실시예로, 1차 센서의 센서 값은 특정 순서로 가령 어레이와 같은 데이터 구조로 배열될 수 있다. 예컨대, 함수 f0은: 좌측면의 정전용량식 터치 센서, 후면의 정전용량식 터치 센서, 우측면의 정전용량식 터치 센서의 순서로 배열되는 입력을 요청할 수 있다. 특정 실시예로, 센서 값은 벡터로 표현될 수 있다. 특정 실시예로, 함수 f0은 입력 벡터의 각각의 값으로 곱해지는 가중치의 세트일 수 있다. 특정 실시예로, 함수 f0은 간단히 센서 값의 입력 벡터와 컨볼빙될 수 있다. 이런 실시예에서, 계산상의 효율을 보전하기 위해, 컨볼루션(convolution) 연산이 f0과 입력 벡터 사이의 일련의 비트-시프트(bit-shifts)와 논리 연산으로서 실행될 수 있으며, 함수 f0이 가령 어셈블리와 같은 저급 언어(low-level language)로 실행되게 할 수 있다.
함수 f0은 입력 벡터와의 컨볼루션의 결과로서 하나 이상의 값을 출력한다. 특정 실시예로, 단지 하나의 출력 값만이 있을 수 있다. 특정 실시예로, 가령 "잡기(grab)", "탁자(table)" 또는 (예컨대, 장치가 주머니 또는 가방에 있음을 표시하는) "잡음(noise)"과 같은 각각의 가능한 출력 상태에 대한 출력 값이 있을 수 있다. 특정 실시예로, 하나 이상의 출력 값은 이산적(discrete)일 수 있다. 특정 실시예로, 하나 이상의 출력 값은 연속적일 수 있고, 모바일 장치(200)가 하나 이상의 상태에 있을 확률을 나타낼 수 있다. 본 명세서는 함수 f0으로부터의 임의의 적절한 출력 값을 고려한다.
단계 603에서, 모바일 장치(200)는 메인 프로세서(110)를 각성하고 함수 f1을 진행하는지를 결정하도록 함수 f0의 출력을 판단한다. 이런 결정은 f0의 출력 값이 잡기 행위가 있을 가능성을 표시하는 결정에 해당한다. 특정 실시예로, 이런 결정은 모든 출력 값의 평균을 기초로 할 수 있다. 특정 실시예로, 이런 결정은 하나의 출력 값, 예컨대 "잡기" 행위에 해당하는 값이 특정 임계값을 초과하는지ml 여부를 기초로 할 수 있다. 특정 실시예로, 이런 결정은 가령 "잡음" 상태와 관련된 값과 같은 특정 출력 값이 기결정된 임계값 미만인지의 여부를 기초로 할 수 있다. 본 명세서는 함수 f0으로부터의 출력에 기반한 임의의 적절한 결정 알고리즘을 고려한다.
단계 604에서, 잡기 행위가 단계 603에서 있을 가능성이 있다고 긍정적으로 결정하면, 마이크로컨트롤러 또는 센서 프로세서(160)는 알림 메시지를 전송하여 모바일 장치(200)의 메인 프로세서(110)를 각성시킬 수 있다. 특정 실시예로, 알림 메시지는 메인 프로세서(110)를 각성시키는 하드웨어 인터럽트(hardware interrupt)일 수 있다. 특정 실시예로, 마이크로컨트롤러 또는 센서 프로세서(160)는 메인 프로세서(110)를 각성시키도록 구체적으로 설계된 하드와이어드 회로(hardwired circuit)를 구비할 수 있다. 본 명세서는 메인 프로세서(110)를 각성시키는 임의의 적절한 수단을 고려한다.
단계 605에서, 모바일 장치(200)는 함수 f1에 의해 사용되는 2차 센서로부터의 센서 데이터를 획득한다. 특정 실시예로, 2차 센서는 가속도계를 포함할 수 있다. 예컨대, 2차 신경 네트워크(303)는 모바일 장치(200)가 주머니에서 꺼내지거나 탁자에서 들어올려졌음을 표시하는 특정 가속도계 패턴을 인식하는 함수 f1을 생성했을 수 있다. 따라서, 마이크로컨트롤러에 의해 처음 각성된 후, 메인 프로세서(110)는 가속도계로부터 센서 값을 얻을 수 있다. 특정 실시예로, 2차 센서는 자이로미터를 포함할 수 있다. 예컨대, 2차 신경 네트워크(303)는 모바일 장치(200)가 주머니로부터 꺼내지거나 탁자에서 들어올려졌음을 시사하는 하나 이상의 축에 대한 회전을 표시하는 특정 자이로미터 센서 값 패턴을 인식하는 함수 f1를 생성했을 수 있다. 특정 실시예로, 2차 센서는 광센서를 포함할 수 있다. 특정 주간 환경에서, 어둠에서 밝음으로의 전환은 모바일 장치(200)가 주머니에서 꺼내졌음을 사시할 수 있다. 특정 실시예로, 2차 센서는 임의의 조합의 센서 값을 포함할 수 있다. 특정 실시예로, 2차 센서는 모바일 장치(200)의 카메라 서브시스템으로부터의 값을 포함할 수 있다. 특정 실시예로, 2차 센서는 시스템 클록을 포함할 수 있다; 예컨대, 함수 f1은 시각에 따라 소정의 세트의 입력이 잡기에 해당할 확률을 조정할 수 있다. 본 명세서는 단계 605에서 임의의 수 또는 임의의 조합의 센서로부터 데이터를 획득하는 것을 고려한다.
단계 606에서, 모바일 장치(200)는 메인 프로세서(110)를 통해 입력으로 단계 605에서 획득된 2차 센서 값을 사용하여 함수 f1을 실행한다. 앞서 논의한 대로, 2차 센서 값은 어레이 또는 벡터 데이터 구조에 배열될 수 있다. 특정 실시예로, 센서 데이터(S0-Sn)는 특정 순서로 데이터 구조에 배열될 수 있다. 특정 실시예로, 함수 f1은 입력 벡터를 함수 가중치와 컨볼루션(convolving)하여 실행될 수 있다. 본 명세서는 입력으로 2차 센서에서 획득된 값을 사용하여 함수 f1을 실행하는 임의의 적절한 방법을 고려한다.
단계 607에서, 메인 프로세서(110)는 함수 f1의 출력으로부터 모바일 장치(200)의 물리적 상태(또는 사용자의 의도)를 결정한다. 앞서 논의한 대로, 함수 f1은 모바일 장치(200)의 특정 물리적 상태에 각각 해당하는 하나 이상의 값을 출력할 수 있다. 예컨대, 함수 f1은 장치가 잡혀져 있거나, 탁자에 편평히 놓여 있거나, 주머니에 있음("잡음")을 시사하는 값을 출력할 수 있다. 특정 실시예로, 각각의 값은 이산적이거나 연속적일 수 있다. 특정 실시예로, 이 결정은 합계, 평균, 가중 평균 또는 기결정된 임계치 초과 또는 미만인 값의 다른 수학적 조합을 기초로 할 수 있다. 단계 608 및 610에서, 모바일 장치(200)가 "탁자" 또는 "잡음" 상태에 있다면, 모바일 장치는 유휴/잠금 상태로 반환하며 메인 프로세서(110)의 전력을 낮춘다. 그러나, 모바일 장치(200)가 사용자는 모바일 장치를 사용하려고 한다고 결정하면, 모바일 장치(200)는 단계 611에서 잠금 해제 상태로 자동 전환할 수 있다.
특정 실시예로, 모바일 장치를 현재 다루고 있는 사용자의 신원이 확인될 수 있다. 모바일 장치를 현재 다루고 있는 사용자가 모바일 장치의 진정한 소유자이라면, 모바일 장치는 자동으로 잠금 해제될 수 있다. 반면에, 모바일 장치를 현재 다루고 있는 사용자가 만족스럽게 확인될 수 없다면, 사용자는 모바일 장치를 잠금 해제하고 사용하기 위해 패스워드 또는 PIN을 제공하도록 프롬프트되고 요구될 수 있다.
사용자의 신원을 확인하는 다양한 수단이 있을 수 있다. 특정 실시예로, 모바일 장치는 이미지 센서(예컨대, 카메라)를 구비할 수 있다. 사용자가 모바일 장치를 사용자의 얼굴 앞에 가져가면, 카메라는 사용자의 얼굴을 캡처하기 위해 카메라 렌즈 앞에서 물체의 캡처된 디지털 이미지를 분석할 수 있다. 이런 이미지는 사용자의 얼굴을 위치시키고 모바일 장치의 소유자의 얼굴(예컨대, 모바일 장치와 연계하여 파일에 저장된 얼굴)과 비교하도록 하나 이상의 적절한 얼굴 인식 알고리즘을 사용하여 분석될 수 있다. 2개의 얼굴 사이의 충분한 양의 유사성(즉, 매치)이 있다면, 모바일 장치를 현재 다루고 있는 사용자는 모바일 장치의 실제 소유자로 확인될 수 있고, 모바일 장치는 사용자가 패스워드 또는 PIN을 명시적으로 제공하도록 요청하지 않고 잠금 해제될 수 있다. 모바일 장치의 소유자의 얼굴을 표현하는 이미지는 모바일 장치 그 자체 또는 그 밖의 장소(예컨대, 모바일 장치에 접근가능한 서버)에 저장될 수 있다.
특정 실시예로, 모바일 장치의 사용자는 소셜 네트워킹 시스템의 회원일 수 있다. 일반적으로 소셜 네트워크는 가령 친구관계, 혈연관계, 공통 관심사, 재정적 교환, 믿음이나 지식의 관계와 같은 하나 이상의 상호의존 또는 관계 유형으로 연결되는, 가령 개인들 또는 단체들과 같은 엔티티들로 구성된 사회적 구조이다. 최근 수년 이상 동안, 소셜 네트워크는 인터넷을 이용해왔다. 소셜 네트워킹 웹사이트의 형태로 인터넷에 존재하는 소셜 네트워킹 시스템들이 있다. 이런 소셜 네트워킹 웹사이트는 통상 웹사이트 사용자들로 불리는 회원들이 다양한 소셜 활동을 수행할 수 있도록 한다. 예컨대, www.facebook.com에서 페이스북(Facebook, Inc.)에 의해 운영되는 소셜 네트워킹 웹사이트는 사용자들이 이메일, 인스턴트 메시징 또는 블로그 게시물을 통해 친구들과 통신하거나, 소셜 이벤트를 준비하거나, 사진을 공유하거나, 친구들의 소식이나 관심 이벤트를 수신하거나, 게임을 실행하는 것 등을 가능하게 한다.
사용자는 사용자와 관련된 정보(예컨대, 신상 데이터, 소셜 연결과 활동, 관심사, 취미 등)를 포함하는 소셜 네트워킹 시스템에서의 프로필을 가질 수 있다. 특정 실시예로, 사용자의 프로필에서 발견된 정보는 소정의 시간에 모바일 장치에 대한 사용자의 의도를 결정하거나 사용자의 신원을 추정하는 것을 도와주는데 또한 사용될 수 있다. 예컨대, 소셜 네트워킹 시스템에 저장된 사용자의 캘린더를 기초로 사용자가 이벤트(예컨대, 회의)에 참가중이라고 결정된다면, 모바일 장치는 스크린이 턴오프되고 입력 컴포넌트가 잠겨지는 상태로 전환될 수 있다. 또 다른 예로서, 소셜 네트워킹 시스템에서 이용가능한 정보를 기초로 사용자가 소정의 시간 및 위치에서 소셜 연결관계(예컨대, 친구)와 함께 있다고 결정될 수 있다. 모바일 장치가 그 소유자에 대해 이례적인 위치에 있으나 동시에 몇몇의 소유자의 가족 구성원이나 친구가 또한 거기에 있다면, 이는 모바일 장치가 그의 진정한 소유자와 함께 있음을 시사할 수 있으며, 이 경우 모바일 장치는 패스워드 또는 PIN을 요구하지 않고 잠금 해제될 수 있다. 반면에, 모바일 장치가 이례적인 위치에 있고 그 소유자의 어떤 소셜 연결관계도 거기에 없다면, 장치의 사용자가 실제로 진정한 소유자임을 보장하도록 장치를 잠금 해제하는데 패스워드 또는 PIN이 필요할 수 있다.
특정 실시예로, 모바일 장치의 진정한 소유자는 설정을 지정하고 패스워드 또는 PIN의 필요 없이 장치를 잠금 해제하는 조건을 표시할 수 있다. 예컨대, 소유자는 다수의 소셜 연결관계(예컨대, 친구 또는 가족 구성원)가 장치 근처에서 (예컨대, 가령 NFC, 음성이나 얼굴 인식 등과 같은 임의의 적절한 수단을 사용하여) 감지되는 경우, 폰이 패스워드 또는 PIN의 필요 없이 잠금 해제될 수 있거나 보안에 대해 낮은 임계치를 가질 수 있음을 지정할 수 있고, 그 역도 또한 가능하다.
특정 실시예로, 소셜 네트워킹 시스템의 사용자의 상태 업데이터는 사용자의 인증을 도와주는데 신호로서 사용될 수 있다. 예컨대, 사용자의 상태 업데이트는 사용자가 실제로 특정 위치에 있음을 표시할 수 있거나, 사용자의 친구가 근처에 있음을 감지하는데 사용될 수 있거나, 사용자가 체크인에서 친구로 태그되어서 결국 사용자가 특정 위치에 있음을 표시할 수 있다.
특정 실시예로, 모바일 장치에 포함된 센서는 소셜 네트워킹 시스템을 통해 제공되는 제3자 애플리케이션(예컨대, 온라인 게임)을 포함하는 소셜 네트워킹 시스템 내에서 네비게이팅하도록 사용될 수 있다.
특정 실시예는 하나 이상의 컴퓨터 시스템에서 구현될 수 있다. 도 7은 예시적인 컴퓨터 시스템(700)을 도시한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(700)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(700)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(700)을 실행하는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템들(700)의 하나 이상의 부분들을 포함한다.
본 명세서는 임의의 적절한 수의 컴퓨터 시스템(700)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(700)을 고려한다. 예로서 제한 없이, 컴퓨터 시스템(700)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템 메쉬(mesh), 모바일 장치, 개인 정보 단말기(PDA), 서버, 툴, 토이(toy), 착용가능한 아이템 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(700)은 하나 이상의 컴퓨터 시스템(700)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나, 다수의 기계에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 성분을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(700)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 실행할 수 있다. 예로서 제한 없이, 하나 이상의 컴퓨터 시스템(700)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 실행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(700)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 다른 시기에 또는 다른 위치에서 실행할 수 있다.
특정 실시예로, 컴퓨터 시스템(700)은 프로세서(702), 메모리(704), 저장소(706), 입력/출력(I/O) 인터페이스(708), 통신 인터페이스(710) 및 버스(712)를 포함한다. 본 명세서가 특정 배열로 특정한 수의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 배열로 임의의 적절한 수의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예로, 프로세서(702)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(702)는 내부 레지스터, 내부 캐시, 메모리(704) 또는 저장소(706)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(704) 또는 저장소(706)에 기록할 수 있다. 특정 실시예로, 프로세서(702)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(702)를 고려한다. 예로서 제한 없이, 프로세서(702)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들 및 하나 이상의 변환 색인 버퍼(translation lookaside buffers, TLBs)를 포함할 수 있다. 명령어 캐시에 저장된 명령어들은 메모리(604)나 저장소(706) 내 명령어들의 사본일 수 있고, 명령어 캐시는 프로세서(702)에 의한 이런 명령어들의 검색 속도를 높일 수 있다. 데이터 캐시 내의 데이터는 프로세서(702)에서 실행하는 다음 명령들에 의해 접근하거나 메모리(704)나 저장소(706)로 기록하기 위해 프로세서(702)에서 실행되는 이전 명령들의 결과; 또는 다른 적절한 데이터를 동작하는데 프로세서(702)에서 실행하는 명령어를 위한 메모리(704)나 저장소(706) 내의 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(702)에 의한 판독 또는 기록 동작의 속도를 높일 수 있다. TLB들은 프로세서(702)에 의한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예로, 프로세서(702)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터들을 포함하는 프로세서(702)를 고려한다. 적절한 경우, 프로세서(702)는 하나 이상의 산술 논리 유닛(ALUs)을 포함할 수 있거나; 멀티-코어 프로세서일 수 있거나; 하나 이상이 프로세서들(702)을 포함할 수 있다. 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예로, 메모리(704)는 프로세서(702)가 실행하는 명령어 또는 프로세서(702)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로서 제한 없이, 컴퓨터 시스템(700)은 저장소(706)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(700))에서 메모리(704)로 명령어를 로딩할 수 있다. 이후, 프로세서(702)는 메모리(704)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(702)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(702)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(702)는 하나 이상의 이런 결과를 메모리(704)에 기록할 수 있다. 특정 실시예로, 프로세서(702)는 (저장소(706) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(704)에서 단지 명령어만을 실행하며, (저장소(706) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(704)에서 단지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(702)를 메모리(704)로 연결할 수 있다. 하기에 기술되는 바와 같이, 버스(712)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(702)와 메모리(704) 사이에 상주하며, 프로세서(702)에 의해 요청되는 메모리(704)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(704)는 랜덤 액세스 메모리(RAM)를 포함한다. 적절한 경우, 이런 RAM은 휘발성 메모리일 수 있다. 적절한 경우, 이런 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이런 RAM은 단일 포트형 또는 다중-포트형 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(704)는 하나 이상의 메모리(704)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예로, 저장소(706)는 데이터용 또는 명령어용 대용량 저장소를 포함한다. 예로서 제한 없이, 저장소(706)는 HDD, 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 자기-광학 디스크, 자기 테이프, 범용 직렬 버스(USB) 드라이브 또는 이들의 2 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(706)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(706)는 컴퓨터 시스템(700)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장소(706)는 비휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장소(706)는 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM), 플래시 메모리 또는 이들의 2 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(706)를 고려한다. 적절한 경우, 저장소(706)는 프로세서(702)와 저장소(706) 사이의 통신을 용이하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(706)는 하나 이상의 저장소(706)를 포함할 수 있다. 본 명세서가 특정 저장소를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.
특정 실시예로, I/O 인터페이스(708)는 컴퓨터 시스템(700)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(700)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(700) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 적절한 I/O 인터페이스(708)를 고려한다. 적절한 경우, I/O 인터페이스(708)는 프로세서(702)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(708)는 하나 이상의 I/O 인터페이스(708)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예로, 통신 인터페이스(710)는 컴퓨터 시스템(700)과 하나 이상의 다른 컴퓨터 시스템(600)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(710)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(710)를 고려한다. 예로서 제한 없이, 컴퓨터 시스템(700)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(700)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 모바일 장치 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(700)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(710)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(710)는 하나 이상의 통신 인터페이스(710)를 포함할 수 있다. 본 명세서가 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예로, 버스(712)는 컴퓨터 시스템(700)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 버스(712)는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCI-X(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(712)는 하나 이상의 버스(712)를 포함할 수 있다. 본 명세서가 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.
본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 구조를 갖는 하나 이상의 비일시적, 유형의 컴퓨터 판독가능한 저장매체를 포함한다. 예로서 제한 없이, 컴퓨터 판독가능한 저장매체는 반도체 기반 또는 다른 집적회로(IC)(가령, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific IC)), 하드 디스크, HDD, 하이브리드 하드 디스크(HHD), 광학 디스크, 광학 디스크 드라이브(ODD), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDD), 자기 테이프, 홀로그래픽 저장매체, 고체-상태 드라이브(SSD), RAM 드라이브, SECURE DIGITAL 카드, SECURE DIGITAL 드라이브, 다른 적절한 컴퓨터 판독가능한 저장매체 또는, 적절한 경우, 2 이상의 이들의 조합을 포함할 수 있다. 본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 미국연방법률(35 U.S.C.§101)하에 특허로 보호받을 수 없는 임의의 매체를 배제한다. 본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 미국연방법률(35 U.S.C.§101)하에 특허로 보호받을 수 없는 정도로의, (가령 전파하는 전기적 또는 전자기적 신호 그 자체와 같은) 신호 전송의 일시적 형태를 배제한다. 적절한 경우, 컴퓨터 판독가능한 비-일시적 저장매체는 휘발성, 비-휘발성 또는 휘발성과 비-휘발성의 조합일 수 있다.
본 명세서는 임의의 적절한 저장소를 구현하는 하나 이상의 컴퓨터 판독가능한 저장매체를 고려한다. 특정 실시예로, 컴퓨터 판독가능한 저장매체는 프로세서(702)의 하나 이상의 부분(가령, 예컨대 하나 이상의 내부 레지스터나 캐시), 메모리(704)의 하나 이상의 부분, 저장소(706)의 하나 이상의 부분 또는 적절한 경우 이들의 조합을 구현한다. 특정 실시예로, 컴퓨터 판독가능한 저장매체는 RAM 또는 ROM을 구현한다. 특정 실시예로, 컴퓨터 판독가능한 저장매체는 휘발성 또는 지속성 메모리를 구현한다. 특정 실시예로, 하나 이상의 컴퓨터 판독가능한 저장매체는 소프트웨어를 이용한다. 본 명세서에서, 소프트웨어에 대한 언급은 하나 이상의 애플리케이션, 바이트코드(bytecode), 하나 이상의 컴퓨터 프로그램, 하나 이상의 실행가능한 것들, 하나 이상의 명령어, 로직, 기계어, 하나 이상의 스크립트 또는 소스 코드를 포함할 수 있으며, 적절한 경우 그 역도 또한 같다. 특정 실시예로, 소프트웨어는 하나 이상의 애플리케이션 프로그래밍 인터페이스(APIs)를 포함한다. 본 명세서는 임의의 적절한 프로그래밍 언어 또는 프로그래밍 언어들의 조합으로 기록되거나 표현되는 임의의 적절한 소프트웨어를 고려한다. 특정 실시예로, 소프트웨어는 소스 코드 또는 객체 코드로 표현된다. 특정 실시예로, 소프트웨어는 예컨대 C, Perl 또는 이들의 적절한 확장형과 같은 고차원(higher-level) 프로그래밍 언어로 표현된다. 특정 실시예로, 소프트웨어는 가령 어셈플리 언어(또는 기계어)와 같은 저차원(lower-level) 프로그래밍 언어로 표현된다. 특정 실시예로, 소프트웨어는 JAVA, C 또는 C++로 표현된다. 특정 실시예로, 소프트웨어는 하이퍼텍스트 마크업 언어(HTML), 확장형 마크업 언어(XML) 또는 다른 적절한 마크업 언어로 표현된다.
본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.
본 명세서는 당업자가 이해할 수 있는 본 명세서의 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 게다가, 본 명세서는 특정 컴포넌트, 구성요소, 기능, 동작 또는 단계를 포함하는 것으로 본 명세서의 각각의 실시예들을 기술하고 도시하지만, 임의의 이런 실시예들은 당업자가 이해할 수 있는 본 명세서에 어디든 기술되거나 도시되는 임의의 컴포넌트, 구성요소, 기능, 동작 또는 단계의 임의의 조합이나 치환을 포함할 수 있다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

Claims (23)

  1. 하나 이상의 컴퓨팅 시스템에 의해:
    하나 이상의 컴퓨팅 시스템이 제1 상태에 있는 동안, 복수의 제1 센서로부터 제1 입력 세트를 감지하는 단계;
    제1 센서 값 어레이를 생성하는 단계;
    입력으로서 제1 센서 값 어레이를 제1 신경 네트워크에 의해 생성된 제1 함수로 공급하는 단계;
    제1 함수를 적어도 부분적으로 기초로 하여, 하나 이상의 제1 출력 값을 계산하는 단계;
    하나 이상의 제1 출력 값을 적어도 부분적으로 기초로 하여, 제1 행위가 발생했는지를 결정하는 단계; 및
    제1 행위가 발생했다는 결정에 응답하여:
    제2 센서 입력 세트에 대한 하나 이상의 제2 센서를 폴링하는 단계;
    제2 센서 값 세트를 포함하는 제2 센서 값 어레이를 생성하는 단계;
    입력으로서 제2 센서 값 어레이를 제2 신경 네트워크에 의해 생성된 제2 함수로 공급하는 단계;
    제2 함수를 적어도 부분적으로 기초로 하여, 하나 이상의 제2 출력 값을 계산하는 단계; 및
    제2 함수가 반환한 하나 이상의 제2 출력 값을 적어도 부분적으로 기초로 하여, 제1 상태를 종료하는 단계를 포함하며,
    제1 센서 값 어레이에서 각각의 센서 값은 제1 입력 세트 중 하나에 해당하고, 각각의 제2 센서 값 세트는 제2 센서 입력 세트 중 하나에 해당하는 방법.
  2. 제 1 항에 있어서,
    하나 이상의 제1 출력 값은 저-전력 마이크로컨트롤러에 의해 계산되며;
    제1 행위가 발생했다는 결정에 응답하여, 마이크로컨트롤러는 하나 이상의 제2 출력 값의 계산을 위해 프로세서를 휴면 모드로부터 각성시키는 방법.
  3. 제 1 항에 있어서,
    제1 센서는 터치 센서를 포함하는 방법.
  4. 제 3 항에 있어서,
    터치 센서는 정전용량식인 방법.
  5. 제 1 항에 있어서,
    하나 이상의 제2 센서는:
    가속도계;
    광센서; 또는
    멀티-터치 디스플레이 면을 포함하는 방법.
  6. 제 1 항에 있어서,
    제1 상태는 잠금 상태인 방법.
  7. 제 1 항에 있어서,
    제1 행위는 손으로 쥐는 행위(grab action)인 방법
  8. 제 1 항에 있어서,
    제1 및 제2 함수는 서버로부터 수신되는 방법.
  9. 하나 이상의 컴퓨팅 시스템이 제1 상태에 있는 동안, 복수의 제1 센서로부터 제1 입력 세트를 감지하고;
    제1 센서 값 어레이를 생성하며;
    입력으로서 제1 센서 값 어레이를 제1 신경 네트워크에 의해 생성된 제1 함수로 공급하고;
    제1 함수를 적어도 부분적으로 기초로 하여, 하나 이상의 제1 출력 값을 계산하며;
    하나 이상의 제1 출력 값을 적어도 부분적으로 기초로 하여, 제1 행위가 발생했는지를 결정하고;
    제1 행위가 발생했다는 결정에 응답하여:
    제2 센서 입력 세트에 대한 하나 이상의 제2 센서를 폴링하며; 제2 센서 값 세트를 포함하는 제2 센서 값 어레이를 생성하고; 입력으로서 제2 센서 값 어레이를 제2 신경 네트워크에 의해 생성된 제2 함수로 공급하며; 제2 함수를 적어도 부분적으로 기초로 하여, 하나 이상의 제2 출력 값을 계산하고; 제2 함수가 반환한 하나 이상의 제2 출력 값을 적어도 부분적으로 기초로 하여, 제1 상태를 종료하도록 실행될 때 동작하는 로직을 포함하며,
    제1 센서 값 어레이에서 각각의 센서 값은 제1 입력 세트 중 하나에 해당하고, 각각의 제2 센서 값 세트는 제2 센서 입력 세트 중 하나에 해당하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  10. 제 9 항에 있어서,
    하나 이상의 제1 출력 값은 저-전력 마이크로컨트롤러에 의해 계산되며;
    제1 행위가 발생했다는 결정에 응답하여, 마이크로컨트롤러는 하나 이상의 제2 출력 값의 계산을 위해 프로세서를 휴면 모드로부터 각성시키는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  11. 제 9 항에 있어서,
    제1 센서는 정전용량식 터치 센서를 포함하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  12. 제 9 항에 있어서,
    하나 이상의 제2 센서는:
    가속도계;
    광센서; 또는
    멀티-터치 디스플레이 면을 포함하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  13. 제 9 항에 있어서,
    제1 상태는 잠금 상태인 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  14. 제 9 항에 있어서,
    제1 행위는 손으로 쥐는 행위인 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  15. 제 9 항에 있어서,
    제1 및 제2 함수는 서버로부터 수신되는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  16. 프로세서;
    복수의 제1 센서;
    하나 이상의 제2 센서; 및
    프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 메모리를 포함하는 장치로서,
    상기 프로세서는:
    장치가 제1 상태에 있는 동안, 복수의 제1 센서로부터 제1 입력 세트를 감지하고;
    제1 센서 값 어레이를 생성하며;
    입력으로서 제1 센서 값 어레이를 제1 신경 네트워크에 의해 생성된 제1 함수로 공급하고;
    제1 함수를 적어도 부분적으로 기초로 하여, 하나 이상의 제1 출력 값을 계산하며;
    하나 이상의 제1 출력 값을 적어도 부분적으로 기초로 하여, 제1 행위가 발생했는지를 결정하고;
    제1 행위가 발생했다는 결정에 응답하여:
    제2 센서 입력 세트에 대한 하나 이상의 제2 센서를 폴링하며; 제2 센서 값 세트를 포함하는 제2 센서 값 어레이를 생성하고; 입력으로서 제2 센서 값 어레이를 제2 신경 네트워크에 의해 생성된 제2 함수로 공급하며; 제2 함수를 적어도 부분적으로 기초로 하여, 하나 이상의 제2 출력 값을 계산하고; 제2 함수가 반환한 하나 이상의 제2 출력 값을 적어도 부분적으로 기초로 하여, 제1 상태를 종료하는 명령어를 실행할 때 동작하며,
    제1 센서 값 어레이에서 각각의 센서 값은 제1 입력 세트 중 하나에 해당하고, 각각의 제2 센서 값 세트는 제2 센서 입력 세트 중 하나에 해당하는 장치.
  17. 제 16 항에 있어서,
    상기 장치는 저-전력 마이크로컨트롤러를 더 포함하고,
    하나 이상의 제1 출력 값은 저-전력 마이크로컨트롤러에 의해 계산되며,
    제1 행위가 발생했다는 결정에 응답하여, 마이크로컨트롤러는 하나 이상의 제2 출력 값의 계산을 위해 프로세서를 휴면 모드로부터 각성시키는 장치.
  18. 제 16 항에 있어서,
    복수의 제1 센서는 터치 센서를 포함하는 장치.
  19. 제 18 항에 있어서,
    터치 센서는 정전용량식인 장치.
  20. 제 16 항에 있어서,
    하나 이상의 제2 센서는:
    가속도계;
    광센서; 또는
    멀티-터치 디스플레이 면을 포함하는 장치.
  21. 제 16 항에 있어서,
    제1 상태는 잠금 상태인 장치.
  22. 제 16 항에 있어서,
    제1 행위는 손으로 쥐는 행위인 장치.
  23. 제 16 항에 있어서,
    제1 및 제2 함수는 서버로부터 수신되는 장치.
KR1020157004264A 2012-07-20 2013-07-15 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정 KR101569423B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/554,838 2012-07-20
US13/554,838 US9052896B2 (en) 2012-07-20 2012-07-20 Adjusting mobile device state based on user intentions and/or identity
PCT/US2013/050446 WO2014014800A1 (en) 2012-07-20 2013-07-15 Adjusting mobile device state based on user intentions and/or identity

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031335A Division KR101792082B1 (ko) 2012-07-20 2013-07-15 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정

Publications (2)

Publication Number Publication Date
KR20150038141A KR20150038141A (ko) 2015-04-08
KR101569423B1 true KR101569423B1 (ko) 2015-11-16

Family

ID=48793042

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157031335A KR101792082B1 (ko) 2012-07-20 2013-07-15 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정
KR1020157004264A KR101569423B1 (ko) 2012-07-20 2013-07-15 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157031335A KR101792082B1 (ko) 2012-07-20 2013-07-15 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정

Country Status (11)

Country Link
US (4) US9052896B2 (ko)
EP (1) EP2688311B1 (ko)
JP (2) JP6039072B2 (ko)
KR (2) KR101792082B1 (ko)
CN (1) CN104641657B (ko)
AU (1) AU2013290489B2 (ko)
BR (1) BR112015001248A2 (ko)
CA (2) CA2909567C (ko)
IL (3) IL236749A (ko)
MX (2) MX351032B (ko)
WO (1) WO2014014800A1 (ko)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536157B (zh) * 2012-02-23 2016-06-01 原相科技股份有限公司 電子裝置與電腦可讀取媒體
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US9482296B2 (en) 2012-06-05 2016-11-01 Apple Inc. Rendering road signs during navigation
US9886794B2 (en) 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US8983778B2 (en) 2012-06-05 2015-03-17 Apple Inc. Generation of intersection information by a mapping service
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US8965696B2 (en) 2012-06-05 2015-02-24 Apple Inc. Providing navigation instructions while operating navigation application in background
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US10225324B2 (en) 2012-07-31 2019-03-05 Felica Networks, Inc. System and method for activation of application on a device using near field communication
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
US9904341B2 (en) * 2012-09-10 2018-02-27 Intel Corporation Cascading power consumption
US10341421B2 (en) 2013-05-10 2019-07-02 Samsung Electronics Co., Ltd. On-device social grouping for automated responses
US10402915B2 (en) 2013-05-10 2019-09-03 Samsung Electronics Co., Ltd. Methods and systems for on-device social grouping
US8971868B2 (en) * 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
US20150044993A1 (en) * 2013-08-07 2015-02-12 George Kirkley Must Call
US20150092520A1 (en) * 2013-09-27 2015-04-02 Google Inc. Adaptive Trigger Point For Smartwatch Gesture-to-Wake
KR20150051809A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 자동 실행 서비스를 제공하기 위한 전자 장치 및 방법
CN104679313A (zh) * 2013-11-30 2015-06-03 深圳富泰宏精密工业有限公司 触控面板初始化系统、方法及触控装置
US9509822B2 (en) * 2014-02-17 2016-11-29 Seungman KIM Electronic apparatus and method of selectively applying security in mobile device
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
US9408076B2 (en) 2014-05-14 2016-08-02 The Regents Of The University Of California Sensor-assisted biometric authentication for smartphones
EP3155758A4 (en) 2014-06-10 2018-04-11 Sightline Innovation Inc. System and method for network based application development and implementation
US20160094945A1 (en) * 2014-09-26 2016-03-31 Sunil Kulkarni Variable interval for periodic fix requests of multiple clients
US9788277B2 (en) * 2015-01-15 2017-10-10 Mediatek Inc. Power saving mechanism for in-pocket detection
US9652015B2 (en) * 2015-06-15 2017-05-16 Cypress Semiconductor Corporation Low-power touch button sensing system
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN105373712A (zh) * 2015-10-22 2016-03-02 上海斐讯数据通信技术有限公司 一种基于神经网络的移动终端解锁系统及其解锁方法
US9686644B1 (en) 2016-05-15 2017-06-20 Fmr Llc Geospatial-based detection of mobile computing device movement
US9883403B2 (en) 2016-05-15 2018-01-30 Fmr Llc Monitoring presence of authorized user during user session based upon mobile computing device motion
US10469653B2 (en) 2016-05-15 2019-11-05 Fmr Llc Proximity and movement detection of a mobile computing device during a user session
US9781243B1 (en) * 2016-06-27 2017-10-03 Intel Corporation Optimizing wearable device settings using machine learning
KR20180003123A (ko) 2016-06-30 2018-01-09 삼성전자주식회사 메모리 셀 유닛 및 메모리 셀 유닛들을 포함하는 순환 신경망
US10387769B2 (en) 2016-06-30 2019-08-20 Samsung Electronics Co., Ltd. Hybrid memory cell unit and recurrent neural network including hybrid memory cell units
US20180012001A1 (en) * 2016-07-07 2018-01-11 Redfrog Security, LLC Mobile device security systems and methods
US10405440B2 (en) 2017-04-10 2019-09-03 Romello Burdoucci System and method for interactive protection of a mobile electronic device
CN106326984A (zh) * 2016-08-09 2017-01-11 北京京东尚科信息技术有限公司 用户意图识别方法和装置、自动应答系统
US10061909B2 (en) * 2016-12-29 2018-08-28 Qualcomm Incorporated Device authentication based on behavior classification using convolution neural network
US10610773B2 (en) * 2017-03-06 2020-04-07 Suffuse Inc. Interactive digital platform device and method
WO2018204672A1 (en) 2017-05-03 2018-11-08 Oshea Timothy James Learning radio signals using radio signal transformers
US10853474B2 (en) * 2017-07-31 2020-12-01 Dell Products, L.P. System shipment lock
KR102092931B1 (ko) * 2017-09-13 2020-03-24 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
WO2019054598A1 (ko) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN107659717B (zh) * 2017-09-19 2020-11-10 北京小米移动软件有限公司 状态检测方法、装置和存储介质
CN107958273B (zh) * 2017-12-15 2021-08-03 北京小米移动软件有限公司 音量调节方法、装置及存储介质
US10846561B1 (en) 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
KR102568686B1 (ko) 2018-02-09 2023-08-23 삼성전자주식회사 컨텍스트 허브를 포함하는 모바일 장치 및 그것의 동작 방법
CN116991225A (zh) * 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
US11039277B2 (en) * 2018-04-23 2021-06-15 Uber Technologies, Inc Location data transmission scheduling for a mobile computing device
KR20200090438A (ko) 2019-01-21 2020-07-29 삼성전자주식회사 디스플레이의 손상을 방지하기 위한 전자 장치 및 방법
CN110019688A (zh) * 2019-01-23 2019-07-16 艾肯特公司 对机器人进行训练的方法
JP6623366B1 (ja) 2019-03-27 2019-12-25 株式会社ＭＡＲＵＩ−ＰｌｕｇＩｎ 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体
US20200342291A1 (en) * 2019-04-23 2020-10-29 Apical Limited Neural network processing
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) * 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
JP2021089692A (ja) * 2019-12-06 2021-06-10 未來市股▲ふん▼有限公司 動作感知データ生成方法及び動作感知データ生成システム
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11356600B2 (en) 2020-03-16 2022-06-07 Microsoft Technology Licensing, Llc Machine learning operations on different location targets using camera orientation
US11514665B2 (en) 2020-04-01 2022-11-29 Scandit Ag Mapping optical-code images to an overview image
US11171904B1 (en) 2020-05-06 2021-11-09 International Business Machines Corporation Message authentication using generative adversarial networks
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
US11244147B2 (en) 2020-05-15 2022-02-08 Scandit Ag Optical data exchange while preserving social distancing
US11290643B1 (en) * 2020-06-26 2022-03-29 Scandit Ag Efficient digital camera image acquisition and analysis
US11403477B1 (en) 2020-05-15 2022-08-02 Scandit Ag Image exposure performance improvements for recognition of optical patterns
US11139858B1 (en) 2020-07-24 2021-10-05 International Business Machines Corporation Wireless communication management
US11417001B1 (en) 2020-07-27 2022-08-16 Scandit Ag Detecting discrete optical patterns using depth estimation
US11821732B2 (en) * 2021-01-07 2023-11-21 Stmicroelectronics S.R.L. Electronic device including bag detection
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition
CN116965116A (zh) * 2021-03-01 2023-10-27 谷歌有限责任公司 使用神经网络将蜂窝通信与传感器数据相结合的设备
JP2023003156A (ja) * 2021-06-23 2023-01-11 キヤノン株式会社 端末機器及びその制御方法並びにプログラム
US11442608B1 (en) 2021-08-06 2022-09-13 Google Llc Preserving engagement state based on contextual signals
US11880738B1 (en) 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene
US20230136643A1 (en) * 2021-10-29 2023-05-04 Kyndryl, Inc. Intelligent locking of display devices for remote use
US11557136B1 (en) 2022-02-23 2023-01-17 Scandit Ag Identity document verification based on barcode structure

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081431A (ja) 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714778B2 (en) * 2001-05-15 2004-03-30 Nokia Corporation Context sensitive web services
US7230933B2 (en) 2002-04-17 2007-06-12 Microsoft Corporation Reducing idle power consumption in a networked battery operated device
JP4375290B2 (ja) * 2005-06-29 2009-12-02 株式会社カシオ日立モバイルコミュニケーションズ 燃料電池内蔵型の携帯端末装置及びプログラム
KR100668341B1 (ko) 2005-06-29 2007-01-12 삼성전자주식회사 사용자의 파지 형태를 이용한 휴대용 단말기의 기능 입력방법 및 장치.
KR100678713B1 (ko) 2005-10-27 2007-02-05 에스케이 텔레콤주식회사 이동통신망을 이용하여 이동통신 단말기의 대기 모드의설정을 제어하는 방법 및 시스템
US20070184845A1 (en) * 2006-02-09 2007-08-09 Troncoso Edmund R Providing geographic context for applications and services on a wide area network
US20080091762A1 (en) * 2006-07-12 2008-04-17 Neuhauser Alan R Methods and systems for compliance confirmation and incentives
CA2620617A1 (en) * 2006-10-20 2008-04-20 T-Mobile Usa, Inc. System and method for utilizing ip-based wireless telecommunications client location data
US7835999B2 (en) * 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
JP4992043B2 (ja) * 2007-08-13 2012-08-08 株式会社国際電気通信基礎技術研究所 行動識別装置、行動識別システムおよび行動識別方法
US20090192935A1 (en) * 2008-01-30 2009-07-30 Kent Griffin One step near field communication transactions
US20090259865A1 (en) * 2008-04-11 2009-10-15 Qualcomm Incorporated Power Management Using At Least One Of A Special Purpose Processor And Motion Sensing
TW201005503A (en) * 2008-07-16 2010-02-01 Htc Corp Portable electronic device and the mode switching method thereof
US8913991B2 (en) * 2008-08-15 2014-12-16 At&T Intellectual Property I, L.P. User identification in cell phones based on skin contact
US20100142448A1 (en) * 2008-09-04 2010-06-10 Ludger Schlicht Devices for a mobile, broadband, routable internet
US8823518B2 (en) 2008-12-08 2014-09-02 Motorola Solutions, Inc. Method of sensor cluster processing for a communication device
US8311577B2 (en) * 2009-06-15 2012-11-13 International Business Machines Corporation Proactive control of mobile communications devices
JP2011087168A (ja) * 2009-10-16 2011-04-28 Rohm Co Ltd モバイル機器
JP5440251B2 (ja) * 2010-02-26 2014-03-12 カシオ計算機株式会社 携帯端末及びプログラム
JP2011197719A (ja) * 2010-03-17 2011-10-06 Jvc Kenwood Holdings Inc タッチパネル入力装置、タッチパネル入力装置の制御方法およびプログラム
US8874129B2 (en) * 2010-06-10 2014-10-28 Qualcomm Incorporated Pre-fetching information based on gesture and/or location
US20110314419A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Customizing a search experience using images
WO2012048122A1 (en) * 2010-10-06 2012-04-12 Vivotech Inc. Methods, systems, and computer readable media for provisioning location specific content information to a mobile device
US9378485B2 (en) * 2010-12-30 2016-06-28 General Electric Company Systems and methods for applying geolocation to workflows using mobile medical clients
KR101242620B1 (ko) * 2011-01-18 2013-03-19 주식회사 애트랩 터치 센서 제어기에서의 터치 신호 처리 방법 및 그 장치
KR101784316B1 (ko) * 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
US9339727B2 (en) * 2011-06-15 2016-05-17 Microsoft Technology Licensing, Llc Position-based decision to provide service
US20120324481A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co. Ltd. Adaptive termination and pre-launching policy for improving application startup time
US20130102359A1 (en) * 2011-10-20 2013-04-25 Tien-Hwa Ho Smart phone-combinable otologic inspection device
JPWO2013157332A1 (ja) * 2012-04-17 2015-12-21 日本電気株式会社 行動識別装置、行動識別システム及び行動識別プログラム
US9565233B1 (en) * 2013-08-09 2017-02-07 Google Inc. Preloading content for requesting applications
US9513888B1 (en) * 2014-01-30 2016-12-06 Sprint Communications Company L.P. Virtual preloads
US10991033B2 (en) * 2016-10-28 2021-04-27 International Business Machines Corporation Optimization of delivery to a recipient in a moving vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081431A (ja) 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム

Also Published As

Publication number Publication date
JP6039072B2 (ja) 2016-12-07
EP2688311A2 (en) 2014-01-22
KR20150129051A (ko) 2015-11-18
CA2909567A1 (en) 2014-01-23
JP6235681B2 (ja) 2017-11-22
CA2879128C (en) 2016-01-05
KR20150038141A (ko) 2015-04-08
CA2879128A1 (en) 2014-01-23
CA2909567C (en) 2018-01-02
AU2013290489B2 (en) 2015-11-26
IL236749A0 (en) 2015-02-26
IL245621A (en) 2017-02-28
CN104641657B (zh) 2017-06-09
MX342527B (es) 2016-10-03
JP2015528253A (ja) 2015-09-24
US10219222B2 (en) 2019-02-26
WO2014014800A1 (en) 2014-01-23
IL250274A0 (en) 2017-03-30
CN104641657A (zh) 2015-05-20
EP2688311A3 (en) 2017-11-15
EP2688311B1 (en) 2020-09-16
MX2015000906A (es) 2015-09-21
US9591580B2 (en) 2017-03-07
AU2013290489A1 (en) 2015-02-19
IL245621A0 (en) 2016-06-30
MX351032B (es) 2017-09-28
US20170064624A1 (en) 2017-03-02
BR112015001248A2 (pt) 2017-07-04
IL250274B (en) 2019-06-30
US20140025973A1 (en) 2014-01-23
US20150215871A1 (en) 2015-07-30
IL236749A (en) 2016-06-30
KR101792082B1 (ko) 2017-11-01
US9052896B2 (en) 2015-06-09
JP2017084370A (ja) 2017-05-18
US20190174419A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
KR101569423B1 (ko) 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정
US10728442B2 (en) Initializing camera subsystem for face detection based on sensor inputs
US10620685B2 (en) Adjusting mobile device state based on user intentions and/or identity
US10007772B2 (en) Method and apparatus for authenticating access to a multi-level secure environment of an electronic device
KR102354586B1 (ko) 전자 장치 상태에 따른 제어 방법 및 그 장치
CN107548568A (zh) 用于设备功能的场境发现的系统和方法
AU2015252057B2 (en) Adjusting mobile device state based on user intentions and/or identity

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191031

Year of fee payment: 5