KR20140071208A - 포터블 디바이스 및 음성 인식 서비스 제공 방법 - Google Patents

포터블 디바이스 및 음성 인식 서비스 제공 방법 Download PDF

Info

Publication number
KR20140071208A
KR20140071208A KR1020130013052A KR20130013052A KR20140071208A KR 20140071208 A KR20140071208 A KR 20140071208A KR 1020130013052 A KR1020130013052 A KR 1020130013052A KR 20130013052 A KR20130013052 A KR 20130013052A KR 20140071208 A KR20140071208 A KR 20140071208A
Authority
KR
South Korea
Prior art keywords
sensor
portable device
voice recognition
recognition service
gesture
Prior art date
Application number
KR1020130013052A
Other languages
English (en)
Other versions
KR102179811B1 (ko
Inventor
이기원
이수영
가호경
김영우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US13/840,926 priority Critical patent/US8843173B2/en
Priority to CN201380059905.XA priority patent/CN104798012B/zh
Priority to PCT/KR2013/002658 priority patent/WO2014088162A1/en
Priority to EP13861152.0A priority patent/EP2926219B1/en
Priority to US14/203,119 priority patent/US8904218B2/en
Publication of KR20140071208A publication Critical patent/KR20140071208A/ko
Priority to US14/539,806 priority patent/US9563349B2/en
Application granted granted Critical
Publication of KR102179811B1 publication Critical patent/KR102179811B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3243—Power saving in microcontroller unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)

Abstract

포터블 디바이스가 개시된다. 일 실시예에 따른 포터블 디바이스는, 스레스홀드 이상의 진동을 감지하여 전자 신호를 생성하는 기계식 진동 센서; 포터블 디바이스의 모션을 감지하는 모션 센서; 음성 명령을 수신하는 오디오 센서; 상기 모션 센서 및 상기 오디오 센서를 포함하는 복수의 센서를 제어하는 센서 허브; 및 애플리케이션을 실행하고 상기 포터블 디바이스를 제어하는 메인 프로세서를 포함하며, 상기 센서 허브는, 상기 포터블 디바이스가 스탠바이 모드인 경우, 상기 기계식 진동 센서로부터 전자 신호를 수신하면 인액티브 상태로부터 액티브 상태로 전환하여 상기 모션 센서를 액티베이트하고, 상기 모션 센서를 사용하여 인식된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 해당하는 경우, 상기 메인 프로세서를 액티베이트하여 상기 포터블 디바이스를 음성 인식 서비스 모드로 진입시킬 수 있다.

Description

포터블 디바이스 및 음성 인식 서비스 제공 방법{Portable Device And Method For Providing Voice Recognition Service}
본 명세서는 포터블 디바이스에 대한 것으로, 특히 포터블 디바이스가 스탠바이 모드인 경우 센서를 사용하여 음성 인식 서비스 모드로 진입함으로써 음성 인식 서비스를 제공하는 방법에 관한 것이다.
칩셋의 소형화 및 네트워크 기술의 발전으로 인해, 포터블 디바이스의 성능 및 기능은 점점 강력하며 다양해지고 있다. 최근 포터블 디바이스는, 전통적인 의미의 통신 장비로부터 사용자에게 다양한 서비스를 제공할 수 있는 스마트 디바이스로 변화하고 있다. 포터블 디바이스는 개인 비서와 같은 역할을 수행할 수도 있으며, 이러한 기능은 지능형 에이전트(intelligent agent)라고 지칭되기도 한다. 또한, 포터블 디바이스는 탑재된 다양한 센서들을 사용하여, 사용자의 컨텍스트(context)에 따라 최적화된 기능을 제공할 수 있게 되었다.
포터블 디바이스의 소형화에 따라, 포터블 디바이스의 배터리 용량 또한 포터블 디바이스의 싸이즈에 따라서 제한된다. 따라서, 포터블 디바이스의 경우 전력 관리는 매우 중요한 이슈이다. 따라서, 포터블 디바이스가 제공하는 서비스에 따라서 전력 소모를 최소화할 필요가 존재한다. 이와 동시에 센서를 사용하여 사용자의 의도에 맞게 디바이스가 다양한 서비스를 좀 더 간편하게 제공할 필요가 존재한다.
전술한 기술적 과제를 해결하기 위하여, 일 실시예에 따른 포터블 디바이스는, 스레스홀드 이상의 진동을 감지하여 전자 신호를 생성하는 기계식 진동 센서; 포터블 디바이스의 모션을 감지하는 모션 센서; 음성 명령을 수신하는 오디오 센서; 상기 모션 센서 및 상기 오디오 센서를 포함하는 복수의 센서를 제어하는 센서 허브; 및 애플리케이션을 실행하고 상기 포터블 디바이스를 제어하는 메인 프로세서를 포함하며, 상기 센서 허브는, 상기 포터블 디바이스가 스탠바이 모드인 경우, 상기 기계식 진동 센서로부터 전자 신호를 수신하면 인액티브 상태로부터 액티브 상태로 전환하여 상기 모션 센서를 액티베이트하고, 상기 모션 센서를 사용하여 인식된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 해당하는 경우, 상기 메인 프로세서를 액티베이트하여 상기 포터블 디바이스를 음성 인식 서비스 모드로 진입시킬 수 있다.
또한, 일 실시예에 따른 포터블 디바이스의 음성 인식 서비스 제공 방법은, 기계식 진동 센서를 사용하여, 스레스 홀드의 진동이 감지된 경우 전자 신호를 센서 허브로 전송하여 센서 허브를 액티베이트하는 단계; 상기 센서 허브를 사용하여, 상기 센서 허브에 연결된 모션 센서를 액티베이트하는 단계; 상기 센서 허브를 사용하여, 상기 모션 센서를 통해 센싱된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 매칭되는 경우, 메인 프로세서를 액티베이트하는 단계; 상기 메인 프로세서를 사용하여, 스탠바이 모드의 포터블 디바이스를 음성 인식 서비스 모드로 진입시키는 단계를 포함한다.
일 실시예에 따른 포터블 디바이스는, 스탠바이 모드에서 액티브 모드로 진입함에 있어서 기계식 진동 센서를 사용하여, 스탠바이 모드에서의 대기 전력 소모를 현저히 낮출 수 있다. 그리고, 약속된 제스처에 의해 스탠바이 모드에서 바로 음성 인식 서비스 모드로 진입할 수 있으므로, 액티브 모드를 거칠 필요 없이 사용자가 원하는 서비스를 제공할 수 있다. 또한, 별도의 음성 인식 서비스 모드를 제공함으로써, 액티브 모드에서 보다 낮은 전력을 소모하면서 음성 인식 서비스를 제공할 수도 있다. 또한, 사용자 직관적인 제스처 입력을 통해 스탠바이 모드에서 바로 음성 인식 서비스를 제공할 수 있으며, 이 경우에도 전력 소모를 줄일 수 있다.
도 1은 일 실시예에 따른 포터블 디바이스를 나타낸 블록도이다.
도 2는 일 실시예에 따른 포터블 디바이스의 동작 모드들을 나타낸 도면이다.
도 3은 일 실시예에 따른 포터블 디바이스의 동작 모드들을 나타낸 도면이다.
도 4는 일 실시예에 따른 스탠바이 모드의 포터블 디바이스 및 그의 액티베이트 방법을 나타낸 도면이다.
도 5는 일 실시예에 따른 스탠바이 모드의 포터블 디바이스 및 그의 액티베이트 방법을 나타낸 도면이다.
도 6은 일 실시예에 따른 기계식 진동 센서를 나타낸 도면이다.
도 7은 일 실시예에 따른 포터블 디바이스의 액티베이팅 방법을 나타낸 도면이다.
도 8은 일 실시예에 따른 포터블 디바이스의 음성 인식 서비스 트리거 제스처 센싱 결과를 나타낸 도면이다.
도 9는 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법을 나타낸 도면이다.
도 10은 다른 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법을 나타낸 도면이다.
도 11은 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 한 장면을 나타낸다.
도 12는 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 다른 한 장면을 나타낸다.
도 13은 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 다른 한 장면을 나타낸다.
도 14는 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 다른 한 장면을 나타낸다.
본 명세서에서 사용되는 용어는 실시예의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서는 포터블 디바이스에 대한 것이다. 포터블 디바이스는, 휴대 가능한 전자 디바이스를 의미한다. 실시예에 따라서, 포터블 디바이스는 휴대폰, 태블릿 PC, 패블릿(phablet), 노트북, PDA(Personal Digital Assistant) 등의 다양한 전자 디바이스에 해당할 수 있다. 이하에서 먼저 포터블 디바이스에 대해 설명하도록 한다.
도 1은 일 실시예에 따른 포터블 디바이스를 나타낸 블록도이다.
도 1의 실시예에서, 포터블 디바이스는 스토리지 유닛(Storage Unit; 1010), 커뮤니케이션 유닛(Communication Unit; 1020), 센서 유닛(Sensor Unit; 1030), 오디오 인풋/아웃풋 유닛(Audio I/O Unit; 1040), 카메라 유닛(Camera Unit; 1050), 디스플레이 유닛(Display Unit; 1060), 파워 유닛(Power Unit; 1070), 프로세서(Processor; 1080), 및 컨트롤러(Controller; 1090)를 포함한다. 도 1의 포터블 디바이스는 예시적인 것으로, 도 1에 도시한 유닛들이 모두 구비되어야 하는 것은 아니다. 포터블 디바이스의 실시예에 따라서, 동작에 필요한 구조는 이하에서 다시 설명하도록 할 것이다.
스토리지 유닛(1010)은 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛(1010)은 플래시 메모리, HDD(Hard Disk Drive), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낸다.
커뮤니케이션 유닛(1020)은 포터블 디바이스 외부와 다양한 프로토콜을 사용하여 통신을 수행함으로써, 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(1020)은 유선 또는 무선으로 외부 네트워크에 접속하여, 디지털/아날로그 데이터를 송신/수신할 수 있다.
센서 유닛(1030)은 포터블 디바이스에 장착된 복수의 센서를 사용하여 사용자의 인풋 또는 디바이스의 환경을 인식하여 컨트롤러(1090)로 전달할 수 있다. 센서 유닛(1030)은 복수의 센싱 수단을 포함할 수 있다. 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 자이로 센서, 가속도 센서, 기울임(inclication) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서, 기계식 진동 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(1030)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 디바이스가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘러먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘러먼트로 통합되어 포함될 수 있다.
일 실시예에서, 센서 유닛(1030)은 센서 허브 및 복수의 센싱 수단을 포함할 수 있다. 센서 허브는 연결된 복수의 센싱 수단을 제어하며, 연결된 복수의 센싱 수단으로부터 센싱 값을 수신하고, 이를 메인 프로세서로 전달할 수 있다. 센서 허브는 복수의 센싱 수단들과 메인 프로세서의 매개체로서 동작할 수 있으며, 장치적으로는 메인 프로세서에 포함되거나, 별도의 프로세서로 구비될 수 있다. 센서 허브의 동작에 대하여는 이하에서 상술하도록 한다.
오디오 인풋/아웃풋 유닛(1040)은 스피커 등의 오디오 출력 수단 및 마이크 등의 오디오 입력 수단을 포함하며, 디바이스의 오디오 출력 및 디바이스로의 오디오 입력을 수행할 수 있다. 오디오 인풋 유닛(1040)은 마이크와 같이, 오디오 센서 또는 스피치 센서로 사용될 수도 있다. 오디오 아웃풋 유닛(1040)은 음성 출력을 위한 스피커로 사용될 수도 있다.
카메라 유닛(1050)은 사진 및 동영상 촬영을 수행할 수 있으며, 실시예에 따라서 선택적으로 구비될 수 있다. 카메라 유닛(1050)은 상술한 모션 센서 또는 비주얼 센서로 사용될 수도 있다.
디스플레이 유닛(1060)은 디스플레이 화면에 이미지를 출력할 수 있다. 디스플레이 유닛(1060)은, 디스플레이가 터치 센서티브 디스플레이인 경우, 상술한 터치 센서로 사용될 수도 있다. 디스플레이 유닛(1060)은 디스플레이 스크린에 이미지를 디스플레이하거나, 이미지 디스플레이를 제어하는 역할을 수행할 수 있다. 포터블 디바이스에 디스플레이 스크린이 구비되지 않는 경우, 디스플레이 유닛(1060)은 선택적으로 포함될 수 있다.
파워 유닛(1070)은 디바이스 내부의 배터리 또는 외부 전원과 연결가능한 파워 소스로, 디바이스에 파워를 공급할 수 있다.
프로세서(1080)는 스토리지 유닛(1010)에 저장된 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱할 수 있다. 컨트롤러(1090)는 상술한 디바이스의 유닛들을 제어하며, 유닛들 간의 데이터 송수신 및 각각의 동작을 매니징할 수도 있다. 프로세서(2080) 및 컨트롤러(2090)는 하나의 칩으로 구비되어, 상술한 각각의 동작을 함께 수행할 수 있다. 이러한 경우, 이하에서는 이를 메인 프로세서(2100)으로 지칭할 수 있다.
일 실시예에서, 메인 프로세서(2100)는 음성 인식이 가능하며, 오디오 인풋 유닛(4040)을 통해 수신한 사용자의 음성을 인식하여 그에 해당하는 동작을 수행할 수도 있다. 메인 프로세서(2100)는 사용자의 음성 명령에 대한 자연어 처리가 가능할 수 있으며, 이에 대하여는 후술하도록 하겠다.
도 1은 일 실시예에 따른 포터블 디바이스의 블록도로서, 분리하여 표시된 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수도 있다. 또한, 도 1의 포터블 디바이스는 일 실시예에 해당하는 것으로, 본 명세서의 실시예들의 수행에 도 1에 포함된 모든 엘러먼트들이 필요한 것은 아니다. 본 명세서의 실시예에 필요한 엘러먼트들 및 그들의 동작에 대하여는 이하에서 설명하도록 한다.
포터블 디바이스는 제한된 용량의 파워 유닛을 탑재하므로, 포터블 디바이스의 사용 시간을 늘리기 위한 전력 관리가 필수적이다. 따라서 포터블 디바이스는 동작 모드에 따라 전력 사용을 관리할 수 있으며, 이하에서 전력 관리를 위한 포터블 디바이스의 동작 모드에 대하여 설명하도록 한다.
도 2는 일 실시예에 따른 포터블 디바이스의 동작 모드들을 나타낸 도면이다.
도 2에서, 포터블 디바이스는 스탠바이 모드(2010) 및 액티브 모드(2020)에서 동작할 수 있다. 액티브 모드(2020)는 포터블 디바이스의 대부분의 엘러먼트들이 액티브 상태에서 동작하며, 사용자는 액티브 모드(2020)에서 포터블 디바이스의 모든 기능을 사용할 수 있다. 스탠바이 모드(2010)에서, 포터블 디바이스의 엘러먼트들 중 일부는 액티브 상태이고, 일부는 인액티브 상태가 된다. 본 명세서에서, 액티브 상태는 엘러먼트가 전력을 소비하며, 해당 엘러먼트가 동작하고 있는 상태를 나타낸다. 인액티브 상태는 엘러먼트가 전력을 소비하지 않는 상태 또는 저전력 대기 상태를 나타낸다. 예를 들면, 인액티브 상태의 엘러먼트는 동작하지 않거나, 데이터 송수신이 불가능한 상태, 또는 데이터 송수신 만이 가능한 상태를 나타낼 수 있다.
포터블 디바이스는 일정 시간 이상 사용자의 입력이 없는 경우 또는 특정 사용자 입력을 수신한 경우에 액티브 모드(2020)에서 스탠바이 모드(2010)로 진입할 수 있다. 또한, 특정 사용자의 입력을 센싱하거나, 특정 이벤트가 발생하면 포터블 디바이스는 스탠바이 모드(2010)에서 액티브 모드(2020)로 진입할 수 있다. 일 실시예로서, 스탠바이 모드(2010)의 포터블 디바이스는 디스플레이, 적어도 하나의 센서, 메인 프로세서 등의 엘러먼트를 인액티브 스테이트에 둠으로써 전력 소비를 최소화할 수 있다. 다만, 포터블 디바이스가 스탠바이 모드(2010)로부터 액티브 모드(2020)로 다시 진입하기 위해 필요한 엘러먼트들은 액티브 스테이트에 있어야만 한다.
포터블 디바이스가 액티브 모드(2020)에 있는 경우, 포터블 디바이스는 다양한 기능을 제공할 수 있다. 일 실시예로서, 포터블 디바이스는 음성 인식 서비스를 제공할 수 있다. 본 명세서에서 음성 인식 서비스란, 음성 인식 기술을 사용하여 사용자의 음성 명령을 인식하고, 인식된 사용자의 음성 명령에 따른 동작을 수행하여 결과를 제공하는 서비스를 나타낸다. 포터블 디바이스는 액티브 모드(2020)에서 음성 인식 서비스를 제공할 수도 있으나, 음성 인식 서비스의 경우 포터블 디바이스의 모든 엘러먼트를 액티브 상태에서 사용할 필요는 없을 수도 있다. 예를 들면, 터치 센서가 인액티브 스테이트인 경우에도 포터블 디바이스는 음성 인식 서비스를 제공할 수 있다. 또는, 음성 인식 서비스에서 제공하는 정보가 시각적 정보가 아닌 경우, 포터블 디바이스는 디스플레이 유닛을 인액티베이트하여 전력 소모를 줄일 수도 있다. 음성 인식 서비스가 개인 비서 또는 지능형 에이전트와 같이 자주 사용될 수 있으므로, 포터블 디바이스는 스탠바이 모드에서 바로 음성 인식 서비스 모드로 진입하도록 설계될 수 있으며, 이에 대하여는 아래에서 설명하도록 한다.
도 3은 일 실시예에 따른 포터블 디바이스의 동작 모드들을 나타낸 도면이다.
도 3의 실시예에서, 포터블 디바이스는 스탠바이 모드(3010), 액티브 모드(3020) 및 음성 인식 서비스 모드(3030)에서 동작할 수 있다. 스탠바이 모드(3010) 및 액티브 모드(3020)에 대한 설명은 도 2에서 상술한 바와 같다. 음성 인식 서비스 모드(3030)는 음성 인식 서비스를 제공하는데 필요한 엘러먼트들만이 액티브 상태에 있는 모드를 나타낸다. 예를 들면, 메인 프로세서, 통신 유닛, 오디오 인풋/아웃풋 유닛이 액티브 상태에 있을 수 있으며, 경우에 따라 디스플레이 유닛이 추가로 액티브 상태에 있을 수도 있다. 이하에서, 음성 인식 서비스 모드(3030)는 음성 서비스 모드로 지칭할 수도 있다. 포터블 디바이스가 액티브 모드(3020)인 경우, 포터블 디바이스는 다양한 사용자 입력을 통해 음성 인식 서비스 모드(3030)로 진입할 수 있다. 이 경우 음성 인식 서비스 모드(3030)는 도 2에서 설명한 액티브 모드에서 음성 인식 서비스를 제공하는 경우와 유사할 수 있다. 다만, 포터블 디바이스가 스탠바이 모드(3010)에 있는 경우, 포터블 디바이스가 액티브 모드(3020)로 진입하거나 음성 인식 서비스 모드(3030)로 진입할 수 있으며, 두 가지 모드로의 진입은 모두 포터블 디바이스가 액티베이트되는 것으로 지칭할 수 있다.
포터블 디바이스가 스탠바이 모드(3010)에 있는 경우, 포터블 디바이스는 음성 인식 서비스 모드(3030)로 진입하기 위한 특정 입력을 수신하면 스탠바이 모드(3010)에서 음성 인식 서비스 모드(3030)로 바로 진입할 수 있다. 특정 입력은, 예를 들면 포터블 디바이스에 대한 제스처, 음성 명령 등이 될 수도 있다. 이하에서, 스탠바이 모드(3010)에서 음성 인식 서비스 모드(3030)로 진입하는 특정 입력이 포터블 디바이스에 대한 제스처인 경우, 이를 음성 인식 서비스 트리거 제스처로 지칭할 수 있다. 이하에서, 음성 인식 서비스 트리거 제스처 또한 음성 서비스 트리거 제스처로 지칭할 수도 있다.
포터블 디바이스가 스탠바이 모드(3010)에서 음성 인식 서비스 모드(3030)로 바로 진입한 경우, 포터블 디바이스가 액티브 모드(3020)에서 음성 인식 서비스를 제공하는 경우에 비해 더 적은 엘러먼트들을 사용할 수 있다. 예를 들면, 스탠바이 모드(3010)의 포터블 디바이스의 상태에 따라서, 포터블 디바이스는 터치 센서, 디스플레이 유닛 등을 제외한 나머지 엘러먼트들만 액티베이트하여 음성 인식 서비스 모드(3030)로 진입할 수도 있다. 사용자의 입장에서는 스탠바이 모드(3010)에서 바로 음성 인식 서비스 모드(3030)로 진입할 수 있으므로 포터블 디바이스를 액티베이트하고, 다시 음성 인식 서비스 기능을 호출하는 번거로움을 줄일 수 있다. 또한 액티브 모드(3020)에 비해서 적은 엘러먼트들을 사용하므로 음성 인식 서비스 만을 사용하는 경우 액티브 모드(3020)에서의 사용에 비해 전력 소비를 줄일 수도 있다.
이하에서는, 스탠바이 모드의 포터블 디바이스를 액티브 모드 또는 음성 인식 서비스 모드로 액티베이트하는 방법에 대하여 설명할 것이다. 상술한 바와 같이, 스탠바이 모드의 포터블 디바이스는 특정 사용자 입력에 의해 액티베이트될 수 있다. 따라서, 포터블 디바이스는 특정 사용자 입력을 인식하고 반응하는데 필요한 엘러먼트들을 액티브 상태로 유지하여야 한다. 이하에서는, 포터블 디바이스가 음성 인식 서비스 트리거 제스처를 인식하는데 필요한 엘러먼트들의 구성 및 이들을 사용한 음성 서비스 모드로의 진입 방법에 대하여 설명하도록 한다.
도 4는 일 실시예에 따른 스탠바이 모드의 포터블 디바이스 및 그의 액티베이트 방법을 나타낸 도면이다.
스탠바이 모드의 포터블 디바이스는 메인 프로세서(4050) 및 디스플레이 유닛 등의 앨러먼트들을 인액티브 상태로 유지할 수 있다. 다만, 특정 사용자 입력에 따라 스탠바이 모드에서 액티브 모드로 진입하려면, 특정 사용자 입력의 종류에 따라, 특정 사용자 입력을 인식하기 위한 적어도 하나의 센서(4010~4030) 및 센서 허브(4040)를 액티브 상태에 두어야만 한다.
도 4에서, 모션 센서(4010), 오디오 센서(4020), 터치 센서(4030) 등의 포터블 디바이스에 구비된 센서들 중 적어도 하나는 액티브 상태로서, 포터블 디바이스에 대한 특정 사용자 입력을 센싱할 수 있다. 적어도 하나의 센서가 특정 사용자 입력에 대한 센싱 결과를 센서 허브(4040)로 전달하면, 센서 허브(4040)는 센싱 결과가 포터블 디바이스를 액티베이트하는 기설정된 사용자 입력과 매칭되는지 여부를 결정할 수 있다. 센서 허브(4040)는 수신한 센싱 결과가 기설정된 사용자 입력과 매칭되지 않으면, 메인 프로세서(4050)를 액티베이트하지 않는다. 센서 허브(4040)가 수신한 센싱 결과가 기설정된 사용자 입력과 매칭되는 경우, 센서 허브(4040)는 메인 프로세서(4050)를 액티베이트하고, 포터블 디바이스를 액티브 모드 또는 음성 서비스 모드로 진입시킬 수 있다. 포터블 디바이스가 스탠바이 모드에서 액티브 모드로 진입할지, 음성 서비스 모드로 진입할지 여부는 수신한 센싱 결과가 각각의 모드로 진입하기 위한 기설정된 유저 입력에 매칭되는지 여부에 따라서 결정될 수 있다.
실시예로서, 디바이스에 대한 특정 제스처를 음성 서비스 모드로 진입하기 위한 음성 서비스 트리거 제스처로 설정할 수 있다. 이러한 경우에는 특정 제스처를 인식하기 위한 모션 센서(4010) 및 오디오 센서(4020) 중 적어도 하나 만을 액티브 상태에 두고, 센서 허브(4040)는 센싱 결과가 음성 서비스 트리거 제스처에 해당하는지 판단하여 그에 따라 메인 프로세서(4050)를 음성 서비스 모드로 진입하도록 액티베이트할 수 있다.
도 4의 실시예에서, 스탠바이 모드의 포터블 디바이스는 센서 허브(4040)를 액티브 상태에 두고, 메인 프로세서(4050)를 인액티브 상태에 두게 되어, 전력 소모를 줄일 수 있다. 복수의 센서들은, 포터블 디바이스를 깨우도록 설정된 입력에 따라 필요한 적어도 하나의 센서를 액티브 상태로, 나머지 센서들은 인액티브 상태에 둘 수 있다. 다만, 본 명세서에서는 전력 소모를 더 줄일 수 있는 다른 실시예를 이하에서 제안하도록 한다.
도 5는 일 실시예에 따른 스탠바이 모드의 포터블 디바이스 및 그의 액티베이트 방법을 나타낸 도면이다.
도 4에서와 같이 스탠바이 모드의 포터블 디바이스는 메인 프로세서(3050)를 포함하여, 디스플레이 유닛 등의 앨러먼트들을 인액티브 상태로 유지할 수 있다. 다만, 도 4에서와 달리, 도 5의 실시예에 따른 포터블 디바이스는 기계식 진동 센서(5010)를 더 포함한다.
도 5에서 도시한 스탠바이 모드의 포터블 디바이스에서, 기계식 진동 센서(5010)만 액티브 상태에 있고, 센서 허브(5020), 센서 허브에 연결된 복수의 센서들(모션 센서(5040), 오디오 센서(5050), 터치 센서(5060)...) 및 메인 프로세서(5030)는 모두 인액티브 상태에 있다. 스탠바이 모드의 포터블 디바이스에 스레스홀드 이상의 모션이 가해지면, 기계식 진동 센서(5010)가 그 모션을 센싱하여 전기 신호를 센서 허브(5020)로 전송할 수 있다. 이 전기 신호가 센서 허브(5020)를 액티베이트하고, 액티베이트된 센서 허브(5020)는 필요한 센서를 액티베이트하여 메인 프로세서를 액티베이트하기 위한 센싱 값을 수신할 수 있다. 예를 들면, 센서 허브(5020)는 모션 센서(5040)를 액티베이트하고, 모션 센서에 의해 센싱된 센싱 결과가 음성 서비스 트리거 제스처에 해당하는지 여부를 결정할 수 있다. 센서 허브(5020)는 센싱 결과가 음성 서비스 트리거 제스처에 해당하면, 메인 프로세서(5040)를 액티베이트하여 음성 서비스 모드로 진입시킬 수 있다.
기계식 진동 센서(5010)에 의해 액티베이트된 센서 허브(5020)는 필요한 센서를 추가로 액티베이트할 수 있다. 센서 허브(5020)가 액티베이트시킨 센서의 센싱 값이 포터블 디바이스를 액티베이트하는 기설정된 유저 입력에 해당하지 않으면, 센서 허브(5020)는 액티베이트한 센서를 디액티베이트하고, 센서 허브(5020) 자체도 디액티베이트하여 인액티브 상태로 돌아갈 수 있다.
도 6은 일 실시예에 따른 기계식 진동 센서를 나타낸 도면이다.
도 6은 기계식 진동 센서를 사용하는 기본적인(basic) 센서 회로의 실시예를 나타낸 것으로, 회로 구성은 실시예에 따라 바뀔 수 있다. 실시예로서, 도 6에서 제 1 저항(R1; 6010)의 저항은 센서를 통과하는 최대 전류를 2mA 미만으로 제한할 수 있도록 선택될 수 있고, 실시예로서 제 1 저항은 1 KOhm 초과의 값을 갖도록 설계될 수 있다.
기계식 진동 센서(6020)는 마이크로 진동 센서로 지칭될 수도 있다. 일 실시예에서, 기계식 진동 센서(6020)는 내부에 이동가능한 매우 작은 구체(mobile micro sphere)를 포함할 수 있다. 이 구체는 복수의 외부 연결 패드 사이의 저항을 수 메가 옴(예를 들면, 30 MOhm보다 큼)에서 약 100 옴 미만으로 낮추는 접속을 연결한다(The ball bridges two contacts reducing the resistance between two external connection pads from several mega ohms to below 100 ohms.) 즉, 디바이스에 대한 모션이 발생하면, 기계식 진동 센서(6020)에 포함된 구체가 움직이며 접촉이 발생하고, 센서 회로는 전기 신호를 생성하여 전송할 수 있다. 전기 신호는 일정 크기의 출력 전압 또는 출력 전류가 될 수 있으며, 또는 출력 전압의 패턴 또는 출력 전류의 패턴이 될 수도 있다. 다시 말하면, 기계식 진동 센서(6020)는 디바이스의 모션을 감지하며, 모션의 강도 즉 힘의 크기가 스레스홀드 레벨 이상이면, 전기 신호를 출력할 수 있다. 도 6의 회로도는 실시예에 따라 다르게 설계될 수 있으며, 다만 기계식 진동 센서 및 이를 포함하는 회로는, 상술한 기계식 진동 센서를 사용, 센싱한 모션을 전기 신호로 출력하는 동작을 수행하는 것이다. 기계식 진동 센서 회로가 출력하는 전기 신호는, On/Off 신호일 수도 있고, 센싱한 모션의 강도를 나타내는 신호가 될 수도 있다.
기계식 진동 센서는 완전히(fully) 패시브한 소자로서, 신호 컨디셔닝이 필요하지 않고, 매우 낮은 0.2 마이크로 암페어에서 동작이 가능하다. 도 6의 기계식 진동 센서 또는 센서 회로가 도 5의 기계식 진동 센서로서 사용될 수 있으며, 이 경우의 포터블 디바이스의 동작에 대해서는 후술하도록 한다.
도 7은 일 실시예에 따른 포터블 디바이스의 액티베이팅 방법을 나타낸 도면이다.
도 7은 도 5 및 도 6의 설명에 추가로, 스탠바이 모드의 포터블 디바이스를 액티베이트시키는 방법에 대하여 설명한다.
스탠바이 모드의 포터블 디바이스에서, 센서 허브(7020) 및 메인 프로세서(7030)는 인액티브 상태에 있고, 기계식 진동 센서(7010)는 액티브 상태에 있다.센서 허브(7020)는 기계식 진동 센서에 의해 액티브 상태로 진입할 수 있고, 메인 프로세서(7030)는 센서 허브(7020)에 의해 액티브 상태로 진입할 수 있다.
먼저, 기계식 진동 센서(7010)는 포터블 디바이스에 대한 사용자 컨택을 센싱할 수 있다. 사용자 컨택은, 포터블 디바이스를 액티베이트하여 음성 인식 서비스를 사용하려는 사용자 입력으로서, 음성 인식 서비스 트리거에 해당하는 제스처를 나타낸다. 기계식 진동 센서(7010)는 사용자 컨택의 힘의 크기, 다시 말하면 사용자 컨택에 의한 포터블 디바이스의 모션의 강도가 스레스홀드 레벨 이상이면, 전기 신호를 센서 허브(7020)로 출력하여 센서 허브를 액티베이트할 수 있다. 기계식 진동 센서(7010)가 전기 신호를 발생하는 모션의 강도에 대한 스레스홀드 레벨은 포터블 디바이스의 상황에 따라서 다르게 설정될 수 있다. 예를 들면, 사용자가 포터블 디바이스를 소지하고 걷거나 뛰는 경우에는 일정 강도의 모션이 지속하여 센싱되는데, 이 경우 매번 센서 허브(7020)를 액티베이트하는 것은 불필요한 전력 소모를 야기한다. 따라서, 이러한 경우는 스레스홀드 레벨을 높이는 등, 포터블 디바이스을 소지한 사용자의 컨텍스트에 따라서 스레스홀드 레벨을 조정할 수 있다.
센서 허브(7020)는 기계식 진동 센서(7020)로부터 전기 신호를 받으면 액티브 상태로 진입할 수 있다. 센서 허브(7020)가 액티베이트 되면, 센서 허브(7020)는 필요한 센서들을 액티베이트할 수 있다. 예를 들면, 센서 허브(7020)는 모션 센서 또는 음성 센서를 액티베이트할 수 있다. 그리고 필요에 따라 센싱 결과를 처리하는 샘플링 레이트를 조정할 수도 있다. 센서 허브(7020)가 액티베이트시킨 센서로부터 센싱 데이터를 획득하면, 센싱 데이터를 기초로 메인 프로세서를 액티베이트할지 여부를 결정할 수 있다. 예를 들면, 모션 센서를 통해 획득한 센싱 데이터가 메인 프로세서(7030)를 엑티베이트하고 음성 서비스 모드로 진입해야 하는 기설정된 센싱 데이터에 매칭되는 지를 판단하고, 매칭되면 메인 프로세서(7030)를 액티베이트할 수 있다. 센서 허브(7020)는, 메인 프로세서(7030)를 액티베이트하기 위해 액티베이트 신호를 전송할 수 있다. 액티베이트 신호는 복수의 종류가 있을 수 있으며, 액티베이트 신호의 종류에 따라서 메인 프로세서의 동작 모드를 결정할 수도 있다. 예를 들면, 센서 허브(7020)가 제 1 액티베이트 신호를 전송하면 메인 프로세서(7030)는 액티브 모드로 진입하고, 제 2 액티베이트 신호를 전송하면 메인 프로세서(7030)는 음성 서비스 모드로 진입할 수 있다.
메인 프로세서(7030)는 센서 허브(7020)에 의해 액티브 상태로 진입할 수 있다. 다시 말하면, 메인 프로세서(7030)는 센서 허브(7020)로부터 수신한 액티베이트 신호에 의해 액티브 상태로 진입할 수 있다. 메인 프로세서(7030)가 액티베이트 되면, 포터블 디바이스의 상황에 따른 동작 모드로 진입할 수 있다. 포터블 디바이스의 상황은 센서 허브(7020)에 의해 액티베이트된 센서들을 사용하여 알 수 있으며, 이는 액티베이트 신호에 의해 식별될 수 있다. 예를 들면 센서 허브(7020)가 전송한 액티베이트 신호가 음성 인식 서비스 제공에 해당하는 신호인 경우, 메인 프로세서(7030)는 액티베이트된 후, 음성 인식 서비스 제공에 필요한 데이터를 처리하여 음성 서비스 모드로 진입할 수 있다. 즉 이 경우 포터블 디바이스는 스탠바이 모드에서 음성 서비스 모드로 진입하는 것이다.
사용자 컨택은 다양한 제스처에 해당할 수 있다. 기계식 진동 센서(7010)는 디바이스의 모션의 강도를 센싱할 수 있으므로, 디바이스에 일정 크기 이상의 힘이 가해지면 전기 신호를 센서 허브(7020)로 전송할 수 있다. 센서 허브(7020)는 연결된 센서들을 사용하여, 좀 더 다양한 사용자 입력을 인식할 수 있다. 예를 들면, 센서 허브(7020)는 특정 음성 입력, 특정 터치 입력, 특정 제스처 입력 중 적어도 하나를 인식하여, 인식 결과에 따라서 메인 프로세서(7030)를 액티베이트할 수 있다. 일 실시예로서, 포터블 디바이스에 대한 사용자의 컨택을 음성 서비스 트리거 제스처로 사용할 수도 있다.
포터블 디바이스에 대한 사용자의 컨택을 음성 서비스 트리거 제스처로 사용하는 경우, 사용자의 컨택은 모션 센서에 의해 식별될 수 있다. 일 실시예로서, 디바이스를 두드리는 노크와 같은 제스처를 사용할 수도 있다. 예를 들면, 손이나 손가락 끝으로 디바이스를 톡톡 두드리는 제스처를 음성 서비스 트리거 제스처로 사용할 수 있으며, 이를 노크 제스처라고 지칭하겠다.
노크 제스처는 제스처의 패턴에 의해 식별될 수 있다. 다시 말하면, 노크 제스처는 포터블 디바이스의 모션 센서에 의해 센싱될 수 있으며, 모션 센서가 센싱하는 노크 제스처는 노크 제스처의 패턴 즉 진동 패턴을 센싱하여 식별할 수 있다. 본 명세서에서 모션 센서라 함은, 디바이스의 모션을 측정하여 결과를 센서 허브로 전달하는 센서를 의미한다. 실시예로서 모션 센서는 지자기 센서, 가속도 센서, 자이로 센서 중 적어도 하나를 사용하거나, 이중 2개 이상의 센서를 함께 사용하여 디바이스의 모션을 측정할 수 있다. 모션 센서에 의해 측정되는 노크 제스처는 디바이스의 진동 패턴에 대응하며, 이 진동 패턴은 피크를 갖는 적어도 하나의 진동들을 포함하고, 이 적어도 하나의 진동의 크기 및 복수의 진동들 간의 간격 등에 따라서 식별할 수 있다.
도 8은 일 실시예에 따른 포터블 디바이스의 음성 서비스 트리거 제스처 센싱 결과를 나타낸 도면이다.
음성 서비스 트리거 제스처는 상술한 노크 제스처와 같이, 포터블 디바이스에 일정 크기 이상의 힘을 복수회 가하는 제스처로 설정될 수 있다. 이러한 음성 서비스 트리거 제스처는 모션 센서에 의해 센싱되며, 센싱 결과는 도 8에서와 같이 나타낼 수 있다. 센싱 결과는 가속도 센서 및 자이로 센서 중 적어도 하나가 감지한 디바이스에 대한 접촉 또는 디바이스의 진동을 센싱한 결과에 해당할 수 있다. 다시 말하면, X축, Y축, Z축 각각에 대한 가속도 센서 및 자이로 센서의 센싱 결과의 제곱합의 루트값을 사용한 파형에 해당한다. 도 8의 도면들에서, 가로축은 시간을, 세로축은 진동의 강도를 중력 가속도의 단위로 나타낸다.
음성 서비스 트리거 제스처가 2회의 컨택으로 구성되는 경우, 모션 센서를 통해 감지되는 진동의 패턴은 도 8(a)와 같다. 도 8(a)에서 노크 제스처에 의해 1G의 기준이 되는 9.8m/s2으로 평형을 이루고 있던 진동의 파형이 거의 20m/s2까지 올라가는 2개의 피크가 센싱됨을 알 수 있다. 즉, 포터블 디바이스의 모션 센서가 2개의 피크에 해당하는 2개의 진동을 발생시키는 노크 제스처를 센싱한 것으로, 노크 제스처는 도 8(a)에서와 같은 피크의 진동과, 진동 사이의 간격으로 식별될 수 있다. 즉, 포터블 디바이스는, 모션 센서가 센싱하는 진동의 패턴을 식별하여, 식별된 진동 패턴이 음성 서비스 트리거 제스처에 해당하는지에 따라서 음성 서비스 모드로 진입하거나, 스탠바이 모드로 돌아갈지 여부를 결정할 수 있다. 노크 제스처는 진동 패턴으로 센싱되어, 식별되는 것이다.
상술한 실시예들에서, 포터블 디바이스는 기계식 진동 센서를 사용할 수 있다. 이러한 경우에는 노크 제스처의 첫번째 진동이 기계식 진동 센서에 의해 감지되고, 기계식 진동 센서에 의해 센서 허브 및 모션 센서가 액티베이트되면 모션 센서에 의해 제스처가 센싱될 수 있다. 다시 말하면, 기계식 진동 센서가 노크 제스처의 첫번째 진동을 감지하고, 모션 센서가 액티베이트되어 이러한 노크 제스처가 센싱되는데 딜레이가 발생할 수 있다. 딜레이 시간의 크기는 센서들의 성능 및 구동 속도, 회로의 설계에 따라서 달라질 수 있다. 만약 딜레이 시간이 매우 작거나, 거의 없다면 모션 센서는 도 8(a)와 같은 파형을 센싱할 수 있다. 그러나, 딜레이 시간에 따라서는 도 8(b) 및 도 8(c)와 같은 파형을 센싱할 수도 있다.
상술한 바와 같이, 기계식 진동 센서는 특정 크기 이상의 진동이 감지되면 그에 대한 전기 신호를 센서 허브로 전송하여 센서 허브를 액티베이트시킨다. 그리고 센서 허브는 필요한 센서들을 액티베이트하여 컨텍스트 정보를 수집할 수 있다. 실시예에서, 기계식 진동 센서가 센서 허브를 액티베이트하는 진동의 스레스홀드 크기 및 모션 센서가 액티베이트되는 딜레이 시간에 따라서 모션 센서가 센싱하는 노크 제스처의 진동 패턴은 달라질 수 있다.
먼저, 기계식 진동 센서가 센서 허브를 액티베이트하는 진동의 스레스홀드는 낮고, 딜레이 시간이 거의 없는 경우, 모션 센서는 도 8(a)와 같은 파형으로 노크 제스처를 센싱할 수 있다. 센서 허브는 도 8(a) 파형의 진동의 크기 및 진동 사이의 간격 중 적어도 하나를 사용하여 센싱한 파형이 음성 서비스 트리거 제스처에 해당하는지를 결정할 수 있다. 그러나, 센서 허브를 액티베이트하는 진동의 스레스홀드 크기 및 딜레이 시간에 따라서 같은 노크 제스처가 도 8(b) 및 도 8(c)와 같은 파형으로 센싱될 수도 있다.
도 8(b)는 노크 제스처를 식별할 수 있도록 센싱 기준을 낮춘 경우에 센싱된 파형을 나타내며, 세로축은 9.8m/s2을 1의 기준점으로 바꾼 것이다. 도 8(b)에서, 모션 센서는 딜레이 시간에 의해 노크 제스처의 첫번째 진동을 모두 센싱하지는 못하지만, 첫번째 진동의 일부(나머지)와 두번째 진동을 센싱할 수 있다. 즉, 포터블 디바이스는 기계식 진동 센서의 스레스 홀드 및 딜레이 시간을 고려하여 노크 제스처로 인식하는 진동의 패턴을 도 8(b)와 같이 설정할 수도 있다.
도 8(c)는 딜레이 시간으로 인해 모션 센서가 첫번째 진동의 후반부와 두번째 진동을 센싱한 경우의 센싱된 진동 파형을 나타낸다.도 8(c)에서 모션 센서는 센서 허브 액티베이션 이후 모션 센서가 감지한 진동의 패턴 크기 및 간격의 사용하여 노크 제스처를 식별할 수 있다.
도 8은 실시예들로서, 포터블 디바이스는 포터블 디바이스 자체 및 포함된 엘러먼트들의 성능, 설계 또는 설정에 따라서 노크 제스처를 식별할 수 있다. 실시예로서, 노크 제스처는 2회의 진동으로서, 포함된 각각의 진동이 일정 기준 이상의 피크를 갖는 진동으로 식별되며, 2회의 진동 사이의 시간 간격을 추가로 고려하여 식별될 수 있다. 다만, 노크 제스처 즉 음성 서비스 트리거 제스처는 상술한 실시예 외에 복수의 진동과 다른 크기의 진동, 다양한 시간 간격 등을 사용하여 설정될 수도 있을 것이다.
도 9는 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법을 나타낸 도면이다.
먼저, 포터블 디바이스는 스탠바이 모드에 있다(S9010). 스탠바이 모드의 포터블 디바이스는, 도 5 내지 도 8에서 상술한 바와 같이, 기계식 진동 센서는 액티브 스테이트에 두고, 센서 허브 및 메인 프로세서는 인액티브 스테이트에 둔다.
포터블 디바이스가 기계식 진동 센서를 사용하여 스레스홀드 이상의 진동을 감지하는 경우(S9020), 기계식 진동 센서는 센서 허브를 액티베이트(S9030)한다. 기계식 진동 센서는 스레스홀드 이상의 강도를 갖는 모션을 센싱하면, 전기 신호를 센서 허브로 전송하여 센서 허브를 액티베이트할 수 있다. 그리고 센서 허브를 액티베이트하는 단계는 필요한 센서를 액티베이트하는 단계를 더 포함할 수 있다. 실시예로서, 센서 허브는 액티베이트되면 모션 센서를 액티베이트할 수 있다.
센서 허브는 액티베이트된 모션 센서를 사용하여 센싱된 제스처 패턴이 음성 서비스 트리거 제스처에 해당하는지 여부를 결정할 수 있다(S9040). 상술한 바와 같이, 센서 허브는 모션 센서가 인식하는 노크 제스처의 진동의 패턴을 기저장된 음성 서비스 트리거 제스처의 패턴과 비교하고, 두 패턴이 매칭되는지에 따라 음성 서비스 모드로의 진입 여부를 결정할 수 있다.
인식된 제스처 패턴이 음성 서비스 트리거 제스처에 해당하는 경우(S9040), 센서 허브는 메인 프로세서를 액티베이트하고(S9050), 음성 서비스 모드로 진입할 수 있다(S9060).
도 10은 다른 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법을 나타낸 도면이다.
도 10에서, 도 9와 동일한 단계들에 대한 설명은 생략하거나 간략히 하도록 하겠다. 포터블 디바이스는 스탠바이 모드에 있으며(S10010), 도 9에서와 마찬가지로 기계식 진동 센서가 스레스홀드 이상의 진동을 감지하면(S10020), 센서 허브를 엑티베이트하고(S10030), 엑티베이트된 센서 허브는 필요한 센서들을 함께 액티베이트할 수 있다.
센서 허브는 액티베이트된 모션 센서를 사용하여 센싱된 제스처 패턴이 음성 서비스 트리거 제스처에 해당하는지 여부를 결정할 수 있다(S9040). 상술한 바와 같이, 센서 허브는 모션 센서가 인식하는 노크 제스처의 진동의 패턴을 기저장된 서비스 트리거 제스처의 패턴과 비교하고, 두 패턴이 매칭되는지에 따라 음성 서비스 모드로의 진입 여부를 결정할 수 있다. 도 8에서 설명한 바와 같이, 진동 패턴은 적어도 하나의 피크를 갖는 복수의 진동을 포함할 수 있으며, 포함된 복수의 진동의 크기 및 간격 중 적어도 하나를 사용하여 식별될 수 있다. 그리고, 센서 허브는 모션 센서가 센싱한 노트 제스처의 진동 패턴을 식별하여, 진동 패턴에 포함된 첫번째 진동의 일부 및 첫번째 진동 후의 적어도 하나의 진동이 음성 서비스 트리거 제스처에 매칭되는지를 판단할 수 있다.
다만, 제스처 만으로 스탠바이 모드에서 다른 모드로의 진입 여부를 결정하는 경우, 오동작이 발생할 수 있다. 제스처를 달리 설계할 수도 있지만, 실시예로서, 음성 인식 서비스의 실행 여부를 결정할 수 있는 음성 명령을 추가로 수신할 수 있다. 다시 말하면, 포터블 디바이스가 센싱한 제스처 패턴이 음성 서비스 트리거 제스처에 매칭되는 경우, 도 9에서와 같이 바로 음성 서비스 모드로 진입하지 않고, 추가로 음성 서비스 모드 진입 명령을 수신하는 경우에만 음성 서비스 모드로 진입할 수 있다.
음성 서비스 모드 진입 명령은, 이하에서 음성 서비스 호출 명령으로 약칭할 수도 있다. 일 실시예로서, 센서 허브는 제스처 패턴이 음성 서비스 트리거 제스처에 매칭되면, 오디오 센서를 액티베이트할 수 있다. 그리고 사용자의 음성을 수신하여, 수신된 사용자의 음성이 음성 서비스 호출 명령에 해당하는 경우(S10050), 메인 프로세서를 액티베이트하여(S10060) 음성 서비스 모드로 진입할 수 있다(S10070). 수신된 사용자의 음성이 음성 서비스 호출 명령에 해당하지 않으면, 포터블 디바이스는 스탠바이 모드로 돌아갈 수 있다.
도 10에서와 달리, 실시예에 따라서 음성 서비스 명령의 수신 및 처리는 센서 허브 대신, 메인 프로세서에 의해 수행될 수도 있다. 즉, 메인 프로세서가 액티베이트되고, 메인 프로세서가 수신한 사용자의 음성이 음성 서비스 호출 명령에 해당하는지를 판단할 수도 있다. 이 경우 단계(S10050) 와 단계(S10060)의 순서는 바뀔 수도 있다.
센서 허브는 수신한 음성 서비스 호출 명령이 기저장된 음성 서비스 호출 명령에 해당하는지 판단할 수 있다. 실시예로서, 음성 서비스 호출 명령은 특정 단어들로 구성될 수 있다. 예를 들면, "큐-보이스"라는 단어로 구성될 수 있다. 센서 허브는 오디오 센서로 수신된 사용자 음성을 분석하고, 사용자 음성이 음성 서비스 호출 명령에 해당하는지를 판단할 수 있다. 예를 들면, 수신된 사용자 음성이 "큐-보이스"에 해당하면, 센서 허브는 메인 프로세서를 액티베이트하여 음성 서비스 모드로 진입할 수 있다.
센서 허브는 모션 센서를 사용하여 센싱한 제스처 패턴을 분석하는 경우 및 오디오 센서를 사용하여 수신한 음성 명령을 분석하는 경우, 각각 다른 샘플링 레이트를 사용할 수 있다. 실시예로서, 센서 허브는 각 경우의 샘플링 레이트를 조정할 수 있다. 예를 들면, 단계(S10040)보다 단계(S10050) 수행시의 샘플링 레이트를 더 높도록 조정할 수 있다. 음성 인식의 경우 데이터의 세밀한 샘플링이 제스처 인식에 비해 중요할 수 있기 때문이다. 센서 허브는 오디오 센서를 사용하는 경우 센싱 데이터의 처리에 대한 샘플링 레이트를 더 높이거나, 더 낮추는 등, 샘플링 레이트를 조절할 수 있다.
인식된 제스처 패턴이 음성 서비스 트리거 제스처에 해당하는 경우(S10040)로서, 음성 서비스 호출 명령이 수신되면(S10050), 센서 허브는 메인 프로세서를 액티베이트하고(S10060), 음성 서비스 모드로 진입할 수 있다(S10070).
이하에서는 상술한 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법을 단계별로 추가 설명하도록 한다.
도 11은 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 한 장면을 나타낸다.
도 11에서, 포터블 디바이스는 테이블 위에 놓아진 상태로, 스탠바이 모드에 있다. 그리고 도 11에서와 같이, 사용자는 테이블을 손끝으로 톡톡 두드릴 수 있다. 실시예에 따라서, 사용자는 포터블 디바이스 자체를 톡톡 두드릴 수 있다. 포터블 디바이스는 디바이스에 대한 진동의 패턴으로 노크 제스처를 식별하므로, 디바이스에게 진동을 줄 수 있는 어떤 종류의 제스처도 실시예의 노크 제스처에 포함될 수 있다. 도 3의 실시예에서와 같이, 기계식 진동 센서가 센서 허브 및 모션 센서를 액티베이트하고, 센서 허브 및 모션 센서가 노크 제스처를 센싱하여 노크 제스처가 음성 서비스 트리거 제스처에 매칭되는지 여부를 결정할 수 있다.
실시예로서, 포터블 디바이스가 충전중인 경우에는 전력 소모의 우려가 적으므로 포터블 디바이스는 액티브 모드에 있을 수 있다. 또는, 도 4와 같은 스탠바이 모드에 있을 수도 있다. 이 경우, 포터블 디바이스는 오디오 센서도 켜두고, 노크 제스처를 오디오 센서를 사용하여 인식할 수도 있다. 다시 말하면, 노크 제스처의 "톡톡" 소리를 사용하여 제스처를 식별할 수도 있다. 또는, 모션 센서와 오디오 센서를 함께 사용하여, 노크 제스처의 소리 및 진동을 조합하여 제스처를 식별할 수도 있다.
도 12는 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 다른 한 장면을 나타낸다.
도 12에서, 포터블 디바이스는 오디오 센서(mic)를 켜고 대기중인 상태이다. 포터블 디바이스는 노크 제스처가 음성 서비스 트리거 제스처에 해당하는 경우, 음성 서비스 모드로 진입하거나, 음성 서비스 명령을 대기할 수 있다. 도 12는 도 11에서 사용자가 입력한 제스처가 음성 서비스 트리거 제스처와 매칭되는 상태를 나타낸다.
포터블 디바이스는, 노크 제스처가 음성 서비스 트리거 제스처와 매칭되었음을 나타내는 피드백을 사용자에게 제공할 수 있다. 또는, 음성 서비스 모드로의 진입 여부를 확인하는 피드백을 제공할 수 있다. 이러한 피드백은 비쥬얼 피드백, 오디오 피드백, 텍타일 피드백 중 적어도 하나를 사용하여 제공될 수 있다. 특히, 음성 서비스 모드에서 디스플레이 유닛을 인액티브 상태로 둘 수 있는데, 이러한 경우 피드백의 제공이 필요할 수 있다. 피드백은 다양하게 제공될 수 있다. 실시예로서, 피드백의 제공은 LED 램프를 깜빡이거나, 음성 서비스 모드 진입을 디스플레이하거나, 음성으로 특정 음성 또는 "음성 인식 서비스 입니다"와 같은 내용의 음성을 제공하거나, 진동을 주는 등 다양하게 구현될 수 있다.
도 12의 포터블 비다이스는, 음성 서비스 모드 진입 전에 음성 서비스 호출 명령을 대기하는 상태(도 10의 S10040 및 S11050 사이)이거나, 음성 서비스 모드로 진입하여, 사용자의 명령을 대기하는 상태일 수 있다.
도 13은 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 다른 한 장면을 나타낸다.
도 13은 음성 명령을 수신하는 포터블 디바이스를 나타낸 도면이다. 도 13에서, "Q 보이스"는 음성 서비스 호출 명령에 해당할 수 있으며, 이하의 "마리아 전화번호 검색~" 부분은 전화 번호 검색을 명령하는 음성 인식 서비스 명령에 해당할 수 있다.
도 13에서 "Q 보이스"라는 음성을 수신한 포터블 디바이스는 수신된 음성이 음성 서비스 호출 명령에 해당하는지를 결정할 수 있다. 상술한 바와 같이, 센서 허브 또는 메인 프로세서가 이와 같은 동작을 수행할 수 있다. 센서 허브가 수행하는 경우에는, "Q 보이스"라는 음성이 음성 서비스 호출 명령에 해당하면, 메인 프로세서를 액티브 상태로 진입시켜 음성 서비스 모드로 진입한다. 그리고, 음성 서비스 모드의 포터블 디바이스는 "마리아 전화 번호 검색~" 이라는 사용자 음성을 인식 및 처리할 수 있다.
도 14는 일 실시예에 따른 스탠바이 모드인 포터블 디바이스의 음성 인식 서비스 제공 방법의 다른 한 장면을 나타낸다.
도 14는 음성 서비스 모드의 포터블 디바이스가 사용자의 음성 명령에 따른 동작을 수행하고, 그 결과를 제공하는 장면을 나타낸다. 도 14에서는, 음성 명령의 처리 결과를 디스플레이 유닛에 제공하는 실시예를 나타내고 있으며, 처리 결과는 음성으로 제공될 수도 있으며, 실시예에 따라서 다양한 방법으로 사용자에게 제공될 수 있다.
도 14에서, 포터블 디바이스는 도 13에서 수신한 사용자의 음성 명령(마리아의 전화 번호 검색)을 수행하여, 결과(마리아의 전화 번호)를 디스플레이 유닛에 제공한다. 다만, 포터블 디바이스는 음성 명령의 처리 결과를 음성으로 사용자에게 제공할 수도 있다.
7010: 기계식 진동 센서
7020: 센서 허브
7030: 메인 프로세서

Claims (20)

  1. 스레스홀드 이상의 진동을 감지하여 전자 신호를 생성하는 기계식 진동 센서;
    포터블 디바이스의 모션을 감지하는 모션 센서;
    음성 명령을 수신하는 오디오 센서;
    상기 모션 센서 및 상기 오디오 센서를 포함하는 복수의 센서를 제어하는 센서 허브; 및
    애플리케이션을 실행하고 상기 포터블 디바이스를 제어하는 메인 프로세서;를 포함하며,
    상기 센서 허브는, 상기 포터블 디바이스가 스탠바이 모드인 경우, 상기 기계식 진동 센서로부터 전자 신호를 수신하면 인액티브 상태로부터 액티브 상태로 전환하여 상기 모션 센서를 액티베이트하고, 상기 모션 센서를 사용하여 인식된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 해당하는 경우, 상기 메인 프로세서를 액티베이트하여 상기 포터블 디바이스를 음성 인식 서비스 모드로 진입시키는, 포터블 디바이스.
  2. 제 1 항에 있어서,
    상기 포터블 디바이스가 스탠바이 모드인 경우, 상기 기계식 진동 센서는 액티베이스 상태이고, 상기 모션 센서, 상기 오디오 센서, 상기 센서 허브 및 상기 메인 프로세서는 인액티브 상태인, 포터블 디바이스.
  3. 제 1 항에 있어서,
    상기 포터블 디바이스가 음성 인식 서비스 모드인 경우, 상기 포터블 디바이스는 상기 오디오 센서를 액티베이트하여 음성 명령을 수신하고, 상기 음성 명령을 처리하여 처리 결과를 제공하는, 포터블 디바이스.
  4. 제 1 항에 있어서,
    상기 제스처 패턴은 상기 모션 센서에 의해서 진동 패턴으로 식별되는, 포터블 디바이스.
  5. 제 1 항에 있어서,
    상기 센서 허브는 상기 제스처 패턴이 음성 인식 서비스 트리거 제스처에 해당하는 경우, 상기 음성 인식 서비스 모드로의 진입 여부를 확인하는 피드백을 제공하는, 포터블 디바이스.
  6. 제 1 항에 있어서,
    상기 포터블 디바이스는, 상기 음성 인식 서비스 모드로의 진입한 경우 상기 음성 인식 서비스 모드로의 진입을 나타내는 피드백을 제공하는, 포터블 디바이스.
  7. 제 1 항에 있어서,
    상기 모션 센서를 사용하여 인식된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 해당하는 경우, 상기 센서 허브는 상기 오디오 센서를 액티베이트하고, 상기 오디오 센서를 사용하여 음성 인식 서비스 모드 진입 명령을 수신하면 상기 메인 프로세서를 액티베이트하여 상기 음성 인식 서비스 모드로 진입하는, 포터블 디바이스.
  8. 제 1 항에 있어서,
    상기 센서 허브는, 상기 오디오 센서를 액티베이트한 경우, 센싱 데이터의 처리에 대한 샘플링 레이트를 조절하는, 포터블 디바이스.
  9. 제 4 항에 있어서,
    상기 진동 패턴은, 적어도 하나의 피크를 갖는 복수의 진동을 포함하며, 상기 복수의 진동의 크기 및 간격 중 적어도 하나에 의해 식별되는, 포터블 디바이스.
  10. 제 9 항에 있어서,
    상기 센서 허브는 상기 진동 패턴에 포함된 첫번째 진동의 일부 및 상기 첫번째 진동 이후의 적어도 하나의 진동이 상기 음성 인식 서비스 트리거 제스처에 매칭되는지 여부를 결정하는, 포터블 디바이스.
  11. 기계식 진동 센서를 사용하여, 스레스 홀드의 진동이 감지된 경우 전자 신호를 센서 허브로 전송하여 센서 허브를 액티베이트하는 단계;
    상기 센서 허브를 사용하여, 상기 센서 허브에 연결된 모션 센서를 액티베이트하는 단계;
    상기 센서 허브를 사용하여, 상기 모션 센서를 통해 센싱된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 매칭되는 경우, 메인 프로세서를 액티베이트하는 단계;
    상기 메인 프로세서를 사용하여, 스탠바이 모드의 포터블 디바이스를 음성 인식 서비스 모드로 진입시키는 단계를 포함하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  12. 제 11 항에 있어서,
    상기 포터블 디바이스가 스탠바이 모드인 경우, 상기 기계식 진동 센서는 액티베이트 상태이고, 상기 모션 센서, 상기 센서 허브 및 상기 메인 프로세서는 인액티브 상태인, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  13. 제 11 항에 있어서,
    상기 포터블 디바이스가 음성 인식 서비스 모드인 경우, 상기 포터블 디바이스는 오디오 센서를 사용하여 음성 명령을 수신하고, 상기 음성 명령을 처리한 결과를 제공하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  14. 제 11 항에 있어서,
    상기 제스처 패턴은 상기 모션 센서에 의해서 진동 패턴으로 식별되는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  15. 제 11 항에 있어서,
    상기 센서 허브를 사용하여, 상기 모션 센서를 통해 센싱된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 매칭되는 경우, 상기 음성 서비스 모드로의 진입 여부를 확인하는 피드백을 제공하는 단계를 더 포함하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  16. 제 11 항에 있어서,
    상기 포터블 디바이스가 상기 음성 인식 서비스 모드로 진입한 경우, 상기 음성 인식 서비스 모드로의 진입을 나타내는 피드백을 제공하는 단계를 더 포함하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  17. 제 11 항에 있어서,
    상기 센서 허브를 사용하여, 상기 모션 센서를 통해 센싱된 제스처 패턴이 음성 인식 서비스 트리거 제스처에 매칭되는 경우, 상기 센서 허브를 사용하여, 메인 프로세서를 액티베이트하는 단계는,
    상기 센서 허블 사용하여 오디오 센서를 액티베이트하는 단계;
    상기 오디오 센서를 사용하여 음성 서비스 호출 명령을 수신하면, 상기 메인 프로세서를 액티베이트하는 단계를 더 포함하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  18. 제 11 항에 있어서,
    상기 센서 허브를 사용하여, 오디오 센서를 액티베이트하는 단계;
    상기 센서 허브를 사용하여, 상기 오디오 센서가 액티베이트된 경우, 센싱 데이터의 처리에 대한 샘플링 레이트를 조절하는 단계를 더 포함하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  19. 제 14 항에 있어서,
    상기 진동 패턴은, 적어도 하나으 피크를 갖는 복수의 진동을 포함하며, 상기 복수의 진동의 크기 및 간격 중 적어도 하나에 의해 식별되는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
  20. 제 19 항에 있어서,
    상기 센서 허브를 사용하여, 상기 모션 센서로 센싱된 상기 진동 패턴에 포함된 첫번째 진동의 일부 및 상기 첫번째 진동 후의 적어도 하나의 진동이 상기 음성 인식 서비스 트리거 제스처에 매칭되는지 여부를 결정하는 단계를 더 포함하는, 포터블 디바이스의 음성 인식 서비스 제공 방법.
KR1020130013052A 2012-12-03 2013-02-05 포터블 디바이스 및 음성 인식 서비스 제공 방법 KR102179811B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US13/840,926 US8843173B2 (en) 2012-12-03 2013-03-15 Portable device and method for providing voice recognition service
CN201380059905.XA CN104798012B (zh) 2012-12-03 2013-03-29 提供语音识别服务的便携式装置和方法
PCT/KR2013/002658 WO2014088162A1 (en) 2012-12-03 2013-03-29 Portable device and method for providing voice recognition service
EP13861152.0A EP2926219B1 (en) 2012-12-03 2013-03-29 Portable device and method for providing voice recognition service
US14/203,119 US8904218B2 (en) 2012-12-03 2014-03-10 Portable device and method for providing voice recognition service
US14/539,806 US9563349B2 (en) 2012-12-03 2014-11-12 Portable device and method for providing voice recognition service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261732415P 2012-12-03 2012-12-03
US61/732,415 2012-12-03

Publications (2)

Publication Number Publication Date
KR20140071208A true KR20140071208A (ko) 2014-06-11
KR102179811B1 KR102179811B1 (ko) 2020-11-17

Family

ID=51125756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130013052A KR102179811B1 (ko) 2012-12-03 2013-02-05 포터블 디바이스 및 음성 인식 서비스 제공 방법

Country Status (5)

Country Link
US (3) US8843173B2 (ko)
EP (1) EP2926219B1 (ko)
KR (1) KR102179811B1 (ko)
CN (1) CN104798012B (ko)
WO (1) WO2014088162A1 (ko)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160010289A (ko) * 2014-07-18 2016-01-27 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
GB2533795A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy Method, apparatus and computer program product for input detection
KR20170019127A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 전자 장치 상태에 따른 제어 방법 및 그 장치
KR20170124890A (ko) * 2016-05-03 2017-11-13 엘지전자 주식회사 전자 장치 및 그 제어 방법
US10283116B2 (en) 2016-01-19 2019-05-07 Samsung Electronics Co., Ltd Electronic device and method for providing voice recognition function
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102045511B1 (ko) * 2012-07-18 2019-11-15 삼성전자 주식회사 센서 허브를 포함하는 단말기 및 단말기의 제어 방법
WO2014024366A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 携帯電子機器
US9063731B2 (en) * 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
KR102179811B1 (ko) * 2012-12-03 2020-11-17 엘지전자 주식회사 포터블 디바이스 및 음성 인식 서비스 제공 방법
KR101732137B1 (ko) * 2013-01-07 2017-05-02 삼성전자주식회사 원격 제어 장치 및 전력 제어 방법
KR20140131093A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 음성 인식을 위한 방법 및 그 전자 장치
US9043211B2 (en) * 2013-05-09 2015-05-26 Dsp Group Ltd. Low power activation of a voice activated device
US20140358535A1 (en) * 2013-05-28 2014-12-04 Samsung Electronics Co., Ltd. Method of executing voice recognition of electronic device and electronic device using the same
US9313740B2 (en) * 2013-06-14 2016-04-12 Sony Corporation Power efficient sensor accessory management through sensor subsystem
US20150002308A1 (en) * 2013-06-28 2015-01-01 Broadcom Corporation Device Relativity Architecture
KR20150007954A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 포터블 디바이스, 디스플레이 장치, 디스플레이 시스템 및 이들의 디스플레이 장치 전원 제어 방법
US20150032238A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device for Audio Input Routing
TWI502406B (zh) * 2013-08-23 2015-10-01 Acer Inc 電子裝置以及操控方法
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ウェアラブル端末及びウェアラブル端末の制御方法
US10079019B2 (en) * 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device
US9971412B2 (en) * 2013-12-20 2018-05-15 Lenovo (Singapore) Pte. Ltd. Enabling device features according to gesture input
US9513703B2 (en) * 2013-12-27 2016-12-06 Intel Corporation Gesture-based waking and control system for wearable devices
US10444834B2 (en) * 2014-04-01 2019-10-15 Apple Inc. Devices, methods, and user interfaces for a wearable electronic ring computing device
CN104380254B (zh) * 2014-06-11 2017-09-22 华为技术有限公司 快速启动应用服务的方法和终端
KR102185564B1 (ko) * 2014-07-09 2020-12-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9747739B2 (en) 2014-08-18 2017-08-29 Noke, Inc. Wireless locking device
US10863311B2 (en) * 2014-09-30 2020-12-08 Lenovo (Singapore) Pte. Ltd. Selecting an operating mode based on user proximity
US9690352B2 (en) * 2014-12-09 2017-06-27 Htc Corporation Portable electronic device and power control method therefor
US9690361B2 (en) * 2014-12-24 2017-06-27 Intel Corporation Low-power context-aware control for analog frontend
US9728022B2 (en) 2015-01-28 2017-08-08 Noke, Inc. Electronic padlocks and related methods
GB2535766B (en) * 2015-02-27 2019-06-12 Imagination Tech Ltd Low power detection of an activation phrase
CN104850222B (zh) * 2015-04-15 2018-02-16 郑德豪 一种指令识别方法及电子终端
US9622182B2 (en) 2015-04-17 2017-04-11 Suunto Oy Embedded computing device
FR3037415B1 (fr) * 2015-06-10 2018-07-06 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de traitement des mesures d'au moins un capteur electronique loge dans un appareil portable
CN105157707A (zh) * 2015-09-30 2015-12-16 努比亚技术有限公司 导航装置及方法
KR102348927B1 (ko) * 2015-11-13 2022-01-11 한국전자통신연구원 절단면 촬영 제어 장치 및 방법
CN105752086B (zh) * 2016-02-24 2019-11-12 珠海市磐石电子科技有限公司 辅助控制装置、驾驶辅助控制装置及其控制方法
CN107643908A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 语音应用触发控制方法、装置及终端
CN106328135B (zh) * 2016-08-19 2019-10-18 北京儒博科技有限公司 一种基于语音的应用切换方法及装置
US9571532B1 (en) * 2016-09-09 2017-02-14 Republic Wireless, Inc. Techniques for integrating voice control into an active telephony call
CN106843469B (zh) * 2016-12-27 2020-09-04 广东小天才科技有限公司 一种控制穿戴设备报时的方法及穿戴设备
US10924376B2 (en) * 2016-12-30 2021-02-16 Google Llc Selective sensor polling
US10210866B2 (en) 2017-01-20 2019-02-19 Essential Products, Inc. Ambient assistant device
US10468022B2 (en) * 2017-04-03 2019-11-05 Motorola Mobility Llc Multi mode voice assistant for the hearing disabled
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20190012186A1 (en) * 2017-07-07 2019-01-10 Lenovo (Singapore) Pte. Ltd. Determining a startup condition in a dormant state of a mobile electronic device to affect an initial active state of the device in a transition to an active state
US10366699B1 (en) * 2017-08-31 2019-07-30 Amazon Technologies, Inc. Multi-path calculations for device energy levels
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
KR20190052394A (ko) * 2017-11-08 2019-05-16 삼성전자주식회사 복수의 마이크를 이용하여 기능을 실행하기 위한 방법 및 그 전자 장치
US10474857B2 (en) * 2017-12-19 2019-11-12 Datalogic IP Tech, S.r.l. Gesture controllable machine-readable symbol reader systems and methods, with head worn interface
EP3729243A4 (en) 2017-12-19 2021-09-15 Datalogic IP Tech S.r.l. SYSTEMS AND METHODS THAT MAY BE CARRIED BY A USER TO COLLECT DATA AND PROVIDE INFORMATION
CN109979442A (zh) * 2017-12-27 2019-07-05 珠海市君天电子科技有限公司 一种语音控制方法、装置及电子设备
KR102453656B1 (ko) 2018-01-25 2022-10-12 삼성전자주식회사 저전력 동작을 위한 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
GB201821048D0 (en) 2018-12-21 2019-02-06 Sae Hearing As System for monitoring sound
US11352817B2 (en) 2019-01-25 2022-06-07 Noke, Inc. Electronic lock and interchangeable shackles
CN111369999B (zh) * 2020-03-12 2024-05-14 北京百度网讯科技有限公司 一种信号处理方法、装置以及电子设备
CN111556596B (zh) * 2020-04-28 2022-06-10 沈阳工业大学 一种支持私密交互的书写设备及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060211499A1 (en) * 2005-03-07 2006-09-21 Truls Bengtsson Communication terminals with a tap determination circuit
US7567827B2 (en) * 2006-06-01 2009-07-28 Samsung Electronics Co., Ltd. Mobile terminal and method for changing an operational mode using speech recognition
US20090284463A1 (en) * 2008-05-13 2009-11-19 Yukako Morimoto Information processing apparatus, information processing method, information processing program, and mobile terminal
US20110050638A1 (en) * 2008-05-23 2011-03-03 Atlab Inc. Touch sensor device and the method of switching operation mode thereof
US20110237230A1 (en) * 2010-03-26 2011-09-29 Sony Ericsson Mobile Communications Ab Activation of applications based on vibration of portable electronic device
US8234512B2 (en) * 2009-09-02 2012-07-31 Apple Inc. Motion sensor data processing using various power management modes

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
EP1930835A1 (en) * 2006-12-08 2008-06-11 Research In Motion Limited System and method for locking and unlocking access to an electronic device
ATE517351T1 (de) 2008-05-13 2011-08-15 Koninkl Philips Electronics Nv Falldetektionssystem
US8174503B2 (en) * 2008-05-17 2012-05-08 David H. Cain Touch-based authentication of a mobile device through user generated pattern creation
US20100079380A1 (en) * 2008-09-30 2010-04-01 Nokia Corporation Intelligent input device lock
TWI412987B (zh) * 2008-11-28 2013-10-21 Htc Corp 可攜式電子裝置及利用觸控屏幕將其由睡眠模式中喚醒之方法
US20100182270A1 (en) * 2009-01-21 2010-07-22 Caliskan Turan Electronic device with touch input assembly
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
EP2317744B1 (en) 2009-10-30 2012-10-17 Research In Motion Limited System and method for activating a component on an electronic device
US20110179381A1 (en) * 2010-01-21 2011-07-21 Research In Motion Limited Portable electronic device and method of controlling same
US8528072B2 (en) * 2010-07-23 2013-09-03 Apple Inc. Method, apparatus and system for access mode control of a device
US8706172B2 (en) * 2010-10-26 2014-04-22 Miscrosoft Corporation Energy efficient continuous sensing for communications devices
US8635560B2 (en) * 2011-01-21 2014-01-21 Blackberry Limited System and method for reducing power consumption in an electronic device having a touch-sensitive display
US20120254878A1 (en) 2011-04-01 2012-10-04 Lama Nachman Mechanism for outsourcing context-aware application-related functionalities to a sensor hub
CN102736820A (zh) * 2011-04-01 2012-10-17 国基电子（上海）有限公司 电子书
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US8988386B2 (en) * 2012-01-27 2015-03-24 Sony Corporation Sensor managed apparatus, method and computer program product
US8937602B2 (en) * 2012-02-01 2015-01-20 Logitech Europe S.A. System and method for rocking finger and static finger detection on an input device
US9720701B2 (en) * 2012-09-10 2017-08-01 Intel Corporation Providing support for device states
KR102179811B1 (ko) * 2012-12-03 2020-11-17 엘지전자 주식회사 포터블 디바이스 및 음성 인식 서비스 제공 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060211499A1 (en) * 2005-03-07 2006-09-21 Truls Bengtsson Communication terminals with a tap determination circuit
US7567827B2 (en) * 2006-06-01 2009-07-28 Samsung Electronics Co., Ltd. Mobile terminal and method for changing an operational mode using speech recognition
US20090284463A1 (en) * 2008-05-13 2009-11-19 Yukako Morimoto Information processing apparatus, information processing method, information processing program, and mobile terminal
US20110050638A1 (en) * 2008-05-23 2011-03-03 Atlab Inc. Touch sensor device and the method of switching operation mode thereof
US8234512B2 (en) * 2009-09-02 2012-07-31 Apple Inc. Motion sensor data processing using various power management modes
US20110237230A1 (en) * 2010-03-26 2011-09-29 Sony Ericsson Mobile Communications Ab Activation of applications based on vibration of portable electronic device

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
KR20160010289A (ko) * 2014-07-18 2016-01-27 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
GB2533795A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy Method, apparatus and computer program product for input detection
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
KR20170019127A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 전자 장치 상태에 따른 제어 방법 및 그 장치
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US10283116B2 (en) 2016-01-19 2019-05-07 Samsung Electronics Co., Ltd Electronic device and method for providing voice recognition function
KR20170124890A (ko) * 2016-05-03 2017-11-13 엘지전자 주식회사 전자 장치 및 그 제어 방법
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US9563349B2 (en) 2017-02-07
US20150074616A1 (en) 2015-03-12
KR102179811B1 (ko) 2020-11-17
CN104798012B (zh) 2017-11-17
US8904218B2 (en) 2014-12-02
US8843173B2 (en) 2014-09-23
EP2926219A1 (en) 2015-10-07
US20140195841A1 (en) 2014-07-10
CN104798012A (zh) 2015-07-22
WO2014088162A1 (en) 2014-06-12
US20140156269A1 (en) 2014-06-05
EP2926219B1 (en) 2019-08-28
EP2926219A4 (en) 2016-07-20

Similar Documents

Publication Publication Date Title
KR20140071208A (ko) 포터블 디바이스 및 음성 인식 서비스 제공 방법
KR102067019B1 (ko) 휴대 단말기의 충전 경로 제어 장치 및 방법
KR101659460B1 (ko) 이어폰 와이어로 단말기를 제어하는 방법, 장치, 설비, 프로그램 및 기록매체
WO2017088154A1 (zh) 一种情景模式切换的方法
EP3719612A1 (en) Processing method for reducing power consumption and mobile terminal
US20150065893A1 (en) Wearable electronic device, customized display device and system of same
US9690352B2 (en) Portable electronic device and power control method therefor
WO2014209405A1 (en) System and method for adaptive haptic effects
CN108471234B (zh) 一种电压控制电路及其控制方法、移动终端
KR102492727B1 (ko) 전자장치 및 그 제어방법
WO2017128639A1 (zh) 一种终端设备
WO2018166204A1 (zh) 一种控制指纹识别模组的方法、移动终端及存储介质
CN111026456A (zh) 应用管理方法、装置、存储介质及电子设备
US11122708B1 (en) Electronic device
CN111342519B (zh) 充电控制方法、装置、存储介质及移动终端
CN110086508B (zh) 电压调整方法、系统、存储介质及移动终端
CN112114649B (zh) 一种温度调整方法、装置、存储介质及移动终端
CN111245911B (zh) 网络传输方法及其系统、存储介质及终端设备
JP2011044862A (ja) 携帯端末システム、携帯端末制御方法及び携帯端末
CN112367427A (zh) 一种闹钟控制方法、装置、存储介质及移动终端
CN112256610A (zh) 连接控制方法、系统、存储介质及移动终端
CN112261536A (zh) 耳机控制方法、装置、终端设备及存储介质
JP2014165636A (ja) 電子機器、その制御方法及びプログラム
CN112865826A (zh) 一种触摸操作的识别方法及穿戴设备
CN116010192A (zh) 传感器数据获取方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant