KR20160145844A - 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들 - Google Patents

커맨드들의 햅틱 확인을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20160145844A
KR20160145844A KR1020167034392A KR20167034392A KR20160145844A KR 20160145844 A KR20160145844 A KR 20160145844A KR 1020167034392 A KR1020167034392 A KR 1020167034392A KR 20167034392 A KR20167034392 A KR 20167034392A KR 20160145844 A KR20160145844 A KR 20160145844A
Authority
KR
South Korea
Prior art keywords
actuator
processor
command
signal
haptic effect
Prior art date
Application number
KR1020167034392A
Other languages
English (en)
Other versions
KR101792583B1 (ko
Inventor
로버트 더블유. 휴벨
에린 람세이
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43502849&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20160145844(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160145844A publication Critical patent/KR20160145844A/ko
Application granted granted Critical
Publication of KR101792583B1 publication Critical patent/KR101792583B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

커맨드들의 햅틱 확인을 위한 시스템들 및 방법들이 개시된다. 예를 들어, 보이스 커맨드의 수신을 확인하기 위해 햅틱 효과들을 발생하기 위한 시스템은, 마이크로폰; 사용자에 의해 콘택되도록 구성되는 하우징; 및 하우징과 통신하는 액추에이터를 포함하고, 액추에이터는 하우징에 햅틱 효과를 출력하도록 구성된다. 시스템은 또한 마이크로폰 및 액추에이터와 통신하는 프로세서를 포함하고, 프로세서는 마이크로폰으로부터 스피치 정보를 수신하고, 스피치 정보를 인식하고 스피치 정보와 연관된 커맨드를 결정하도록 구성된다. 스피치 정보가 인식되고 커맨드가 결정되면, 프로세서는 액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생하고, 제1 액추에이터 신호를 액추에이터에 전송하도록 구성된다. 그렇지 않으면, 프로세서는 액추에이터가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생하고, 제2 액추에이터 신호를 액추에이터에 전송하도록 구성된다.

Description

커맨드들의 햅틱 확인을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR HAPTIC CONFIRMATION OF COMMANDS}
관련 출원에 대한 교차 참조
이 특허 출원은 2009년 11월 4일자로 출원된 명칭이 "Systems and Methods for Haptic Confirmation of Commands"인 미국 실용 특허 출원 번호 제12/612,230호를 우선권 주장하며, 그 전체가 참고로 여기에 포함된다.
발명의 분야
본 발명은 일반적으로 햅틱 피드백에 관한 것이고, 더욱 구체적으로, 커맨드들의 햅틱 확인(haptic confirmation of commands)에 관한 것이다.
전자 디바이스들에 대한 커맨드들은 통상적으로 버튼을 누르거나 스위치를 돌리는 것에 의해 발행되었다. 그러나, 휴대 전화들의 보이스 커맨드형 다이얼링(voice-commanded dialing)과 같이, 보이스 및 다른 유형들의 커맨드들이 사용자 인터페이스들에서 더욱 널리 퍼지고 있다. 이러한 시스템들에서, 사용자는 친구의 전화 번호를 다이얼링하기 위해 마이크로폰으로 커맨드를 말할 수 있고, 사용자는 전화가 그 번호를 다이얼링하고 있음을 표시하기 위해 삐 소리(beep)를 들을 수 있거나 라이트 플래시(light flash)를 볼 수 있다. 그러나 휴대 전화가 노래를 플레이하고 있기 때문에와 같이 휴대 전화의 스피커가 이미 이용되고 있다면, 휴대 전화는 삐 소리를 내기 위해서 음악을 중단시킬 수 있거나, 또는, 소리가 음소거(mute)되었다면, 그것은 결코 사용자에게 긍정 응답(acknowledgement)을 제공하지 않을 수 있다. 따라서, 사용자에게 응답을 제공하기 위한 다른 메커니즘들을 제공하는 것이 바람직할 수 있다.
본 발명의 실시예들은 보이스 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들을 제공한다. 예를 들어, 일 실시예에서, 커맨드들의 햅틱 확인을 위한 방법은 마이크로폰으로부터 스피치 정보를 수신하는 단계, 상기 스피치 정보를 인식하고 상기 스피치 정보와 연관된 커맨드를 결정하는 단계, 및 상기 스피치 정보가 인식되고 상기 커맨드가 결정되면, 액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생하는 단계, 및 상기 제1 액추에이터 신호를 상기 액추에이터에 전송하는 단계를 포함한다. 그렇지 않으면, 상기 액추에이터가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생하고, 및 상기 제2 액추에이터 신호를 상기 액추에이터에 전송한다. 다른 실시예는 이러한 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 판독 가능한 매체를 포함한다.
이들 예시적인 실시예들은 발명을 제한 또는 정의하지 않지만, 그의 이해를 돕기 위한 예들을 제공하는 것으로 언급된다. 예시적인 실시예들은 상세한 설명에서 논의되고, 발명의 추가 설명이 거기에 제공된다. 본 발명의 다양한 실시예들에 의해 제공되는 이점들은 이 명세서를 검토함으로써 더 이해될 수 있다.
본 발명의 이들 및 다른 특징들, 양태들, 및 이점들은 첨부 도면들을 참조하여 다음의 상세한 설명을 읽었을 때 더 잘 이해된다.
도 1-4는 본 발명의 실시예들에 따른 커맨드들의 햅틱 확인을 위한 시스템들의 블록도들을 도시한다.
도 5는 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 컴퓨터 구현 방법의 흐름도를 도시한다.
도 6은 본 발명의 실시예들에 따른 커맨드들의 햅틱 확인을 위한 시스템의 블록도를 도시한다.
도 7은 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 컴퓨터 구현 방법의 흐름도를 도시한다.
본 발명의 실시예들은 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들을 제공한다. 예를 들어, 일 실시예에서, 사용자는 "집으로 호출하라"와 같이, 휴대 전화에서 마이크로폰으로 커맨드를 말할 수 있다. 전화는 음성 커맨드(spoken command)의 인식을 시도하고, 그것이 성공적이면, 그것은 음성 커맨드가 인식되었고 전화기가 요청된 기능을 수행할 것이라는 택틸 표시(tactile indication)를 사용자에게 제공하기 위해 햅틱 효과를 발생한다. 전화는 그 다음에 "집"에 대응하는 전화 번호로 전화 호출을 시도할 수 있다. 그러나, 전화가 커맨드를 인식하지 않은 경우, 그것은 음성 커맨드가 인식되지 않았고 어떠한 기능도 실행되지 않을 것이라는 택틸 표시를 사용자에게 제공하기 위해 제2 햅틱 효과를 발생한다.
다른 실시예에서, 제1 사용자 및 제2 사용자는 라디오(radio)와 같은 무선 통신 디바이스를 이용하여 서로 통신할 수 있다. 각각의 사용자는 마이크로폰을 갖는 헤드셋 및 마이크로폰과 통신하는 라디오를 갖는다. 헤드셋은 또한 햅틱 효과들을 출력하기 위한 액추에이터를 포함한다. 제1 사용자는 라디오를 통해 제2 사용자에게 구두 커맨드를 발행할 수 있다. 제2 사용자는 제1 사용자에게 구두 응답을 제공하지 못할 수 있다. 예를 들어, 제2 사용자는 적 전투원들(enemy combatants) 근처의 전투 지대(combat zone)에 배치될 수 있다. 제2 사용자는 햅틱 메시지가 제1 사용자에게 전송될 수 있도록 그의 헤드셋 또는 라디오에 있는 버튼 또는 일련의 버튼들을 누름으로써 구두 커맨드에 응답할 수 있다. 제1 사용자의 라디오는 햅틱 메시지를 수신하고, 제1 사용자의 헤드셋의 액추에이터에 신호를 전송하여 액추에이터가 제1 사용자에게 햅틱 효과를 출력하게 할 수 있다.
커맨드들의 햅틱 확인을 위한 예시적인 시스템
이제 유사한 번호들이 몇개의 도면들에 걸쳐서 유사한 요소들을 가리키는 도면들을 참조하면, 도 1은 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 시스템의 블록도를 도시한다. 도 1에 도시된 실시예에서, 시스템은 하우징(105)을 갖는 디바이스(100)를 포함한다. 디바이스는 프로세서(110), 메모리(115), 액추에이터(130), 및 마이크로폰(135)을 더 포함하고, 이들 각각은 하우징(105) 내에 배치되거나, 또는 그에 결합된다. 도 1에 도시된 실시예에서, 디바이스(100)는 휴대 전화이고, 하우징(105)은 마이크로폰(135)으로 말할 수 있는 사용자에 의해 움켜잡도록 구성된다. 일부 실시예들에서, 디바이스(100)는 하우징(105), 프로세서(110), 메모리(115), 액추에이터(130), 및 마이크로폰(135)을 포함하는 헤드셋일 수 있다. 일부 실시예들에서, 디바이스(100)는 복수의 디바이스를 갖는 시스템을 포함할 수 있다. 예를 들어, 아래 더 상세하게 논의될 도 2는 서로 통신하는 2개의 디바이스(110, 150)를 포함한다.
다시 도 1에 도시된 실시예를 참조하면, 프로세서(110)는 메모리(115), 액추에이터(130), 및 마이크로폰(135)과 통신한다. 마이크로폰(135)은 사용자로부터 수신된 스피치 정보를 프로세서(110)에 전송되는 하나 이상의 마이크로폰 신호로 인코딩한다. 프로세서(110)는 마이크로폰 신호들을 수신하고 메모리(115)에 저장된 보이스 인식 소프트웨어를 실행하여 수신된 마이크로폰 신호들 내에 인코딩된 스피치 정보의 인식을 시도한다. 프로세서(110)가 스피치 정보를 인식할 수 있는 경우, 그것은 인식된 스피치 정보와 연관된 커맨드의 식별을 시도하는 메모리(115)에 저장된 소프트웨어를 실행한다. 프로세서(110)가 인식된 스피치 정보와 연관된 커맨드를 식별하면, 그것은 액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생한다. 제1 햅틱 효과는 보이스 커맨드가 인식되었음을 사용자에게 표시하도록 구성된다. 그 다음에 프로세서(110)는 액추에이터(130)에 제1 액추에이터 신호를 전송하고, 액추에이터(130)는 제1 액추에이터 신호에 기초하여 제1 햅틱 효과를 출력한다.
그러나, 스피치 정보가 인식되지 않으면, 또는 스피치 정보에 대응하는 커맨드가 발견되지 않으면, 프로세서(110)는 액추에이터(130)가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생한다. 그 다음에 프로세서(110)는 액추에이터(130)에 제2 액추에이터 신호를 전송하고, 액추에이터(130)는 제2 액추에이터 신호에 기초하여 제2 햅틱 효과를 출력한다. 제2 햅틱 효과는 스피치 정보가 인식되지 않았음, 또는 대응하는 커맨드가 발견되지 않았음을 표시하도록 구성된다. 일 실시예에서, 그러나, 스피치 정보의 인식 실패 또는 인식된 스피치 정보에 대응하는 커맨드의 발견 실패에 대해 상이한 햅틱 효과들이 출력될 수 있다. 식별자들 "제1" 및 "제2"는 여기서 특정 신호들 또는 효과들의 시퀀스보다는, 상이한 신호들 및 효과들 사이를 구별하기 위해 이용된다는 것에 주목한다. 예를 들어, 보이스 커맨드가 인식되지 않으면, 오직 제2 액추에이터 신호가 발생되어 액추에이터에 전송되고; 보이스 커맨드가 인식되었음을 표시하는 제1 신호가 액추에이터에 대하여 발생 또는 전송되지 않는다.
도 1의 실시예는 핸드헬드 디바이스, 착용 디바이스(wearable device), 차량(vehicle)(예를 들어, 자동차, 휠체어 등), 비-휴대용 디바이스(예를 들어, 데스크톱 컴퓨터), 또는 보이스 커맨드들을 수신하고, 그것들을 처리하고, 햅틱 효과들을 발생할 수 있는 다른 디바이스들과 같은, 다수의 디바이스 중 임의의 것을 포함할 수 있다.
예를 들어, 일 실시예에서, 디바이스(100)는 PDA(personal digital assistant)를 포함한다. 이러한 실시예에서, 사용자는 PDA가 기능을 수행하게 하도록 마이크로폰(135)으로 보이스 커맨드를 말할 수 있다. 예를 들어, 사용자는 화요일 오후 3시에 달력에 약속을 추가하도록 PDA에 지시할 수 있다. 프로세서(110)는 보이스 커맨드의 인식을 시도하고, 프로세서(110)가 보이스 커맨드를 인식하면, 프로세서(110)는 액추에이터 신호를 발생하고 액추에이터 신호를 액추에이터에 전송하여 액추에이터가 보이스 커맨드가 인식되었음을 표시하기 위해 햅틱 효과를 출력하게 한다. 대안적으로, 보이스 커맨드가 인식되지 않았다면, 프로세서(110)는 제2 액추에이터 신호를 발생하고 제2 액추에이터 신호를 액추에이터에 전송하여 액추에이터가 보이스 커맨드가 인식되지 않았음을 표시하기 위해 햅틱 효과를 출력하게 한다.
유사한 실시예에서, 프로세서(110)는 부분적으로 커맨드를 인식할 수 있다. 예를 들어, 프로세서(110)는 스피치 커맨드가 달력에 약속을 추가할 것인지를 인식할 수 있지만, 약속 시간을 인식하지 않았을 수 있다. 이러한 실시예에서, 프로세서(110)는 제3 액추에이터 신호를 발생하고 제3 액추에이터 신호를 액추에이터에 전송하여 액추에이터가 보이스 커맨드가 부분적으로 인식되었음을 표시하기 위해 햅틱 효과를 출력하게 할 수 있다. 이러한 실시예에서, 햅틱 효과는 커맨드가 부분적으로 인식되었을 뿐만 아니라, 커맨드의 부분이 인식되지 않았음을 표시할 수 있다. 예를 들어, 날짜가 인식되지 않았다면, 디바이스는 제4 햅틱 효과를 출력할 수 있고, 시간이 인식되지 않았다면, 디바이스는 제5 햅틱 효과를 출력할 수 있다. 햅틱 시그널링을 이용하여, 사용자는 문제의 근원을 판정하기 위해 디스플레이를 보는 것에 의지할 필요 없이 음성 커맨드를 이해하는 곤란함에 대해 알 수 있다.
유사한 실시예에서, 프로세서(110)는 스피치 커맨드의 부분들이 수신되고 인식되거나 인식되지 않았을 때 액추에이터 신호들을 발생할 수 있다. 예를 들어, 일 실시예에서, 사용자는 "9월 2일 화요일 오후 3시에 달력에 약속을 추가하라"라고 말할 수 있다. 프로세서는 "달력에 약속을 추가하라"를 인식하고, 커맨드의 일부분이 인식되었음을 표시하기 위해 액추에이터가 제1 햅틱 효과를 출력하게 하도록 제1 액추에이터 신호를 발생할 수 있다. 그 다음에 제1 햅틱 효과는 스피치 커맨드의 이 부분이 인식되었음을 사용자에게 표시하기 위해 사용자가 "달력에 약속을 추가하라"라고 말한 바로 후에 출력된다. 그 다음에 날짜가 인식되거나 인식되지 않은 후에 다른 햅틱 효과가 출력될 수 있고, 그 다음에 시간이 인식되거나 인식되지 않은 후에 제3 햅틱 효과가 출력될 수 있다. 그 다음에 사용자는 커맨드의 인식되지 않은 부분을 다시 말할 수 있다. 스피치 커맨드의 부분들에 대응하여 출력되는 햅틱 효과들은 사용자에게 전체 커맨드를 다시 말하도록 요구하기 보다는 커맨드의 어느 부분이 반복될 필요가 있는지를 사용자에게 표시할 수 있다.
또 다른 햅틱 효과들이 보이스 커맨드에 응답하여 사용자에게 출력될 수 있다. 예를 들어, 사용자가 PDA에서 달력에 약속의 추가를 시도하는 전술한 실시예들에서, 부가적인 햅틱 효과들이 이용될 수 있다. 예를 들어, 프로세서(110)가 커맨드를 인식하지만, 명령된 날짜 및 시간은 달력에 이미 저장된 약속과의 충돌이 존재한다고 결정하면, 프로세서(110)는 커맨드가 인식되었지만 잠재적인 충돌이 존재한다고 표시하기 위해 액추에이터가 햅틱 효과를 출력하게 하도록 액추에이터 신호를 발생할 수 있다. 유사한 실시예에서, 프로세서(110)가 커맨드를 인식하지만, 명령된 날짜 및 시간은 기존의 약속에 가깝다고 결정하면, 프로세서(110)는 커맨드가 인식되었지만 원하는 날짜 및 시간은 기존의 약속에 가깝다고 표시하기 위해 액추에이터가 햅틱 효과를 출력하게 하도록 액추에이터 신호를 발생할 수 있다. 이러한 실시예에서, 잠재적인 충돌을 표시하는 햅틱 효과는 약속 시간이 다른 약속과 가깝다고 표시하는 햅틱 효과와 상이하다.
전술한 바와 같이, 본 발명의 일부 실시예들은 실시간과 같이, 그것이 수신될 때 스피치 정보의 인식을 시도할 수 있다. 그러나, 그것이 수신될 때 스피치 정보의 인식을 시도하지 않는 일부 실시예들에서도, 스피치 정보가 수신될 때 다른 기능들을 수행하는 것이 유리할 수 있다. 예를 들어, 일 실시예에서, 디바이스(100)는 마이크로폰으로부터 스피치 정보를 수신하고 그것이 수신될 때 스피치 정보의 인식을 시도한다. 디바이스(100)가 스피치 정보의 인식을 시작할 때, 그것은 커맨드에 대응하는 단어 또는 구절을 인식할 수 있다. 예를 들어, 사용자가 "집으로 호출하라"라고 말하면, 디바이스(100)는 "호출하다"라는 단어를 인식하고 그것이 전화 호출을 시작하라는 커맨드에 대응한다고 결정할 수 있다. 이것은 사용자가 보이스 커맨드를 발행하고 있음을 디바이스에 표시할 수 있고, 디바이스는 전체 커맨드를 수신하기 전에 햅틱 효과의 출력을 준비할 수 있다. 예를 들어, 디바이스(100)는 햅틱 효과의 발생을 예상하고 액추에이터(130)에 전류를 공급하는 증폭기(도시되지 않음)를 워밍업(warm up)시킬 수 있다. 디바이스(100)는 부가적인 스피치 정보가 수신될 수 있는 것에 따라, 출력될 수 있는 하나 이상의 잠재적인 햅틱 효과들을 선택할 수 있다. 디바이스(100)가 그것이 수신될 때 스피치 정보의 인식을 시도하지 않는 일 실시예에서, 디바이스(100)는 그것이 스피치 정보를 수신하고 있음을 검출할 때 증폭기를 워밍업시키는 것을 시작할 수 있다. 이러한 실시예는 스피치 정보가 수신되고 있다고 결정할 수 있고, 스피치 정보는 보이스 커맨드를 포함할 수 있다. 따라서, 디바이스(100)가 보이스 커맨드가 인식되었거나 인식되지 않은 바로 후에 햅틱 효과가 출력될 수 있도록 보장하기 위해 그것이 스피치 정보를 수신하고 있는 동안에 증폭기를 워밍업시키는 것이 유리할 수 있다.
핸드헬드 실시예들에 추가하여, 다른 디바이스들이 보이스 커맨드들의 햅틱 확인을 제공할 수 있다. 예를 들어, 일 실시예에서, 디바이스(100)는 데스크톱 컴퓨터를 포함한다. 사용자는, 컴퓨터(100)로 하여금, 소프트웨어 빌드(software build)를 실행하는 것과 같이, 완료하는 데 연장된 기간(an extended period of time)이 걸리는 기능을 수행하도록 하는 커맨드를 발행할 수 있다. 프로세서(110)가 커맨드를 인식하면, 그것은 컴퓨터(100)에 결합된 키보드 또는 마우스(도시되지 않음) 내에 내장된 액추에이터(130)를 통해서와 같이, 액추에이터(130)가 사용자에게 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생할 수 있다. 그 다음에, 프로세서(110)가 기능을 실행할 때, 그것은 기능이 아직 실행중임을 표시하기 위해 키보드 또는 마우스 내의 액추에이터(130)에 제2 액추에이터 신호를 주기적으로 전송할 수 있다. 이러한 햅틱 효과는 사용자에게 지나치게 야단스럽지 않은 상태 정보(unobtrusive status information)를 제공하도록 설계된 낮은 규모의 진동일 수 있다. 다른 실시예에서, 진동은 처음에 지나치게 야단스럽지 않을 수 있지만, 기능이 완료하는 데 점점 가까워질수록 더 강해질 수 있다. 예를 들어, 진동의 규모는 증가할 수 있거나, 또는 주파수가 증가 또는 감소할 수 있다. 프로세서(110)가 기능을 완료할 때, 그것은 기능이 완료되었음을 표시하기 위해 키보드 또는 마우스 내의 액추에이터(130)에 대하여 제3 액추에이터 신호를 발생하고 전송할 수 있다. 대안적으로, 빌드 에러와 같이, 기능의 실행 중에 에러가 발생하면, 햅틱 효과는 기능이 성공적이지 않게 종료되었음을 표시하기 위해 출력될 수 있다. 이러한 실시예는 사용자가 디바이스(100)에서 기능을 시작하고 백그라운드에서 기능이 실행될 수 있게 하지만, 디바이스(100)가 기능의 상태에 대해 사용자에게 알릴 수 있는 맥락에서 유용할 수 있다. 예를 들어, 사용자는 셀룰러 네트워크를 통해 원격 서버로부터 애플리케이션의 다운로드를 개시하기 위해 그의 휴대 전화에 보이스 커맨드를 발행할 수 있다. 그 다음에 사용자는 다시 그의 주머니에 휴대 전화를 갖다 놓거나, 전화 호출을 개시하거나, 또는 일부 다른 태스크를 수행할 수 있다. 그러나, 완료된 다운로드의 퍼센티지, 다운로드에 따른 문제, 또는 다운로드가 완료되었을 때의 햅틱 표시와 같이, 휴대 전화는 여전히 사용자에게 다운로드의 햅틱 상태를 제공할 수 있다.
이제 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 시스템(200)의 블록도를 도시한다. 도 2에 도시된 시스템(200)은 제1 디바이스(100) 및 제2 디바이스(150)를 포함하고, 각각의 디바이스(100, 150)는 접속(170)을 이용하여 다른 디바이스와 통신한다. 제1 디바이스(100)는 도 1과 관련하여 설명된 컴포넌트들을 포함한다. 제2 디바이스는 메모리(165)와 통신하는 프로세서(160)를 포함한다. 제1 디바이스(140)의 프로세서(110)는 제2 디바이스(150)의 프로세서(160)와 통신한다. 예를 들어, 일 실시예에서, 2개의 프로세서(110, 160)는 블루투스를 통해서와 같은 무선 접속을 통해 통신한다. 일부 실시예들에서, 무선 접속은 적외선 링크, RF 링크, 와이파이 링크, 또는 다른 무선 접속을 포함할 수 있다. 다른 실시예에서, 2개의 프로세서(110, 160)는 직렬 또는 병렬 접속 또는 이더넷 접속과 같은, 유선 접속을 통해 통신한다. 일부 실시예들에서는 접속(170)이 단방향 접속일 수 있지만, 접속(170)을 이용하여, 프로세서(110)는 프로세서(160)에 신호들을 전송하고 그로부터 신호들을 수신할 수 있다.
예를 들어, 일 실시예에서, 디바이스(100)는 블루투스 헤드셋을 포함하고 디바이스(150)는 휴대 전화를 포함한다. 이러한 실시예에서, 마이크로폰(135)은 사용자로부터 수신된 스피치 정보를 프로세서(110)에 전송되는 하나 이상의 마이크로폰 신호들로 인코딩한다. 그 다음에 헤드셋의 프로세서(110)는 마이크로폰 신호들이 휴대 전화의 프로세서(160)에 전송되게 한다. 프로세서(160)는 수신된 마이크로폰 신호들 내에 인코딩된 스피치 정보의 인식을 시도하기 위해 메모리(165)에 저장된 보이스 인식 소프트웨어를 실행한다. 프로세서(160)가 스피치 정보를 인식할 수 있다면, 그것은 인식된 스피치 정보와 연관된 커맨드의 식별을 시도하는 메모리(165)에 저장된 소프트웨어를 실행한다. 프로세서(160)가 인식된 스피치 정보와 연관된 커맨드를 식별하면, 그것은 액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생한다. 프로세서(160)는 제1 액추에이터 신호를 프로세서(110)에 전송하고, 프로세서(110)는 그 다음에 제1 액추에이터 신호를 액추에이터(130)에 전송한다. 일부 실시예들에서, 프로세서(110)는 햅틱 효과를 출력하는 준비로 액추에이터가 파워업(power-up)하게 하도록 액추에이터에 신호를 전송한다. 다른 실시예에서, 프로세서(160)는 제1 액추에이터 신호를 액추에이터(130)에 전송한다.
그러나, 스피치 정보 또는 대응하는 커맨드가 인식되지 않으면, 프로세서(160)는 액추에이터(130)가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생한다. 프로세서(160)는 제2 액추에이터 신호를 프로세서(110)에 전송하고, 프로세서(110)는 그 다음에 제2 액추에이터 신호를 액추에이터(130)에 전송한다. 다른 실시예에서, 프로세서(160)는 제2 액추에이터 신호를 액추에이터(130)에 전송한다. 제2 액추에이터 신호를 수신한 후에, 액추에이터(130)는 제2 액추에이터 신호에 기초하여 제2 햅틱 효과를 출력한다.
일부 실시예들에서, 프로세서(160)는 고레벨 액추에이터 신호들을 프로세서(110)에 전송할 수 있다. 프로세서(110)는 그 다음에 고레벨 액추에이터 신호에 기초하여 저레벨 액추에이터 신호를 발생할 수 있다. 프로세서(110)는 그 다음에 액추에이터(130)가 햅틱 효과를 출력하게 하도록 액추에이터(130)에 저레벨 액추에이터 신호를 전송할 수 있다. 고레벨 및 저레벨 액추에이터 신호들에 대한 더욱 상세한 설명들은 1995년 12월 1일자로 출원되고 1998년 3월 31일자로 발부된 명칭이 "Method and Apparatus for Controlling Force Feedback Interface Systems Utilizing a Host Computer"인 미국 특허 번호 제5,734,373호에서 찾을 수 있고, 그 전체는 참고로 본원에 포함된다.
다시 도 2를 참조하면, 본 발명의 일 실시예는 프로세서(110, 160)에 의해 결정되는 커맨드 또는 프로세서(110, 160)에 의해 수행되는 기능을 에뮬레이트하는 햅틱 효과들을 제공할 수 있다. 예를 들어, 일 실시예에서, 제1 디바이스(100)는 이어버드(earbud)를 포함하고 제2 디바이스(150)는 휴대 전화를 포함한다. 이러한 실시예에서, 사용자는 "집으로 호출하라"와 같은 보이스 커맨드를 발행할 수 있다. 프로세서(110)는 제2 디바이스(150)의 프로세서(160)에 마이크로폰(135)으로부터 수신된 스피치 정보를 전송한다. 프로세서(160)는 보이스 커맨드를 인식하고, 다이얼링되는 각각의 번호 및 호출되는 전화의 각각의 링(ring)에 대응하는 일련의 햅틱 효과들을 발생한다. 햅틱 효과들에 대응하는 액추에이터 신호들은 제1 디바이스(100)의 프로세서(110)에 전송되고, 제1 디바이스(100)의 프로세서(110)는 예를 들어 각각의 버튼 누름 및 각각의 링에 대응하는 시간에, 햅틱 효과들을 출력한다.
다른 실시예들에서, 햅틱 커맨드는 원격 디바이스와 연관된 프로세서로부터 수신될 수 있다. 예를 들어, 도 3은 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 시스템(300)의 블록도를 도시한다. 도 3에 도시된 실시예에서, 커맨드들의 햅틱 확인을 위한 시스템(300)은 통신 디바이스(150)와 통신하는 햅틱 가능 의료 경보 디바이스(haptically-enabled medical alert device)(100)를 포함한다. 통신 디바이스는 원격 시스템(170)과 통신한다. 이 실시예에서, 의료 경보 디바이스(100)는 표준 코드레스(cordless) 전화 주파수들을 이용하는 RF 링크와 같이, RF 링크를 이용하여 통신 디바이스(150)와 통신한다. 의료 경보 디바이스(100)는 사용자의 목 또는 손목 둘레와 같이, 사용자에 의해 착용되도록 구성된다. 의료 경보 디바이스(100)는 쓰러짐(fall) 또는 심장 마비와 같은 의학적 응급상황을 표시하기 위해 사용자에 의해 이용될 수 있다. 예를 들어, 사용자는 예를 들어 "도와주세요"라고 말함으로써, 또는 버튼을 누르고 "도와주세요" 또는 "응급"과 같은 커맨드를 말함으로써, 디바이스 상의 마이크로폰으로 말할 수 있다. 도 3에 도시된 실시예에서, 의료 경보 디바이스(100)의 프로세서(110)는 그 다음에 하나 이상의 신호들을 통신 디바이스(150)의 프로세서(160)에 전송한다. 통신 디바이스(150)는 그 다음에 원격 시스템(170)에의 접속을 개시하고 사용자가 의학적 응급상황에 대해 신호를 보냈음을 표시하는 하나 이상의 신호들을 원격 시스템(170)에 전송한다. 이러한 실시예에서, 원격 시스템(170)은 사용자를 돕기 위해 구급차 또는 다른 서비스들을 보낼 수 있는 디스패처(dispatcher)에 의해 감시될 수 있다.
의료 경보 디바이스(100), 통신 디바이스(150), 및 원격 시스템(170) 사이의 메시지들의 전송 중에, 부가적인 햅틱 효과들이 발생되어 출력될 수 있다. 예를 들어, 도시된 실시예에서, 통신 디바이스(150)는 응급 호출이 개시되었음을 표시하기 위해 의료 경보 디바이스(100)가 햅틱 효과를 출력하게 하는 메시지를 의료 경보 디바이스(100)에 전송할 수 있다. 호출이 응답된 후에, 통신 디바이스(150)는 호출이 응답되었음을 표시하기 위해 제2 햅틱 효과가 출력되게 할 수 있다. 대안적으로, 또는 부가적으로, 디스패처는 통신 디바이스(150)의 프로세서(160)에 네트워크(380)를 통해 신호가 전송되게 할 수 있다. 예를 들어, 디스패처는 그들의 요청이 수신되었고 도움의 손길이 오는 중임을 표시하기 위해 사용자에게 햅틱 신호들을 제공할 수 있다. 그 다음에 프로세서(160)는 햅틱 효과가 출력되게 하도록 의료 경보 디바이스의 프로세서(110)에 고레벨 액추에이터 신호를 전송할 수 있다. 그 다음에 의료 경보 디바이스의 프로세서(110)는 프로세서(160)로부터의 수신된 신호에 기초하여 저레벨 액추에이터 신호를 발생하고 햅틱 효과가 출력되게 하도록 액추에이터에 액추에이터 신호를 전송할 수 있다. 예를 들어, 디스패처는 요청이 수신되었음을 표시하기 위해 긴 진동 다음에, 구급차가 보내졌음을 표시하기 위해 부가적인 진동들을 전송할 수 있다. 디스패처는 그가 여전히 사용자에게 주목하고 있고 그들의 요청이 응답되고 있음을 표시하기 위해 이러한 햅틱 신호들을 주기적으로 전송할 수 있다. 이러한 실시예는 듣거나 보는 데 곤란한 사람에게 유리할 수 있다. 그것은 또한 그들의 도움 요청이 수신되었고 디스패처가 여전히 그들의 요구들을 핸들링하고 있다는 확신(assurance)을 사용자에게 제공할 수 있다.
이제 도 4를 참조하면, 도 4는 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 시스템(400)의 블록도를 도시한다. 도 4에 도시된 시스템(400)은 네트워크(480)를 통해 서로 통신하는 2개의 디바이스(410, 412)를 포함한다. 디바이스(410)는 도 1에 도시된 바와 같은 디바이스(100)를 포함한다. 디바이스(425)는 또한 도 1과 관련하여 설명된 바와 같이 프로세서(430), 메모리(115), 마이크로폰(435), 및 액추에이터(440)를 포함한다. 그러나, 각각의 디바이스(410, 412)는 또한 네트워크 인터페이스(315)를 포함한다. 각각의 네트워크 인터페이스(315)는 그의 각각의 프로세서(110, 430)와 통신하고 네트워크(480)와 통신하도록 구성됨으로써, 디바이스들(410, 412)이 네트워크(480)를 통해 서로 통신할 수 있다. 이러한 실시예에서, 디바이스(410)는 그의 마이크로폰(435)으로부터 보이스 커맨드를 수신하고 디바이스(412)에 보이스 커맨드를 전송할 수 있다. 예를 들어, 일 실시예에서, 디바이스(412)의 사용자가 예를 들어 스피커(도시되지 않음)를 통해, 보이스 커맨드를 들을 수 있도록 마이크로폰(135)으로부터 수신된 스피치 정보는 네트워크(480)를 통해 전송될 수 있다. 사용자는 보이스 커맨드가 수신되었다는 긍정 응답을 표시하는 신호를 전송하기 위해 디바이스(425) 상의 버튼을 누름으로써 커맨드가 인식되었음을 확인할 수 있다. 디바이스(410)는 신호를 수신할 수 있고, 프로세서(110)는 액추에이터 신호를 발생하고 액추에이터가 사용자에게 햅틱 효과를 출력하게 하도록 액추에이터에 액추에이터 신호를 전송할 수 있다. 일부 실시예들에서, 사용자는 커맨드가 수신되지 않았다는, 또는 커맨드가 잘 알아들을 수 없거나 이해할 수 없다는 햅틱 표시를 제공함으로써 응답할 수 있다. 하나의 이러한 실시예에서, 사용자는 또한 메시지의 재전송을 요청하기 위해 햅틱 표시를 제공할 수 있다.
다른 실시예에서, 사용자는 버튼을 누르거나 터치 민감 디바이스를 두드리는 것에 의해서와 같이, 햅틱 입력들을 제공하는 것에 의해 수신된 보이스 커맨드에 응답할 수 있다. 햅틱 입력들 각각은 음성 커맨드로 변환되어 수신인에 전송될 수 있는 응답과 상관될 수 있다. 예를 들어, 군인은 커맨드가 수신되었고 군인이 따를 것임을 표시하기 위해 순서대로, 디바이스(412)와 같은 통신 디바이스에 결합된 터치 민감 입력 디바이스에 커맨드에 대한 응답을 두드릴 수 있다. 디바이스(412)는 그 다음에 디바이스(410)와 같은 다른 디바이스에 택틸 응답을 전송할 수 있고, 그것은 그 다음에 택틸 응답을 음성 메시지와 같은 가청 신호로 변환한다. 이러한 실시예에서, 택틸 응답은 디바이스(412)에 의해 스피치로 변환될 수 있는 미리 녹음된 메시지 또는 미리 결정된 텍스트에 대응할 수 있다. 이러한 실시예에서, 수신인에게의 음성 답장을 야기하는 사용자에 의한 무음 긍정 응답(silent acknowledgement)을 허용할 수 있다.
도 4에 도시된 시스템은 또한 조정된 태스크들 또는 프로시저들을 수행하기 위해 복수의 사용자들에 의해 이용될 때 유리할 수 있다. 예를 들어, 일 실시예에서, 디바이스들(410 및 412)은 은행 내의 상이한 위치들에 있는 컴퓨터들을 포함할 수 있다. 각각의 컴퓨터(410, 412)는 은행 금고에의 액세스를 제어하는 보안 시스템과 통신한다. 2개의 컴퓨터에 있는 사용자들은 은행 금고를 열기 위해 기능들을 수행하거나 인증을 제공할 필요가 있을 수 있다. 예를 들어, 제1 컴퓨터(410)에 있는 사용자는 금고를 열기 위한 인증을 검증하기 위해 단어 또는 구절과 같은 커맨드를 말하도록 요구될 수 있다. 커맨드가 인식된 후에, 햅틱 확인은 그들이 금고를 열기 위한 인증을 완료하기 위해, 다른 단어 또는 구절과 같은 커맨드를 말할 필요가 있음을 표시하기 위해 제2 컴퓨터(412)에 있는 제2 사용자에게 전송될 수 있다. 제2 사용자의 커맨드가 인식되면, 햅틱 확인은 커맨드가 성공적이었음을 사용자들에게 표시하기 위해 2개의 디바이스(410, 412) 각각에서 출력될 수 있다. 이러한 때에, 은행 금고의 자물쇠가 해제될 수 있다.
그러나, 커맨드들 중 하나가 인식되지 않았다면, 한 명의 또는 양 사용자는 인증이 실패했다는 햅틱 표시를 수신할 수 있다. 일 실시예에서, 커맨드가 실패한 사용자는 인증을 제공하기 위해 제2 기회가 주어질 수 있다. 이러한 실시예에서, 인증이 실패했지만 커맨드는 재시도될 수 있음을 표시하는 햅틱 효과가 한 명의 또는 양 사용자에게 출력될 수 있다. 그러나, 재시도가 이용가능하지 않도록 인증이 최종적으로 실패하였다면, 인증이 실패했음을 표시하기 위해 한 명의 또는 양 사용자에게 상이한 햅틱 효과가 출력될 수 있다.
상이한 또는 더욱 복잡한 시퀀스들의 이벤트들을 포함하는 또 다른 실시예들이 이용될 수 있다. 이러한 실시예들에서, 햅틱 효과들은 그것들의 부분에서의 액션이 시퀀스를 완료하는 데 필요함을 표시하기 위해 하나 이상의 사용자에게 출력될 수 있다. 예를 들어, 일 실시예에서, 복수의 정비사가 큰 기계를 수리하고 있을 수 있다. 이러한 시나리오에서, 각각의 사용자는 디바이스(410 또는 412)와 같은 디바이스를 착용할 수 있다. 사용자들이 수리 부분들을 완료하거나 도움을 필요로 할 때, 그들은 다른 사용자들의 디바이스들(410, 412)에서 햅틱 효과들을 트리거하기 위해 커맨드들을 전송할 수 있다. 그렇게 함으로써, 다음 사용자는 태스크가 완료되었거나 또는 그들이 수리 공정을 계속하기 위해 일부 액션을 수행할 필요가 있음을 통지받을 수 있다. 햅틱 효과의 수신인은 수신인이 필요한 액션 또는 일부 다른 표시를 취할 것임을 표시하기 위해 커맨드의 송신인에게 다시 햅틱 확인을 제공할 수 있다.
이제 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 보이스 커맨드들의 햅틱 확인을 위한 컴퓨터 구현 방법(500)의 흐름도를 도시한다. 도 5에 도시된 방법(500)은 도 1에 도시된 디바이스(100)를 참조하여 논의될 것이다.
방법(500)은 프로세서(100)가 스피치 정보를 수신할 때 블록(510)에서 시작한다. 예를 들어, 프로세서(110)는 마이크로폰(135)으로부터의 마이크로폰 신호에 인코딩된 스피치 정보를 수신할 수 있거나, 또는 그것은 블루투스 접속을 통해서와 같이, 다른 프로세서로부터 스피치 정보를 수신할 수 있다. 스피치 정보를 수신한 후에, 방법은 블록(520)으로 진행한다.
블록(520)에서, 스피치 정보를 수신한 후에, 프로세서(100)는 그 다음에 스피치 정보를 인식하기 위해 스피치 인식 소프트웨어를 실행한다. 프로세서가 스피치 정보를 인식하면, 그것은 스피치 정보와 연관된 커맨드의 결정을 시도한다. 프로세서(110)가 스피치 정보와 연관된 커맨드를 결정하면, 방법은 단계(530)로 진행한다. 그러나, 프로세서가 스피치 정보를 인식할 수 없거나, 또는 스피치 정보와 연관된 커맨드를 결정하지 못하는 경우, 방법은 블록(522)으로 진행한다.
블록(522)에서, 프로세서(110)는 액추에이터가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생한다. 제2 햅틱 효과는 스피치 정보가 인식되지 않았거나, 또는 스피치 정보에 대응하는 커맨드가 발견되지 않았음을 사용자에게 표시하도록 구성된다. 그 다음에 프로세서(110)는 블록(524)에 도시된 바와 같이 액추에이터(130)에 액추에이터 신호를 전송한다.
블록(530)에서, 프로세서(110)는 액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생한다. 제1 햅틱 효과는 스피치 정보가 인식되었거나, 및 스피치 정보에 대응하는 커맨드가 발견되었음을 사용자에게 표시하도록 구성된다. 그 다음에 프로세서(110)는 블록(532)에 도시된 바와 같이 액추에이터(130)에 액추에이터 신호를 전송한다. 액추에이터(130)에 제1 액추에이터 신호를 전송한 후에, 방법은 블록(534)으로 진행한다.
블록(534)에서, 프로세서(110)는 부가적인 스피치 정보가 이용가능한지를 결정한다. 예를 들어, 전술한 바와 같이, 프로세서(110)는 그것이 수신될 때 스피치 정보의 부분들의 인식을 시도하고 나서, 스피치 정보의 부분들이 인식되었음을 표시하기 위해 햅틱 효과들을 제공할 수 있다. 예를 들어, 사용자는 달력에 이벤트의 추가를 시도할 수 있고, 프로세서는 이벤트의 날짜, 시간, 및 장소와 같은, 이벤트의 각각의 성분에 대해 단계들(510-532) 또는 단계들(510-524)을 수행할 수 있다. 부가적인 스피치 정보가 수신되도록 이용가능한 경우, 방법은 부가적인 스피치 정보를 수신하기 위해 단계(510)로 리턴한다. 그러나, 부가적인 스피치 정보가 수신되지 않은 경우, 방법(500)은 단계(536)로 진행한다.
블록(536)에서, 프로세서(110)는 인식된 스피치 정보 및 커맨드와 연관된 기능을 실행한다. 예를 들어, 스피치 정보가 "집으로 호출하라"를 포함하고 연락처와 연관된 전화 번호를 다이얼링하기 위해 결정된 커맨드가 "집"을 호출하였다면, 프로세서는 "집"과 연관된 번호를 다이얼링하기 위해 다이얼링 기능을 실행한다. 기능이 시작된 후에, 방법은 기능이 완료되었는지 여부에 기초하여 루프에 대한 테스트 조건인 블록(540)으로 진행한다.
블록(540)에서, 프로세서(110)는 기능이 완료되었는지 여부를 결정한다. 기능이 완료되지 않았다면, 방법은 단계(542)로 진행하여 기능이 여전히 실행중임을 표시하기 위해 햅틱 효과를 출력한다. 그러나, 기능이 완료되었다면, 방법은 단계(550)로 진행하고, 기능이 완료되었음을 표시하기 위해 다른 햅틱 효과가 출력된다.
블록들(542 내지 546)은 기능이 여전히 실행중임을 표시하기 위해 햅틱 효과를 출력하는 단계들이다. 블록(542)에서, 프로세서(110)는 기능이 여전히 실행중임을 표시하는 햅틱 효과에 대응하는 액추에이터 신호를 발생한다. 일 실시예에서, 프로세서(110)는 햅틱 효과가 몇번 출력되었는지에 상관없이 동일한 액추에이터 신호를 발생할 수 있다. 예를 들어, 기능이 완료하는 데 10분을 요구하고 30초마다 햅틱 효과가 출력되는 경우, 프로세서는 햅틱 효과가 출력될 때마다 동일한 액추에이터 신호를 발생할 수 있다. 따라서, 사용자는 약 30초마다 동일한 햅틱 효과를 느낄 수 있다. 그러나, 일부 실시예들에서, 상이한 햅틱 효과들이 기능의 상태에 따라 출력될 수 있다. 예를 들어, 일 실시예에서, 프로세서(110)는 방법이 블록(542)으로 리턴할 때마다 상이한 액추에이터 신호들을 발생할 수 있다. 이러한 실시예에서, 프로세서(110)는 블록들(542-546)을 통해 각각의 반복에 대해 점차 더 강한 햅틱 효과들을 발생하도록 액추에이터 신호들을 발생할 수 있다. 일 실시예에서, 프로세서(110)는 기능이 여전히 실행중이지만, 에러가 생긴 경우, 상이한 액추에이터 신호를 발생할 수 있다. 이러한 실시예에서, 프로세서(110)는 기능에 에러가 생겼음을 표시하는 햅틱 효과와 연관된 액추에이터 신호를 발생할 수 있다.
블록(542)에서 액추에이터 신호를 발생한 후에, 블록(544)에서 프로세서(110)는 액추에이터가 햅틱 효과를 출력하게 하도록 액추에이터(130)에 액추에이터 신호를 전송한다. 일부 실시예들에서, 프로세서는 액추에이터를 포함하는 다른 디바이스에 액추에이터 신호를 전송할 수 있다. 예를 들어, 도 2에 도시된 시스템에서, 프로세서(160)는 프로세서(110)에 액추에이터 신호를 전송할 수 있다. 프로세서(110)는 그 다음에 액추에이터(130)에 액추에이터 신호를 전송할 수 있다. 전술한 바와 같이, 프로세서(160)는 프로세서(110)에 고레벨 액추에이터 신호를 전송할 수 있고, 그 다음에 프로세서(110)는 프로세서(110)가 그 다음에 액추에이터(130)에 전송하는 저레벨 액추에이터 신호를 발생할 수 있다. 액추에이터 신호가 전송된 후에, 방법은 블록(546)으로 진행한다.
블록(546)에서, 방법은 블록(540)으로 리턴하기 전에 시간 기간 동안 지연시킨다. 지연은 햅틱 효과들 사이를 지나가기 위한 시간을 허용하는 데 유리할 수 있다. 예를 들어, 지연은 사용자의 정신을 산란하게 할 수 있는, 사용자가 매우 짧은 기간에 대해 반복적으로 햅틱 효과들을 느끼고 있지 않도록, 30초마다 한번 햅틱 효과들이 출력될 수 있게 할 수 있다. 그러나, 일부 실시예들에서, 지연 시간은 0으로 설정될 수 있고, 이것은 햅틱 효과들이 필요할 때 출력될 수 있게 할 수 있다. 지연이 경과한 후에, 방법은 블록(540)으로 리턴한다.
기능이 완료된 후에, 방법은 블록(550)으로 진행하고, 이때에 프로세서(110)는 기능이 완료되었음을 표시하는 햅틱 효과에 대응하는 액추에이터 신호를 발생한다. 예를 들어, 일 실시예에서, 프로세서(110)는 기능이 성공적으로 완료되었음을 표시하는 햅틱 효과에 대응하는 액추에이터 신호를 발생할 수 있다. 대안적으로, 프로세서(110)는 기능이 완료되기 전에 에러가 생겨서 종료되었음을 표시하는 햅틱 효과에 대응하는 액추에이터 신호를 발생할 수 있다. 액추에이터 신호가 발생된 후에, 방법은 블록(552)으로 진행하고, 프로세서(110)는 액추에이터(130)가 햅틱 효과를 출력하게 하도록 액추에이터(130)에 액추에이터 신호를 전송한다. 이 후에, 방법은 블록(510)으로 리턴하고, 프로세서(110)는 추가 스피치 정보의 수신을 시도한다.
이제 도 6을 참조하면, 도 6은 본 발명의 실시예들에 따른 커맨드들의 햅틱 확인을 위한 시스템(600)의 블록도를 도시한다. 시스템(600)은 하우징(605)을 갖는 디바이스(610)를 포함한다. 디바이스(610)는 프로세서(620), 메모리(625), 액추에이터(630), 및 센서(640)를 더 포함한다. 프로세서(620), 메모리(625), 액추에이터(630), 및 센서는 각각 하우징(605) 내에 배치되거나, 또는 그에 결합된다. 프로세서(620)는 메모리(625), 액추에이터(630), 및 센서(640) 각각과 통신한다. 프로세서는 또한 디스플레이(650)와 통신하며, 이것은 하우징에 결합되거나, 하우징 내에 배치되거나, 별개의 디바이스일 수 있다. 디바이스(610)는 센서로부터 수신된 센서 신호들에 기초하여 커맨드들을 수신하고 수신된 센서 신호들에 기초하여 햅틱 효과들을 출력하도록 구성된다.
일 실시예에서, 디바이스(610)는 사용자가 지니거나 착용할 수 있고, 센서(640)는 사용자의 눈이 보고 있는 장소를 검출하도록 구성되는 광학적 센서를 포함할 수 있다. 예를 들어, 디스플레이(650)는 디스플레이가 통합된 고글들과 같이, 사용자에 의해 착용되는 디스플레이를 포함할 수 있다. 프로세서(620)는 디스플레이(650)로 하여금, 차량(예를 들어, 휠체어)을 제어하기 위한 커맨드들 또는 군인에게의 지시와 같이 다른 사람에게 전송하기 위한 커맨드들과 같은, 커맨드들에 대응하는 텍스트 또는 이미지들을 디스플레이하게 할 수 있다. 커맨드를 발행하기 위해서, 사용자는 원하는 커맨드를 살필 수 있다(look at). 센서(640)는 사용자의 눈이 보고 있는 배향(orientation)을 검출하고 프로세서(620)에 센서 신호를 전송한다. 프로세서(620)는 배향과 연관된 커맨드를 결정하고 액추에이터가 햅틱 효과를 출력하게 하도록 액추에이터 신호를 발생한다. 프로세서(620)는 그 다음에 액추에이터(630)에 액추에이터 신호를 전송한다. 다른 실시예에서, 디바이스(610)는 도 4에 도시된 네트워크 인터페이스(315)와 같은 네트워크 인터페이스를 더 포함한다. 이러한 실시예에서, 프로세서(620)는 네트워크(480)를 통해, 도 4에 도시된 디바이스(412)와 같은 제2 디바이스로부터 커맨드를 수신할 수 있다. 디바이스(610)는 커맨드가 수신되었음을 표시하기 위해 사용자에게 햅틱 효과를 출력할 수 있고 커맨드에 대한 가능한 응답들을 디스플레이(650)에 디스플레이할 수 있다. 디바이스(610)의 사용자는 네트워크를 통해 제2 디바이스(412)에 전송하기 위해 이용가능한 응답들로부터 응답을 선택할 수 있다. 이러한 실시예는 음성 커맨드들 또는 응답들이 바람직하지 않을 수 있는 은밀한 군사 작전에 유용할 수 있다.
관련 실시예에서, 선택된 응답은 복수의 수신인에게 전송될 수 있다. 예를 들어, 군인 분대와 같은 군부대는 커맨드 센터와 통신할 수 있고 수신된 보이스 커맨드들에 대한 햅틱 응답들을 제공할 수 있다. 이러한 실시예에서, 커맨드 센터는 분대의 군인들 각각에 보이스 또는 햅틱 커맨드들을 전송할 수 있고 각각의 군인으로부터 응답들 또는 긍정응답들을 수신할 수 있다. 추가 실시예는 군인들 각각으로부터 응답들을 수신하기 위해 복수의 커맨드 센터를 포함할 수 있다. 예를 들어, 분대의 지휘관은 분대의 작전 근처의 베이스 캠프에 있을 수 있거나, 또는 작전의 특성으로 인해 분대와 있지만 격리될 수 있다. 또한, 다른 장소들은 선상 또는 다른 군사 시설과 같이, 다른 장소로부터 분대의 활동을 감시할 수 있다. 이러한 실시예에서, 다른 장소들 각각은 분대로부터의 햅틱 커맨드들 및 확인들을 포함하는, 분대로 및 그로부터 통신들을 수신할 수 있다.
다시 도 6을 참조하면, 본 발명의 일 실시예는 발행된 커맨드 또는 실행된 기능을 에뮬레이트하는 햅틱 효과들을 출력할 수 있다. 예를 들어, 일 실시예에서, 디바이스(610)는 휠체어와 같은 차량을 제어하도록 구성될 수 있다. 이러한 실시예에서, 차량에 발행된 커맨드들을 에뮬레이트하는 햅틱 효과들을 제공하는 것이 유리할 수 있다. 예를 들어, 사용자가 차량을 우측으로 회전하라는 커맨드를 선택한 경우, 프로세서(620)는 우측 회전을 에뮬레이트하는 햅틱 효과를 액추에이터가 출력하게 하도록 액추에이터 신호를 발생할 수 있다. 예를 들어, 휠체어 실시예에서, 액추에이터는 복수의 액추에이터를 포함할 수 있다. 액추에이터들은 그 다음에 휠체어의 등 부위의 중간에서 시작하여 우측으로 이동하는 진동을 출력할 수 있다. 예를 들어, 액추에이터들은 액추에이터들이 연속하여 활성화되도록, 휠체어의 등 부위에서 수평선을 따라 배치될 수 있다. 사용자는 따라서 그들의 등에 걸쳐서 우측으로 이동하는 진동을 인지할 수 있고, 그에 따라 커맨드가 인식되었음을 표시하는 피드백을 수신할 수 있다.
이제 도 7을 참조하면, 도 7은 본 발명의 일 실시예에 따른 커맨드들의 햅틱 확인을 위한 컴퓨터 구현 방법의 흐름도를 도시한다. 도 7은 도 6에 도시된 시스템(600)을 참조하여 설명될 것이다.
도 7에 도시된 실시예에서, 방법(700)은 프로세서(620)가 센서(640)로부터 센서 신호를 수신할 때 블록(710)에서 시작한다. 예를 들어, 일 실시예에서 센서 신호는 디스플레이(650)와 같은 터치 민감 디스플레이 상의 위치를 터치하는 사용자에 대응할 수 있다. 다른 실시예에서, 센서 신호는 사용자의 눈의 배향에 대응할 수 있다. 센서 신호를 수신한 후에, 방법(700)은 블록(720)으로 진행한다.
블록(720)에서, 프로세서(620)는 수신된 센서 신호에 대응하는 커맨드의 식별을 시도한다. 예를 들어, 프로세서(620)는 버튼 또는 터치 민감 디스플레이 스크린 상의 감지된 위치에 대응하는 위치에 있는 사용자 인터페이스 요소를 식별할 수 있다. 프로세서(620)가 센서 신호 내의 수신된 정보에 대응하는 커맨드를 결정하면, 방법(700)은 블록(730)으로 진행한다. 그렇지 않으면, 방법(700)은 블록(722)으로 진행한다.
방법이 블록(722)으로 진행하면, 프로세서(620)는 센서로부터 수신된 입력에 기초하여 커맨드가 인식되지 않았음을 표시하도록 구성되는 햅틱 효과에 대응하는 액추에이터 신호를 발생한다. 액추에이터 신호를 발생한 후에, 방법은 프로세서가 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 액추에이터(630)에 액추에이터 신호를 전송할 때 단계(724)로 진행한다.
방법이 블록(730)으로 진행하면, 프로세서(620)는 센서로부터 수신된 입력에 기초하여 커맨드가 인식되었음을 표시하도록 구성되는 햅틱 효과에 대응하는 액추에이터 신호를 발생한다. 액추에이터 신호를 발생한 후에, 방법은 프로세서가 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 액추에이터(630)에 액추에이터 신호를 전송할 때 단계(750)로 진행한다. 햅틱 효과를 출력한 후에, 방법은 블록(750)으로 진행하고, 프로세서(610)는 커맨드와 연관된 기능을 실행하며, 일부 실시예들에서는, 프로세서(610)는 액추에이터 신호를 발생하기 전에 또는 액추에이터에 액추에이터 신호를 전송하기 전에 기능을 실행하기 시작할 수 있다.
본원의 방법들 및 시스템들은 다양한 기계에서 실행되는 소프트웨어에 관하여 설명되지만, 방법들 및 시스템들은 또한 특정하게 다양한 방법을 실행하기 위한 FPGA(field-programmable gate array)와 같은, 특정하게 구성된 하드웨어(specifically-configured hardware)로서 구현될 수 있다. 예를 들어, 다시 도 1-4 및 6을 참조하면, 실시예들은 디지털 전자 회로에, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어에, 또는 그것들의 결합에 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 RAM(random access memory)과 같은 컴퓨터 판독 가능한 매체를 포함한다. 프로세서는 이미지를 편집하기 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능한 프로그램 명령어들을 실행한다. 이러한 프로세서들은 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array), 및 상태 머신들(state machines)을 포함할 수 있다. 이러한 프로세서들은 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전자적으로 프로그램 가능한 판독 전용 메모리(EPROM 또는 EEPROM), 또는 다른 유사한 디바이스들과 같은 프로그램 가능한 전자 디바이스들을 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 실행 또는 어시스트되는 바와 같이 본원에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어, 컴퓨터 판독 가능한 매체를 포함할 수 있거나, 또는 그와 통신할 수 있다. 컴퓨터 판독 가능한 매체의 실시예들은 웹 서버의 프로세서와 같은 프로세서에 컴퓨터 판독 가능한 명령어들을 제공할 수 있는 전자, 광학, 자기, 또는 다른 저장 디바이스를 포함할 수 있지만, 이것으로 한정되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성 프로세서(configured processor), 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이것으로 한정되지 않는다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조로 될 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본원에 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.
일반
발명의 일부 실시예들에 대한 전술한 설명은 오직 예시 및 설명의 목적으로 제시되었고, 발명을 개시된 정확한 형태로 한정하거나 망라하는 것으로 의도되지 않는다. 그의 다수의 수정들 및 적응들은 발명의 사상 및 범위에서 벗어나지 않고 이 기술분야의 통상의 기술자에게 명백할 것이다.
본원에서 "일 실시예" 또는 "실시예"에 대한 지칭은, 그 실시예와 관련하여 설명되는 특정 특징, 구조, 동작, 또는 다른 특성이 발명의 적어도 하나의 구현에 포함될 수 있다는 것을 의미한다. 발명은 이와 같이 설명된 특정 실시예로 제한되지 않는다. 명세서의 다양한 곳에서의 "일 실시예에서" 또는 "실시예에서"라는 구절의 출현은 반드시 동일한 실시예를 지칭하지는 않는다. "일 실시예"와 관련하여 이 명세서에 설명된 임의의 특정 특징, 구조, 동작, 또는 다른 특성은 임의의 다른 실시예의 양태에서 설명된 다른 특징들, 구조들, 동작들, 또는 다른 특성들과 결합될 수 있다.

Claims (20)

  1. 커맨드(command)의 수신을 확인(confirm)하기 위해 햅틱 효과들을 발생하기 위한 시스템으로서,
    센서;
    사용자에 의해 콘택(contact)되도록 구성되는 하우징;
    상기 하우징에 햅틱 효과를 출력하도록 구성되는 액추에이터(actuator); 및
    상기 센서 및 상기 액추에이터와 통신하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 센서로부터 사용자 입력과 연관된 센서 신호를 수신하고,
    상기 사용자 입력을 인식하고 상기 사용자 입력과 연관된 커맨드를 결정하고,
    상기 사용자 입력이 인식되고 상기 커맨드가 결정되면:
    상기 액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생하고,
    상기 제1 액추에이터 신호를 상기 액추에이터에 전송하고,
    그렇지 않으면:
    상기 액추에이터가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생하고,
    상기 제2 액추에이터 신호를 상기 액추에이터에 전송하도록 구성되는 햅틱 효과 발생 시스템.
  2. 제1항에 있어서,
    상기 센서는 광학적 센서를 포함하는, 햅틱 효과 발생 시스템.
  3. 제2항에 있어서,
    상기 사용자 입력은 사용자 눈의 초점(focal point)을 포함하는, 햅틱 효과 발생 시스템.
  4. 제1항에 있어서,
    상기 프로세서는 또한, 상기 사용자 입력이 인식되고 상기 커맨드가 결정되면:
    상기 사용자 입력과 연관된 기능을 실행하고,
    상기 액추에이터가 제3 햅틱 효과를 출력하게 하도록 구성되는 제3 액추에이터 신호를 발생하고,
    상기 기능의 실행 완료시 상기 제3 액추에이터 신호를 상기 액추에이터에 전송하도록 구성되는, 햅틱 효과 발생 시스템.
  5. 제4항에 있어서,
    상기 제3 햅틱 효과는 상기 기능을 에뮬레이트(emulate)하도록 구성되는, 햅틱 효과 발생 시스템.
  6. 제1항에 있어서,
    상기 프로세서와 통신하는 스피커를 더 포함하고, 상기 프로세서는,
    상기 스피커가 사운드를 출력하게 하도록 구성되는 오디오 신호를 발생하고,
    상기 오디오 신호를 상기 스피커에 전송하도록 더 구성되는, 햅틱 효과 발생 시스템.
  7. 제1항에 있어서,
    상기 프로세서와 통신하는 디스플레이를 더 포함하고, 상기 프로세서는,
    상기 디스플레이가 이미지를 디스플레이하게 하도록 구성되는 디스플레이 신호를 발생하고,
    상기 디스플레이 신호를 상기 디스플레이에 전송하도록 더 구성되는, 햅틱 효과 발생 시스템.
  8. 제1항에 있어서,
    상기 제1 햅틱 효과는 상기 커맨드를 에뮬레이트하도록 구성되는, 햅틱 효과 발생 시스템.
  9. 제1항에 있어서,
    상기 센서, 액추에이터, 및 프로세서는 상기 하우징 내에 배치되는, 햅틱 효과 발생 시스템.
  10. 제1항에 있어서,
    상기 하우징은 사용자에 의해 착용되도록 구성되는 디바이스, 휴대 전화, 퍼스널 디지털 어시스턴트(personal digital assistant), 터치 민감 표면(touch-sensitive surface), 의료 경보 디바이스, 마우스, 또는 키보드 중 하나를 포함하는, 햅틱 효과 발생 시스템.
  11. 제1항에 있어서,
    상기 사용자 입력은 의학적 응급상황의 표시를 포함하는, 햅틱 효과 발생 시스템.
  12. 제1항에 있어서,
    상기 커맨드는 작전(operation)과 연관되는 요청이고, 상기 제1 햅틱 효과는 상기 작전의 상태에 연관되는 정보를 제공하도록 구성되는, 햅틱 효과 발생 시스템.
  13. 컴퓨터 구현 방법으로서,
    센서로부터 사용자 입력과 연관된 센서 신호를 수신하는 단계;
    상기 사용자 입력을 인식하고 상기 사용자 입력과 연관된 커맨드를 결정하는 단계;
    상기 사용자 입력이 인식되고 상기 커맨드가 결정되면:
    액추에이터가 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 액추에이터 신호를 발생하는 단계; 및
    상기 제1 액추에이터 신호를 상기 액추에이터에 전송하는 단계;
    그렇지 않으면:
    상기 액추에이터가 제2 햅틱 효과를 출력하게 하도록 구성되는 제2 액추에이터 신호를 발생하는 단계;
    상기 제2 액추에이터 신호를 상기 액추에이터에 전송하는 단계
    를 포함하는 컴퓨터 구현 방법.
  14. 제13항에 있어서,
    상기 센서는 광학적 센서를 포함하는, 컴퓨터 구현 방법.
  15. 제14항에 있어서,
    상기 사용자 입력은 사용자 눈의 초점(focal point)을 포함하는, 컴퓨터 구현 방법.
  16. 제13항에 있어서,
    상기 사용자 입력이 인식되고 상기 커맨드가 결정되면:
    상기 커맨드와 연관된 기능을 실행하고,
    상기 액추에이터가 제3 햅틱 효과를 출력하게 하도록 구성되는 제3 액추에이터 신호를 발생하고,
    상기 기능의 실행 완료시 상기 제3 액추에이터 신호를 상기 액추에이터에 전송하는, 컴퓨터 구현 방법.
  17. 제16항에 있어서,
    상기 제3 햅틱 효과는 상기 기능을 에뮬레이트하도록 구성되는, 컴퓨터 구현 방법.
  18. 제13항에 있어서,
    스피커가 사운드를 출력하게 하도록 구성되는 오디오 신호를 발생하는 단계;
    상기 오디오 신호를 상기 스피커에 전송하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  19. 제13항에 있어서,
    디스플레이가 이미지를 디스플레이하게 하도록 구성되는 디스플레이 신호를 발생하는 단계; 및
    상기 디스플레이 신호를 상기 디스플레이에 전송하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  20. 제13항에 있어서,
    상기 제1 햅틱 효과는 상기 커맨드를 에뮬레이트하도록 구성되는, 컴퓨터 구현 방법.
KR1020167034392A 2009-11-04 2010-11-01 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들 KR101792583B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/612,230 US8279052B2 (en) 2009-11-04 2009-11-04 Systems and methods for haptic confirmation of commands
US12/612,230 2009-11-04
PCT/US2010/054967 WO2011056752A1 (en) 2009-11-04 2010-11-01 Systems and methods for haptic confirmation of commands

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127014416A Division KR20120102678A (ko) 2009-11-04 2010-11-01 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들

Publications (2)

Publication Number Publication Date
KR20160145844A true KR20160145844A (ko) 2016-12-20
KR101792583B1 KR101792583B1 (ko) 2017-11-02

Family

ID=43502849

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127014416A KR20120102678A (ko) 2009-11-04 2010-11-01 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들
KR1020167034392A KR101792583B1 (ko) 2009-11-04 2010-11-01 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127014416A KR20120102678A (ko) 2009-11-04 2010-11-01 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (3) US8279052B2 (ko)
EP (1) EP2497004B1 (ko)
JP (2) JP5666611B2 (ko)
KR (2) KR20120102678A (ko)
CN (2) CN105278682B (ko)
WO (1) WO2011056752A1 (ko)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US8949958B1 (en) * 2011-08-25 2015-02-03 Amazon Technologies, Inc. Authentication using media fingerprinting
KR20130027665A (ko) * 2011-09-08 2013-03-18 삼성전자주식회사 휴대단말기의 홈 네트워크 서비스 제어장치 및 방법
WO2013057769A1 (ja) * 2011-10-20 2013-04-25 富士通株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9063570B2 (en) 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US8896524B2 (en) 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9805721B1 (en) * 2012-09-21 2017-10-31 Amazon Technologies, Inc. Signaling voice-controlled devices
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US10373615B2 (en) 2012-10-30 2019-08-06 Google Technology Holdings LLC Voice control user interface during low power mode
US9584642B2 (en) 2013-03-12 2017-02-28 Google Technology Holdings LLC Apparatus with adaptive acoustic echo control for speakerphone mode
US10381001B2 (en) 2012-10-30 2019-08-13 Google Technology Holdings LLC Voice control user interface during low-power mode
US10304465B2 (en) 2012-10-30 2019-05-28 Google Technology Holdings LLC Voice control user interface for low power mode
US9030446B2 (en) * 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
CN103051781A (zh) * 2012-12-07 2013-04-17 百度在线网络技术（北京）有限公司 语音后台控制方法及移动终端
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9196262B2 (en) * 2013-03-14 2015-11-24 Qualcomm Incorporated User sensing system and method for low power voice command activation in wireless communication systems
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10157618B2 (en) * 2013-05-02 2018-12-18 Xappmedia, Inc. Device, system, method, and computer-readable medium for providing interactive advertising
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101370770B1 (ko) * 2013-07-10 2014-03-06 주식회사 바이오스페이스 어플리케이션 다운로드 방법 및 시스템
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US11044248B2 (en) 2013-09-13 2021-06-22 Symbol Technologies, Llc Method and device for facilitating mutual authentication between a server and a user using haptic feedback
US20150084735A1 (en) * 2013-09-25 2015-03-26 Lenovo (Singapore) Pte. Ltd. Wearable information handling device outputs
US8768712B1 (en) 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
FR3015108B1 (fr) * 2013-12-13 2019-05-31 Dav Controle d'actionneurs d'une surface de commande sensitive a retour haptique
FR3015383B1 (fr) * 2013-12-19 2017-01-13 Dav Dispositif de controle pour vehicule automobile et procede de commande
US20150278737A1 (en) * 2013-12-30 2015-10-01 Google Inc. Automatic Calendar Event Generation with Structured Data from Free-Form Speech
US9288572B2 (en) 2014-01-09 2016-03-15 International Business Machines Corporation Haptic microphone
CN104777894A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
KR101920131B1 (ko) * 2014-02-24 2018-11-19 소니 주식회사 전력 소비 및 네트워크 부하 최적화를 갖춘 스마트 착용형 디바이스들 및 방법들
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US10613627B2 (en) 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016024212A (ja) * 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US20160132642A1 (en) * 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
DE102015100313B3 (de) * 2015-01-12 2016-05-04 Visteon Global Technologies Inc. Anordnung und Verfahren zur drahtlosen Verbindung von Vorrichtungen
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10219062B2 (en) * 2015-06-05 2019-02-26 Apple Inc. Wireless audio output devices
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9978366B2 (en) 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10319371B2 (en) * 2016-05-04 2019-06-11 GM Global Technology Operations LLC Disambiguation of vehicle speech commands
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK180050B1 (en) * 2016-09-06 2020-02-04 Apple Inc. Devices, methods and graphical user interfaces for generating tactile outputs
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10255825B2 (en) * 2017-04-17 2019-04-09 Facebook, Inc. Calibration of haptic device using sensor harness
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
KR101934954B1 (ko) * 2017-05-24 2019-01-03 네이버 주식회사 음성요청에 대응하는 정보 전달 향상을 위한 출력
US10477298B2 (en) * 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
EP3752910A4 (en) 2018-05-25 2021-04-14 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING AN INTELLIGENT RESPONSE
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
JP2020053797A (ja) * 2018-09-26 2020-04-02 株式会社デンソー 着信案内装置
KR102685493B1 (ko) * 2019-04-29 2024-07-17 삼성전자주식회사 사운드를 출력하는 액추에이터를 포함하는 전자 장치와 이의 동작 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US11358054B2 (en) * 2020-02-18 2022-06-14 Electronic Arts Inc. Systems and methods for transcribing user interface elements of a game application into haptic feedback
US11627417B2 (en) * 2020-03-26 2023-04-11 Expensify, Inc. Voice interactive system
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
WO2022080538A1 (ko) * 2020-10-16 2022-04-21 엘지전자 주식회사 이동 단말기
US11977683B2 (en) * 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN113971954B (zh) * 2021-12-23 2022-07-12 广州小鹏汽车科技有限公司 语音交互方法及装置、车辆及存储介质
US20240168555A1 (en) * 2022-11-16 2024-05-23 Msg Entertainment Group, Llc Portable haptic systems for use within a venue

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2009A (en) * 1841-03-18 Improvement in machines for boring war-rockets
US8028A (en) * 1851-04-08 Hokse-poweb
US2010A (en) * 1841-03-18 Machine foe
US3736551A (en) * 1970-11-16 1973-05-29 Us Navy Swimmers tactile command navigation apparatus
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
DE19538894A1 (de) * 1995-10-19 1997-04-24 Philips Patentverwaltung Navigationssystem für ein Fahrzeug
DE19608869C2 (de) * 1996-03-07 1998-03-26 Daimler Benz Ag Bediensystem, insbesondere für Komponenten in einem Kraftfahrzeug
WO1999005583A2 (en) 1997-07-21 1999-02-04 Koninklijke Philips Electronics N.V. Information processing system
US6505159B1 (en) 1998-03-03 2003-01-07 Microsoft Corporation Apparatus and method for providing speech input to a speech recognition system
JP4135316B2 (ja) * 2000-12-15 2008-08-20 ブラザー工業株式会社 機械翻訳装置
US6912399B2 (en) * 2001-01-22 2005-06-28 Royal Thoughts, Llc Cellular telephone with programmable authorized telephone number
US20020107695A1 (en) * 2001-02-08 2002-08-08 Roth Daniel L. Feedback for unrecognized speech
US8803795B2 (en) 2002-12-08 2014-08-12 Immersion Corporation Haptic communication devices
CN1802694A (zh) * 2003-05-08 2006-07-12 语音信号科技公司 信噪比中介的语音识别算法
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
GB2409257A (en) * 2003-12-17 2005-06-22 Timothy Guy Carpenter Alphanumeric or command input using an actuator held by detents and a resiliently biased follower
JP2006065507A (ja) * 2004-08-25 2006-03-09 Sony Corp 振動伝達機構、振動波形データ作成方法、触覚機能付き入力装置及び電子機器
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
CN101677762B (zh) * 2008-02-28 2012-08-22 松下电器产业株式会社 视线检测装置以及视线检测方法
US9317116B2 (en) * 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands

Also Published As

Publication number Publication date
US20140039900A1 (en) 2014-02-06
JP5666611B2 (ja) 2015-02-12
US20110102161A1 (en) 2011-05-05
KR101792583B1 (ko) 2017-11-02
US9318006B2 (en) 2016-04-19
CN105278682A (zh) 2016-01-27
JP2013510350A (ja) 2013-03-21
JP2015092366A (ja) 2015-05-14
EP2497004A1 (en) 2012-09-12
US8279052B2 (en) 2012-10-02
US8581710B2 (en) 2013-11-12
US20130088340A1 (en) 2013-04-11
CN102597915A (zh) 2012-07-18
JP5977325B2 (ja) 2016-08-24
EP2497004B1 (en) 2019-10-09
CN102597915B (zh) 2015-11-25
KR20120102678A (ko) 2012-09-18
WO2011056752A1 (en) 2011-05-12
CN105278682B (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
KR101792583B1 (ko) 커맨드들의 햅틱 확인을 위한 시스템들 및 방법들
JP6510484B2 (ja) 音声／テキスト変換の触覚による拡張を目的とするシステムと方法
US9509829B2 (en) Urgent communications
CN105009556A (zh) 用于交互式远程通信中的增强响应的意图引擎
US20080161065A1 (en) Mobile communication terminal for providing tactile interface
JP5078310B2 (ja) 安否確認システム、携帯端末、安否確認方法、および安否確認プログラム
CN105376414B (zh) 一种提醒用户的方法及装置
US20090170567A1 (en) Hands-free communication
CN105978783A (zh) 一种基于即时通讯软件的语音控制方法
CN113727318B (zh) 耳机通信方法、耳机设备及计算机可读存储介质
WO2011087175A1 (ko) 모바일 단말의 시간 설정을 통한 자가 호출 및 긴급 신고 방법, 그 시스템 및 이를 기록한 기록매체
US9338624B2 (en) Cellular telephone and computer program comprising means for generating and sending an alarm message
US20060145843A1 (en) Method and system for environment detection
EP2150035A1 (en) Method for communicating, a related system for communicating and a related transforming part
US20240114298A1 (en) System for operating a hearing device
CN118474650A (zh) 用于运行助听设备的方法和带有这种助听设备的助听系统
JP5977597B2 (ja) 情報処理装置、通信システム、通信方法、およびプログラム
US20080160978A1 (en) Apparatus, Method, And Computer Program Product For Outputting Data
WO2020142041A1 (en) A system for triggering voice messaging in instant messaging applications
KR20120051503A (ko) 통화 종료 메시지 전송 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant