KR20170056023A - 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 - Google Patents

음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20170056023A
KR20170056023A KR1020177012443A KR20177012443A KR20170056023A KR 20170056023 A KR20170056023 A KR 20170056023A KR 1020177012443 A KR1020177012443 A KR 1020177012443A KR 20177012443 A KR20177012443 A KR 20177012443A KR 20170056023 A KR20170056023 A KR 20170056023A
Authority
KR
South Korea
Prior art keywords
actuator
signal
haptic effect
processor
characteristic
Prior art date
Application number
KR1020177012443A
Other languages
English (en)
Other versions
KR101860281B1 (ko
Inventor
로버트 더블유. 휴벨
에린 람세이
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170056023A publication Critical patent/KR20170056023A/ko
Application granted granted Critical
Publication of KR101860281B1 publication Critical patent/KR101860281B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G10L15/265—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

사용자 인터페이스에서 음성-대-텍스트 햅틱 증대를 제공하기 위한 시스템들 및 방법이 개시된다. 예를 들어, 가청 스피치 정보를 햅틱 효과로 변환하기 위한 하나의 개시된 시스템은 마이크로폰 및 마이크로폰과 통신하는 프로세서를 포함하고, 프로세서는 마이크로폰으로부터 음성과 연관된 오디오 신호를 수신하고, 오디오 신호의 특성을 결정하고, 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하도록 구성되고, 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성된다.

Description

음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR HAPTIC AUGMENTATION OF VOICE-TO-TEXT CONVERSION}
본 특허출원은 그 전체 내용이 여기에 참조로 통합되는, 2009년 10월 29일에 출원된 "Systems and Methods for Haptic Augmentation Of Voice-To-Text Conversion"이라는 명칭의 미국 실용신안 특허 출원 제12/608,707호의 우선권을 청구한다.
본 발명은 일반적으로 사용자 인터페이스들에 대한 시스템들 및 방법들에 관한 것이고, 더 구체적으로는 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들에 관한 것이다.
전자 디바이스들은 시각적 및 청각적 피드백을 포함하는 다양한 피드백을 사용자들에게 제공한다. 일부 디바이스들은 또한 햅틱 피드백 형태들을 사용자에게 제공한다. 햅틱 피드백은 일부 경우들에서 메시지 자체에서는 명백하지 않을 수 있는 정보를 메시지를 수신하는 사용자에게 제공할 수 있다. 예를 들어, 텍스트 메시지로 변환되는 음성 메시지는 메시지에서 표현되는 토픽에 관해 송신 사용자가 느끼는 감정의 레벨을 전달하거나, 메시지에 관한 다른 상황 정보를 전달하는 것에 실패할 수 있다. 사용자들은 종종 메시지에 공지된 심볼들(예를 들어, 이모티콘들)을 첨부하여 이러한 서브텍스트를 표현함으로써 이러한 간극(void)을 채우려고 한다. 그러나 이러한 심볼들은 이들이 전달할 수 있는 메시지들의 복잡도에서 제한된다. 반면, 햅틱 피드백은 이러한 서브텍스트를 더욱 강력한 방식으로 다른 사용자들에게 표현하기 위한 더욱 복잡하고 직접적인 방식을 제공할 수 있다.
본 발명은 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들을 포함한다. 예를 들어, 본 발명의 일 실시예는 마이크로폰으로부터 음성과 연관된 오디오 신호를 수신하는 단계, 오디오 신호의 특성을 결정하는 단계, 및 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하는 단계를 포함하는 컴퓨터 구현 방법을 포함한다. 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성된다. 또다른 실시예는 이러한 방법을 실행하기 위한 프로세서-실행가능한 프로그램 코드를 이용하여 인코딩되는 컴퓨터-판독가능한 매체를 포함한다.
이러한 예시적인 실시예들은 본 발명을 제한하거나 정의하는 것이 아니라, 본 발명의 이해를 보조하기 위한 예들을 제공하기 위해 언급된다. 예시적인 실시예들은 상세한 설명에서 논의되며, 본 발명의 추가적인 설명이 상세한 설명에 제공된다. 본 발명의 다양한 실시예들에 의해 제공되는 장점들은 본 명세서를 검토함으로써 추가로 이해될 수 있다.
본 발명의 이들 및 다른 특징들, 양상들 및 장점들은 후속하는 상세한 설명이 첨부 도면들을 참조하여 판독되는 경우 더욱 잘 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 예시의 도면이다.
도 3은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
본 발명의 실시예들은 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들을 제공한다.
음성-대-텍스트 변환의 햅틱 증대를 위한 예시적인 시스템
본 발명의 일 예시적인 실시예에서, 모바일 전화는 프로세서 및 프로세서와 통신하는 마이크로폰 및 스피커를 포함한다. 모바일 전화는 또한 프로세서와 통신하는 액추에이터를 포함한다. 액추에이터는 모바일 전화의 사용자에 의해 느껴질 수 있는 햅틱 효과들을 출력할 수 있다. 사용자는, 프로세서가 이후 텍스트 메시지들로 변환할 음성 메시지들을 레코딩하기 위해 전화를 사용할 수 있다. 추가로, 프로세서는 메시지의 특성들을 결정하기 위해 음성 메시지를 분석하도록 구성된다.
예를 들어, 한가지 이러한 실시예에서, 사용자의 음성 메시지의 주파수, 진폭 및 지속기간이 분석되며, 프로세서는 각각의 이들 파라미터들에 대응하는 햅틱 효과를 결정한다. 이후, 프로세서는 햅틱 효과 또는 효과들을 메시지의 텍스트 버전과 연관시키고, 메시지를 의도된 수신자에게 전송한다. 제2 실시예에서, 사용자의 바이오리듬이 분석되며, 프로세서는 사용자의 바이오리듬 응답에 대응하는 햅틱 효과를 결정한다. 이후, 위에서와 같이, 프로세서는 햅틱 효과 또는 효과들을 메시지의 텍스트 버전과 연관시키고, 메시지를 의도된 수신자에게 전송한다. 음성 분석 및 바이오리듬이 프로세서에 의해 동시에 수행되어 의도된 수신자에게 전송될 햅틱 효과의 결정에 도달할 수 있다는 점이 추가로 참작된다.
예시적인 실시예에서, 수신자는 또한 ERM(eccentric rotating mass) 모터와 같은 햅틱 효과들을 출력하기 위한 액추에이터를 포함하는 모바일 디바이스를 가진다. 수신자가 메시지를 개봉하는 경우, 메시지와 연관된 햅틱 효과 또는 효과들이 모바일 디바이스를 통해 수신자에게 출력된다.
예를 들어, 제1 사용자는 소리침으로써 메시지를 생성할 수 있다. 프로세서가 음성 메시지를 분석하는 경우, 프로세서는 결과적인 텍스트 메시지를 높은 진폭의 햅틱 효과와 연관시키고, 따라서, 수신 사용자는 메시지에 포함된 감정을 "느낄 수" 있다. 또다른 예에서, 사용자가 높은 피치의 음성으로 말하면서 음성 메시지를 생성하는 경우, 프로세서는 높은 주파수의 햅틱 효과를 결과적인 텍스트 메시지와 연관시킨다.
이들 예시적인 예들은 여기서 논의되는 일반적인 주제에 대해 독자에게 소개하기 위해 주어진다. 본 발명은 이들 예들에 제한되지 않는다. 후속하는 섹션들은 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들의 예들 및 다양한 추가적인 실시예들을 기술한다.
스피치-대-텍스트 증대를 위한 예시적인 시스템들
몇몇 도면들에 걸쳐 동일한 번호들이 동일한 엘리먼트들을 표시하는 도면들을 이제 참조하면, 도 1은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도를 도시한다. 도 1에 도시된 바와 같이, 시스템은 모바일 디바이스(100)를 포함한다. 일 실시예에서, 모바일 디바이스(100)는 모바일 전화를 포함한다. 다른 실시예들에서, 모바일 디바이스(100)는 또다른 휴대용 또는 핸드-헬드 전자 디바이스, 예를 들어, 개인 디지털 정보 단말(PDA), 휴대용 미디어 플레이어, 휴대용 게임 디바이스, 또는 랩톱 컴퓨터를 포함할 수 있다. 일부 실시예들에서, 모바일 디바이스(100)는 대신, 비-휴대용 전자 디바이스, 예를 들어, 데스크톱 컴퓨터를 포함할 수 있다.
도 1에 도시된 실시예에서, 모바일 디바이스(100)는 마이크로폰(105)을 포함한다. 마이크로폰(105)은 사용자의 음성 또는 환경 사운드와 같은 오디오를 수신하고, 오디오를 마이크로폰으로부터의 오디오 신호에 적어도 부분적으로 기초하는 대응하는 입력 신호로 변환한다. 도 1에 도시된 실시예에서, 모바일 디바이스(100)는 또한 바이오센서(106)를 포함한다. 바이오센서(106)는 사용자의 바이오리듬과 같은 생체 정보를 수신하고, 생체 정보를 바이오센서 데이터에 적어도 부분적으로 기초하여 대응하는 입력 신호로 변환한다.
모바일 디바이스(100)는 또한 마이크로폰(105)과 통신하는 프로세서(110)를 포함한다. 도시된 실시예에서, 프로세서(110)는 마이크로폰(105)으로부터의 오디오 신호를 수신하고 오디오 신호를 프로세싱하도록 구성된다. 예를 들어, 프로세서(110)는 오디오 신호를 분석하여 오디오 신호의 하나 이상의 특성들을 결정할 수 있다. 다른 실시예들에서, 모바일 디바이스(100)는 일제히 작용하는 복수의 프로세서들을 포함할 수 있다. 이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA)들 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC, 프로그램가능 인터럽트 제어기(PIC), 프로그램가능 논리 디바이스(PLD), 프로그램가능 판독 전용 메모리(PROM), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM)와 같은 프로그램가능 전자 디바이스들, 또는 다른 유사한 디바이스들을 포함할 수 있다.
모바일 디바이스(100)는 프로세서(110)와 통신하는 액추에이터(115)를 포함한다. 액추에이터(115)는 다양한 타입들의 액추에이터들 중 하나 이상을 포함할 수 있다. 예를 들어, 액추에이터(115)는 압전 액추에이터, 전자 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전자-능동 폴리머, 솔레노이드, ERM(eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA)일 수 있다. 일 실시예에서, 모바일 디바이스(100)는 복수의 액추에이터들을 포함할 수 있다. 이러한 실시예에서, 프로세서(110)는 복수의 액추에이터들 중 적어도 하나에 햅틱 신호를 송신하도록 구성된다.
여전히 도 1을 참조하면, 모바일 디바이스(100)는 또한 컴퓨터-판독가능한 매체(120)를 포함한다. 컴퓨터-판독가능한 매체(120)는, 프로세서(110)에 의해 실행되는 경우, 프로세서로 하여금 여기서 개시된 방법들의 다양한 단계들을 실행하게 하는 프로그램 코드를 저장하기 위해 사용될 수 있다. 본 발명의 실시예들은 디지털 전자 회로에서, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이들의 조합들에서 구현될 수 있다. 랜덤 액세스 메모리(RAM)와 같은 컴퓨터-판독가능한 매체(120)는 프로세서(110)와 통신하거나 프로세서(110)에 커플링된다. 프로세서(110)는 예를 들어, 오디오 신호를 분석하기 위한 하나 이상의 컴퓨터 프로그램들을 실행시키는, 컴퓨터-판독가능한 매체(120) 상에 저장된 컴퓨터-실행가능한 프로그램 명령들을 실행한다.
컴퓨터-판독가능한 매체의 실시예들은, 컴퓨터-판독가능한 명령들을 모바일 디바이스(100) 내의 프로세서(110)와 같은 프로세서에 제공할 수 있는 전자, 광학, 자기 또는 다른 저장 디바이스를 포함할 수 있지만, 이에 제한되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 제한되지 않는다. 여기서 기술되는 프로세서 및 프로세싱은 하나 이상의 구조들일 수 있으며, 하나 이상의 구조들을 통해 분산될 수 있다.
도 1에 도시된 실시예에서, 모바일 디바이스(100)는 또한 프로세서(110)와 통신하는 스피커(125)를 포함한다. 스피커(125)는 음성 메시지와 같은 오디오 신호를 출력하도록 구성된다. 일 실시예에서, 스피커(125)는 또한 액추에이터(115)와 결합되어 오디오 신호 및 햅틱 효과 모두를 출력할 수 있다.
도시된 모바일 디바이스(100)는 또한 디스플레이(140)를 포함한다. 예를 들어, 모바일 디바이스(100)가 PDA인 실시예에서, 디스플레이(140)는 사용자에게 메시지들을 디스플레이하기 위한 터치-스크린 인터페이스를 포함할 수 있다.
모바일 디바이스(100)는 또한 프로세서(110)와 통신하는 네트워크 인터페이스(135)를 포함한다. 네트워크 인터페이스(135)는 모바일 디바이스(100)로 하여금 네트워크(150)를 통해 원격 디바이스(130)와 통신하게 한다. 예를 들어, 일 실시예에서, 모바일 디바이스(100)는 인터넷을 통해 또다른 모바일 디바이스와, 또는 컴퓨터 또는 다른 통신 디바이스와 통신할 수 있다.
도 1에 도시된 실시예에서, 네트워크 인터페이스(135)는 모바일 디바이스(100)로 하여금 하나 이상의 셀룰러 전화 네트워크들을 통해 통신하게 하도록 구성되는 셀룰러 라디오 및 베이스밴드 프로세서를 포함한다. 일부 실시예들에서, 네트워크 인터페이스(135)는 다른 통신 디바이스들을 포함할 수 있다. 예를 들어, 일 실시예에서, 네트워크 인터페이스(135)는 802.11 무선 이더넷 인터페이스 또는 블루투스 인터페이스를 포함할 수 있다. 일부 실시예들에서, 네트워크 인터페이스(220)는 이더넷 어댑터와 같은 유선 네트워크 인터페이스를 포함할 수 있다. 모바일 디바이스(100)는 다른 디바이스들에 메시지들 또는 신호들을 전송하도록 구성될 수 있다.
이제 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 예시이다. 도 2에 도시된 실시예에서, 모바일 전화(200)는 마이크로폰(205) 및 디스플레이(240)를 포함한다. 모바일 전화는 또한 프로세서, 액추에이터, 컴퓨터-판독가능한 매체를 포함하며, 이들의 네트워크 인터페이스는 모바일 전화(200)에 배치되지만, 이들 중 어느 것도 도 2에 도시되지 않는다.
이제 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따라 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다. 도 3에 도시된 실시예에서, 시스템은 네트워크(380)를 통해 통신하는 2개의 디바이스들인 디바이스 A(300) 및 디바이스 B(350)를 포함한다. 일부 실시예들에서, 제1 디바이스인 디바이스 A(300), 또는 제2 디바이스인 디바이스 B(350)는 휴대용 정보 단말(PDA), 휴대용 미디어 플레이어, 휴대용 게임 디바이스, 랩톱 컴퓨터, 또는 모바일 전화와 같은 휴대용 또는 핸드-헬드 전자 디바이스를 포함한다. 다른 실시예들에서, 제1 디바이스(300) 또는 제2 디바이스(350)는 데스크톱 컴퓨터와 같은 비-휴대용 전자 디바이스를 포함한다.
도 3에 도시된 실시예에서, 제1 디바이스(300)는 프로세서(310), 컴퓨터-판독가능한 매체(315), 네트워크 인터페이스(320), 및 마이크로폰/바이오센서(335)와 같은 입력 디바이스를 포함한다. 일부 실시예들에서, 제1 디바이스인 디바이스 A(300)는 또한 더 많거나 더 적은 개수의 컴포넌트들을 포함할 수 있다. 예를 들어, 디바이스 A(300)는 다음 중 하나 이상을 포함할 수 있다: 블루투스 컴포넌트들, 터치-민감형 표면, 마우스 및/또는 키보드. 디바이스 A(300)의 컴포넌트들은 도 1의 모바일 디바이스(100)에 대해 기술되고 도시된 것들에 대응하는 컴포넌트들과 유사한 방식으로 기능한다.
도 3에 도시된 실시예에서, 제2 디바이스인 디바이스 B(350)는 프로세서(360), 컴퓨터-판독가능한 매체(365), 네트워크 인터페이스(370), 및 액추에이터(375)를 포함한다. 일부 실시예들에서, 제1 디바이스(300) 및 제2 디바이스(350)는 유사하거나 동일한 디바이스들인 반면, 다른 실시예들에서 이들은 그렇지 않다.
도 3에 도시된 실시예에서, 제1 및 제2 디바이스 프로세서들(310 및 360)은 이들의 개별 네트워크 인터페이스들(320 및 370)과 통신한다. 도시된 실시예에서, 네트워크 인터페이스들(320 및 370)은 각각 디바이스들(300 및 350)로 하여금 네트워크(380)를 사용하여 서로 또는 다른 디바이스와 통신하게 하도록 구성되는 베이스밴드 프로세서 및 셀룰러 라디오를 포함한다. 예를 들어, 일부 실시예들은 하나 이상의 셀룰러 전화 네트워크들을 포함하는 네트워크(380)를 통해 통신할 수 있다. 다른 실시예들에서, 네트워크 인터페이스(320)는 다른 타입들의 네트워크 인터페이스들, 예를 들어, 802.11 무선 이더넷, 유선 이더넷, 블루투스 또는 USB를 포함할 수 있다. 예를 들어, 일 실시예에서, 네트워크 인터페이스(320)는 802.11 무선 이더넷 인터페이스를 포함할 수 있다.
스피치-대-텍스트 증대를 위한 예시적인 방법들
도 4-6은 본 발명의 실시예들에 따른 다양한 방법들을 예시하는 흐름도들이다. 흐름도들은 도 1에 도시된 모바일 디바이스(100)와 관련하여 논의되지만, 본 발명의 실시예들의 구현예에 대한 다양한 다른 환경들이 이용될 수 있으며, 몇몇 이러한 환경들이 여기에 기술된다.
도 4는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다. 도 4에 도시된 햅틱 증대 방법(400)은 입력 신호가 프로세서에 의해 수신되는 경우 시작한다(405). 일 실시예에서, 입력 신호는 예를 들어, 사용자의 음성에 의해 생성되는 음파에 대한 마이크로폰의 감지에 응답하여 마이크로폰(105)으로부터 수신된다. 또다른 실시예에서, 입력 신호는 바이오센서로부터 수신된다. 다른 실시예들에서, 오디오 신호는 저장 매체로부터 수신될 수 있다. 예를 들어, 한가지 이러한 실시예에서, 오디도 신호는 사용자의 음성 메일 박스에서 또는 사용자의 음성 메일 박스로부터 수신된다.
입력 신호가 수신되면, 프로세서(110)는 입력 신호를 분석하여 입력 신호의 하나 이상의 특성들을 결정할 수 있다(410). 예를 들어, 프로세서(110)는 오디오 신호가 특정 주파수 및/또는 진폭을 가짐을 결정할 수 있다. 또는 프로세서(110)는 바이오센서 신호가 특정 바이오리듬을 포함한다고 결정할 수 있다.
결정된 특성에 적어도 부분적으로 기초하여, 프로세서(110)는 다음으로 액추에이터 신호를 생성한다(415). 일 실시예에서, 결정은 다양한 특성들과 연관된 햅틱 효과들의 라이브러리를 탐색함으로써 달성된다. 다른 실시예들에서, 결정은 계산에 기초할 수 있다. 일부 실시예들에서, 단일 햅틱 효과가 출력된다. 다른 실시예들에서, 복수의 햅틱 효과들이 출력될 수 있다.
프로세서(110)는 다음으로 액추에이터 신호를 액추에이터(115)에 전송한다(420). 액추에이터 신호는 액추에이터(115)로 하여금 결정된 특성과 연관된 특정 햅틱 효과를 출력하게 하도록 구성된다. 액추에이터(115)가 신호를 수신하면, 액추에이터(115)는 햅틱 효과를 출력한다.
이제 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다. 도 5에 도시된 햅틱 증대 방법(500)은 프로세서(110)가 마이크로폰 또는 바이오센서와 같은 입력 디바이스로부터 입력 신호를 수신하는 경우 시작한다(505). 도시된 실시예에서, 입력 신호는 마이크로폰(105)으로부터 수신된다.
프로세서(110)는 입력 신호의 특성을 결정하기 위해 입력 신호를 분석한다(510). 예를 들어, 특성은 오디오 신호의 주파수, 진폭, 지속기간, 또는 다른 파라미터일 수 있다. 또는 특성은 개인의 생체 측정, 예를 들어, 개인의 심박수, 호흡, 체온, 또는 바이오리듬일 수 있다.
프로세서(110)는 이후 입력 신호의 하나 이상의 특성들에 적어도 부분적으로 기초하여 하나 이상의 액추에이터 신호들을 생성한다(515). 액추에이터 신호들 각각은 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성된다.
도시된 실시예에서, 액추에이터 신호가 생성되면, 프로세서(110)는 액추에이터 신호를 하나 이상의 액추에이터들로 전송한다(520). 예를 들어, 단일 액추에이터를 포함하는 일 실시예에서, 프로세서(110)는 액추에이터 신호를 오직 해당 액추에이터(예를 들어, 액추에이터(115))에만 전송한다. 복수의 액추에이터들을 포함하는 또다른 실시예에서, 프로세서(110)는 단일 액추에이터 신호를 모든 액추에이터들에 전송한다. 또다른 실시예에서, 프로세서(110)는 별개의 그리고 잠재적으로 다른 액추에이터 신호를 복수의 액추에이터들 각각에 전송한다.
이제 도 6을 참조하면, 도 6은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대의 컴퓨터-구현 방법의 흐름도이다. 도시된 햅틱 증대 방법(600)에서, 프로세서(110)는 오디오 신호를 수신한다(605).
프로세서(110)는 이후 오디오 신호의 특성을 결정하고(610), 오디오 신호에 적어도 부분적으로 기초하여 액추에이터 신호를 생성한다(615). 액추에이터 신호는 액추에이터(115)로 하여금 햅틱 효과를 출력하게 하도록 구성된다.
프로세서(110)는 이후 스피치 인식 장치(facility)를 사용하여 오디오 신호와 연관된 워드를 결정한다(620). 예를 들어, 프로세서(110)는 오디오 신호를 워드에 매치시키기 위해 워드들 및 연관된 특성들의 리스트를 포함하는 데이터 저장소에 액세스할 수 있다.
도 6에 도시된 실시예에서, 프로세서(110)가 오디오 신호와 연관된 워드를 결정하면, 프로세서는 워드와 연관된 액추에이터 신호를 결정한다(625). 예를 들어, 액추에이터 신호는 오디오 신호와 연관된 워드를 결정하기 위해 사용되는 것과 동일한 데이터 저장소에 저장될 수 있다. 다른 실시예들에서, 데이터 저장소는 별개이며 다르다. 또다른 실시예에서, 햅틱 탈출 워드가 구현된다. 이러한 실시예에서, 사용자가 특정 워드 시퀀스를 말하는 경우, 햅틱 효과가 해당 시퀀스와 연관된다. 예를 들어, 사용자가 특정 햅틱 효과를 트리거링하기 위해 "윙크 윙크"를 말할 수 있는데, 이는 햅틱콘으로서 참조될 수 있다.
프로세서(110)가 워드 및 액추에이터 신호를 결정하면, 프로세서(110)는 이들을 액추에이터(115)에 전송한다(620). 상기 워드 및 액추에이터 신호를 수신하는 디바이스는 이후 햅틱 효과를 출력할 수 있다.
음성-대-텍스트 증대의 예시적인 구현예들
본 발명의 실시예들은 다양한 사용자 경험들을 제공하기 위해 다양한 방식들로 구현될 수 있다. 후속하는 예들은 도 1에 관련하여 기술된다. 이들 예들 중 일부에 대해, 메시지를 송신하는 제1 사용자 및 메시지를 수신하는 제2 사용자가 모두 도 1에 예시된 모바일 디바이스(100)를 사용한다고 가정된다. 예를 들어, 도 1에 도시된 실시예에서, 송신 사용자는 모바일 디바이스(100)를 통해 수신 사용자에게 텍스트 메시지를 송신하기를 원할 수 있다. 텍스트 메시지를 타이핑하기 위해 키보드를 사용하는 것 대신, 송신 사용자는 음성 메시지가 수신 사용자에게 송신될 텍스트 메시지로 변환되는 것을 원할 수 있다. 따라서, 송신 사용자는 마이크로폰(105)에 말할 수 있고, 이는 대응하는 오디오 신호를 생성하여 오디오 신호를 프로세서(110)에 전송한다. 프로세서(110)는 또한 스피치를 텍스트로 동시에 또는 거의 동시에 변환할 수 있다. 이러한 스피치를 텍스트로 변환하는 프로세스들은 당업자에게 알려져 있다. 한가지 이러한 애플리케이션은 SpinVox라는 명칭의 회사에 의해 제조된다.
프로세서(110)는 송신 사용자의 오디오 신호를 수신하고 오디오 신호의 특성을 결정한다. 특성은 오디오 신호의 주파수, 진폭, 지속기간 또는 다른 파라미터일 수 있다. 프로세서(110)는 이후 송신 사용자에 의해 생성되는 오디오 신호의 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성한다. 프로세서(110)는 이후 액추에이터(115)에 액추에이터 신호를 전송하는데, 이는 액추에이터(115)로 하여금 햅틱 효과를 출력하게 한다. 햅틱 효과는 사용자에 의해 느껴질 수 있다.
예를 들어, 송신 사용자가 모바일 디바이스(100)의 마이크로폰(105)에 외치는 경우, 프로세서(110)는 오디오 신호가 높은 진폭 특성을 가진다고 결정할 수 있다. 프로세서(110)는 이후 액추에이터(115)로 하여금 높은 진폭의 햅틱 효과를 출력하게 하도록 구성되는 높은 진폭의 액추에이터 신호를 생성할 수 있다. 따라서, 햅틱 효과는 원래 오디오 신호의 진폭 특성에 대응한다.
일부 실시예들에서, 프로세서(110)는 액추에이터 신호 및 오디오 신호 모두를 각각 액추에이터(115) 및 스피커(125)로 전송하도록 구성될 수 있다. 예를 들어, 제1 사용자가 모바일 디바이스(100)에 외치고 프로세서가 대응하는 높은 진폭의 액추에이터 신호를 생성하는 위의 예를 다시 참조하면, 프로세서(110)는 송신 사용자의 외침으로부터의 오디오 신호 및 결과적인 높은 진폭의 액추에이터 신호를 각각 스피커(125) 및 액추에이터(115)에 전송하도록 구성될 수 있다. 일부 실시예들에서, 스피커(125)는 액추에이터 신호 및 오디오 신호 모두를 출력하여, 햅틱 효과 및 대응하는 사운드 모두를 생성하도록 구성될 수 있다.
또다른 실시예에서, 프로세서(110)는 오디오 신호와 연관된 워드를 결정하고 워드 및 대응하는 액추에이터 신호를 원격 디바이스(130)에 전송하도록 구성될 수 있다. 예를 들어, 이러한 실시예에서, 송신 사용자가 마이크로폰(105)에 "ANGRY"를 외치는 경우, 프로세서(110)는 송신 사용자의 외침으로부터 오디오 신호를 수신하고, 오디오 신호의 높은 진폭 특성을 결정하고, 액추에이터(115)로 하여금 높은 진폭의 햅틱 효과를 출력하게 하도록 구성되는 높은 진폭의 액추에이터 신호를 생성할 수 있다. 프로세서(110)는 또한, 워드 "ANGRY"가 오디오 신호와 연관된다고 결정할 수 있고, 워드 "ANGRY" 및 높은 진폭의 액추에이터 신호를 컴퓨터-판독가능한 매체(120)에 저장할 수 있고, 이후 워드 "ANGRY"및 높은 진폭의 액추에이터 신호를 원격 디바이스(130)에 전송할 수 있다. 또다른 실시예에서, 송신 사용자는 일반적인 음성 톤으로 워드 "ANGRY"를 속삭이거나 말할 수 있지만, 프로세서(110)는 통신 시에 워드의 속성, 즉, 컨텐츠에 기초하여 여전히 높은 진폭의 액추에이터 신호를 상기 워드와 연관시킬 수 있다.
또한, 도 1에 도시된 실시예에서, 프로세서(110)는 오디오 신호에 적어도 부분적으로 기초하여 복수의 햅틱 효과들을 생성하도록 구성될 수 있다. 예를 들어, 송신 사용자가 "ANGRY"를 마이크로폰(105)에 외치는 것의 결과로서 프로세서(110)가 단일의 높은 진폭의 액추에이터 신호를 생성하는 것에 추가하여, 프로세서(110)는 또한 높은 주파수의 햅틱 효과, 긴 지속기간의 햅틱 효과, 또는 오디오 신호에 적어도 부분적으로 기초하는 햅틱 효과들의 임의의 조합을 생성할 수 있다.
일 실시예에서, 프로세서(110)는 특성과 연관된 햅틱 효과 라이브러리로부터 햅틱 효과를 식별함으로써 액추에이터 신호를 생성한다. 예를 들어, 송신 사용자가 마이크로폰(105)에 "I AM EXCITED"라고 외치는 경우, 프로세서(110)는 송신 사용자의 외침으로부터 오디오 신호를 수신하고, 오디오 신호의 높은 진폭의 높은 주파수 특성을 결정하고, 높은 진폭의 높은 주파수 특성과 연관된 햅틱 효과 라이브러리로부터 높은 진폭의 높은 주파수의 햅틱 효과를 식별함으로써 높은 진폭의 높은 주파수의 액추에이터 신호를 생성할 수 있다.
또다른 실시예에서, 프로세서(110)는 오디오 신호와 연관된 워드를 결정하고, 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성할 수 있다. 예를 들어, 프로세서(110)가 워드 "LOVE"가 오디오 신호와 연관된다고 결정하는 경우, 프로세서(110)는 워드 "LOVE"를 해당 특정 햅틱 효과와 연관시키는 햅틱 효과 라이브러리에서 워드 "LOVE"를 식별함으로써 시뮬레이팅된 심박 햅틱 효과를 야기하는 펄싱 액추에이터 신호를 생성할 수 있다.
또다른 실시예에서, 프로세서(110)는 오디오 신호에 적어도 부분적으로, 그리고 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성할 수 있다. 예를 들어, 송신 사용자가 마이크로폰(105)에 부드럽게 그리고 천천히 "LOVE"를 말하는 경우, 프로세서(110)는 송신 사용자의 발언(statement)으로부터 오디오 신호를 수신할 수 있고, 오디오 신호의 낮은 진폭의 낮은 주파수 특성을 결정할 수 있고, 낮은 진폭의 낮은 주파수의 액추에이터 신호를 생성할 수 있다. 프로세서(110)는 또한, 워드 "LOVE"가 오디오 신호와 연관됨을 결정할 수 있고, 워드 "LOVE"를 해당 특정 햅틱 효과와 연관시키는 햅틱 효과 라이브러리에서 워드 "LOVE"를 식별함으로써 시뮬레이팅된 심박 햅틱 효과를 야기하는 펄싱 액추에이터 신호를 생성할 수 있다. 프로세서(110)는 이후 "LOVE" 오디오 신호의 특성에 의해, 그리고 워드 "LOVE"의 특성에 의해 결정되는 햅틱 효과들을 결합시켜서 낮은 진폭의 낮은 주파수의 시뮬레이팅된 심박 햅틱 효과를 초래하도록 구성될 수 있다.
또다른 실시예에서, 송신 사용자는 모바일 디바이스(100)를 통해 송신 사용자에게 메시지를 송신하기를 원할 수 있다. 송신 사용자는 모바일 디바이스(100)의 마이크로폰(105)에 "HAPPY BIRTHDAY"를 말할 수 있다. 그 응답으로, 프로세서(110)는 워드들 "HAPPY" 및 "BIRTHDAY"가 오디오 신호와 연관됨을 결정할 수 있으며, 프로세서(110)가 액추에이터(115)로 전송하는, 각각의 워드와 연관된 별도의 햅틱 효과를 결정할 수 있다. 일 실시예에서, 프로세서는 "Happy Birthday" 노래에 대응하는 햅틱 효과가 수신 사용자의 디바이스의 액추에이터에 전송되게 하는 펄싱 액추에이터 신호를 생성한다.
또다른 실시예에서, 모바일 디바이스(100)의 프로세서(110)는 오디오 신호에 적어도 부분적으로, 그리고 오디오 신호에 포함된 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성할 수 있다. 예를 들어, 송신 사용자가 모바일 디바이스(100)의 마이크로폰(105)에 부드럽게 그리고 천천히 "CAT"을 말하는 경우, 프로세서(110)는 송신 사용자의 발언으로부터 오디오 신호를 수신하고, 오디오 신호의 낮은 진폭, 낮은 주파수 특성을 결정하고, 낮은 진폭의 낮은 주파수의 액추에이터 신호를 생성할 수 있다. 대안적으로, 프로세서(110)는 워드 "CAT"이 오디오 신호와 연관됨을 결정할 수 있고, 가르랑거리는(purring) 햅틱 효과를 야기하는 고속-펄싱 액추에이터 신호를 생성할 수 있다.
도 3을 참조하면, 또다른 실시예에서, 송신 사용자는 모바일 전화를 포함하는 제1 디바이스(300)의 입력 디바이스(335), 예를 들어, 마이크로폰으로 "HELP"라고 소리칠 수 있다. 제1 디바이스(300)의 프로세서(310)는 마이크로폰(335)으로부터 오디오 신호를 수신하고, 오디오 신호의 높은 진폭의 긴 지속기간 특성을 결정하고, 높은 진폭의 짧은 지속기간의 액추에이터 신호를 생성할 수 있다. 유사하게, 제1 디바이스(300)의 프로세서(310)는 오디오 신호와 연관된 워드 "HELP"를 결정하고, 컴퓨터-판독가능 매체(315)에 워드 "HELP" 및 액추에이터 신호를 저장하도록 구성될 수 있다. 또한, 제1 디바이스(300)의 프로세서(310)는 높은 진폭의 짧은 지속기간 특성과 연관된 햅틱 효과 라이브러리로부터 높은 진폭의 짧은 지속기간의 햅틱 효과를 식별함으로써 높은 진폭의 짧은 지속기간의 액추에이터 신호를 생성하도록 구성될 수 있다. 유사하게, 제1 디바이스(300)의 프로세서(310)는 워드 "HELP"를 해당 특정 햅틱 효과와 연관시키는 햅틱 효과 라이브러리에서 워드 "HELP"를 식별함으로써 펄싱 모스 코드 S.O.S. 햅틱 효과(단-단-단 장-장-장 단-단-단)를 야기하는 높은 진폭의 짧은 지속기간 액추에이터 신호를 생성하도록 구성될 수 있다.
도 3을 참조하면, 또다른 실시예에서, 제1 디바이스(300)는 송신 사용자 디바이스이며, 이것이 미리 정의된 환경 사운드들에 기초하여 제2 수신 디바이스(350)에 햅틱, 청각적 및/또는 시각적 메시지들을 자동으로 전송하는 자동화된 "리스닝" 응답 모드에 있도록 구성된다. 예를 들어, 경찰관이 자동화된 "리스닝" 응답 모드인 자신의 모바일 디바이스를 가지는 송신 사용자인 경우, 그의 디바이스는 경찰관의 디바이스에 의해 발포 사운드가 식별되는 경우 지원 또는 경찰관 백업 요청을 자동으로 전송하도록 구성될 수 있다. 이러한 리스닝 모드의 또다른 예에서, 경찰관의 디바이스는 경찰관의 바이오리듬을 리스닝할 수 있으며, 경찰관이 의료 처치를 요구함을 검출할 수 있고 자동으로 앰뷸런스에 대한 요청을 전송한다. 이러한 요청들의 전송은 작업 특정적이며 로컬화될 수 있다. 예를 들어, 전송은 경찰관의 팀 멤버들과 같은 하나 이상의 근처 수신자들에게 전달될 수 있다. 예를 들어, 경찰관 그룹이 도망자의 공조 탐색을 수행하고 있으며, 경찰관들 중 하나가 도망자를 찾아내는 경우(locate), 경찰관의 "리스닝" 디바이스는 도망자의 위치에 가까운 경찰관을 도울 주변 경찰관들에게 자동화된 메시지를 전송할 수 있다. 이러한 특징은, 예를 들어, 경찰관이 도망자와 격투중이거나 추격 중인 경우, 그 경찰관이 동료 경찰관들에게 이러한 정보를 물리적으로 전달할 수 없을 때 매우 유용하다.
이러한 실시예들에서, 결과적인 오디오 신호, 워드들, 액추에이터 신호, 및/또는 햅틱 효과들은 이들의 개별 네트워크 인터페이스들(320 및 370)을 통해 그리고 네트워크(380)를 통해 제1 디바이스(300)로부터 제2 디바이스(350)로 전송될 수 있다. 예를 들어, 워드 "HELP" 및 워드 "HELP"와 연관된 높은 진폭의 짧은 지속기간의 모스 코드 S.O.S. 햅틱 효과는 모바일 전화를 포함하는 제1 디바이스(300)로부터 또한 모바일 전화를 포함하는 제2 디바이스(350)로, 전화 네트워크를 포함하는 네트워크(380)를 통해 전송될 수 있다. 따라서, 제1 디바이스(300)의 송신 사용자는 햅틱 효과를 가지는 음성-대-텍스트 메시지를 제2 디바이스(350)의 수신 사용자에게 전송할 수 있다. 다른 실시예들에서, 오직 오디오 신호만이 제1 디바이스(300)로부터, 이후 신호를 분석하고 임의의 연관된 햅틱 효과들을 생성하는 제2 디바이스(350)로 전송될 수 있다.
구현에 대한 예시적인 환경들
본 발명의 실시예들은 장애인을 위한 통신의 상황에서 유리하게 사용될 수 있다. 예를 들어, 실시예들은 전화선을 통한 텍스트 통신을 위한 전자 디바이스에 의해 청취 또는 스피치의 어려움들을 가지는 사람들을 보조하는 TTY(전화 타이프라이터) 응용예들에서 유용할 수 있다. 장애인이 종래의 TTY 디바이스를 사용하는 경우, 텍스트의 속성으로 인해 메시지의 감정 및 느낌은 통상적으로 유실된다. 본 발명의 실시예를 사용하여, 장애인은 마이크로폰에 말할 수 있고, 메시지와 연관된 임의의 느낌이 유실되는 종래의 TTY 디바이스 상에서 텍스트 메시지를 직접 타이핑하는 것 대신, 햅틱 효과들을 통해 음성-대-텍스트 메시지 뒤의 감정을 보존할 수 있다.
본 발명의 실시예들은 또한 SMS 텍스트 메시징 상황에서 유리하게 사용될 수 있다. 예를 들어, 많은 주들(states)에서, 자동차를 운전하는 동안 모바일 전화상에서의 텍스트 메시징 및 말하기를 금지하지만, 상기 동일한 주들은 통상적으로, 운전자로 하여금 무선 블루투스 이어폰 또는 유선 마이크로폰 및 이어폰과 같은 핸즈프리 디바이스를 사용하여 운전하는 동안 말하는 것을 허용한다. 그러나 이들 핸즈프리 디바이스들은 자동차를 운전하는 동안 텍스트 메시지를 송신하는 것을 보조하지 않는다. 본 발명의 실시예를 사용하여, 운전자는 마이크로폰에 말하여 자신의 음성 메시지를 연관된 햅틱 효과들을 가지는 텍스트 메시지로 변환할 수 있다. 본 발명의 실시예는 드라이버로 하여금 운전하는 동안 합법적으로 그리고 안전하게 텍스트 메시지를 송신하게 할 뿐만 아니라, 이는 햅틱 효과들을 통해 음성 메시지로부터의 감정을 보존하여 송신 사용자로 하여금 수신 사용자에게 자신의 감정을 전달하게 한다.
본 발명의 실시예들은 또한 온라인 채팅 상황 또는 이메일 상황에서 유리하게 사용될 수 있다. 송신 사용자는 마이크로폰에 말하여, 자신의 음성 메시지를 인터넷을 통해 수신 사용자에게 송신될 이메일 또는 채팅을 위한 텍스트 메시지로 변환되게 할 수 있다. 음성 메시지와, 또는 결과적인 채팅 메시지 또는 이메일의 워드들과 연관된 햅틱 효과는 채팅 메시지 또는 이메일과 함께 송신되어 광범위한 감정들, 예를 들어, 풍자, 진심, 또는 분노, 및 다른 컨텐츠 및 서브텍스트가 전달되게 한다. 이러한 실시예는 송신 사용자가 더 자유롭게 컴퓨터 네트워크 상에서 원하는 메시지를 표현하게 한다.
본 발명의 실시예들은 또한 의료 상황에서 유리하게 사용될 수 있다. 예를 들어, 사지마비이거나 그렇지 않은 경우 장애인인 환자는 음성 메시지들의 사용을 통해 그리고 햅틱 응답들을 수신함으로써 컴퓨터 또는 전화와 상호작용할 수 있다. 침대에 컴퓨터와 무선으로 접속되는 하나 이상의 액추에이터들이 준비될 수 있다. 송신 또는 수신 사용자로부터의 텍스트 메시지들로 변환되는 음성 메시지들에 기초하여, 다양한 햅틱 효과들이 입력되고 출력될 수 있다. 사용자가 시각 및/또는 청각 장애인이고, 따라서 사용가능한 통신 채널들의 수가 감소하거나 제한되는 경우, 유사한 장점들이 구현될 수 있다. 본 발명의 실시예는 또한, 그렇지 않은 경우 청각적 또는 시각적 응답들에 간섭할 수 있는 시끄럽거나 밝은 환경들에서 유리하게 사용될 수 있다. 예를 들어, 본 발명의 일 실시예에서, 넘어진 노인은 본 발명의 실시예로부터의 햅틱 피드백을 송신 또는 수신하여 도움이 필요하거나 도움을 받고 있음을 긴급 서비스측에 표시할 수 있다.
본 발명의 일부 실시예들은 또한 군 상황에서도 유용할 수 있다. 예를 들어, 변환 동작시에, 오디오 채널은 특정 타입들의 통신에 제한되거나 사용가능하지 않을 수 있다. 본 발명의 일 실시예에서, 사용자들은 음성 메시지를 송신할 수 없는 군 정보원으로부터 햅틱 확인을 통해 텍스트 메시지를 획득할 수 있다. 예를 들어, 병사는 텍스트로 변환되고 또다른 병사에게 텍스트 및 햅틱 효과로서 전송되는 명령에 대한 응답을 음성화할 수 있다. 이러한 실시예에서, 병사들은 하나 이상의 병사들 사이의 효과적인 통신을 허용하도록 햅틱 패턴들의 설정된 세트를 사용할 수 있다. 예를 들어, 장교는 음성 통신이 안전한 것으로 간주되는 영역 내에 있을 수 있고, 적진 환경을 통과하는 병사들의 그룹의 진행을 모니터링할 수 있다. 장교는 병사들이 좌측으로 가야한다는 것을 지시하기 위한 구두상의 명령을 내릴 수 있다. 음성 명령이 인식되어 병사들에게 텍스트 메시지 및 햅틱 효과로서 전송될 수 있다.
종합
본 발명이 몇몇 바람직한 실시예들의 견지에서 기술되었지만, 이들의 변경, 치환 및 등가물들이 본 명세서의 판독 및 도면 연구시에 당업자에게 명백할 것이라는 점이 참작된다. 예를 들어, 게임 프로그램들, 가상 현실 프로그램들 및 환경들, 사업 미팅을 위한 화상 회의 애플리케이션들, 컴퓨터 네트워크들 또는 다른 통신 채널들을 통한 전화-타입 음성 통신들 등을 포함하는 많은 상이한 응용 프로그램들이 본 발명의 음성-대-텍스트 메시징 기능들을 사용할 수 있다. 또한, 특정 용어들은 본 발명을 제한하는 것이 아닌 설명의 명료성의 목적으로 사용되었다. 따라서, 후속하는 첨부된 청구항들은 모든 이러한 변경들, 치환들 및 등가물들을 본 발명의 진의 및 범위 내에 드는 것으로서 포함하도록 의도된다.
따라서, 본 발명의 바람직한 실시예들을 포함하는 실시예들의 이전 설명은 오직 예시 및 설명의 목적으로 제시되며, 빠짐없는 것으로, 또는 개시된 상세한 형태로 본 발명을 제한하는 것으로 의도되지 않는다. 본 발명의 다수의 수정들 및 적응예들은 본 발명의 진의 및 범위로부터 벗어나지 않고 당업자에게 명백할 것이다.
100: 모바일 디바이스
110: 프로세서
120: 컴퓨터-판독가능한 매체
130: 원격 디바이스
140: 디스플레이
150: 네트워크

Claims (40)

  1. 컴퓨터 구현 방법으로서,
    음성과 연관된 오디오 입력 신호를 수신하는 단계;
    상기 오디오 입력 신호와 연관된 특성을 판정하는 단계;
    상기 오디오 입력 신호와 연관된 워드를 판정하는 단계; 및
    상기 특성 및 상기 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하는 단계를 포함하며,
    상기 액추에이터 신호는 액추에이터로 하여금 제1 햅틱 효과를 출력하게 하도록 구성되는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 특성은 주파수, 진폭 또는 지속기간 중 하나를 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 액추에이터 신호를 원격 디바이스로 전송하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 오디오 입력 신호의 적어도 일부를 텍스트로 변환하는 단계; 및
    상기 텍스트 및 상기 액추에이터 신호를, 이메일, SMS 메시지 또는 채팅 메시지를 통하여, 원격 디바이스로 전송하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 액추에이터 신호를 생성하는 단계는 햅틱 효과 라이브러리 내의 데이터에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성하는 단계를 포함하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 액추에이터 신호를 생성하는 단계는,
    상기 특성에 적어도 부분적으로 기초하여 제2 햅틱 효과를 판정하는 단계;
    상기 워드에 적어도 부분적으로 기초하여 제3 햅틱 효과를 판정하는 단계; 및
    상기 제2 햅틱 효과 및 상기 제3 햅틱 효과에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성하는 단계를 포함하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    바이오센서로부터 센서 신호를 수신하는 단계; 및
    상기 센서 신호에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 워드는 복수의 워드를 포함하고, 상기 액추에이터 신호는 상기 복수의 워드 중 적어도 2개의 워드에 적어도 부분적으로 기초하여 생성되는, 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 제1 햅틱 효과는 노래의 음정과 연관된 복수의 펄스를 포함하는, 컴퓨터 구현 방법.
  10. 제1항에 있어서,
    상기 제1 햅틱 효과는 모스 코드(Morse Code)를 포함하는, 컴퓨터 구현 방법.
  11. 시스템으로서,
    메모리; 및
    상기 메모리와 통신하는 프로세서를 포함하고,
    상기 프로세서는,
    음성과 연관된 오디오 입력 신호를 수신하고;
    상기 오디오 입력 신호와 연관된 특성을 판정하고;
    상기 오디오 입력 신호와 연관된 워드를 판정하고;
    상기 특성 및 상기 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하도록 구성되며,
    상기 액추에이터 신호는 액추에이터로 하여금 제1 햅틱 효과를 출력하게 하도록 구성되는, 시스템.
  12. 제11항에 있어서,
    상기 특성은 주파수, 진폭 또는 지속기간 중 하나를 포함하는, 시스템.
  13. 제11항에 있어서,
    상기 프로세서는 또한,
    상기 액추에이터 신호를 원격 디바이스로 전송하도록 구성되는, 시스템.
  14. 제11항에 있어서,
    상기 프로세서는 또한,
    상기 오디오 입력 신호를 텍스트로 변환하고;
    상기 텍스트 및 상기 액추에이터 신호를, 이메일, SMS 메시지 또는 채팅 메시지를 통하여, 원격 디바이스로 전송하도록 구성되는, 시스템.
  15. 제11항에 있어서,
    상기 프로세서는 또한, 햅틱 효과 라이브러리 내의 데이터에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성하도록 구성되는, 시스템.
  16. 제11항에 있어서,
    상기 프로세서는 또한,
    상기 특성에 적어도 부분적으로 기초하여 제2 햅틱 효과를 판정하고;
    상기 워드에 적어도 부분적으로 기초하여 제3 햅틱 효과를 판정하고;
    상기 제2 햅틱 효과 및 상기 제3 햅틱 효과에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성함으로써,
    상기 액추에이터 신호를 생성하도록 구성되는, 시스템.
  17. 제11항에 있어서,
    상기 프로세서와 통신하는 바이오센서를 더 포함하고,
    상기 프로세서는 또한,
    상기 바이오센서로부터 센서 신호를 수신하고;
    상기 센서 신호에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성하도록 구성되는, 시스템.
  18. 제11항에 있어서,
    상기 워드는 복수의 워드를 포함하고, 상기 프로세서는 또한, 상기 복수의 워드 중 적어도 2개의 워드에 적어도 부분적으로 기초하여 상기 액추에이터 신호를 생성하도록 구성되는, 시스템.
  19. 제11항에 있어서,
    상기 제1 햅틱 효과는 노래의 음정과 연관된 복수의 펄스를 포함하는, 시스템.
  20. 제11항에 있어서,
    상기 제1 햅틱 효과는 모스 코드를 포함하는, 시스템.
  21. 컴퓨터 구현 방법으로서,
    제1 사용자로부터 오디오 입력 신호를 수신하는 단계;
    상기 오디오 입력 신호와 연관된 제1 특성을 판정하는 단계;
    바이오센서로부터 센서 신호를 수신하는 단계;
    상기 센서 신호와 연관된 제2 특성을 판정하는 단계; 및
    상기 제1 특성 및 상기 제2 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하는 단계를 포함하며,
    상기 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성되는, 컴퓨터 구현 방법.
  22. 제21항에 있어서,
    상기 오디오 입력 신호는 환경 사운드를 포함하는, 컴퓨터 구현 방법.
  23. 제21항에 있어서,
    상기 센서 신호는 심박수, 호흡수, 체온 및 바이오리듬 중 적어도 하나와 연관되는, 컴퓨터 구현 방법.
  24. 제21항에 있어서,
    상기 제1 특성은 워드를 포함하고, 상기 액추에이터 신호는 햅틱 효과 라이브러리에 적어도 부분적으로 기초하여 생성되는, 컴퓨터 구현 방법.
  25. 제21항에 있어서,
    상기 액추에이터 신호를 원격 디바이스로 전송하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  26. 제25항에 있어서,
    상기 원격 디바이스는 상기 제1 사용자로부터 미리 결정된 영역 내에 있는, 컴퓨터 구현 방법.
  27. 제25항에 있어서,
    상기 원격 디바이스는 미리 결정된 사용자 또는 미리 결정된 사용자 그룹과 연관되는, 컴퓨터 구현 방법.
  28. 제21항에 있어서,
    상기 햅틱 효과는 상기 제1 사용자와 연관된 작업에 적어도 부분적으로 기초하는, 컴퓨터 구현 방법.
  29. 제21항에 있어서,
    상기 햅틱 효과는 상기 제1 사용자와 연관된 상태에 적어도 부분적으로 기초하는, 컴퓨터 구현 방법.
  30. 제29항에 있어서,
    상기 상태는 상기 센서 신호에 적어도 부분적으로 기초하는, 컴퓨터 구현 방법.
  31. 시스템으로서,
    메모리; 및
    상기 메모리와 통신하는 프로세서를 포함하고,
    상기 프로세서는,
    제1 사용자로부터 오디오 입력 신호를 수신하고;
    상기 오디오 입력 신호와 연관된 제1 특성을 판정하고;
    바이오센서로부터 센서 신호를 수신하고;
    상기 센서 신호와 연관된 제2 특성을 판정하고;
    상기 제1 특성 및 상기 제2 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하도록 구성되며,
    상기 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성되는, 시스템.
  32. 제31항에 있어서,
    상기 오디오 입력 신호는 환경 사운드를 포함하는, 시스템.
  33. 제31항에 있어서,
    상기 센서 신호는 심박수, 호흡수, 체온 및 바이오리듬 중 적어도 하나와 연관되는, 시스템.
  34. 제31항에 있어서,
    상기 제1 특성은 워드를 포함하고, 상기 액추에이터 신호는 햅틱 효과 라이브러리에 적어도 부분적으로 기초하여 생성되는, 시스템.
  35. 제31항에 있어서,
    상기 프로세서는 또한,
    상기 액추에이터 신호를 원격 디바이스로 전송하도록 구성되는, 시스템.
  36. 제35항에 있어서,
    상기 원격 디바이스는 상기 제1 사용자로부터 미리 결정된 영역 내에 있는, 시스템.
  37. 제35항에 있어서,
    상기 원격 디바이스는 미리 결정된 사용자 또는 미리 결정된 사용자 그룹과 연관되는, 시스템.
  38. 제31항에 있어서,
    상기 햅틱 효과는 상기 제1 사용자와 연관된 작업에 적어도 부분적으로 기초하는, 시스템.
  39. 제31항에 있어서,
    상기 햅틱 효과는 상기 제1 사용자와 연관된 물리적 상태에 적어도 부분적으로 기초하는, 시스템.
  40. 제39항에 있어서,
    상기 물리적 상태는 상기 센서 신호에 적어도 부분적으로 기초하는, 시스템.
KR1020177012443A 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 KR101860281B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/608,707 2009-10-29
US12/608,707 US8902050B2 (en) 2009-10-29 2009-10-29 Systems and methods for haptic augmentation of voice-to-text conversion
PCT/US2010/054212 WO2011059703A1 (en) 2009-10-29 2010-10-27 Systems and methods for haptic augmentation of voice-to-text conversion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013605A Division KR101735665B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187003207A Division KR101956796B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들

Publications (2)

Publication Number Publication Date
KR20170056023A true KR20170056023A (ko) 2017-05-22
KR101860281B1 KR101860281B1 (ko) 2018-05-21

Family

ID=43382350

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020197006524A KR20190026970A (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들
KR1020127013605A KR101735665B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들
KR1020177012443A KR101860281B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들
KR1020187003207A KR101956796B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020197006524A KR20190026970A (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들
KR1020127013605A KR101735665B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187003207A KR101956796B1 (ko) 2009-10-29 2010-10-27 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (2) US8902050B2 (ko)
EP (2) EP2494425A1 (ko)
JP (4) JP5899116B2 (ko)
KR (4) KR20190026970A (ko)
CN (2) CN102597914B (ko)
WO (1) WO2011059703A1 (ko)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
US8718536B2 (en) 2011-01-18 2014-05-06 Marwan Hannon Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
EP2624099B1 (en) * 2012-02-03 2019-11-13 Immersion Corporation Method and system for sound to haptic effect conversion using waveform
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) * 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US20140129347A1 (en) * 2012-11-05 2014-05-08 Anantha Pradeep Intelligent and informed advertisement creation
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
KR20160003031A (ko) 2013-04-26 2016-01-08 임머숀 코퍼레이션 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US20150081210A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Altering exercise routes based on device determined information
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US20150179188A1 (en) * 2013-12-20 2015-06-25 Speech Morphing, Inc. Method and apparatus for hearing impaired assistive device
US9652946B2 (en) * 2014-05-02 2017-05-16 Novasentis, Inc. Hands-free, wearable vibration devices and method
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US20160125709A1 (en) * 2014-10-31 2016-05-05 Novasentis, Inc. Haptics wristband
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9466188B2 (en) 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
JP2018506802A (ja) * 2015-02-25 2018-03-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ コンテキスト依存触覚通知フレームワークを提供するためのシステム及び方法
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
CN107850667A (zh) 2015-07-14 2018-03-27 驾驶管理系统公司 使用rf无线信号及超声波信号检测电话的位置
EP3147538A1 (en) 2015-09-23 2017-03-29 Inovacor Ab Compound planet gear arrangement and drive train arrangement
US20170193767A1 (en) * 2015-12-30 2017-07-06 Parihug Haptic communication device and system for transmitting haptic interaction
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
KR101862337B1 (ko) * 2016-03-24 2018-05-31 주식회사 닷 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US9997086B1 (en) * 2017-11-29 2018-06-12 Richard P. Braden Handheld communication device and method(s) of use
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10360775B1 (en) * 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
JP7028976B2 (ja) * 2018-07-10 2022-03-02 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、及びその制御方法
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
JPWO2023276130A1 (ko) * 2021-07-01 2023-01-05
WO2023063161A1 (ja) * 2021-10-12 2023-04-20 ソニーグループ株式会社 情報処理システム、制御方法及び制御プログラム
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11809630B1 (en) 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
CN115826770A (zh) * 2022-10-26 2023-03-21 瑞声开泰声学科技(上海)有限公司 触觉反馈方法和装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
JPH09206291A (ja) * 1996-02-02 1997-08-12 Japan Small Corp 人の感情・状態を検出する装置
GB2311888B (en) * 1996-04-01 2000-10-25 John Christian Doughty Nissen Tactile system for computer dynamic display and communication
JPH10111786A (ja) * 1996-10-03 1998-04-28 Sharp Corp リズム制御対話装置
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
JP3824848B2 (ja) * 2000-07-24 2006-09-20 シャープ株式会社 通信装置および通信方法
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
JP3764663B2 (ja) * 2001-09-14 2006-04-12 独立行政法人電子航法研究所 心身診断システム
US7251605B2 (en) 2002-08-19 2007-07-31 The United States Of America As Represented By The Secretary Of The Navy Speech to touch translator assembly and method
US7155389B2 (en) 2002-11-12 2006-12-26 The United States Of America As Represented By The Secretary Of The Navy Discriminating speech to touch translator assembly and method
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4232453B2 (ja) * 2002-12-18 2009-03-04 株式会社デンソー 通話音声のテキスト変換システム
JP3955950B2 (ja) * 2003-03-11 2007-08-08 独立行政法人産業技術総合研究所 音声情報伝達装置及び方法
EP1524586A1 (en) 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
US7376565B2 (en) 2003-12-15 2008-05-20 International Business Machines Corporation Method, system, and apparatus for monitoring security events using speech recognition
US20070299671A1 (en) * 2004-03-31 2007-12-27 Ruchika Kapur Method and apparatus for analysing sound- converting sound into information
EP1781388A2 (en) * 2004-07-28 2007-05-09 Philips Intellectual Property & Standards GmbH A method for contesting at least two interactive systems against each other and an interactive system competition arrangement
JP2006047640A (ja) 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 情報伝達装置、電話機及び携帯電話機
US8867724B2 (en) * 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
JP2006109966A (ja) * 2004-10-13 2006-04-27 Ishisaki:Kk 音ゲーム機および携帯電話機
KR20060130897A (ko) * 2005-06-09 2006-12-20 엘지전자 주식회사 휴대 단말기의 무성음 통화 장치 및 방법
CN104063056B (zh) 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
JP4941966B2 (ja) * 2006-09-22 2012-05-30 国立大学法人 東京大学 感情の判別方法、感情判別装置、雰囲気情報通信端末
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US9754078B2 (en) 2007-06-21 2017-09-05 Immersion Corporation Haptic health feedback monitoring
WO2009042170A1 (en) * 2007-09-26 2009-04-02 Medtronic, Inc. Therapy program selection
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
WO2009082765A1 (en) * 2007-12-25 2009-07-02 Personics Holdings Inc. Method and system for message alert and delivery using an earpiece
US8473081B2 (en) * 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
KR100952698B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템
JP4613974B2 (ja) * 2008-03-28 2011-01-19 ソニー株式会社 通信機器および通信システム
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion

Also Published As

Publication number Publication date
JP2013509652A (ja) 2013-03-14
US20110102160A1 (en) 2011-05-05
JP2015156229A (ja) 2015-08-27
JP2017085625A (ja) 2017-05-18
KR20180014880A (ko) 2018-02-09
KR101860281B1 (ko) 2018-05-21
CN102597914A (zh) 2012-07-18
US9275653B2 (en) 2016-03-01
KR20190026970A (ko) 2019-03-13
WO2011059703A1 (en) 2011-05-19
EP3352055A1 (en) 2018-07-25
KR101956796B1 (ko) 2019-03-12
JP2014211900A (ja) 2014-11-13
JP5951688B2 (ja) 2016-07-13
US20150084752A1 (en) 2015-03-26
CN102597914B (zh) 2018-09-14
US8902050B2 (en) 2014-12-02
JP6510484B2 (ja) 2019-05-08
JP5899116B2 (ja) 2016-04-06
EP2494425A1 (en) 2012-09-05
KR20120102655A (ko) 2012-09-18
CN109144255A (zh) 2019-01-04
KR101735665B1 (ko) 2017-05-15

Similar Documents

Publication Publication Date Title
KR101860281B1 (ko) 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들
JP6514225B2 (ja) 空間音響特性に少なくとも部分的に基づく動作指令の決定
Sawhney et al. Nomadic radio: speech and audio interaction for contextual messaging in nomadic environments
US7974392B2 (en) System and method for personalized text-to-voice synthesis
JP2006005945A (ja) 移動端末機使用者の感情伝達および表出方法、並びにその通信システム
JP2008242318A (ja) 対話を検出する装置、方法およびプログラム
CA2539649C (en) System and method for personalized text-to-voice synthesis
US11580978B2 (en) Machine learning for interpretation of subvocalizations
WO2018061862A1 (ja) コミュニケーション装置、コミュニケーション方法、および記憶媒体
JP2023548157A (ja) 通話およびオーディオメッセージからのその他の話者の音声フィルタリング
JP2021117371A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2010086356A (ja) 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム
JP2019061111A (ja) 猫型会話ロボット
JP2007336395A (ja) 音声処理装置及び音声通信システム
TWI833678B (zh) 真實多人應答情境下的生成式聊天機器人之系統及其方法
JP7316971B2 (ja) 会議支援システム、会議支援方法、およびプログラム
US20220246168A1 (en) Techniques for detecting and processing domain-specific terminology
US20220115010A1 (en) Techniques for dynamic auditory phrase completion
WO2017187674A1 (ja) 情報処理装置、情報処理システム、及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant