KR20120102655A - 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 - Google Patents
음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20120102655A KR20120102655A KR1020127013605A KR20127013605A KR20120102655A KR 20120102655 A KR20120102655 A KR 20120102655A KR 1020127013605 A KR1020127013605 A KR 1020127013605A KR 20127013605 A KR20127013605 A KR 20127013605A KR 20120102655 A KR20120102655 A KR 20120102655A
- Authority
- KR
- South Korea
- Prior art keywords
- actuator
- signal
- processor
- characteristic
- haptic effect
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003416 augmentation Effects 0.000 title abstract description 26
- 238000006243 chemical reaction Methods 0.000 title description 20
- 230000000694 effects Effects 0.000 claims abstract description 78
- 230000005236 sound signal Effects 0.000 claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 23
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000001755 vocal effect Effects 0.000 claims 2
- 230000004044 response Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000030808 detection of mechanical stimulus involved in sensory perception of sound Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003016 quadriplegic effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Otolaryngology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Abstract
사용자 인터페이스에서 음성-대-텍스트 햅틱 증대를 제공하기 위한 시스템들 및 방법이 개시된다. 예를 들어, 가청 스피치 정보를 햅틱 효과로 변환하기 위한 하나의 개시된 시스템은 마이크로폰 및 마이크로폰과 통신하는 프로세서를 포함하고, 프로세서는 마이크로폰으로부터 음성과 연관된 오디오 신호를 수신하고, 오디오 신호의 특성을 결정하고, 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하도록 구성되고, 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성된다.
Description
본 특허출원은 그 전체 내용이 여기에 참조로 통합되는, 2009년 10월 29일에 출원된 "Systems and Methods for Haptic Augmentation Of Voice-To-Text Conversion"이라는 명칭의 미국 실용신안 특허 출원 제12/608,707호의 우선권을 청구한다.
본 발명은 일반적으로 사용자 인터페이스들에 대한 시스템들 및 방법들에 관한 것이고, 더 구체적으로는 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들에 관한 것이다.
전자 디바이스들은 시각적 및 청각적 피드백을 포함하는 다양한 피드백을 사용자들에게 제공한다. 일부 디바이스들은 또한 햅틱 피드백 형태들을 사용자에게 제공한다. 햅틱 피드백은 일부 경우들에서 메시지 자체에서는 명백하지 않을 수 있는 정보를 메시지를 수신하는 사용자에게 제공할 수 있다. 예를 들어, 텍스트 메시지로 변환되는 음성 메시지는 메시지에서 표현되는 토픽에 관해 송신 사용자가 느끼는 감정의 레벨을 전달하거나, 메시지에 관한 다른 상황 정보를 전달하는 것에 실패할 수 있다. 사용자들은 종종 메시지에 공지된 심볼들(예를 들어, 이모티콘들)을 첨부하여 이러한 서브텍스트를 표현함으로써 이러한 간극(void)을 채우려고 한다. 그러나 이러한 심볼들은 이들이 전달할 수 있는 메시지들의 복잡도에서 제한된다. 반면, 햅틱 피드백은 이러한 서브텍스트를 더욱 강력한 방식으로 다른 사용자들에게 표현하기 위한 더욱 복잡하고 직접적인 방식을 제공할 수 있다.
본 발명은 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들을 포함한다. 예를 들어, 본 발명의 일 실시예는 마이크로폰으로부터 음성과 연관된 오디오 신호를 수신하는 단계, 오디오 신호의 특성을 결정하는 단계, 및 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하는 단계를 포함하는 컴퓨터 구현 방법을 포함한다. 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성된다. 또다른 실시예는 이러한 방법을 실행하기 위한 프로세서-실행가능한 프로그램 코드를 이용하여 인코딩되는 컴퓨터-판독가능한 매체를 포함한다.
이러한 예시적인 실시예들은 본 발명을 제한하거나 정의하는 것이 아니라, 본 발명의 이해를 보조하기 위한 예들을 제공하기 위해 언급된다. 예시적인 실시예들은 상세한 설명에서 논의되며, 본 발명의 추가적인 설명이 상세한 설명에 제공된다. 본 발명의 다양한 실시예들에 의해 제공되는 장점들은 본 명세서를 검토함으로써 추가로 이해될 수 있다.
본 발명의 이들 및 다른 특징들, 양상들 및 장점들은 후속하는 상세한 설명이 첨부 도면들을 참조하여 판독되는 경우 더욱 잘 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 예시의 도면이다.
도 3은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 1은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 예시의 도면이다.
도 3은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다.
본 발명의 실시예들은 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들을 제공한다.
음성-대-텍스트 변환의 햅틱 증대를 위한 예시적인 시스템
본 발명의 일 예시적인 실시예에서, 모바일 전화는 프로세서 및 프로세서와 통신하는 마이크로폰 및 스피커를 포함한다. 모바일 전화는 또한 프로세서와 통신하는 액추에이터를 포함한다. 액추에이터는 모바일 전화의 사용자에 의해 느껴질 수 있는 햅틱 효과들을 출력할 수 있다. 사용자는, 프로세서가 이후 텍스트 메시지들로 변환할 음성 메시지들을 레코딩하기 위해 전화를 사용할 수 있다. 추가로, 프로세서는 메시지의 특성들을 결정하기 위해 음성 메시지를 분석하도록 구성된다.
예를 들어, 한가지 이러한 실시예에서, 사용자의 음성 메시지의 주파수, 진폭 및 지속기간이 분석되며, 프로세서는 각각의 이들 파라미터들에 대응하는 햅틱 효과를 결정한다. 이후, 프로세서는 햅틱 효과 또는 효과들을 메시지의 텍스트 버전과 연관시키고, 메시지를 의도된 수신자에게 전송한다. 제2 실시예에서, 사용자의 바이오리듬이 분석되며, 프로세서는 사용자의 바이오리듬 응답에 대응하는 햅틱 효과를 결정한다. 이후, 위에서와 같이, 프로세서는 햅틱 효과 또는 효과들을 메시지의 텍스트 버전과 연관시키고, 메시지를 의도된 수신자에게 전송한다. 음성 분석 및 바이오리듬이 프로세서에 의해 동시에 수행되어 의도된 수신자에게 전송될 햅틱 효과의 결정에 도달할 수 있다는 점이 추가로 참작된다.
예시적인 실시예에서, 수신자는 또한 ERM(eccentric rotating mass) 모터와 같은 햅틱 효과들을 출력하기 위한 액추에이터를 포함하는 모바일 디바이스를 가진다. 수신자가 메시지를 개봉하는 경우, 메시지와 연관된 햅틱 효과 또는 효과들이 모바일 디바이스를 통해 수신자에게 출력된다.
예를 들어, 제1 사용자는 소리침으로써 메시지를 생성할 수 있다. 프로세서가 음성 메시지를 분석하는 경우, 프로세서는 결과적인 텍스트 메시지를 높은 진폭의 햅틱 효과와 연관시키고, 따라서, 수신 사용자는 메시지에 포함된 감정을 "느낄 수" 있다. 또다른 예에서, 사용자가 높은 피치의 음성으로 말하면서 음성 메시지를 생성하는 경우, 프로세서는 높은 주파수의 햅틱 효과를 결과적인 텍스트 메시지와 연관시킨다.
이들 예시적인 예들은 여기서 논의되는 일반적인 주제에 대해 독자에게 소개하기 위해 주어진다. 본 발명은 이들 예들에 제한되지 않는다. 후속하는 섹션들은 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들의 예들 및 다양한 추가적인 실시예들을 기술한다.
스피치-대-텍스트 증대를 위한 예시적인 시스템들
몇몇 도면들에 걸쳐 동일한 번호들이 동일한 엘리먼트들을 표시하는 도면들을 이제 참조하면, 도 1은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도를 도시한다. 도 1에 도시된 바와 같이, 시스템은 모바일 디바이스(100)를 포함한다. 일 실시예에서, 모바일 디바이스(100)는 모바일 전화를 포함한다. 다른 실시예들에서, 모바일 디바이스(100)는 또다른 휴대용 또는 핸드-헬드 전자 디바이스, 예를 들어, 개인 디지털 정보 단말(PDA), 휴대용 미디어 플레이어, 휴대용 게임 디바이스, 또는 랩톱 컴퓨터를 포함할 수 있다. 일부 실시예들에서, 모바일 디바이스(100)는 대신, 비-휴대용 전자 디바이스, 예를 들어, 데스크톱 컴퓨터를 포함할 수 있다.
도 1에 도시된 실시예에서, 모바일 디바이스(100)는 마이크로폰(105)을 포함한다. 마이크로폰(105)은 사용자의 음성 또는 환경 사운드와 같은 오디오를 수신하고, 오디오를 마이크로폰으로부터의 오디오 신호에 적어도 부분적으로 기초하는 대응하는 입력 신호로 변환한다. 도 1에 도시된 실시예에서, 모바일 디바이스(100)는 또한 바이오센서(106)를 포함한다. 바이오센서(106)는 사용자의 바이오리듬과 같은 생체 정보를 수신하고, 생체 정보를 바이오센서 데이터에 적어도 부분적으로 기초하여 대응하는 입력 신호로 변환한다.
모바일 디바이스(100)는 또한 마이크로폰(105)과 통신하는 프로세서(110)를 포함한다. 도시된 실시예에서, 프로세서(110)는 마이크로폰(105)으로부터의 오디오 신호를 수신하고 오디오 신호를 프로세싱하도록 구성된다. 예를 들어, 프로세서(110)는 오디오 신호를 분석하여 오디오 신호의 하나 이상의 특성들을 결정할 수 있다. 다른 실시예들에서, 모바일 디바이스(100)는 일제히 작용하는 복수의 프로세서들을 포함할 수 있다. 이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA)들 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC, 프로그램가능 인터럽트 제어기(PIC), 프로그램가능 논리 디바이스(PLD), 프로그램가능 판독 전용 메모리(PROM), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM)와 같은 프로그램가능 전자 디바이스들, 또는 다른 유사한 디바이스들을 포함할 수 있다.
모바일 디바이스(100)는 프로세서(110)와 통신하는 액추에이터(115)를 포함한다. 액추에이터(115)는 다양한 타입들의 액추에이터들 중 하나 이상을 포함할 수 있다. 예를 들어, 액추에이터(115)는 압전 액추에이터, 전자 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전자-능동 폴리머, 솔레노이드, ERM(eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA)일 수 있다. 일 실시예에서, 모바일 디바이스(100)는 복수의 액추에이터들을 포함할 수 있다. 이러한 실시예에서, 프로세서(110)는 복수의 액추에이터들 중 적어도 하나에 햅틱 신호를 송신하도록 구성된다.
여전히 도 1을 참조하면, 모바일 디바이스(100)는 또한 컴퓨터-판독가능한 매체(120)를 포함한다. 컴퓨터-판독가능한 매체(120)는, 프로세서(110)에 의해 실행되는 경우, 프로세서로 하여금 여기서 개시된 방법들의 다양한 단계들을 실행하게 하는 프로그램 코드를 저장하기 위해 사용될 수 있다. 본 발명의 실시예들은 디지털 전자 회로에서, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이들의 조합들에서 구현될 수 있다. 랜덤 액세스 메모리(RAM)와 같은 컴퓨터-판독가능한 매체(120)는 프로세서(110)와 통신하거나 프로세서(110)에 커플링된다. 프로세서(110)는 예를 들어, 오디오 신호를 분석하기 위한 하나 이상의 컴퓨터 프로그램들을 실행시키는, 컴퓨터-판독가능한 매체(120) 상에 저장된 컴퓨터-실행가능한 프로그램 명령들을 실행한다.
컴퓨터-판독가능한 매체의 실시예들은, 컴퓨터-판독가능한 명령들을 모바일 디바이스(100) 내의 프로세서(110)와 같은 프로세서에 제공할 수 있는 전자, 광학, 자기 또는 다른 저장 디바이스를 포함할 수 있지만, 이에 제한되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 제한되지 않는다. 여기서 기술되는 프로세서 및 프로세싱은 하나 이상의 구조들일 수 있으며, 하나 이상의 구조들을 통해 분산될 수 있다.
도 1에 도시된 실시예에서, 모바일 디바이스(100)는 또한 프로세서(110)와 통신하는 스피커(125)를 포함한다. 스피커(125)는 음성 메시지와 같은 오디오 신호를 출력하도록 구성된다. 일 실시예에서, 스피커(125)는 또한 액추에이터(115)와 결합되어 오디오 신호 및 햅틱 효과 모두를 출력할 수 있다.
도시된 모바일 디바이스(100)는 또한 디스플레이(140)를 포함한다. 예를 들어, 모바일 디바이스(100)가 PDA인 실시예에서, 디스플레이(140)는 사용자에게 메시지들을 디스플레이하기 위한 터치-스크린 인터페이스를 포함할 수 있다.
모바일 디바이스(100)는 또한 프로세서(110)와 통신하는 네트워크 인터페이스(135)를 포함한다. 네트워크 인터페이스(135)는 모바일 디바이스(100)로 하여금 네트워크(150)를 통해 원격 디바이스(130)와 통신하게 한다. 예를 들어, 일 실시예에서, 모바일 디바이스(100)는 인터넷을 통해 또다른 모바일 디바이스와, 또는 컴퓨터 또는 다른 통신 디바이스와 통신할 수 있다.
도 1에 도시된 실시예에서, 네트워크 인터페이스(135)는 모바일 디바이스(100)로 하여금 하나 이상의 셀룰러 전화 네트워크들을 통해 통신하게 하도록 구성되는 셀룰러 라디오 및 베이스밴드 프로세서를 포함한다. 일부 실시예들에서, 네트워크 인터페이스(135)는 다른 통신 디바이스들을 포함할 수 있다. 예를 들어, 일 실시예에서, 네트워크 인터페이스(135)는 802.11 무선 이더넷 인터페이스 또는 블루투스 인터페이스를 포함할 수 있다. 일부 실시예들에서, 네트워크 인터페이스(220)는 이더넷 어댑터와 같은 유선 네트워크 인터페이스를 포함할 수 있다. 모바일 디바이스(100)는 다른 디바이스들에 메시지들 또는 신호들을 전송하도록 구성될 수 있다.
이제 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 예시이다. 도 2에 도시된 실시예에서, 모바일 전화(200)는 마이크로폰(205) 및 디스플레이(240)를 포함한다. 모바일 전화는 또한 프로세서, 액추에이터, 컴퓨터-판독가능한 매체를 포함하며, 이들의 네트워크 인터페이스는 모바일 전화(200)에 배치되지만, 이들 중 어느 것도 도 2에 도시되지 않는다.
이제 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따라 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템의 블록도이다. 도 3에 도시된 실시예에서, 시스템은 네트워크(380)를 통해 통신하는 2개의 디바이스들인 디바이스 A(300) 및 디바이스 B(350)를 포함한다. 일부 실시예들에서, 제1 디바이스인 디바이스 A(300), 또는 제2 디바이스인 디바이스 B(350)는 휴대용 정보 단말(PDA), 휴대용 미디어 플레이어, 휴대용 게임 디바이스, 랩톱 컴퓨터, 또는 모바일 전화와 같은 휴대용 또는 핸드-헬드 전자 디바이스를 포함한다. 다른 실시예들에서, 제1 디바이스(300) 또는 제2 디바이스(350)는 데스크톱 컴퓨터와 같은 비-휴대용 전자 디바이스를 포함한다.
도 3에 도시된 실시예에서, 제1 디바이스(300)는 프로세서(310), 컴퓨터-판독가능한 매체(315), 네트워크 인터페이스(320), 및 마이크로폰/바이오센서(335)와 같은 입력 디바이스를 포함한다. 일부 실시예들에서, 제1 디바이스인 디바이스 A(300)는 또한 더 많거나 더 적은 개수의 컴포넌트들을 포함할 수 있다. 예를 들어, 디바이스 A(300)는 다음 중 하나 이상을 포함할 수 있다: 블루투스 컴포넌트들, 터치-민감형 표면, 마우스 및/또는 키보드. 디바이스 A(300)의 컴포넌트들은 도 1의 모바일 디바이스(100)에 대해 기술되고 도시된 것들에 대응하는 컴포넌트들과 유사한 방식으로 기능한다.
도 3에 도시된 실시예에서, 제2 디바이스인 디바이스 B(350)는 프로세서(360), 컴퓨터-판독가능한 매체(365), 네트워크 인터페이스(370), 및 액추에이터(375)를 포함한다. 일부 실시예들에서, 제1 디바이스(300) 및 제2 디바이스(350)는 유사하거나 동일한 디바이스들인 반면, 다른 실시예들에서 이들은 그렇지 않다.
도 3에 도시된 실시예에서, 제1 및 제2 디바이스 프로세서들(310 및 360)은 이들의 개별 네트워크 인터페이스들(320 및 370)과 통신한다. 도시된 실시예에서, 네트워크 인터페이스들(320 및 370)은 각각 디바이스들(300 및 350)로 하여금 네트워크(380)를 사용하여 서로 또는 다른 디바이스와 통신하게 하도록 구성되는 베이스밴드 프로세서 및 셀룰러 라디오를 포함한다. 예를 들어, 일부 실시예들은 하나 이상의 셀룰러 전화 네트워크들을 포함하는 네트워크(380)를 통해 통신할 수 있다. 다른 실시예들에서, 네트워크 인터페이스(320)는 다른 타입들의 네트워크 인터페이스들, 예를 들어, 802.11 무선 이더넷, 유선 이더넷, 블루투스 또는 USB를 포함할 수 있다. 예를 들어, 일 실시예에서, 네트워크 인터페이스(320)는 802.11 무선 이더넷 인터페이스를 포함할 수 있다.
스피치-대-텍스트 증대를 위한 예시적인 방법들
도 4-6은 본 발명의 실시예들에 따른 다양한 방법들을 예시하는 흐름도들이다. 흐름도들은 도 1에 도시된 모바일 디바이스(100)와 관련하여 논의되지만, 본 발명의 실시예들의 구현예에 대한 다양한 다른 환경들이 이용될 수 있으며, 몇몇 이러한 환경들이 여기에 기술된다.
도 4는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다. 도 4에 도시된 햅틱 증대 방법(400)은 입력 신호가 프로세서에 의해 수신되는 경우 시작한다(405). 일 실시예에서, 입력 신호는 예를 들어, 사용자의 음성에 의해 생성되는 음파에 대한 마이크로폰의 감지에 응답하여 마이크로폰(105)으로부터 수신된다. 또다른 실시예에서, 입력 신호는 바이오센서로부터 수신된다. 다른 실시예들에서, 오디오 신호는 저장 매체로부터 수신될 수 있다. 예를 들어, 한가지 이러한 실시예에서, 오디도 신호는 사용자의 음성 메일 박스에서 또는 사용자의 음성 메일 박스로부터 수신된다.
입력 신호가 수신되면, 프로세서(110)는 입력 신호를 분석하여 입력 신호의 하나 이상의 특성들을 결정할 수 있다(410). 예를 들어, 프로세서(110)는 오디오 신호가 특정 주파수 및/또는 진폭을 가짐을 결정할 수 있다. 또는 프로세서(110)는 바이오센서 신호가 특정 바이오리듬을 포함한다고 결정할 수 있다.
결정된 특성에 적어도 부분적으로 기초하여, 프로세서(110)는 다음으로 액추에이터 신호를 생성한다(415). 일 실시예에서, 결정은 다양한 특성들과 연관된 햅틱 효과들의 라이브러리를 탐색함으로써 달성된다. 다른 실시예들에서, 결정은 계산에 기초할 수 있다. 일부 실시예들에서, 단일 햅틱 효과가 출력된다. 다른 실시예들에서, 복수의 햅틱 효과들이 출력될 수 있다.
프로세서(110)는 다음으로 액추에이터 신호를 액추에이터(115)에 전송한다(420). 액추에이터 신호는 액추에이터(115)로 하여금 결정된 특성과 연관된 특정 햅틱 효과를 출력하게 하도록 구성된다. 액추에이터(115)가 신호를 수신하면, 액추에이터(115)는 햅틱 효과를 출력한다.
이제 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대를 위한 컴퓨터-구현 방법의 흐름도이다. 도 5에 도시된 햅틱 증대 방법(500)은 프로세서(110)가 마이크로폰 또는 바이오센서와 같은 입력 디바이스로부터 입력 신호를 수신하는 경우 시작한다(505). 도시된 실시예에서, 입력 신호는 마이크로폰(105)으로부터 수신된다.
프로세서(110)는 입력 신호의 특성을 결정하기 위해 입력 신호를 분석한다(510). 예를 들어, 특성은 오디오 신호의 주파수, 진폭, 지속기간, 또는 다른 파라미터일 수 있다. 또는 특성은 개인의 생체 측정, 예를 들어, 개인의 심박수, 호흡, 체온, 또는 바이오리듬일 수 있다.
프로세서(110)는 이후 입력 신호의 하나 이상의 특성들에 적어도 부분적으로 기초하여 하나 이상의 액추에이터 신호들을 생성한다(515). 액추에이터 신호들 각각은 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성된다.
도시된 실시예에서, 액추에이터 신호가 생성되면, 프로세서(110)는 액추에이터 신호를 하나 이상의 액추에이터들로 전송한다(520). 예를 들어, 단일 액추에이터를 포함하는 일 실시예에서, 프로세서(110)는 액추에이터 신호를 오직 해당 액추에이터(예를 들어, 액추에이터(115))에만 전송한다. 복수의 액추에이터들을 포함하는 또다른 실시예에서, 프로세서(110)는 단일 액추에이터 신호를 모든 액추에이터들에 전송한다. 또다른 실시예에서, 프로세서(110)는 별개의 그리고 잠재적으로 다른 액추에이터 신호를 복수의 액추에이터들 각각에 전송한다.
이제 도 6을 참조하면, 도 6은 본 발명의 일 실시예에 따른 음성-대-텍스트 변환의 햅틱 증대의 컴퓨터-구현 방법의 흐름도이다. 도시된 햅틱 증대 방법(600)에서, 프로세서(110)는 오디오 신호를 수신한다(605).
프로세서(110)는 이후 오디오 신호의 특성을 결정하고(610), 오디오 신호에 적어도 부분적으로 기초하여 액추에이터 신호를 생성한다(615). 액추에이터 신호는 액추에이터(115)로 하여금 햅틱 효과를 출력하게 하도록 구성된다.
프로세서(110)는 이후 스피치 인식 장치(facility)를 사용하여 오디오 신호와 연관된 워드를 결정한다(620). 예를 들어, 프로세서(110)는 오디오 신호를 워드에 매치시키기 위해 워드들 및 연관된 특성들의 리스트를 포함하는 데이터 저장소에 액세스할 수 있다.
도 6에 도시된 실시예에서, 프로세서(110)가 오디오 신호와 연관된 워드를 결정하면, 프로세서는 워드와 연관된 액추에이터 신호를 결정한다(625). 예를 들어, 액추에이터 신호는 오디오 신호와 연관된 워드를 결정하기 위해 사용되는 것과 동일한 데이터 저장소에 저장될 수 있다. 다른 실시예들에서, 데이터 저장소는 별개이며 다르다. 또다른 실시예에서, 햅틱 탈출 워드가 구현된다. 이러한 실시예에서, 사용자가 특정 워드 시퀀스를 말하는 경우, 햅틱 효과가 해당 시퀀스와 연관된다. 예를 들어, 사용자가 특정 햅틱 효과를 트리거링하기 위해 "윙크 윙크"를 말할 수 있는데, 이는 햅틱콘으로서 참조될 수 있다.
프로세서(110)가 워드 및 액추에이터 신호를 결정하면, 프로세서(110)는 이들을 액추에이터(115)에 전송한다(620). 상기 워드 및 액추에이터 신호를 수신하는 디바이스는 이후 햅틱 효과를 출력할 수 있다.
음성-대-텍스트 증대의 예시적인 구현예들
본 발명의 실시예들은 다양한 사용자 경험들을 제공하기 위해 다양한 방식들로 구현될 수 있다. 후속하는 예들은 도 1에 관련하여 기술된다. 이들 예들 중 일부에 대해, 메시지를 송신하는 제1 사용자 및 메시지를 수신하는 제2 사용자가 모두 도 1에 예시된 모바일 디바이스(100)를 사용한다고 가정된다. 예를 들어, 도 1에 도시된 실시예에서, 송신 사용자는 모바일 디바이스(100)를 통해 수신 사용자에게 텍스트 메시지를 송신하기를 원할 수 있다. 텍스트 메시지를 타이핑하기 위해 키보드를 사용하는 것 대신, 송신 사용자는 음성 메시지가 수신 사용자에게 송신될 텍스트 메시지로 변환되는 것을 원할 수 있다. 따라서, 송신 사용자는 마이크로폰(105)에 말할 수 있고, 이는 대응하는 오디오 신호를 생성하여 오디오 신호를 프로세서(110)에 전송한다. 프로세서(110)는 또한 스피치를 텍스트로 동시에 또는 거의 동시에 변환할 수 있다. 이러한 스피치를 텍스트로 변환하는 프로세스들은 당업자에게 알려져 있다. 한가지 이러한 애플리케이션은 SpinVox라는 명칭의 회사에 의해 제조된다.
프로세서(110)는 송신 사용자의 오디오 신호를 수신하고 오디오 신호의 특성을 결정한다. 특성은 오디오 신호의 주파수, 진폭, 지속기간 또는 다른 파라미터일 수 있다. 프로세서(110)는 이후 송신 사용자에 의해 생성되는 오디오 신호의 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성한다. 프로세서(110)는 이후 액추에이터(115)에 액추에이터 신호를 전송하는데, 이는 액추에이터(115)로 하여금 햅틱 효과를 출력하게 한다. 햅틱 효과는 사용자에 의해 느껴질 수 있다.
예를 들어, 송신 사용자가 모바일 디바이스(100)의 마이크로폰(105)에 외치는 경우, 프로세서(110)는 오디오 신호가 높은 진폭 특성을 가진다고 결정할 수 있다. 프로세서(110)는 이후 액추에이터(115)로 하여금 높은 진폭의 햅틱 효과를 출력하게 하도록 구성되는 높은 진폭의 액추에이터 신호를 생성할 수 있다. 따라서, 햅틱 효과는 원래 오디오 신호의 진폭 특성에 대응한다.
일부 실시예들에서, 프로세서(110)는 액추에이터 신호 및 오디오 신호 모두를 각각 액추에이터(115) 및 스피커(125)로 전송하도록 구성될 수 있다. 예를 들어, 제1 사용자가 모바일 디바이스(100)에 외치고 프로세서가 대응하는 높은 진폭의 액추에이터 신호를 생성하는 위의 예를 다시 참조하면, 프로세서(110)는 송신 사용자의 외침으로부터의 오디오 신호 및 결과적인 높은 진폭의 액추에이터 신호를 각각 스피커(125) 및 액추에이터(115)에 전송하도록 구성될 수 있다. 일부 실시예들에서, 스피커(125)는 액추에이터 신호 및 오디오 신호 모두를 출력하여, 햅틱 효과 및 대응하는 사운드 모두를 생성하도록 구성될 수 있다.
또다른 실시예에서, 프로세서(110)는 오디오 신호와 연관된 워드를 결정하고 워드 및 대응하는 액추에이터 신호를 원격 디바이스(130)에 전송하도록 구성될 수 있다. 예를 들어, 이러한 실시예에서, 송신 사용자가 마이크로폰(105)에 "ANGRY"를 외치는 경우, 프로세서(110)는 송신 사용자의 외침으로부터 오디오 신호를 수신하고, 오디오 신호의 높은 진폭 특성을 결정하고, 액추에이터(115)로 하여금 높은 진폭의 햅틱 효과를 출력하게 하도록 구성되는 높은 진폭의 액추에이터 신호를 생성할 수 있다. 프로세서(110)는 또한, 워드 "ANGRY"가 오디오 신호와 연관된다고 결정할 수 있고, 워드 "ANGRY" 및 높은 진폭의 액추에이터 신호를 컴퓨터-판독가능한 매체(120)에 저장할 수 있고, 이후 워드 "ANGRY"및 높은 진폭의 액추에이터 신호를 원격 디바이스(130)에 전송할 수 있다. 또다른 실시예에서, 송신 사용자는 일반적인 음성 톤으로 워드 "ANGRY"를 속삭이거나 말할 수 있지만, 프로세서(110)는 통신 시에 워드의 속성, 즉, 컨텐츠에 기초하여 여전히 높은 진폭의 액추에이터 신호를 상기 워드와 연관시킬 수 있다.
또한, 도 1에 도시된 실시예에서, 프로세서(110)는 오디오 신호에 적어도 부분적으로 기초하여 복수의 햅틱 효과들을 생성하도록 구성될 수 있다. 예를 들어, 송신 사용자가 "ANGRY"를 마이크로폰(105)에 외치는 것의 결과로서 프로세서(110)가 단일의 높은 진폭의 액추에이터 신호를 생성하는 것에 추가하여, 프로세서(110)는 또한 높은 주파수의 햅틱 효과, 긴 지속기간의 햅틱 효과, 또는 오디오 신호에 적어도 부분적으로 기초하는 햅틱 효과들의 임의의 조합을 생성할 수 있다.
일 실시예에서, 프로세서(110)는 특성과 연관된 햅틱 효과 라이브러리로부터 햅틱 효과를 식별함으로써 액추에이터 신호를 생성한다. 예를 들어, 송신 사용자가 마이크로폰(105)에 "I AM EXCITED"라고 외치는 경우, 프로세서(110)는 송신 사용자의 외침으로부터 오디오 신호를 수신하고, 오디오 신호의 높은 진폭의 높은 주파수 특성을 결정하고, 높은 진폭의 높은 주파수 특성과 연관된 햅틱 효과 라이브러리로부터 높은 진폭의 높은 주파수의 햅틱 효과를 식별함으로써 높은 진폭의 높은 주파수의 액추에이터 신호를 생성할 수 있다.
또다른 실시예에서, 프로세서(110)는 오디오 신호와 연관된 워드를 결정하고, 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성할 수 있다. 예를 들어, 프로세서(110)가 워드 "LOVE"가 오디오 신호와 연관된다고 결정하는 경우, 프로세서(110)는 워드 "LOVE"를 해당 특정 햅틱 효과와 연관시키는 햅틱 효과 라이브러리에서 워드 "LOVE"를 식별함으로써 시뮬레이팅된 심박 햅틱 효과를 야기하는 펄싱 액추에이터 신호를 생성할 수 있다.
또다른 실시예에서, 프로세서(110)는 오디오 신호에 적어도 부분적으로, 그리고 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성할 수 있다. 예를 들어, 송신 사용자가 마이크로폰(105)에 부드럽게 그리고 천천히 "LOVE"를 말하는 경우, 프로세서(110)는 송신 사용자의 발언(statement)으로부터 오디오 신호를 수신할 수 있고, 오디오 신호의 낮은 진폭의 낮은 주파수 특성을 결정할 수 있고, 낮은 진폭의 낮은 주파수의 액추에이터 신호를 생성할 수 있다. 프로세서(110)는 또한, 워드 "LOVE"가 오디오 신호와 연관됨을 결정할 수 있고, 워드 "LOVE"를 해당 특정 햅틱 효과와 연관시키는 햅틱 효과 라이브러리에서 워드 "LOVE"를 식별함으로써 시뮬레이팅된 심박 햅틱 효과를 야기하는 펄싱 액추에이터 신호를 생성할 수 있다. 프로세서(110)는 이후 "LOVE" 오디오 신호의 특성에 의해, 그리고 워드 "LOVE"의 특성에 의해 결정되는 햅틱 효과들을 결합시켜서 낮은 진폭의 낮은 주파수의 시뮬레이팅된 심박 햅틱 효과를 초래하도록 구성될 수 있다.
또다른 실시예에서, 송신 사용자는 모바일 디바이스(100)를 통해 송신 사용자에게 메시지를 송신하기를 원할 수 있다. 송신 사용자는 모바일 디바이스(100)의 마이크로폰(105)에 "HAPPY BIRTHDAY"를 말할 수 있다. 그 응답으로, 프로세서(110)는 워드들 "HAPPY" 및 "BIRTHDAY"가 오디오 신호와 연관됨을 결정할 수 있으며, 프로세서(110)가 액추에이터(115)로 전송하는, 각각의 워드와 연관된 별도의 햅틱 효과를 결정할 수 있다. 일 실시예에서, 프로세서는 "Happy Birthday" 노래에 대응하는 햅틱 효과가 수신 사용자의 디바이스의 액추에이터에 전송되게 하는 펄싱 액추에이터 신호를 생성한다.
또다른 실시예에서, 모바일 디바이스(100)의 프로세서(110)는 오디오 신호에 적어도 부분적으로, 그리고 오디오 신호에 포함된 워드에 적어도 부분적으로 기초하여 액추에이터 신호를 생성할 수 있다. 예를 들어, 송신 사용자가 모바일 디바이스(100)의 마이크로폰(105)에 부드럽게 그리고 천천히 "CAT"을 말하는 경우, 프로세서(110)는 송신 사용자의 발언으로부터 오디오 신호를 수신하고, 오디오 신호의 낮은 진폭, 낮은 주파수 특성을 결정하고, 낮은 진폭의 낮은 주파수의 액추에이터 신호를 생성할 수 있다. 대안적으로, 프로세서(110)는 워드 "CAT"이 오디오 신호와 연관됨을 결정할 수 있고, 가르랑거리는(purring) 햅틱 효과를 야기하는 고속-펄싱 액추에이터 신호를 생성할 수 있다.
도 3을 참조하면, 또다른 실시예에서, 송신 사용자는 모바일 전화를 포함하는 제1 디바이스(300)의 입력 디바이스(335), 예를 들어, 마이크로폰으로 "HELP"라고 소리칠 수 있다. 제1 디바이스(300)의 프로세서(310)는 마이크로폰(335)으로부터 오디오 신호를 수신하고, 오디오 신호의 높은 진폭의 긴 지속기간 특성을 결정하고, 높은 진폭의 짧은 지속기간의 액추에이터 신호를 생성할 수 있다. 유사하게, 제1 디바이스(300)의 프로세서(310)는 오디오 신호와 연관된 워드 "HELP"를 결정하고, 컴퓨터-판독가능 매체(315)에 워드 "HELP" 및 액추에이터 신호를 저장하도록 구성될 수 있다. 또한, 제1 디바이스(300)의 프로세서(310)는 높은 진폭의 짧은 지속기간 특성과 연관된 햅틱 효과 라이브러리로부터 높은 진폭의 짧은 지속기간의 햅틱 효과를 식별함으로써 높은 진폭의 짧은 지속기간의 액추에이터 신호를 생성하도록 구성될 수 있다. 유사하게, 제1 디바이스(300)의 프로세서(310)는 워드 "HELP"를 해당 특정 햅틱 효과와 연관시키는 햅틱 효과 라이브러리에서 워드 "HELP"를 식별함으로써 펄싱 모스 코드 S.O.S. 햅틱 효과(단-단-단 장-장-장 단-단-단)를 야기하는 높은 진폭의 짧은 지속기간 액추에이터 신호를 생성하도록 구성될 수 있다.
도 3을 참조하면, 또다른 실시예에서, 제1 디바이스(300)는 송신 사용자 디바이스이며, 이것이 미리 정의된 환경 사운드들에 기초하여 제2 수신 디바이스(350)에 햅틱, 청각적 및/또는 시각적 메시지들을 자동으로 전송하는 자동화된 "리스닝" 응답 모드에 있도록 구성된다. 예를 들어, 경찰관이 자동화된 "리스닝" 응답 모드인 자신의 모바일 디바이스를 가지는 송신 사용자인 경우, 그의 디바이스는 경찰관의 디바이스에 의해 발포 사운드가 식별되는 경우 지원 또는 경찰관 백업 요청을 자동으로 전송하도록 구성될 수 있다. 이러한 리스닝 모드의 또다른 예에서, 경찰관의 디바이스는 경찰관의 바이오리듬을 리스닝할 수 있으며, 경찰관이 의료 처치를 요구함을 검출할 수 있고 자동으로 앰뷸런스에 대한 요청을 전송한다. 이러한 요청들의 전송은 작업 특정적이며 로컬화될 수 있다. 예를 들어, 전송은 경찰관의 팀 멤버들과 같은 하나 이상의 근처 수신자들에게 전달될 수 있다. 예를 들어, 경찰관 그룹이 도망자의 공조 탐색을 수행하고 있으며, 경찰관들 중 하나가 도망자를 찾아내는 경우(locate), 경찰관의 "리스닝" 디바이스는 도망자의 위치에 가까운 경찰관을 도울 주변 경찰관들에게 자동화된 메시지를 전송할 수 있다. 이러한 특징은, 예를 들어, 경찰관이 도망자와 격투중이거나 추격 중인 경우, 그 경찰관이 동료 경찰관들에게 이러한 정보를 물리적으로 전달할 수 없을 때 매우 유용하다.
이러한 실시예들에서, 결과적인 오디오 신호, 워드들, 액추에이터 신호, 및/또는 햅틱 효과들은 이들의 개별 네트워크 인터페이스들(320 및 370)을 통해 그리고 네트워크(380)를 통해 제1 디바이스(300)로부터 제2 디바이스(350)로 전송될 수 있다. 예를 들어, 워드 "HELP" 및 워드 "HELP"와 연관된 높은 진폭의 짧은 지속기간의 모스 코드 S.O.S. 햅틱 효과는 모바일 전화를 포함하는 제1 디바이스(300)로부터 또한 모바일 전화를 포함하는 제2 디바이스(350)로, 전화 네트워크를 포함하는 네트워크(380)를 통해 전송될 수 있다. 따라서, 제1 디바이스(300)의 송신 사용자는 햅틱 효과를 가지는 음성-대-텍스트 메시지를 제2 디바이스(350)의 수신 사용자에게 전송할 수 있다. 다른 실시예들에서, 오직 오디오 신호만이 제1 디바이스(300)로부터, 이후 신호를 분석하고 임의의 연관된 햅틱 효과들을 생성하는 제2 디바이스(350)로 전송될 수 있다.
구현에 대한 예시적인 환경들
본 발명의 실시예들은 장애인을 위한 통신의 상황에서 유리하게 사용될 수 있다. 예를 들어, 실시예들은 전화선을 통한 텍스트 통신을 위한 전자 디바이스에 의해 청취 또는 스피치의 어려움들을 가지는 사람들을 보조하는 TTY(전화 타이프라이터) 응용예들에서 유용할 수 있다. 장애인이 종래의 TTY 디바이스를 사용하는 경우, 텍스트의 속성으로 인해 메시지의 감정 및 느낌은 통상적으로 유실된다. 본 발명의 실시예를 사용하여, 장애인은 마이크로폰에 말할 수 있고, 메시지와 연관된 임의의 느낌이 유실되는 종래의 TTY 디바이스 상에서 텍스트 메시지를 직접 타이핑하는 것 대신, 햅틱 효과들을 통해 음성-대-텍스트 메시지 뒤의 감정을 보존할 수 있다.
본 발명의 실시예들은 또한 SMS 텍스트 메시징 상황에서 유리하게 사용될 수 있다. 예를 들어, 많은 주들(states)에서, 자동차를 운전하는 동안 모바일 전화상에서의 텍스트 메시징 및 말하기를 금지하지만, 상기 동일한 주들은 통상적으로, 운전자로 하여금 무선 블루투스 이어폰 또는 유선 마이크로폰 및 이어폰과 같은 핸즈프리 디바이스를 사용하여 운전하는 동안 말하는 것을 허용한다. 그러나 이들 핸즈프리 디바이스들은 자동차를 운전하는 동안 텍스트 메시지를 송신하는 것을 보조하지 않는다. 본 발명의 실시예를 사용하여, 운전자는 마이크로폰에 말하여 자신의 음성 메시지를 연관된 햅틱 효과들을 가지는 텍스트 메시지로 변환할 수 있다. 본 발명의 실시예는 드라이버로 하여금 운전하는 동안 합법적으로 그리고 안전하게 텍스트 메시지를 송신하게 할 뿐만 아니라, 이는 햅틱 효과들을 통해 음성 메시지로부터의 감정을 보존하여 송신 사용자로 하여금 수신 사용자에게 자신의 감정을 전달하게 한다.
본 발명의 실시예들은 또한 온라인 채팅 상황 또는 이메일 상황에서 유리하게 사용될 수 있다. 송신 사용자는 마이크로폰에 말하여, 자신의 음성 메시지를 인터넷을 통해 수신 사용자에게 송신될 이메일 또는 채팅을 위한 텍스트 메시지로 변환되게 할 수 있다. 음성 메시지와, 또는 결과적인 채팅 메시지 또는 이메일의 워드들과 연관된 햅틱 효과는 채팅 메시지 또는 이메일과 함께 송신되어 광범위한 감정들, 예를 들어, 풍자, 진심, 또는 분노, 및 다른 컨텐츠 및 서브텍스트가 전달되게 한다. 이러한 실시예는 송신 사용자가 더 자유롭게 컴퓨터 네트워크 상에서 원하는 메시지를 표현하게 한다.
본 발명의 실시예들은 또한 의료 상황에서 유리하게 사용될 수 있다. 예를 들어, 사지마비이거나 그렇지 않은 경우 장애인인 환자는 음성 메시지들의 사용을 통해 그리고 햅틱 응답들을 수신함으로써 컴퓨터 또는 전화와 상호작용할 수 있다. 침대에 컴퓨터와 무선으로 접속되는 하나 이상의 액추에이터들이 준비될 수 있다. 송신 또는 수신 사용자로부터의 텍스트 메시지들로 변환되는 음성 메시지들에 기초하여, 다양한 햅틱 효과들이 입력되고 출력될 수 있다. 사용자가 시각 및/또는 청각 장애인이고, 따라서 사용가능한 통신 채널들의 수가 감소하거나 제한되는 경우, 유사한 장점들이 구현될 수 있다. 본 발명의 실시예는 또한, 그렇지 않은 경우 청각적 또는 시각적 응답들에 간섭할 수 있는 시끄럽거나 밝은 환경들에서 유리하게 사용될 수 있다. 예를 들어, 본 발명의 일 실시예에서, 넘어진 노인은 본 발명의 실시예로부터의 햅틱 피드백을 송신 또는 수신하여 도움이 필요하거나 도움을 받고 있음을 긴급 서비스측에 표시할 수 있다.
본 발명의 일부 실시예들은 또한 군 상황에서도 유용할 수 있다. 예를 들어, 변환 동작시에, 오디오 채널은 특정 타입들의 통신에 제한되거나 사용가능하지 않을 수 있다. 본 발명의 일 실시예에서, 사용자들은 음성 메시지를 송신할 수 없는 군 정보원으로부터 햅틱 확인을 통해 텍스트 메시지를 획득할 수 있다. 예를 들어, 병사는 텍스트로 변환되고 또다른 병사에게 텍스트 및 햅틱 효과로서 전송되는 명령에 대한 응답을 음성화할 수 있다. 이러한 실시예에서, 병사들은 하나 이상의 병사들 사이의 효과적인 통신을 허용하도록 햅틱 패턴들의 설정된 세트를 사용할 수 있다. 예를 들어, 장교는 음성 통신이 안전한 것으로 간주되는 영역 내에 있을 수 있고, 적진 환경을 통과하는 병사들의 그룹의 진행을 모니터링할 수 있다. 장교는 병사들이 좌측으로 가야한다는 것을 지시하기 위한 구두상의 명령을 내릴 수 있다. 음성 명령이 인식되어 병사들에게 텍스트 메시지 및 햅틱 효과로서 전송될 수 있다.
종합
본 발명이 몇몇 바람직한 실시예들의 견지에서 기술되었지만, 이들의 변경, 치환 및 등가물들이 본 명세서의 판독 및 도면 연구시에 당업자에게 명백할 것이라는 점이 참작된다. 예를 들어, 게임 프로그램들, 가상 현실 프로그램들 및 환경들, 사업 미팅을 위한 화상 회의 애플리케이션들, 컴퓨터 네트워크들 또는 다른 통신 채널들을 통한 전화-타입 음성 통신들 등을 포함하는 많은 상이한 응용 프로그램들이 본 발명의 음성-대-텍스트 메시징 기능들을 사용할 수 있다. 또한, 특정 용어들은 본 발명을 제한하는 것이 아닌 설명의 명료성의 목적으로 사용되었다. 따라서, 후속하는 첨부된 청구항들은 모든 이러한 변경들, 치환들 및 등가물들을 본 발명의 진의 및 범위 내에 드는 것으로서 포함하도록 의도된다.
따라서, 본 발명의 바람직한 실시예들을 포함하는 실시예들의 이전 설명은 오직 예시 및 설명의 목적으로 제시되며, 빠짐없는 것으로, 또는 개시된 상세한 형태로 본 발명을 제한하는 것으로 의도되지 않는다. 본 발명의 다수의 수정들 및 적응예들은 본 발명의 진의 및 범위로부터 벗어나지 않고 당업자에게 명백할 것이다.
Claims (24)
- 컴퓨터 구현 방법으로서,
음성, 환경 사운드, 또는 바이오리듬 중 하나와 연관된 입력 신호를 수신하는 단계;
상기 입력 신호의 특성을 결정하는 단계; 및
상기 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하는 단계
를 포함하고,
상기 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성되는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 특성은 주파수, 진폭 또는 지속기간 중 하나를 포함하는 컴퓨터 구현 방법. - 제2항에 있어서,
상기 특성은 높은 진폭을 포함하고, 상기 액추에이터 신호는 상응하여 높은 진폭의 액추에이터 신호를 포함하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 입력 신호를 수신하는 단계는 마이크로폰으로부터 오디오 신호를 수신하는 단계를 포함하는 컴퓨터 구현 방법. - 제4항에 있어서,
상기 오디오 신호 및 상기 액추에이터 신호를 출력하도록 구성되는 디바이스에 상기 오디오 신호 및 상기 액추에이터 신호를 전송하는 단계
를 더 포함하는 컴퓨터 구현 방법. - 제4항에 있어서,
상기 오디오 신호와 연관된 워드를 결정하는 단계; 및
원격 디바이스에 상기 워드 및 상기 액추에이터 신호를 전송하는 단계
를 더 포함하는 컴퓨터 구현 방법. - 제1항에 있어서,
액추에이터에 상기 액추에이터 신호를 전송하는 단계
를 더 포함하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 특성에 적어도 부분적으로 기초하여 복수의 햅틱 효과들을 생성하는 단계
를 더 포함하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 액추에이터 신호를 생성하는 단계는 상기 특성과 연관된 햅틱 효과 라이브러리로부터 햅틱 효과를 선택하는 단계를 포함하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 입력 신호를 수신하는 단계는 바이오센서로부터 바이오리듬 신호를 수신하는 단계를 포함하는 컴퓨터 구현 방법. - 프로세서 실행가능한 프로그램 코드를 가지고 인코딩되는 컴퓨터-판독가능한 매체로서,
음성, 환경 사운드, 또는 바이오리듬 중 하나와 연관된 입력 신호를 수신하기 위한 프로그램 코드;
상기 입력 신호의 특성을 결정하기 위한 프로그램 코드; 및
상기 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하기 위한 프로그램 코드
를 포함하고,
상기 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성되는 컴퓨터-판독가능한 매체. - 제11항에 있어서,
상기 특성은 주파수, 진폭 또는 지속기간 중 하나를 포함하는 컴퓨터-판독가능한 매체. - 제11항에 있어서,
액추에이터에 상기 액추에이터 신호를 전송하기 위한 프로그램 코드
를 더 포함하는 컴퓨터-판독가능한 매체. - 제11항에 있어서,
상기 입력 신호 및 상기 액추에이터 신호를 출력하도록 구성되는 디바이스에 상기 입력 신호 및 상기 액추에이터 신호를 전송하기 위한 프로그램 코드
를 더 포함하는 컴퓨터-판독가능한 매체. - 제11항에 있어서,
상기 입력 신호와 연관된 워드를 결정하기 위한 프로그램 코드; 및
원격 디바이스에 상기 워드 및 상기 액추에이터 신호를 전송하기 위한 프로그램 코드
를 더 포함하는 컴퓨터-판독가능한 매체. - 제11항에 있어서,
상기 특성에 적어도 부분적으로 기초하여 복수의 햅틱 효과들을 생성하기 위한 프로그램 코드
를 더 포함하는 컴퓨터-판독가능한 매체. - 시스템으로서,
메모리; 및
상기 메모리와 통신하며,
음성, 환경 사운드, 또는 바이오리듬 중 하나와 연관된 입력 신호를 수신하고;
상기 입력 신호의 특성을 결정하고; 그리고
상기 입력 신호의 특성에 적어도 부분적으로 기초하여 액추에이터 신호를 생성하도록 구성되는 프로세서
를 포함하고,
상기 액추에이터 신호는 액추에이터로 하여금 햅틱 효과를 출력하게 하도록 구성되는 시스템. - 제17항에 있어서,
상기 프로세서는:
상기 입력 신호와 연관된 워드를 결정하고; 그리고
원격 디바이스에 상기 워드 및 상기 액추에이터 신호를 전송하도록 더 구성되는 시스템. - 제17항에 있어서,
상기 프로세서는 상기 특성에 적어도 부분적으로 기초하여 복수의 액추에이터 신호들을 생성하도록 더 구성되는 시스템. - 제17항에 있어서,
상기 프로세서는 상기 특성과 연관된 햅틱 효과 라이브러리로부터 햅틱 효과를 식별함으로써 상기 액추에이터 신호를 생성하도록 구성되는 시스템. - 제17항에 있어서,
상기 프로세서와 통신하는 마이크로폰
을 더 포함하고, 상기 마이크로폰은:
구두상의 텍스트 입력을 수신하고;
상기 구두상의 텍스트 입력에 대응하는 오디오 신호를 생성하고; 그리고
상기 오디오 신호를 상기 입력 신호로서 상기 프로세서에 전송하도록 구성되는 시스템. - 제17항에 있어서,
상기 프로세서와 통신하는 액추에이터를 더 포함하고, 상기 액추에이터는 상기 액추에이터 신호를 수신하고 햅틱 효과를 출력하도록 구성되는 시스템. - 제17항에 있어서,
바이오리듬 신호를 결정하고 상기 바이오리듬 신호에 적어도 부분적으로 기초하여 상기 입력 신호를 생성하도록 구성되는 바이오센서를 더 포함하는 시스템. - 제17항에 있어서,
상기 메모리, 상기 프로세서 및 상기 액추에이터를 포함하기 위한 하우징을 더 포함하는 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/608,707 US8902050B2 (en) | 2009-10-29 | 2009-10-29 | Systems and methods for haptic augmentation of voice-to-text conversion |
US12/608,707 | 2009-10-29 | ||
PCT/US2010/054212 WO2011059703A1 (en) | 2009-10-29 | 2010-10-27 | Systems and methods for haptic augmentation of voice-to-text conversion |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177012443A Division KR101860281B1 (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120102655A true KR20120102655A (ko) | 2012-09-18 |
KR101735665B1 KR101735665B1 (ko) | 2017-05-15 |
Family
ID=43382350
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127013605A KR101735665B1 (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
KR1020197006524A KR20190026970A (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
KR1020177012443A KR101860281B1 (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
KR1020187003207A KR101956796B1 (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020197006524A KR20190026970A (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
KR1020177012443A KR101860281B1 (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
KR1020187003207A KR101956796B1 (ko) | 2009-10-29 | 2010-10-27 | 음성-대-텍스트 변환의 햅틱 증대를 위한 시스템들 및 방법들 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8902050B2 (ko) |
EP (2) | EP3352055A1 (ko) |
JP (4) | JP5899116B2 (ko) |
KR (4) | KR101735665B1 (ko) |
CN (2) | CN109144255A (ko) |
WO (1) | WO2011059703A1 (ko) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
US8279052B2 (en) | 2009-11-04 | 2012-10-02 | Immersion Corporation | Systems and methods for haptic confirmation of commands |
US8718536B2 (en) | 2011-01-18 | 2014-05-06 | Marwan Hannon | Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle |
US8686864B2 (en) | 2011-01-18 | 2014-04-01 | Marwan Hannon | Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle |
US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448713B2 (en) | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
US10191546B2 (en) * | 2011-06-20 | 2019-01-29 | Immersion Corporation | Haptic theme framework |
KR101880764B1 (ko) * | 2012-02-03 | 2018-07-20 | 임머숀 코퍼레이션 | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 |
US9715276B2 (en) * | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US8860563B2 (en) * | 2012-06-14 | 2014-10-14 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
US9092059B2 (en) * | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US20140129347A1 (en) * | 2012-11-05 | 2014-05-08 | Anantha Pradeep | Intelligent and informed advertisement creation |
KR101427993B1 (ko) * | 2012-12-17 | 2014-08-08 | 포항공과대학교 산학협력단 | 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 |
US10504339B2 (en) | 2013-02-21 | 2019-12-10 | Immersion Corporation | Mobile device with instinctive alerts |
US8754757B1 (en) * | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
US9866924B2 (en) * | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
JP6335613B2 (ja) | 2013-04-26 | 2018-05-30 | イマージョン コーポレーションImmersion Corporation | 触覚使用可能な適合的及び多面的ディスプレイのためのシステム及び方法 |
US9939900B2 (en) * | 2013-04-26 | 2018-04-10 | Immersion Corporation | System and method for a haptically-enabled deformable surface |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9898085B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
US9711014B2 (en) * | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9619980B2 (en) * | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9443401B2 (en) * | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US20150081210A1 (en) * | 2013-09-17 | 2015-03-19 | Sony Corporation | Altering exercise routes based on device determined information |
US9639158B2 (en) | 2013-11-26 | 2017-05-02 | Immersion Corporation | Systems and methods for generating friction and vibrotactile effects |
CN104683781B (zh) * | 2013-11-26 | 2016-08-17 | 深圳市快播科技有限公司 | 视频播放处理方法及装置 |
US20150179188A1 (en) * | 2013-12-20 | 2015-06-25 | Speech Morphing, Inc. | Method and apparatus for hearing impaired assistive device |
US9652946B2 (en) * | 2014-05-02 | 2017-05-16 | Novasentis, Inc. | Hands-free, wearable vibration devices and method |
US9690381B2 (en) | 2014-08-21 | 2017-06-27 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
US20160125709A1 (en) * | 2014-10-31 | 2016-05-05 | Novasentis, Inc. | Haptics wristband |
US9535550B2 (en) | 2014-11-25 | 2017-01-03 | Immersion Corporation | Systems and methods for deformation-based haptic effects |
US9466188B2 (en) | 2014-12-24 | 2016-10-11 | Immersion Corporation | Systems and methods for haptically-enabled alarms |
US10269392B2 (en) | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
US10216277B2 (en) * | 2015-02-25 | 2019-02-26 | Immersion Corporation | Modifying haptic effects for slow motion |
US20160246378A1 (en) * | 2015-02-25 | 2016-08-25 | Immersion Corporation | Systems and methods for providing context-sensitive haptic notification frameworks |
KR20160105321A (ko) | 2015-02-27 | 2016-09-06 | 임머숀 코퍼레이션 | 사용자의 무드에 기초하는 액션 생성 |
US9407989B1 (en) | 2015-06-30 | 2016-08-02 | Arthur Woodrow | Closed audio circuit |
CA2992459A1 (en) | 2015-07-14 | 2017-01-19 | Driving Management Systems, Inc. | Detecting the location of a phone using rf wireless and ultrasonic signals |
EP3147538A1 (en) | 2015-09-23 | 2017-03-29 | Inovacor Ab | Compound planet gear arrangement and drive train arrangement |
US20170193767A1 (en) * | 2015-12-30 | 2017-07-06 | Parihug | Haptic communication device and system for transmitting haptic interaction |
US10438609B2 (en) * | 2016-01-14 | 2019-10-08 | George Brandon Foshee | System and device for audio translation to tactile response |
KR101862337B1 (ko) * | 2016-03-24 | 2018-05-31 | 주식회사 닷 | 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
JP6401758B2 (ja) * | 2016-08-25 | 2018-10-10 | 株式会社ファセテラピー | 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器 |
EP3509549A4 (en) * | 2016-09-06 | 2020-04-01 | Neosensory, Inc. | METHOD AND SYSTEM FOR PROVIDING ADDITIONAL SENSORY INFORMATION TO A USER |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
US10154360B2 (en) * | 2017-05-08 | 2018-12-11 | Microsoft Technology Licensing, Llc | Method and system of improving detection of environmental sounds in an immersive environment |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US9997086B1 (en) * | 2017-11-29 | 2018-06-12 | Richard P. Braden | Handheld communication device and method(s) of use |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10832537B2 (en) * | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US10360775B1 (en) * | 2018-06-11 | 2019-07-23 | Immersion Corporation | Systems and methods for designing haptics using speech commands |
CN112368056A (zh) * | 2018-07-10 | 2021-02-12 | 索尼互动娱乐股份有限公司 | 控制器设备及其控制方法 |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
CN110010151A (zh) * | 2018-12-31 | 2019-07-12 | 瑞声科技(新加坡)有限公司 | 一种音频信号处理方法及设备、存储介质 |
US20200313529A1 (en) | 2019-03-29 | 2020-10-01 | Cirrus Logic International Semiconductor Ltd. | Methods and systems for estimating transducer parameters |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US12035445B2 (en) | 2019-03-29 | 2024-07-09 | Cirrus Logic Inc. | Resonant tracking of an electromagnetic load |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
KR20220024091A (ko) | 2019-06-21 | 2022-03-03 | 시러스 로직 인터내셔널 세미컨덕터 리미티드 | 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치 |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
JPWO2023276130A1 (ko) * | 2021-07-01 | 2023-01-05 | ||
CN117813573A (zh) * | 2021-10-12 | 2024-04-02 | 索尼集团公司 | 信息处理系统、控制方法和控制程序 |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
US11809630B1 (en) | 2022-04-21 | 2023-11-07 | Meta Platforms Technologies, Llc | Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof |
EP4276825A1 (en) * | 2022-05-12 | 2023-11-15 | BIC Violex Single Member S.A. | Writing instrument |
CN115826770A (zh) * | 2022-10-26 | 2023-03-21 | 瑞声开泰声学科技(上海)有限公司 | 触觉反馈方法和装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU1328597A (en) * | 1995-11-30 | 1997-06-19 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
JPH09206291A (ja) * | 1996-02-02 | 1997-08-12 | Japan Small Corp | 人の感情・状態を検出する装置 |
GB2311888B (en) * | 1996-04-01 | 2000-10-25 | John Christian Doughty Nissen | Tactile system for computer dynamic display and communication |
JPH10111786A (ja) * | 1996-10-03 | 1998-04-28 | Sharp Corp | リズム制御対話装置 |
US7107539B2 (en) * | 1998-12-18 | 2006-09-12 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
JP2001344352A (ja) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | 生活支援装置および生活支援方法および広告情報提供方法 |
US7159008B1 (en) * | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
JP3824848B2 (ja) * | 2000-07-24 | 2006-09-20 | シャープ株式会社 | 通信装置および通信方法 |
JP2002314963A (ja) * | 2001-04-18 | 2002-10-25 | Nippon Telegr & Teleph Corp <Ntt> | コミュニケーションシステム |
JP3764663B2 (ja) * | 2001-09-14 | 2006-04-12 | 独立行政法人電子航法研究所 | 心身診断システム |
US7251605B2 (en) | 2002-08-19 | 2007-07-31 | The United States Of America As Represented By The Secretary Of The Navy | Speech to touch translator assembly and method |
US7155389B2 (en) | 2002-11-12 | 2006-12-26 | The United States Of America As Represented By The Secretary Of The Navy | Discriminating speech to touch translator assembly and method |
JP2004237022A (ja) * | 2002-12-11 | 2004-08-26 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP4232453B2 (ja) * | 2002-12-18 | 2009-03-04 | 株式会社デンソー | 通話音声のテキスト変換システム |
JP3955950B2 (ja) * | 2003-03-11 | 2007-08-08 | 独立行政法人産業技術総合研究所 | 音声情報伝達装置及び方法 |
EP1524586A1 (en) | 2003-10-17 | 2005-04-20 | Sony International (Europe) GmbH | Transmitting information to a user's body |
JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
US7376565B2 (en) | 2003-12-15 | 2008-05-20 | International Business Machines Corporation | Method, system, and apparatus for monitoring security events using speech recognition |
US20070299671A1 (en) * | 2004-03-31 | 2007-12-27 | Ruchika Kapur | Method and apparatus for analysing sound- converting sound into information |
WO2006013527A2 (en) * | 2004-07-28 | 2006-02-09 | Philips Intellectual Property & Standards Gmbh | A method for contesting at least two interactive systems against each other and an interactive system competition arrangement |
JP2006047640A (ja) | 2004-08-04 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 情報伝達装置、電話機及び携帯電話機 |
US8867724B2 (en) * | 2004-08-31 | 2014-10-21 | At&T Intellectual Property I, L.P. | Distinctive ring tones prompted by call urgency and context |
JP2006109966A (ja) * | 2004-10-13 | 2006-04-27 | Ishisaki:Kk | 音ゲーム機および携帯電話機 |
KR20060130897A (ko) * | 2005-06-09 | 2006-12-20 | 엘지전자 주식회사 | 휴대 단말기의 무성음 통화 장치 및 방법 |
EP2002323A2 (en) * | 2006-04-06 | 2008-12-17 | Immersion Corporation | Systems and methods for enhanced haptic effects |
JP4941966B2 (ja) * | 2006-09-22 | 2012-05-30 | 国立大学法人 東京大学 | 感情の判別方法、感情判別装置、雰囲気情報通信端末 |
US8650030B2 (en) * | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
US8315652B2 (en) * | 2007-05-18 | 2012-11-20 | Immersion Corporation | Haptically enabled messaging |
US9754078B2 (en) | 2007-06-21 | 2017-09-05 | Immersion Corporation | Haptic health feedback monitoring |
WO2009042170A1 (en) * | 2007-09-26 | 2009-04-02 | Medtronic, Inc. | Therapy program selection |
US8508486B2 (en) * | 2007-10-01 | 2013-08-13 | Immersion Corporation | Directional haptic effects for a handheld device |
WO2009082765A1 (en) * | 2007-12-25 | 2009-07-02 | Personics Holdings Inc. | Method and system for message alert and delivery using an earpiece |
US8473081B2 (en) * | 2007-12-25 | 2013-06-25 | Personics Holdings, Inc. | Method and system for event reminder using an earpiece |
KR100952698B1 (ko) | 2008-03-10 | 2010-04-13 | 한국표준과학연구원 | 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템 |
JP4613974B2 (ja) * | 2008-03-28 | 2011-01-19 | ソニー株式会社 | 通信機器および通信システム |
US10254824B2 (en) | 2009-10-16 | 2019-04-09 | Immersion Corporation | Systems and methods for output of content based on sensing an environmental factor |
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
-
2009
- 2009-10-29 US US12/608,707 patent/US8902050B2/en not_active Expired - Fee Related
-
2010
- 2010-10-27 JP JP2012536981A patent/JP5899116B2/ja not_active Expired - Fee Related
- 2010-10-27 KR KR1020127013605A patent/KR101735665B1/ko active IP Right Grant
- 2010-10-27 KR KR1020197006524A patent/KR20190026970A/ko not_active Application Discontinuation
- 2010-10-27 KR KR1020177012443A patent/KR101860281B1/ko active IP Right Grant
- 2010-10-27 CN CN201810934040.1A patent/CN109144255A/zh active Pending
- 2010-10-27 EP EP18161106.2A patent/EP3352055A1/en not_active Withdrawn
- 2010-10-27 WO PCT/US2010/054212 patent/WO2011059703A1/en active Application Filing
- 2010-10-27 CN CN201080048828.4A patent/CN102597914B/zh not_active Expired - Fee Related
- 2010-10-27 KR KR1020187003207A patent/KR101956796B1/ko active IP Right Grant
- 2010-10-27 EP EP10776006A patent/EP2494425A1/en not_active Ceased
-
2014
- 2014-07-03 JP JP2014138037A patent/JP5951688B2/ja not_active Expired - Fee Related
- 2014-10-30 US US14/528,398 patent/US9275653B2/en not_active Expired - Fee Related
-
2015
- 2015-04-06 JP JP2015077388A patent/JP2015156229A/ja active Pending
-
2016
- 2016-12-26 JP JP2016251317A patent/JP6510484B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3352055A1 (en) | 2018-07-25 |
US20110102160A1 (en) | 2011-05-05 |
JP2014211900A (ja) | 2014-11-13 |
US20150084752A1 (en) | 2015-03-26 |
JP2013509652A (ja) | 2013-03-14 |
WO2011059703A1 (en) | 2011-05-19 |
CN102597914B (zh) | 2018-09-14 |
KR20180014880A (ko) | 2018-02-09 |
KR20190026970A (ko) | 2019-03-13 |
JP2017085625A (ja) | 2017-05-18 |
JP2015156229A (ja) | 2015-08-27 |
EP2494425A1 (en) | 2012-09-05 |
US8902050B2 (en) | 2014-12-02 |
US9275653B2 (en) | 2016-03-01 |
CN102597914A (zh) | 2012-07-18 |
KR101735665B1 (ko) | 2017-05-15 |
KR101956796B1 (ko) | 2019-03-12 |
KR101860281B1 (ko) | 2018-05-21 |
CN109144255A (zh) | 2019-01-04 |
JP6510484B2 (ja) | 2019-05-08 |
KR20170056023A (ko) | 2017-05-22 |
JP5899116B2 (ja) | 2016-04-06 |
JP5951688B2 (ja) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6510484B2 (ja) | 音声/テキスト変換の触覚による拡張を目的とするシステムと方法 | |
KR101726945B1 (ko) | 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감 | |
Sawhney et al. | Nomadic radio: speech and audio interaction for contextual messaging in nomadic environments | |
US11183187B2 (en) | Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog | |
EP2385520A2 (en) | Method and device for generating text from spoken word | |
JP2017509917A (ja) | 空間音響特性に少なくとも部分的に基づく動作指令の決定 | |
JP2023501074A (ja) | ユーザ用の音声モデルを生成すること | |
CN113744733A (zh) | 数字助理的语音触发器 | |
KR20090085376A (ko) | 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치 | |
JP2008242318A (ja) | 対話を検出する装置、方法およびプログラム | |
CA2539649C (en) | System and method for personalized text-to-voice synthesis | |
WO2018061862A1 (ja) | コミュニケーション装置、コミュニケーション方法、および記憶媒体 | |
KR20220140599A (ko) | 대화의 사람 참가자를 대신하여 생성된 합성 스피치 오디오 데이터 | |
JP2023548157A (ja) | 通話およびオーディオメッセージからのその他の話者の音声フィルタリング | |
JP2021117371A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
TWI833678B (zh) | 真實多人應答情境下的生成式聊天機器人之系統及其方法 | |
WO2017200075A1 (ja) | 対話方法、対話システム、対話シナリオ生成方法、対話シナリオ生成装置、及びプログラム | |
Haas | Towards auditory interaction: an analysis of computer-based auditory interfaces in three settings | |
US11935557B2 (en) | Techniques for detecting and processing domain-specific terminology | |
US20220115010A1 (en) | Techniques for dynamic auditory phrase completion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |