KR20140135669A - 저주파수 효과 햅틱 변환 시스템 - Google Patents
저주파수 효과 햅틱 변환 시스템 Download PDFInfo
- Publication number
- KR20140135669A KR20140135669A KR1020140059836A KR20140059836A KR20140135669A KR 20140135669 A KR20140135669 A KR 20140135669A KR 1020140059836 A KR1020140059836 A KR 1020140059836A KR 20140059836 A KR20140059836 A KR 20140059836A KR 20140135669 A KR20140135669 A KR 20140135669A
- Authority
- KR
- South Korea
- Prior art keywords
- haptic
- audio signal
- signal
- low
- output device
- Prior art date
Links
- 230000000694 effects Effects 0.000 title claims abstract description 205
- 238000006243 chemical reaction Methods 0.000 title claims description 13
- 230000005236 sound signal Effects 0.000 claims abstract description 312
- 238000000034 method Methods 0.000 claims description 14
- 238000012952 Resampling Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 5
- 239000000758 substrate Substances 0.000 description 40
- 238000007654 immersion Methods 0.000 description 39
- 239000011295 pitch Substances 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 13
- 238000012057 exposure response modelling Methods 0.000 description 12
- 239000002344 surface layer Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 230000005684 electric field Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- -1 polysiloxane Polymers 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000001976 improved effect Effects 0.000 description 4
- 239000012212 insulator Substances 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 229920001746 electroactive polymer Polymers 0.000 description 3
- 239000010408 film Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 2
- HZEWFHLRYVTOIW-UHFFFAOYSA-N [Ti].[Ni] Chemical compound [Ti].[Ni] HZEWFHLRYVTOIW-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 229910045601 alloy Inorganic materials 0.000 description 2
- 239000000956 alloy Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 229910001000 nickel titanium Inorganic materials 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000036407 pain Effects 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 229920002595 Dielectric elastomer Polymers 0.000 description 1
- 208000000114 Pain Threshold Diseases 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 235000014171 carbonated beverage Nutrition 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 229920001940 conductive polymer Polymers 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 150000004696 coordination complex Chemical class 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 229920000831 ionic polymer Polymers 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 210000003607 pacinian corpuscle Anatomy 0.000 description 1
- 230000037040 pain threshold Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000002265 sensory receptor cell Anatomy 0.000 description 1
- 102000027509 sensory receptors Human genes 0.000 description 1
- 108091008691 sensory receptors Proteins 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 229920002379 silicone rubber Polymers 0.000 description 1
- 239000004945 silicone rubber Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002520 smart material Substances 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
- H04R3/14—Cross-over networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Otolaryngology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
Abstract
햅틱 효과를 생성하는 시스템이 제공된다. 시스템은 저주파수 효과 오디오 신호를 포함하는 오디오 신호를 수신한다. 시스템은 또한 오디오 신호로부터 저주파수 효과 오디오 신호를 추출한다. 시스템은 또한 햅틱 출력 장치의 목적 주파수 범위 내의 주파수로 저주파수 효과 오디오 신호의 주파수를 시프팅함으로써 저주파수 효과 오디오 신호를 햅틱 신호로 변환한다. 시스템은 또한 햅틱 신호를 햅틱 출력 장치로 발송하고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2013년 5월 17일자로 출원된 미합중국 가출원번호 제61/824,442호의 우선권을 주장한다(이 개시는 본 명세서에서 참조한다).
분야
일 실시예는 일반적으로 장치에 관한 것이며, 더 구체적으로는 햅틱 효과를 생성하는 장치에 관한 것이다.
전자 장치 제조업체는 사용자를 위한 풍부한 인터페이스를 생성하기 위해 노력하고 있다. 기존 장치는 시각 및 청각 신호를 사용하여 사용자에게 피드백을 제공한다. 소정 인터페이스 장치에서, 근감각 피드백(능동적 및 저항력 피드백 등) 및/또는 촉각 피드백(진동, 텍스쳐, 및 열 등) 또한 사용자에게 제공되고, 이는 보다 일반적으로는 "햅틱 피드백(haptic feedback)" 또는 "햅틱 효과(haptic effects)"로 통칭된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화하는 신호를 제공할 수 있다. 특히, 진동 효과, 또는 진동촉각 햅틱 효과는 사용자에게 특정 이벤트를 알리기 위해, 또는 실제적인 피드백을 제공하여 시뮬레이션 또는 가상 환경 내에서 더 뛰어난 감각적 몰입감을 생성하기 위해 전자 장치의 사용자에게 신호를 제공하는 데 유용할 수 있다.
진동 효과를 생성하기 위해, 많은 장치들은 소정 유형의 액츄에이터 또는 햅틱 출력 장치를 이용한다. 이러한 목적을 위해 사용되는 공지된 햅틱 출력 장치는 모터에 의해 편심 질량이 움직이는 편심 회전 질량(Eccentric Rotating Mass, "ERM")과 같은 전자기 액츄에이터, 스프링에 부착된 질량이 앞뒤로 구동되는 선형 공진 액츄에이터(Linear Resonant Actuator, "LRA"), 또는 압전, 전기활성 고분자 또는 형상 기억 합금과 같은 "스마트 물질(smart material)"을 포함한다. 햅틱 출력 장치는 또한 광범위하게는 정전기 마찰(electrostatic friction, "ESF"), 초음파 표면 마찰(ultrasonic surface friction, "USF")을 사용하는 것, 또는 초음파 햅틱 트랜스듀서(transducer)로 음향 복사 압력(acoustic radiation pressure)을 유도하는 것, 또는 햅틱 기재(substrate) 및 가요성 또는 변형 가능한 표면을 사용하는 것, 또는 에어 제트를 사용한 공기 퍼프(a puff of air)와 같은 투사(projected) 햅틱 출력을 제공하는 것 등과 같은 비-기계적 또는 비-진동 장치를 포함할 수 있다.
영화 및 TV 산업 내에서, 개선된 멀티 채널 오디오 시스템이 시청자에게 보다 매력적인 경험을 제공하기 위해 개발되었다. 예컨대, "5.1"로서 지칭되는 아날로그 6 채널 서라운드 사운드 멀티채널 오디오 시스템은 70 mm 극장용 필름 스크리닝을 위해 돌비 래버러토리스 사(Dolby Laboratories, Inc.)에 의해 처음 개발되었고, 이는 2 서라운드 채널 및 저주파수 향상 채널인 3 스크린 채널을 제공한다. 후에, "돌비 디지털"로서 지칭되는 5.1 멀티 채널 오디오의 디지털 버전이 35 mm 필름을 위해 개발되었고, 그 뒤에, 유사한 5.1 시스템이 DTS 사에 의해 개발되었다. 그 이후에, 다양한 멀티 채널 오디오 포맷은 6.1, 또는 7.1 소스 자료를 포함하고 11.1 채널까지 출력하도록 개발되었고, 이를 넘어, 멀티 채널 오디오는 지금은 거의 모든 DVD, 블루레이, 방송 및 가정 시청용 스트리밍 비디오 콘텐츠에 포함되어 있다.
스마트폰 및 태블릿과 같은 최근의 고해상도 모바일 장치의 발달로, 이제 사용자는 전통적으로 영화관, TV 또는 홈 시어터(home theater) 시스템에서나 볼 수 있었던 고해상도 오디오 및 비디오를 휴대용 장치상에서 볼 수 있다. 햅틱적으로 사용가능한 모바일 장치에서, 오디오 및 비디오 콘텐츠 구성요소에 더하여 햅틱 콘텐츠 구성요소가 있다면, 경험은 콘텐츠 시청을 충분히 향상시키고 이를 시청자가 좋아한다는 것을 보여준다.
일 실시예는 햅틱 효과를 생성하는 시스템이다. 시스템은 저주파수 효과 오디오 신호를 포함하는 오디오 신호를 수신한다. 시스템은 또한 오디오 신호로부터 저주파수 효과 오디오 신호를 추출한다. 시스템은 또한 햅틱 출력 장치의 목적 주파수 범위 내의 주파수로 저주파수 효과 오디오 신호의 주파수를 시프팅함으로써 저주파수 효과 오디오 신호를 햅틱 신호로 변환한다. 시스템은 또한 햅틱 신호를 햅틱 출력 장치로 발송하고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다.
다른 실시예, 상세 내용, 이점, 및 변형예는 첨부의 도면과 함께 설명될 후술하는 바람직한 실시예의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른 햅틱적으로 사용가능한 시스템에 대한 블록도.
도 2는 본 발명의 일 실시예에 따른 햅틱 액츄에이터의 LRA 구현예에 대한 컷어웨이(cut-away) 투시도.
도 3은 본 발명의 일 실시예에 따른 햅틱 액츄에이터의 ERM 구현예에 대한 컷어웨이 투시도.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 햅틱 액츄에이터의 압전 구현예에 대한 도면.
도 5는 본 발명의 일 실시예에 따른 정전 마찰("ESF")를 사용하는 햅틱 장치에 대한 도면.
도 6은 본 발명의 일 실시예에 따른 초음파 트랜스듀서로 음향 복사 압력을 유도하기 위한 햅틱 장치에 대한 도면.
도 7은 본 발명의 일 실시예에 따른 햅틱 기재 및 가요성 또는 변형 가능한 표면을 사용하는 햅틱 장치에 대한 도면.
도 8a 및 8b는 본 발명의 일 실시예에 따른 초음파 표면 마찰("USF")을 사용하는 햅틱 장치에 대한 도면.
도 9는 본 발명의 일 실시예에 따른 5.1 멀티 채널 오디오 서라운드 구성예.
도 10은 본 발명의 일 실시예에 따른 인간 청각 시스템 등청감(equal-loudness) 차트.
도 11a 및 11b는 본 발명의 일 실시예에 따른 시프팅, 증폭 및 압축된 오디오 신호를 나타내는 오디오 스펙트로그램.
도 12a 및 12b는 본 발명의 일 실시예에 따른 시프팅된 오디오 신호를 나타내는 블랙맨-해리스 윈도우(Blackman-Harris windows).
도 13은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 저주파수 효과("LFE") 햅틱 차트.
도 14는 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 15는 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 16은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 17은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 18은 본 발명의 일 실시예에 따른 몰입감 요약 차트.
도 19는 본 발명의 일 실시예에 따른 경험 품질 요약 차트.
도 20은 본 발명의 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 21은 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 22는 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 23은 본 발명의 실시예에 따른 LFE 오디오 신호 내에 햅틱 신호를 인코딩하는 것에 대한 흐름도.
도 24는 본 발명의 실시예에 따른 저주파수 효과 신호로부터 햅틱 신호를 디코딩하는 것에 대한 흐름도.
도 25는 본 발명의 실시예에 따른 LFE 오디오 신호를 복수의 햅틱 신호로 변환하는 것에 대한 흐름도.
도 26a 내지 26d는 본 발명의 일 실시예에 따른 전경(foreground) 및 배경(background) 햅틱 어플리케이션 예에 대한 스크린 도면.
도 27a 내지 27b는 본 발명의 일 실시예에 따른 햅틱 피드백의 다수 데이터 채널에 대한 디스플레이 그래프.
도 28은 본 발명의 일 실시예에 따른 우선순위 기반 햅틱 이벤트에 대한 햅틱 피드백의 다수의 데이터 채널을 디스플레이하는 것에 대한 흐름도.
도 29는 본 발명의 일 실시예에 따른 우선순위 기반 햅틱 이벤트에 대한 햅틱 피드백의 다수의 데이터 채널을 디스플레이하는 것에 대한 흐름도.
도 30은 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 1은 본 발명의 일 실시예에 따른 햅틱적으로 사용가능한 시스템에 대한 블록도.
도 2는 본 발명의 일 실시예에 따른 햅틱 액츄에이터의 LRA 구현예에 대한 컷어웨이(cut-away) 투시도.
도 3은 본 발명의 일 실시예에 따른 햅틱 액츄에이터의 ERM 구현예에 대한 컷어웨이 투시도.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 햅틱 액츄에이터의 압전 구현예에 대한 도면.
도 5는 본 발명의 일 실시예에 따른 정전 마찰("ESF")를 사용하는 햅틱 장치에 대한 도면.
도 6은 본 발명의 일 실시예에 따른 초음파 트랜스듀서로 음향 복사 압력을 유도하기 위한 햅틱 장치에 대한 도면.
도 7은 본 발명의 일 실시예에 따른 햅틱 기재 및 가요성 또는 변형 가능한 표면을 사용하는 햅틱 장치에 대한 도면.
도 8a 및 8b는 본 발명의 일 실시예에 따른 초음파 표면 마찰("USF")을 사용하는 햅틱 장치에 대한 도면.
도 9는 본 발명의 일 실시예에 따른 5.1 멀티 채널 오디오 서라운드 구성예.
도 10은 본 발명의 일 실시예에 따른 인간 청각 시스템 등청감(equal-loudness) 차트.
도 11a 및 11b는 본 발명의 일 실시예에 따른 시프팅, 증폭 및 압축된 오디오 신호를 나타내는 오디오 스펙트로그램.
도 12a 및 12b는 본 발명의 일 실시예에 따른 시프팅된 오디오 신호를 나타내는 블랙맨-해리스 윈도우(Blackman-Harris windows).
도 13은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 저주파수 효과("LFE") 햅틱 차트.
도 14는 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 15는 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 16은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 17은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트.
도 18은 본 발명의 일 실시예에 따른 몰입감 요약 차트.
도 19는 본 발명의 일 실시예에 따른 경험 품질 요약 차트.
도 20은 본 발명의 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 21은 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 22는 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
도 23은 본 발명의 실시예에 따른 LFE 오디오 신호 내에 햅틱 신호를 인코딩하는 것에 대한 흐름도.
도 24는 본 발명의 실시예에 따른 저주파수 효과 신호로부터 햅틱 신호를 디코딩하는 것에 대한 흐름도.
도 25는 본 발명의 실시예에 따른 LFE 오디오 신호를 복수의 햅틱 신호로 변환하는 것에 대한 흐름도.
도 26a 내지 26d는 본 발명의 일 실시예에 따른 전경(foreground) 및 배경(background) 햅틱 어플리케이션 예에 대한 스크린 도면.
도 27a 내지 27b는 본 발명의 일 실시예에 따른 햅틱 피드백의 다수 데이터 채널에 대한 디스플레이 그래프.
도 28은 본 발명의 일 실시예에 따른 우선순위 기반 햅틱 이벤트에 대한 햅틱 피드백의 다수의 데이터 채널을 디스플레이하는 것에 대한 흐름도.
도 29는 본 발명의 일 실시예에 따른 우선순위 기반 햅틱 이벤트에 대한 햅틱 피드백의 다수의 데이터 채널을 디스플레이하는 것에 대한 흐름도.
도 30은 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도.
일 실시예는 소스 오디오 신호로부터 저주파수 효과(low-frequency effects, "LFE") 오디오 신호를 추출하고 추출된 LFE 오디오 신호를 햅틱 신호로 변환하는 시스템이며, 여기서 햅틱 신호는 액츄에이터와 같은 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 추출된 LFE 오디오 신호를 햅틱 신호로 변환함으로써, 오디오 신호 주파수는 햅틱 출력 장치의 목적 주파수 범위 내의 주파수로 시프팅 될 수 있다. 대안적으로, 추출된 LFE 오디오 신호를 햅틱 신호로 변환함으로써, 오디오 신호 피치는 햅틱 출력 장치의 목적 피치 범위 내의 피치로 시프팅 될 수 있다. "오프라인"으로 추출된 LFE 오디오 신호를 햅틱 신호로 변환하는 실시예들에서, 햅틱 신호는 저장 장치와 같은 포맷 내에 인코딩 및 저장될 수 있거나, 햅틱 신호는 소스 오디오 신호 내에 포함되는 LFE 오디오 신호 내에 인코딩 및 저장될 수 있다. 대안적으로, "온라인"으로 추출된 LFE 오디오 신호를 햅틱 신호로 변환하는 실시예들에서, 햅틱 신호는 실시간 또는 거의 실시간으로 햅틱 출력 장치로 발송될 수 있고, 여기서 하나 이상의 햅틱 효과는 실시간 또는 거의 실시간으로 출력된다. 특정 실시예들에서, 소스 오디오 신호는 다른 유형의 입력 신호로 대체될 수 있고, LFE 오디오 신호는 다른 유형의 LFE 신호로 대체될 수 있다. 또한, 대안적인 실시예에서, 시스템은 추출된 LFE 오디오 신호를 복수의 햅틱 신호로 (동시에 또는 순차적으로) 변환할 수 있고, 여기서 햅틱 신호는 복수의 햅틱 출력 장치(예컨대, 액츄에이터)로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 이러한 대안적인 실시예에서, 각 햅틱 출력 장치는 별개의 목적 주파수 범위를 가질 수 있고, 그리고, 각 변환에 대해, 추출된 LFE 오디오 신호의 오디오 신호 주파수는 각 햅틱 출력 장치의 각 목적 주파수 범위 내의 주파수로 시프팅 될 수 있다.
아래에 설명한 바와 같이, LFE 채널은 인간의 청각 인식의 전체 스펙트럼보다 실질적으로 더 적은 오디오 스펙트럼으로 인코딩된 임의의 오디오 채널이다. LFE 트랙은 통상적으로 20 Hz 내지 120 Hz 범위 내 가청 주파수로 저주파수 정보를 인코딩하는 데 사용되지만, "트위터(tweeter)" 스피커로 발송되는 고주파수 범위 또는 "스쿼커(squawker)" 스피커로 발송되는 중간-대역 주파수 범위, 또는 "우퍼(woofer)" 스피커로 발송되는 저주파수 범위와 같은 한정된 주파수 범위를 가지는 임의의 다른 오디오 신호를 포함할 수 있다. 다양한 대중적인 오디오 인코딩은 이러한 유형의 트랙을 지원한다. 이는 일반적으로 5.1, 7.1 또는 11.1 서라운드 사운드 오디오 트랙에서 '.1'로서 지칭된다. DVD 및 블루레이 표준은 소비자 인코딩 내 LFE 트랙의 포함을 특정한다. LFE 트랙은 또한 서라운드 사운드 비디오 게임에 사용되고, 구체적으로는, 소니 PS3, 또는 마이크로소프트 XBOX 360과 같은 3세대 게임 콘솔에 대한 것이지만, 반드시 그럴 필요는 없다. 이러한 경우, LFE 트랙은 플레이어의 방향과 같은 게임 상태에 따라 실시간으로 5.1 서라운드 오디오 채널을 합성하는 오디오 공간화 엔진을 통해 실시간으로 생성된다.
기존의 자동화 햅틱 재생 구조(architecture)는 오디오 신호에 기초하여 햅틱 출력을 제공할 수 있다. 햅틱 효과 프로페셔널에 의한 작성된 콘텐츠는 많은 경우에 오디오 신호로부터 자동화된 햅틱 세대 보다 더 효율적인 콘텐츠 시청 경험을 제공할 수 있지만, 긴 형태의 콘텐츠에 대해 수백 수천의 햅틱 효과를 작성하기 위해 비교적 많은 양의 시간을 요구하기 때문에 비싸다. 따라서, 작성된 긴 형태의 햅틱 콘텐츠에서와 동일한 양의 시간을 요구하지 않는, LFE 오디오 신호로부터 햅틱 효과를 자동적으로 제공하는 향상된 시스템이 필요하다.
LFE 오디오 신호는 통상적으로 저주파수 신호를 다루도록 구성된 오디오 출력 장치를 사용하여 재생성되도록 되어 있기 때문에, LFE 오디오 신호 내에 포함된 데이터는 특히 햅틱 신호로의 변환에 매우 적합하다. 예컨대, LFE 오디오 신호는 이미 필터링 및 믹싱되어 저주파수(또는 한정된 주파수) 오디오를 포함하고, 풀(full) 비트 레이트(bit rate)에서는 그렇지 않다. 또한, LFE 오디오 신호는 통상적으로 오디오 신호의 다른 오디오 채널에 대해서 보다 정확한 진폭을 갖도록 콘텐츠 생성자에 의해 계층화된다. 또한, LFE 오디오 신호는 통상적으로 햅틱 콘텐츠 경험을 위한 가장 자연스러운 창조적 콘텐츠 구성요소를 포함한다.
통상의 스테레오 오디오 데이터와는 달리, LFE 오디오 데이터는 자연스럽게 햅틱 신호로 번역한다. 스테레오 오디오(또는 풀 레인지(full range) 오디오)에서, 일반적으로 햅틱 렌더링(rendering)을 위한 가장 적합한 신호 구성요소를 필터링 및 추출하는 것이 필요하다. 그러나, 이는 일관성 없는 햅틱 경험을 초래할 수 있는 도전적인 작업이 될 수 있다. LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대해서는 아래에 더욱더 상세히 설명된다.
도 1은 본 발명의 일 실시예에 따른 햅틱적으로 사용가능한 시스템(10)에 대한 블록도이다. 시스템(10)은 터치 감지 표면(11) 또는 하우징(15) 내에 장착된 다른 유형의 사용자 인터페이스를 포함하고, 기계적 키/버튼(13)을 포함할 수 있다. 시스템(10) 내부는 시스템(10) 상에 진동을 발생시키는 햅틱 피드백 시스템이다. 일 실시예에서, 진동은 터치 표면(11)상에 발생된다.
햅틱 피드백 시스템은 프로세서(12)를 포함한다. 프로세서(12)에는 메모리(20) 및 액츄에이터 구동 회로(16)가 연결되고, 이는 햅틱 액츄에이터(18)에 연결된다. 특정 실시예들에서, 액츄에이터(18)는 다른 유형의 햅틱 출력 장치로 대체될 수 있다. 프로세서(12)는 임의의 유형의 범용 프로세서일 수 있거나, 애플리케이션 특정 집적 회로("ASIC")와 같은 햅틱 효과를 제공하기 위해 특별히 설계된 프로세서일 수 있다. 프로세서(12)는 전체 시스템(10)을 동작시키는 동일한 프로세서일 수 있고, 별도의 프로세서일 수 있다. 프로세서(12)는 어떤 햅틱 효과가 재생될 것인지 및 효과가 고레벨 파라미터에 기초하여 재생되는 순서를 결정할 수 있다. 일반적으로, 구체적인 햅틱 효과를 정의하는 고레벨 파라미터는 크기, 주파수 및 지속시간을 포함한다. 스트리밍 모터 명령과 같은 저레벨 파라미터 또한 구체적인 햅틱 효과를 결정하는 데 사용될 수 있다. 만약 이것이 햅틱 효과가 생성될 때의 이러한 파라미터의 일부 변화 또는 사용자의 상호작용에 기초한 이러한 파라미터의 변화를 포함한다면, 햅틱 효과는 동적(dynamic)인 것으로 간주될 수 있다.
프로세서(12)는 제어 신호를 출력하여, 원하는 햅틱 효과를 일으키기 위해 요구되는 전류 및 전압을 액츄에이터(18)에 공급하는 데 사용되는 전자 구성요소 및 회로를 포함하는 회로(16)를 구동한다. 시스템(10)은 하나 초과의 액츄에이터(18)를 포함할 수 있고, 각 액츄에이터는 별도의 구동 회로(16)를 포함할 수 있으며, 모두 공통 프로세서(12)에 연결된다. 메모리 장치(20)는 랜덤 액세스 메모리("RAM") 또는 읽기 전용 메모리("ROM")와 같은 임의의 유형의 저장 장치 또는 컴퓨터 판독가능 매체일 수 있다. 메모리(20)는 프로세서(12)에 의해 실행되는 명령어를 저장한다. 명령어 중에서, 메모리(20)는 프로세서(12)에 의해 실행될 때 액츄에이터(18)로부터의 피드백을 결정하고 그에 맞춰 구동 신호를 조정하면서도, 액츄에이터(18)에 대한 구동 신호를 생성하는 명령어인 액츄에이터 구동 모듈(22)을 포함한다. 특정 실시예들에서, 액츄에이터 구동 모듈(22)은 저주파수 효과 오디오 신호에 기초하여 구동 신호를 발생시킬 수 있는 저주파수 효과 변환 모듈일 수 있다. 이러한 구동 신호는 또한 햅틱 신호로서 식별된다. 모듈(22)의 기능은 아래에서 더 상세히 논의된다. 메모리(20)는 또한 프로세서(12) 내부, 또는 메모리 내부 및 외부의 임의의 조합에 위치할 수 있다.
접촉 표면(11)은 터치를 인식하고, 또한 터치 수, 접촉 포인트의 크기, 압력 등과 같은 표면상의 터치 위치 및 크기 또는 압력을 인식할 수 있다. 터치에 상응하는 데이터는 프로세서(12), 또는 시스템(10) 내의 다른 프로세서로 발송되고, 프로세서(12)는 터치를 해석하고 이에 응답하여 햅틱 효과 신호를 발생시킨다. 터치 표면(11)은 용량성 감지, 저항성 감지, 표면 탄성파 감지, 압력 감지, 광 감지 등을 포함하는 임의의 감지 기술을 사용하여 터치를 감지할 수 있다. 터치 표면(11)은 멀티 터치 접촉을 감지할 수 있고 동시에 발생하는 다수의 접촉을 구별하는 것이 가능할 수 있다. 터치 표면(11)은 사용자가 키, 다이얼 등과 같은 것과 상호작용하기 위해 이미지를 발생시키고 디스플레이하는 터치스크린일 수 있거나 최소 이미지를 가지는 또는 이미지가 없는 터치패드일 수 있다.
시스템(10)은 예컨대 셀룰러 전화, PDA, 컴퓨터 태블릿, 게임 콘솔, 웨어러블 장치 등과 같은 휴대용 장치일 수 있거나, 사용자 인터페이스를 제공하고 햅틱 효과 시스템(하나 이상의 ERM, LRA, 정전기 또는 다른 유형의 액츄에이터를 포함)을 포함하는 임의의 다른 유형의 장치일 수 있다. 사용자 인터페이스는 터치 감지 표면일 수 있거나, 마우스, 터치패드, 미니 조이스틱, 스크롤 휠, 트랙볼, 게임 패드 또는 게임 컨트롤러 등과 같은 임의의 다른 유형의 사용자 인터페이스일 수 있다. 하나 초과의 액츄에이터를 가지는 실시예들에서, 각 액츄에이터는 장치 상에 광범위한 햅틱 효과를 생성하기 위해 다른 출력 능력을 가질 수 있다. 각 액츄에이터는 임의의 유형의 햅틱 액츄에이터 또는 단일 또는 다차원 배열의 액츄에이터일 수 있다.
도 2는 일 실시예에 따른 액츄에이터(18)의 LRA 구현예에 대한 컷어웨이 측면도이다. LRA(38)은 케이싱(25), 자석/질량체(27), 선형 스프링(26), 및 전자 코일(28)을 포함한다. 자석(27)은 스프링(26)에 의해 케이싱(25)에 장착된다. 코일(28)은 자석(27) 아래의 케이싱(25) 하단에 직접적으로 장착된다. LRA(38)는 통상적인 임의의 공지 LRA이다. 동작에서, 전류가 코일(28)을 통해 흐를 때 자기장은 코일(28) 주위에 형성되고 자석(27)의 자기장과 상호작용하여 자석(27)을 밀거나 끌어당긴다. 한 전류 흐름 방향/극성은 밀어내는 작용을 일으키고 다른 쪽은 당기는 작용을 일으킨다. 스프링(26)은 자석(27)의 상하 움직임을 제어하고, 압축된 경우 위로 편향된 위치를, 확장된 경우 아래로 편향된 위치를, 그리고 압축도 편향도 되지 않아서 아무 전류도 코일(28)에 인가되지 않고 자석(27)의 아무런 움직임/진동이 없을 때의 휴지기와 동일한 경우의 중립 또는 변환점(zero-crossing) 위치를 가진다.
LRA(38)에 대해, 기계적 품질 요소 또는 "Q 팩터(Q factor)"가 측정될 수 있다. 일반적으로, 기계적 Q 팩터는 진동 물리 시스템의 진폭의 감소에 대한 시간 상수를 그 진동 주기와 비교한 0차원 파라미터이다. 기계적 Q 팩터는 장착 변수(mounting variations)에 의해 유의하게 영향을 받는다. 기계적 Q 팩터는 매 진동 사이클에서의 에너지 손실을 통해 질량과 스프링 사이에서 순환되는 에너지의 비율을 나타낸다. 낮은 Q 팩터는 질량 및 스프링에 저장된 에너지의 많은 부분이 매 사이클마다 손실된다는 것을 의미한다. 일반적으로, 최소의 Q 팩터는 에너지가 손의 조직에 의해 흡수됨으로 인해 손에 단단히 고정되어 있는 시스템(10)에서 발생한다. 최대의 Q 팩터는 일반적으로 시스템(10)이 LRA(38)에 모든 진동 에너지를 반사시키는 단단하고 무거운 표면에 대해 가압될 때 발생한다.
기계적 Q 팩터에 정비례하여, 공진에서 자석/질량체(27)와 스프링(26) 사이에 발생하는 힘은 통상적으로 코일(28)이 진동을 유지하기 위해 생성해야 하는 힘보다 10 내지 100배 더 크다. 따라서, LRA(38)의 공진 주파수는 주로 자석(27)의 질량 및 스프링(26)의 탄력성(compliance)에 의해 정의된다. 그러나, LRA가 플로팅(floating) 장치에 장착될 때(즉, 시스템(10)이 손에서 부드럽게 쥐어질 때), LRA 공진 주파수는 유의하게 위로 시프팅 된다. 또한, 유의한 주파수 시프팅은 휴대 전화가 젖혀져서 개방/폐쇄되거나 전화가 꽉 쥐어지는 것과 같은 시스템(10) 내 LRA(38)의 명백한 장착 무게에 영향을 주는 외부 요인으로 인해 발생할 수 있다.
도 3은 본 발명의 일 실시예에 따른 액츄에이터(18)의 ERM 구현예에 대한 컷어웨이 투시도이다. ERM(300)은 회전축(305)을 중심으로 회전하는 편심(off-center) 중량(303)을 갖는 회전 질량체(301)를 포함한다. 동작에서, 임의의 유형의 모터는 ERM(300)에 연결될 수 있어서 모터에 인가된 전압의 양 및 극성에 응답하여 회전축(305)을 중심으로 일방향 또는 양방향으로 회전하게 할 수 있다. 회전 방향과 같은 방향으로 전압을 인가하는 것은 가속 효과를 내서 ERM(300)으로 하여금 그 회전 속도를 증가시킬 것이고, 회전 방향의 반대 방향으로 전압을 인가하는 것은 제동 효과를 내서 ERM(300)으로 하여금 그 회전 속도를 감소시키거나 심지어는 반전시킬 것이라는 점이 이해될 것이다.
본 발명의 일 실시예는 ERM(300)의 각속도를 결정하고 수정함으로써 햅틱 피드백을 제공한다. 각속도는 회전속도의 스칼라 측정값이고, 벡터량인 각속도의 크기를 나타낸다. 초당 라디안으로 표시되는, 각속도 또는 주파수 ω는, 2π 팩터에 의한, Hz라고도 불리는, 초당 사이클의 빈도수 v에 상관한다. 구동 신호는 적어도 하나의 구동 펄스가 ERM(300)에 인가되는 구동 기간, 및 회전 질량체(301)의 백(back) 전자기장("EMF")이 수신되어 ERM(300)의 각속도를 결정하는 데 사용되는 모니터링 기간을 포함한다. 다른 실시예에서, 구동 기간 및 모니터링 기간은 동시적이고, 본 발명의 실시예는 구동 및 모니터링 기간 동안 ERM(300)의 각속도를 동적으로 결정한다.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 햅틱 액츄에이터(18)의 압전 구현예에 대한 도면이다. 도 4a는 전극(401), 압전 세라믹 디스크(403) 및 금속 디스크(405)를 포함하는 디스크 압전 액츄에이터를 나타낸다. 도 4b에 도시된 바와 같이, 전압이 전극(401)에 인가되면, 그에 응답하여 압전 액츄에이터가 구부러지고, 이완된 상태(407)에서 변형된 상태(409)로 간다. 전압이 인가되면, 액츄에이터가 구부러지는 것이 진동의 기초를 생성한다. 대안적으로, 도 4c는 이완된 상태(411)에서 변형된 상태(413)로 감으로써 디스크 압전 액츄에이터와 유사하게 동작하는 빔 압전 액츄에이터를 보여준다.
도 5는 본 발명의 일 실시예에 따른 ESF를 사용하는 햅틱 장치에 대한 도면이다. 실시예는, 파시니 소체의 임의의 기계적 자극 없이 또는 기계적 자극으로부터 분리된 추가적인 자극으로서, 피하(subcutaneous) 파시니 소체(Pacinian corpuscles)가 용량성 전기적 연결 수단 및 적절하게 치수화된(dimensioned) 제어 전압에 의해 자극될 수 있다는 발견에 기초한다. 적절하게 치수화된 고전압은 제어 전압으로서 사용된다. 본 문맥에서, 고전압은 직접적 갈바니(galvanic) 접촉이 안전성 및/또는 사용자 편의를 이유로 방지되어야 하는 전압과 같은 것을 의미한다. 이는 파시니 소자와 자극을 일으키는 장치 사이의 용량성 연결을 초래하고, 여기서 용량성 연결의 일측은 자극 장치에 연결된 적어도 하나의 갈바니적으로(galvanically) 절연된 전극에 의해 형성되고, 그러면서 전극에 근접한 다른 쪽은, 바람직하게는 장치 사용자와 같은 자극 타겟의 손가락, 더 구체적으로는 피하 파시니 소체인, 몸체 멤버에 의해 형성된다.
본 발명의 실시예는 장치의 활성 표면과 이에 다가가거나 터치하는 손가락과 같은 몸체 멤버 사이의 전기장이 제어되어 형성하는 것에 기초할 것이다. 전기장은 인접한 손가락에 반대 전하를 발생시키는 경향이 있다. 국소 전기장 및 용량성 연결은 전하 사이에 형성될 수 있다. 전기장은 손가락 조직의 전하 상에 힘을 지시한다. 감각 수용체가 진동과 같은 움직임을 감지함에 의해, 전기장을 적절하게 변화시킴으로써 조직을 이동시킬 수 있는 힘이 발생할 수 있다.
도 5에 도시된 바와 같이, 하나 이상의 도전성 전극(501)은 절연체로 되어있다. 손가락(505)과 같은 몸체 멤버가 도전성 전극(501)에 근접한 경우, 절연체는 몸체 멤버(505)에 대한 도전성 전극으로부터 직류 전류의 흐름을 방지한다. 절연체 위의 용량성 연결 역장(503)이 도전성 전극(501)과 몸체 멤버(505) 사이에 형성된다. 장치는 또한 하나 이상의 도전성 전극에 전기적 입력을 인가하기 위한 고전압 소스를 포함하고, 여기서 전기적 입력은 10 Hz 내지 1000 Hz 사이의 주파수 범위 내 저주파수 구성요소를 포함한다. 용량성 연결 및 전기적 입력은 치수화되어 독립적으로 하나 이상의 도전성 전극 또는 절연체의 임의의 기계적 진동을 생성하는 전기지각(electrosensory) 감각을 생성한다.
도 6은 초음파 햅틱 트랜스듀서로 음향 복사 압력을 유도하기 위한 햅틱 장치에 대한 도면이다. 에어본(airborne) 초음파 센서 어레이(601)는 3차원("3D") 자유 공간에서 촉각 피드백을 제공하도록 설계된다. 배열은 에어본 초음파를 방사하고, 장갑 또는 기계적 부착의 사용 없이 사용자의 손에 하이파이(high-fidelity) 압력장(pressure field)을 생성한다. 방법은 초음파; 음향 복사 압력의 비선형 현상에 기초한다. 개체가 초음파의 전파를 방해할 때, 압력장이 개체의 표면 상에 가해진다. 이 압력은 음향 복사 압력이라고 한다. 음향 복사 압력 P [Pa]는 P = αE로서 간단히 설명되고, 여기서 E[J=m3]는 초음파의 에너지 밀도이고 α는 개체 표면의 반사 특성에 따라 1에서 2로 변하는 상수이다. 방정식은 음향 복사 압력이 초음파의 에너지 밀도에 어떻게 비례하는지를 설명한다. 초음파 에너지 밀도의 공간 분포는 파 필드(wave field) 합성 기술을 사용함으로써 제어될 수 있다. 초음파 트랜스듀서 배열과 함께, 다양한 패턴의 압력장이 3D 자유 공간 내에 생성된다. 에어 제트와는 달리, 공간 및 시간 해상도는 꽤 양호하다. 공간 해상도는 초음파의 파장과 비슷하다. 주파수 특성은 1 kHz까지 충분히 양호하다.
에어본 초음파는 침투의 위험 없이 피부에 직접 적용될 수 있다. 에어본 초음파가 피부 표면에 적용되면, 공기의 음향 임피던스 특징과 피부의 특징 사이의 큰 차이로 인해, 입사 음향 에너지의 약 99.9 %가 피부의 표면상에서 반사된다. 따라서, 이 촉각 피드백 시스템은 사용자가 거친 장갑이나 기계 부착을 착용할 것을 요구하지 않는다.
도 7은 본 발명의 일 실시예에 따른 햅틱 기재 및 가요성 표면을 사용하는 햅틱 장치(701)를 나타내는 3차원("3D") 도면을 나타낸다. 장치(701)는 가요성 표면 층(703), 햅틱 기재(705), 및 변형 메커니즘(711)을 포함한다. 장치(701)는 휴대 전화, 개인 디지털 보조장치("PDA"), 자동차 데이터 입력 시스템 등을 위한 인터페이스와 같은 사용자 인터페이스 장치일 수 있다는 점을 주목해야 한다. 하나 이상의 블록(회로 또는 층)이 장치(701)에 추가되거나 장치(701)로부터 제거되는 경우 본 발명의 예시적인 실시예의 기본 개념은 변경되지 않을 것이라는 점을 더 주목해야 한다.
일례에서, 가요성 표면 층(703)은, 폴리실록산으로도 알려진 실리콘 고무와 같은 부드럽고/부드럽거나 탄성인 재료로 이루어진다. 가요성 표면 층(703)의 기능은 햅틱 기재(705)의 물리적 패턴과 접촉 시 그 표면 형상 또는 텍스쳐를 변화시키는 것이다. 햅틱 기재(705)의 물리적 패턴은 햅틱 기재(705)의 로컬 특징 중 하나 이상이 현재 특징으로 상승 또는 하강되어 접촉 시 가요성 표면 층(703)의 표면에 영향을 미칠 수 있는 것과 같이 변형 가능하다. 햅틱 기재(705)의 물리적 패턴이 결정되면, 가요성 표면 층(703)의 텍스쳐는 햅틱 기재(705)의 물리적 패턴에 그 표면 텍스쳐를 확정하기 위해 변경될 수 있다. 한 텍스쳐로부터 다른 것으로 가요성 표면 층(703)이 변형되는 것은 변형 메커니즘(711)에 의해 제어될 수 있다. 예컨대, 변형 메커니즘(711)이 활성화되지 않은 경우, 가요성 표면 층(703)은 햅틱 기재(705) 위에 떠 있거나 앉아있는 그 매끄러운 구성을 유지한다. 그러나, 가요 표면층(703)의 표면 구성은 변형 메커니즘(711)이 활성화될 때 매끄러운 구성에서 조잡한 구성으로 변형 또는 변경되고, 햅틱 기재(705)는 가요성 표면 층(703)과 접촉하여 가요성 표면 층(703)의 상면에 유사한 패턴을 생성하게 된다.
대안적으로, 가요성 표면 층(703)은 가요성 터치 감지 표면이고, 이는 사용자 입력을 수용할 수 있다. 가요성 터치 감지 표면은 영역이 손가락에 의해 터치되거나 함몰될 때 가요성 터치 감지 표면의 각 영역이 입력을 수용할 수 있는 다수의 영역으로 분할될 수 있다. 일 실시예에서, 가요성 터치 감지 표면은 센서를 포함하고, 이는 부근의 손가락을 감지하고 장치를 깨우거나 켤 수 있다. 가요성 표면 층(703)은 또한 가요성 디스플레이를 포함할 수 있고, 이는 가요성 표면 층(703)과 함께 변형될 수 있다. 다양한 가요성 디스플레이 기술은 유기 발광 다이오드("OLED"), 유기, 또는 폴리머 박막 트랜지스터("TFT")와 같은 가요성 디스플레이를 제조하는 데 사용될 수 있다는 점을 주목해야 한다.
햅틱 기재(705)는 하나 이상의 패턴 활성화 신호에 응답하여 그 표면 패턴을 변화시킬 수 있는 표면 재구성가능 햅틱 장치이다. 햅틱 기재(705)는 또한 햅틱 메커니즘, 햅틱 층, 촉각 요소 등으로서 지칭될 수 있다. 일 실시예에서, 햅틱 기재(705)는 다수의 촉각 또는 햅틱 영역(707, 709)을 포함하고, 여기서 각 영역은 독립적으로 제어되고 활성화될 수 있다. 각 촉각 영역이 독립적으로 활성화될 수 있기 때문에, 햅틱 기재(705)의 고유한 표면 패턴이 패턴 활성화 신호에 응답하여 구성될 수 있다. 다른 실시예에서, 각 촉각 영역은 또한 각 비트가 독립적으로 여기되거나 활성화 또는 비활성화 될 수 있는 다수의 햅틱 비트로 분할될 수 있다.
일 실시예에서, 햅틱 기재(705), 또는 햅틱 메커니즘은, 활성화 명령 또는 신호에 응답하여 햅틱 피드백을 제공하도록 동작가능하다. 햅틱 기재(705)는, 한 촉각 피드백은 표면의 변형에 사용되면서 다른 촉각 피드백은 입력 확인을 위해 사용되는, 다수의 촉각 또는 햅틱 피드백을 제공한다. 입력 확인은 선택된 입력에 대해 사용자에게 알려주기 위한 햅틱 피드백이다. 햅틱 메커니즘(705)은, 예컨대, 진동, 수직 변위, 횡 변위, 푸쉬/풀(push/pull) 기술, 공기/유체 포켓, 재료의 국소 변형, 공진 기계적 요소, 압전 재료, 마이크로-전자-기계 시스템("MEMS") 요소, 열 유체 포켓, MEMS 펌프, 가변 다공성 막, 층류 유동 변조(laminar flow modulation) 등을 포함하는 다양한 기술에 의해 구현될 수 있다.
일 실시예에서, 햅틱 기재(705)는 반-가요성 또는 반-강성(semi-rigid) 재료로 구성된다. 일 실시예에서, 햅틱 기재는 가요성 표면(703)보다 더 강성이어야 하고 그렇게 함으로써 가요성 표면(703)의 표면 텍스쳐가 햅틱 기재(705)의 표면 패턴을 확인할 수 있다. 햅틱 기재(705)는, 예컨대, 하나 이상의 액츄에이터를 포함하고, 이는 전기 활성 고분자("EAP")의 섬유(또는 나노튜브), 압전 소자, 형상 기억 합금("SMA")의 섬유 등으로 구성될 수 있다. 생물학적 근육 또는 인공 근육으로도 알려진 EAP는, 전압의 인가에 응답하여 그 형상을 변화시킬 수 있다. EAP의 물리적 형태는 그것이 큰 힘을 지탱할 때 변형될 수 있다. EAP는 전자 변형성 폴리머, 유전체 엘라스토머, 도전성 폴리머, 이온 폴리머 금속 복합체, 응답성 겔(Responsive Gel), 버키 겔 액츄에이터(Bucky gel actuator), 또는 상술된 EAP 재료의 조합으로 구성될 수 있다.
메모리 금속으로도 알려진 형상 기억 합금("SMA")은 햅틱 기재(705)를 구성하는 데 사용될 수 있는 다른 유형의 재료이다. SMA는 구리-아연-알루미늄, 구리-알루미늄-니켈, 니켈-티타늄 합금, 또는 구리-아연-알루미늄, 구리-알루미늄-니켈, 및/또는 니켈-티타늄 합금의 조합으로 이루어질 수 있다. SMA의 특징은 그 원래의 형상이 변형될 때, 주위 온도 및/또는 주변 환경에 따라 그 원래의 형상을 회복한다는 것이다. 본 실시예는 특정 햅틱 감각을 달성하기 위해 EAP, 압전 소자, 및/또는 SMA를 조합할 수 있다는 점을 주목해야 한다.
변형 메커니즘(711)은 가요성 표면(703)을 변형시키게 하는 햅틱 기재(705) 내의 요소를 변환하기 위한 인력 및/또는 척력을 제공한다. 예컨대, 변형 메커니즘(711)이 가요성 표면(703)과 햅틱 기재(705) 사이에 진공을 생성하는 경우, 가요성 표면(703)은 햅틱 기재(705)에 밀려, 가요성 표면(703)으로 하여금 햅틱 기재(705)의 표면 패턴에 따라 가요성 표면(703)의 텍스쳐를 보여주게 한다. 즉, 햅틱 기재(705)의 표면 패턴이 발생되면, 가요성 표면은 햅틱 기재(705)에 당겨지거나 밀려져서 가요성 표면(703)의 변형된 표면을 통해 햅틱 기재(705)의 패턴을 드러내게 된다. 일 실시예에서, 햅틱 기재(705) 및 변형 메커니즘(711)은 동일 또는 실질적으로 동일한 층으로 구성된다.
제1 활성화 신호가 수신되면, 햅틱 기재(705)는 제1 표면 패턴을 생성한다. 햅틱 기재(705)의 표면 패턴을 형성한 후에, 그 뒤 변형 메커니즘(711)은 햅틱 기재(705)의 표면 패턴에 응답하여 가요성 표면(703)의 표면 텍스쳐를 변경시키도록 활성화된다. 대안적으로, 햅틱 기재(705)가 제2 활성화 신호를 수신하면, 이는 제2 패턴을 발생시킨다.
햅틱 기재(705)는 각 영역이 독립적으로 활성화되어 기재의 표면 패턴을 형성할 수 있는 다수의 촉각 영역을 더 포함한다. 햅틱 기재(705)는 또한 확인 피드백을 생성하여 사용자가 입력한 입력 선택을 확인할 수 있다. 변형 메커니즘(711)은 제1 표면 특징에서 제2 표면 특징으로 가요성 표면(703)의 표면 조직을 변형시키도록 구성된다. 햅틱 장치는 센서를 더 포함할 수 있고, 이는 센서가 가요성 표면(703) 상의 터치를 감지할 때 장치를 활성화시킬 수 있다는 점을 주목해야 한다. 변형 메커니즘(711)은 진공 발생기일 수 있고, 이는 가요성 표면(703)으로 하여금 햅틱 기재(705)의 제1 패턴의 구성에 따라 그 표면 구성을 변형시키기 위해 제1 표면 패턴을 붕괴시키게 할 수 있다.
햅틱 기재(705)는 촉각 지역(707 및 709)이 활성화 되었을 때의 상태를 보여준다. 촉각 지역(707 및 709)은 z축 방향으로 상승된다. 하나 이상의 활성화 신호가 수신되면, 햅틱 기재(705)는 활성화 신호에 따라 표면 패턴을 식별한다. 햅틱 기재(705)는 패턴을 생성하기 위해 영역(707 및 709)과 같은 다양한 촉각 영역을 활성화시킴으로써 식별된 패턴을 제공한다. 촉각 지역(707 및 709)은 두 개의 버튼 또는 키를 모방한 것이라는 점을 주목해야 한다. 다른 실시예에서, 햅틱 영역(707 또는 709)은 각 비트가 활성화 또는 비활성화를 위해 제어될 수 있는 다수의 햅틱 비트를 포함한다.
도 8a 내지 8b는 USF를 사용하는 햅틱 장치에 대한 도면이다. 초음파 진동 디스플레이(801)는 몇 마이크로미터의 차수(order)로 초음파 진동을 생성한다. 디스플레이(801)는 초음파 범위에서 진동하는 터치 인터페이스 표면(803)으로 구성된다. 진동(805)은 손가락(809)이 표면(803)에 접촉하여 힘(807) Ft를 적용할 때 속도 vt에서 터치 표면(803)을 따라 발생한다. 진동(805)은 표면(803) 상의 마찰을 명백히 감소 시킨다. 일 설명은 위 및 아래로 이동함에 의한 것인데, 접촉 표면(803)은 표면(803)과 상호작용하는 손가락(809) 사이에 에어 갭(813)을 생성하고, 에어 갭(813)은 마찰 감소를 일으킨다. 이는 손가락(809)이 파동(805)의 마루(crest) 또는 피크(peak)에 접촉할 때 소정 순간 손가락(809)이 접촉하고, 때때로는 손가락(809)이 파동(805)의 골짜기 상에 있을 때가 아닌, 표면(803)을 따른 램 파동(815)처럼 생각될 수 있다. 손가락(809)이 속도 vf로 횡 방향(811)으로 움직일 때, 표면(803)의 명백한 마찰은 손가락(809)과 표면(803)의 온오프(on and off) 접촉으로 인해 감소된다. 표면(803)이 활성화되지 않을 때, 손가락(809)은 항상 표면(803)과 접촉하고 정적 또는 동적 마찰계수는 일정하게 유지된다.
진동(805)은 통상적으로 20 kHz 이상의 초음파 범위로 표면(803) 상에 생기기 때문에, 파장 콘텐츠는 보통 손가락 크기보다 작고, 따라서 일관성있는 경험을 가능하게 한다. 표면(803)의 법선 변위는 5 마이크로미터 미만의 차수이고, 더 작은 변위는 더 낮은 마찰 감소를 초래한다는 것을 주목해야 한다.
도 9는 본 발명의 일 실시예에 따른 5.1 멀티 채널 오디오 서라운드 구성예이다. 5.1 멀티 채널 오디오 서라운드 구성은 스피커와 같은 복수의 오디오 출력 장치를 포함한다. 예시적인 실시예에서, 5.1 멀티 채널 오디오 서라운드 구성(즉, 오디오 출력 장치(C, Sub, L, R, LS 및 RS))은 사용자(U)를 둘러싸는 원 내에 위치된다. 소스 오디오 신호는 복수의 소스 오디오 채널을 포함하고, 여기서 하나 이상의 소스 오디오 채널은 오디오 출력 장치에 매핑되고, 오디오 출력 장치는 매핑된 소스 오디오 채널에 기초하여 오디오 효과를 출력한다. 실시예에 따르면, 소스 오디오 신호의 LFE 채널은 오디오 출력 장치(Sub)에 매핑될 수 있다. 전술한 바와 같이, LFE 채널은 인간 청각 지각의 풀(full) 스펙트럼보다 실질적으로 적은 오디오 스펙트럼으로 인코딩 되는 오디오 채널이다. LFE 트랙은 일반적으로 20 Hz 내지 120 Hz 범위의 가청 주파수를 가진 저주파수 정보를 인코딩 하는 데 사용되지만, 한정된 주파수 범위를 가진 임의의 다른 오디오 신호를 포함할 수 있다. LFE 채널은 통상적으로 다른 오디오 채널 대역의 일부만을 요구하기 때문에, 5.1 멀티 채널 오디오 서라운드 구성의 '.1'은 LFE 채널을 지칭한다.
도 10은 본 발명의 일 실시예에 따른 인간 청각 시스템 등청감 차트이다. 등청감 차트는 주파수 스펙트럼을 통해 음압("dB SPL")을 측정하고, 이는 듣는 사람이 순수히 꾸준한 톤으로 나타날 때의 일정한 소리크기를 인지한다. 소리크기 레벨에 대한 측정 단위는 "phon"이고, 등청감 컨투어(contour)를 참조하여 파악된다. 가장 낮은 등청감 컨투어(1010)은 가장 조용한 가청 톤을 나타내고 또한 청각의 절대 임계값으로 알려져 있다. 가장 높은 등청감 컨투어(1020)는 고통 임계값으로 알려져 있다.
도 11a-11b는 본 발명의 일 실시예에 따른 시프팅, 증폭 및 압축된 오디오 신호를 나타내는 오디오 스펙트로그램이다. 보다 구체적으로, 도 11a는 5.1 오디오 신호로부터 추출되는 LFE 오디오 신호(1110)를 나타낸다. 도 11b는 피치-시프팅, 압축, 및 증폭된 LFE 오디오 신호(1120)를 나타낸다. 오디오 신호를 피치-시프팅함으로써, 오디오 신호의 하나 이상의 원래 주파수가 하나 이상의 새로운 주파수로 시프팅 되고, 여기서 새로운 주파수의 비율이 원래 주파수의 비율과 동일하도록, 새로운 주파수는 원래 주파수의 조화 관계를 유지한다. 예컨대, 1 kHz의 기본 주파수 및 2 kHz와 5 KHz의 두 조화 주파수를 포함하는 오디오 신호는 2.5의 팩터로 상향 피치-시프팅 될 수 있고, 여기서 피치-시프팅 된 오디오 신호는 2.5 kHz의 기본 주파수 및 5 kHz와 12.5 kHz의 두 조화 주파수를 포함한다. 다른 실시예에서, LFE 오디오 신호(1120)는 피치-시프팅 보다는 주파수-시프팅 될 수 있다. 오디오 신호를 주파수-시프팅 함으로써, 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 새로운 주파수로 시프팅 되고, 여기서 새로운 주파수의 비율이 원래 주파수의 비율과 반드시 동일할 필요는 없도록, 새로운 주파수는 원래 주파수의 조화 관계를 유지하지 않는다. 예컨대, 1 kHz의 기본 주파수 및 2 kHz와 5 KHz의 두 조화 주파수를 포함하는 오디오 신호는 1.5 KHz로 상향 주파수-시프팅 될 수 있고, 여기서 주파수-시프팅 된 오디오 신호는 2.5 Hz의 기본 주파수 및 3.55 kHz와 6.5 kHz의 두 조화 주파수를 포함한다. LFE 오디오 신호(1110)를 상향으로 피치-시프팅 또는 주파수-시프팅 함으로써, LFE 오디오 신호(1110)의 하나 이상의 주파수는 액츄에이터와 같은 햅틱 출력 장치의 원래 주파수 범위에서 목적 주파수 범위로 시프팅 될 수 있다. LFE 오디오 신호(1120)의 하나 이상의 주파수가 햅틱 출력 장치의 목적 주파수 범위 내에 있기 때문에, LFE 오디오 신호(1120)는 햅틱 출력 장치에 대해 적절한 햅틱 신호일 수 있다. 특정 실시예들에서, 원래 주파수 범위는 20 Hz 내지 120 Hz와 같은 한정된 주파수 범위일 수 있다. 이들 실시예들에서, LFE 오디오 신호(1110)의 하나 이상의 주파수 중 하나, 일부 또는 모든 것이 한정된 주파수 범위 바깥으로 시프팅 될 수 있다. 또한, 특정 실시예들에서, 햅틱 출력 장치의 목적 주파수 범위는 햅틱 출력 장치의 유형에 기초하여 실행 시간에 결정될 수 있다. 목적 주파수 범위의 예는 30 Hz 내지 120 Hz(예컨대, LRA 액츄에이터에 대한), 및 120 Hz 내지 300 Hz(예컨대, 압전 액츄에이터에 대한)를 포함할 수 있다.
또한, LFE 오디오 신호(1120)는, 압축, 증폭, 또는 둘의 조합으로 될 수 있다. 더욱이, LFE 오디오 신호(1120)는 햅틱 출력 장치의 목적 구동 주파수로 리샘플링 될 수 있다. 보다 구체적으로, LFE 오디오 신호(1120)의 렌더링 주파수는 새로운 렌더링 주파수로 시프팅 될 수 있고, 여기서 새로운 렌더링 주파수는 햅틱 출력 장치의 목적 구동 주파수와 동일할 수 있다. 이러한 리샘플링은 햅틱 출력 장치의 기능에 더 잘 맞게 하기 위해 어떻게 LFE 오디오 신호(1120)가 렌더링 되는지(즉, 얼마나 많은 샘플이 초당 재생되는지)를 변경할 수 있다. LFE 오디오 신호(1120)가 피치-시프팅 (또는 그렇지 않으면 주파수-시프팅) 된 후 리샘플링이 수행될 수 있거나, LFE 오디오 신호(1120)가 햅틱 신호로서 햅틱 출력 장치로 발송될 때, 리샘플링이 실행 시에 수행될 수 있다. 또한, 소정 실시예들에서, 리샘플링은 생략될 수 있다. 그 뒤 LFE 오디오 신호(1120)는 햅틱 신호로서 햅틱 출력 장치로 발송될 수 있고, 여기서 햅틱 출력 장치는 햅틱 신호에 기초하여 하나 이상의 햅틱 효과를 출력할 수 있다.
도 12a-12b는 본 발명의 일 실시예에 따른 시프팅 된 오디오 신호를 나타내는 블랙맨-해리스 윈도우이다. 보다 구체적으로, 도 12a는 5.1 오디오 신호로부터 추출된 LFE 오디오 신호(1210)를 나타낸다. 도 12b는 피치-시프팅 된 LFE 오디오 신호(1220)를 나타낸다. 전술한 바와 같이, 오디오 신호를 피치-시프팅 함으로써, 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 새로운 주파수로 시프팅되고, 여기서 새로운 주파수의 비율이 원래 주파수의 비율과 동일하도록, 새로운 주파수는 원래 주파수의 조화 관계를 유지한다. 다른 실시예에서, LFE 오디오 신호(1220)는 피치-시프팅보다는 주파수-시프팅 될 수 있다. 전술한 바와 같이, 오디오 신호를 주파수-시프팅 함으로써, 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 새로운 주파수로 시프팅 되고, 여기서 새로운 주파수의 비율이 반드시 원래 주파수의 비율과 동일하지는 않도록, 새로운 주파수는 원래 주파수의 조화 관계를 유지하지 않는다.
도 13은 본 발명의 일 실시예에 따른 경험 품질 차트 및 LFE 햅틱 차트이다. 실시예에 따르면, 연구는 몇몇 참가자와 함께 수행되었는데, 여기서 테스트 비디오가 참가자에게 보여졌고, 테스트 비디오는 태블릿 장치 상에 디스플레이 되었다. 소정 테스트 비디오는 각 비디오에 포함된 오디오 신호로부터 LFE 오디오 신호를 추출하고 LFE 오디오 신호를 햅틱 신호로 변환한 것에 기초하여 발생된 햅틱 효과를 포함했다. 다른 테스트 비디오는 햅틱 효과를 포함하지 않았다. 참가자는 테스트 비디오를 보고, 그들의 손에 태블릿 장치를 들고 있는 동안 고품질 스테레오 헤드폰을 착용했다. 참가자는 테스트 비디오를 보았고 경험 타임-라이닝(time-lining) 인터페이스로 실시간 평가를 했다. 참가자는 또한 각 테스트 비디오의 끝에 설문을 답변하였다. 테스트 비디오의 실제 프리젠테이션 순서는 동일한 비디오에서 반복 상영되는 것을 방지하도록 변화되었다. 프리젠테이션 순서는 참가자들 사이에 균형화되어 순서 효과를 제어했다. 전체 비디오 재생 시간은 대략 32 내지 35분이었고, 총 세션 시간은 90분으로 동등했다. 또한, 실시예에 따르면, 20명의 총 참가자가 있었는데, 참가자 그룹은 성별 균형화되었다. 참가자의 50%가 태블릿을 소유하고 있다는 것을 나타냈고, 모든 참가자들은 그들이 정기적으로(즉, 1주일에 2~3회) 스마트폰 또는 태블릿에서 미디어를 본다는 것을 나타냈다.
실시예에 따라, 햅틱 신호(1310)는 연구에서의 제1 비디오 내에 포함된 오디오 신호로부터 추출되는 LFE 오디오 신호에 기초하여 발생되는 햅틱 신호이다. 제1 비디오의 LFE 햅틱 버전은 연구의 소정 참가자에게 보여졌고, 여기서 제1 비디오의 LFE 햅틱 버전은 햅틱 신호(1310)에 기초하여 발생된 햅틱 효과를 포함했다. 제1 비디오의 비-햅틱 버전은 연구의 다른 참가자에게 보여졌고, 여기서 제1 비디오의 비-햅틱 버전은 어떠한 햅틱 효과도 포함하지 않았다. 그래프(1320)는 제1 비디오의 비-햅틱 버전의 지속시간 동안 참가자에 의해 나타내진 평균 경험 품질("QoE") 레이팅을 나타내고, 여기서 QoE 레이팅은 시청 경험의 품질을 나타내는 0 내지 100의 레이팅이며, 여기서 0은 가장 낮은 품질, 100은 가장 높은 품질을 나타낸다. 그래프(1330)는 제1 비디오의 LFE 햅틱 버전의 지속시간 동안에 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 또한, 그래프(1340)는 제1 비디오의 지속시간 동안의 그래프(1330)의 평균 QoE 레이팅과 그래프(1320)의 평균 QoE 레이팅의 델타를 나타낸다. 그래프(1320, 1330, 및 1340)으로부터 볼 수 있는 바와 같이, 제1 비디오의 LFE 햅틱 버전을 경험했던 참가자가 제1 비디오의 비-햅틱 버전을 경험했던 참가자보다 높은 레이팅의 품질을 나타냈고, 햅틱 효과가 햅틱 신호(1310)의 콘텐츠에 기초하여 더 뚜렷했던 제1 비디오의 부분에서 특히 더 그러했다.
도 14는 본 발명의 일 실시예에 따른 경험 품질 차트 및 LFE 햅틱 차트이다. 햅틱 신호(1410)는 연구에서의 제2 비디오 내에 포함된 오디오 신호로부터 추출되는 LFE 오디오 신호에 기초하여 발생되는 햅틱 신호이다. 제2 비디오의 LFE 햅틱 버전은 연구의 소정 참가자에게 보여졌고, 여기서 제2 비디오의 LFE 햅틱 버전은 햅틱 신호(1410)에 기초하여 발생된 햅틱 효과를 포함했다. 제2 비디오의 비-햅틱 버전은 연구의 다른 참가자에게 보여졌고, 여기서 제2 비디오의 비-햅틱 버전은 어떠한 햅틱 효과도 포함하지 않았다. 그래프(1420)는 제2 비디오의 비-햅틱 버전의 지속시간 동안 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 그래프(1430)는 제2 비디오의 LFE 햅틱 버전의 지속시간 동안에 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 또한, 그래프(1440)는 제2 비디오의 지속시간 동안의 그래프(1430)의 평균 QoE 레이팅과 그래프(1420)의 평균 QoE 레이팅의 델타를 나타낸다. 그래프(1420, 1430, 및 1440)으로부터 볼 수 있는 바와 같이, 제2 비디오의 LFE 햅틱 버전을 경험했던 참가자가 제2 비디오의 비-햅틱 버전을 경험했던 참가자보다 높은 레이팅의 품질을 나타냈고, 햅틱 효과가 햅틱 신호(1410)의 콘텐츠에 기초하여 더 뚜렷했던 제2 비디오의 부분에서 특히 더 그러했다.
도 15는 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트이다. 햅틱 신호(1510)는 연구에서의 제3 비디오 내에 포함된 오디오 신호로부터 추출되는 LFE 오디오 신호에 기초하여 발생되는 햅틱 신호이다. 제3 비디오의 LFE 햅틱 버전은 연구의 소정 참가자에게 보여졌고, 여기서 제3 비디오의 LFE 햅틱 버전은 햅틱 신호(1510)에 기초하여 발생된 햅틱 효과를 포함했다. 제3 비디오의 비-햅틱 버전은 연구의 다른 참가자에게 보여졌고, 여기서 제3 비디오의 비-햅틱 버전은 어떠한 햅틱 효과도 포함하지 않았다. 그래프(1520)는 제3 비디오의 비-햅틱 버전의 지속시간 동안 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 그래프(1530)는 제3 비디오의 LFE 햅틱 버전의 지속시간 동안에 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 또한, 그래프(1540)는 제3 비디오의 지속시간 동안의 그래프(1520)의 평균 QoE 레이팅과 그래프(1530)의 평균 QoE 레이팅의 델타를 나타낸다. 그래프(1520, 1530, 및 1540)으로부터 볼 수 있는 바와 같이, 제3 비디오의 LFE 햅틱 버전을 경험했던 참가자가 제3 비디오의 비-햅틱 버전을 경험했던 참가자보다 높은 레이팅의 품질을 나타냈고, 햅틱 효과가 햅틱 신호(1510)의 콘텐츠에 기초하여 더 뚜렷했던 제3 비디오의 부분에서 특히 더 그러했다.
도 16은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트이다. 햅틱 신호(1610)는 연구에서의 제4 비디오 내에 포함된 오디오 신호로부터 추출되는 LFE 오디오 신호에 기초하여 발생되는 햅틱 신호이다. 제4 비디오의 LFE 햅틱 버전은 연구의 소정 참가자에게 보여졌고, 여기서 제4 비디오의 LFE 햅틱 버전은 햅틱 신호(1610)에 기초하여 발생된 햅틱 효과를 포함했다. 제4 비디오의 비-햅틱 버전은 연구의 다른 참가자에게 보여졌고, 여기서 제4 비디오의 비-햅틱 버전은 어떠한 햅틱 효과도 포함하지 않았다. 그래프(1620)는 제4 비디오의 비-햅틱 버전의 지속시간 동안 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 그래프(1630)는 제4 비디오의 LFE 햅틱 버전의 지속시간 동안에 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 또한, 그래프(1640)는 제4 비디오의 지속시간 동안의 그래프(1620)의 평균 QoE 레이팅과 그래프(1630)의 평균 QoE 레이팅의 델타를 나타낸다. 그래프(1620, 1630, 및 1640)으로부터 볼 수 있는 바와 같이, 제4 비디오의 LFE 햅틱 버전을 경험했던 참가자가 제4 비디오의 비-햅틱 버전을 경험했던 참가자보다 높은 레이팅의 품질을 나타냈고, 햅틱 효과가 햅틱 신호(1610)의 콘텐츠에 기초하여 더 뚜렷했던 제4 비디오의 부분에서 특히 더 그러했다.
도 17은 본 발명의 일 실시예에 따른 경험 품질 차트 및 상응하는 LFE 햅틱 차트이다. 햅틱 신호(1710)는 연구에서의 제5 비디오 내에 포함된 오디오 신호로부터 추출되는 LFE 오디오 신호에 기초하여 발생되는 햅틱 신호이다. 제5 비디오의 LFE 햅틱 버전은 연구의 소정 참가자에게 보여졌고, 여기서 제5 비디오의 LFE 햅틱 버전은 햅틱 신호(1710)에 기초하여 발생된 햅틱 효과를 포함했다. 제5 비디오의 비-햅틱 버전은 연구의 다른 참가자에게 보여졌고, 여기서 제5 비디오의 비-햅틱 버전은 어떠한 햅틱 효과도 포함하지 않았다. 그래프(1720)는 제5 비디오의 비-햅틱 버전의 지속시간 동안 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 그래프(1730)는 제5 비디오의 LFE 햅틱 버전의 지속시간 동안에 참가자에 의해 나타내진 평균 QoE 레이팅을 나타낸다. 또한, 그래프(1740)는 제5 비디오의 지속시간 동안의 그래프(1730)의 평균 QoE 레이팅과 그래프(1720)의 평균 QoE 레이팅의 델타를 나타낸다. 그래프(1720, 1730, 및 1740)으로부터 볼 수 있는 바와 같이, 제5 비디오의 LFE 햅틱 버전을 경험했던 참가자가 제5 비디오의 비-햅틱 버전을 경험했던 참가자보다 높은 레이팅의 품질을 나타냈고, 햅틱 효과가 햅틱 신호(1710)의 콘텐츠에 기초하여 더 뚜렷했던 제5 비디오의 부분에서 특히 더 그러했다.
도 18은 본 발명의 일 실시예에 따른 몰입감 요약 차트이다. 몰입감 요약 차트는 비디오의 LFE 햅틱 버전에 대한 연구의 참가자에 의해 나타내진 몰입감 레이팅을 비디오의 비-햅틱 버전에 대한 연구의 참가자에 의해 나타내진 몰입감 레이팅과 비교하고, 여기서 몰입감 레이팅은 참가자가 시청 경험으로 얼마나 몰입되었는지를 나타내는 0에서 9까지의 레이팅이며, 0은 가장 낮은 양의 몰입감을 나타내고, 9는 가장 높은 양의 몰입감을 나타낸다.
도 18의 몰입감 요약 차트는 몰입감 레이팅 세트(1810, 1815, 1820, 1825, 1830, 1835, 1840, 1845, 1850 및 1855)를 포함한다. 몰입감 레이팅 세트(1810)는 연구의 제1 비디오의 비-햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1815)는 제1 비디오의 LFE 햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1815)의 평균 레이팅(즉, 6.15)은 몰입감 레이팅 세트(1810)의 평균 레이팅(즉, 4.9)보다 높다. 또한, 몰입감 레이팅 세트(1820)는 연구의 제2 비디오의 비-햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1825)는 제2 비디오의 LFE 햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1825)의 평균 레이팅(즉, 6.7)은 몰입감 레이팅 세트(1820)의 평균 레이팅(즉, 5.2)보다 높다. 몰입감 레이팅 세트(1830)는 연구의 제3 비디오의 비-햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1835)는 제3 비디오의 LFE 햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1835)의 평균 레이팅(즉, 6.7)은 몰입감 레이팅 세트(1830)의 평균 레이팅(즉, 5.4)보다 높다.
또한, 몰입감 레이팅 세트(1840)는 연구의 제4 비디오의 비-햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1845)는 제4 비디오의 LFE 햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1845)의 평균 레이팅(즉, 6.55)은 몰입감 레이팅 세트(1840)의 평균 레이팅(즉, 4.65)보다 높다. 몰입감 레이팅 세트(1850)는 연구의 제5 비디오의 비-햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1855)는 제5 비디오의 LFE 햅틱 버전에 대한 몰입감 레이팅을 나타낸다. 몰입감 레이팅 세트(1855)의 평균 레이팅(즉, 6.9)은 몰입감 레이팅 세트(1850)의 평균 레이팅(즉, 5.15)보다 높다. 따라서, 비디오의 LFE 햅틱 버전에 대한 몰입감 레이팅과 비디오의 비-햅틱 버전에 대한 몰입감 레이팅 사이의 모든 차이는 통계적으로 유의하다. 또한, 평균적으로, 비디오의 비-햅틱 버전에 비해, 비디오의 LFE 햅틱 버전은 연구의 참가자에 의해 30% 더 몰입감 있다고 평가 되었다.
도 19는 본 발명의 일 실시예에 따른 경험 품질 요약 차트이다. 경험 품질 요약 차트는 비디오의 LFE 햅틱 버전에 대한 연구의 참가자에 의해 나타내진 QoE 레이팅을 비디오의 비-햅틱 버전에 대한 연구의 참가자에 의해 나타내진 QoE 레이팅과 비교하고, 여기서 QoE 레이팅은 시청 경험의 품질을 나타내는 0에서 100까지의 레이팅이며, 0은 가장 낮은 품질을 나타내고, 100은 가장 높은 품질을 나타낸다.
도 19의 경험 품질 요약 차트는 QoE 레이팅 세트(1910, 1915, 1920, 1925, 1930, 1935, 1940, 1945, 1950 및 1955)를 포함한다. QoE 레이팅 세트(1910)는 연구의 제1 비디오의 비-햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1915)는 제1 비디오의 LFE 햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1915)의 평균 레이팅(즉, 70.4)은 QoE 레이팅 세트(1910)의 평균 레이팅(즉, 58.6)보다 높다. 또한, QoE 레이팅 세트(1920)는 연구의 제2 비디오의 비-햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1925)는 제2 비디오의 LFE 햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1925)의 평균 레이팅(즉, 74.1)은 QoE 레이팅 세트(1920)의 평균 레이팅(즉, 62.5)보다 높다. QoE 레이팅 세트(1930)는 연구의 제3 비디오의 비-햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1935)는 제3 비디오의 LFE 햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1935)의 평균 레이팅(즉, 74.5)은 QoE 레이팅 세트(1930)의 평균 레이팅(즉, 63.9)보다 높다.
또한, QoE 레이팅 세트(1940)는 연구의 제4 비디오의 비-햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1945)는 제4 비디오의 LFE 햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1945)의 평균 레이팅(즉, 75.1)은 QoE 레이팅 세트(1940)의 평균 레이팅(즉, 60)보다 높다. QoE 레이팅 세트(1950)는 연구의 제5 비디오의 비-햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1955)는 제5 비디오의 LFE 햅틱 버전에 대한 QoE 레이팅을 나타낸다. QoE 레이팅 세트(1955)의 평균 레이팅(즉, 75)은 QoE 레이팅 세트(1950)의 평균 레이팅(즉, 58.9)보다 높다. 따라서, 비디오의 LFE 햅틱 버전에 대한 QoE 레이팅과 비디오의 비-햅틱 버전에 대한 QoE 레이팅 사이의 모든 차이는 통계적으로 유의하다. 또한, 평균적으로, 비디오의 비-햅틱 버전에 비해, 비디오의 LFE 햅틱 버전은 연구의 참가자에 의해 21% 더 높다고 평가 되었다.
도 20은 본 발명의 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도이다. 일 실시예에서, 도 21, 22, 23, 24, 25, 28, 29, 및 30의 흐름도의 기능뿐만 아니라, 도 20의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독가능 또는 유형 매체에 저장된 소프트웨어에 의해 각각 구현되고, 프로세서에 의해 실행된다. 다른 실시예들에서, 각각의 기능은, 하드웨어(예컨대, 주문형 집적 회로(application specific integrated circuit, "ASIC"), 프로그래머블 게이트 어레이(programmable gate array, "PGA"), 필드 프로그래머블 게이트 어레이(field programmable gate array, "FPGA") 등의 사용을 통해), 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 특정 실시예들에서, 일부 기능은 생략될 수 있다.
흐름이 시작되어 단계(2001)로 진행한다. 단계(2001)에서, 소스 오디오 신호가 수신된다. 소스 오디오 신호는 다수의 오디오 신호를 포함하고, 여기서 오디오 신호는 다수의 트랙 또는 채널 내에 포함될 수 있다. 복수의 오디오 신호 중 적어도 하나는 LFE 오디오 신호일 수 있고, 여기서 LFE 오디오 신호는 LFE 트랙 또는 LFE 채널 내에 포함될 수 있다. 그런 다음 흐름은 단계(2003)로 진행한다.
단계(2003)에서, 소스 오디오 신호는 LFE 오디오 신호를 포함하는 서라운드 인코딩으로 다운 믹싱된다. 특정 실시예들에서, 서라운드 인코딩은 5.1 서라운드 인코딩일 수 있다. 그런 다음 흐름은 단계(2005)로 진행한다.
단계(2005)에서, LFE 오디오 신호는 소스 오디오 신호로부터 추출된다. LFE 오디오 신호가 소스 오디오 신호 내에 인코딩 되는 특정 실시예들에서, 추출된 LFE 오디오 신호 또한 디코딩 된다. 그런 다음 흐름은 단계(2007)로 진행한다.
단계(2007)에서, LFE 오디오 신호는 햅틱 신호로 변환된다. 특정 실시예들에서, LFE 오디오 신호는 LFE 오디오 신호를 피치-시프팅 함으로써 햅틱 신호로 변환될 수 있다. LFE 오디오 신호를 피치-시프팅 함으로써, LFE 오디오 신호의 원래 피치는 액츄에이터와 같은 햅틱 출력 장치의 목적 피치 범위 내의 목적 피치로 시프팅 될 수 있다. 또한, LFE 오디오 신호의 원래 피치를 목적 피치로 시프팅 함으로써, LFE 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 목적 주파수로 시프팅 될 수 있고, 여기서 하나 이상의 목적 주파수의 비율은 하나 이상의 원래 주파수의 비율과 동일하다. 특정 실시예들에서, LFE 오디오 신호의 원래 피치는 20 Hz 내지 100 Hz와 같은 한정된 피치 범위 내일 수 있다. 소정 실시예들에서, LFE 오디오 신호의 원래 피치의 시프팅은 한정된 피치 범위 바깥으로 원래 피치를 시프팅 하는 것이다. 이러한 실시예들의 일부에서, LFE 오디오 신호의 원래의 피치의 시프팅은 한정된 피치 범위 바깥으로 완전히 원래 피치를 시프팅 하는 것이다. 다른 실시예들에서, LFE 오디오 신호는 LFE 오디오 신호를 주파수-시프팅 함으로써 햅틱 신호로 변환될 수 있다. LFE 오디오 신호를 주파수-시프팅 함으로써, LFE 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 목적 주파수로 시프팅 될 수 있고, 여기서 하나 이상의 목적 주파수의 비율은 하나 이상의 원래 주파수의 비율과 동일하지 않다. 특정 실시예들에서, LFE 오디오 신호의 하나 이상의 원래 피치는 20 Hz 내지 100 Hz와 같은 한정된 피치 범위 내일 수 있다. 소정 실시예들에서, LFE 오디오 신호의 하나 이상의 원래 피치의 시프팅은 한정된 피치 범위 바깥으로 하나 이상의 원래 피치를 시프팅 하는 것이다. 이러한 실시예들의 일부에서, LFE 오디오 신호의 하나 이상의 원래의 피치의 시프팅은 한정된 피치 범위 바깥으로 완전히 하나 이상의 원래 피치를 시프팅 하는 것이다. 그런 다음 흐름은 단계(2009)로 진행한다.
단계(2009)에서, 햅틱 신호는 햅틱 출력 장치의 목적 구동 주파수로 리샘플링 된다. 목적 구동 주파수의 예는 8 kHz이다. 그런 다음 흐름은 단계(2011)로 진행한다.
단계(2011)에서, 햅틱 신호는 햅틱 데이터 인코딩을 지원하는 파일의 컨테이너 또는 스트리밍 데이터 포맷 내에 인코딩 된다. 특정 실시예들에서, 햅틱 신호는 LFE 오디오 신호 내에 인코딩 된다. 그 뒤 햅틱 신호는 컨테이너로부터 추출되고, 디코딩 되고, 햅틱 출력 장치로 발송되며, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 그런 다음 흐름은 종료한다.
특정 실시예들에서, 하나 이상의 파라미터가 피치-시프팅, 또는 주파수-시프팅의 양 또는 장소를 제어하기 위해, 피치-시프팅, 또는 주파수-시프팅을 조정하도록 (자동으로 또는 사용자에 의해) 제공될 수 있다. 또한, 소정 실시예들에서, LFE 오디오 신호의 추가 프로세싱은 피치-시프팅, 또는 주파수-시프팅 전 또는 후에 수행될 수 있다. 추가 프로세싱은 피치-시프팅, 또는 주파수-시프팅에 의해 도입된 노이즈를 제거하기 위해, 필터링, 또는 다른 "스무딩(smoothing)" 동작을 포함할 수 있다. 또한, 소정 실시예들에서, 햅틱 신호는 실시간 또는 거의 실시간으로 햅틱 출력 장치로 발송될 수 있다.
도 21은 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도이다. 흐름은 시작되어 단계(2101)로 진행한다. 단계(2101)에서, 소스 오디오 신호가 수신된다. 소스 오디오 신호는 다수의 오디오 신호를 포함하고, 여기서 오디오 신호는 다수의 트랙 또는 채널 내에 포함될 수 있다. 다수의 오디오 신호들 중 적어도 하나는 LFE 오디오 신호일 수 있고, 여기서 LFE 오디오 신호는 LFE 트랙 또는 LFE 채널 내에 포함될 수 있다. 그런 다음 흐름은 단계(2103)로 진행한다.
단계(2103)에서, 소스 오디오 신호는 LFE 오디오 신호를 포함하는 서라운드 인코딩으로 실시간으로 공간화된다. 특정 실시예들에서, 서라운드 인코딩은 5.1 서라운드 인코딩일 수 있다. 그런 다음 흐름은 단계(2105)로 진행한다.
단계(2105)에서, LFE 오디오 신호는 소스 오디오 신호로부터 추출된다. LFE 오디오 신호가 소스 오디오 신호 내에 인코딩 되는 특정 실시예들에서, 추출된 LFE 오디오 신호는 또한 디코딩 된다. 그런 다음 흐름은 단계(2107)로 진행한다.
단계(2107)에서, LFE 오디오 신호는 햅틱 신호로 변환된다. 특정 실시예들에서, LFE 오디오 신호는 도 20과 관련하여 전술한 바와 같이, LFE 오디오 신호를 피치-시프팅 함으로써 햅틱 신호로 변환될 수 있다. 다른 실시예들에서, LFE 오디오 신호는 도 20과 관련하여 전술한 바와 같이, LFE 오디오 신호를 주파수-시프팅 함으로써 햅틱 신호로 변환될 수 있다. 그런 다음 흐름은 단계(2109)로 진행한다.
단계(2109)에서, 햅틱 신호는 액츄에이터와 같은 햅틱 출력 장치의 목적 구동 주파수로 리샘플링 된다. 목적 구동 주파수의 예는 8 kHz이다. 그런 다음 흐름은 단계(2111)로 진행한다.
단계(2111)에서, 햅틱 신호는 실시간으로 햅틱 출력 장치로 발송되고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 그런 다음 흐름은 종료한다.
도 22는 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도이다. 흐름은 시작되어 단계(2201)로 진행한다. 단계(2201)에서, 소스 오디오 신호가 수신된다. 소스 오디오 신호는 다수의 오디오 신호를 포함하고, 여기서 오디오 신호는 다수의 트랙 또는 채널 내에 포함될 수 있다. 다수의 오디오 신호들 중 적어도 하나는LFE 오디오 신호일 수 있고, 여기서 LFE 오디오 신호는 LFE 트랙 또는 LFE 채널 내에 포함될 수 있다. 그런 다음 흐름은 단계(2203)로 진행한다.
단계(2203)에서, 소스 오디오 신호는 다수의 오디오 신호로 디코딩 되고, 여기서 다수의 오디오 신호는 LFE 오디오 신호를 포함한다. 그런 다음 흐름은 단계(2205)로 진행한다.
단계(2205)에서, LFE 오디오 신호는 소스 오디오 신호로부터 추출된다. LFE 오디오 신호가 소스 오디오 신호 내에 인코딩 되는 특정 실시예들에서, 추출된 LFE 오디오 신호는 또한 디코딩 된다. 그런 다음 흐름은 단계(2207)로 진행한다.
단계(2207)에서, LFE 오디오 신호는 햅틱 신호로 변환된다. 특정 실시예들에서, LFE 오디오 신호는 도 20과 관련하여 전술한 바와 같이, LFE 오디오 신호를 피치-시프팅 함으로써 햅틱 신호로 변환될 수 있다. 다른 실시예들에서, LFE 오디오 신호는 도 20과 관련하여 전술한 바와 같이, LFE 오디오 신호를 주파수-시프팅 함으로써 햅틱 신호로 변환될 수 있다. 그런 다음 흐름은 단계(2209)로 진행한다.
단계(2209)에서, 햅틱 신호는 액츄에이터와 같은 햅틱 출력 장치의 목적 구동 주파수로 리샘플링 된다. 목적 구동 주파수의 예는 8 kHz이다. 그런 다음 흐름은 단계(2211)로 진행한다.
단계(2211)에서, 햅틱 신호는 실시간으로 햅틱 출력 장치로 발송되고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 그런 다음 흐름은 종료한다.
도 23은 본 발명의 실시예에 따른 저주파수 효과 신호 내에 햅틱 신호를 인코딩 하는 것에 대한 흐름도이다. 두 상이한 출력에 대한 콘텐츠가 단일 파형, 또는 다른 유형의 신호로 기록, 저장, 및 전송될 수 있기 때문에 오디오 신호 내에서 햅틱 신호를 인코딩 하는 것은 편리할 수 있다. LFE 오디오 신호의 경우, 한정된 주파수 범위(예컨대, 20 Hz 내지 120 Hz) 내의 오디오 신호가 동일한 주파수 범위로, 스피커와 같은 오디오 출력 장치에 저장 및 재생된다. 따라서, 실시예에 따라, 햅틱 신호는 LFE 오디오 신호 내에 포함된 오디오 데이터를 간섭하지 않고, 고주파수 범위(예컨대, 200 Hz 초과)와 같은 LFE 오디오 신호의 임의의 대역-한정 주파수 범위 내에 인코딩 될 수 있다. 햅틱 신호에 기초하여 발생되는 햅틱 효과의 설계는 1 Hz 내지 200 Hz와 같은 일반 주파수 범위에서 이루어질 수 있지만, LFE 오디오 신호 내에 햅틱 신호를 인코딩 할 때, 햅틱 신호는 임의의 대역-한정 주파수 범위로 시프팅 될 수 있어서, LFE 오디오 신호의 오디오 데이터를 간섭하지 않고 저장될 수 있다. 이러한 인코딩의 한 장점은 햅틱 신호가 LFE 오디오 신호로부터 직접 유도될 수 있거나, 햅틱 효과 개발자에 의해 작성될 수 있고, 햅틱 신호가 동일한 LFE 오디오 신호 내에 인코딩 될 수 있다는 것이다.
흐름은 시작되어 단계(2301)로 진행한다. 단계(2301)에서, 오디오 신호는 오디오 데이터를 포함하는 것으로 생성된다. 오디오 신호는 또한 LFE 오디오 신호를 포함한다. LFE 오디오 신호는 20 Hz 내지 120 Hz와 같은 한정된 주파수 범위 내의 하나 이상의 주파수를 가지는 오디오 데이터를 포함할 수 있다. 그런 다음 흐름은 단계(2303)로 진행한다.
단계(2303)에서, 햅틱 신호는 햅틱 데이터를 포함하는 것으로 생성된다. 햅틱 데이터는 1 Hz 내지 200 Hz와 같은 일반 주파수 범위 내의 하나 이상의 주파수를 포함할 수 있다. 그런 다음 흐름은 단계(2305)로 진행한다.
단계(2305)에서, 햅틱 신호는 오디오 신호의 LFE 오디오 신호 내에 인코딩된다. 특정 실시예들에서, 햅틱 신호는 LFE 오디오 신호의 목적 주파수 범위 내에 인코딩 될 수 있다. LFE 오디오 신호의 목적 주파수 범위는 고주파수 범위(예컨대, 200 Hz 초과)와 같은 임의의 대역-한정 주파수 범위일 수 있다. 이러한 실시예들에서, 햅틱 신호의 하나 이상의 주파수는, 햅틱 신호가 LFE 오디오 신호의 대역-한정 주파수 범위 내에 인코딩 되기 전에, 일반 주파수 범위 내의 하나 이상의 주파수에서 대역-한정 주파수 범위 내의 하나 이상의 주파수로 시프팅 될 수 있다. 그런 다음 흐름은 단계(2307)로 진행한다.
단계(2307)에서, 오디오 신호는 파일의 컨테이너 또는 스트리밍 데이터 포맷 내에 저장되거나, 또는 전송된다. 그런 다음 흐름은 종료한다.
도 24는 본 발명의 실시예에 따른 저주파수 효과 신호로부터 햅틱 신호를 디코딩 하는 것에 대한 흐름도이다. 전술한 바와 같이, 햅틱 신호에 기초하여 발생되는 햅틱 효과의 설계는 일반 주파수 범위에서 이루어질 수 있지만, LFE 오디오 신호 내에 햅틱 신호를 인코딩 할 때, 햅틱 신호는 임의의 대역-한정 주파수 범위로 시프팅 될 수 있어서, LFE 오디오 신호의 오디오 데이터를 간섭하지 않고 저장될 수 있다. 디코딩 할 때, 필터링 기술이 오디오 신호로부터 LFE 오디오 신호를 추출하고, 또한 LFE 오디오 신호로부터 햅틱 신호를 추출하는 데 사용될 수 있다. 필터링 기술은 또한 대역-한정 주파수 범위에서 일반 주파수 범위로 햅틱 신호를 주파수-시프팅 하는 데 사용될 수 있다.
흐름이 시작되어 단계(2401)로 진행한다. 단계(2401)에서, 디코딩을 수행하는 장치가 햅틱 지원을 가지는지 여부(즉, 장치가 햅틱 효과를 출력할 수 있는지 여부)가 결정된다. 햅틱 장치가 햅틱 지원을 가지지 않는 경우, 흐름은 단계(2403)로 진행한다. 장치가, 햅틱 지원을 가지는 경우, 흐름은 단계(2405)로 진행한다.
단계(2403)에서, LFE 오디오 신호를 포함하는 오디오 신호는 오디오 출력 장치에서 재생된다. 특정 실시예들에서, 오디오 신호는 오디오 출력 장치로 발송되고, 여기서 오디오 신호는 오디오 출력 장치로 하여금 하나 이상의 오디오 효과를 출력하게 한다. 그런 다음 흐름은 종료한다.
단계(2405)에서, 햅틱 신호는 오디오 신호의 LFE 오디오 신호로부터 추출되어 디코딩된다. 특정 실시예들에서, 햅틱 신호는 LFE 오디오 신호의 목적 주파수 범위로부터 추출된다. LFE 오디오 신호의 목적 주파수 범위는 고주파수 범위(예컨대, 200 Hz 초과)와 같은 임의의 대역-한정 주파수 범위일 수 있다. 이러한 실시예들에서, 햅틱 신호가 디코딩 된 후, 햅틱 신호의 하나 이상의 주파수는 대역-한정 주파수 범위 내의 하나 이상의 주파수에서 1 Hz 내지 200 Hz와 같은 일반 주파수 범위 내의 하나 이상의 주파수로 시프팅 될 수 있다. 그런 다음 흐름은 단계(2407)로 진행한다.
단계(2407)에서, 햅틱 신호는 햅틱 출력 장치에서 재생된다. 특정 실시예들에서, 햅틱 신호는 햅틱 출력 장치로 발송되고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 그런 다음 흐름은 단계(2409)로 진행한다.
단계(2409)에서, LFE 오디오 신호를 포함하는 오디오 신호는 오디오 출력 장치에서 재생된다. 특정 실시예들에서, 오디오 신호는 오디오 출력 장치로 발송되고, 여기서 오디오 신호는 오디오 출력 장치로 하여금 하나 이상의 오디오 효과를 출력하게 한다. 그런 다음 흐름은 종료한다.
도 25는 본 발명의 실시예에 따른 LFE 오디오 신호를 복수의 햅틱 신호로 변환하는 것에 대한 흐름도이다. 흐름은 시작되어 단계(2501)로 진행한다. 단계(2501)에서, 소스 오디오 신호가 수신된다. 소스 오디오 신호는 다수의 오디오 신호를 포함하고, 여기서 오디오 신호는 다수의 트랙 또는 채널 내에 포함될 수 있다. 다수의 오디오 신호들 중 적어도 하나는 LFE 오디오 신호일 수 있고, 여기서 LFE 오디오 신호는 LFE 트랙 또는 LFE 채널 내에 포함된다. 그런 다음 흐름은 단계(2503)로 진행한다.
단계(2503)에서, LFE 오디오 신호는 소스 오디오 신호로부터 추출된다. LFE 오디오 신호가 소스 오디오 신호 내에 인코딩 되는 특정 실시예들에서, 추출된 LFE 오디오 신호는 또한 디코딩 된다. 그런 다음 흐름은 단계(2505)로 진행한다.
단계(2505)에서, LFE 오디오 신호는 복수의 햅틱 신호로 변환된다. 특정 실시예들에서, LFE 오디오 신호를 햅틱 신호로 변환하는 것은 순차적일 수 있다. 다른 실시예들에서, LFE 오디오 신호를 햅틱 신호로 변환하는 것은 동시적일 수 있다. 또한, 특정 실시예들에서, LFE 오디오 신호는 LFE 오디오 신호를 피치-시프팅 함으로써 각 햅틱 신호로 변환될 수 있다. LFE 오디오 신호를 피치-시프팅 함으로써, LFE 오디오 신호의 원래 피치는 액츄에이터와 같은 햅틱 출력 장치의 목적 피치 범위 내의 목적 피치로 시프팅 될 수 있다. 복수의 햅틱 출력 장치가 있을 수 있고, 각 햅틱 출력 장치는 별개의 목적 피치 범위를 가질 수 있다. 따라서, LFE 오디오 신호의 각 피치-시프팅은 LFE 오디오 신호의 원래 피치를 각 햅틱 출력 장치의 각 별개의 목적 피치 범위 내의 목적 피치로 시프팅 할 수 있다. 다른 실시예들에서, LFE 오디오 신호는 LFE 오디오 신호를 주파수-시프팅 함으로써 각 햅틱 신호로 변환될 수 있다. LFE 오디오 신호를 주파수-시프팅 함으로써, LFE 오디오 신호의 하나 이상의 원래 주파수는 액츄에이터와 같은 햅틱 출력 장치의 목적 주파수 범위 내의 하나 이상의 목적 주파수로 시프팅 될 수 있다. 복수의 햅틱 출력 장치가 있을 수 있고, 각 햅틱 출력 장치는 별개의 목적 주파수 범위를 가질 수 있다. 따라서, LFE 오디오 신호의 각 주파수-시프팅은 LFE 오디오 신호의 하나 이상의 원래 주파수를 각 햅틱 출력 장치의 각 별개의 목적 주파수 범위 내의 하나 이상의 목적 주파수로 시프팅 할 수 있다. 그런 다음 흐름은 단계(2507)로 진행한다.
단계(2507)에서, 햅틱 신호는 실시간으로 햅틱 출력 장치로 발송되고, 여기서 각 햅틱 신호는 상응하는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 다른 실시예에서, 각 햅틱 신호는 햅틱 데이터 인코딩을 지원하는 파일의, 컨테이너, 또는 스트리밍 데이터 포맷 내에 인코딩 된다. 특정 실시예들에서, 적어도 하나의 햅틱 신호는 LFE 오디오 신호 내에 인코딩 된다. 그 뒤 각 햅틱 신호는 컨테이너로부터 추출되고, 디코딩 되고, 상응하는 햅틱 출력 장치로 발송되며, 여기서 각 햅틱 신호는 상응하는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 한다. 그런 다음 흐름은 종료한다.
도 26a 내지 26d는 본 발명의 일 실시예에 따른 예시적인 전경 및 배경 햅틱 애플리케이션 도면이다. 하나 초과의 햅틱 사용가능한 소프트웨어 애플리케이션이 햅틱 액츄에이터를 가지는 장치 상에서 동시에 실행될 수 있고, 가상 윈도우즈 환경의 상단 윈도우가 하단에 있는 임의의 윈도우의 부분에 겹치거나 가릴 수 있다는 것이 인식될 것이다. 도 26a는 스크린의 중앙에 위치한 가상 다운로드 애플리케이션 버튼을 갖는 애플리케이션 윈도우의 예에 대한 스크린 도면을 도시한다. 도 26b에서 사용자는 다운로드 애플리케이션 버튼을 선택하고, 도 26c는 다운로드의 완료율을 나타내는 화면 중심 내의 상태 바(bar)를 가지는 새로운 스크린 도면을 도시한다. 상태 바는 상태 바 아래에 직접적으로 보여지는 완료율 텍스트에 상응하여 비례적으로 왼쪽에서 오른쪽으로 색상을 변경한다. 상태 바가 햅틱화 되어 있기 때문에, 햅틱 효과 신호가 발생되어 상태 바의 시각적 디스플레이와 동시에 햅틱 액츄에이터에 출력된다. 일 실시예에서, 햅틱 효과 신호는 다운로드의 완료율에 상응하여 시간에 따라 변경한다.
도 26d는 텍스트 입력 윈도우의 스크린 도면을 도시한다. 활성 윈도우로서 사용자에 의해 선택된 텍스트 입력 윈도우는, 전경에서 실행되고 있으며 백그라운드에서 동시에 실행되고 있는 다운로드 애플리케이션 상태 바를 완전히 가린다. 다운로드 애플리케이션 윈도우가 더 이상 활성 윈도우가 아니고 상태 바가 완전히 시각적 디스플레이 상에 가려져 있지만, 상태 바 햅틱 효과 신호는 계속 발생되어 배경 햅틱 효과로서 햅틱 액츄에이터에 출력된다. 텍스트 입력 윈도우 또한 햅틱화 되기 때문에, 전경 햅틱 효과 신호가 발생되어 텍스트 입력 윈도우 내의 입력된 문자의 시각적 디스플레이와 동시에 각 입력된 문자에 대해 햅틱 액츄에이터로 출력된다. 일 실시예에서, 전경 및 배경 햅틱 효과 신호는, 그들이 단일 햅틱 액츄에이터를 통해 동시에 모두 출력되어도 사용자가 별개의 햅틱 효과인 것으로 전경 및 배경 햅틱 효과를 인지하는 방식으로, 조합, 수정, 또는 합성된다.
햅틱 효과의 인식은 세 가지 상이한 레벨을 가진다. 제1 레벨은 인식(perception)의 임계값이고, 이는 햅틱 효과를 검출하기 위해 사용자에게 요구되는 최소 인가 햅틱 효과 신호 구성요소 또는 구성요소들이다. 이러한 햅틱 구성 요소는 햅틱 효과 신호의 강도, 주파수, 지속기간, 리듬 및 동역학을 포함하지만 이에 한정되지 않는다. 햅틱 인식의 임계값이 매우 비선형적일 수 있고 사용자 사이에서 크게 다를 수 있고, 사용자의 터치 민감도, 얼마나 세게 사용자가 휴대용 장치를 쥐고 있을 수 있는지, 주변 온도, 사용자의 나이, 걷기 또는 자전거 타기와 같은 사용자의 물리적 활동 또는 환경 등과 같은 많은 팩터에 따라 단일 사용자에 대해 변할 수도 있다는 것이 인식될 수 있다.
햅틱 효과 인식에 대한 제2 단계는 주의 침입(attention break-in)의 임계값이고, 이는 사용자의 주의를 주요 포커스에서 주의 침입 햅틱 효과 자체로 끌어오는 결과를 초래하는 인가된 햅틱 효과 신호 내의 최소 변화이다. 주의 침입의 임계값은 전술한 바와 같은 많은 팩터에 따라 사용자들 사이에서 또는 단일 사용자에 대해 달라질 수 있고, 주의 침입이 긍정적 부가 효과 또는 부정적 감산 효과를 포함하는 다양한 유형의 햅틱 효과, 또는 햅틱 효과의 변화에 관련 있는지 여부에 따라 또한 달라질 수 있다는 점이 인식될 것이다. 햅틱 효과 인식의 제3 단계는 고통(pain)의 임계값이고, 이는 또한 상술한 바와 같은 많은 팩터에 따라 사용자들 사이에서 또는 단일 사용자에 대해 달라진다. 소정 상황 하에서, 인식의 임계값은 주의 침입의 임계값과 동일할 수 있고, 이는 또한 고통의 임계치와 동일할 수 있다는 점이 인식될 것이다.
본 발명의 실시예들은 매우 다양한 햅틱 액츄에이터와 호환되고, 상이한 세기 레벨로 햅틱 효과 데이터의 다수 채널을 제공할 수 있다. 일 실시예에서, 다수의 채널은 전경 채널 및 하나 이상의 배경 채널에 의해 나타나진다. 배경 햅틱 효과는 지각의 임계값을 충족하거나 초과하는 햅틱 효과 또는 햅틱 효과 구성요소이다. 전경 햅틱 효과는 주의 침입의 임계값을 충족하거나 초과하는 햅틱 효과 또는 햅틱 효과 구성요소다. 일 실시예에서, 전경 또는 배경 햅틱 효과는 정적 또는 동적 햅틱 효과 또는 효과 구성요소의 정의된 세트일 수 있다. 다른 실시예에서, 전경 또는 배경 햅틱 효과는 사용자 입력, 시스템 입력, 장치 센서 입력 또는 주변 입력에 응답하여 정적 또는 동적 햅틱 효과 또는 햅틱 효과 구성요소 적응 세트일 수 있다.
전경 및 배경 채널과 같은 다수의 햅틱 채널을 사용하는 것은 미묘한 햅틱 효과가 더 확실한 햅틱 효과와 동시에 제공될 수 있게 하고, 사용자가 여러 효과들을 구별할 수 있게 하고 상이한 소스로부터 비롯된 것으로서 그들을 식별한다. 일 실시예에서, 낮은 중요성 또는 고밀도 정보가 인식가능하지만, 주 작업을 압도하거나 분산시키지 않고, 다수의 채널은 또한 햅틱 주변 인식을 가능하게 한다. 예컨대, 폭풍우 동안 지역 날씨를 모니터링 하는 햅틱 사용가능 휴대용 또는 모바일 장치는 배경 햅틱 채널을 활성화하여 비가 더 세지거나 약해지듯이 증가하거나 감소하는 빗방울의 느낌을 제공한다.
일 실시예에서, 전경 및 배경 채널은 로컬 장치로부터 유래된 피드백과 다른 사용자로부터 유래된 피드백을 구별하는 데 사용된다. 예컨대, 다른 사용자로부터 도착한 메시지 알림은 전경 햅틱 효과를 활성화하는 반면, 로컬 장치 상에 똑딱거리는 시계의 상태는 배경 햅틱 효과를 활성화한다.
일 실시예에서, 전경 및 배경 채널은 로컬 장치로부터 유래된 피드백과 주 사용자로부터 유래된 피드백을 구별하는 데 사용된다. 예컨대, 햅틱 사용가능 키보드 상에 주 사용자가 타이핑함으로써 유래된 피드백은 전경 햅틱 효과를 활성화하는 반면, 로컬 장치 상의 진행 바의 상태는 배경 햅틱 효과를 활성화한다.
일 실시예에서, 전경 및 배경 채널은 가상 시뮬레이션 또는 애니메이션 내의 또는 사이의 피드백을 구별하는 데 사용된다. 예컨대, 가상의 굴러가는 공의 모션은 전경 햅틱 효과를 활성화하는 반면, 공이 굴러가고 있는 가상 텍스쳐는 배경 햅틱 효과를 활성화한다.
일 실시예에서, 배경 햅틱 효과는 부가적이어서 다수의 배경 효과가 동시에 또는 연속해서 빨리 수신될 때, 전체 결과는 햅틱 효과의 자연적 또는 점진적 전경이 된다. 예컨대, 비-주류(non-primary) 사용자로부터 수신된 단일 배경 텍스트 메시지 "트윗" 알림은 주 사용자에 의해 쉽게 놓치거나 무시되지만, "트윗 폭풍"을 구성하는 수백 수천 개의 메시지 알림이 짧은 시간에 수신될 때, 다수의 햅틱 효과는 합쳐지고 전체 결과는 이벤트에 대해 주 사용자의 주목을 이끌어낸 전경 내의 햅틱 경험이 된다.
일 실시예에서, 배경 햅틱 효과는 상업적 광고의 비-분산(non-distracting) 또는 "정중한(polite)" 증강 또는 임의의 다른 유형의 햅틱 인코딩 콘텐츠를 제공하는 데 사용된다. 예컨대, 탄산 음료에 대한 광고는 사용자가 주의를 기울이면 느껴질 수 있지만, 그렇지 않으면 쉽게 무시될 수 있는 배경 햅틱 "피즈(fizz)" 효과를 제공한다.
사용자, 장치, 시스템, 애플리케이션 또는 네트워크 입력과 같은 임의의 유형의 입력은 하나 이상의 전경 또는 배경 햅틱 채널 상의 다수 햅틱 효과로 나타내질 수 있다는 점이 인식될 것이다. 예는 멀티 태스킹 애플리케이션, 수신 이메일, "트윗" 메시지 알림, 수동 알림, 발신 메시지, 진행 바, 블루투스 또는 로컬 장치 페어링, 네트워크 추가 또는 드랍 연결, 연속적 안테나 신호 레벨 등을 포함하지만 이에 한정되지 않는다.
도 27a 내지 27b는 본 발명의 일 실시예에 따른 햅틱 피드백의 다수의 데이터 채널에 대한 디스플레이 그래프이다. 도 27a는 알림 활성화에 상응하는 그래프와 함께, 우선순위 기반 햅틱 이벤트에 대한 시간에 따른 햅틱 신호의 지각 크기에 대한 그래프를 도시한다. 시간(T1)에서, 중간 우선순위 알림(N1 및 N2)에 상응하는 햅틱 신호(2701)의 지각 크기는 배경 채널(2703)에서 시작한다. 높은 우선순위 알림(N3)을 수신하면, 시간(T2)에서 햅틱 신호(2701)는 시간(T3)에서 햅틱 신호(2701)가 배경 채널(2703)에서 전경 채널(2705)로 임계값을 넘어갈 때까지 상승하기 시작한다. 햅틱 신호(2701)은 피크 레벨(2707)까지 계속 증가하고, 여기서 임의의 추가 알림이 없으면 시간(T4)에서 햅틱 신호(2701)는 감소하고 전경 채널(2705)에서 배경 채널(2703)로 임계값을 넘어간다.
시간(T5)에서, 높은 우선순위의 알림를 다시 한번 수신하는 것은 햅틱 신호(2701)로 하여금 시간(T6)에서 햅틱 신호(2701)가 배경 채널(2703)에서 전경 채널(2705)로 임계값을 넘어갈 때까지 상승하게 한다. 햅틱 신호(2701)는 피크 레벨(2709)까지 계속하여 증가하고, 여기서 임의의 추가 알림이 없으면 시간(T7)에서 햅틱 신호(2701)는 감소하여 전경 채널(2705)에서 배경(2703) 채널로 임계값을 넘어간다. 높은 우선순위 알림에 끼어든 낮은 우선순위 또는 중간 우선순위 알림의 스트림은 제한 없이 배경 채널(2703)과 전경 채널(2705) 사이에 시프팅한 햅틱 신호(2701)를 초래한다는 점이 인식될 것이다.
도 27b는 알림 활동에 상응하는 그래프와 함께, 주파수 기반 햅틱 이벤트에 대한 시간에 따른 햅틱 신호의 지각 크기에 대한 그래프를 도시한다. 시간(T8)에서 상대적으로 드문 알림(N1 내지 N3)에 상응하는 햅틱 신호(2711)의 지각 크기는 배경 채널(2713)에서 시작한다. 고주파수 알림을 수신하면, 시간(T9)에서 햅틱 신호(2711)는 시간(T10)에서 햅틱 신호(2711)가 배경 채널(2713)에서 전경 채널(2715)로 임계값을 넘어갈 때까지 상승하기 시작한다. 고주파수 알림을 계속 수신함으로, 햅틱 신호(2711)는 피크 레벨(2717)까지 계속 증가하고, 여기서 임의의 추가 알림이 없으면 시간(T11)에서 햅틱 신호(2711)는 감소하고 전경 채널(2715)에서 배경 채널(2713)로 임계값을 넘어간다. 고주파수 알림에 끼어든 저주파수 알림의 스트림은 제한 없이 배경 채널(2713)과 전경 채널(2715) 사이에 시프팅한 햅틱 신호(2711)를 초래한다는 점이 인식될 것이다. 일 실시예에서, 우선순위 기반 햅틱 이벤트 및 주파수 기반 햅틱 이벤트는 언제든지 또는 임의의 순서로 서로 산재되거나 수신될 수 있고, 전체 조합된 햅틱 신호를 생성하기 위해 임의의 방식으로 사용될 수 있다.
도 28은 본 발명의 일 실시예에 따른 우선순위 기반 햅틱 이벤트에 대한 햅틱 피드백 다수의 데이터 채널을 디스플레이 하는 것에 대한 흐름도이다. 단계(2801)에서, 시스템은 제1 및 제2 우선순위 레벨을 가지는 제1 및 제2 햅틱 효과 신호의 입력을 수신한다. 제한 없이, 전경 및 배경 우선순위 레벨, 임의의 수의 영숫자 또는 임의의 다른 순차적 또는 비 순차적 우선순위 레벨과 같은 임의의 유형 또는 임의의 수의 우선순위 레벨이 사용될 수 있다는 점이 인식될 것이다. 제1 및 제2 햅틱 효과 신호는, 겹치지 않는 시간 주기로 순차적이게 또는 중첩 또는 동시 시간 주기로 평행하게, 임의의 순서 또는 시간 순서로 수신될 수 있다. 단계(2803)에서, 시스템은 제1 우선순위 레벨을 제2 우선순위 레벨과 비교한다. 단계(2805)에서 제1 우선순위 레벨이 제2 우선순위 레벨보다 작으면, 단계(2807)에서 상호작용 파라미터가 제2 햅틱 신호를 사용하여 발생된다. 아래 표 1에 나열된 합성 방법 예를 포함하지만 이에 제한되지 않는, 임의의 유형의 입력 합성 방법이 하나 이상의 햅틱 효과 신호로부터 상호작용 파라미터를 발생시키는 데 사용될 수 있다는 점이 인식될 것이다. 단계(2809)에서 제1 우선순위 레벨이 제2 우선순위 레벨과 동일하면, 단계(2811)에서 상호작용 파라미터가 제2 햅틱 신호를 사용하여 발생된다. 단계(2813)에서 제1 우선순위 레벨이 제2 우선순위 레벨보다 크면, 단계(2815)에서 상호작용 매개 변수가 제2 햅틱 신호를 사용하여 발생된다. 단계(2817)에서, 구동 신호는 상호 작용 파라미터에 따라 햅틱 액츄에이터에 인가된다.
표 1 - 합성 방법
부가 합성 - 입력을 조합, 통상적으로 진폭이 변화
감산 합성 - 복잡한 신호 또는 다수의 신호 입력을 필터링
주파수 변조 합성 - 하나 이상의 오퍼레이터로 반송파 신호를 변조
샘플링 - 변조에 따른 입력 소스로서 기록된 입력을 사용
복합 합성 - 인공 및 샘플링 된 입력을 사용하여 결과적 "새로운" 입력을 확립
위상 왜곡 - 재생 중에 웨이브테이블에 저장된 파형의 속도를 변경
파형 형성( Waveshaping ) - 신호의 의도적인 왜곡으로 수정된 결과를 생성
재합성 - 재생하기 전에 디지털 샘플링 된 입력을 수정
세분화 합성 - 몇몇 작은 입력 세그먼트를 새로운 입력에 조합
선형 예측 코딩 - 스피치 합성에 사용되는 것과 유사한 기술
직접 디지털 합성 - 생성된 파형의 컴퓨터 수정
웨이브 시퀀싱 - 몇몇 작은 세그먼트를 선형 조합하여 새로운 입력을 생성
벡터 합성 - 많은 여러 입력 소스 사이의 페이딩(fading)에 대한 기술
물리적 모델링 - 가상 모션의 물리적 특징에 대한 수학 방정식
도 29는 본 발명의 일 실시예에 따른 주파수 기반 햅틱 이벤트에 대한 햅틱 피드백의 다수의 데이터 채널을 디스플레이 하는 것에 대한 흐름도이다. 단계(2901)에서, 시스템은 0이 아닌 시간 주기(T)에 따른 하나 이상의 햅틱 효과 알림(N)을 수신한다. 단계(2903)에서, 시스템은 적어도 햅틱 효과 알림(N) 및 0이 아닌 시간 주기(T)를 사용함으로써 계산된, 알림 주파수 비율(R)을 발생시킨다. 일 실시예에서, 알림 주파수 비율(R)은 N을 T로 나눈 것으로서 계산된다. 단계(2905)에서, 시스템은 알림 주파수 비율(R)을 전경 햅틱 임계값(F)과 비교한다. 햅틱 임계값(F)은 정적 또는 동적일 수 있고, 사용자의 터치 민감도, 얼마나 세게 사용자가 휴대용 장치를 쥐고 있을 수 있는지, 주변 온도, 사용자의 나이, 걷기 또는 자전거 타기와 같은 사용자의 물리적 활동 또는 환경 등과 같은 많은 팩터에 따라 시간에 따라 변할 수 있다. 알림 주파수 비율(R)이 직접적으로 계산될 수 있거나 햅틱 임계값(F)에 대한 넓은 범위의 편차에 상응하여 정규화될 수 있다는 점, 및 햅틱 임계값(F)이 직접적으로 계산될 수 있거나 알림 주파수 비율(R)에 대한 넓은 범위의 편차에 상응하여 정규화될 수 있다는 점이 인식될 것이다.
단계(2907)에서 알림 주파수 비율(R)이 전경 햅틱 임계값(F)보다 작으면, 단계(2909)에서 상호작용 파라미터가 배경 햅틱 신호를 사용하여 생성된다. 단계(2911)에서 알림 주파수 비율(R)이 전경 햅틱 임계값(F) 이상이면, 단계(2913)에서 상호작용 파라미터가 전경 햅틱 신호를 이용하여 생성된다. 단계(2915)에서, 구동 신호는 상호작용 파라미터에 따라 햅틱 액츄에이터에 인가된다.
도 30은 본 발명의 다른 실시예에 따른 LFE 오디오 신호를 햅틱 신호로 변환하는 것에 대한 흐름도이다. 흐름은 시작되어 단계(3001)로 진행한다. 단계(3001)에서, LFE 오디오 신호가 수신된다. 그런 다음 흐름은 단계(3003)로 진행한다.
단계(3003)에서, LFE 오디오 신호는 햅틱 신호로 변환된다. 특정 실시예들에서, LFE 오디오 신호는 변환되고, 변환된 LFE 오디오 신호는 햅틱 신호로서 사용될 수 있다. 그런 다음 흐름은 단계(3005)로 진행한다.
단계(3005)에서, (a) 햅틱 신호는 햅틱 출력 장치로 발송되고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 하거나; (b) 햅틱 신호는 햅틱 데이터 인코딩을 지원하는 파일 컨테이너, 또는 스트리밍 데이터 포맷에 인코딩 된다. 햅틱 신호가 인코딩 되는 특정 실시예들에서, 햅틱 신호는LFE 오디오 신호 내에 인코딩 된다. 또한, 햅틱 신호가 인코딩 되는 실시예들에서, 그 뒤 햅틱 신호는 컨테이너로부터 추출되고, 디코딩 되고, 햅틱 출력 장치로 발송될 수 있고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 할 수 있다. 그런 다음 흐름은 종료한다.
따라서, 일 실시예에서, 시스템은 소스 오디오 신호로부터 LFE 오디오 신호를 추출할 수 있고, LFE 오디오 신호를 햅틱 신호로 변환한다. 그런 다음 햅틱 신호는 액츄에이터와 같은 햅틱 출력 장치로 발송될 수 있고, 여기서 햅틱 신호는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 할 수 있다. 시스템은 하나 이상의 햅틱 효과의 출력을 소스 오디오 신호의 출력과 조정할 수 있고, 이는 오디오 콘텐츠 및 햅틱 콘텐츠 모두를 경험하는 사용자의 관점에서 향상된 경험을 초래할 수 있다. 또한, 전체 소스 오디오 신호보다는, 소스 오디오 신호의 구성요소(즉, LFE 오디오 신호)를 변환하는 것만에 의해, 시스템은 전체 소스 오디오 신호를 변환하는 시스템보다 계산적으로(computationally) 덜 집약적이다. 또한, 다른 실시예에서, 시스템은 오디오 신호의 LFE 오디오 신호 내에 햅틱 신호를 인코딩 할 수 있다. LFE 오디오 신호를 사용하는 것은 햅틱 신호를 인코딩, 저장, 전송, 및 디코딩 하기 위한 전체 구조의 복잡성을 감소시킬 수 있다. 오디오 신호에 대해 유일하게 부가되는 것은 그러한 고주파수 범위와 같은 오디오 신호의 LFE 오디오 신호의 대역-한정 주파수 범위에 부가되는 햅틱 데이터이다. 그렇지만, 이러한 부가 데이터는 LFE 오디오 데이터에 영향을 미치지 않는데, 이는 오디오 출력 장치가 통상적으로 고주파 데이터와 같은 대역-한정 주파수 데이터를 출력하는 기능을 가지고 있지 않기 때문이다. 따라서 이러한 인코딩은 비-햅틱 재생 장치와 역-호환가능(backward-compatible)할 수 있다. 인코딩의 또 다른 장점은 동일한 오디오 효과 설계자가 LFE 오디오 효과뿐만 아니라, 동일한 신호 내의 햅틱 효과를 설계할 수 있다는 점이다. 그 뒤 신호가 배포되고 그에 따라 재생될 수 있다.
본 명세서에 기재된 발명의 특징, 구조, 또는 특성은 하나 이상의 실시예들에서 임의의 적절한 방식으로 조합될 수 있다. 예컨대, 본 명세서 전반에 걸쳐 기술된 "일 실시예", "소정 실시예들", "특정 실시예", "특정 실시예들", 또는 다른 유사한 어구의 사용은, 실시예와 관련되어 설명된 구체적인 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 말한다. 따라서, 본 명세서 전반에 걸쳐 기술된 "일 실시예", "소정 실시예들", "특정 실시예", "특정 실시예들", 또는 다른 유사한 어구가 나타났다고 해서 반드시 모두 실시예들의 동일한 그룹을 참조하는 것은 아니며, 설명된 특징, 구조, 또는 특성은 하나 이상의 실시예들에서 임의의 적절한 방식으로 조합될 수 있다.
본 기술분야에서 통상의 지식을 가진 자는 상술된 바와 같은 본 발명이 다른 순서의 단계로, 및/또는 개시된 것과 다른 구성의 요소로 실시될 수 있다는 것을 쉽게 이해할 것이다. 따라서, 본 발명이 이러한 바람직한 실시예에 기초하여 설명되었지만, 본 발명의 사상 및 범위 내에 있는, 특정 수정, 변형 및 대안적인 구조가 명백할 것이라는 점이 본 기술분야의 통상의 기술자에게 명백할 것이다. 따라서, 본 발명의 경계 및 범위를 결정하기 위해서는, 첨부된 청구범위를 참조해야 한다.
Claims (27)
- 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 하나 이상의 햅틱 효과를 생성하게 하는 저장된 명령어(instructions)를 갖는 컴퓨터 판독가능 매체에 있어서,
상기 햅틱 효과의 생성은
저주파수 효과 오디오 신호(low-frequency effects audio signal)를 포함하는 오디오 신호를 수신하는 것;
상기 오디오 신호로부터 상기 저주파수 효과 오디오 신호를 추출하는 것;
햅틱 출력 장치의 목적 주파수 범위 내의 하나 이상의 주파수로 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수를 시프팅(shifting)함으로써 상기 저주파수 효과 오디오 신호를 햅틱 신호로 변환하는 것; 및
상기 햅틱 신호를 상기 햅틱 출력 장치로 발송 - 상기 햅틱 신호는 상기 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 함 - 하는 것을 포함하는 컴퓨터 판독가능 매체. - 제1항에 있어서, 상기 햅틱 신호는 실시간으로 상기 햅틱 출력 장치로 발송되는 컴퓨터 판독가능 매체.
- 제1항에 있어서, 상기 햅틱 효과의 생성은 파일의 컨테이너(container) 내에 상기 햅틱 신호를 인코딩하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제1항에 있어서, 상기 햅틱 효과의 생성은 상기 저주파수 효과 오디오 신호 내에 상기 햅틱 신호를 인코딩하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제1항에 있어서, 상기 햅틱 효과의 생성은 상기 햅틱 신호를 햅틱 출력 장치의 목적 구동 주파수로 리샘플링(resampling) 하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제1항에 있어서, 상기 햅틱 효과의 생성은 상기 오디오 신호를 다운믹싱(down-mixing) 하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제1항에 있어서, 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수는 한정된 주파수 범위 내에 있는 컴퓨터 판독가능 매체.
- 제7항에 있어서, 상기 한정된 주파수 범위는 20 Hz 내지 120 Hz 범위를 포함하는 컴퓨터 판독가능 매체.
- 제7항에 있어서, 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수를 시프팅하는 것은 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수를 상기 한정된 주파수 범위 바깥으로 시프팅하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제7항에 있어서, 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수를 시프팅하는 것은 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수를 완전히 상기 한정된 주파수 범위 바깥으로 시프팅하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 하나 이상의 햅틱 효과를 생성하기 위한 컴퓨터 구현 방법으로서,
저주파수 효과 오디오 신호를 포함하는 오디오 신호를 수신하는 단계;
상기 오디오 신호로부터 상기 저주파수 효과 오디오 신호를 추출하는 단계;
햅틱 출력 장치의 목적 피치 범위(pitch range) 내의 피치로 상기 저주파수 효과 오디오 신호의 피치를 시프팅함으로써 상기 저주파수 효과 오디오 신호를 햅틱 신호로 변환하는 단계; 및
상기 햅틱 신호를 햅틱 출력 장치로 발송 - 상기 햅틱 신호는 상기 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 함 - 하는 단계를 포함하는 컴퓨터 구현 방법. - 제11항에 있어서, 상기 햅틱 신호를 상기 햅틱 출력 장치의 목적 구동 주파수로 리샘플링하는 단계를 더 포함하는 컴퓨터 구현 방법.
- 제11항에 있어서, 상기 저주파수 효과 오디오 신호의 피치는 한정된 피치 범위 내에 있는 컴퓨터 구현 방법.
- 제13항에 있어서, 상기 저주파수 효과 오디오 신호의 피치를 시프팅하는 단계는 상기 저주파수 효과 오디오 신호의 피치를 상기 한정된 주파수 범위 바깥으로 시프팅하는 것을 더 포함하는 컴퓨터 구현 방법.
- 제13항에 있어서, 상기 저주파수 효과 오디오 신호의 피치를 시프팅하는 단계는 상기 저주파수 효과 오디오 신호의 피치를 완전히 상기 한정된 주파수 범위 바깥으로 시프팅하는 것을 더 포함하는 컴퓨터 구현 방법.
- 하나 이상의 햅틱 효과를 생성하기 위한 시스템으로서,
저주파수 효과 변환 모듈을 저장하도록 구성된 메모리; 및
상기 메모리 상에 저장된 저주파수 효과 변환 모듈을 실행하도록 구성된 프로세서를 포함하고,
상기 저주파수 효과 변환 모듈은 저주파수 효과 오디오 신호를 포함하는 오디오 신호를 수신하도록 구성되고;
상기 저주파수 효과 변환 모듈은 상기 오디오 신호로부터 상기 저주파수 효과 오디오 신호를 추출하도록 더 구성되고;
상기 저주파수 효과 변환 모듈은 햅틱 출력 장치의 목적 피치 범위 내의 피치로 상기 저주파수 효과 오디오 신호의 피치를 시프팅함으로써 상기 저주파수 효과 오디오 신호를 햅틱 신호로 변환하도록 더 구성되고; 및
상기 저주파수 효과 변환 모듈은 상기 햅틱 신호를 상기 햅틱 출력 장치로 발송 - 상기 햅틱 신호는 상기 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 함 - 하도록 더 구성되는, 햅틱 효과 생성 시스템. - 제16항에 있어서, 상기 저주파수 효과 변환 모듈은 상기 햅틱 신호를 상기 햅틱 출력 장치의 목적 구동 주파수로 리샘플링하도록 더 구성되는, 햅틱 효과 생성 시스템.
- 제16항에 있어서, 상기 저주파수 효과 오디오 신호의 피치는 한정된 피치 범위 내에 있는, 햅틱 효과 생성 시스템.
- 제18항에 있어서, 상기 저주파수 효과 변환 모듈은 상기 저주파수 효과 오디오 신호의 피치를 상기 한정된 주파수 범위 바깥으로 시프팅하도록 더 구성되는, 햅틱 효과 생성 시스템.
- 제18항에 있어서, 상기 저주파수 효과 변환 모듈은 상기 저주파수 효과 오디오 신호의 피치를 완전히 상기 한정된 주파수 범위 바깥으로 시프팅하도록 더 구성되는, 햅틱 효과 생성 시스템.
- 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 하나 이상의 햅틱 효과를 생성하게 하는 저장된 명령어를 갖는 컴퓨터 판독가능 매체에 있어서,
상기 햅틱 효과의 생성은
저주파수 효과 오디오 신호를 포함하는 오디오 신호를 생성하는 것;
햅틱 신호를 생성하는 것;
상기 저주파수 효과 오디오 신호 내에 상기 햅틱 신호를 인코딩하는 것; 및
파일의 컨테이너 내에 상기 오디오 신호를 저장하는 것을 포함하는, 컴퓨터 판독가능 매체. - 제21항에 있어서, 상기 저주파수 효과 오디오 신호 내에 햅틱 신호를 인코딩하는 것은 상기 저주파수 효과 오디오 신호의 목적 주파수 범위 내에 상기 햅틱 신호를 인코딩하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제21항에 있어서, 상기 햅틱 효과의 생성은 상기 오디오 신호를 전송하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제21항에 있어서, 상기 햅틱 효과의 생성은
상기 오디오 신호의 상기 저주파수 효과 오디오 신호로부터 인코딩된 햅틱 신호를 추출하는 것;
상기 인코딩된 햅틱 신호를 디코딩하는 것;
상기 햅틱 신호를 햅틱 출력 장치로 발송 - 상기 햅틱 신호는 상기 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 함 - 하는 것; 및
상기 오디오 신호를 오디오 출력 장치로 발송 - 상기 오디오 신호는 상기 오디오 출력 장치로 하여금 하나 이상의 오디오 효과를 출력하게 함 - 하는 것을 더 포함하는, 컴퓨터 판독가능 매체. - 제21항에 있어서, 상기 햅틱 효과의 생성은
상기 오디오 신호만을 오디오 출력 장치로 발송 - 상기 오디오 신호는 상기 오디오 출력 장치로 하여금 하나 이상의 오디오 효과만을 출력하게 함 - 하는 것을 더 포함하는, 컴퓨터 판독가능 매체. - 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 하나 이상의 햅틱 효과를 생성하게 하는 저장된 명령어를 갖는 컴퓨터 판독가능 매체에 있어서,
상기 햅틱 효과의 생성은,
저주파수 효과 오디오 신호를 포함하는 오디오 신호를 수신하는 것;
상기 오디오 신호로부터 상기 저주파수 효과 오디오 신호를 추출하는 것;
복수의 햅틱 출력 장치의 복수의 목적 주파수 범위 내의 하나 이상의 주파수로 상기 저주파수 효과 오디오 신호의 하나 이상의 주파수를 시프팅함으로써 상기 저주파수 효과 오디오 신호를 복수의 햅틱 신호로 변환하는 것; 및
상기 복수의 햅틱 신호를 상기 복수의 햅틱 출력 장치로 발송 - 각각의 햅틱 신호는 상응하는 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 함 - 하는 것을 포함하는, 컴퓨터 판독가능 매체. - 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 하나 이상의 햅틱 효과를 생성하게 하는 저장된 명령어를 갖는 컴퓨터 판독가능 매체에 있어서,
상기 햅틱 효과의 생성은,
저주파수 효과 오디오 신호를 수신하는 것;
상기 저주파수 효과 오디오 신호를 햅틱 신호로 변환하는 것; 및
(a) 상기 햅틱 신호를 상기 햅틱 출력 장치로 발송 - 상기 햅틱 신호는 상기 햅틱 출력 장치로 하여금 하나 이상의 햅틱 효과를 출력하게 함 - 하는 것; 또는 (b) 파일의 컨테이너 내에 상기 햅틱 신호를 인코딩하는 것 중 하나
를 포함하는, 컴퓨터 판독가능 매체.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361824442P | 2013-05-17 | 2013-05-17 | |
| US61/824,442 | 2013-05-17 | ||
| US14/277,870 | 2014-05-15 | ||
| US14/277,870 US9519346B2 (en) | 2013-05-17 | 2014-05-15 | Low-frequency effects haptic conversion system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140135669A true KR20140135669A (ko) | 2014-11-26 |
| KR102224418B1 KR102224418B1 (ko) | 2021-03-05 |
Family
ID=51895344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140059836A KR102224418B1 (ko) | 2013-05-17 | 2014-05-19 | 저주파수 효과 햅틱 변환 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (4) | US9519346B2 (ko) |
| EP (2) | EP2818976B1 (ko) |
| JP (3) | JP6370099B2 (ko) |
| KR (1) | KR102224418B1 (ko) |
| CN (4) | CN104238934B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020171612A1 (ko) * | 2019-02-19 | 2020-08-27 | 주식회사 동운아나텍 | 사용자 입력신호를 고려한 햅틱 모터 구동 방법 |
Families Citing this family (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
| US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
| JP6093659B2 (ja) * | 2013-06-24 | 2017-03-08 | シャープ株式会社 | 情報処理装置、および情報処理プログラム |
| US9443401B2 (en) * | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
| US9514620B2 (en) | 2013-09-06 | 2016-12-06 | Immersion Corporation | Spatialized haptic feedback based on dynamically scaled values |
| US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
| US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
| WO2016007426A1 (en) | 2014-07-07 | 2016-01-14 | Immersion Corporation | Second screen haptics |
| WO2016007920A1 (en) * | 2014-07-11 | 2016-01-14 | New York University | Three dimensional tactile feedback system |
| US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
| EP3041258B1 (en) | 2014-12-31 | 2018-02-28 | Skullcandy, Inc. | Methods of generating tactile user feedback utilizing headphone devices and related systems |
| CN104657072B (zh) * | 2015-01-15 | 2018-06-12 | 小米科技有限责任公司 | 一种触发执行操作指令的方法和装置 |
| US9619034B2 (en) | 2015-02-25 | 2017-04-11 | Immersion Corporation | Overlaying of haptic effects |
| EP3112987A1 (en) * | 2015-06-29 | 2017-01-04 | Thomson Licensing | Method and schemes for perceptually driven encoding of haptic effects |
| DE102015215049A1 (de) * | 2015-08-06 | 2017-02-09 | Bayerische Motoren Werke Aktiengesellschaft | Audio-System mit zumindest einem Körperschallwandler für ein Kraftfahrzeug |
| US9659468B2 (en) * | 2015-09-16 | 2017-05-23 | Immersion Corporation | Haptic feedback in a haptically noisy environment |
| US10339915B2 (en) * | 2015-10-22 | 2019-07-02 | Disney Enterprises, Inc. | Vibration speaker for audio headsets |
| EP3242187B1 (en) * | 2016-05-04 | 2018-11-21 | Vestel Elektronik Sanayi ve Ticaret A.S. | System and method for simulating a reaction force from a virtual object |
| US10585480B1 (en) | 2016-05-10 | 2020-03-10 | Apple Inc. | Electronic device with an input device having a haptic engine |
| KR101790892B1 (ko) * | 2016-05-17 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 |
| EP3907734B1 (en) * | 2016-11-14 | 2022-11-02 | Goodix Technology (HK) Company Limited | Linear resonant actuator controller |
| US10104471B2 (en) * | 2016-11-30 | 2018-10-16 | Google Llc | Tactile bass response |
| JP2018092012A (ja) * | 2016-12-05 | 2018-06-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10297120B2 (en) * | 2016-12-13 | 2019-05-21 | Disney Enterprises, Inc. | Haptic effect generation system |
| RU2757063C2 (ru) * | 2016-12-21 | 2021-10-11 | Фишер Контролз Интернешнел Ллс | Способы и устройство для проверки работы акустико-эмиссионных датчиков |
| US10152296B2 (en) | 2016-12-28 | 2018-12-11 | Harman International Industries, Incorporated | Apparatus and method for providing a personalized bass tactile output associated with an audio signal |
| US10075251B2 (en) | 2017-02-08 | 2018-09-11 | Immersion Corporation | Haptic broadcast with select haptic metadata based on haptic playback capability |
| GB2560878B (en) * | 2017-02-24 | 2021-10-27 | Google Llc | A panel loudspeaker controller and a panel loudspeaker |
| US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
| DE102017116012A1 (de) * | 2017-07-17 | 2019-01-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Anzeigevorrichtungen und pixel für eine anzeigevorrichtung |
| US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
| US10768747B2 (en) | 2017-08-31 | 2020-09-08 | Apple Inc. | Haptic realignment cues for touch-input displays |
| US11054932B2 (en) | 2017-09-06 | 2021-07-06 | Apple Inc. | Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module |
| CN107564536A (zh) * | 2017-09-06 | 2018-01-09 | 武汉大学 | 基于基音延迟子帧组组内差值Markov转移概率特征的AMR基音延迟隐写分析方法 |
| US10556252B2 (en) * | 2017-09-20 | 2020-02-11 | Apple Inc. | Electronic device having a tuned resonance haptic actuation system |
| US10768738B1 (en) | 2017-09-27 | 2020-09-08 | Apple Inc. | Electronic device having a haptic actuator with magnetic augmentation |
| US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
| US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
| EP3540567B1 (en) | 2018-03-16 | 2021-05-05 | Goodix Technology (HK) Company Limited | Haptic signal generator |
| US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
| US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
| US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
| US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
| US10832537B2 (en) | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
| US11069206B2 (en) * | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
| US10942571B2 (en) | 2018-06-29 | 2021-03-09 | Apple Inc. | Laptop computing device with discrete haptic regions |
| US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
| US10936071B2 (en) | 2018-08-30 | 2021-03-02 | Apple Inc. | Wearable electronic device with haptic rotatable input |
| US10966007B1 (en) | 2018-09-25 | 2021-03-30 | Apple Inc. | Haptic output system |
| GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
| US10748391B2 (en) * | 2018-12-27 | 2020-08-18 | Immersion Corporation | Haptic signal conversion system |
| KR102141889B1 (ko) | 2019-02-19 | 2020-08-06 | 주식회사 동운아나텍 | 적응적 햅틱 신호 발생 장치 및 방법 |
| US10754428B1 (en) * | 2019-02-25 | 2020-08-25 | Facebook Technologies, Llc | Systems, methods, and devices for audio-tactile mapping |
| US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
| US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
| US20200313529A1 (en) | 2019-03-29 | 2020-10-01 | Cirrus Logic International Semiconductor Ltd. | Methods and systems for estimating transducer parameters |
| US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
| US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
| US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
| US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
| US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
| US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
| CN114008569A (zh) | 2019-06-21 | 2022-02-01 | 思睿逻辑国际半导体有限公司 | 用于在装置上配置多个虚拟按钮的方法和设备 |
| EP4046001A1 (en) * | 2019-10-14 | 2022-08-24 | Lofelt GmbH | Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file |
| US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
| US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
| JP7476516B2 (ja) * | 2019-11-11 | 2024-05-01 | Ｔｏｐｐａｎホールディングス株式会社 | 信号処理装置、信号処理システム、プログラム、信号処理方法 |
| US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
| US10936073B1 (en) | 2020-01-31 | 2021-03-02 | Dell Products, Lp | System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard |
| US11579695B2 (en) * | 2020-01-31 | 2023-02-14 | Dell Products, Lp | System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard |
| US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
| US11024135B1 (en) | 2020-06-17 | 2021-06-01 | Apple Inc. | Portable electronic device having a haptic button assembly |
| US11698680B2 (en) * | 2020-06-23 | 2023-07-11 | Immersion Corporation | Methods and systems for decoding and rendering a haptic effect associated with a 3D environment |
| US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
| US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
| US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
| US20230059333A1 (en) * | 2021-08-18 | 2023-02-23 | Cirrus Logic International Semiconductor Ltd. | Haptics signal generation |
| US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
| CN115686195A (zh) * | 2022-09-13 | 2023-02-03 | 瑞声开泰声学科技(上海)有限公司 | 一种触觉反馈信号的生成方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287483A (ja) * | 2005-03-31 | 2006-10-19 | Aiwin Kk | 体感音響装置用信号処理回路 |
| KR20080109907A (ko) * | 2006-04-06 | 2008-12-17 | 임머숀 코퍼레이션 | 햅틱 효과 개선을 위한 시스템들 및 방법들 |
| WO2011043292A1 (ja) * | 2009-10-06 | 2011-04-14 | 株式会社コト | スピーカ型振動装置および振動機能付き電子機器 |
Family Cites Families (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5684722A (en) | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
| JPH1146391A (ja) | 1997-07-28 | 1999-02-16 | Akira Ishikawa | 音響体感装置 |
| JP3672700B2 (ja) | 1997-07-29 | 2005-07-20 | 明 石川 | 体感装置付スクリーン |
| JP2002078066A (ja) * | 2000-08-25 | 2002-03-15 | Yamaha Corp | 振動波形信号出力装置 |
| US7623114B2 (en) | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
| US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
| US7765333B2 (en) * | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
| US20110191674A1 (en) * | 2004-08-06 | 2011-08-04 | Sensable Technologies, Inc. | Virtual musical interface in a haptic virtual environment |
| JP4860625B2 (ja) * | 2004-10-08 | 2012-01-25 | イマージョン コーポレーション | タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック |
| US8000825B2 (en) | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
| US8378964B2 (en) | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| US7979146B2 (en) | 2006-04-13 | 2011-07-12 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| WO2009037379A1 (en) | 2007-09-18 | 2009-03-26 | Senseg Oy | Method and apparatus for sensory stimulation |
| US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
| JP2011205603A (ja) * | 2010-03-25 | 2011-10-13 | Yasuo Sano | 立体音響システム |
| JP2012050003A (ja) | 2010-08-30 | 2012-03-08 | Univ Of Electro-Communications | 電気音響変換器および電気音響変換方法 |
| US8995692B2 (en) | 2010-09-01 | 2015-03-31 | Woojer Ltd | Personal media playing system |
| US8380334B2 (en) * | 2010-09-07 | 2013-02-19 | Linear Acoustic, Inc. | Carrying auxiliary data within audio signals |
| US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
| US8717152B2 (en) * | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
| US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
| KR101830653B1 (ko) * | 2011-07-18 | 2018-02-21 | 엘지전자 주식회사 | 휴대 전자기기 및 이의 제어방법 |
| US10013857B2 (en) * | 2011-12-21 | 2018-07-03 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
| JP6541292B2 (ja) | 2012-02-15 | 2019-07-10 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | プリミティブを用いた高解像度ハプティック効果生成 |
| US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
| US8570296B2 (en) * | 2012-05-16 | 2013-10-29 | Immersion Corporation | System and method for display of multiple data channels on a single haptic display |
| US8860563B2 (en) | 2012-06-14 | 2014-10-14 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
| US9368005B2 (en) * | 2012-08-31 | 2016-06-14 | Immersion Corporation | Sound to haptic effect conversion system using mapping |
| US9092059B2 (en) | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
| US9128523B2 (en) * | 2012-12-20 | 2015-09-08 | Amazon Technologies, Inc. | Dynamically generating haptic effects from audio data |
| US8754757B1 (en) | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
| US9041647B2 (en) | 2013-03-15 | 2015-05-26 | Immersion Corporation | User interface device provided with surface haptic sensations |
| US9322453B2 (en) * | 2013-04-08 | 2016-04-26 | Dayco Ip Holdings, Llc | Material compensation joint and radial vibration damper having same |
| US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
| JP6469963B2 (ja) * | 2013-04-22 | 2019-02-13 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚対応トリガーを有するゲーミング装置 |
| US10599218B2 (en) | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
| US10162416B2 (en) * | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
| US9898085B2 (en) | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
| US9443401B2 (en) | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
| US9158379B2 (en) | 2013-09-06 | 2015-10-13 | Immersion Corporation | Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns |
| US9245429B2 (en) | 2013-09-06 | 2016-01-26 | Immersion Corporation | Haptic warping system |
| US9349378B2 (en) * | 2013-11-19 | 2016-05-24 | Dolby Laboratories Licensing Corporation | Haptic signal synthesis and transport in a bit stream |
-
2014
- 2014-05-15 US US14/277,870 patent/US9519346B2/en active Active
- 2014-05-16 EP EP14168674.1A patent/EP2818976B1/en not_active Not-in-force
- 2014-05-16 EP EP17156665.6A patent/EP3206109B1/en active Active
- 2014-05-16 JP JP2014102392A patent/JP6370099B2/ja not_active Expired - Fee Related
- 2014-05-19 CN CN201410210293.6A patent/CN104238934B/zh not_active Expired - Fee Related
- 2014-05-19 KR KR1020140059836A patent/KR102224418B1/ko active IP Right Grant
- 2014-05-19 CN CN201811616161.8A patent/CN109375778A/zh active Pending
- 2014-05-19 CN CN201610391467.2A patent/CN106095085B/zh not_active Expired - Fee Related
- 2014-05-19 CN CN201811616162.2A patent/CN109683782A/zh active Pending
-
2015
- 2015-06-12 US US14/737,730 patent/US9354704B2/en not_active Expired - Fee Related
-
2016
- 2016-10-28 US US15/337,209 patent/US9786287B2/en active Active
-
2017
- 2017-08-24 US US15/685,058 patent/US10741189B2/en active Active
-
2018
- 2018-07-09 JP JP2018129783A patent/JP6434669B2/ja not_active Expired - Fee Related
- 2018-11-07 JP JP2018209783A patent/JP6557396B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287483A (ja) * | 2005-03-31 | 2006-10-19 | Aiwin Kk | 体感音響装置用信号処理回路 |
| KR20080109907A (ko) * | 2006-04-06 | 2008-12-17 | 임머숀 코퍼레이션 | 햅틱 효과 개선을 위한 시스템들 및 방법들 |
| WO2011043292A1 (ja) * | 2009-10-06 | 2011-04-14 | 株式会社コト | スピーカ型振動装置および振動機能付き電子機器 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020171612A1 (ko) * | 2019-02-19 | 2020-08-27 | 주식회사 동운아나텍 | 사용자 입력신호를 고려한 햅틱 모터 구동 방법 |
| KR20200101033A (ko) * | 2019-02-19 | 2020-08-27 | 주식회사 동운아나텍 | 사용자 입력신호를 고려한 햅틱 모터 구동 방법 |
| US11907424B2 (en) | 2019-02-19 | 2024-02-20 | Dong Woon Anatech Co., Ltd | Haptic motor driving method in consideration of user input signal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102224418B1 (ko) | 2021-03-05 |
| CN104238934A (zh) | 2014-12-24 |
| EP2818976A3 (en) | 2015-02-18 |
| JP2019021350A (ja) | 2019-02-07 |
| JP2018191310A (ja) | 2018-11-29 |
| US9786287B2 (en) | 2017-10-10 |
| EP3206109A1 (en) | 2017-08-16 |
| US20150355713A1 (en) | 2015-12-10 |
| JP6557396B2 (ja) | 2019-08-07 |
| US9519346B2 (en) | 2016-12-13 |
| EP2818976B1 (en) | 2017-03-29 |
| CN109683782A (zh) | 2019-04-26 |
| EP2818976A2 (en) | 2014-12-31 |
| JP6434669B2 (ja) | 2018-12-05 |
| CN104238934B (zh) | 2019-01-15 |
| US10741189B2 (en) | 2020-08-11 |
| CN109375778A (zh) | 2019-02-22 |
| CN106095085B (zh) | 2019-06-18 |
| US20170352356A1 (en) | 2017-12-07 |
| US20170053654A1 (en) | 2017-02-23 |
| JP2014229312A (ja) | 2014-12-08 |
| US20140340209A1 (en) | 2014-11-20 |
| US9354704B2 (en) | 2016-05-31 |
| JP6370099B2 (ja) | 2018-08-08 |
| EP3206109B1 (en) | 2020-03-11 |
| CN106095085A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10741189B2 (en) | Low-frequency effects haptic conversion system | |
| JP6794483B2 (ja) | 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法 | |
| JP6744940B2 (ja) | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 | |
| US8981915B2 (en) | System and method for display of multiple data channels on a single haptic display | |
| KR102254385B1 (ko) | 햅틱 와핑 시스템 | |
| US8624864B2 (en) | System and method for display of multiple data channels on a single haptic display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |