KR101880764B1 - 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 - Google Patents
파형을 이용한 사운드 대 햅틱 효과 변환 시스템 Download PDFInfo
- Publication number
- KR101880764B1 KR101880764B1 KR1020120013995A KR20120013995A KR101880764B1 KR 101880764 B1 KR101880764 B1 KR 101880764B1 KR 1020120013995 A KR1020120013995 A KR 1020120013995A KR 20120013995 A KR20120013995 A KR 20120013995A KR 101880764 B1 KR101880764 B1 KR 101880764B1
- Authority
- KR
- South Korea
- Prior art keywords
- data frame
- haptic
- audio signal
- maximum value
- frequency content
- Prior art date
Links
- 230000000694 effects Effects 0.000 title claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 title claims description 24
- 230000005236 sound signal Effects 0.000 claims abstract description 73
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims 2
- 230000009466 transformation Effects 0.000 description 26
- 239000000872 buffer Substances 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 16
- 239000000203 mixture Substances 0.000 description 10
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 3
- 230000005520 electrodynamics Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000013707 sensory perception of sound Effects 0.000 description 2
- 230000002463 transducing effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
- H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
- H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
디지털 오디오 신호와 같은 오디오 데이터의 프레임들을 인터셉트하고, 프레임들을 햅틱 신호로 변형하고, 생성된 햅틱 신호를 액츄에이터를 통해 재생하여 햅틱 효과들을 생성하는 햅틱 변형 시스템이 제공된다. 햅틱 신호는, 햅틱 신호의 크기를 정의하는 각각의 오디오 데이터 프레임의 최대값에 기초한다. 햅틱 신호는 햅틱 신호를 수신하도록 구성된 액츄에이터에 인가되며, 상기 액츄에이터는 햅틱 신호를 이용하여 하나 이상의 햅틱 효과를 생성한다.
Description
본 출원은 2011년 2월 11일에 출원된 미국 특허 가출원 제61/441,792호의 우선권을 주장하며, 그것의 명세서가 참조에 의해 여기에 포함된다.
일 실시예는 일반적으로 장치에 관한 것이고, 더 구체적으로는 햅틱 효과를 생성하는 장치에 관한 것이다.
햅틱은 힘, 진동 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 적용함으로써 사용자의 터치 감각을 활용하는 촉각 및 힘 피드백 기술이다. 모바일 장치, 터치스크린 장치 및 개인용 컴퓨터와 같은 장치들은 햅틱 효과들을 발생시키도록 구성될 수 있다. 일반적으로, (액츄에이터와 같은) 햅틱 효과들을 생성할 수 있는 임베드된 하드웨어에 대한 호출들은 장치의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가 예를 들어 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 소정의 다른 컨트롤을 이용하여 장치와 상호작용할 때, 장치의 OS는 재생 커맨드를 제어 회로망을 통해 임베드된 하드웨어에 송신할 수 있다. 그 다음, 임베드된 하드웨어는 적합한 햅틱 효과를 생성한다.
그러한 장치들은 또한 디지털 오디오 신호와 같은 오디오 데이터를 재생하도록 구성될 수 있다. 예를 들어, 그러한 장치들은 오디오 부분을 포함하는 영화 또는 비디오 게임과 같은 비디오 데이터, 또는 노래와 같은 오디오 데이터를 재생하도록 구성된 애플리케이션들을 포함할 수 있다. 햅틱과 마찬가지로, (스피커와 같이) 오디오 효과들을 생성할 수 있는 추가의 임베드된 하드웨어에 대한 호출들이 장치의 OS 내에 프로그래밍될 수 있다. 따라서, 장치의 OS는 제어 회로망을 통해 추가의 임베드된 하드웨어에 재생 커맨드를 송신할 수 있으며, 그러면, 그 추가의 임베드된 하드웨어는 적합한 오디오 효과를 생성한다.
일 실시예는 오디오 신호를 하나 이상의 햅틱 효과로 변환(convert)하는 시스템이다. 시스템은 오디오 신호의 데이터 프레임을 수신한다. 시스템은 또한 데이터 프레임의 최대값을 생성한다. 시스템은 데이터 프레임을 더 변형(transform)한다. 시스템은 변형된 데이터 프레임의 최대값에 기초하여 적어도 하나의 사인 캐리어 파형(sine carrier waveform)을 더 생성한다. 시스템은 또한 변형된 데이터 프레임을 적어도 하나의 사인 캐리어 파형과 혼합하여 변조된 데이터 프레임을 생성한다. 시스템은 또한 최대값 및 변조된 데이터 프레임에 기초하여 햅틱 신호를 생성한다. 시스템은 또한 하나 이상의 햅틱 효과를 생성하기 위해 햅틱 신호를 액츄에이터에 송신한다.
추가의 실시예들, 상세들, 이점들 및 수정들은 첨부 도면들과 함께 취해질 바람직한 실시예들에 관한 이하의 상세한 설명으로부터 분명해질 것이다.
도 1은 본 발명의 일 실시예들에 따른 햅틱 변환 시스템의 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 햅틱 변환 시스템의 아키텍처도를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따라 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따라 주파수 콘텐츠에 기초하는 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 8a는 본 발명의 일 실시예에 따라 디지털 오디오 신호가 필터링되기 전의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산을 도시한 것이다.
도 8b는 본 발명의 일 실시예에 따라 디지털 오디오 신호가 필터링된 후의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 햅틱 변환 모듈의 기능성의 흐름도를 도시한 것이다.
도 1은 본 발명의 일 실시예들에 따른 햅틱 변환 시스템의 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 햅틱 변환 시스템의 아키텍처도를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따라 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따라 주파수 콘텐츠에 기초하는 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 8a는 본 발명의 일 실시예에 따라 디지털 오디오 신호가 필터링되기 전의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산을 도시한 것이다.
도 8b는 본 발명의 일 실시예에 따라 디지털 오디오 신호가 필터링된 후의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 햅틱 변환 모듈의 기능성의 흐름도를 도시한 것이다.
일 실시예는 디지털 오디오 신호와 같은 오디오 데이터의 하나 이상의 프레임을 인터셉트하고, 하나 이상의 프레임을 변형하고, 하나 이상의 변형된 프레임을 햅틱 신호로 변환하고, 생성된 햅틱 신호를 액츄에이터를 통해 재생하여 하나 이상의 햅틱 효과를 생성할 수 있는 햅틱 변환 시스템이다. 햅틱 신호는 파형을 포함할 수 있으며, 파형은 "PCM(pulse-coded modulation)" 포맷으로 된 하나 이상의 신호값의 집합이다. 햅틱 신호는 파형을 수신하도록 구성된 소정 유형의 액츄에이터에 적용될 수 있으며, 액츄에이터는 파형을 이용하여 하나 이상의 햅틱 효과를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 변환 시스템(10)의 블록도를 도시한 것이다. 일 실시예에서, 시스템(10)은 모바일 장치의 일부이고, 시스템(10)은 모바일 장치를 위해 햅틱 변환 기능성을 제공한다. 단일 시스템으로서 도시되어 있긴 하지만, 시스템(10)의 기능성은 분산된 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 기타 통신 메커니즘, 및 정보를 처리하기 위해 버스(12)에 연결된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 유형의 일반 목적 또는 특수 목적의 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 명령어들 및 정보를 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광학 디스크와 같은 정적 저장소, 또는 임의의 다른 유형의 컴퓨터 판독가능 매체의 임의의 조합으로 구성될 수 있다.
컴퓨터 판독가능한 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체 둘 다, 이동식 및 고정식 매체, 및 저장 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM(compact disk read-only memory), 또는 본 기술분야에 알려진 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은 일 실시예에서 모바일 장치의 시스템(10)뿐만 아니라 다른 것들을 위한 운영 체제 기능성을 제공하는 운영 체제(15)를 포함한다. 모듈들은 이하에 더 상세하게 개시되는 바와 같이, 오디오 신호를 하나 이상의 햅틱 효과를 생성하기 위해 이용되는 햅틱 신호로 변환하는 햅틱 변환 모듈(16)을 더 포함한다. 일부 실시예들에서, 햅틱 변환 모듈(16)은 오디오 신호를 하나 이상의 햅틱 효과를 생성하기 위해 이용되는 햅틱 신호로 변환하기 위한 특수한 개별 기능성을 각각 제공하는 복수의 모듈을 포함할 수 있다. 시스템(10)은 전형적으로 Immersion Corporation에 의한 MOTIV® 햅틱 개발 플랫폼(Haptic Development Platform)과 같이, 추가의 기능성을 포함하기 위해 하나의 추가의 애플리케이션 모듈(18)을 포함할 것이다.
원격 소스들로부터 데이터를 송신 및/또는 수신하는 실시예들에서, 시스템(10)은 적외선, 라디오, Wi-Fi, 셀룰러 네트워크, 또는 기타 차세대 무선 데이터 네트워크 통신과 같은 모바일 무선 네트워크 통신을 제공하기 위해 네트워크 인터페이스 카드와 같은 통신 장치(20)를 더 포함한다. 다른 실시예들에서, 통신 장치(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 사용자에게 그래픽 표현 또는 사용자 인터페이스를 디스플레이하기 위해, 버스(12)를 통해 LCD(Liquid Crystal Display)와 같은 디스플레이(24)에 더 연결된다. 디스플레이(24)는 프로세서(22)로부터 신호들을 송신 및 수신하도록 구성된 터치 스크린과 같은 터치 감지 입력 장치일 수 있고, 멀티터치 터치 스크린일 수 있다.
시스템(10)은 하나 이상의 액츄에이터(26)를 더 포함한다. 프로세서(22)는 햅틱 효과에 연관된 햅틱 신호를 액츄에이터(26)에 송신할 수 있고, 이어서 액츄에이터는 햅틱 효과들을 출력한다. 액츄에이터(26)는 예를 들어 전기 모터, 전자기 액츄에이터, 보이스 코일, 형상 기억 합금, EAP(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액츄에이터, 고 대역폭 액츄에이터, EAP 액츄에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다.
일부 실시예들에서, 시스템(10)은 하나 이상의 스피커(28)를 더 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)에 송신할 수 있고, 이어서 스피커는 오디오 효과들을 출력한다. 스피커(28)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변형(magnetostrictive) 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커(bending wave loudspeaker), 평면판 라우드스피커, 하일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
도 2는 본 발명의 일 실시예에 따라 햅틱 변환 시스템의 아키텍처도를 도시한 것이다. 도시된 실시예에서, 햅틱 변환 시스템은 오디오 트랙 모듈(210) 및 스피커(220)를 포함한다. 오디오 트랙 모듈(210)은 하나 이상의 PCM 오디오 버퍼를 수신하고 그 하나 이상의 PCM 오디오 버퍼를 스피커(220)에 스트리밍하도록 구성된 (모바일 장치와 같은) 장치를 위한 운영 체제의 모듈이며, 각각의 PCM 오디오 버퍼는 하나 이상의 PCM 오디오 데이터 프레임을 포함한다. 일 실시예에서, 오디오 트랙 모듈(210)은 모바일 장치를 위한 Android® 운영 체제의 안드로이드 오디오트랙(Android AudioTrack) 모듈이다. 스피커(220)는 하나 이상의 PCM 오디오 버퍼를 수신하고, 하나 이상의 오디오 효과를 출력하도록 구성된 스피커이다. 스피커(220)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변환 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커, 평면판 라우드스피커, 하일 에어 모션 트랜스듀서, 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
또한, 햅틱 변환 시스템은 실시예에 따라 햅틱 변환 모듈(230)을 포함한다. 일부 실시예들에서, 햅틱 변환 모듈(230)은 도 1의 햅틱 변환 모듈(16)과 동일하다. 도시된 실시예에서, 햅틱 변환 모듈(230)은 3개의 서브모듈, 즉 리버브(reverb) 모듈(231), 붐박스(boombox) 모듈(232), 및 대역 통과 필터(233)로 구성된다. 그러나, 이것은 단지 예시적인 실시예이고, 대안적인 실시예들에서, 햅틱 변환 모듈(230)은 임의의 개수의 서브모듈로 구성될 수 있고, 또는 햅틱 변환 모듈(230)은 단일 모듈일 수 있다.
실시예에 따르면, 리버브 모듈(231)은 오디오 트랙 모듈(210)이 스피커(220)에 스트리밍하는 하나 이상의 오디오 버퍼를 인터셉트하도록 구성된다. 리버브 모듈(231)은 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 붐박스 모듈(232)에 송신하도록 더 구성된다. 붐박스 모듈(232)은 각각의 오디오 데이터 프레임을 분석하고, 각각의 오디오 데이터 프레임에 대한 최대값을 계산하도록 구성된다. 붐박스 모듈(232)에 의해 수행되는 각각의 오디오 데이터 프레임에 대한 최대값의 계산은 이하에서 도 4-7을 참조하여 더 상세하게 더 설명된다. 붐박스 모듈(232)은 각각의 오디오 데이터 프레임에 대한 최대값을 리버브 모듈(231)에 반환하도록 더 구성된다.
붐박스 모듈(232)은 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 대역 통과 필터(233)에 송신하도록 더 구성된다. 대역 통과 필터(233)는 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 대역 통과 필터링하도록 구성된다. 각각의 오디오 데이터 프레임을 대역 통과 필터링함으로써, 대역 통과 필터(233)는 주어진 오디오 버퍼 내의 임의의 주어진 범위의 주파수 신호들의 하나 이상의 주파수 대역(예를 들어, 0-500㎐ 범위 내의 주파수 신호들의 단일 주파수 대역)에 대해 필터링할 수 있다 . 따라서, 이러한 주파수 범위 내의 모든 신호는 이러한 신호들만의 새로운 오디오 버퍼를 생성하기 위해 추출될 수 있다. 이러한 필터링으로부터 산출되는 효과는 "베이스-부스트(bass-boost)" 또는 "서브우퍼(subwoofer)" 신호 유형일 수 있다. 대역 통과 필터(233)는 각각의 대역 통과 필터링된 오디오 데이터 프레임을 붐박스 모듈(232)에 반환하도록 더 구성된다. 대안적인 실시예들에서, 대역 통과 필터(233)는 필터가 아니라 (디지털 신호 프로세서("DSP") 프로세스, 상태 머신, 또는 다른 유형의 프로그램 논리와 같은) 변형 모듈이다. 이러한 대안적인 실시예들에서, 변형 모듈은 수신된 오디오 데이터 프레임을 새로운 오디오 데이터 프레임으로 변형할 수 있고, 여기에서 변형은 반드시 필터링 변형은 아니다.
붐박스 모듈(232)은 각각의 대역 통과 필터링된 오디오 데이터 프레임에 대하여, 대역 통과 필터링된 오디오 데이터 프레임의 최대값에 기초하여 사인파 주기의 캐리어 주파수(sine-wave periodic carrier frequency)("사인 캐리어 파형"으로서도 식별됨)를 생성하도록 더 구성된다. 사인파 주기의 캐리어 주파수의 생성은 도 3과 관련하여 더 상세하게 더 설명된다. 대안적인 실시예들에서, 붐박스 모듈(232)은 복수의 사인파 주기의 주파수를 생성하도록 더 구성될 수 있다. 각각의 대역 통과 필터링된 오디오 데이터 프레임에 대하여, 붐박스 모듈(232)은 생성된 사인파 주기의 캐리어 주파수를 대역 통과 필터링된 오디오 데이터 프레임에 추가하여(생성된 사인파 주기의 캐리어 주파수를 대역 통과 필터링된 오디오 데이터 프레임과 혼합하는 것으로서도 식별됨) 대역 통과 필터링된 오디오 데이터 프레임을 변조하도록 더 구성된다. 붐박스 모듈(232)은 각각의 변조된 오디오 데이터 프레임을 리버브 모듈(231)에 반환하도록 더 구성된다.
햅틱 변환 시스템은 또한 햅틱 효과 플레이어 모듈(240) 및 액츄에이터(250)를 포함한다. 햅틱 효과 플레이어 모듈(240)은 (모바일 장치와 같은) 장치 내에 임베드되고, 하나 이상의 햅틱 신호를 액츄에이터에 송신함으로써 액츄에이터에서 하나 이상의 햅틱 효과를 재생하도록 구성된 모듈이다. 일 실시예에서, 햅틱 효과 플레이어 모듈(240)은 Immersion Corporation에 의한 TouchSense Player® 모듈이다. 액츄에이터(250)는 하나 이상의 햅틱 신호를 수신하도록 구성되고 하나 이상의 햅틱 효과를 출력하도록 구성된 액츄에이터이다. 일부 실시예들에서, 액츄에이터(250)는 파형을 수신하도록 구성된 액츄에이터이고, 파형은 액츄에이터를 통해 재생될 때 파형 효과의 크기 및 정밀도를 제어하기 위해 사용된다. 액츄에이터(250)는 예를 들어 압전 액츄에이터, 고 대역폭 액츄에이터, 또는 EAP 액츄에이터일 수 있다.
실시예에 따르면, 리버브 모듈(231)은 각각의 오디오 데이터 프레임의 각각의 최대값이 특정 임계값보다 큰지를 결정하도록 구성된다. 오디오 데이터 프레임의 최대값이 특정 임계값보다 클 때, 리버브 모듈(231)은 햅틱 효과 플레이어 모듈(240)의 애플리케이션 프로그램 인터페이스("API")를 호출하고 대응하는 변조된 오디오 데이터 프레임을 API의 매개변수로서 햅틱 효과 플레이어 모듈(240)에 송신하도록 구성된다. 오디오 데이터 프레임의 최대값이 특정 임계값 이하일 때, 리버브 모듈(231)은 오디오 데이터 프레임을 무시하고 대응하는 변조된 오디오 데이터 프레임을 햅틱 효과 플레이어 모듈(240)에 송신하지 않도록 구성된다. 일부 실시예들에서, 햅틱 효과 플레이어 모듈(240)의 API는 Immersion Corporation에 의한 TouchSense Player® 모듈의 "ImmVibeAppendWaveformEffect" API이다. 다른 실시예들에서, API는 "ImmVibePlayMagSweepEffect" 또는 "ImmVibePlayPeriodicEffect"일 수 있다. 햅틱 효과 플레이어 모듈(240)의 API는 변조된 오디오 데이터 프레임을 액츄에이터(250)에 송신하고, 액츄에이터(250)는 변조된 오디오 데이터 프레임에 기초하여 적합한 파형을 재생하도록 구성된다. 실시예에 따르면, 변조된 오디오 데이터 프레임은 액츄에이터(250)에 의해 재생되는 파형으로서 기능하고, 파형은 주기적 햅틱 신호에 추가하여 강조되는 하나 이상의 주파수 대역을 포함하고, 변조된 오디오 데이터 프레임은 액츄에이터(250)에 의해 재생되는 파형의 정밀도를 제어할 수 있다. 파형을 재생함으로써, 액츄에이터(250)는 햅틱 효과를 생성한다.
도 3은 본 발명의 일 실시예에 따라 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다. 일 실시예에서, 도 3의 기능성과 도 9의 기능성은 메모리나 다른 컴퓨터 판독가능한 매체 또는 유형의(tangible) 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능성은 하드웨어(예를 들어, ASIC(application specific integrated circuit), PGA( programmable gate array), FPGA(field programmable gate array) 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 또한, 대안적인 실시예들에서, 기능성은 아날로그 컴포넌트들을 이용하는 하드웨어에 의해 수행될 수 있다.
실시예에 따르면, 햅틱 변환 시스템은 운영 체제(300), 리버브 모듈(301), 붐박스 모듈(302), 및 IIR(infinite impulse response) 필터(303)를 포함한다. 운영 체제(300)는 (모바일 장치와 같은) 장치의 운영 체제이다. 도시된 실시예에서, 운영 체제(300)는 모바일 장치를 위한 Android® 운영 체제이다. 리버브 모듈(301), 붐박스 모듈(302) 및 IIR 필터(303)는 (도 1의 햅틱 변환 모듈(16)과 같은) 햅틱 변환 모듈의 서브모듈들이다. 일부 실시예들에서, 리버브 모듈(301), 붐박스 모듈(302) 및 IIR 필터(303)는 각각 도 2의 리버브 모듈(231), 붐박스 모듈(232) 및 대역 통과 필터(233)와 동일하다.
실시예에 따르면, 305에서, 오디오 신호를 생성하도록 구성된 애플리케이션이 생성된다. 애플리케이션은 운영 체제(300) 내에서 실행될 수 있는 임의의 애플리케이션이다. 도시된 실시예에서, 애플리케이션은 Android® 애플리케이션이다. 흐름은 310으로 진행한다. 310에서, "SoundPool" 오브젝트가 애플리케이션에 의해 생성되고, SoundPool 오브젝트는 SoundPool API(Android® API임)의 인스턴스이고, SoundPool 오브젝트는 애플리케이션을 위한 오디오 자원들을 관리하고 재생한다. SoundPool 오브젝트는 장치 내에 저장된 자원으로부터 또는 장치의 파일 시스템 내에 저장된 파일로부터 장치의 메모리 내로 로드될 수 있는 오디오 샘플들의 컬렉션을 포함할 수 있다. SoundPool 오브젝트는 오디오 샘플들의 컬렉션을 미가공 16비트 PCM 모노 또는 스테레오 버퍼 내로 디코딩할 수 있다. 흐름은 315로 진행한다. 315에서, 다른 오디오 오브젝트들은 애플리케이션에 의해 생성되고, 다른 오디오 오브젝트들은 다른 오디오 API들의 인스턴스들이다. 다른 오디오 오브젝트들은 또한 오디오 샘플들을 16비트 PCM 오디오 버퍼 내로 디코딩할 수 있다. 흐름은 320으로 진행한다. 320에서, AudioTrack 오브젝트가 SoundPool 오브젝트 또는 다른 오디오 오브젝트들 중 하나에 의해 생성된다. AudioTrack 오브젝트는 하나 이상의 PCM 오디오 버퍼를 수신하고 그 하나 이상의 PCM 오디오 버퍼를 스트리밍하도록 구성된다.
흐름은 325로 진행한다. 325에서, 리버브 오브젝트가 생성된다. 리버브 오브젝트는 리버브 모듈(301)의 인스턴스이고, 리버브 오브젝트는 앞에서 도 2와 관련하여 설명된 바와 같이 AudioTrack 오브젝트에 의해 송신되는 PCM 오디오 버퍼의 하나 이상의 오디오 데이터 프레임을 처리하도록 구성된다. 흐름은 330으로 진행한다. 330에서, 리버브 오브젝트의 하나 이상의 세팅이 설정된다. 리버브 세팅들의 예는 햅틱 변환 인에이블/디스에이블, 미디어에 대한 햅틱 변환 인에이블/디스에이블, 3가지 선택안(예를 들어, 약함, 중간 및 강함)으로부터의 햅틱 변환의 강도 선택, 및 (예를 들어 목록으로부터의) 햅틱 변환이 인에이블되는 하나 이상의 애플리케이션의 선택을 포함할 수 있다. 일부 실시예들에서, 상기 세팅들은 "XML(extensible markup language)" 파일 내에 저장된다. 상기 세팅들은 XML 파일로부터 판독되고 리버브 오브젝트 내에 저장될 수 있으며, 리버브 오브젝트는 특정 애플리케이션들에 대해서는 인에이블될 수 있고 다른 애플리케이션들에 대해서는 디스에이블될 수 있다. 일부 실시예들에서, 강도, 밀도 및 선명도(sharpness)로서 식별되는 3개의 값은 3가지 인자, 즉 (1) 강도 세팅(예를 들어, 약함, 중간 및 강함), (2) (사용자 인터페이스 이벤트들을 햅틱 효과들로 맵핑하는) 햅틱 테마, 및 (3) 액츄에이터 타입에 기초한다. 강도, 밀도 및 선명도값은 생성되어 리버브 오브젝트 내에 저장될 수 있다. 흐름은 335로 진행한다. 335에서, 붐박스 오브젝트는 리버브 오브젝트에 의해 생성된다. 붐박스 오브젝트는 붐박스 모듈(302)의 인스턴스이고, 도 2와 관련하여 앞에서 설명된 바와 같이, 붐박스 오브젝트는 리버브 오브젝트로부터 오디오 데이터 프레임을 수신하고, 오디오 데이터 프레임의 최대값을 생성하고, 오디오 데이터 프레임의 최대값을 리버브 오브젝트에 송신하고, 오디오 데이터 프레임을 필터링될 IIR 필터(303)에 송신하고, 사인파 주기의 캐리어 주파수를 생성하고, 생성된 사인파 주기의 캐리어 주파수를 필터링된 오디오 데이터 프레임과 혼합하도록 구성된다. 일부 실시예들에서, 리버브 오브젝트 내에서 생성되고 저장되는 강도 및 밀도값들은 붐박스 오브젝트 내에도 저장될 수 있다.
흐름은 340으로 진행한다. 340에서, 리버브 오브젝트는 AudioTrack 오브젝트로부터 수신된 PCM 오디오 버퍼의 오디오 데이터 프레임을 붐박스 오브젝트에 송신한다. 흐름은 345로 진행한다. 345에서, 붐박스 오브젝트는 오디오 데이터 프레임 내에 포함된 데이터를 샘플링한다. 그러한 샘플링은 도 4-7과 관련하여 더 상세하게 더 설명된다. 흐름은 350으로 진행한다. 350에서, 붐박스 오브젝트는 오디오 데이터 프레임 내에 포함된 데이터를 단일 전압값(즉, 최대값)으로 번역한다. 그러한 번역도 역시 도 4-7과 관련하여 더 상세하게 더 설명된다. 그 다음, 붐박스 오브젝트는 단일 전압값을 리버브 오브젝트에 반환한다.
흐름은 355로 진행한다. 355에서, 리버브 오브젝트는 임계값 작업(thresholding task)을 수행한다. 더 구체적으로, 리버브 오브젝트는 붐박스 오브젝트로부터 수신된 오디오 데이터 프레임의 최대값이 지정된 임계값보다 큰지를 결정한다. 반환되는 최대값은 먼저, 일 실시예에서 0과 10,000 사이에서 변할 수 있는 힘 값에 선형 맵핑된다. 예를 들어, 임계값은 1,000으로 지정될 수 있다. 이러한 예에서, 힘의 값이 1,000보다 큰 경우에는, 오디오 데이터 프레임이 오디오 버퍼에 기입되어, 후속하여 액츄에이터에 송신된다. 힘의 값이 1,000 이하인 경우에는 오디오 데이터 프레임이 "드롭"되고(즉, 오디오 버퍼에 기입되지 않고) 후속하여 액츄에이터에 송신되지 않는다. 따라서, 실시예에 따르면, 모든 오디오 데이터 프레임이 액츄에이터에서 반드시 재생되지는 않는다. 흐름은 360으로 진행한다. 355에서 오디오 데이터 프레임이 "드롭"되지 않았다고 가정하면, 360에서, 리버브 오브젝트는 오디오 버퍼로부터 오디오 데이터 프레임을 판독한다.
흐름은 365로 진행한다. 365에서, 리버브 오브젝트는 오디오 데이터 버퍼 내에 저장된 오디오 데이터 프레임을 붐박스 오브젝트에 송신한다. 흐름은 370으로 진행한다. 370에서, 붐박스 오브젝트는 예를 들어 8㎑ 모노 오디오에서 오디오 데이터 프레임을 리샘플링한다. 붐박스 오브젝트는 후속하여, 리샘플링된 오디오 데이터 프레임을 IIR 필터(303)에 송신한다. 흐름은 375로 진행한다. 375에서, IIR 필터(303)는 예를 들어 500㎐에서, 수신된 오디오 데이터 프레임을 저역 통과 필터링한다. 본 예에서, IIR 필터(303)는 오디오 데이터 프레임을 저역 통과 필터링함으로써 오디오 데이터 프레임 내의 저주파수 신호들의 단일 주파수 대역(예를 들어 0-500㎐) 상에서 필터링한다. IIR 필터(303)는 후속하여 저역 통과 필터링된 오디오 데이터 프레임을 붐박스 오브젝트에 반환한다. 대안적인 실시예들에서, IIR 필터(303)는 필터가 아니라 (DSP 프로세스, 상태 머신, 또는 다른 유형의 프로그램 논리와 같은) 변형 모듈이다. 이러한 대안적인 실시예들에서, 변형 모듈은 수신된 오디오 데이터 프레임을 새로운 오디오 데이터 프레임으로 변형할 수 있고, 변형이 반드시 필터링 변형은 아니다.
흐름은 380으로 진행한다. 380에서, 붐박스 오브젝트는 필터링된 오디오 데이터 프레임 내에 포함된 오디오 데이터 신호를 부스트한다. 오디오 데이터 신호를 부스트하는 것은 오디오 데이터 신호의 모든 PCM 값들을 정수로 곱하는 것을 수반할 수 있다. 흐름은 385로 진행한다. 385에서, 붐박스 오브젝트는 액츄에이터의 공진 주파수 또는 원하는 임의의 다른 주파수에서 사인 캐리어 파형("사인파 주기적인 캐리어 주파수" 또는 "사인파"로도 식별됨)을 생성하고, 사인 캐리어 파형을 필터링된 오디오 데이터 프레임 내에 포함된 오디오 데이터 신호와 혼합한다. 더욱 구체적으로, 붐박스 오브젝트는 필터링된 오디오 데이터 프레임에 대해 A로서 식별되는, 그의 최대값(즉, 진폭)을 스캔한다. 그 다음, 붐박스 오브젝트는 공식 val = sin (2* pi *주파수*위상)을 이용하여, 필터링된 오디오 데이터 프레임의 계산된 사인값을 검색하기 위해서 (C++ 프로그래밍 언어 sin() 함수와 같은) 사인 함수를 활용하고, 여기서 주파수는 필터링된 오디오 데이터 프레임의 주파수이고, 위상은 필터링된 오디오 데이터 프레임의 위상이다. 후속하여, 붐박스 오브젝트는 계산된 사인값(즉, val)을 필터링된 오디오 프레임의 최대값 또는 진폭(즉, A)으로 곱한다. 이 계산은 완전 사인 캐리어 파형(full sine carrier waveform)을 생성한다. 그 다음에 붐박스 오브젝트는 혼합된 값을 계산하고, 여기서 혼합된 값은 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 표현한다. 더욱 구체적으로, 붐박스 오브젝트는 공식 final = ( mix * bpSample ) + ((1- mix )*(A* val ))에 따라 혼합된 값을 계산하고, 여기서 final은 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 표현하고, bpSample은 필터링된 오디오 데이터 프레임이고, mix는 0과 1 사이의 소수 값이고, A는 필터링된 오디오 프레임의 최대값 또는 진폭이고, val은 완전 사인 캐리어 파형의 계산된 사인값이다. 따라서, 실시예에 따르면, 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합은 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합(즉, final)을 표현하는 혼합된 값이 결코 1을 초과하지 않도록 보장함으로써 정규화된다. 만약, 대신에, 필터링된 오디오 데이터 프레임(즉, bpSample)이 단순히 필터링된 오디오 프레임의 최대값 또는 진폭(즉, A)과 완전 사인 캐리어 파형의 계산된 사인값(즉, val)의 곱에 부가되면, 결과는 아주 심한(overpowering), 원하지 않는, 잡음이 있는 햅틱 신호를 산출한다. 이것은 전술한 바와 같이, 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 정규화함으로써 회피될 수 있다. 그 다음에 붐박스 오브젝트는 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 리버브 오브젝트(reverb object)에 반환한다. 다른 실시예들에서, 다중 동시 캐리어 신호들(상이한 주파수들에서)은 고대역폭 출력 신호를 생성하는 데 이용될 수 있다. 이들 실시예들에서, 개별 캐리어들의 합은 여기에 제시된 알고리즘의 확장을 이용하여 수행된다.
흐름은 390으로 진행한다. 390에서, 리버브 오브젝트는 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 이용하여 액츄에이터에서 파형 효과를 재생한다. 액츄에이터에서 파형 효과를 재생함으로써, 리버브 오브젝트는 액츄에이터가 햅틱 효과를 생성하게 한다.
앞서 설명한 바와 같이, 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))은 PCM 오디오 데이터 버퍼 내에 포함된 오디오 신호를 처리한다. 또한 앞서 설명한 바와 같이, 오디오 신호의 처리는 PCM 오디오 데이터 버퍼의 각각의 오디오 데이터 프레임의 샘플링, PCM 오디오 데이터 버퍼의 각각의 오디오 데이터 프레임에 대한 최대값의 계산, 및 크기 필터링(magnitude filtering)을 포함한다. 오디오 신호의 이러한 처리는 이제 더 상세히 설명된다.
특정 실시예들에 따르면, 오디오 신호의 엔벨로프가 먼저 추출된다. 엔벨로프는 원래의 오디오 신호 또는 필터링된 버전의 원래의 오디오 신호의 모든 주파수들을 이용하여 추출될 수 있다. 그러나, 엔벨로프 자체는 원래의 오디오 신호와 동일한 주파수 콘텐츠를 갖지 않는다.
일 실시예에서, 오디오 데이터 프레임이 오디오 신호로부터 취해진다. 예로서, 오디오 데이터 프레임은 1ms의 프레임 길이를 가질 수 있다. 다른 예로서, 오디오 데이터 프레임은 10ms의 프레임 길이를 가질 수 있다. 1ms 오디오 데이터 프레임은 500Hz 초과의 주파수들의 엔벨로프를 캡처하지만, 더 저 주파수들은 캡처되지 않고, "누설(leak)"된다. 10ms 프레임은 50Hz 초과의 주파수들의 엔벨로프를 캡처하고, 등등이다. 일 실시예에서, 프레임의 각각의 샘플의 절대값이 계산된다. 대안적인 실시예에서, 절대값보다는, 프레임의 각각의 샘플의 제곱이 계산된다. 이러한 처리는 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 오디오 데이터 프레임의 샘플링을 구성한다.
절대 샘플값들(또는 대안적인 실시예에서 제곱 샘플값들)의 최대값 "V1"이 계산된다. 그 다음에 최대값 "V1"은 도 4와 관련하여 아래에서 설명되는 바와 같이, 선형 변환 함수를 이용하여 변환될 수 있다.
도 4는 본 발명의 일 실시예에 따른, 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수(400)를 예시한다. 실시예에 따르면, 도 4에 예시된 바와 같이, 선형 변환 함수(400)를 적용하여 출력값 "V1"의 범위를 제어해서 새로운 값 "V2"를 얻을 수 있다. 예시된 실시예에 따르면, "x0"은 [2..20]과 같은 주어진 범위 내에서 변할 수 있다. "x0"은 새로운 값 "V2"로 변환될 최소값 "V1"을 정의한다. "ymax"는 예 [60..255]와 같은 주어진 범위 내에서 변할 수 있다. "ymax"는 최대 변환값 "V2"를 정의한다. "V1"이 "x0"보다 작거나 같으면, 출력값 "V2"는 0과 같다. "V1"이 "x0"보다 크면, 출력값 "V2"는 "V1"을 함수의 기울기로 곱함으로써 획득된다. "V2"는 클램핑되고 "Vmax"보다 클 수 없다. 대안적인 실시예에서, (x0, y0) 및 (x1, ymax) 을 이용하는 더욱 일반적인 맵핑이 또한 이용될 수 있다. 이러한 처리는 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 오디오 데이터 프레임의 최대값의 계산을 포함한다.
그러므로, 실시예에 따르면, 오디오 신호의 엔벨로프가 햅틱 신호의 진폭에 맵핑되고, 햅틱 신호의 진폭은 필터링된다. 대안적인 실시예에서, 오디오 신호의 엔벨로프는 먼저 필터링될 수 있고, 그 다음에 오디오 신호의 필터링된 엔벨로프가 햅틱 신호의 진폭에 맵핑될 수 있다.
햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 크기 필터링이 이제 더 상세히 설명된다. 햅틱 효과의 크기(또는 강도) "V3"가 이전값 "V2"를 이용하여 계산된다. 특정 실시예들에서, "V3"은 주파수에 맵핑될 수 있다. 다른 실시예들에서, "V3"은 주파수 값들의 세트에 맵핑될 수 있다. 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작으면, 출력 "V3"은 0 또는 어떤 다른 작은 값에 설정될 수 있거나, 그렇지 않으면 출력은 변경되지 않은 채로 유지된다("V3"="V2"). 이 특정 기법은 햅틱 이벤트를 표현하는 신호의 피크값들을 캡처할 수 있고, 독립적인 햅틱 효과를 그 햅틱 이벤트에 자동으로 연관시킨다. 이러한 기법은 또한 다음 햅틱 이벤트가 재생되기 전에 액츄에이터가 자리 잡도록(settle down) 하는 데 이용될 수 있고, 따라서 사용자가 너무 많은 햅틱 정보로 포화되는 것을 방지한다. 대안적인 실시예에서, 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작을 때, 0으로의 급락(sharp drop)보다는, 더 부드러운 쇠퇴(decay)가 이용될 수 있다. 0% 내지 100%의 범위를 갖는 "선명도" 파라미터를 이용하여 "V2"에 적용될 쇠퇴의 양을 정의할 수 있다: V3 = V2 x 선명도 / m, 여기서, "m"은 1로부터 시작하는 정수 제수이고 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작은 한 증분한다. 실시예에 따르면, "m"은 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 크거나 같을 때, 또는 다시 말해, "V3"="V2"일 때, 다시 1로 리셋된다. 특정 실시예들에서, 리버브 오브젝트 내에서 발생되고 저장되는 선명도 값이 선명도 파라미터로서 이용된다.
도 5는 본 발명의 일 실시예에 따른, 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산(500)을 도시한다. 도 5는 44100Hz에서 샘플링된 오디오 신호(510), 20ms 프레임 길이에 대해 계산된 최대값(520), 및 크기 필터링에 의해 얻어진 펄스들(530)을 예시한다. 실시예에 따르면, 펄스들(530)은 오디오 신호(510)의 엔벨로프를 캡처하고, 따라서 펄스들(530)은 하나 이상의 햅틱 효과를 통해 이 정보를 사용자에게 전달할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 디지털 오디오 신호의 엔벨로프의 예시적인 계산(600)을 도시한다. 도 6은 오디오 신호(610), 오디오 신호(610)의 절대값을 저역 통과 필터링하는 것에 의해 얻어진 엔벨로프(620), 및 이 경우 20ms의 특정 프레임에 대한 절대값의 최대를 계산하는 엔벨로프 값(630)을 예시한다.
특정 ms 지속기간의 각각의 프레임은 주파수 도메인에서 처리된다. 따라서, 특정 실시예들에서, 프레임의 고속 푸리에 변환(fast fourier transformation; FFT)을 이용하여 주파수 콘텐츠를 추출할 수 있다. 다른 실시예들에서, 대역 통과 필터들을 이용하여 주파수 콘텐츠를 추출할 수 있다.
일 실시예에서, 프레임 정보는 베이스 또는 저 주파수(예를 들어, 200Hz보다 낮음), 중간 주파수(예를 들어, 240Hz 내지 4000KHz), 및 고 주파수(예를 들어, 4400KHz보다 높음)로 분할될 수 있고, 중간 주파수 콘텐츠 및 고 주파수 콘텐츠는 신호의 콘텐츠를 이용하여 추출된다.
도 7은 본 발명의 일 실시예에 따른, 주파수 콘텐츠에 기초한 디지털 오디오 신호의 엔벨로프의 예시적인 계산(700)을 도시한다. 실시예에 따르면, 앞서 설명한 바와 같이 일단 오디오 데이터 프레임이 처리되면 최대값이 얻어진다. 사실상, 3개의 최대값이 얻어지는데, 하나는 저 주파수 대역들에 대한 것이고, 하나는 중간 주파수 대역들에 대한 것이고, 하나는 고 주파수 대역들에 대한 것이다. 도 7에 예시된 바와 같이, 그래프(710)는 처리되지 않은 최대값(전체 오디오 신호에 기초함)을 표현하고, 그래프(720)는 오디오 신호의 저 주파수 범위에 대응하는 최대값을 표현하고, 그래프(730)는 오디오 신호의 중간 주파수 범위에 대응하는 최대값을 표현하고, 그래프(740)는 오디오 신호의 고 주파수 범위에 대응하는 최대값을 표현한다.
실시예에 따르면, 신호가 처리되기 시작할 때, 저 주파수 대역(즉, 그래프(720)) 및 고 주파수 대역(즉, 그래프(740))의 주파수 값보다 큰 최대값이 획득된다고 고려하면, 제1 프레임은 더 많은 중간 주파수 콘텐츠(즉, 그래프(730))를 포함한다.
실시예에 따르면, 햅틱 효과는 프레임의 주파수 콘텐츠가 이전 프레임의 주파수 콘텐츠와 상이할 때 재생될 수 있다. 도 7에 예시된 바와 같이, 햅틱 효과는 화살표들(701-707)에 의해 표시된 위치들에서 재생될 것이다.
대안적인 실시예들에서, 이 기법의 변형들은 모든 주파수 변경에서 다음과 같은 크기를 갖는 펄스를 재생하는 것을 포함한다: 처리되지 않은 프레임의 최대 크기; 주파수 대역에 대응하는 최대 크기; 제1 프레임에 대해서만 TouchSense 소프트웨어에서 허용되는 최대 크기.
특정 대안적인 실시예들에서, 다음의 프레임들이 동일한 주파수 콘텐츠를 갖는다면, 처리되지 않은 프레임의 크기는 재생될 수 있거나, 또는 처리된 프레임의 크기는 재생될 수 있거나, 또는 프레임이 동일한 주파수 콘텐츠를 갖는 한 아마도 작은, 일정한 진동이 재생될 수 있거나, 또는 크기는 주파수 대역의 파워 콘텐츠에 기초하여 변화될 수 있다.
특정 대안적인 실시예들에서, 상이한 주파수 콘텐츠를 갖는 프레임이 발견될 때 상이한 햅틱 효과가 재생될 수 있다.
또한, 사운드에 대한 인간의 인지는 선형적이지 않고 사운드의 주파수에 의존한다. 더욱 구체적으로, 인간들은 고주파수들보다 저주파수들에 더욱 민감하다. 성별과 나이도 인지에 영향을 미친다. 따라서, 특정 실시예들에서, 특정 주파수들을 부스트하는 보상 인자가 존재할 수 있다. 부스팅 인자는 일부 주파수 대역들이 수동으로 증대(enhance)되는 경우 사운드에 대한 인간의 인지 또는 심지어 사용자들의 선호도에 기초할 수 있다. 소프트웨어는 일반적으로 사용자들이 사운드에 대해 더 낮은 민감도를 갖는다고 알려진 경우 고주파수 콘텐츠를 증대할 수 있다. 이것은 특정 대역에 대한 햅틱 효과가 더 큰 강도로 될 수 있게 할 것이고, 따라서 사용자의 청각 시스템에 의해 인지되고 인식되는 동안, 충분한 전력을 갖지 않을 수 있는 사운드를 증대할 수 있다.
도 8a는 본 발명의 일 실시예에 따른, 디지털 오디오 신호가 필터링되기 전의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산(800)을 도시한다. 예시적인 계산(800)에서, 디지털 오디오 신호의 주파수가 x-축을 따라 표현되고, 디지털 오디오 신호의 각각의 주파수에서 전력의 절대값이 y-축을 따라 표현된다. 도 8a에 예시된 바와 같이, 어떤 크기의 전력이 모든 주파수에 대해 제공된다.
도 8b는 본 발명의 일 실시예에 따른, 디지털 오디오 신호가 필터링된 후의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산(810)을 도시한다. 앞서 설명한 바와 같이, 디지털 오디오 신호는 주어진 오디오 버퍼에서의 저 주파수 신호들의 단일 주파수 대역에서 필터링될 수 있다(예를 들어, 0-500Hz). 예시적인 계산(800)과 유사하게, 디지털 오디오 신호의 주파수가 x-축을 따라 표현되고, 디지털 오디오 신호의 진폭의 절대값이 y-축을 따라 표현된다. 그러나, 도 8b에 예시된 바와 같이, 진폭은 오직 저 주파수 신호들의 단일 필터링된 주파수 대역에 대해서만 제공된다(즉, 0-500Hz).
특정 실시예들에서, 햅틱 변환 시스템의 사용자는 사운드-햅틱 효과 변환 알고리즘을 커스터마이즈(customize)할 수 있다. 더욱 구체적으로, 사용자는 디지털 오디오 신호가 저역 통과 필터, 고역 통과 필터, 또는 대역 통과 필터를 이용하여 필터링될지를 선택할 수 있다. 대안적으로, 또는 필터 타입을 커스터마이즈하는 것에 부가하여, 사용자는 미리 정의된 파라미터들 사이에서 선택하는 것보다 필터 파라미터들을 특정할 수 있다. 이들 실시예들에 따르면, 햅틱 변환 시스템은 그래픽 사용자 인터페이스 내에서 하나 이상의 사용자 정의 파라미터들을 표시할 수 있다. 그 다음에 사용자는 그래픽 사용자 인터페이스를 이용하여, 하나 이상의 사용자 정의 파라미터로부터 선택할 수 있거나, 하나 이상의 사용자 정의 파라미터를 특정할 수 있다. 예를 들어, 사용자는 저역 통과 필터, 대역 통과 필터, 및 고역 통과 필터 중에서 사운드-햅틱 효과 변환 알고리즘에 활용되는 필터의 타입을 선택할 수 있다. 다른 예로서, 사용자는 하나 이상의 컷 오프(cut-off) 주파수들을 특정할 수 있고, 250 내지 500Hz의 값 대신에 사용자는 임의의 값들을 특정할 수 있다. 또 다른 예로서, 사용자는 사운드-햅틱 효과 변환 알고리즘에 이용되는 이득을 특정할 수 있다.
특정 실시예들에서, 미리 정의된 필터 파라미터들을 활용하는 것보다, 햅틱 변환 시스템은 사용자 정의 파라미터들에 기초하여 실행시간에 필터 파라미터들을 계산할 수 있다. 더욱 구체적으로, 사용자는 필터 타입을 선택할 수 있다. 예를 들어, 사용자는 버터워스(Butterworth) 디자인, 베셀(Bessel) 디자인, 또는 체비세프(Chebyshev) 디자인을 선택할 수 있고, 각각의 디자인에 대해, 사용자는 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 또는 대역 저지 필터(band-stop filter)를 선택할 수 있다. 사용자가 체비세프 디자인을 선택하면, 사용자는 또한 리플(ripple)을 특정할 수 있다. 사용자는 또한 필터 차수, 및 샘플 레이트를 특정할 수 있다. 사용자는 또한 사용자가 저역 통과 필터 또는 고역 통과 필터를 선택했다면 1개의 코너 주파수를, 그리고 사용자가 대역 통과 필터 또는 대역 저지 필터를 선택했다면 2개의 코너 주파수를 특정할 수 있다. 사용자는 또한 옵션의 부가적인 제로 값 및 크기 스케일의 옵션의 더 낮은 한계를 선택할 수 있다. 또한, 사용자는 필터가 이중선형 변환 방법(bilinear transform method) 또는 매칭된 z-변환 방법(matched z-transform method)에 의해 디자인되는지도 선택할 수 있다. 그 다음에 햅틱 변환 시스템은 사용자에 의해 특정된 파라미터들에 기초하여 실행시간에 하나 이상의 필터 파라미터를 계산할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))의 기능성의 흐름도를 예시한다. 910에서, 오디오 신호의 데이터 프레임이 수신된다. 특정 실시예들에서, 오디오 신호가 스피커로 스트리밍될 때 오디오 신호는 인터셉트된다. 또한, 특정 실시예들에서, 오디오 신호는 PCM 오디오 버퍼이다. 흐름은 920으로 진행한다.
920에서, 데이터 프레임의 최대값이 발생된다. 특정 실시예들에서, 데이터 프레임의 하나 이상의 샘플 값을 발생하기 위해 데이터 프레임을 샘플링함으로써 최대값이 발생되고, 최대값은 하나 이상의 샘플값들의 최대값이다. 일 실시예에서, 하나 이상의 샘플값들은 절대값들이다. 대안적인 실시예에서, 하나 이상의 샘플값들은 제곱 값들이다. 특정 실시예들에서, 최대값은 선형 변환 함수를 이용하여 원래의 최대값으로부터 변환된다. 흐름은 930으로 진행한다.
930에서, 데이터 프레임이 변형된다. 특정 실시예들에서, 데이터 프레임이 대역 통과 필터를 이용하여 대역 통과 필터링된다. 이러한 실시예들에서, 데이터 프레임 내의 주파수 신호들의 단일 주파수 대역이 필터링된다. 대안적인 실시예들에서, 데이터 프레임은 IIR 필터를 이용하여 저역 통과 필터링된다. 이러한 실시예들에서, 데이터 프레임 내의 주파수 신호들의 단일 주파수 대역이 필터링될 수 있다. 예를 들면, 0-500Hz의 대역이 필터링될 수 있다. 특정 실시예들에서, 데이터 프레임이 변형되기 전에, 데이터 프레임은 재샘플링된다. 특정 실시예들에서, 데이터 프레임이 변형된 후에, 데이터 프레임에 포함된 디지털 오디오 신호가 부스팅된다. 흐름은 940으로 진행한다.
940에서, 적어도 하나의 사인 캐리어 파형은 변형된 데이터 프레임의 최대값에 기초하여 생성된다. 특정 실시예들에서, 변형된 데이터 프레임은 스캐닝되고, 변형된 데이터 프레임의 최대값이 결정된다. 다음으로, 사인 함수가 변형된 데이터 프레임의 주파수 및 변형된 데이터 프레임의 위상에 기초하여 변형된 데이터 프레임의 계산된 사인 값을 검색하는데에 이용된다. 이어서, 적어도 하나의 사인 캐리어 파형을 생성하도록, 계산된 사인 값은 변형된 데이터 프레임의 최대값으로 곱해진다.
950에서, 변형된 데이터 프레임이 적어도 하나의 사인 캐리어 파형과 혼합되어 변조된 데이터 프레임을 생성한다. 특정 실시예들에서, 변형된 데이터 프레임과 적어도 하나의 사인 캐리어 파형의 혼합이 정규화되는 공식에 따라, 변형된 데이터 프레임이 적어도 하나의 사인 캐리어 파형과 혼합된다.
960에서, 햅틱 신호가 최대값 및 변조된 데이터 프레임에 기초하여 생성된다. 특정 실시예들에서, 최대값은 햅틱 신호가 생성되는지를 결정하고, 변조된 데이터 프레임은 햅틱 신호의 정밀도를 정의한다. 최대값이 햅틱이 생성되는지를 결정하는 특정 실시예들에서, 햅틱 신호는 최대값이 특정 임계값보다 클 때만 생성된다. 흐름은 970으로 진행한다.
970에서, 햅틱 신호가 액츄에이터를 통해 송신되어 하나 이상의 햅틱 효과를 생성한다. 특정 실시예들에서, 햅틱 신호는 파형 효과이다. 또한, 특정 실시예들에서, 햅틱 신호를 생성하여 송신하는 것은 변조된 데이터 프레임을 파라미터로서 햅틱 효과 플레이어 모듈의 애플리케이션 프로그래밍 인터페이스에 패스하는 것을 포함한다.
따라서, 실시예에 따라, 햅틱 변환 시스템은 오디오 신호의 일부인 오디오 데이터 프레임을 인터셉트하고, 오디오 데이터 프레임을 햅틱 신호로 변환하고, 여기서 각각의 오디오 데이터 프레임의 최대값은 각각의 필터링된 오디오 데이터 프레임과 혼합되는 사인파 주기적인 캐리어 주파수를 정의하여 햅틱 신호의 파형을 정의하고, 햅틱 효과를 발생시키도록 액츄에이터를 통해 변환된 햅틱 신호를 재생한다. 햅틱 변환 시스템에 의해 수행되는 각각의 오디오 데이터 프레임의 변조는 액츄에이터 자체 내에 느껴지는 큰 정밀도 및 사실성을 시연하고, 그 결과 액츄에이터에서 재생되는 햅틱 신호의 더 많은 유연성을 초래한다.
본 명세서를 통해 기재된 본 발명의 특징, 구성, 또는 특성은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다. 예를 들어, 이 명세서 내의 "일 실시예", "일부 실시예들", "특정 실시예', "특정 실시예들", 또는 다른 유사한 언어의 사용은 그 실시예와 연관되어 설명된 특정한 특징, 구성, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 가리킨다. 따라서, 이 명세서에서의 "일 실시예", "일부 실시예들", "특정 실시예", "특정 실시예들", 또는 다른 유사한 언어의 사용은 반드시 동일한 실시예들의 그룹을 지칭하는 것은 아니며, 설명된 특징, 구성, 또는 특성들은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다.
통상의 기술자는 전술한 본 발명이 개시된 것과는 상이한 순서의 단계들로, 및/또는 상이한 구성의 요소들로 실시될 수 있음을 쉽게 이해할 것이다. 그러므로, 본 발명이 이러한 선호되는 실시예들에 기초하여 설명되었지만, 본 발명의 사상 및 범주 내에서, 특정 수정, 변형, 및 대안적인 구성이 당업자에게는 명백할 것이다. 그러므로, 본 발명의 경계를 결정하기 위해서, 첨부된 청구 범위가 참조되어야 한다.
10: 햅틱 변환 시스템
12: 버스
14: 메모리
15: 운영 체제
16: 햅틱 변환 모듈
18: 기타 애플리케이션
20: 통신 장치
22: 프로세서
24: 디스플레이
26: 액츄에이터
28: 스피커
12: 버스
14: 메모리
15: 운영 체제
16: 햅틱 변환 모듈
18: 기타 애플리케이션
20: 통신 장치
22: 프로세서
24: 디스플레이
26: 액츄에이터
28: 스피커
Claims (29)
- 프로세서에 의해 실행될 때, 동작들을 수행함으로써 상기 프로세서로 하여금 오디오 신호를 하나 이상의 햅틱 효과로 변환하게 하는 명령어들이 저장된 컴퓨터 판독가능 매체로서,
상기 동작들은,
상기 오디오 신호의 샘플 세트를 수신하고;
상기 오디오 신호의 샘플 세트의 최대값을 결정하고;
상기 오디오 신호의 샘플 세트의 최대값에 기초하여 햅틱 신호를 생성하고;
상기 햅틱 신호를 액츄에이터에 송신하여 하나 이상의 햅틱 효과를 생성하는
것을 포함하는 컴퓨터 판독가능 매체. - 제1항에 있어서,
상기 샘플 세트는 상기 오디오 신호의 데이터 프레임의 일부이고, 상기 샘플 세트의 최대값은 상기 데이터 프레임의 최대값이고, 상기 명령어들은 추가적으로,
상기 데이터 프레임을 변형된 데이터 프레임으로 변형하고;
상기 변형된 데이터 프레임에 기초하여 사인 캐리어 파형(sine carrier waveform)을 생성하고;
상기 변형된 데이터 프레임을 상기 사인 캐리어 파형과 혼합하여 변조된 데이터 프레임을 생성함으로써,
상기 프로세서로 하여금 상기 오디오 신호를 하나 이상의 햅틱 효과로 변환하게 하고,
상기 햅틱 신호는 상기 데이터 프레임의 최대값 및 상기 변조된 데이터 프레임에 기초하여 생성되고,
상기 데이터 프레임의 최대값은 상기 햅틱 신호의 생성에 있어서 상기 데이터 프레임이 무시될지를 결정하는 컴퓨터 판독가능 매체. - 제2항에 있어서,
상기 햅틱 신호는 상기 데이터 프레임의 최대값이 지정된 임계값보다 큰 경우에만 생성되는 컴퓨터 판독가능 매체. - 제1항에 있어서,
상기 햅틱 신호는 파형 효과를 포함하는 컴퓨터 판독가능 매체. - 제2항에 있어서,
상기 데이터 프레임을 변형하는 것은, 상기 데이터 프레임을 대역 통과 필터링하는 것을 포함하는 컴퓨터 판독가능 매체.
- 제2항에 있어서,
상기 데이터 프레임을 변형하는 것은, 상기 데이터 프레임을 저역 통과 필터링하는 것을 포함하는 컴퓨터 판독가능 매체. - 제2항에 있어서,
상기 명령어들은, 상기 데이터 프레임이 변형되기 전에 상기 데이터 프레임을 재샘플링(resampling)하는 것을 더 포함하는 컴퓨터 판독가능 매체. - 제2항에 있어서,
상기 명령어들은, 상기 데이터 프레임이 변형된 후에 상기 오디오 신호를 부스팅(boosting)하는 것을 더 포함하는 컴퓨터 판독가능 매체. - 제2항에 있어서,
상기 사인 캐리어 파형을 생성하는 것은,
상기 변형된 데이터 프레임의 주파수 및 상기 변형된 데이터 프레임의 위상에 기초하여 사인 함수를 계산하고;
상기 사인 함수를 상기 변형된 데이터 프레임의 최대값으로 곱하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제2항에 있어서,
상기 변형된 데이터 프레임은, 상기 변조된 데이터 프레임이 정규화되는(normalized) 공식에 따라, 상기 사인 캐리어 파형과 혼합되는 컴퓨터 판독가능 매체.
- 제2항에 있어서,
상기 명령어들은, 상기 데이터 프레임의 푸리에 변환을 이용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제2항에 있어서,
상기 명령어들은, 대역 통과 필터를 이용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하는 것을 더 포함하는 컴퓨터 판독가능 매체.
- 제2항에 있어서,
상기 명령어들은,
상기 데이터 프레임을 저 주파수 콘텐츠, 중간 주파수 콘텐츠, 및 고 주파수 콘텐츠로 분할하고;
상기 오디오 신호의 콘텐츠를 이용하여 상기 중간 주파수 콘텐츠 및 고 주파수 콘텐츠를 추출하는 것을 더 포함하는 컴퓨터 판독가능 매체. - 오디오 신호를 하나 이상의 햅틱 효과로 변환하는, 컴퓨터로 구현된 방법으로서,
상기 오디오 신호의 샘플 세트를 수신하는 단계;
상기 오디오 신호를 재샘플링(resampling)하여 재샘플링된 오디오 신호를 생성하는 단계;
상기 재샘플링된 오디오 신호의 샘플 세트를 변형하여 변형된 샘플 세트를 생성하는 단계 -상기 재샘플링된 오디오 신호의 샘플 세트를 변형하는 것은 상기 재샘플링된 오디오 신호의 샘플 세트를 부스팅하는 것을 포함함-;
상기 변형된 샘플 세트에 기초하여 햅틱 신호를 생성하는 단계; 및
상기 햅틱 신호를 액츄에이터로 송신하여 하나 이상의 햅틱 효과를 생성하는 단계
를 포함하는, 컴퓨터로 구현된 방법.
- 제14항에 있어서,
상기 샘플 세트는 상기 오디오 신호의 데이터 프레임의 일부이고, 상기 변형된 샘플 세트는 변형된 데이터 프레임의 일부이고, 상기 방법은,
상기 데이터 프레임의 최대값을 결정하는 단계;
상기 변형된 데이터 프레임에 기초하여 사인 캐리어 파형(sine carrier waveform)을 생성하는 단계; 및
상기 변형된 데이터 프레임을 상기 사인 캐리어 파형과 혼합하여 변조된 데이터 프레임을 생성하는 단계를 더 포함하고,
상기 햅틱 신호는 상기 변조된 데이터 프레임이거나 상기 변조된 데이터 프레임에 기초하고,
상기 데이터 프레임의 최대값은 상기 햅틱 신호의 생성에 있어서 상기 데이터 프레임이 무시될지를 결정하는, 컴퓨터로 구현된 방법.
- 제15항에 있어서,
상기 햅틱 신호는 상기 데이터 프레임의 최대값이 지정된 임계값보다 큰 경우에만 생성되는, 컴퓨터로 구현된 방법. - 제14항에 있어서,
상기 햅틱 신호는 파형 효과를 포함하는, 컴퓨터로 구현된 방법. - 제14항에 있어서,
상기 샘플 세트를 변형하는 단계는, 상기 샘플 세트를 대역 통과 필터링하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
- 제14항에 있어서,
상기 샘플 세트의 푸리에 변환을 이용하여 상기 샘플 세트로부터 주파수 콘텐츠를 추출하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
- 제14항에 있어서,
대역 통과 필터를 이용하여 상기 샘플 세트로부터 주파수 콘텐츠를 추출하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
- 제14항에 있어서,
상기 샘플 세트를 저 주파수 콘텐츠, 중간 주파수 콘텐츠, 및 고 주파수 콘텐츠로 분할하는 단계; 및
상기 오디오 신호의 콘텐츠를 이용하여 상기 중간 주파수 콘텐츠 및 고 주파수 콘텐츠를 추출하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 메모리;
프로세서; 및
하나 이상의 햅틱 효과를 출력하도록 구성된 액츄에이터
를 포함하며,
상기 메모리는 상기 프로세서로 하여금 하나 이상의 모듈을 실행하게 하는 명령어들을 저장하고, 상기 하나 이상의 모듈은,
오디오 신호의 데이터 프레임을 수신하고;
상기 데이터 프레임의 최대값을 결정하고;
상기 데이터 프레임을 변형된 데이터 프레임으로 변형하고;
상기 변형된 데이터 프레임의 최대값, 상기 변형된 데이터 프레임의 주파수, 또는 상기 변형된 데이터 프레임의 위상 중 적어도 하나에 기초하여 사인 캐리어 파형을 생성하고;
상기 변형된 데이터 프레임을 상기 사인 캐리어 파형과 혼합하여 변조된 데이터 프레임을 생성하고;
상기 데이터 프레임의 최대값 및 상기 변조된 데이터 프레임에 기초하여 햅틱 신호를 생성하고;
상기 햅틱 신호를 액츄에이터로 송신하여 하나 이상의 햅틱 효과를 생성하도록
구성되는 햅틱 변환 시스템.
- 제22항에 있어서,
상기 데이터 프레임의 최대값은 상기 햅틱 신호가 생성되는지를 결정하며, 상기 변조된 데이터 프레임은 상기 햅틱 신호의 정밀도를 정의하는 햅틱 변환 시스템. - 제23항에 있어서,
상기 하나 이상의 모듈은 상기 데이터 프레임의 최대값이 지정된 임계값보다 큰 경우에만 상기 햅틱 신호를 생성하도록 더 구성되는 햅틱 변환 시스템.
- 제22항에 있어서,
상기 햅틱 신호는 파형 효과를 포함하는 햅틱 변환 시스템. - 제22항에 있어서,
상기 하나 이상의 모듈은 상기 데이터 프레임을 대역 통과 필터링하도록 구성되는 햅틱 변환 시스템.
- 제22항에 있어서,
상기 하나 이상의 모듈은 상기 데이터 프레임의 푸리에 변환을 이용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하도록 더 구성되는 햅틱 변환 시스템.
- 제22항에 있어서,
상기 하나 이상의 모듈은 대역 통과 필터를 이용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하도록 더 구성되는 햅틱 변환 시스템.
- 제22항에 있어서,
상기 하나 이상의 모듈은,
상기 데이터 프레임을 저 주파수 콘텐츠, 중간 주파수 콘텐츠, 및 고 주파수 콘텐츠로 분할하고;
상기 오디오 신호의 콘텐츠를 이용하여 상기 중간 주파수 콘텐츠 및 고 주파수 콘텐츠를 추출하도록 더 구성되는 햅틱 변환 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/366,010 | 2012-02-03 | ||
| US13/366,010 US8717152B2 (en) | 2011-02-11 | 2012-02-03 | Sound to haptic effect conversion system using waveform |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180082337A Division KR101999565B1 (ko) | 2011-02-11 | 2018-07-16 | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130090299A KR20130090299A (ko) | 2013-08-13 |
| KR101880764B1 true KR101880764B1 (ko) | 2018-07-20 |
Family
ID=45607033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120013995A KR101880764B1 (ko) | 2012-02-03 | 2012-02-10 | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| EP (2) | EP3557388A1 (ko) |
| JP (2) | JP6081705B2 (ko) |
| KR (1) | KR101880764B1 (ko) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
| US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
| US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
| JP6667987B2 (ja) * | 2013-09-06 | 2020-03-18 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚フィードバックを提供するための制御トラックを変換する方法及び装置 |
| US9898085B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
| US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
| US10162416B2 (en) * | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
| US9514620B2 (en) | 2013-09-06 | 2016-12-06 | Immersion Corporation | Spatialized haptic feedback based on dynamically scaled values |
| US9330547B2 (en) * | 2014-05-20 | 2016-05-03 | Immersion Corporation | Haptic effect authoring tool based on a haptification model |
| US9891714B2 (en) | 2014-12-24 | 2018-02-13 | Immersion Corporation | Audio enhanced simulation of high bandwidth haptic effects |
| KR102456953B1 (ko) | 2016-03-11 | 2022-10-21 | 한국전자통신연구원 | 이미지 제공 장치 및 방법 |
| JP6383765B2 (ja) * | 2016-08-25 | 2018-08-29 | 株式会社ファセテラピー | 触覚コンテンツ生成装置、触覚コンテンツ生成方法および触覚コンテンツ利用機器 |
| JP6977312B2 (ja) | 2016-10-07 | 2021-12-08 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
| KR102443324B1 (ko) * | 2017-09-15 | 2022-09-14 | 풔스 디멘션 에스에이알엘 | 진동-촉각력 피드백 방법 및 디바이스 |
| US20190103004A1 (en) * | 2017-10-02 | 2019-04-04 | Immersion Corporation | Haptic pitch control |
| EP3579081A1 (en) * | 2018-06-07 | 2019-12-11 | Lofelt GmbH | Systems and methods for generating haptic output for enhanced user experience |
| US10657779B2 (en) | 2018-06-07 | 2020-05-19 | Lofelt Gmbh | Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience |
| KR102656636B1 (ko) | 2018-11-30 | 2024-04-12 | 주식회사 씨케이머티리얼즈랩 | 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법 |
| JP7227986B2 (ja) | 2018-12-12 | 2023-02-22 | アルプスアルパイン株式会社 | 触覚呈示装置、触覚呈示システム、制御方法及びプログラム |
| KR102141889B1 (ko) * | 2019-02-19 | 2020-08-06 | 주식회사 동운아나텍 | 적응적 햅틱 신호 발생 장치 및 방법 |
| US20210110841A1 (en) * | 2019-10-14 | 2021-04-15 | Lofelt Gmbh | System and method for transforming authored haptic data to fit into haptic bandwidth |
| WO2022013168A2 (en) * | 2020-07-12 | 2022-01-20 | Lofelt Gmbh | Systems and methods for authoring immersive haptic experience using spectral centriod |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040062559A (ko) * | 2001-10-09 | 2004-07-07 | 임머숀 코퍼레이션 | 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들 |
| WO2010104953A1 (en) * | 2009-03-10 | 2010-09-16 | Artificial Muscle, Inc. | Electroactive polymer transducers for tactile feedback devices |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL70153A0 (en) * | 1983-11-07 | 1984-02-29 | Navot Technology Ltd | Audiotactile communication system |
| US5684722A (en) * | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
| JP3824182B2 (ja) * | 1996-09-20 | 2006-09-20 | ソニー株式会社 | 音声増幅装置及び通信端末装置並びに音声増幅方法 |
| JPH11196497A (ja) * | 1998-01-06 | 1999-07-21 | Matsushita Electric Ind Co Ltd | 振動による情報伝達装置 |
| JPH11296126A (ja) * | 1998-04-15 | 1999-10-29 | Iida Denshi Sekkei Kk | 聴覚的情報の補助的提示方法及び聴覚的情報の補助的提示装置 |
| JP2003099177A (ja) * | 2001-09-21 | 2003-04-04 | Fuji Xerox Co Ltd | 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置 |
| JP4467601B2 (ja) * | 2007-05-08 | 2010-05-26 | ソニー株式会社 | ビート強調装置、音声出力装置、電子機器、およびビート出力方法 |
| JP2012508421A (ja) * | 2008-11-04 | 2012-04-05 | バイエル・マテリアルサイエンス・アクチェンゲゼルシャフト | 触覚フィードバック装置のための電場応答性高分子変換器 |
| US20130207793A1 (en) * | 2009-01-21 | 2013-08-15 | Bayer Materialscience Ag | Electroactive polymer transducers for tactile feedback devices |
| US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
-
2012
- 2012-02-10 EP EP19173927.5A patent/EP3557388A1/en not_active Withdrawn
- 2012-02-10 KR KR1020120013995A patent/KR101880764B1/ko active IP Right Grant
- 2012-02-10 EP EP12154829.1A patent/EP2624099B1/en active Active
- 2012-02-10 JP JP2012027803A patent/JP6081705B2/ja not_active Expired - Fee Related
-
2017
- 2017-01-19 JP JP2017007414A patent/JP6391724B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040062559A (ko) * | 2001-10-09 | 2004-07-07 | 임머숀 코퍼레이션 | 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들 |
| WO2010104953A1 (en) * | 2009-03-10 | 2010-09-16 | Artificial Muscle, Inc. | Electroactive polymer transducers for tactile feedback devices |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013161473A (ja) | 2013-08-19 |
| JP6081705B2 (ja) | 2017-02-15 |
| EP2624099B1 (en) | 2019-11-13 |
| EP3557388A1 (en) | 2019-10-23 |
| JP2017068874A (ja) | 2017-04-06 |
| JP6391724B2 (ja) | 2018-09-19 |
| KR20130090299A (ko) | 2013-08-13 |
| EP2624099A1 (en) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101999565B1 (ko) | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 | |
| KR101880764B1 (ko) | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 | |
| US9448626B2 (en) | Sound to haptic effect conversion system using amplitude value | |
| JP6250985B2 (ja) | マッピングを用いた音をハプティック効果に変換するシステム | |
| JP6416460B2 (ja) | 複数のアクチュエータを用いた音からハプティック効果への変換システム | |
| EP1915027B1 (en) | Audio reproducing apparatus | |
| EP3674849A1 (en) | Haptic effect signal processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |