KR20140117958A - 음향효과를 이용한 촉각효과 재생 장치 및 방법 - Google Patents

음향효과를 이용한 촉각효과 재생 장치 및 방법 Download PDF

Info

Publication number
KR20140117958A
KR20140117958A KR20130032962A KR20130032962A KR20140117958A KR 20140117958 A KR20140117958 A KR 20140117958A KR 20130032962 A KR20130032962 A KR 20130032962A KR 20130032962 A KR20130032962 A KR 20130032962A KR 20140117958 A KR20140117958 A KR 20140117958A
Authority
KR
South Korea
Prior art keywords
tactile
unit
application
user input
input event
Prior art date
Application number
KR20130032962A
Other languages
English (en)
Other versions
KR101666393B1 (ko
Inventor
임정묵
신희숙
이종욱
경기욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130032962A priority Critical patent/KR101666393B1/ko
Priority to US14/012,149 priority patent/US20140292501A1/en
Publication of KR20140117958A publication Critical patent/KR20140117958A/ko
Application granted granted Critical
Publication of KR101666393B1 publication Critical patent/KR101666393B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)

Abstract

촉각효과 정보를 근거로 검출된 주파수 성분 중에서 촉각효과 제공이 불필요한 성분을 제거하여 사용자에게 효과적인 사용자 경험을 극대화할 수 있는 촉각효과를 제공하도록 한 음향효과를 이용한 촉각효과 재생 장치 및 방법이 제시된다. 제시된 음향효과를 이용한 촉각효과 재생 장치는, 애플리케이션, 사용자 입력 이벤트에 대응하여 전자기기에서 출력되는 음향 효과를 취득하여 주파수 성분을 분석하고, 애플리케이션 및 사용자 입력 이벤트에 따라 동적으로 변경되는 적응형 오디오 필터 및 분석된 주파수 성분을 근거로 음향 효과에 대응되는 촉각 출력 메시지를 생성하고, 촉각 출력 메시지를 근거로 촉각효과를 출력한다.

Description

음향효과를 이용한 촉각효과 재생 장치 및 방법{APPARATUS AND METHOD FOR REPRODUCING HAPTIC EFFECT USING SOUND EFFECT}
본 발명은 음향효과를 이용한 촉각효과 재생 장치 및 방법에 관한 것으로, 더욱 상세하게는 액추에이터를 구비한 햅틱 디바이스에서 음향효과를 기반으로 사용자에게 촉각효과를 제공하는 음향효과를 이용한 촉각효과 재생 장치 및 방법에 대한 것이다.
햅틱 기능은 디지털기기에 진동이나 힘, 충격을 발생하여 사용자에게 촉감을 제공하는 기술이다. 즉, 햅틱 기능은 게임기, 휴대폰, 컴퓨터 등의 디지털기기의 입력장치(예를 들면, 조이스틱, 마우스, 키보드, 터치스크린 등)를 조작함에 따라 진동, 운동감, 힘 등을 사용자에게 제공한다. 그에 따라, 햅틱 기능은 컴퓨터 가상체험 등과 같이 보다 실감나는 정보를 사용자에게 전달하는 기술이다.
햅틱 기능은 개발 초기에 항공기 및 전투기 시뮬레이션 또는 가상영상체험 영화, 게임 등에서 주로 적용되었으며, 2000년대 중반 이후 이 기술이 적용된 터치스크린 휴대전화가 출시되어 보다 개인 사용자들에게 친숙하게 적용되면서 주목받고 있다.
이처럼, 햅틱 기능은 스마트폰, 게임 콘솔 등 다양한 전자 기기에서 사용되고 있다. 햅틱 기능은 시청각뿐 아니라 촉각, 후각 등 복합적인 방법으로 미디어를 접하고자 하는 사용자 요구사항이 증가함에 따라 사용이 증가하고 있는 추세이다.
일반적으로, 종래의 햅틱 피드백 제공 방법은 사용자의 디지털기기 조작에 따라 발생하는 이벤트, 애플리케이션 자체에서 발생하는 이벤트에 의해 햅틱 기능이 구동된다. 즉, 사용자가 디지털기기의 사용자 인터페이스를 통해 상호작용할 때 발생하는 특정 이벤트, 또는 애플리케이션 자체에서 발생하는 이벤트(예를 들면, 알람 등)에 의해 햅틱 기능이 트리거링된다. 이처럼, 햅틱 피드백 제공 방법은 발생한 이벤트에 따라 미리 정의된 특정 햅틱 패턴을 출력하는 이벤트 드리븐(event-driven) 방식이 일반적으로 사용되고 있다.
다른 햅틱 피드백 제공 방식으로는 연속적으로 출력되는 오디오 데이터를 햅틱 출력을 위한 데이터로 변경하여 햅틱 피드백을 제공하는 방식이 있다. 이때, 출력 중인 오디오 데이터를 햅틱 데이터로 변화하는 방식으로는 아날로그 신호 방식과, FFT(Fast Fourier Transform) 필터 방식 등이 사용되고 있다.
아날로그 신호 방식은 오디오 출력 때 발생하는 아날로그 신호를 입력으로 하여 햅틱 액추에이터를 구동시키는 방법이다. 아날로그 신호 방식은 반응 속도가 매우 빠르고, 하드웨어로 구현이 용이하며, 특히 액추에이터의 구동 주파수 범위가 다양할 경우 더욱 효과적으로 사용할 수 있다. 일례로, 한국공개특허 제10-2011-0076283호(명칭: 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치)에서는 터치 스크린을 구비한 이동통신 단말에서 사용자 입력에 따라 햅틱 패턴 또는 햅틱 오디오 패턴을 검출하고 이중 적어도 하나에 대응하는 패턴 정보를 통신 상대 단말로 전송하여 통신 상대 단말에게 동일한 피드백을 제공하는 기술을 개시하고 있다.
그러나, 아날로그 신호 방식은 디지털기기에서 출력되는 모든 오디오 신호에 대해 햅틱을 출력함으로써, 사용자가 원하지 않는 주파수 대역의 신호까지도 햅틱을 출력하는 단점이 있다. 예를 들어, 게임을 위한 디지털기기는 일반적으로 다양한 효과음과 함께 배경 음악을 사용한다. 이때, 일부 오디오(또는 음원)는 햅틱 피드백과 복합적으로 제공할 때 사용자 경험(user experience)를 극대화할 수 있는 반면, 일부 오디오(또는 음원)는 오히려 햅틱 피드백과 동시에 제공됨으로써 사용자에게 불편함을 줄 수 있다. 일례로, 일정한 트랙을 경주하는 자동차 운전 게임을 들면, 게임 중 가속 엔진음, 도로 표면감을 반영하는 바퀴의 주행음, 다른 차량 또는 주변 물체와의 충돌음 및 게임을 흥겹게 하기 위한 배경음악 등 다양한 오디오 효과음을 제공할 수 있다. 이때, 엔진음, 주행음, 충돌음은 촉각효과와 동시에 제공할 때 사용자에게 보다 사실적인 피드백을 제공할 수 있지만, 운전과 관계없이 배경음으로 출력하는 음악에 대해 촉각효과와 같이 전달될 때 오히려 자동차 운전과 관계없는 촉각 피드백이 전달되므로, 사실감이 저하되는 문제점이 있다. 이는 엔진음, 주행음, 충돌음이 갖는 주된 주파수 성분과, 배경 음악이 갖는 주된 주파수 성분을 구별하지 않고, 모든 주파수 성분에 대해 촉각 피드백을 제공함으로써 발생한다.
FFT 필터 방식은 주파수 밴드별로 오디오 신호를 필터링하고, 필터링된 오디오 신호를 이용해 햅틱을 제공한다. FFT 필터 방식은 아날로그 신호 방식의 문제점을 극복하기 위해서 사용하는 방식으로 재생중인 오디오 데이터를 임의의 시간 간격으로 블록화하여 획득하고, 획득한 오디오 블록에 대해 FFT 필터를 사용하여 해당 블록이 갖는 주파수 성분을 검출하여, 검출된 주파수 성분의 크기, 즉 주파수별 라우드니스(loudness) 기반으로 촉각 피드백 제공하는 방식이다. 따라서, 저주파나 고주파 음역대를 구별하여 촉각효과를 제공할 수 있다.
그러나, FFT 필터 방식은 출력중인 오디오에 잘 어울리는 효과적인 촉각 피드백을 제공하기 위해서는 오디오 샘플링 시간 간격, 필터링을 위한 주파수 대역별 임계치 설정 등 매우 정교한 필터링 과정이 요구되는 문제점이 있다. 즉, 엔진음, 주행음, 충돌음과 배경음을 서로 구별하기 위해서는 각 효과음에 대한 주파수 대역별 분포 특징을 모델링하여 필터링 해야하는데, 다양한 효과음에 대해 동일하게 적용되는 일반적인 모델을 생성하기는 매우 어렵다.
실제로 일부 오디오는 햅틱 피드백과 복합적으로 제공할 때 사용자 경험(user experience)을 극대화할 수 있는 음원이 있는가 하면, 일부 음원은 오히려 햅틱 피드백과 동시에 제공됨으로써 사용자에게 불편함을 줄 수 있다. 그러나, 이들 음원의 주파수 성분이 유사할 경우, 음향 효과별로 깨끗하게 필터링되기 어렵기 때문에, 사용자가 원하는 음향 효과에만 적용하여 촉각 피드백을 생성하기가 쉽지 않다.
일례로, 일정한 트랙을 경주하는 자동차 운전 게임을 예로 들면, 특정 음향효과의 주파수 성분을 분석하더라도 배경음악의 주파수 성분과 중복될 수 있다. 그에 따라, 엔진음, 주행음, 충돌음 등을 필터링하여 촉각효과를 제공할 때에도, 배경음악에 따라 의도하지 않은 촉각효과가 제공될 가능성이 매우 높다. 따라서, 특정 효과음이 갖는 주된 주파수 성분과, 배경음악이 갖는 주된 주파수 성분이 쉽게 구별되지 않기 때문에 결과적으로는 모든 음향 효과에 대해 촉각피드백을 생성하게 되므로, 촉각 피드백으로 인한 사용자 경험을 극대화하기 어려운 문제점이 있다.
또한, FFT 필터 방식은 전자기기의 응용에서 출력중인 오디오의 주파수 성분에 따른 필터링 단계가 필요하며, 사용자가 원하는 효과음에 대해서만 적용하기에는 기존의 방법인 주파수별 라우드니스에 의한 음향 필터링 과정이 매우 복잡하거나 깨끗하게 필터링하기 여려운 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 샘플링을 통해 취득한 오디오 블록들을 고속 푸리에 변환하여 주파수 성분들을 검출하고, 기저장된 적응형 오디오 필터를 근거로 검출된 주파수 성분 중에서 촉각효과 제공이 불필요한 성분을 제거하여 사용자에게 효과적인 사용자 경험을 극대화할 수 있는 촉각효과를 제공하도록 한 음향효과를 이용한 촉각효과 재생 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 주파수 성분, 임계치, 액추에이터의 출력주파수를 포함하는 적응형 오디오 필터를 미리 설정하여 출력중인 오디오 주파수 성분에 따른 주파수 필터링 과정의 복잡성을 해결하도록 한 음향효과를 이용한 촉각효과 재생 장치 및 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 장치는, 복수의 적응형 오디오 필터를 저장하는 오디오 필터 저장부; 애플리케이션, 사용자 입력 이벤트에 대응하여 전자기기에서 출력되는 음향 효과를 취득하는 취득부; 취득부에서 취득한 음향 효과의 주파수 성분을 분석하는 분석부; 애플리케이션 및 사용자 입력 이벤트를 근거로 오디오 필터 저장부로부터 적응형 오디오 필터를 검출하고, 검출한 적응형 오디오 필터 및 분석부에서 분석된 주파수 성분을 근거로 음향 효과에 대응되는 촉각 출력 메시지를 생성하는 메시지 구성부; 및 메시지 구성부로부터 전송받은 촉각 출력 메시지를 근거로 촉각효과를 출력하는 촉각 출력부를 포함하고, 적응형 오디오 필터는 애플리케이션 및 사용자 입력 이벤트에 따라 동적으로 변경된다.
오디오 필터 저장부는, 애플리케이션 이름과 사용자 입력 이벤트 및 복수의 주파수 특성을 저장하고, 주파수 특성은 주파수 성분, 강도 임계치, 출력주파수를 포함한다.
취득부는, 음원 샘플링 속도를 근거로 전자기기에서 출력되는 음향 효과로부터 오디오 블록들을 취득하고, 취득한 오디오 블록들을 애플리케이션 및 사용자 입력 이벤트와 함께 분석부에게로 전송한다.
취득부는, 전자기기의 성능 및 전자기기에서 동작하는 응용의 특성을 근거로 음원 샘플링 속도를 설정하거나, 사용자로부터 입력되는 음원 샘플링 속도를 음원 샘플링 속도로 설정한다.
분석부는, 취득부로부터 전송받은 오디오 블록들 각각을 고속 푸리에 변환하여 음향 효과의 주파수 성분을 분석하고, 분석된 주파수 성분을 취득부로부터 전송받은 애플리케이션 및 사용자 입력 이벤트와 함께 메시지 구성부에게로 전송한다.
메시지 구성부는, 분석부로부터 전송받은 주파수 성분 중에서 검출한 적응형 오디오 필터에 포함된 임계치 이상의 강도를 갖는 주파수 성분을 검출하고, 검출한 적응형 오디오 필터로부터 검출한 주파수 성분에 해당하는 출력주파수를 검출하고, 검출한 출력주파수를 포함하는 촉각 출력 메시지를 생성한다.
애플리케이션 및 사용자 입력 이벤트에 따라 발생하는 음향 효과를 근거로 적응형 오디오 필터를 생성하여 오디오 필터 저장부에 저장하는 촉각 모드 설정부를 더 포함한다.
촉각 모드 설정부는, 전자기기에서 실행되는 애플리케이션 및 사용자 입력 이벤트에 따라 출력되는 음향 효과들을 애플리케이션 및 사용자 입력 이벤트를 키로 하여 수집하는 수집모듈; 수집된 음향 효과들을 시간, 오디오 주파수 대역, 주파수 대역별 강도를 특징벡터로 하여 애플리케이션 및 사용자 입력 이벤트에 따른 음향 효과 데이터로 분류하는 분석모듈; 및 분류된 음향 효과 데이터를 근거로 적응형 오디오 필터를 생성하는 생성모듈을 포함한다.
생성모듈은, 애플리케이션 이름과 사용자 입력 이벤트 및 복수의 주파수 특성을 포함하는 적응형 오디오 필터를 생성하고, 주파수 특성은 주파수 성분, 강도 임계치, 출력주파수를 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 방법은, 취득부에 의해, 애플리케이션, 사용자 입력 이벤트에 대응하여 전자기기에서 출력되는 음향 효과를 취득하는 단계; 분석부에 의해, 취득한 음향 효과의 주파수 성분을 분석하는 단계; 메시지 구성부에 의해, 애플리케이션 및 사용자 입력 이벤트를 근거로 적응형 오디오 필터를 검출하는 단계; 메시지 구성부에 의해, 검출한 적응형 오디오 필터 및 분석된 주파수 성분을 근거로 음향 효과에 대응되는 촉각 출력 메시지를 생성하는 단계; 및 촉각 출력부에 의해, 생성된 촉각 출력 메시지를 근거로 촉각효과를 출력하는 단계를 포함하고, 적응형 오디오 필터는 애플리케이션 및 사용자 입력 이벤트에 따라 동적으로 변경된다.
음향 효과를 취득하는 단계는, 취득부에 의해, 음원 샘플링 속도를 설정하는 단계; 취득부에 의해, 설정된 음원 샘플링 속도를 근거로 전자기기에서 출력되는 음향 효과로부터 오디오 블록들을 취득하는 단계; 및 취득부에 의해, 애플리케이션 및 사용자 입력 이벤트와 함께 취득한 오디오 블록들을 분석부에게로 전송하는 단계를 포함한다.
음원 샘플링 속도를 설정하는 단계에서는, 취득부에 의해, 전자기기의 성능 및 전자기기에서 동작하는 응용의 특성을 근거로 음원 샘플링 속도를 설정하거나, 사용자로부터 입력되는 음원 샘플링 속도를 음원 샘플링 속도로 설정한다.
주파수 성분을 분석하는 단계는, 분석부에 의해, 취득부로부터 전송받은 오디오 블록들 각각을 고속 푸리에 변환하여 음향 효과의 주파수 성분을 분석하는 단계; 및 분석부에 의해, 분석한 주파수 성분을 취득부로부터 전송받은 애플리케이션 및 사용자 입력 이벤트와 함께 메시지 구성부에게로 전송하는 단계를 포함한다.
촉각 출력 메시지를 생성하는 단계에서는, 메시지 구성부에 의해, 주파수 성분을 분석하는 단계의 분석 결과인 주파수 성분 중에서 검출한 적응형 오디오 필터에 포함된 임계치 이상의 강도를 갖는 주파수 성분을 검출하는 단계; 메시지 구성부에 의해, 검출한 주파수 성분에 해당하는 출력주파수를 검출한 적응형 오디오 필터로부터 검출하는 단계; 및 메시지 구성부에 의해, 검출한 출력주파수를 포함하는 촉각 출력 메시지를 생성하는 단계를 포함한다.
촉각 모드 설정부에 의해, 애플리케이션 및 사용자 입력 이벤트에 따라 발생하는 음향 효과를 근거로 적응형 오디오 필터를 생성하는 단계를 포함한다.
적응형 오디오 필터를 생성하는 단계는, 촉각 모드 설정부에 의해, 전자기기에서 실행되는 애플리케이션 및 사용자 입력 이벤트에 따라 출력되는 음향 효과들을 애플리케이션 및 사용자 입력 이벤트를 키로 하여 수집하는 단계; 촉각 모드 설정부에 의해, 수집된 음향 효과들을 애플리케이션 및 사용자 입력 이벤트에 따른 음향 효과 데이터로 분류하는 단계; 및 촉각 모드 설정부에 의해, 분류된 음향 효과 데이터를 근거로 적응형 오디오 필터를 생성하는 단계를 포함한다.
애플리케이션 및 사용자 입력 이벤트를 키로 하여 수집하는 단계에서는, 촉각 모드 설정부에 의해, 설정 시간 동안 애플리케이션 및 사용자 입력 이벤트에 따라 출력되는 음향 효과들을 수집한다.
음향 효과 데이터로 분류하는 단계에서는, 촉각 모드 설정부에 의해, 시간, 오디오 주파수 대역, 주파수 대역별 강도를 특징벡터로 하여 음향 효과들을 음향 효과 데이터로 분류한다.
적응형 오디오 필터를 생성하는 단계는, 생성모듈에 의해, 애플리케이션 이름과 사용자 입력 이벤트 및 복수의 주파수 특성을 포함하는 적응형 오디오 필터를 생성하고, 주파수 특성은 주파수 성분, 강도 임계치, 출력주파수를 포함한다.
촉각 모드 설정부에 의해, 생성된 적응형 오디오 필터를 오디오 필터 저장부에 저장하는 단계를 더 포함한다.
본 발명에 의하면, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 샘플링을 통해 취득한 오디오 블록들을 고속 푸리에 변환하여 주파수 성분들을 검출하고, 기저장된 적응형 오디오 필터를 근거로 검출된 주파수 성분 중에서 촉각효과 제공이 불필요한 성분을 제거함으로써, 잡음, 배경음악 등과 같이 촉각효과 제공이 의미없는 주파수 성분을 필터링하여 촉각 피드백으로 인한 사용자 경험을 극대화할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 주파수 성분, 임계치, 액추에이터의 출력주파수를 포함하는 적응형 오디오 필터를 저장하고 이를 근거로 주파수 성분을 필터링함으로써, 출력중인 오디오 주파수 성분에 따른 주파수 필터링 과정의 복잡성을 해결할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 오디오 특성에 따라 효과적인 적응형 오디오 필터를 갖도록 오디오 필터 저장부를 구성하고, 전자기기의 응용에 따라 사용자가 선택적으로 적응형 오디오 필터를 설정하는 과정을 두어, 사용자 경험을 향상시킬 수 있는 음향 효과를 사용자가 선택하게 하여 전, 배경 음향 효과를 손쉽게 분리할 수 있을 뿐 아니라, 특정 음향 효과에 대해서도 오디오를 촉각 피드백으로 손쉽게 변환할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 사용자에게 전자기기의 애플리케이션에 따라 서로 다른 촉각 효과를 제공하기 위하여, 일반적으로 오디오 필터를 사용자가 선택했던 불편함을 애플리케이션, 입력이벤트 및 음향 효과에 따라 자동적으로 오디오 필터를 변경하여, 사용자 간섭 없이 임의의 음향 효과에 효과적으로 반응하는 촉각 피드백을 제공할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 특정 주파수 밴드와 주파수 성분의 에너지 임계치로 고정된 종래의 오디오 필터가 아니라, 현재 구동중인 애플리케이션 및 사용자 입력 이벤트와 음향 효과를 사용하여 의미 있는 음향 효과의 주파수 성분, 주파수 성분의 에너지 임계치 등의 오디오 필터가 동적으로 변경되는 적응형 오디오 필터를 이용하여 촉각효과를 제공함으로써, 애플리케이션과 사용자 입력 이벤트에 따라 오디오 필터를 동적으로 변경하여 의미있는 음향 효과를 효과적으로 필터링할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 장치를 설명하기 위한 블록도.
도 2는 도 1의 촉각 모드 설정부를 설명하기 위한 도면.
도 3은 도 2의 분석모듈을 설명하기 위한 도면.
도 4는 도 2의 생성모듈을 설명하기 위한 도면.
도 5는 도 1의 취득부를 설명하기 위한 도면.
도 6은 도 1의 분석부를 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 방법을 설명하기 위한 흐름도.
도 8은 도 7의 적응형 오디오 필터 생성 단계를 설명하기 위한 흐름도.
도 9는 도 7의 적응형 오디오 필터를 이용한 촉각효과 재생 단계를 설명하기 위한 흐름도.
도 10은 도 9의 음향 효과 수집 단계를 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
먼저, 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 장치 및 방법의 특징을 설명하면 아래와 같다.
종래의 촉각효과 재생 장치는 미리 설정된 오디오 필터를 이용하여 전자기기에서 발생하는 음향 효과에 대한 촉각효과를 제공한다. 이때, 종래의 촉각효과 재생 장치는 미리 수집된 주파수 대역별 특성을 근거로 미리 오디오 필터를 생성하기 때문에 특정 애플리케이션의 음향 효과에만 사용될 수 있다. 따라서, 종래의 촉각효과 재생 장치는 애플리케이션이 변경될 경우 오디오 필터를 재구성해야 한다.
전자기기가 제공하는 애플리케이션이나 게임의 다양성을 고려할 때, 일반적인 음향 효과에 대해서 효과적으로 촉각효과를 출력하기 위해서는 임의의 음향 효과에 대한 오디오 필터를 구성할 수 있어야 한다.
일반적으로 다수의 전자기기에서 사용자 입력에 대한 피드백으로 음향 효과가 많이 사용되며, 특히 게임의 경우 버튼 입력, 조이스틱 입력 또는 이에 해당하는 터치 스크린 입력 등 게임을 제어하기 위해 빈번히 사용된다. 이러한 사용자 입력 이벤트는 실제 게임 캐릭터를 제어하기 위해 사용되는데, 사용자가 게임 캐릭터를 제어할 때, 예를 들어, 이동, 방향전환, 옵션선택, 옵션사용 등의 입력 이벤트 발생시에 일반적으로 음향 효과가 동시에 사용된다.
이에 본 발명에서는 사용자가 전자기기를 사용하는 도중에 빈번히 일어나는 터치 또는 버튼 입력과 같은 사용자 입력 이벤트를 기준으로 설정 시간 동안에 발생하는 음향 효과의 주파수 분포 특성을 분석하여 임의의 음향 효과에 대한 오디오 필터를 구성(변경, 갱신)하는 것을 특징으로 한다.
이하, 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 장치를 설명하기 위한 블록도이다. 도 2는 도 1의 촉각 모드 설정부를 설명하기 위한 도면이고, 도 3은 도 2의 분석모듈을 설명하기 위한 도면이고, 도 4는 도 2의 생성모듈을 설명하기 위한 도면. 도 5는 도 1의 취득부를 설명하기 위한 도면이고, 도 6은 도 1의 분석부를 설명하기 위한 도면이다.
음향효과를 이용한 촉각효과 재생 장치(100)는 전자기기에 모듈 형태로 내장되어, 전자기기에서 출력하는 오디오에 대한 촉각효과 출력을 제어한다. 이때, 음향효과를 이용한 촉각효과 재생 장치(100)는 사용자에 의해 실행되는 애플리케이션, 또는 사용자 입력 이벤트에 따라 발생하는 음향 효과를 이용하여 생성한 적응형 오디오 필터를 근거로 촉각효과 출력을 제어한다. 여기서, 적응형 오디오 필터는 특정 주파수 밴드와 주파수 성분의 에너지 임계치로 고정된 오디오 필터가 아니라, 현재 구동중인 애플리케이션 및 사용자 입력 이벤트와 음향 효과를 사용하여 의미있는 음향 효과의 주파수 성분, 주파수 성분의 에너지 임계치 등이 동적으로 변경하는 필터이다.
이를 위해, 도 1에 도시된 바와 같이, 음향효과를 이용한 촉각효과 재생 장치(100)는 촉각 모드 설정부(110), 오디오 필터 저장부(120), 오디오 출력부(130), 취득부(140), 분석부(150), 메시지 구성부(160), 촉각 출력부(170)를 포함하여 구성된다.
촉각 모드 설정부(110)는 오디오 출력부(130)에서 출력되는 음향 효과를 근거로 적응형 오디오 필터를 생성한다. 즉, 촉각 모드 설정부(110)는 사용자에 의해 실행되는 애플리케이션, 또는 사용자 입력 이벤트에 따라 발생하는 음향 효과를 이용하여 적응형 오디오 필터를 생성한다. 여기서, 적응형 오디오 필터는 현재 구동중인 애플리케이션 및 사용자 입력 이벤트와 음향 효과를 사용하여 의미있는 음향 효과의 주파수 성분, 주파수 성분의 에너지 임계치 등이 동적으로 변경하는 필터이다.
이를 위해, 도 2에 도시된 바와 같이, 촉각 모드 설정부(110)는 수집모듈(112), 분석모듈(114), 생성모듈(116)을 포함하여 구성된다.
수집모듈(112)을 사용자의 조작에 따라 전자기기에서 발생하는 음향 효과를 수집한다. 즉, 수집모듈(112)은 사용자에 의해 전자기기에서 실행되는 애플리케이션, 사용자 입력 이벤트에 따라 오디오 출력부(130)에서 출력되는 음향 효과를 설정 시간 동안 수집한다. 여기서, 수집모듈(112)은 전자기기, 애플리케이션, 사용자 이벤트에 따라 다르게 설정시간을 설정할 수 있으며, 애플리케이션, 사용자 입력 이벤트를 키로 하여 음향 효과를 수집한다.
분석모듈(114)은 수집된 음향 효과의 주파수 특성을 근거로 음향 효과들을 음향 효과 데이터로 분류한다. 즉, 분석모듈(114)은 수집된 음향 효과들의 음향 효과의 시간, 오디오 주파수 대역, 주파수 대역별 강도를 특징벡터(feature vector)로 하여 음향 효과 데이터로 분류한다. 이때, 도 3에 도시된 바와 같이, 분석모듈(114)은 수집된 음향 효과들을 애플리케이션, 사용자 입력 이벤트, 음향 효과 시간, 음향 효과의 FFT 데이터를 포함하는 음향 효과 데이터로 분류한다. 여기서, 분석모듈(114)은 사용자가 게임을 즐기는 동안 수집모듈(112)에서 수집된 음향 효과를 실시간으로 분류하여 애플리케이션-사용자 입력 이벤트에 따른 음향 효과를 누적하고, 같은 애플리케이션-사용자 입력 이벤트라도 주된 주파수 성분이나 대역별 강도에 따라 서로 다른 음향 효과 데이터로 분류할 수 있다
생성모듈(116)은 분석모듈(114)에서 분류된 음향 효과 데이터를 근거로 적응형 오디오 필터를 생성한다. 즉, 생성모듈(116)은 애플리케이션-사용자 입력 이벤트에 따라 분류된 음향 효과 데이터들의 주파수 성분을 근거로 해당 음향 효과를 검출할 수 있는 적응형 오디오 필터를 생성한다.
이때, 도 4에 도시된 바와 같이, 생성모듈(116)은 애플리케이션, 사용자 입력 이벤트, 주파수 성분n, 강도 임계치n, 출력주파수n을 포함하는 적응형 오디오 필터를 생성한다. 즉, 생성모듈(116)은 동일 애플리케이션 및 사용자 입력 이벤트에서도 다양한 주파수 성분이 발생할 수 있기 때문에 하나의 애플리케이션 및 사용자 입력 이벤트에 복수의 주파수 성분, 복수의 강도 임계치, 복수의 출력주파수를 포함하는 적응형 오디오 필터를 생성한다. 여기서, 강도 임계치n은 주파수 성분n에 해당하는 주파수 대역의 오디오 출력 크기(강도)의 임계치를 의미하고, 출력주파수는 촉각효과를 제공하는 액추에이터의 출력주파수를 의미한다.
여기서, 생성모듈(116)은 주파수 대역별 특성(즉, 주파수 성분, 강도 임계치)을 이용하여 출력주파수를 설정한다. 즉, 생성모듈(116)은 주파수 대역별 특성을 근거로 촉각 효과를 제공하기 위한 액추에이터의 출력주파수를 설정한다. 이를 통해, 생성모듈(116)은 오디오 데이터별(즉, 음향 효과별)로 나타나는 주파수 대역별 특성을 이용하여 촉각효과 정보(즉, 출력주파수)를 설정한 적응형 오디오 필터를 오디오 필터 저장부(120)에 저장함으로써, 배경 음악 등 다른 음향 효과와 손쉽게 구별하고, 의도한 음향 효과에 대해 선택적으로 촉각효과를 생성할 수 있도록 한다.
오디오 필터 저장부(120)는 촉각 모드 설정부(110)에서 생성된 하나 이상의 적응형 오디오 필터를 저장한다. 즉, 오디오 필터 저장부(120)는 애플리케이션, 사용자 입력 이벤트, 주파수 성분n, 강도 임계치n, 출력주파수n을 포함하는 적응형 오디오 필터를 촉각 모드 설정부(110)의 생성모듈(116)로부터 수신하여 저장한다.
오디오 필터 저장부(120)는 메시지 구성부(160)로부터의 요청에 따라 저장된 적응형 오디오 필터를 검출한다. 즉, 오디오 필터 저장부(120)는 메시지 구성부(160)로부터 애플리케이션 및 사용자 입력 이벤트를 포함하는 요청신호를 수신한다. 오디오 필터 저장부(120)는 저장된 복수의 적응형 오디오 필터 중에서 요청신호에 포함된 애플리케이션 및 사용자 입력 이벤트를 키로하는 적응형 오디오 필터를 검출한다. 오디오 필터 저장부(120)는 검출한 적응형 오디오 필터를 메시지 구성부(160)에게로 전송한다. 이때, 오디오 필터 저장부(120)는 하나 이상의 적응형 오디오 필터를 검출하여 메시지 구성부(160)에게로 전송한다.
오디오 출력부(130)는 전자기기에서 동작하는 응용의 기능에 따라 오디오 데이터(즉, 음원, 음향 효과)를 출력한다. 즉, 오디오 출력부(130)는 전자기기에서 실행되는 소프트웨어, 펌웨어 등에 의해 오디오 데이터를 스피커를 통해 출력한다. 여기서, 도 1에서는 오디오 출력부(130)가 음향효과를 이용한 촉각효과 재생 장치(100)에 포함된 것으로 도시하였으나, 전자기기의 내장된 오디오 출력모듈로 구성될 수 있다.
취득부(140)는 애플리케이션 및 사용자 입력 이벤트가 발생함에 따라 오디오 출력부(130)에서 출력되는 음향 효과를 취득한다. 이때, 취득부(140)는 애플리케이션 및 사용자 입력 이벤트를 키로 하여 음향 효과를 취득한다.
여기서, 취득부(140)는 음원 샘플링 속도(즉, 설정시간 단위)를 근거로 오디오 출력부(130)에서 출력되는 음향 효과로부터 복수의 오디오 블록을 취득한다. 즉, 도 5에 도시된 바와 같이, 취득부(140)는 소정시간 단위의 음향 효과를 음원 샘플링 속도(즉, 설정시간 단위)로 구분하여 복수의 오디오 블록(즉, 제1 오디오 블록 내지 제n 오디오 블록)을 취득한다.
이때, 오디오 샘플 획득을 위한 샘플링 속도(sampling rate = k/sec)는 최종적으로 출력하는 촉각 출력의 품질과 관계가 있다. 즉, 샘플링 속도가 높을수록, 촉각 출력 시에 시간 지연이 발생하지 않아 촉각 출력 품질을 높일 수 있다. 반면, 샘플링 속도가 낮을수록, 촉각 출력 시 현재 출력중인 오디오와 시간 지연이 발생된 촉각을 출력함으로써 촉각 출력 품질이 낮아진다.
그러나, 샘플링 속도가 증가할수록 오디오 샘플 취득 후에 전자기기가 처리해야 할 일련의 작업량도 증가하게 되므로, 전자기기의 계산 부하가 증가한다. 따라서, 취득부(140)는 전자기기의 성능과 전자기기에서 동작하는 응용의 특성에 따라 음원 샘플링 속도를 자동설정한다. 물론, 취득부(140)는 사용자의 입력을 통해 수동으로 음원 샘플링 속도를 설정할 수도 있다.
취득부(140)는 애플리케이션 및 사용자 입력 이벤트를 키로 하여 취득한 복수의 오디오 블록을 분석부(150)에게로 전송한다. 이때, 취득부(140)는 음원 샘플링 속도에 따라 취득한 오디오 블록을 취득 즉시 분석부(150)에게로 전송한다. 물론, 취득부(140)는 소정시간 단위로 취득한 오디오 블록을 분석부(150)에게로 전송할 수도 있다.
분석부(150)는 취득부(140)로부터 전송받은 복수의 오디오 블록들 각각의 주파수 성분을 분석한다. 이때, 분석부(150)는 각각의 오디오 블록을 고속 푸리에 변환(FFT)하여 해당 오디오 블록의 주파수 성분을 분석한다. 예를 들면, 도 6에서는 분석부(150)에 의해 오디오 블록으로부터 50㎐, 100㎐, 150㎐, 200㎐, 400㎐, 500㎐ 부근의 주파수가 검출된 예를 도시한다.
분석부(150)는 오디오 블록으로부터 분석된 하나 이상의 주파수 성분을 메시지 구성부(160)에게로 전송한다. 이때, 분석부(150)는 오디오 블록과 함께 수신한 애플리케이션 및 사용자 입력 이벤트를 메시지 구성부(160)에게로 전송한다.
메시지 구성부(160)는 분석부(150)로부터 키(즉, 애플리케이션 및 사용자 입력 이벤트)를 근거로 오디오 필터 저장부(120)로부터 적응형 오디오 필터를 검출한다. 즉, 메시지 구성부(160)는 적응형 오디오 필터의 검출을 위해 분석부(150)로부터 전송받은 애플리케이션 및 사용자 입력 이벤트를 오디오 필터 저장부(120)로 전송하여 적응형 오디오 필터의 검출을 요청한다. 메시지 구성부(160)는 오디오 필터 저장부(120)로부터 애플리케이션 및 사용자 입력 이벤트를 키로 하는 적응형 오디오 필터를 수신한다.
메시지 구성부(160)는 검출한 적응형 오디오 필터 및 분석부(150)로부터 전송받은 주파수 성분을 근거로 촉각 출력 메시지를 생성한다. 즉, 메시지 구성부(160)는 전송받은 적응형 오디오 필터로부터 주파수 성분에 해당하는 출력주파수를 검출한다. 이때, 메시지 구성부(160)는 하나 이상의 주파수 성분에 해당하는 출력주파수를 검출한다.
주파수 성분은 오디오 데이터의 특성에 따라 다양하게 나타날 수 있다. 검출되는 모든 주파수 성분에 대해 촉각 출력할 경우, 현재 출력중인 모든 오디오 데이터에 대응되는 촉각효과(즉, 액추에이터 구동을 통한 촉각효과)가 사용자에게 제공된다. 전자기기의 응용을 사용하는 사용자의 사용자 경험을 극대화하기 위해서는 출력중인 오디오 데이터 전체에 대응되는 촉각효과를 출력하기보다, 출력중인 오디오 데이터 중에서 촉각 피드백이 효과적인 일부 오디오 데이터에 대해서만 촉각 출력하는 것이 효과적이다. 따라서, 주파수 성분이 검출되더라도 적응형 오디오 필터를 근거로 잡음이나 의미없는 주파수 성분을 필터링하여 의미있는 주파수 성분에 대해서만 사용자에게 촉각효과를 출력하는 것이 바람직하다.
이를 위해, 메시지 구성부(160)는 분석부(150)로부터 전송받은 주파수 성분 중에서 기검출한 적응형 오디오 필터에 포함된 임계치 이상의 강도를 갖는 주파수 성분들을 검출한다. 메시지 구성부(160)는 기검출한 주파수 성분에 해당하는 출력주파수를 기검출한 적응형 오디오 필터로부터 검출한다. 메시지 구성부(160)는 검출한 출력주파수를 포함하는 촉각 출력 메시지를 생성한다. 메시지 구성부(160)는 기생성한 촉각 출력 메시지를 생성하여 촉각 출력부(170)에게로 전송한다.
촉각 출력부(170)는 메시지 구성부(160)로부터 전송받은 촉각 출력 메시지를 근거로 액추에이터를 구동하여 촉각효과를 출력한다. 즉, 촉각 출력부(170)는 전송받은 촉각 출력 메시지에 포함된 출력주파수에 해당하는 출력주파수로 액추에이터를 구동시켜 촉각효과를 출력한다.
이하, 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 7은 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 방법을 설명하기 위한 흐름도이다. 도 8은 도 7의 적응형 오디오 필터 생성 단계를 설명하기 위한 흐름도이고, 도 9는 도 7의 적응형 오디오 필터를 이용한 촉각효과 재생 단계를 설명하기 위한 흐름도이다. 도 10은 도 9의 음향 효과 수집 단계를 설명하기 위한 흐름도이다.
도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 음향효과를 이용한 촉각효과 재생 방법은 크게 적응형 오디오 필터 생성 단계(S100)와, 적응형 오디오 필터를 이용한 촉각효과 재생 단계(S200)로 구분할 수 있다.
적응형 오디오 필터 생성 단계(S100)에서는 사용자의 조작에 의해 전자기기에서 발생하는 음향 효과를 근거로 적응형 오디오 필터를 생성한다. 이를 첨부된 도 8을 참조하여 더욱 상세하게 설명하면 아래와 같다.
애플리케이션 구동 또는 사용자 입력 이벤트 발생시(S110; 예), 촉각 모드 설정부(110)는 애플리케이션 및 사용자 입력 이벤트에 의해 출력되는 음향 효과를 수집한다(S130). 즉, 촉각 모드 설정부(110)는 사용자에 의해 전자기기에서 실행되는 애플리케이션, 사용자 입력 이벤트에 따라 오디오 출력부(130)에서 출력되는 음향 효과를 설정 시간 동안 수집한다. 이때, 촉각 모드 설정부(110)는 애플리케이션, 사용자 입력 이벤트를 키로 하여 음향 효과를 수집한다.
촉각 모드 설정부(110)는 S130 단계에서 수집된 음향 효과를 음향 효과 데이터로 분류한다(S150). 즉, 촉각 모드 설정부(110)는 수집된 음향 효과의 주파수 특성을 근거로 음향 효과들을 음향 효과 데이터로 분류한다. 이때, 촉각 모드 설정부(110)는 수집된 음향 효과들의 음향 효과의 시간, 오디오 주파수 대역, 주파수 대역별 강도를 특징벡터(feature vector)로 하여 음향 효과 데이터로 분류한다. 여기서, 촉각 모드 설정부(110)는 수집된 음향 효과들을 애플리케이션, 사용자 입력 이벤트, 음향 효과 시간, 음향 효과의 FFT 데이터를 포함하는 음향 효과 데이터로 분류한다.
촉각 모드 설정부(110)는 분류된 음향 효과 데이터를 근거로 적응형 오디오 필터를 생성한다(S170). 즉, 촉각 모드 설정부(110)는 애플리케이션-사용자 입력 이벤트에 따라 분류된 음향 효과 데이터들의 주파수 성분을 근거로 해당 음향 효과를 검출할 수 있는 적응형 오디오 필터를 생성한다. 이때, 촉각 모드 설정부(110)는 애플리케이션, 사용자 입력 이벤트, 주파수 성분n, 강도 임계치n, 출력주파수n을 포함하는 적응형 오디오 필터를 생성한다. 여기서, 촉각 모드 설정부(110)는 동일 애플리케이션 및 사용자 입력 이벤트에서도 다양한 주파수 성분이 발생할 수 있기 때문에 하나의 애플리케이션 및 사용자 입력 이벤트에 복수의 주파수 성분, 복수의 강도 임계치, 복수의 출력주파수를 포함하는 적응형 오디오 필터를 생성한다. 촉각 모드 설정부(110)는 주파수 대역별 특성(즉, 주파수 성분, 강도 임계치)을 이용하여 출력주파수를 설정한다. 즉, 생성모듈(116)은 주파수 대역별 특성을 근거로 촉각 효과를 제공하기 위한 액추에이터의 출력주파수를 설정한다.
촉각 모드 설정부(110)는 기생성된 적응형 오디오 필터를 오디오 필터 저장부(120)에 저장한다(S190). 즉, 촉각 모드 설정부(110)는 기생성한 적응형 오디오 필터를 오디오 필터 저장부(120)에게로 전송한다. 오디오 필터 저장부(120)는 애플리케이션, 사용자 입력 이벤트, 주파수 성분n, 강도 임계치n, 출력주파수n을 포함하는 적응형 오디오 필터를 촉각 모드 설정부(110)의 생성모듈(116)로부터 수신하여 저장한다.
적응형 오디오 필터를 이용한 촉각효과 재생 단계(S200)에서는 S100 단계에서 생성한 적응형 오디오 필터를 이용하여 전자기기에서 발생하는 음향 효과 중에서 의미있는 음향 효과에 대응되는 촉각효과를 사용자에게 제공한다. 이를 첨부된 도 9 및 도 10을 참조하여 더욱 상세하게 설명하면 아래와 같다.
사용자의 조작에 의해 애플리케이션의 구동 또는 사용자 입력 이벤트가 발생하면(S210; 예), 오디오 출력부(130)는 애플리케이션의 구동 또는 사용자 입력 이벤트의 발생에 따른 음향 효과를 출력한다. 즉, 오디오 출력부(130)는 전자기기에서 실행되는 소프트웨어, 펌웨어 등에 의해 오디오 데이터를 스피커를 통해 출력한다.
이때, 취득부(140)는 애플리케이션 및 사용자 입력 이벤트에 의해 오디오 출력부(130)에서 출력되는 음향 효과를 수집한다(S220). 이때, 취득부(140)는 애플리케이션 및 사용자 입력 이벤트를 키로 하여 음향 효과를 취득한다. 이를 첨부된 도 10을 참조하여 더욱 상세하게 설명하면 아래와 같다.
취득부(140)는 음원 샘플링 속도(즉, 설정시간 단위)를 근거로 오디오 출력부(130)에서 출력되는 음향 효과로부터 복수의 오디오 블록을 취득한다(S222). 즉, 취득부(140)는 소정시간 단위의 음향 효과를 음원 샘플링 속도(즉, 설정시간 단위)로 구분하여 복수의 오디오 블록을 취득한다. 이때, 오디오 샘플 획득을 위한 샘플링 속도(sampling rate = k/sec)는 최종적으로 출력하는 촉각 출력의 품질과 관계가 있다. 즉, 샘플링 속도가 높을수록, 촉각 출력 시에 시간 지연이 발생하지 않아 촉각 출력 품질을 높일 수 있다. 반면, 샘플링 속도가 낮을수록, 촉각 출력 시 현재 출력중인 오디오와 시간 지연이 발생된 촉각을 출력함으로써 촉각 출력 품질이 낮아진다. 그러나, 샘플링 속도가 증가할수록 오디오 샘플 취득 후에 전자기기가 처리해야 할 일련의 작업량도 증가하게 되므로, 전자기기의 계산 부하가 증가한다. 따라서, 취득부(140)는 전자기기의 성능과 전자기기에서 동작하는 응용의 특성에 따라 음원 샘플링 속도를 자동설정한다. 물론, 취득부(140)는 사용자의 입력을 통해 수동으로 음원 샘플링 속도를 설정할 수도 있다.
취득부(140)는 애플리케이션 및 사용자 입력 이벤트를 키로 하여 취득한 복수의 오디오 블록을 분석부(150)에게로 전송한다(S224). 이때, 취득부(140)는 음원 샘플링 속도에 따라 취득한 오디오 블록을 취득 즉시 분석부(150)에게로 전송한다. 물론, 취득부(140)는 소정시간 단위로 취득한 오디오 블록을 분석부(150)에게로 전송할 수도 있다.
분석부(150)는 수집된 음향 효과의 주파수 성분을 분석한다(S230). 즉, 분석부(150)는 취득부(140)로부터 전송받은 각각의 오디오 블록을 고속 푸리에 변환(FFT)하여 해당 오디오 블록의 주파수 성분을 분석한다. 분석부(150)는 오디오 블록으로부터 분석된 하나 이상의 주파수 성분을 메시지 구성부(160)에게로 전송한다. 이때, 분석부(150)는 오디오 블록과 함께 수신한 애플리케이션 및 사용자 입력 이벤트를 메시지 구성부(160)에게로 전송한다.
메시지 구성부(160)는 오디오 필터 저장부(120)로부터 적응형 오디오 필터를 검출한다(S240). 즉, 메시지 구성부(160)는 분석부(150)로부터 수신한 키(즉, 애플리케이션 및 사용자 입력 이벤트)를 근거로 오디오 필터 저장부(120)로부터 적응형 오디오 필터를 검출한다. 이를 위해, 메시지 구성부(160)는 분석부(150)로부터 전송받은 애플리케이션 및 사용자 입력 이벤트를 오디오 필터 저장부(120)로 전송하여 적응형 오디오 필터의 검출을 요청한다. 오디오 필터 저장부(120)는 메시지 구성부(160)로부터 전송받은 애플리케이션 및 사용자 입력 이벤트에 해당하는 적응형 오디오 필터를 검출하여 메시지 구성부(160)에게로 전송한다.
메시지 구성부(160)는 검출한 적응형 오디오 필터 및 분석부(150)로부터 전송받은 주파수 성분을 근거로 촉각 출력 메시지를 생성한다(S250). 즉, 메시지 구성부(160)는 전송받은 적응형 오디오 필터로부터 주파수 성분에 해당하는 출력주파수를 검출한다. 이때, 메시지 구성부(160)는 하나 이상의 주파수 성분에 해당하는 출력주파수를 검출한다. 메시지 구성부(160)는 분석부(150)로부터 전송받은 주파수 성분 중에서 기검출한 적응형 오디오 필터에 포함된 임계치 이상의 강도를 갖는 주파수 성분들을 검출한다. 메시지 구성부(160)는 기검출한 주파수 성분에 해당하는 출력주파수를 기검출한 적응형 오디오 필터로부터 검출한다. 메시지 구성부(160)는 검출한 출력주파수를 포함하는 촉각 출력 메시지를 생성한다. 메시지 구성부(160)는 기생성한 촉각 출력 메시지를 생성하여 촉각 출력부(170)에게로 전송한다.
촉각 출력부(170)는 메시지 구성부(160)로부터 전송받은 촉각효과 메시지를 근거로 액추에이터를 구동하여 촉각효과를 출력한다(S260). 즉, 촉각 출력부(170)는 전송받은 촉각 출력 메시지에 포함된 출력주파수에 해당하는 출력주파수로 액추에이터를 구동시켜 촉각효과를 출력한다.
상술한 바와 같이, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 샘플링을 통해 취득한 오디오 블록들을 고속 푸리에 변환하여 주파수 성분들을 검출하고, 기저장된 적응형 오디오 필터를 근거로 검출된 주파수 성분 중에서 촉각효과 제공이 불필요한 성분을 제거함으로써, 잡음, 배경음악 등과 같이 촉각효과 제공이 의미없는 주파수 성분을 필터링하여 촉각 피드백으로 인한 사용자 경험을 극대화할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 주파수 성분, 임계치, 액추에이터의 출력주파수를 포함하는 적응형 오디오 필터를 저장하고 이를 근거로 주파수 성분을 필터링함으로써, 출력중인 오디오 주파수 성분에 따른 주파수 필터링 과정의 복잡성을 해결할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 오디오 특성에 따라 효과적인 적응형 오디오 필터를 갖도록 오디오 필터 저장부를 구성하고, 전자기기의 응용에 따라 사용자가 선택적으로 적응형 오디오 필터를 설정하는 과정을 두어, 사용자 경험을 향상시킬 수 있는 음향 효과를 사용자가 선택하게 하여 전, 배경 음향 효과를 손쉽게 분리할 수 있을 뿐 아니라, 특정 음향 효과에 대해서도 오디오를 촉각 피드백으로 손쉽게 변환할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 사용자에게 전자기기의 애플리케이션에 따라 서로 다른 촉각 효과를 제공하기 위하여, 일반적으로 오디오 필터를 사용자가 선택했던 불편함을 애플리케이션, 입력이벤트 및 음향 효과에 따라 자동적으로 오디오 필터를 변경하여, 사용자 간섭 없이 임의의 음향 효과에 효과적으로 반응하는 촉각 피드백을 제공할 수 있는 효과가 있다.
또한, 음향효과를 이용한 촉각효과 재생 장치 및 방법은 특정 주파수 밴드와 주파수 성분의 에너지 임계치로 고정된 종래의 오디오 필터가 아니라, 현재 구동중인 애플리케이션 및 사용자 입력 이벤트와 음향 효과를 사용하여 의미 있는 음향 효과의 주파수 성분, 주파수 성분의 에너지 임계치 등의 오디오 필터가 동적으로 변경되는 적응형 오디오 필터를 이용하여 촉각효과를 제공함으로써, 애플리케이션과 사용자 입력 이벤트에 따라 오디오 필터를 동적으로 변경하여 의미있는 음향 효과를 효과적으로 필터링할 수 있는 효과가 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 음향효과를 이용한 촉각효과 재생 장치
110: 촉각 모드 설정부 112: 수집모듈
114: 분석모듈 116: 생성모듈
120: 오디오 필터 저장부 130: 오디오 출력부
140: 취득부 150: 분석부
160: 메시지 구성부 170: 촉각 출력부

Claims (20)

  1. 복수의 적응형 오디오 필터를 저장하는 오디오 필터 저장부;
    애플리케이션, 사용자 입력 이벤트에 대응하여 전자기기에서 출력되는 음향 효과를 취득하는 취득부;
    상기 취득부에서 취득한 음향 효과의 주파수 성분을 분석하는 분석부;
    상기 애플리케이션 및 사용자 입력 이벤트를 근거로 상기 오디오 필터 저장부로부터 적응형 오디오 필터를 검출하고, 상기 검출한 적응형 오디오 필터 및 상기 분석부에서 분석된 주파수 성분을 근거로 상기 음향 효과에 대응되는 촉각 출력 메시지를 생성하는 메시지 구성부; 및
    상기 메시지 구성부로부터 전송받은 촉각 출력 메시지를 근거로 촉각효과를 출력하는 촉각 출력부를 포함하고,
    상기 적응형 오디오 필터는 애플리케이션 및 사용자 입력 이벤트에 따라 동적으로 변경되는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  2. 청구항 1에 있어서,
    상기 오디오 필터 저장부는,
    애플리케이션 이름과 사용자 입력 이벤트 및 복수의 주파수 특성을 저장하고, 상기 주파수 특성은 주파수 성분, 강도 임계치, 출력주파수를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  3. 청구항 1에 있어서,
    상기 취득부는,
    음원 샘플링 속도를 근거로 전자기기에서 출력되는 음향 효과로부터 오디오 블록들을 취득하고, 상기 취득한 오디오 블록들을 상기 애플리케이션 및 상기 사용자 입력 이벤트와 함께 상기 분석부에게로 전송하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  4. 청구항 3에 있어서,
    상기 취득부는,
    상기 전자기기의 성능 및 상기 전자기기에서 동작하는 응용의 특성을 근거로 음원 샘플링 속도를 설정하거나, 사용자로부터 입력되는 음원 샘플링 속도를 음원 샘플링 속도로 설정하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  5. 청구항 1에 있어서,
    상기 분석부는,
    상기 취득부로부터 전송받은 오디오 블록들 각각을 고속 푸리에 변환하여 상기 음향 효과의 주파수 성분을 분석하고, 상기 분석된 주파수 성분을 상기 취득부로부터 전송받은 애플리케이션 및 사용자 입력 이벤트와 함께 상기 메시지 구성부에게로 전송하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  6. 청구항 1에 있어서,
    상기 메시지 구성부는,
    상기 분석부로부터 전송받은 주파수 성분 중에서 상기 검출한 적응형 오디오 필터에 포함된 임계치 이상의 강도를 갖는 주파수 성분을 검출하고,
    상기 검출한 적응형 오디오 필터로부터 상기 검출한 주파수 성분에 해당하는 출력주파수를 검출하고,
    상기 검출한 출력주파수를 포함하는 촉각 출력 메시지를 생성하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  7. 청구항 1에 있어서,
    상기 애플리케이션 및 사용자 입력 이벤트에 따라 발생하는 음향 효과를 근거로 적응형 오디오 필터를 생성하여 상기 오디오 필터 저장부에 저장하는 촉각 모드 설정부를 더 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  8. 청구항 7에 있어서,
    상기 촉각 모드 설정부는,
    상기 전자기기에서 실행되는 애플리케이션 및 사용자 입력 이벤트에 따라 출력되는 음향 효과들을 상기 애플리케이션 및 사용자 입력 이벤트를 키로 하여 수집하는 수집모듈;
    상기 수집된 음향 효과들을 시간, 오디오 주파수 대역, 주파수 대역별 강도를 특징벡터로 하여 상기 애플리케이션 및 사용자 입력 이벤트에 따른 음향 효과 데이터로 분류하는 분석모듈; 및
    상기 분류된 음향 효과 데이터를 근거로 적응형 오디오 필터를 생성하는 생성모듈을 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  9. 청구항 8에 있어서,
    상기 생성모듈은,
    애플리케이션 이름과 사용자 입력 이벤트 및 복수의 주파수 특성을 포함하는 적응형 오디오 필터를 생성하고,
    상기 주파수 특성은 주파수 성분, 강도 임계치, 출력주파수를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 장치.
  10. 취득부에 의해, 애플리케이션, 사용자 입력 이벤트에 대응하여 전자기기에서 출력되는 음향 효과를 취득하는 단계;
    분석부에 의해, 상기 취득한 음향 효과의 주파수 성분을 분석하는 단계;
    메시지 구성부에 의해, 상기 애플리케이션 및 사용자 입력 이벤트를 근거로 적응형 오디오 필터를 검출하는 단계;
    상기 메시지 구성부에 의해, 상기 검출한 적응형 오디오 필터 및 상기 분석된 주파수 성분을 근거로 상기 음향 효과에 대응되는 촉각 출력 메시지를 생성하는 단계; 및
    촉각 출력부에 의해, 상기 생성된 촉각 출력 메시지를 근거로 촉각효과를 출력하는 단계를 포함하고,
    상기 적응형 오디오 필터는 애플리케이션 및 사용자 입력 이벤트에 따라 동적으로 변경되는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  11. 청구항 10에 있어서,
    상기 음향 효과를 취득하는 단계는,
    상기 취득부에 의해, 음원 샘플링 속도를 설정하는 단계;
    상기 취득부에 의해, 상기 설정된 음원 샘플링 속도를 근거로 전자기기에서 출력되는 음향 효과로부터 오디오 블록들을 취득하는 단계; 및
    상기 취득부에 의해, 상기 애플리케이션 및 상기 사용자 입력 이벤트와 함께 상기 취득한 오디오 블록들을 상기 분석부에게로 전송하는 단계를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  12. 청구항 11에 있어서,
    상기 음원 샘플링 속도를 설정하는 단계에서는,
    상기 취득부에 의해, 상기 전자기기의 성능 및 상기 전자기기에서 동작하는 응용의 특성을 근거로 음원 샘플링 속도를 설정하거나, 사용자로부터 입력되는 음원 샘플링 속도를 음원 샘플링 속도로 설정하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  13. 청구항 10에 있어서,
    상기 주파수 성분을 분석하는 단계는,
    상기 분석부에 의해, 상기 취득부로부터 전송받은 오디오 블록들 각각을 고속 푸리에 변환하여 상기 음향 효과의 주파수 성분을 분석하는 단계; 및
    상기 분석부에 의해, 상기 분석한 주파수 성분을 상기 취득부로부터 전송받은 애플리케이션 및 사용자 입력 이벤트와 함께 상기 메시지 구성부에게로 전송하는 단계를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  14. 청구항 10에 있어서,
    상기 촉각 출력 메시지를 생성하는 단계에서는,
    상기 메시지 구성부에 의해, 상기 주파수 성분을 분석하는 단계의 분석 결과인 주파수 성분 중에서 상기 검출한 적응형 오디오 필터에 포함된 임계치 이상의 강도를 갖는 주파수 성분을 검출하는 단계;
    상기 메시지 구성부에 의해, 상기 검출한 주파수 성분에 해당하는 출력주파수를 상기 검출한 적응형 오디오 필터로부터 검출하는 단계; 및
    상기 메시지 구성부에 의해, 상기 검출한 출력주파수를 포함하는 촉각 출력 메시지를 생성하는 단계를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  15. 청구항 10에 있어서,
    촉각 모드 설정부에 의해, 상기 애플리케이션 및 사용자 입력 이벤트에 따라 발생하는 음향 효과를 근거로 적응형 오디오 필터를 생성하는 단계를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  16. 청구항 15에 있어서,
    상기 적응형 오디오 필터를 생성하는 단계는,
    상기 촉각 모드 설정부에 의해, 상기 전자기기에서 실행되는 애플리케이션 및 사용자 입력 이벤트에 따라 출력되는 음향 효과들을 상기 애플리케이션 및 사용자 입력 이벤트를 키로 하여 수집하는 단계;
    상기 촉각 모드 설정부에 의해, 상기 수집된 음향 효과들을 상기 애플리케이션 및 사용자 입력 이벤트에 따른 음향 효과 데이터로 분류하는 단계; 및
    상기 촉각 모드 설정부에 의해, 상기 분류된 음향 효과 데이터를 근거로 적응형 오디오 필터를 생성하는 단계를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  17. 청구항 16에 있어서,
    상기 애플리케이션 및 사용자 입력 이벤트를 키로 하여 수집하는 단계에서는,
    상기 촉각 모드 설정부에 의해, 설정 시간 동안 상기 애플리케이션 및 사용자 입력 이벤트에 따라 출력되는 음향 효과들을 수집하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  18. 청구항 16에 있어서,
    상기 음향 효과 데이터로 분류하는 단계에서는,
    상기 촉각 모드 설정부에 의해, 시간, 오디오 주파수 대역, 주파수 대역별 강도를 특징벡터로 하여 상기 음향 효과들을 음향 효과 데이터로 분류하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  19. 청구항 16에 있어서,
    상기 적응형 오디오 필터를 생성하는 단계는,
    상기 생성모듈에 의해, 애플리케이션 이름과 사용자 입력 이벤트 및 복수의 주파수 특성을 포함하는 적응형 오디오 필터를 생성하고,
    상기 주파수 특성은 주파수 성분, 강도 임계치, 출력주파수를 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
  20. 청구항 16에 있어서,
    상기 촉각 모드 설정부에 의해, 상기 생성된 적응형 오디오 필터를 오디오 필터 저장부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 음향효과를 이용한 촉각효과 재생 방법.
KR1020130032962A 2013-03-27 2013-03-27 음향효과를 이용한 촉각효과 재생 장치 및 방법 KR101666393B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130032962A KR101666393B1 (ko) 2013-03-27 2013-03-27 음향효과를 이용한 촉각효과 재생 장치 및 방법
US14/012,149 US20140292501A1 (en) 2013-03-27 2013-08-28 Apparatus and method for providing haptic effect using sound effect

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130032962A KR101666393B1 (ko) 2013-03-27 2013-03-27 음향효과를 이용한 촉각효과 재생 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140117958A true KR20140117958A (ko) 2014-10-08
KR101666393B1 KR101666393B1 (ko) 2016-10-14

Family

ID=51620225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130032962A KR101666393B1 (ko) 2013-03-27 2013-03-27 음향효과를 이용한 촉각효과 재생 장치 및 방법

Country Status (2)

Country Link
US (1) US20140292501A1 (ko)
KR (1) KR101666393B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170129651A (ko) * 2016-05-17 2017-11-27 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
KR20180062174A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
KR20230103210A (ko) * 2021-12-31 2023-07-07 공주대학교 산학협력단 반응형 햅틱 피드백 시스템 및 이를 이용한 자세교정, 재활 및 운동치료 시스템

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9024739B2 (en) * 2012-06-12 2015-05-05 Guardity Technologies, Inc. Horn input to in-vehicle devices and systems
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US10162416B2 (en) * 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9147328B2 (en) * 2013-11-04 2015-09-29 Disney Enterprises, Inc. Creating tactile content with sound
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US9913033B2 (en) 2014-05-30 2018-03-06 Apple Inc. Synchronization of independent output streams
US10186138B2 (en) 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
KR102096146B1 (ko) * 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US9967640B2 (en) 2015-08-20 2018-05-08 Bodyrocks Audio Incorporation Devices, systems, and methods for vibrationally sensing audio
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11139767B2 (en) * 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
KR102141889B1 (ko) 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
JP7287826B2 (ja) * 2019-04-22 2023-06-06 任天堂株式会社 音声処理プログラム、音声処理システム、音声処理装置、および音声処理方法
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
KR102591674B1 (ko) 2020-07-10 2023-10-23 한국전자통신연구원 음향 및 촉각 재생 장치
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032388B1 (en) * 2007-09-28 2011-10-04 Adobe Systems Incorporated Dynamic selection of supported audio sampling rates for playback
EP2659656B1 (en) * 2010-12-29 2018-07-18 Skype Dynamical adaptation of data encoding dependent on cpu load
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170129651A (ko) * 2016-05-17 2017-11-27 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US11281297B2 (en) 2016-05-17 2022-03-22 Ck Materials Lab Co., Ltd. Method of generating a tactile signal using a haptic device
KR20220130064A (ko) * 2016-05-17 2022-09-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US11662823B2 (en) 2016-05-17 2023-05-30 Ck Material Lab Co., Ltd. Method of generating a tactile signal using a haptic device
KR20180062174A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
KR20230103210A (ko) * 2021-12-31 2023-07-07 공주대학교 산학협력단 반응형 햅틱 피드백 시스템 및 이를 이용한 자세교정, 재활 및 운동치료 시스템

Also Published As

Publication number Publication date
US20140292501A1 (en) 2014-10-02
KR101666393B1 (ko) 2016-10-14

Similar Documents

Publication Publication Date Title
KR101666393B1 (ko) 음향효과를 이용한 촉각효과 재생 장치 및 방법
US10395488B2 (en) Systems and methods for generating haptic effects associated with an envelope in audio signals
EP2703951B1 (en) Sound to haptic effect conversion system using mapping
US9947188B2 (en) Systems and methods for generating haptic effects associated with audio signals
US10514762B2 (en) Information processing apparatus, information processing method, and program
US9891714B2 (en) Audio enhanced simulation of high bandwidth haptic effects
US20190221087A1 (en) Systems and Methods for Generating Haptic Effects Associated With Transitions in Audio Signals
CN104423707A (zh) 使用分段和组合的触觉转换系统
KR20200006002A (ko) 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들
CN106662915B (zh) 使用伪白噪声将控制信号嵌入音频信号中的方案
JP2023116488A (ja) 復号装置、復号方法、プログラム
JP2015170174A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110825257A (zh) 触觉输出系统
CN106228993A (zh) 一种消除噪声的方法和装置以及电子设备
CN112204504A (zh) 触觉数据生成装置及方法、触觉效果提供装置及方法
CN115487491A (zh) 音频消除系统和方法
CN110621384B (zh) 信息处理设备、信息处理方法和程序
CN106170113A (zh) 一种消除噪声的方法和装置以及电子设备
CN103809754B (zh) 一种信息处理方法及电子设备
CN220695824U (zh) 基于声音信号的震动反馈装置及游戏掌机
Karam Evaluating tactile-acoustic devices for enhanced driver awareness and safety: an exploration of tactile perception and response time to emergency vehicle sirens
CN116194882A (zh) 使用谱质心来创作沉浸式触觉体验的系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 4