KR101427993B1 - 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 - Google Patents

오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR101427993B1
KR101427993B1 KR1020120147362A KR20120147362A KR101427993B1 KR 101427993 B1 KR101427993 B1 KR 101427993B1 KR 1020120147362 A KR1020120147362 A KR 1020120147362A KR 20120147362 A KR20120147362 A KR 20120147362A KR 101427993 B1 KR101427993 B1 KR 101427993B1
Authority
KR
South Korea
Prior art keywords
haptic
audio signal
signal
cognitive
cognitive characteristic
Prior art date
Application number
KR1020120147362A
Other languages
English (en)
Other versions
KR20140079582A (ko
Inventor
최승문
이재봉
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020120147362A priority Critical patent/KR101427993B1/ko
Priority to US14/099,759 priority patent/US20140167940A1/en
Publication of KR20140079582A publication Critical patent/KR20140079582A/ko
Application granted granted Critical
Publication of KR101427993B1 publication Critical patent/KR101427993B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치가 개시된다. 오디오 신호의 햅틱 변환 방법은 제공된 오디오 신호로부터 오디오 신호의 인지적인 특성 정보를 획득하는 단계와, 획득한 오디오 신호의 인지적인 특성 정보에 상응하는 햅틱의 인지적인 특성 정보를 획득하는 단계 및 햅틱의 인지적인 특성 정보를 햅틱 신호로 변환하는 단계를 포함한다. 따라서, 오디오 신호를 직관적으로 햅틱 신호로 변환할 수 있고, 오디오 신호를 실시간으로 햅틱 신호로 변환할 수 있다.

Description

오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치{METHOD FOR CONVERTING AUDIO SIGNAL TO HAPTIC SIGNAL AND APPARATUS FOR PERFORMING THE SAME}
본 발명은 신호 처리 기술에 관한 것으로, 더욱 상세하게는 오디오 신호를 햅틱 신호로 변환하는 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치에 관한 것이다.
최근 게임, 영화, 음악 등 다양한 멀티미디어 콘텐츠에 햅틱(haptic) 기술이 널리 적용되고 있다. 이미 다양한 진동 이어폰 및 헤드폰, 홈씨어터 시스템(home theater system), 4D 영화관, 실감형 게임기, 스마트 폰 및 태블릿과 같은 제품을 통해 햅틱을 지원하는 시스템이 널리 사용되고 있다.
상기한 바와 같은 햅틱 지원 제품은 사용자가 멀티미디어 콘텐츠에 더욱 실감나게 몰입할 수 있는 환경을 제공해준다. 한편, 햅틱 효과를 제공하기 위해서는 콘텐츠에 맞는 효과를 전문가가 직접 제작하여야 한다. 따라서 많은 시간과 비용이 들게 되며, 이는 햅틱이 적용된 콘텐츠가 아직 부족한 현상의 주요 원인이 되고 있다.
이러한 문제를 해결하기 위한 방안으로서 햅틱 효과를 자동으로 생성해주는 방법들이 고안되었다. 예를 들어, 미국 공개 특허 제2011/0128132A1호(SYSTEM AND METHOD FOR AUTOMATICALLY PRODUCING HAPTIC EVENTS FROM A DIGITAL AUDIO SIGNAL)는 디지털 오디오 신호로부터 햅틱 이벤트를 자동으로 만들어주는 방법에 관한 기술을 개시하고 있고, 상기 특허는 이머젼(Immersion)사의 햅틱 솔루션의 구성요소를 포함하고 있으며, 이와 같은 구성요소들은 실제로 일부 스마트 단말기에 적용되어 시판되고 있다.
그러나, 상기 미국 공개 특허를 포함하는 기존의 햅틱 효과 생성 방법은 모두 오디오의 신호적인 특성만 고려하여 햅틱 효과를 만들어낸다는 점에서 한계가 있다. 즉, 기존의 햅틱 효과 생성 알고리즘들은 모두 저역 필터, 대역 필터, 스펙트럼 분석 등의 일반적인 신호처리 방법을 기반으로 하여 햅틱 효과를 생성하기 때문에 오디오 신호를 햅틱 신호로 변환하는 방법을 설계 하는 과정에서 결과로 생성될 햅틱 효과를 예측하기 힘든 단점이 있다.
따라서, 종래의 햅틱 신호 변환 방법은 햅틱 기술 분야의 전문가라 할지라도 최적의 햅틱 신호 변환 방법을 설계하기가 쉽지 않으며 특히 관련 전문지식이 부족한 사람들이 해당 기능을 직관적으로 이용하고 최적화하는데 많은 어려움이 있다
상술한 단점을 극복하기 위한 본 발명의 목적은 인간의 인지적 특성에 최적화된 햅틱 효과를 생성할 수 있는 오디오 신호의 햅틱 신호 변환 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 상기 오디오 신호의 햅틱 신호 변환 방법을 수행하는 오디오 신호의 햅틱 신호 변환 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 오디오 신호의 햅틱 신호 변환 방법은, 제공된 오디오 신호로부터 오디오 신호의 인지적인 특성 정보를 획득하는 단계와, 획득한 상기 오디오 신호의 인지적인 특성 정보에 상응하는 햅틱의 인지적인 특성 정보를 획득하는 단계 및 상기 햅틱의 인지적인 특성 정보를 햅틱 신호로 변환하는 단계를 포함한다.
여기서, 상기 오디오 신호의 인지적인 특성 정보를 획득하는 단계는, 오디오 신호의 세기, 거칠기, 부드러움, 어울림, 밝기 정보 중 적어도 하나의 정보를 획득할 수 있다.
여기서, 상기 햅틱의 인지적인 특성 정보를 획득하는 단계는, 오디오 신호의 인지적인 특성과 햅틱의 인지적 특성 사이의 관계를 정의하고, 정의된 관계를 이용하여 오디오 신호의 인지적 특성에 상응하는 햅틱의 인지적 특성 정보를 획득할 수 있다.
여기서, 상기 햅틱의 인지적인 특성 정보를 획득하는 단계는, 획득한 상기 오디오 신호의 인지적인 특성 정보에 상응하는 세기, 거칠기, 어울림, 높이 및 균일함 정보 중 적어도 하나의 정보를 획득할 수 있다.
여기서, 상기 햅틱의 인지적인 특성 정보를 획득하는 단계는, 햅틱의 인지적 특성 조절을 위한 파라미터를 사용자로부터 제공받기 위한 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 사용자로부터 제공받은 파라미터를 반영하여 상기 햅틱의 인지적 특성 정보를 획득할 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 오디오 신호의 햅틱 신호 변환 장치는, 탑재된 운영체제 내에 포함되며 소정의 어플리케이션으로부터 오디오 신호를 제공받는 오디오 서브시스템과, 상기 오디오 서브시스템으로부터 제공된 오디오 신호로부터 햅틱의 인지적 특성 정보를 추출하는 오디오-햅틱 변환 모듈 및 상기 햅틱의 인지적 특성 정보에 기초하여 햅틱 수단을 구동하는 햅틱 드라이버를 포함한다.
여기서, 상기 오디오-햅틱 변환 모듈은 상기 제공된 오디오 신호로부터 오디오 신호의 인지적 특성 정보를 획득한 후, 획득한 오디오 신호의 인지적 특성 정보를 상기 햅틱의 인지적 특성 정보로 변환할 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 오디오 신호의 햅틱 신호 변환 장치는, 실행중인 컨텐츠의 오디오 신호의 인지적 특성 정보에 기초하여 상기 오디오 신호를 햅틱 신호로 변환하는 처리부 및 상기 처리부로부터 제공된 햅틱 신호에 따라 구동되는 햅틱 수단을 포함한다.
여기서, 상기 처리부는 상기 실행중인 컨텐츠의 오디오 신호로부터 상기 오디오 신호의 인지적 특성 정보를 획득한 후, 획득한 상기 오디오 신호의 인지적 특성 정보를 햅틱의 인지적 특성 정보로 변환한 후, 상기 햅틱의 인지적 특성 정보를 상기 햅틱 신호로 변환할 수 있다.
여기서, 상기 처리부는 미리 정의된, 오디오 신호의 인지적 특성 정보와 햅틱의 인지적 특성 정보 사이의 관계를 이용하여 상기 오디오 신호의 인지적 특성 정보를 상기 햅틱의 인지적 특성 정보로 변환할 수 있다.
여기서, 상기 오디오 신호의 햅틱 변환 장치는 상기 햅틱의 인지적 특성 조절을 위한 파라미터를 사용자로부터 제공받기 위한 사용자 인터페이스를 표시하는 입출력부를 더 포함할 수 있다.
상술한 바와 같은 오디오 신호의 햅틱 변환 방법 및 이를 수행하는 장치에 따르면, 제공된 오디오 신호로부터 인지적인 특성을 먼저 추출한 후, 추출한 오디오 신호의 인지적 특성에 따라 햅틱 효과의 인지적 특성 정보를 획득하고 햅틱 효과의 인지적 특성 정보를 햅틱 신호로 변환한다.
따라서, 보다 직관적으로 오디오 신호를 햅틱 신호로 변환할 수 있고, 오디오 신호를 실시간으로 햅틱 신호로 변환함으로써 모바일 기기, 게임 단말기, 홈씨어터 및 4D 영화 시스템 등의 다양한 분야에 용이하게 적용이 가능하다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법을 설명하기 위한 개념도이다.
도 3은 오디오 신호의 인지적 특성 정보를 햅틱 효과의 인지적 특징 신호로 변환하는 과정을 설명하기 위한 개념도이다.
도 4는 오디오 신호의 햅틱 신호 변환 과정에서 사용자로부터 햅틱 조절값을 제공받기 위한 사용자 인터페이스 화면의 일 예를 나타낸다.
도 5은 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 장치의 구성을 나타내는 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 오디오 신호의 햅틱 신호 변환 장치의 구성을 나타내는 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 오디오 신호의 햅틱 신호 변환 장치의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법을 나타내는 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법을 설명하기 위한 개념도이다. 또한, 도 3은 오디오 신호의 인지적 특성 정보를 햅틱 효과의 인지적 특징 신호로 변환하는 과정을 설명하기 위한 개념도이고, 도 4는 오디오 신호의 햅틱 신호 변환 과정에서 사용자로부터 햅틱 조절값을 제공받기 위한 사용자 인터페이스 화면의 일 예를 나타낸다.
도 1 및 도 2에 도시된 오디오 신호의 햅틱 신호 변환 방법은 프로세서와 메모리 등을 구비한 다양한 정보 처리 장치에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 변환 방법이 프로세서와 메모리를 구비한 햅틱 신호 변환 장치에서 수행되는 것으로 가정한다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법은, 햅틱 신호 변환 장치가 오디오 신호로부터 오디오의 인지적인 특성 정보를 획득하는 단계(S110)와, 획득한 오디오의 인지적인 특성 정보로부터 햅틱의 인지적인 특성 정보를 획득하는 단계(S120)와, 획득한 햅틱의 인지적인 특성 정보으로부터 햅틱 신호를 생성하는 단계(S130)와, 생성한 햅틱 신호를 햅틱 수단으로제공하는 단계(S140)를 포함한다.
먼저, 오디오의 인지적인 특성을 획득하는 단계(S110)는 인간이 오디오 신호 또는 햅틱 자극을 받을 때 인지적인 느낌을 설명할 수 있는 다양한 인지 특성들을 고려하여 오디오 신호로부터 인지적 특성 정보를 획득하는 단계이다.
예를 들어, 인간은 오디오 신호를 청취할 때 오디오 신호의 세기(loudness), 거칠기(roughness), 부드러움(smoothness), 어울림(consonance), 밝기(brightness) 등과 같은 다양한 느낌을 통해 인지적인 특성을 설명한다. 오디오 신호로부터 인지적 특성 정보를 획득하는 방법에는 다양한 공지 기술이 존재한다. 예를 들어, 오디오의 인지적 세기에 대한 연구들은 상당히 많이 이루어져 이미 국제 표준(ISO 266:2003, Equal-Loudness Contours)으로 규정되어 있으며, 이를 기반으로 오디오 신호로부터 인지적 세기를 산출하는 방법들도 다수 존재한다(예를 들면, Glasberg와 Moore의 방법, 또는 Zwicker와 Fastl의 방법).
또한, 오디오 신호의 거칠기 또는 불협화음의 정도를 계산하는 방법들도 많이 알려져 있으며 대표적인 방법으로는 Hutchinson과 Knopoff의 방법 또는 Vassilakis의 방법 등이 존재한다. 이와 같은 방법 이외에도 오디오 신호로부터 다양한 인지적인 값들을 계산하기 위한 모델과 방법들이 존재한다.
오디오 신호로부터 원하는 인지적 특성 정보를 획득하는 것은 상기한 바와 같이 오디오 신호로부터 세기, 거칠기, 부드러움, 어울림 또는 밝기 등과 같은 인지적인 값들을 계산하는 과정이며, 이는 공지된 다양한 모델들을 소프트웨어 또는 하드웨어적으로 구현함으로써 가능하다.
획득한 오디오의 인지적인 특성 정보로부터 햅틱의 인지적인 특성 정보를 획득하는 단계(S120)는, 단계 S110의 수행을 통해 획득한 오디오 신호의 인지적 특성 정보를 이에 상응하는 햅틱의 인지적 특성 정보로 변환하는 과정이다. 이 과정에서는 실제 멀티미디어 제작자 또는 햅틱 효과 제작자가 자신의 의도에 맞게 햅틱 효과를 설계할 수 있다. 그러나, 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법에서는 오디오 신호와 햅틱의 인지적인 특성만을 고려하여, 획득한 오디오 신호의 인지적인 특성 정보에 대응되는 햅틱의 인지적인 특성 정보를 획득한다. 여기서, 햅틱의 인지적인 특성 정보는 예를 들어 세기, 거칠기, 어울림, 높이, 균일함 정보 중 적어도 하나의 정보를 포함할 수 있다.
예를 들어, 도 3의 (1), (2), (3)에 도시한 바와 같이 햅틱 신호와 연동되는 컨텐츠가 전쟁 게임이고, 전쟁 게임에서 폭탄이 터지는 효과를 강조하려고 할 경우, 폭발음은 다른 주변의 효과음에 비해 그 소리가 매우 크고 거친 느낌이 나는 인지적인 특성이 있을 것으로 예상할 수 있으므로 이를 강조할 수 있도록 햅틱 효과를 설계하면 된다. 즉, 도 3에 도시한 게임 장면 (1), (2) 및 (3)의 폭파 장면에 상응하여 진동이 발생하도록 햅틱 신호를 설계할 수 있다.
상기한 바와 같은 햅틱 효과를 설계하기 위한 방법을 수학식으로 표현하면 수학식 1과 같이 나타낼 수 있다.
Figure 112012104749697-pat00001
수학식 1에서, Ih는 햅틱 신호의 인지적 세기(Haptic Intensity)를 나타내며, Rh는 햅틱 신호의 인지적인 거칠기를 나타낸다. La는 오디오 신호의 인지적인 세기(Loudness)를 나타내며, Ra는 오디오 신호의 인지적인 거칠기(Roughness)를 나타낸다. 또한, c, o, r 은 각각 임의의 상수값을 나타내는 것으로 연동되는 콘텐츠의 내용에 따라 조절될 수 있고, 이와 같은 상수값들의 조절에 따라 햅틱 효과가 조금씩 달라질 수 있다.
여기서, 상수값들(c, o, r)은 다양한 햅틱 가중치 값들로 구성될 수 있고, 도 4에 도시한 바와 같이 햅틱 신호 변환 장치에 별도의 사용자 인터페이스를 표시하여 햅틱 신호의 설계자 또는 사용자가 자신의 개인적 취향 또는 연동되는 컨텐츠의 내용에 따라 직접적으로 값을 설정하여 햅틱 효과를 세밀하게 조절할 수 있도록 구성될 수 있다.
또는, 상기 상수값들(c, o, r)은 반복적인 실험을 통해 컨텐츠의 내용에 따른 최적의 상수값을 미리 획득한 후 연동되는 컨텐츠의 내용에 상응하여 자동으로 특정 상수값이 적용되도록 구성될 수도 있다.
상술한 바와 같은 방법을 통해 햅틱 신호의 인지적 특성을 계산하는 경우 오디오 신호의 인지적 특성에 상응하는 햅틱 신호를 정확하게 획득할 수 있다.
본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 방법은 오디오 신호에 대한 인간의 인지적 특성과 햅틱의 인지적 특성 사이의 관계를 수학적으로 정의하고 정의된 수학식을 이용하여 햅틱 효과를 생성함으로써 오디오 신호를 햅틱 신호로 변환하는 과정이 직관적이며, 변환 결과인 햅틱 신호를 쉽게 예측할 수 있는 장점이 있다. 또한, 수학식 1에 나타낸 바와 같이 오디오 신호의 인지적 특성에 대응되는 햅틱의 인지적 정보로 변환하는 과정에서 상수값(c, o, r)의 조절을 통해 일반 사용자가 햅틱 효과를 콘텐츠에 맞게 세부적으로 용이하게 조절할 수 있다.
다시 도 1 및 도 2를 참조하면, 획득한 햅틱의 인지적인 특성 정보로부터 햅틱 신호를 생성하는 단계(S130)에서는, 단계 S120의 수행을 통해 획득한 햅틱의 인지적인 특성 정보로부터 햅틱 신호를 생성한다.
즉, 햅틱 신호 생성 과정에서는 햅틱 신호의 인지적 특성 정보를 실제 햅틱 수단을 구동하기 위한 햅틱 구동 신호로 변환한다. 예를 들어, 수학식 1에 나타낸 바와 같이 산출된 햅틱의 인지적 특성 정보를 이에 상응하는 진동 크기와 진동 지속시간을 가지는 진동 제어 신호로 변환할 수 있다.
생성한 햅틱 신호를 햅틱 수단으로 제공하는 단계(S140)에서는, 단계 S130의 수행을 통해 획득한 햅틱 신호를 햅틱 수단으로 제공한다. 여기서, 햅틱 수단은 햅틱 신호 변환 장치와 독립적으로 구성된 별도의 장치로 구성될 수도 있고, 햅틱 신호 변환 장치에 포함된 구성 요소 중의 하나로 구성될 수도 있다.
도 1 및 도 2에 도시한 바와 같은 오디오 신호의 햅틱 변환 방법은 실시간으로 수행될 수 있고, 이에 따라 모바일 단말, 게임 단말, 홈 씨어터, 4D 영화 시스템 등에 적용되어 멀티미어 콘텐츠의 재생에 따라 오디오 신호를 분석하여 햅틱 신호로 자동으로 생성하는 용도로 사용될 수 있다.
도 5은 본 발명의 일 실시예에 따른 오디오 신호의 햅틱 신호 변환 장치의 구성을 나타내는 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 햅틱 신호 변환 장치(500)는 입출력부(510), 처리부(520), 햅틱 수단(530) 및 저장부(540)를 포함할 수 있고, 처리부(520)는 어플리케이션 실행 모듈(521), 인지특성 획득 모듈(523), 햅틱신호 생성 모듈(525)을 포함할 수 있다.
입출력부(510)는 키패드, 디스플레이 소자 등으로 구성되거나 터치스크린 등으로 구성될 수 있고, 사용자로부터 제공된 키입력 또는 터치 입력에 상응하는 입력 신호를 처리부(520)에 제공한다.
또한, 입출력부(510)는 처리부(520)로부터 제공되는 어플리케이션 또는 컨텐츠의 실행 화면을 표시할 수 있고, 오디오 신호의 햅틱 신호 변환 과정에서 도 4에 도시한 바와 같은 사용자 인터페이스 화면을 표시할 수도 있다.
처리부(520)는 입출력부(510)로부터 제공된 특정 어플리케이션 또는 특정 컨텐츠의 실행을 지시하는 입력 신호에 상응하여 해당 어플리케이션 또는 해당 컨텐츠를 실행하고, 실행중인 어플리케이션 또는 컨텐츠의 실행 화면을 입출력부(510)를 통해 표시한다.
또한, 처리부(520)는 실행중인 어플리케이션 또는 컨텐츠의 오디오 신호로부터 인지적 특성 정보를 획득한 후, 획득한 오디오 신호의 인지적 특성 정보로부터 이에 상응하는 햅틱의 인지적 특성 정보를 산출한 후 산출한 햅틱의 인지적 특성 정보에 상응하는 햅틱 신호를 생성한다.
처리부(520)는 어플리케이션 실행 모듈(521), 인지특성 획득 모듈(523) 및 햅틱신호 생성 모듈(525)을 포함할 수 있다.
구체적으로 어플리케이션 실행 모듈(521)은 입출력부(510)로부터 제공된 특정 어플리케이션 또는 특정 컨텐츠의 실행을 지시하는 입력 신호에 기초하여 해당 어플리케이션(또는 컨텐츠)을 실행할 수 있고, 실행되는 어플리케이션의 실행 화면을 입출력부(510)에 제공할 수 있다.
또한, 어플리케이션 실행 모듈(521)은 실행중인 어플리케이션(또는 실행중인 컨텐츠)의 오디오 신호를 인지특성 획득 모듈(523)에 제공할 수 있다.
인지특성 획득 모듈(523)은 제공된 오디오 신호로부터 인지 특성 정보를 획득한다. 여기서, 오디오 신호의 인지 특성 정보는 예를 들어, 오디오 신호의 세기, 거칠기, 부드러움, 어울림, 밝기 등과 같은 인간이 오디오 신호를 청취할 때 느낄 수 있는 다양한 느낌 정보를 포함할 수 있고, 다양한 공지 기술을 이용하여 오디오 신호로부터 인지적 특성 정보를 획득할 수 있다.
또한, 인지특성 획득 모듈(523)은 획득한 오디오 신호의 인지 특성 정보를 이에 상응하는 햅틱 효과의 인지적 특성 정보로 변환한다. 여기서, 인지특성 획득 모듈(523)은 상기한 수학식 1에 나타낸 바와 같이 미리 정의된 수학식을 이용하여 오디오 신호의 인지 특성 정보에 상응하는 햅틱 효과의 인지적 특성 정보를 산출할 수 있고, 이 과정에서 입출력부(510)를 통해 사용자로부터 제공된 파라미터 값(예를 들면, 수학식 1의 상수값)을 고려하여 햅틱 인지 특성 정보를 산출할 수 있다.
햅틱신호 생성 모듈(525)은 인지특성 획득 모듈(523)로부터 제공된 햅틱의 인지적 특성 정보에 상응하는 햅틱 신호를 생성한 후 생성한 햅틱 신호를 햅틱 수단(530)에 제공한다.
햅틱 수단(530)은 처리부(520)로부터 제공된 햅틱 신호에 상응하여 구동됨으로써 사용자에게 햅틱 효과를 제공하는 수단으로, 적어도 하나의 액추에이터를 포함할 수 있고, 상기 액추에이터는 예를 들어 햅틱 신호에 상응하여 진동하는 진동자나 햅틱 신호에 상응하여 회전력을 제공하는 모터 및 모터의 회전에 따라 구동되는 적어도 하나의 구동축 등으로 구성될 수 있다.
저장부(540)는 처리부(520)에서 수행하는 어플리케이션 또는 컨텐츠 데이터를 저장하거나, 오디오 신호를 햅틱 신호로 변환하기 위한 명령 또는 데이터 등을 저장한다.
도 5에 도시한 햅틱 신호 변환 장치(500)의 구성 요소 중 처리부(520)는 실질적으로 프로세서로 구현될 수 있고, 처리부(520)가 실행하는 어플리케이션 실행 모듈(521), 인지특성 획득 모듈(523) 및 햅틱신호 생성 모듈(525)은 소프트웨어 프로그램으로 구현되어 저장부(540)에 저장된 후 프로세서에 의해 독출되어 해당 모듈의 기능을 실행하도록 구성될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 오디오 신호의 햅틱 신호 변환 장치의 구성을 나타내는 블록도이다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 햅틱 신호 변환 장치(600)는 멀티미디어의 재생이 가능한 다양한 정보 처리 장치에 탑재된 운영체제(OS: Operating System)(610)의 오디오 서브시스템(audio subsystem)(611) 및 관련 모듈과 드라이버 등으로 구현하여 운영체제(610) 위에서 실행되는 다양한 종류의 어플리케이션(601) 또는 컨텐츠(게임, 영화, 음악 등)에 대해서 컨텐츠 내용에 상응하는 햅틱 신호를 제공하도록 구성될 수 있다.
즉, 햅틱 신호 변환 장치(600)는 운영체제(610) 내에 오디오 서브시스템(611), 오디오-햅틱 변환 모듈(613), 오디오 드라이버(615), 햅틱 드라이버(617)가 포함되도록 구성될 수 있다. 여기서, 운영체제(610)는 예를 들어, MS-Windows, Mac OS X, Android, iOS 등으로 구성될 수 있다.
오디오 서브시스템(611)은 다양한 어플리케이션(601)으로부터 오디오 신호를 제공받고, 제공받은 오디오 신호를 처리하여 오디오 드라이버(615) 및 오디오-햅틱 변환 모듈(613)로 제공한다.
오디오 드라이버(615)는 오디오 서브시스템(611)으로부터 제공된 오디오 신호에 기초하여 다양한 오디오 하드웨어(620) 구성요소(예를 들면, 라인 아웃 단자, 헤드폰 단자, 스피커 등)에 오디오 신호를 전달하거나 오디오 하드웨어(620) 구성요소의 구동을 제어한다.
오디오-햅틱 변환 모듈(613)은 오디오 서브시스템(611)으로부터 제공된 오디오 신호로부터 오디오 신호의 인지적 특성 정보를 추출하고, 추출한 오디오 신호의 인지적 특성에 상응하는 햅틱의 인지적 특성 정보를 산출한 후, 햅틱의 인지적 특성 정보에 상응하는 햅틱 신호를 생성하여 햅틱 드라이버(617)에 제공한다.
햅틱 드라이버(617)는 오디오-햅틱 변환 모듈(613)로부터 제공된 햅틱 신호에 기초하여 햅틱 하드웨어(630) 구성요소의 구동을 제어한다. 여기서, 햅틱 하드웨어(630) 구성요소는 예를 들어, 진동자, 모터 등으로 구성될 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 오디오 신호의 햅틱 신호 변환 장치의 구성을 나타내는 블록도로서, 햅틱 신호 변환 장치(700)가 어플리케이션 또는 컨텐츠를 재생하는 정보 처리 장치(710)와 독립적인 별도의 장치로 구성되어 정보 처리 장치(710)로부터 제공된 오디오 신호에 상응하는 햅틱 신호를 생성하는 경우를 예를 들어 도시한 것이다. 여기서, 정보 처리 장치(710)는 어플리케이션 또는 컨텐츠를 재생할 수 있는 다양한 장치로 구성될 수 있고, 예를 들어 컴퓨터, 게임 장치, 스마트폰, 패드형 단말 등으로 구성될 수 있다.
도 7을 참조하면, 본 발명의 또 다른 실시예에 따른 햅틱 신호 변환 장치(700)는 아날로그 디지털 변환부(ADC: Analog to Digital Converter)(701), 처리부(703) 및 햅틱 수단(705)을 포함할 수 있다.
아날로그 디지털 변환부(701)는 정보 처리 장치(710)로부터 아날로그 형태의 오디오 신호를 제공받고, 제공받은 아날로그 형태의 오디오 신호를 디지털 형태의 오디오 신호로 변환한 후 처리부(703)에 제공한다. 여기에서 아날로그 디지털 변환부(701)는 공지된 신호 변환 기술(예를 들면, PCM: Pulse Coded Modulation)을 이용하여 아날로그 형태의 오디오 신호를 디지털 형태의 신호로 변환할 수 있다.
또는, 햅틱 신호 변환 장치(700)가 정보 처리 장치(710)로부터 디지털 형태의 오디오 신호를 직접 수신하는 경우에는 상기 아날로그 디지털 변환부(701)는 햅틱 신호 변환 장치(700)의 구성에 포함되지 않을 수도 있다.
또는, 햅틱 신호 변환 장치(710)가 무선 인터페이스를 통해 정보 처리 장치(710)로부터 오디오 신호를 수신하는 경우에는 무선 통신 인터페이스(예를 들면, 블루투스 모듈, 적외선 통신 모듈, RF 통신 모듈 등)를 더 포함할 수 있다.
처리부(703)는 아날로그 디지털 변환부(또는 정보 통신 장치)(701)로부터 제공된 디지털 형태의 오디오 신호에 대해 인지적 특성 정보를 획득한 후, 획득한 오디오 신호의 인지적 특성 정보로부터 이에 상응하는 햅틱 효과의 인지적 특성 정보를 산출한 후 산출한 햅틱 효과의 인지적 특성 정보에 상응하는 햅틱 신호를 생성하여 햅틱 수단(705)에 제공한다.
햅틱 수단(705)은 처리부(703)로부터 제공된 햅틱 신호에 상응하여 구동함으로써 사용자에게 햅틱 효과를 제공하는 수단으로, 적어도 하나의 액추에이터를 포함할 수 있고, 상기 액추에이터는 예를 들어 햅틱 신호에 상응하여 진동하는 진동자나 햅틱 신호에 상응하여 회전력을 제공하는 모터 및 모터에 의해 구동되는 적어도 하나의 구동축 등으로 구성될 수 있다.
또는 정보 처리 장치(710)가 햅틱 신호를 수신할 수 있고, 수신한 햅틱 신호에 기초하여 햅틱 효과를 제공할 수 있는 햅틱 수단을 구비하는 경우, 햅틱 신호 변환 장치(700)는 햅틱 수단(705)을 구비하지 않을 수 있고, 이와 같은 경우 처리부(703)에서 생성된 햅틱 신호는 정보 처리 장치(710)에 제공되도록 구성될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
500 : 햅틱 신호 변환 장치 510 : 입출력부
520 : 처리부 521 : 어플리케이션 실행 모듈
523 : 인지특성 획득 모듈 525 : 햅틱신호 생성 모듈
530 : 햅틱 수단 540 : 저장부
600 : 햅틱 신호 변환 장치 610 : 운영체제
611 : 오디오 서브시스템 613 : 오디오-햅틱 변환 모듈
615 : 오디오 드라이버 617 : 햅틱 드라이버
700 : 햅틱 신호 변환 장치 701 : 아날로그 디지털 변환부
703 : 처리부 705 : 햅틱 수단
710 : 정보 처리 장치

Claims (11)

  1. 햅틱 신호 변환 장치에서 수행되는 오디오 신호의 햅틱 변환 방법에 있어서,
    제공된 오디오 신호로부터 오디오 신호의 인지적인 특성 정보를 획득하는 단계;
    획득한 상기 오디오 신호의 인지적인 특성 정보에 상응하는 햅틱의 인지적인 특성 정보를 획득하는 단계; 및
    상기 햅틱의 인지적인 특성 정보를 햅틱 신호로 변환하는 단계를 포함하되,
    상기 햅틱의 인지적인 특성 정보를 획득하는 단계는, 오디오 신호로부터 획득한 적어도 하나의 인지적인 특성을 나타내는 파라미터들, 적어도 하나의 햅틱 가중치 및 햅틱의 인지적 특성 사이의 수학적 관계를 정의하고, 정의된 수학적 관계를 이용하여 적어도 하나의 오디오 신호의 인지적 특성에 상응하는 햅틱의 인지적 특성 정보를 획득하되,
    상기 수학적 관계는
    Figure 112014066372430-pat00009
    ,
    Figure 112014066372430-pat00010
    이고, 여기서 Ih 는 상기 햅틱 신호의 인지적 세기를 나타내고, Rh 는 상기 햅틱 신호의 인지적 거칠기를 나타내고, Lα 는 상기 오디오 신호의 인지적 세기를 나타내고, Rα 는 상기 오디오 신호의 인지적 거칠기를 나타내고, c, o, r은 각각 미리 정의된 상수값을 나타내는, 오디오 신호의 햅틱 변환 방법.
  2. 청구항 1에 있어서, 상기 오디오 신호의 인지적인 특성 정보를 획득하는 단계는,
    오디오 신호의 세기, 거칠기, 부드러움, 어울림, 밝기 정보 중 적어도 하나의 정보를 획득하는 것을 특징으로 하는 오디오 신호의 햅틱 변환 방법.
  3. 삭제
  4. 청구항 1에 있어서, 상기 햅틱의 인지적인 특성 정보를 획득하는 단계는,
    획득한 상기 오디오 신호의 인지적인 특성 정보에 상응하는 세기, 거칠기, 어울림, 높이 및 균일함 정보 중 적어도 하나의 정보를 획득하는 것을 특징으로 하는 오디오 신호의 햅틱 변환 방법.
  5. 청구항 1에 있어서, 상기 햅틱의 인지적인 특성 정보를 획득하는 단계는,
    상기 적어도 하나의 가중치를 조절하기 위한 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 사용자로부터 제공받은 햅틱 가중치를 반영하여 상기 햅틱의 인지적 특성 정보를 획득하는 것을 특징으로 하는 오디오 신호의 햅틱 변환 방법.
  6. 삭제
  7. 삭제
  8. 실행중인 컨텐츠의 오디오 신호로부터 적어도 하나의 인지적 특성을 획득하고, 오디오 신호의 인지적 특성과 햅틱의 인지적 특성 사이의 미리 정의된 관계를 이용하여 오디오 신호로부터 획득한 적어도 하나의 인지적 특성에 상응하는 햅틱의 인지적 특성을 획득한 후, 획득한 햅틱의 인지적 특성을 햅틱 신호로 변환하는 처리부; 및
    상기 처리부로부터 제공된 햅틱 신호에 따라 구동되는 햅틱 수단을 포함하되,
    상기 미리 정의된 관계는 오디오 신호로부터 획득한 적어도 하나의 인지적 특성을 나타내는 파라미터들, 적어도 하나의 햅틱 가중치 및 햅틱의 인지적 특성 사이의 수학적 관계이며,
    상기 수학적 관계는
    Figure 112014066372430-pat00011
    ,
    Figure 112014066372430-pat00012
    이고, 여기서 Ih 는 상기 햅틱 신호의 인지적 세기를 나타내고, Rh 는 상기 햅틱 신호의 인지적 거칠기를 나타내고, Lα 는 상기 오디오 신호의 인지적 세기를 나타내고, Rα 는 상기 오디오 신호의 인지적 거칠기를 나타내고, c, o, r은 각각 미리 정의된 상수값을 나타내는, 오디오 신호의 햅틱 변환 장치.
  9. 삭제
  10. 삭제
  11. 청구항 8에 있어서, 상기 오디오 신호의 햅틱 변환 장치는
    상기 적어도 하나의 햅틱 가중치를 조절하기 위한 사용자 인터페이스를 표시하는 입출력부를 더 포함하되, 상기 입출력부를 통해 사용자로부터 제공된 햅틱 가중치를 반영하여 상기 햅틱의 인지적 특성 정보를 획득하는 것을 특징으로 하는 오디오 신호의 햅틱 변환 장치.
KR1020120147362A 2012-12-17 2012-12-17 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 KR101427993B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120147362A KR101427993B1 (ko) 2012-12-17 2012-12-17 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US14/099,759 US20140167940A1 (en) 2012-12-17 2013-12-06 Method of converting audio signal to haptic signal and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120147362A KR101427993B1 (ko) 2012-12-17 2012-12-17 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20140079582A KR20140079582A (ko) 2014-06-27
KR101427993B1 true KR101427993B1 (ko) 2014-08-08

Family

ID=50930224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147362A KR101427993B1 (ko) 2012-12-17 2012-12-17 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치

Country Status (2)

Country Link
US (1) US20140167940A1 (ko)
KR (1) KR101427993B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907424B2 (en) 2019-02-19 2024-02-20 Dong Woon Anatech Co., Ltd Haptic motor driving method in consideration of user input signal

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
KR101641418B1 (ko) 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
KR102479035B1 (ko) * 2018-03-22 2022-12-20 한국전자통신연구원 청각장애인용 언어학습 시스템 및 방법
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
CN109144257B (zh) * 2018-08-22 2021-07-20 音曼（北京）科技有限公司 从歌曲中提取特征并转化为触觉感受的方法
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US11533557B2 (en) 2019-01-22 2022-12-20 Universal City Studios Llc Ride vehicle with directional speakers and haptic devices
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
KR102591674B1 (ko) 2020-07-10 2023-10-23 한국전자통신연구원 음향 및 촉각 재생 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3564501B2 (ja) * 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
US20060221935A1 (en) * 2005-03-31 2006-10-05 Wong Daniel H Method and apparatus for representing communication attributes
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
KR101505683B1 (ko) * 2008-09-17 2015-03-24 엘지전자 주식회사 이동 단말기와 그 식별모듈 전환방법
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20130033366A1 (en) * 2011-08-01 2013-02-07 Mcdonough Colin Albright Method and system for providing haptic feedback of variable intensity
TWI474315B (zh) * 2012-05-25 2015-02-21 Univ Nat Taiwan Normal Infant cries analysis method and system
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907424B2 (en) 2019-02-19 2024-02-20 Dong Woon Anatech Co., Ltd Haptic motor driving method in consideration of user input signal

Also Published As

Publication number Publication date
KR20140079582A (ko) 2014-06-27
US20140167940A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
KR101427993B1 (ko) 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US10429933B2 (en) Audio enhanced simulation of high bandwidth haptic effects
KR101999565B1 (ko) 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
JP6698131B2 (ja) ハプティックワーピングシステム
CN110011591B (zh) 马达驱动信号生成方法、电子设备及存储介质
CN108845673B (zh) 使用映射的声音-触觉效应转换系统
EP2624099B1 (en) Method and system for sound to haptic effect conversion using waveform
CN104393848B (zh) 音量调节方法及装置
JP2019046505A (ja) 動的ハプティック変換システム
CN107743640A (zh) 具有衰减的触觉驱动器
EP3206109A1 (en) Low-frequency effects haptic conversion system
KR20150028730A (ko) 햅틱 신호를 진동촉각 햅틱 효과 패턴의 컬렉션으로 변환하는 햅틱 와핑 시스템
CN111381707A (zh) 触觉信号转换系统
JP2013530420A (ja) 可搬型メディア再生装置に関するオーディオ・システム等化処理
CN109982231B (zh) 一种信息处理方法、设备及存储介质
US9847767B2 (en) Electronic device capable of adjusting an equalizer according to physiological condition of hearing and adjustment method thereof
JP2015170174A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN104349244B (zh) 一种信息处理方法及电子设备
CN113893123A (zh) 按摩数据的处理方法、装置、电子设备及存储介质
CN104007951B (zh) 一种信息处理方法及电子设备
CN109246554B (zh) 终端及其振动器的调控方法
KR20140112131A (ko) 햅틱 게임 구현 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
EP3674849A1 (en) Haptic effect signal processing
CN109597600A (zh) 触觉音调控制
CN118659686A (zh) 振动控制方法、存储介质、电子设备及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180618

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 6