KR20200101033A - 사용자 입력신호를 고려한 햅틱 모터 구동 방법 - Google Patents

사용자 입력신호를 고려한 햅틱 모터 구동 방법 Download PDF

Info

Publication number
KR20200101033A
KR20200101033A KR1020190019171A KR20190019171A KR20200101033A KR 20200101033 A KR20200101033 A KR 20200101033A KR 1020190019171 A KR1020190019171 A KR 1020190019171A KR 20190019171 A KR20190019171 A KR 20190019171A KR 20200101033 A KR20200101033 A KR 20200101033A
Authority
KR
South Korea
Prior art keywords
haptic
signal
driving
user input
motor
Prior art date
Application number
KR1020190019171A
Other languages
English (en)
Other versions
KR102273804B1 (ko
Inventor
이정훈
한인우
주동필
Original Assignee
주식회사 동운아나텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동운아나텍 filed Critical 주식회사 동운아나텍
Priority to KR1020190019171A priority Critical patent/KR102273804B1/ko
Priority to CN202080015537.9A priority patent/CN113498504A/zh
Priority to PCT/KR2020/002435 priority patent/WO2020171612A1/ko
Priority to JP2021548626A priority patent/JP7283809B2/ja
Publication of KR20200101033A publication Critical patent/KR20200101033A/ko
Application granted granted Critical
Publication of KR102273804B1 publication Critical patent/KR102273804B1/ko
Priority to US17/406,013 priority patent/US11907424B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05F—SYSTEMS FOR REGULATING ELECTRIC OR MAGNETIC VARIABLES
    • G05F1/00—Automatic systems in which deviations of an electric quantity from one or more predetermined values are detected at the output of the system and fed back to a device within the system to restore the detected quantity to its predetermined value or values, i.e. retroactive systems
    • G05F1/10—Regulating voltage or current
    • G05F1/46—Regulating voltage or current wherein the variable actually regulated by the final control device is dc
    • G05F1/56—Regulating voltage or current wherein the variable actually regulated by the final control device is dc using semiconductor devices in series with the load as final control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Abstract

본 발명은 햅틱 모터 구동 방법에 관한 것으로서 수신되는 오디오 신호를 분석하는 단계, 상기 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출하는 단계, 상기 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시키는 단계, 및 제1 사용자 입력 신호의 수신여부를 고려하여 사전에 저장된 햅틱 데이터와 상기 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력하는 단계를 포함하는 것을 특징으로 하며, 기본적으로 오디오 사운드로부터 햅틱 신호를 생성하지만 사용자의 입력에 맞춰 반응하는 형태로 시스템이 구성되기 때문에 보다 현실감 있는 햅틱 결과물을 내 줄 수 있다.

Description

사용자 입력신호를 고려한 햅틱 모터 구동 방법{METHOD AND APPARATUS FOR DRIVING A HAPTIC MOTOR BASED ON USER IPNUT SIGNALS}
본 발명은 햅틱 모터 구동 방법에 관한 것으로서, 더욱 상세하게는 오디오 사운드로부터 햅틱 신호를 생성하지만 사용자의 입력에 맞춰 반응하는 형태로 시스템이 구성되기 때문에 보다 현실감 있는 햅틱 결과물을 내 줄 수 있는 햅틱 모터 구동 방법 및 장치에 관한 것이다.
햅틱기술을 지원하는 제품은 사용자에게 촉각이라는 정보를 추가함에 따라 보다 많은 현장감 및 몰입을 가능하게 해준다. 하지만 기존에 촉각 정보가 포함되어 있지 않은 컨텐츠를 이용하여 햅틱기술을 구현하기 위해서는 컨텐츠 재생시 특정 시간과 목적에 맞게 진동패턴이 사전에 해당 컨텐츠에 심겨져 있어야 하므로 아주 많은 시간과 노력, 비용이 필요하게 된다. 이에 대한 해결을 위해서 기존 오디오 신호가 있는 경우 이 오디오 신호를 햅틱신호로 자동으로 변환해주는 햅틱 기술이 필요한 실정이다.
기존 기술을 살펴보면 가장 대표적으로는 오디오 신호를 햅틱신호로 변환할 때, 오디오 신호를 시간영역 혹은 주파수영역에서 분석하고 이를 필터를 이용해 특정 영역에 집중하는 신호를 끌어오고 이를 햅틱으로 연결하였다. 이러한 경우, 단순히 소리를 햅틱으로 변환하는 형태의 알고리즘이므로 모든 소리의 이벤트가 햅틱 이벤트로 연결될 수밖에 없다.
선행기술 1(한국등록특허 10-1121785)은 음원데이터의 변화량에 따라 변화유형을 결정하고 이에 기초하여 햅틱 효과를 생성하는 기술이고, 선행기술 2(한국등록특허 10-1427993)는 오디오 신호의 인지적인 특성 정보에 상응하는 햅틱 신호를 출력하는 것이다.
선행기술 1 또는 선행기술 2는 음원데이터의 변화량이나 인지적인 특성 정보에만 기초하여 햅틱 효과를 생성할 뿐 미리 저장된 햅틱 데이터 출력과 오디오 신호로부터 추출된 햅틱신호를 사용자 입력신호에 따라 선택하여 출력하는 것을 개시하지는 못하고 있다.
따라서, 기존 방식은 단순히 소리를 햅틱으로 변환하는 형태의 알고리즘이므로 사용자의 입력에 따라 상호보완적인 동작이 불가능하였고, 일률적으로 오디오 신호로부터 햅틱신호를 검출하여 출력하는 경우 사용자마다 다른 촉각환경을 최적화하기 어려운 문제점이 있었다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 기본적으로 오디오 사운드로부터 햅틱 신호를 생성하지만 사용자의 입력에 맞춰 반응하는 형태로 시스템이 구성되기 때문에 보다 현실감 있는 햅틱 결과물을 내 줄 수 있는 햅틱 모터 구동 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 사용자 입력을 우선적으로 고려해서 햅틱 신호를 출력하면 원하지 않는 오디오 신호에 대해서는 원천적으로 반응하지 않는 동작이 가능한 햅틱 모터 구동 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하는 단계; 상기 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출하는 단계; 상기 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시키는 단계; 및 제1 사용자 입력 신호의 수신여부를 고려하여 사전에 저장된 햅틱 데이터와 상기 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력하는 단계를 포함하는 햅틱 모터 구동 방법을 제공한다.
본 발명의 일 실시 예에 의하면, 상기 분석된 오디오 신호의 크기 또는 상기 햅틱 이벤트 신호의 크기를 고려하여 상기 사전에 저장된 햅틱 데이터의 게인을 제어하는 것이 바람직하다.
또한, 제2 사용자 입력 신호 수신여부를 고려하여 상기 햅틱 모터를 상기 햅틱 데이터 또는 상기 햅틱 신호에 따라 구동할 지 여부를 결정할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하는 오디오 신호 분석부; 상기 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출하는 햅틱 이벤트 추출부; 상기 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시키는 햅틱신호 발생부; 사용자로부터 입력 신호를 받는 사용자 입력부; 상기 사용자 입력부로부터 수신된 제1 사용자 입력 신호를 고려하여 사전에 저장된 햅틱 데이터와 상기 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력하는 멀티플렉서; 및 상기 멀티플렉서로부터 출력된 구동신호를 이용하여 햅틱 모터를 구동하는 모터 구동부를 포함하는 햅틱 모터 구동 장치를 제공한다.
본 발명의 일 실시 예에 의하면, 상기 분석된 오디오 신호의 크기 또는 상기 햅틱 이벤트 신호의 크기를 고려하여 상기 사전에 저장된 햅틱 데이터의 게인을 제어하는 제어부를 더 포함하는 것이 바람직하다.
또한, 제2 사용자 입력 신호 수신여부를 고려하여 상기 햅틱 모터를 상기 햅틱 데이터 또는 상기 햅틱 신호에 따라 구동할 지 여부를 결정할 수 있다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 햅틱 모터 구동 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 기본적으로 오디오 사운드로부터 햅틱 신호를 생성하지만 사용자의 입력에 맞춰 반응하는 형태로 시스템이 구성되기 때문에 보다 현실감 있는 햅틱 결과물을 내 줄 수 있다.
또한, 본 발명에 따르면, 사용자 입력을 우선적으로 고려해서 햅틱 신호를 출력하면 원하지 않는 오디오 신호에 대해서는 원천적으로 반응하지 않는 동작이 가능해진다.
나아가 본 발명에 따르면, 오디오 신호의 햅틱 출력이 사용자 입력과의 상호작용으로 나오는 경우 오디오 신호에만 의존하지 않고 사용자의 입력 정보도 추가로 받을 수 있게 된다. 따라서 두 가지 정보를 모두 사용하여 햅틱 신호로의 변환을 하게 되면 보다 만족도가 높은 진동을 얻어낼 수 있다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 햅틱 모터 구동 장치의 구성도이다.
도 2는 본 발명의 바람직한 다른 실시 예에 따른 햅틱 모터 구동 장치의 구성도이다.
도 3은 본 발명의 바람직한 또 다른 실시 예에 따른 햅틱 모터 구동 장치의 구성도이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 햅틱 모터 구동 방법의 흐름도이다.
도 5는 본 발명의 바람직한 다른 실시 예에 따른 햅틱 모터 구동 방법의 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 햅틱 모터 구동 장치의 구성도이다.
도 1을 참조하면, 본 실시 예에 따른 햅틱 모터 구동 장치는 오디오 신호 분석부(110), 주파수 이퀄라이저부(115), 햅틱 이벤트 추출부(120), 햅틱신호 발생부(130), 모터 구동부(140), 사용자 입력부(150), 및 제어부(180)로 구성된다.
오디오 신호 분석부(110)는 수신되는 오디오 신호를 분석한다.
오디오 신호 분석부(110)는 수신되는 오디오 신호를 시간 영역에서 분석하거나 주파수 영역으로 변환하여 분석할 수 있다. 주파수 영역으로 변환시 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 오디오 신호를 주파수 대역별로 변환할 수 있다.
주파수 이퀄라이저부(115)는 상기 주파수 영역으로 변환된 오디오 신호의 특정 주파수 구간을 억제하거나 증폭한다.
주파수 이퀄라이저부(115)는 저역을 잘라내는 저역 필터(Low Pass Filter)와 고역을 잘라내는 고역 필터(High Pass Filter Filter), 특정한 주파수만 없애고 나머지 부분은 그대로 통과하는 밴드 패스 필터(Band Pass Filter), 특정 주파수만 선택하여 없애는 밴드 리젝트 필터(Band Reject Filter)로 포함하는 것도 가능하고, 이들을 조합하여 사용하는 것도 가능하다.
햅틱 이벤트 추출부(120)는 상기 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출한다.
햅틱 이벤트 신호는 수신된 오디오 신호의 세기(intensity), 음고(pitch), 리듬(rhythm), 에너지(energy), 시간적 대비(temporal contrast), 가락(melody), 화성(harmony), 음색(timbre) 중 적어도 하나 이상를 고려하여 추출될 수 있다.
햅틱신호 발생부(130)는 상기 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시킨다.
일 실시예로서, 상기 오디오 신호를 피치 시프팅(pitch shifting)함으로써, 오디오 신호의 원래 피치를 액츄에이터와 같은 햅틱 출력 장치의 목적 피치 범위 내의 목적 피치로 시프팅 될 수 있다. 또한, 오디오 신호의 원래 피치를 목적 피치로 시프팅함으로써, 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 목적 주파수로 시프팅 될 수 있다.
모터 구동부(140)는 햅틱신호 발생부(130)로부터 햅틱 신호를 수신하여 햅틱 모터를 구동한다.
사용자 입력부(150)는 사용자로부터 모터 구동부(140)의 구동을 제어하는 입력신호를 받고, 제어부(180)로 사용자 입력신호를 출력한다.
모터 구동부(140)가 햅틱신호 발생부(130)의 햅틱신호에 따라 햅틱 모터를 구동하고 있는 경우, 사용자 입력부(150)로부터 사용자 입력 신호가 수신되면, 제어부(180)가 모터 구동부(140)를 제어하여 햅틱 모터의 구동을 정지할 수 있다.
반대로 햅틱 모터가 정지해 있는 경우, 사용자 입력부(150)로부터 사용자 입력 신호가 수신되면, 제어부(180)는 햅틱신호 발생부(130)의 햅틱신호에 따라 햅틱 모터를 구동하도록 할 수 있다.
제어부(180)는 햅틱 이벤트 추출부(120)에서 추출된 햅틱 이벤트 신호의 발생횟수를 주파수별로 카운팅하고, 상기 카운팅 결과, 일정 횟수 이상 발생한 햅틱 이벤트 신호에 상응하는 주파수의 주파수 게인을 증가시킨다.
제어부(180)가 햅틱 이벤트 신호의 발생횟수를 주파수별로 카운팅할 때 해당 주파수의 상응하는 전력의 크기가 일정 크기 이하는 경우는 카운팅에서 제외할 수 있다.
한편, 상기 카운팅 결과, 일정 횟수 이상 발생한 햅틱 이벤트 신호에 상응하는 주파수 외의 다른 주파수에 대해서는 억제할 수 있다.
제어부(180)는 햅틱 이벤트 추출부(120)에서 추출된 햅틱 이벤트 신호의 발생횟수를 카운팅한 결과 일정 횟수 이상 발생하면, 햅틱 이벤트 추출부(120)의 특정 임계값을 증가시킬 수 있다. 상기 특정 임계값을 증가시키면, 햅틱 신호의 발생빈도를 낮추는 효과가 있다.
또한, 제어부(150)는 일정 횟수 이상 발생한 햅틱 이벤트 신호에 상응하는 주파수를 분석하여 주파수 이퀄라이저부(115)의 특정 주파수 구간을 더 세밀하게 구분할 수 있다. 예를 들어, 초기 설정된 특정 주파수 구간이 1,000Hz~1,500Hz일 때, 햅틱 이벤트 신호가 발생한 주파수가 1,100Hz, 1,150Hz, 1,180Hz, 1,200Hz 이라면, 상기 특정 주파수 구간을 1,100Hz~1,200Hz으로 한정하는 것이 바람직하다.
제어부(180)가 실시간으로 수신되는 오디오 신호로부터 햅틱 이벤트 신호를 추출하고, 추출되는 햅틱 이벤트 신호에 상응하는 주파수의 증폭게인을 증가하고, 그 외의 주파수의 증폭게인을 감소시킴으로써, 오디오 신호의 특성에 따라 적응적으로 햅틱 신호를 발생시킬 수 있게 된다.
제어부(180)을 통해 오디오 신호 분석부(110)와 햅틱 이벤트 추출부(120)에 필요로 했던 매뉴얼 튜닝을 어느 정도 자동화 할 수 있다. 또한, 기본적으로 게임과 같은 특정 주파수를 갖는 오디오 신호에 대한 빈도가 높은 경우 보다 높은 적중률을 갖는 출력을 갖게 된다.
오디오 신호는 실생활에서 대한 다양한 형태로 존재하므로 특정 형태를 지정하기는 사실상 불가능하기에 수신되는 오디오 신호를 적응형으로 학습하게 하고 이 학습 결과에 따라 오디오를 분석하는 제어부(180)를 제어하여 햅틱 이벤트 적중률을 향상시킬 수 있다.
도 2는 본 발명의 바람직한 다른 실시 예에 따른 햅틱 모터 구동 장치의 구성도이다.
도 2를 참조하면, 본 실시 예에 따른 햅틱 모터 구동 장치는 오디오 신호 분석부(210), 주파수 이퀄라이저부(215), 햅틱 이벤트 추출부(220), 햅틱신호 발생부(230), 모터 구동부(240), 사용자 입력부(250), 햅틱 데이터 저장부(260), 멀티플렉서(270), 및 제어부(280)로 구성된다.
도 2에 도시된 오디오 신호 분석부(210), 주파수 이퀄라이저부(215), 햅틱 이벤트 추출부(220), 햅틱신호 발생부(230), 모터 구동부(240), 사용자 입력부(250), 및 제어부(280)가 도 1에 도시된 구성요소와 동일한 기능을 갖는 것은 설명을 생략하고, 차이점을 중심으로 이하 설명하기로 한다.
햅틱 데이터 저장부(260)는 사용자 입력부(250)를 통해 수신되는 입력신호에 대응하는 햅틱 데이터를 저장한다. 사용자 입력신호는 다양하게 구성할 수 있으며, 대응하는 햅틱 데이터도 다양한 형태로 구성되는 것이 바람직하다.
사용자의 입력신호에 따른 햅틱 데이터는 중요한 형태의 햅틱 정보로 간주하여 사용자에게 높은 만족도를 주기 위해서 사전에 저장해 놓은 햅틱 데이터를 사용하여 구성할 수 있다.
사용자 입력부(250)는 사용자로부터 멀티플렉서(370)를 제어하는 입력신호를 받아 멀티플렉서(270)로 출력한다.
멀티플렉서(270)는 사용자 입력부(250)로부터 수신된 제1 사용자 입력 신호를 고려하여 햅틱 데이터 저장부(260)에 저장된 햅틱 데이터와 햅틱신호 발생부(230)에서 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 모터 구동부(240)로 출력한다.
예를 들어, 햅틱 데이터 저장부(260)에 저장된 햅틱 데이터가 멀티플렉서(270)를 통해 모터 구동부(240)로 출력되고 있는 경우, 사용자 입력부(250)로 사용자 입력 신호가 수신되면, 햅틱신호 발생부(230)에서 발생된 햅틱신호를 멀티플렉서(270)를 통해 모터 구동부(240)로 출력하도록 변경할 수 있다.
반대로, 햅틱신호 발생부(230)에서 발생된 햅틱신호가 멀티플렉서(270)를 통해 모터 구동부(240)로 출력되고 있는 경우, 사용자 입력부(250)로 사용자 입력 신호가 수신되면, 햅틱 데이터 저장부(260)에 저장된 햅틱 데이터를 멀티플렉서(270)를 통해 모터 구동부(240)로 출력하도록 변경할 수 있다.
또 다른 예로서, 햅틱 데이터 저장부(260)에 저장된 햅틱 데이터 또는 햅틱신호 발생부(230)에서 발생된 햅틱신호 중 어느 하나만 멀티플렉서(270)를 통해 모터 구동부(240)로 출력되고 있는 경우, 사용자 입력부(250)로 사용자 입력 신호가 수신되면, 상기 햅틱 데이터와 상기 햅틱신호 모두를 멀티플렉서(270)를 통해 모터 구동부(240)로 출력하도록 변경할 수 있다.
본 발명의 실시 예에 따른 햅틱 모터 구동 장치는 오디오 신호 외에 추가적으로 사전에 준비한 햅틱 데이터가 출력으로 나가는 경우 사용자의 입력 명령에 기반하게 되며 사용자 입력이 인가될 경우 오디오 신호를 햅틱으로 변환하는 기능은 일시 정지하고 특정 햅틱 데이터가 출력으로 연결되도록 할 수 있다. 이후 특정 햅틱 데이터의 출력이 완료되면 원래대로 오디오 신호를 햅틱으로 변환하는 형태로 바꿔서 동작할 수 있어 사용자에게 보다 현실감이 있는 햅틱 신호 생성이 가능해진다.
모터 구동부(240)는 멀티플렉서(270)로부터 출력된 구동신호를 이용하여 햅틱 모터를 구동한다.
도 3은 본 발명의 바람직한 또 다른 실시 예에 따른 햅틱 모터 구동 장치의 구성도이다.
도 3을 참조하면, 본 실시 예에 따른 햅틱 모터 구동 장치는 오디오 신호 분석부(310), 주파수 이퀄라이저부(315), 햅틱 이벤트 추출부(320), 햅틱신호 발생부(330), 모터 구동부(340), 사용자 입력부(350), 햅틱 데이터 저장부(360), 멀티플렉서(370), 제어부(380), 및 게인부(390)로 구성된다.
도 3에 도시된 오디오 신호 분석부(310), 주파수 이퀄라이저부(315), 햅틱 이벤트 추출부(320), 햅틱신호 발생부(330), 모터 구동부(340), 사용자 입력부(350), 햅틱 데이터 저장부(360), 멀티플렉서(370), 및 제어부(380)가 도 2에 도시된 구성요소와 동일한 기능을 갖는 것은 설명을 생략하고, 차이점을 중심으로 이하 설명하기로 한다.
제어부(380)는 오디오 신호 분석부(310)에서 분석된 오디오 신호의 크기 또는 햅틱 이벤트 추출부(320)에서 추출된 햅틱 이벤트 신호의 크기를 고려하여 햅틱 데이터 저장부(360)에 저장된 햅틱 데이터의 게인을 게인부(390)를 통해 제어한다.
이 경우 햅틱 데이터 저장부(360)에 저장된 햅틱 데이터는 정규화된(normalized) 데이터로 저장하는 것이 바람직하다.
게인부(390)는 햅틱 신호 발생부(330)에서 발생한 햅틱 신호와 스케일을 맞추기 위해 햅틱 데이터 저장부(360)에 저장된 정규화된 햅틱 데이터에 게인을 적용하여 멀티플렉서(370)로 출력한다.
게인부(390)는 미리 저장된 햅틱 데이터의 진동 크기를 다양한 형태로 조절하기 위해 입력으로 주어지는 오디오 신호의 특성을 분석한 후 이를 바탕으로 미리 저장된 햅틱 데이터의 게인값을 조절하여 출력으로 내어 줄 수 있다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 햅틱 모터 구동 방법의 흐름도이다.
도 4를 참조하면, 본 실시 예에 따른 햅틱 모터 구동 방법은 도 2에 도시된 햅틱 모터 구동 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 햅틱 모터 구동 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 햅틱 모터 구동 방법에도 적용된다.
400 단계에서 햅틱 모터 구동 장치는 수신되는 오디오 신호를 분석한다. 수신되는 오디오 신호를 시간 영역에서 분석하거나 주파수 영역으로 변환하여 분석할 수 있다. 주파수 영역으로 변환시 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 오디오 신호를 주파수 대역별로 변환할 수 있다.
410 단계에서 햅틱 모터 구동 장치는 400 단계에서 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출한다.
햅틱 이벤트 신호는 수신된 오디오 신호의 세기(intensity), 음고(pitch), 리듬(rhythm), 에너지(energy), 시간적 대비(temporal contrast), 가락(melody), 화성(harmony), 음색(timbre) 중 적어도 하나 이상를 고려하여 추출될 수 있다.
420 단계에서 햅틱 모터 구동 장치는 410 단계에서 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시킨다.
일 실시예로서, 상기 오디오 신호를 피치 시프팅(pitch shifting)함으로써, 오디오 신호의 원래 피치를 액츄에이터와 같은 햅틱 출력 장치의 목적 피치 범위 내의 목적 피치로 시프팅 될 수 있다. 또한, 오디오 신호의 원래 피치를 목적 피치로 시프팅함으로써, 오디오 신호의 하나 이상의 원래 주파수는 하나 이상의 목적 주파수로 시프팅 될 수 있다.
430 단계에서 햅틱 모터 구동 장치는 사용자 입력신호가 수신되는지 판단한다. 상기 판단결과 사용자 입력신호가 수신되지 않으면, 440 단계로 진행하고, 사용자 입력신호가 수신되면 450 단계로 진행한다.
440 단계에서 햅틱 모터 구동 장치는 사용자 입력신호가 수신되지 않은 경우이므로, 기존 햅틱 출력 방식대로 출력한다.
기존 햅틱 출력 방식은 햅틱데이터 저장부(260)에 저장된 햅틱 데이터를 출력할 수도 있고, 햅틱신호 발생부(230)에서 발생된 햅틱신호를 출력할 수도 있으며, 기타 다른 방식도 가능하다.
450 단계에서 햅틱 모터 구동 장치는 사용자 입력 신호가 수신된 경우로서, 사전에 저장된 햅틱 데이터와 상기 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력한다.
사용자 입력 신호가 수신되면, 기존 햅틱 출력 방식과 다른 방식으로 햅틱 신호를 출력한다. 일 실시예로서, 기존에 햅틱데이터 저장부(260)에 저장된 햅틱 데이터를 출력하는 경우, 사용자 입력 신호가 수신되면, 햅틱신호 발생부(230)에서 발생된 햅틱신호를 출력하고, 기존에 햅틱신호 발생부(230)에서 발생된 햅틱신호를 출력하는 경우, 사용자 입력 신호가 수신되면, 기존에 햅틱데이터 저장부(260)에 저장된 햅틱 데이터를 출력할 수 있다.
본 발명에 따른 햅틱 모터 구동 장치는 기존 오디오 신호를 햅틱 신호로 변환함에 있어서 가질 수 밖에 없는 한계를 극복하기 위해 기존 오디오 신호로부터의 햅틱 신호 검출 외에 추가로 사전에 준비해 둔 햅틱 데이터도 출력으로 연결될 수 있도록 한다. 따라서, 사용자와 상호작용을 하는 형태이므로 보다 사용자의 입력 정보에 충실한 햅틱 출력을 보장할 수 있다.
도 5는 본 발명의 바람직한 다른 실시 예에 따른 햅틱 모터 구동 방법의 흐름도이다.
도 5를 참조하면, 본 실시 예에 따른 햅틱 모터 구동 방법은 도 3에 도시된 햅틱 모터 구동 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 햅틱 모터 구동 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 햅틱 모터 구동 방법에도 적용된다.
500 단계 내지 550 단계에서의 햅틱 모터 구동 장치는 도 4에서 개시한 400 단계 내지 450 단계의 동작을 포함하여 동작한다.
530 단계에서 햅틱 모터 구동 장치는 사용자 입력신호가 수신되는지 판단한다. 상기 판단결과 사용자 입력신호가 수신되지 않으면, 540 단계로 진행하고, 사용자 입력신호가 수신되면 550 단계로 진행한다.
540 단계에서 햅틱 모터 구동 장치는 사용자 입력신호가 수신되지 않은 경우이므로, 기존 햅틱 출력 방식대로 출력한다.
기존 햅틱 출력 방식은 햅틱데이터 저장부(360)에 저장된 햅틱 데이터를 출력할 수도 있고, 햅틱신호 발생부(330)에서 발생된 햅틱신호를 출력할 수도 있으며, 기타 다른 방식도 가능하다.
545 단계에서 햅틱 모터 구동 장치는 500 단계에서 분석된 오디오 신호의 크기 또는 510 단계에서의 햅틱 이벤트 신호의 크기를 고려하여 상기 사전에 저장된 햅틱 데이터에 게인을 적용한다.
550 단계에서 545 단계에서 게인이 적용된 햅틱 데이터와 520 단계에서 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력한다.
일 실시예로서, 기존에 햅틱데이터 저장부(360)에 저장된 햅틱 데이터에 게인을 적용하여 출력하는 경우, 사용자 입력 신호가 수신되면, 햅틱신호 발생부(330)에서 발생된 햅틱신호를 출력하고, 기존에 햅틱신호 발생부(330)에서 발생된 햅틱신호를 출력하는 경우, 사용자 입력 신호가 수신되면, 기존에 햅틱데이터 저장부(260)에 저장된 햅틱 데이터에 게인을 적용하여 출력할 수 있다.
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (7)

  1. 수신되는 오디오 신호를 분석하는 단계;
    상기 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출하는 단계;
    상기 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시키는 단계; 및
    제1 사용자 입력 신호의 수신여부를 고려하여 사전에 저장된 햅틱 데이터와 상기 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력하는 단계를 포함하는 햅틱 모터 구동 방법.
  2. 제1 항에 있어서,
    상기 분석된 오디오 신호의 크기 또는 상기 햅틱 이벤트 신호의 크기를 고려하여 상기 사전에 저장된 햅틱 데이터의 게인을 제어하는 단계를 더 포함하는 햅틱 모터 구동 방법.
  3. 제1 항에 있어서,
    제2 사용자 입력 신호 수신여부를 고려하여 상기 햅틱 모터를 상기 햅틱 데이터 또는 상기 햅틱 신호에 따라 구동할 지 여부를 결정하는 것을 특징으로 하는 햅틱 모터 구동 방법.
  4. 수신되는 오디오 신호를 분석하는 오디오 신호 분석부;
    상기 분석된 결과가 특정 임계값 이상인 경우에 대응하는 햅틱 이벤트 신호를 추출하는 햅틱 이벤트 추출부;
    상기 추출된 햅틱 이벤트 신호에 상응하는 햅틱 신호를 발생시키는 햅틱신호 발생부;
    사용자로부터 입력 신호를 받는 사용자 입력부;
    상기 사용자 입력부로부터 수신된 제1 사용자 입력 신호를 고려하여 사전에 저장된 햅틱 데이터와 상기 발생된 햅틱신호를 다중화하여 햅틱 모터를 구동하는 구동신호를 출력하는 멀티플렉서; 및
    상기 멀티플렉서로부터 출력된 구동신호를 이용하여 햅틱 모터를 구동하는 모터 구동부를 포함하는 햅틱 모터 구동 장치.
  5. 제4 항에 있어서,
    상기 분석된 오디오 신호의 크기 또는 상기 햅틱 이벤트 신호의 크기를 고려하여 상기 사전에 저장된 햅틱 데이터의 게인을 제어하는 제어부를 더 포함하는 햅틱 모터 구동 장치.
  6. 제4 항에 있어서,
    제2 사용자 입력 신호 수신여부를 고려하여 상기 햅틱 모터를 상기 햅틱 데이터 또는 상기 햅틱 신호에 따라 구동할 지 여부를 결정하는 것을 특징으로 하는 햅틱 모터 구동 장치.
  7. 제1 항 내지 제3 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190019171A 2019-02-19 2019-02-19 사용자 입력신호를 고려한 햅틱 모터 구동 방법 KR102273804B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190019171A KR102273804B1 (ko) 2019-02-19 2019-02-19 사용자 입력신호를 고려한 햅틱 모터 구동 방법
CN202080015537.9A CN113498504A (zh) 2019-02-19 2020-02-19 考虑用户输入信号的触觉电机驱动方法
PCT/KR2020/002435 WO2020171612A1 (ko) 2019-02-19 2020-02-19 사용자 입력신호를 고려한 햅틱 모터 구동 방법
JP2021548626A JP7283809B2 (ja) 2019-02-19 2020-02-19 ユーザの入力信号を考慮したハプティックモータ駆動方法
US17/406,013 US11907424B2 (en) 2019-02-19 2021-08-18 Haptic motor driving method in consideration of user input signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190019171A KR102273804B1 (ko) 2019-02-19 2019-02-19 사용자 입력신호를 고려한 햅틱 모터 구동 방법

Publications (2)

Publication Number Publication Date
KR20200101033A true KR20200101033A (ko) 2020-08-27
KR102273804B1 KR102273804B1 (ko) 2021-07-06

Family

ID=72143588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190019171A KR102273804B1 (ko) 2019-02-19 2019-02-19 사용자 입력신호를 고려한 햅틱 모터 구동 방법

Country Status (5)

Country Link
US (1) US11907424B2 (ko)
JP (1) JP7283809B2 (ko)
KR (1) KR102273804B1 (ko)
CN (1) CN113498504A (ko)
WO (1) WO2020171612A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140030053A (ko) * 2012-08-31 2014-03-11 임머숀 코퍼레이션 매핑을 사용한 사운드-햅틱 효과 변환 시스템
KR101427883B1 (ko) * 2013-02-08 2014-08-07 주식회사 케이씨텍 표면 개질된 연마입자, 그의 제조 방법 및 그를 포함하는 슬러리 조성물
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR20140135669A (ko) * 2013-05-17 2014-11-26 임머숀 코퍼레이션 저주파수 효과 햅틱 변환 시스템
KR20150144704A (ko) * 2014-06-16 2015-12-28 임머숀 코퍼레이션 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법
KR20180062174A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002078066A (ja) * 2000-08-25 2002-03-15 Yamaha Corp 振動波形信号出力装置
KR100730786B1 (ko) * 2005-09-28 2007-06-20 한국표준과학연구원 접촉감지 신호 처리 기능을 개선한 접촉 감지 장치
US7969287B2 (en) * 2008-08-18 2011-06-28 Visteon Global Technologies, Inc. Haptic effect control system
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
KR101427993B1 (ko) 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
JP2018011201A (ja) * 2016-07-13 2018-01-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、およびプログラム
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
EP3869300A4 (en) * 2018-10-19 2021-12-15 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140030053A (ko) * 2012-08-31 2014-03-11 임머숀 코퍼레이션 매핑을 사용한 사운드-햅틱 효과 변환 시스템
KR101427883B1 (ko) * 2013-02-08 2014-08-07 주식회사 케이씨텍 표면 개질된 연마입자, 그의 제조 방법 및 그를 포함하는 슬러리 조성물
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR20140135669A (ko) * 2013-05-17 2014-11-26 임머숀 코퍼레이션 저주파수 효과 햅틱 변환 시스템
KR20150144704A (ko) * 2014-06-16 2015-12-28 임머숀 코퍼레이션 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법
KR20180062174A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
WO2020171612A1 (ko) 2020-08-27
US20210382509A1 (en) 2021-12-09
JP2022521902A (ja) 2022-04-13
KR102273804B1 (ko) 2021-07-06
CN113498504A (zh) 2021-10-12
JP7283809B2 (ja) 2023-05-30
US11907424B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US9239700B2 (en) System and method for automatically producing haptic events from a digital audio signal
US9330546B2 (en) System and method for automatically producing haptic events from a digital audio file
US8688251B2 (en) System and method for automatically producing haptic events from a digital audio signal
US20210110841A1 (en) System and method for transforming authored haptic data to fit into haptic bandwidth
US11379044B2 (en) Adaptive haptic signal generating device and method thereof
JP2022116320A (ja) 車載音声機器のテスト方法、装置、電子機器及び記憶媒体
US11798382B2 (en) Haptic signal generating method and device using audio signal pattern
CN109541982B (zh) 连续活动智能个人助理
KR102273804B1 (ko) 사용자 입력신호를 고려한 햅틱 모터 구동 방법
CN111310059B (zh) 基于聚合资源的用户意图定位方法和装置
CN104420956A (zh) 自动控制车辆的排气声音的系统和方法
EP3772224B1 (en) Vibration signal generation apparatus and vibration signal generation program
US20230147412A1 (en) Systems and methods for authoring immersive haptic experience using spectral centroid
US20140185830A1 (en) Methods, systems, and apparatus for audio backtracking control
JP2014126593A (ja) 支援システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant