KR20200101040A - 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 - Google Patents

오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 Download PDF

Info

Publication number
KR20200101040A
KR20200101040A KR1020190019182A KR20190019182A KR20200101040A KR 20200101040 A KR20200101040 A KR 20200101040A KR 1020190019182 A KR1020190019182 A KR 1020190019182A KR 20190019182 A KR20190019182 A KR 20190019182A KR 20200101040 A KR20200101040 A KR 20200101040A
Authority
KR
South Korea
Prior art keywords
signal pattern
pattern
signal
audio signal
haptic
Prior art date
Application number
KR1020190019182A
Other languages
English (en)
Other versions
KR102273805B1 (ko
Inventor
이정훈
한인우
정광성
Original Assignee
주식회사 동운아나텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동운아나텍 filed Critical 주식회사 동운아나텍
Priority to KR1020190019182A priority Critical patent/KR102273805B1/ko
Priority to PCT/KR2020/002437 priority patent/WO2020171614A1/ko
Priority to CN202080015590.9A priority patent/CN113454575A/zh
Priority to JP2021548643A priority patent/JP2022521398A/ja
Publication of KR20200101040A publication Critical patent/KR20200101040A/ko
Application granted granted Critical
Publication of KR102273805B1 publication Critical patent/KR102273805B1/ko
Priority to US17/405,977 priority patent/US11798382B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

본 발명은 햅틱 신호 발생 방법에 관한 것으로서 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계, 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계, 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 것을 특징으로 하며, 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있다.

Description

오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치{METHOD AND APPARATUS FOR GENERATING A HAPTIC SIGNAL USING AUDIO SIGNAL PATTERN}
본 발명은 햅틱 신호 발생 방법에 관한 것으로서, 더욱 상세하게는 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있는 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치에 관한 것이다.
햅틱기술을 지원하는 제품은 사용자에게 촉각이라는 정보를 추가함에 따라 보다 많은 현장감 및 몰입을 가능하게 해준다. 하지만 기존에 촉각 정보가 포함되어 있지 않은 컨텐츠를 이용하여 햅틱기술을 구현하기 위해서는 컨텐츠 재생시 특정 시간과 목적에 맞게 진동패턴이 사전에 해당 컨텐츠에 심겨져 있어야 하므로 아주 많은 시간과 노력, 비용이 필요하게 된다. 이에 대한 해결을 위해서 기존 오디오 신호가 있는 경우 이 오디오 신호를 햅틱신호로 자동으로 변환해주는 햅틱 기술이 필요한 실정이다.
기존 기술을 살펴보면 가장 대표적으로는 오디오 신호를 햅틱신호로 변환할 때, 오디오 신호를 시간영역 혹은 주파수영역에서 분석하고 이를 필터를 이용해 특정 영역에 집중하는 신호를 끌어오고 이를 햅틱으로 연결하였다. 그러나 오디오 신호의 시간과 주파수의 패턴을 이용하여 햅틱 신호를 발생시키는 방식은 종래 기술에서는 사용된 바 없으며, 주로 오디오 신호를 시간영역 혹은 주파수영역에서 분석한 결과를 이용하는 방식을 사용하였다.
선행기술 1(한국공개특허 10-2011-0076283)은 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치에 관한 기술로서, 입력 오디오 패턴은 사용자 입력 패턴에 대응하여 발생할 음원의 종류 및 발생 유지 시간, 음량 등으로 이루어진다.
선행기술 2(한국공개특허 10-2012-0126446)는 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치에 관한 기술로서, 오디오 신호로부터 진동 세기 및 진동 거칠기 중 적어도 하나를 포함하는 파라미터를 도출하여 햅틱 신호를 발생시킨다.
선행기술 1 또는 선행기술 2는 오디오 신호의 시간과 주파수의 패턴을 이용하여 햅틱 신호를 발생시키는 방식과는 전혀 다른 방식으로 햅틱 신호를 발생시키고 있다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있는 햅틱 신호 발생 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 출력 햅틱 신호가 사전에 지정해놓은 오디오 신호 패턴에 맞춰지게 되므로 높은 적중률을 갖는 게 가능하고, 배경음 및 사람의 목소리와 같은 원하지 않는 햅틱 신호 생성에 대해서 원천적인 차단이 가능한 햅틱 신호 발생 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계; 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계; 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 햅틱 신호 발생 방법을 제공한다.
본 발명의 일 실시 예에 의하면, 상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 단계를 더 포함할 수 있다.
또한, 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 신호패턴 생성부; 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 패턴 비교부; 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 햅틱신호 발생부를 포함하는 햅틱 신호 발생 장치를 제공한다.
본 발명의 일 실시 예에 의하면, 상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 스케일링부를 더 포함할 수 있다.
또한, 상기 패턴 비교부는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산하는 것이 바람직하다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 햅틱 신호 발생 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있다.
또한, 본 발명에 따르면, 출력 햅틱 신호가 사전에 지정해놓은 오디오 신호 패턴에 맞춰지게 되므로 높은 적중률을 갖는 게 가능하고, 배경음 및 사람의 목소리와 같은 원하지 않는 햅틱 신호 생성에 대해서 원천적인 차단이 가능하다.
나아가, 본 발명에 따르면, 신호 패턴으로부터 특징점을 추출하여 매칭율을 비교하므로, 빠르게 비교할 수 있고, 노이즈가 있는 경우라도 신호 패턴의 특징점이 일치하면, 햅틱 신호가 발생되므로, 다양하고 노이즈가 섞여있는 상황에서도 균일한 형태의 햅틱 출력을 보장할 수 있다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 장치의 구성도이다.
도 2는 시간에 따른 오디오 신호의 파형을 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 입력되는 도 2의 오디오 신호를 시간 및 주파수 대역별로 분석한 신호 패턴을 도시한 것이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 방법의 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 장치의 구성도이다.
도 1을 참조하면, 본 실시 예에 따른 햅틱 신호 발생 장치는 신호패턴 생성부(110), 타겟 패턴 저장부(120), 스케일링부(130), 패턴 비교부(140), 햅틱신호 발생부(150), 및 모터 구동부(160)로 구성된다.
신호패턴 생성부(110)는 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성한다.
신호패턴 생성부(110)는 오디오 신호를 시간 영역에서 분석하거나 주파수 영역으로 변환하여 분석할 수 있다. 주파수 영역으로 변환시 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 오디오 신호를 주파수 대역별로 변환하는 것이 바람직하다.
타겟 패턴 저장부(120)는 햅틱 신호를 발생하고자 하는 오디오 신호 패턴을 타겟 오디오 신호 패턴으로 저장한다. 또한, 저장된 타겟 오디오 신호 패턴에 대응하는 햅틱신호를 저장할 수 있다.
도 2는 시간에 따른 오디오 신호의 파형을 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 입력되는 도 2의 오디오 신호를 시간 및 주파수 대역별로 분석한 신호 패턴을 도시한 것이다.
도 3을 참조하면, 가로축은 시간축, 세로축은 주파수 축을 나타내며, 시간과 주파수의 교차점은 신호의 크기를 나타낸다.
푸른색이 해당 시간에 해당 주파수의 신호 크기가 작은 것이고 붉은 색이 신호의 크기가 큰 것이다.
도 3에 도시된 바와 같이 오디오 신호를 시간 및 주파수 대역별로 분석하면 고유의 오디오 신호 패턴을 생성할 수 있고 생성된 신호 패턴이 사용자가 원하는 타겟 오디오 신호 패턴과 매칭하는 정도를 분석했을 때 임계치 이상의 매칭율이 나오면 대응하는 햅틱 신호를 발생하도록 한다. 오디오 신호로부터 생성된 신호 패턴과 사전에 저장된 신호 패턴을 비교하는 것이므로 매칭율에 따라서 상당히 높은 수준의 적중률을 갖게 된다.
스케일링부(130)는 신호패턴 생성부(110)에서 생성된 신호 패턴의 특징점과 타겟 패턴 저장부(120)에 저장된 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링한다.
패턴 비교부(140)는 타켓 패턴 저장부(120) 또는 스케일링부(130)로부터 수신한 타겟 오디오 신호 패턴과 신호패턴 생성부(110)가 생성한 신호 패턴을 비교한다.
패턴 비교부(140)는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 상기 특징점들 간의 차이를 기초로 하여 매칭율을 계산할 수 있다. 두 신호 패턴의 특징점을 추출하여 대응하는 특징점들 간의 차이를 기초로 매칭율을 계산할 경우 신호 패턴 전체를 비교하는 경우보다 매칭율 계산시간을 단축시킬 수 있다.
도 2를 다시 참조하면, 패턴 비교부(140)는 도 2에 도시된 신호 패턴의 특정 시간 동안의 특정 주파수 대역에 대해서 신호 패턴끼리 비교할 수 있다.
패턴 비교부(140)가 신호 패턴을 비교한 결과, 신호 패턴의 특정 시간 동안의 특정 주파수 대역이 타겟 오디오 신호를 다른 오디오 신호와 구별해주는 특징이 있는 신호 패턴의 영역이라고 판단되면, 상기 타겟 오디오 신호의 패턴에서의 시간과 주파수 대역을 상기 특정 시간과 특정 주파수 대역으로 줄이는 것이 바람직하다.
햅틱신호 발생부(150)는 패턴 비교부(140)의 비교 결과 매칭율이 임계값을 넘는 경우 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시킨다.
한편, 햅틱 신호 발생 횟수를 카운팅하여 하나의 타겟 오디오 신호 패턴에 대응하는 햅틱 신호가 일정 횟수 이상 과도하게 발생할 경우, 매칭 오류가 발생하였을 가능성이 높으므로 매칭율의 임계값을 높이는 것이 바람직하다.
모터 구동부(160)는 햅틱신호 발생부(150)로부터 햅틱 신호를 수신하여 햅틱 모터를 구동한다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 방법의 흐름도이다.
도 4를 참조하면, 본 실시 예에 따른 햅틱 신호 발생 방법은 도 1에 도시된 햅틱 신호 발생 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 햅틱 신호 발생 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 햅틱 신호 발생 방법에도 적용된다.
410 단계에서 햅틱 신호 발생 장치는 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성한다.
수신되는 오디오 신호를 시간 영역에서 분석하거나 주파수 영역으로 변환하여 분석할 수 있다. 주파수 영역으로 변환시 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 오디오 신호를 주파수 대역별로 변환할 수 있다.
420 단계에서 햅틱 신호 발생 장치는 410 단계에서 생성된 신호 패턴의 특징점과 타겟 패턴 저장부(120)에 저장된 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링한다.
430 단계에서 햅틱 신호 발생 장치는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교한다.
상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산함으로써, 신호 패턴끼리 비교가능하도록 할 수 있다. 두 신호 패턴의 특징점을 추출하여 대응하는 특징점들 간의 차이를 기초로 매칭율을 계산할 경우 신호 패턴 전체를 비교하는 경우보다 매칭율 계산시간을 종래 기술보다 단축시킬 수 있다.
한편, 신호 패턴을 비교한 결과, 신호 패턴의 특정 시간 동안의 특정 주파수 대역이 타겟 오디오 신호를 다른 오디오 신호와 구별해주는 특징이 있는 신호 패턴의 영역이라고 판단되면, 상기 타겟 오디오 신호의 패턴에서의 시간과 주파수 대역을 상기 특정 시간과 특정 주파수 대역으로 줄이는 것이 바람직하다.
440 단계에서 햅틱 신호 발생 장치는 매칭율이 임계값을 넘는 경우 450 단계로 진행하고, 매칭율이 임계값을 넘지 않는 경우 종료한다.
450 단계에서 햅틱 신호 발생 장치는 440 단계에서 판단결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시킨다.
한편, 햅틱 신호 발생 횟수를 카운팅하여 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호가 일정 횟수 이상 과도하게 발생할 경우, 매칭 오류가 발생하였을 가능성이 높으므로 매칭율의 임계값을 높이는 것이 바람직하다.
상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호는 타겟 패턴 저장부(120)에 저장되어 있다가 햅틱신호 발생부(150)로 전달될 수 있다.
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (7)

  1. 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계;
    타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계; 및
    상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 햅틱 신호 발생 방법.
  2. 제1 항에 있어서,
    상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 햅틱 신호 발생 방법.
  3. 제1 항에 있어서,
    상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산하는 것을 특징으로 하는 햅틱 신호 발생 방법.
  4. 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 신호패턴 생성부;
    타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 패턴 비교부; 및
    상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 햅틱신호 발생부를 포함하는 햅틱 신호 발생 장치.
  5. 제4 항에 있어서,
    상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 스케일링부를 더 포함하는 것을 특징으로 하는 햅틱 신호 발생 장치.
  6. 제4 항에 있어서,
    상기 패턴 비교부는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산하는 것을 특징으로 하는 햅틱 신호 발생 장치.
  7. 제1 항 내지 제3 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190019182A 2019-02-19 2019-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 KR102273805B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190019182A KR102273805B1 (ko) 2019-02-19 2019-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
PCT/KR2020/002437 WO2020171614A1 (ko) 2019-02-19 2020-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
CN202080015590.9A CN113454575A (zh) 2019-02-19 2020-02-19 利用音频信号模式的触觉信号产生方法及装置
JP2021548643A JP2022521398A (ja) 2019-02-19 2020-02-19 オーディオ信号パターンを用いたハプティック信号発生方法および装置
US17/405,977 US11798382B2 (en) 2019-02-19 2021-08-18 Haptic signal generating method and device using audio signal pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190019182A KR102273805B1 (ko) 2019-02-19 2019-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200101040A true KR20200101040A (ko) 2020-08-27
KR102273805B1 KR102273805B1 (ko) 2021-07-06

Family

ID=72144525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190019182A KR102273805B1 (ko) 2019-02-19 2019-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Country Status (5)

Country Link
US (1) US11798382B2 (ko)
JP (1) JP2022521398A (ko)
KR (1) KR102273805B1 (ko)
CN (1) CN113454575A (ko)
WO (1) WO2020171614A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656636B1 (ko) * 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
CN116185165B (zh) * 2022-06-17 2024-04-02 武汉市聚芯微电子有限责任公司 一种触觉生成方法、系统、设备以及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20090130833A (ko) * 2008-06-16 2009-12-24 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
KR100969870B1 (ko) * 2010-02-01 2010-07-13 전자부품연구원 오디오 입력데이터 특성에 따른 가변 가중치 기반 음원 검색 시스템
KR20120126446A (ko) * 2011-05-11 2012-11-21 엘지전자 주식회사 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치
JP2014049139A (ja) * 2012-08-31 2014-03-17 Immersion Corp マッピングを用いた音をハプティック効果に変換するシステム
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR20150094504A (ko) * 2011-10-26 2015-08-19 레보이 하이트 극장 좌석 운동을 위한 시스템 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100247969B1 (ko) * 1997-07-15 2000-03-15 윤종용 대용량패턴정합장치및방법
KR20110076283A (ko) 2009-12-29 2011-07-06 삼성전자주식회사 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) * 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
JP2018064216A (ja) * 2016-10-13 2018-04-19 シャープ株式会社 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20090130833A (ko) * 2008-06-16 2009-12-24 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
KR100969870B1 (ko) * 2010-02-01 2010-07-13 전자부품연구원 오디오 입력데이터 특성에 따른 가변 가중치 기반 음원 검색 시스템
KR20120126446A (ko) * 2011-05-11 2012-11-21 엘지전자 주식회사 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치
KR20150094504A (ko) * 2011-10-26 2015-08-19 레보이 하이트 극장 좌석 운동을 위한 시스템 및 방법
JP2014049139A (ja) * 2012-08-31 2014-03-17 Immersion Corp マッピングを用いた音をハプティック効果に変換するシステム
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법

Also Published As

Publication number Publication date
CN113454575A (zh) 2021-09-28
WO2020171614A1 (ko) 2020-08-27
US11798382B2 (en) 2023-10-24
KR102273805B1 (ko) 2021-07-06
JP2022521398A (ja) 2022-04-07
US20210383661A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US8971549B2 (en) Audio signal processing apparatus, audio signal processing method, and program
Tian et al. Spoofing detection from a feature representation perspective
US8378198B2 (en) Method and apparatus for detecting pitch period of input signal
US20170249957A1 (en) Method and apparatus for identifying audio signal by removing noise
US11798382B2 (en) Haptic signal generating method and device using audio signal pattern
JP6553015B2 (ja) 話者属性推定システム、学習装置、推定装置、話者属性推定方法、およびプログラム
TWI740315B (zh) 聲音分離方法、電子設備和電腦可讀儲存媒體
JP5395399B2 (ja) 携帯端末、拍位置推定方法および拍位置推定プログラム
KR101907276B1 (ko) 악기연주 연습 시스템 및 악기연주 지원 방법
Suthokumar et al. Use of claimed speaker models for replay detection
EP3991168A1 (en) Spoofing detection apparatus, spoofing detection method, and computer-readable storage medium
JP2015200685A (ja) アタック位置検出プログラムおよびアタック位置検出装置
Maximos et al. Real-time drums transcription with characteristic bandpass filtering
JP2019049685A (ja) 音声抽出装置、音声抽出方法および音声抽出プログラム
JP2014016552A (ja) 音声信号処理方法、音声信号処理装置およびプログラム
JP6891144B2 (ja) 生成装置、生成方法及び生成プログラム
US20150364146A1 (en) Method for Providing Visual Feedback for Vowel Quality
JP5199915B2 (ja) 音場補正方法及び音場補正装置
KR102273804B1 (ko) 사용자 입력신호를 고려한 햅틱 모터 구동 방법
KR102241436B1 (ko) 임의의 오디오에 사용된 악기를 판단하고 분류하기 위한 학습 방법 및 테스트 방법, 이를 이용한 학습 장치 및 테스트 장치
JP6036242B2 (ja) 心音情報処理装置、心音情報処理方法およびプログラム
KR20150092671A (ko) 햅틱 데이터를 생성하기 위한 방법 및 이를 위한 장치
KR102002535B1 (ko) 음향 분석 장치 및 방법
JP6538002B2 (ja) 目的音集音装置、目的音集音方法、プログラム、記録媒体
Shi et al. Audio compression-assisted feature extraction for voice replay attack detection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant