WO2020171614A1 - 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 - Google Patents

오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 Download PDF

Info

Publication number
WO2020171614A1
WO2020171614A1 PCT/KR2020/002437 KR2020002437W WO2020171614A1 WO 2020171614 A1 WO2020171614 A1 WO 2020171614A1 KR 2020002437 W KR2020002437 W KR 2020002437W WO 2020171614 A1 WO2020171614 A1 WO 2020171614A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal pattern
pattern
audio signal
signal
haptic
Prior art date
Application number
PCT/KR2020/002437
Other languages
English (en)
French (fr)
Inventor
이정훈
한인우
정광성
Original Assignee
주식회사 동운아나텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동운아나텍 filed Critical 주식회사 동운아나텍
Priority to CN202080015590.9A priority Critical patent/CN113454575A/zh
Priority to JP2021548643A priority patent/JP2022521398A/ja
Publication of WO2020171614A1 publication Critical patent/WO2020171614A1/ko
Priority to US17/405,977 priority patent/US11798382B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Definitions

  • the present invention relates to a method of generating a haptic signal, and more particularly, when there is a specific audio signal that is desired to be output as a haptic signal among various audio signals, it is possible to detect a specific audio signal pattern and connect an appropriate haptic signal to the output. It relates to a method and apparatus for generating a haptic signal using an audio signal pattern.
  • the audio signal When looking at the existing technology, most representatively, when converting an audio signal into a haptic signal, the audio signal is analyzed in the time domain or the frequency domain, and a signal focused on a specific area is drawn using a filter and connected with haptics.
  • a method of generating a haptic signal using a pattern of time and frequency of an audio signal has not been used in the prior art, and a method using a result of analyzing an audio signal in a time domain or a frequency domain was mainly used.
  • Prior Art 1 Korean Patent Laid-Open Publication No. 10-2011-0076283
  • the input audio pattern is the type of sound source to be generated in response to the user input pattern, generation time, and volume.
  • Prior Art 2 (Korean Patent Laid-Open Publication No. 10-2012-0126446) relates to a device for generating vibration feedback from an input audio signal, and haptics by deriving a parameter including at least one of vibration intensity and vibration roughness from an audio signal. Generate a signal.
  • Prior art 1 or 2 generates a haptic signal in a completely different manner from a method of generating a haptic signal using a pattern of time and frequency of an audio signal.
  • the first problem to be solved by the present invention is to generate a haptic signal capable of detecting a specific audio signal pattern and connecting an appropriate haptic signal to the output when there is a specific audio signal that is desired to be output as a haptic signal among various audio signals. To provide a way.
  • the second problem to be solved by the present invention is that the output haptic signal is matched to the pre-specified audio signal pattern, so it is possible to have a high hit rate, and fundamentally block the generation of unwanted haptic signals such as background sound and human voice. It is to provide a haptic signal generating device capable of this.
  • the present invention comprises the steps of: analyzing a received audio signal to generate a signal pattern consisting of signal sizes for each time and frequency band; Comparing a target audio signal pattern with the generated signal pattern; And generating a haptic signal corresponding to the target audio signal pattern when the matching rate exceeds a threshold value as a result of the comparison.
  • the step of scaling the generated signal pattern in consideration of a difference in size between the feature point of the generated signal pattern and the feature point of the target audio signal pattern may be further included.
  • a matching rate may be calculated based on a difference between the feature points.
  • the present invention comprises: a signal pattern generator configured to analyze a received audio signal to generate a signal pattern consisting of signal sizes for each time and frequency band; A pattern comparison unit comparing a target audio signal pattern with the generated signal pattern; And a haptic signal generator for generating a haptic signal corresponding to the target audio signal pattern when the matching rate exceeds a threshold value as a result of the comparison.
  • a scaling unit for scaling the generated signal pattern may be further included in consideration of a difference in size between the feature point of the generated signal pattern and the feature point of the target audio signal pattern.
  • the pattern comparison unit extracts feature points of the target audio signal pattern and the generated signal pattern and calculates a matching rate based on a difference between the feature points.
  • the present invention provides a computer-readable recording medium recording a program for executing the method for generating a haptic signal in a computer.
  • the present invention when there is a specific audio signal that is desired to be output as a haptic signal among various audio signals, it is possible to detect a specific audio signal pattern and connect an appropriate haptic signal to the output.
  • the output haptic signal is matched to a preset audio signal pattern, it is possible to have a high hit rate, and it is possible to fundamentally block the generation of unwanted haptic signals such as background sound and human voice. .
  • the feature points are extracted from the signal pattern and the matching rate is compared, it can be quickly compared, and even if there is noise, if the feature points of the signal pattern match, a haptic signal is generated. Even in a situation, it is possible to ensure a uniform haptic output.
  • FIG. 1 is a block diagram of an apparatus for generating a haptic signal according to an exemplary embodiment of the present invention.
  • FIG. 2 shows a waveform of an audio signal over time.
  • FIG. 3 illustrates a signal pattern obtained by analyzing the audio signal of FIG. 2 input according to an embodiment of the present invention for each time and frequency band.
  • FIG. 4 is a flowchart of a method for generating a haptic signal according to an exemplary embodiment of the present invention.
  • the present invention comprises the steps of analyzing a received audio signal to generate a signal pattern consisting of signal sizes for each time and frequency band; Comparing a target audio signal pattern with the generated signal pattern; And generating a haptic signal corresponding to the target audio signal pattern when the matching rate exceeds a threshold value as a result of the comparison.
  • FIG. 1 is a block diagram of an apparatus for generating a haptic signal according to an exemplary embodiment of the present invention.
  • a signal pattern generating unit 110 a target pattern storage unit 120, a scaling unit 130, a pattern comparing unit 140, a haptic signal generating unit ( 150), and a motor driving unit 160.
  • the signal pattern generation unit 110 analyzes the received audio signal and generates a signal pattern composed of signal sizes for each time and frequency band.
  • the signal pattern generator 110 may analyze the audio signal by analyzing it in the time domain or converting it into the frequency domain. When transforming into the frequency domain, it is preferable to transform the audio signal for each frequency band by using Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • the target pattern storage unit 120 stores an audio signal pattern for generating a haptic signal as a target audio signal pattern.
  • a haptic signal corresponding to the stored target audio signal pattern may be stored.
  • FIG. 2 shows a waveform of an audio signal over time.
  • FIG. 3 illustrates a signal pattern obtained by analyzing the audio signal of FIG. 2 input according to an embodiment of the present invention for each time and frequency band.
  • the horizontal axis represents the time axis
  • the vertical axis represents the frequency axis
  • the intersection point of time and frequency represents the magnitude of a signal.
  • the blue color indicates that the signal level of the corresponding frequency is small and the red color indicates the signal size is large.
  • the audio signal when the audio signal is analyzed for each time and frequency band, a unique audio signal pattern can be generated, and when the degree to which the generated signal pattern matches the target audio signal pattern desired by the user is analyzed, matching above the threshold value When the rate comes out, the corresponding haptic signal is generated. Since the signal pattern generated from the audio signal is compared with the signal pattern stored in advance, it has a fairly high hit rate according to the matching rate.
  • the scaling unit 130 scales the generated signal pattern in consideration of a difference in size between the feature points of the signal pattern generated by the signal pattern generation unit 110 and the feature points of the target audio signal pattern stored in the target pattern storage unit 120. .
  • the pattern comparison unit 140 compares the target audio signal pattern received from the target pattern storage unit 120 or the scaling unit 130 with the signal pattern generated by the signal pattern generation unit 110.
  • the pattern comparison unit 140 may extract feature points of the target audio signal pattern and the generated signal pattern and calculate a matching rate based on a difference between the feature points.
  • the matching rate calculation time may be shortened compared to the case of comparing the entire signal patterns.
  • the pattern comparison unit 140 may compare signal patterns with respect to a specific frequency band during a specific time of the signal pattern illustrated in FIG. 2.
  • the pattern comparison unit 140 As a result of comparing the signal patterns by the pattern comparison unit 140, if it is determined that a specific frequency band during a specific time period of the signal pattern is an area of a signal pattern having characteristics that distinguishes the target audio signal from other audio signals, the target audio signal It is preferable to reduce the time and frequency band in the pattern of the above to the specific time and specific frequency band.
  • the haptic signal generation unit 150 generates a haptic signal corresponding to the target audio signal pattern when the matching rate exceeds a threshold value as a result of comparison by the pattern comparison unit 140.
  • the haptic signal corresponding to one target audio signal pattern is excessively generated by counting the number of occurrences of the haptic signal, it is highly likely that a matching error has occurred, so it is desirable to increase the threshold of the matching rate.
  • the motor driving unit 160 drives a haptic motor by receiving a haptic signal from the haptic signal generating unit 150.
  • FIG. 4 is a flowchart of a method for generating a haptic signal according to an exemplary embodiment of the present invention.
  • the method for generating a haptic signal according to the present embodiment includes steps that are processed in time series by the apparatus for generating a haptic signal shown in FIG. 1. Therefore, even if omitted below, the contents described above with respect to the haptic signal generating apparatus shown in FIG. 1 are also applied to the haptic signal generating method according to the present embodiment.
  • step 410 the apparatus for generating a haptic signal analyzes the received audio signal and generates a signal pattern consisting of the magnitude of the signal for each time and frequency band.
  • the received audio signal can be analyzed in the time domain or converted to the frequency domain for analysis.
  • an audio signal may be transformed for each frequency band by using Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • the haptic signal generating apparatus scales the generated signal pattern in consideration of a difference in size between the feature points of the signal pattern generated in step 410 and the feature points of the target audio signal pattern stored in the target pattern storage unit 120.
  • step 430 the haptic signal generating device compares the target audio signal pattern with the generated signal pattern.
  • the signal patterns can be compared.
  • the matching rate calculation time can be shortened compared to the prior art compared to the case of comparing the entire signal patterns.
  • a specific frequency band for a specific time period of the signal pattern is an area of a signal pattern characterized by distinguishing the target audio signal from other audio signals, the time in the pattern of the target audio signal It is desirable to reduce the over-frequency band to the specific time and specific frequency band.
  • step 440 the haptic signal generating apparatus proceeds to step 450 when the matching rate exceeds the threshold value, and ends when the matching rate does not exceed the threshold value.
  • step 450 the apparatus for generating a haptic signal generates a haptic signal corresponding to the target audio signal pattern when the matching rate exceeds a threshold value as a result of determination in step 440.
  • the haptic signal corresponding to the target audio signal pattern may be stored in the target pattern storage unit 120 and transmitted to the haptic signal generation unit 150.
  • Embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the above-described hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

Abstract

본 발명은 햅틱 신호 발생 방법에 관한 것으로서 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계, 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계, 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 것을 특징으로 하며, 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있다.

Description

오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
본 발명은 햅틱 신호 발생 방법에 관한 것으로서, 더욱 상세하게는 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있는 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치에 관한 것이다.
햅틱기술을 지원하는 제품은 사용자에게 촉각이라는 정보를 추가함에 따라 보다 많은 현장감 및 몰입을 가능하게 해준다. 하지만 기존에 촉각 정보가 포함되어 있지 않은 컨텐츠를 이용하여 햅틱기술을 구현하기 위해서는 컨텐츠 재생시 특정 시간과 목적에 맞게 진동패턴이 사전에 해당 컨텐츠에 심겨져 있어야 하므로 아주 많은 시간과 노력, 비용이 필요하게 된다. 이에 대한 해결을 위해서 기존 오디오 신호가 있는 경우 이 오디오 신호를 햅틱신호로 자동으로 변환해주는 햅틱 기술이 필요한 실정이다.
기존 기술을 살펴보면 가장 대표적으로는 오디오 신호를 햅틱신호로 변환할 때, 오디오 신호를 시간영역 혹은 주파수영역에서 분석하고 이를 필터를 이용해 특정 영역에 집중하는 신호를 끌어오고 이를 햅틱으로 연결하였다. 그러나 오디오 신호의 시간과 주파수의 패턴을 이용하여 햅틱 신호를 발생시키는 방식은 종래 기술에서는 사용된 바 없으며, 주로 오디오 신호를 시간영역 혹은 주파수영역에서 분석한 결과를 이용하는 방식을 사용하였다.
선행기술 1(한국공개특허 10-2011-0076283)은 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치에 관한 기술로서, 입력 오디오 패턴은 사용자 입력 패턴에 대응하여 발생할 음원의 종류 및 발생 유지 시간, 음량 등으로 이루어진다.
선행기술 2(한국공개특허 10-2012-0126446)는 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치에 관한 기술로서, 오디오 신호로부터 진동 세기 및 진동 거칠기 중 적어도 하나를 포함하는 파라미터를 도출하여 햅틱 신호를 발생시킨다.
선행기술 1 또는 선행기술 2는 오디오 신호의 시간과 주파수의 패턴을 이용하여 햅틱 신호를 발생시키는 방식과는 전혀 다른 방식으로 햅틱 신호를 발생시키고 있다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있는 햅틱 신호 발생 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 출력 햅틱 신호가 사전에 지정해놓은 오디오 신호 패턴에 맞춰지게 되므로 높은 적중률을 갖는 게 가능하고, 배경음 및 사람의 목소리와 같은 원하지 않는 햅틱 신호 생성에 대해서 원천적인 차단이 가능한 햅틱 신호 발생 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계; 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계; 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 햅틱 신호 발생 방법을 제공한다.
본 발명의 일 실시 예에 의하면, 상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 단계를 더 포함할 수 있다.
또한, 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 신호패턴 생성부; 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 패턴 비교부; 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 햅틱신호 발생부를 포함하는 햅틱 신호 발생 장치를 제공한다.
본 발명의 일 실시 예에 의하면, 상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 스케일링부를 더 포함할 수 있다.
또한, 상기 패턴 비교부는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산하는 것이 바람직하다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 햅틱 신호 발생 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 다양한 오디오 신호 중에서 햅틱 신호로 출력이 되었으면 하는 특정 오디오 신호가 있는 경우, 특정 오디오 신호 패턴을 감지하고 이에 적절한 햅틱 신호를 출력으로 연결할 수 있다.
또한, 본 발명에 따르면, 출력 햅틱 신호가 사전에 지정해놓은 오디오 신호 패턴에 맞춰지게 되므로 높은 적중률을 갖는 게 가능하고, 배경음 및 사람의 목소리와 같은 원하지 않는 햅틱 신호 생성에 대해서 원천적인 차단이 가능하다.
나아가, 본 발명에 따르면, 신호 패턴으로부터 특징점을 추출하여 매칭율을 비교하므로, 빠르게 비교할 수 있고, 노이즈가 있는 경우라도 신호 패턴의 특징점이 일치하면, 햅틱 신호가 발생되므로, 다양하고 노이즈가 섞여있는 상황에서도 균일한 형태의 햅틱 출력을 보장할 수 있다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 장치의 구성도이다.
도 2는 시간에 따른 오디오 신호의 파형을 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 입력되는 도 2의 오디오 신호를 시간 및 주파수 대역별로 분석한 신호 패턴을 도시한 것이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 방법의 흐름도이다.
본 발명은 상기 과제를 달성하기 위하여, 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계; 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계; 및 상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 햅틱 신호 발생 방법을 제공한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 장치의 구성도이다.
도 1을 참조하면, 본 실시 예에 따른 햅틱 신호 발생 장치는 신호패턴 생성부(110), 타겟 패턴 저장부(120), 스케일링부(130), 패턴 비교부(140), 햅틱신호 발생부(150), 및 모터 구동부(160)로 구성된다.
신호패턴 생성부(110)는 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성한다.
신호패턴 생성부(110)는 오디오 신호를 시간 영역에서 분석하거나 주파수 영역으로 변환하여 분석할 수 있다. 주파수 영역으로 변환시 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 오디오 신호를 주파수 대역별로 변환하는 것이 바람직하다.
타겟 패턴 저장부(120)는 햅틱 신호를 발생하고자 하는 오디오 신호 패턴을 타겟 오디오 신호 패턴으로 저장한다. 또한, 저장된 타겟 오디오 신호 패턴에 대응하는 햅틱신호를 저장할 수 있다.
도 2는 시간에 따른 오디오 신호의 파형을 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 입력되는 도 2의 오디오 신호를 시간 및 주파수 대역별로 분석한 신호 패턴을 도시한 것이다.
도 3을 참조하면, 가로축은 시간축, 세로축은 주파수 축을 나타내며, 시간과 주파수의 교차점은 신호의 크기를 나타낸다.
푸른색이 해당 시간에 해당 주파수의 신호 크기가 작은 것이고 붉은 색이 신호의 크기가 큰 것이다.
도 3에 도시된 바와 같이 오디오 신호를 시간 및 주파수 대역별로 분석하면 고유의 오디오 신호 패턴을 생성할 수 있고 생성된 신호 패턴이 사용자가 원하는 타겟 오디오 신호 패턴과 매칭하는 정도를 분석했을 때 임계치 이상의 매칭율이 나오면 대응하는 햅틱 신호를 발생하도록 한다. 오디오 신호로부터 생성된 신호 패턴과 사전에 저장된 신호 패턴을 비교하는 것이므로 매칭율에 따라서 상당히 높은 수준의 적중률을 갖게 된다.
스케일링부(130)는 신호패턴 생성부(110)에서 생성된 신호 패턴의 특징점과 타겟 패턴 저장부(120)에 저장된 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링한다.
패턴 비교부(140)는 타켓 패턴 저장부(120) 또는 스케일링부(130)로부터 수신한 타겟 오디오 신호 패턴과 신호패턴 생성부(110)가 생성한 신호 패턴을 비교한다.
패턴 비교부(140)는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 상기 특징점들 간의 차이를 기초로 하여 매칭율을 계산할 수 있다. 두 신호 패턴의 특징점을 추출하여 대응하는 특징점들 간의 차이를 기초로 매칭율을 계산할 경우 신호 패턴 전체를 비교하는 경우보다 매칭율 계산시간을 단축시킬 수 있다.
도 2를 다시 참조하면, 패턴 비교부(140)는 도 2에 도시된 신호 패턴의 특정 시간 동안의 특정 주파수 대역에 대해서 신호 패턴끼리 비교할 수 있다.
패턴 비교부(140)가 신호 패턴을 비교한 결과, 신호 패턴의 특정 시간 동안의 특정 주파수 대역이 타겟 오디오 신호를 다른 오디오 신호와 구별해주는 특징이 있는 신호 패턴의 영역이라고 판단되면, 상기 타겟 오디오 신호의 패턴에서의 시간과 주파수 대역을 상기 특정 시간과 특정 주파수 대역으로 줄이는 것이 바람직하다.
햅틱신호 발생부(150)는 패턴 비교부(140)의 비교 결과 매칭율이 임계값을 넘는 경우 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시킨다.
한편, 햅틱 신호 발생 횟수를 카운팅하여 하나의 타겟 오디오 신호 패턴에 대응하는 햅틱 신호가 일정 횟수 이상 과도하게 발생할 경우, 매칭 오류가 발생하였을 가능성이 높으므로 매칭율의 임계값을 높이는 것이 바람직하다.
모터 구동부(160)는 햅틱신호 발생부(150)로부터 햅틱 신호를 수신하여 햅틱 모터를 구동한다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 햅틱 신호 발생 방법의 흐름도이다.
도 4를 참조하면, 본 실시 예에 따른 햅틱 신호 발생 방법은 도 1에 도시된 햅틱 신호 발생 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 햅틱 신호 발생 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 햅틱 신호 발생 방법에도 적용된다.
410 단계에서 햅틱 신호 발생 장치는 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성한다.
수신되는 오디오 신호를 시간 영역에서 분석하거나 주파수 영역으로 변환하여 분석할 수 있다. 주파수 영역으로 변환시 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 오디오 신호를 주파수 대역별로 변환할 수 있다.
420 단계에서 햅틱 신호 발생 장치는 410 단계에서 생성된 신호 패턴의 특징점과 타겟 패턴 저장부(120)에 저장된 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링한다.
430 단계에서 햅틱 신호 발생 장치는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교한다.
상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산함으로써, 신호 패턴끼리 비교가능하도록 할 수 있다. 두 신호 패턴의 특징점을 추출하여 대응하는 특징점들 간의 차이를 기초로 매칭율을 계산할 경우 신호 패턴 전체를 비교하는 경우보다 매칭율 계산시간을 종래 기술보다 단축시킬 수 있다.
한편, 신호 패턴을 비교한 결과, 신호 패턴의 특정 시간 동안의 특정 주파수 대역이 타겟 오디오 신호를 다른 오디오 신호와 구별해주는 특징이 있는 신호 패턴의 영역이라고 판단되면, 상기 타겟 오디오 신호의 패턴에서의 시간과 주파수 대역을 상기 특정 시간과 특정 주파수 대역으로 줄이는 것이 바람직하다.
440 단계에서 햅틱 신호 발생 장치는 매칭율이 임계값을 넘는 경우 450 단계로 진행하고, 매칭율이 임계값을 넘지 않는 경우 종료한다.
450 단계에서 햅틱 신호 발생 장치는 440 단계에서 판단결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시킨다.
한편, 햅틱 신호 발생 횟수를 카운팅하여 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호가 일정 횟수 이상 과도하게 발생할 경우, 매칭 오류가 발생하였을 가능성이 높으므로 매칭율의 임계값을 높이는 것이 바람직하다.
상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호는 타겟 패턴 저장부(120)에 저장되어 있다가 햅틱신호 발생부(150)로 전달될 수 있다.
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (7)

  1. 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 단계;
    타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 단계; 및
    상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 단계를 포함하는 햅틱 신호 발생 방법.
  2. 제1 항에 있어서,
    상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 햅틱 신호 발생 방법.
  3. 제1 항에 있어서,
    상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산하는 것을 특징으로 하는 햅틱 신호 발생 방법.
  4. 수신되는 오디오 신호를 분석하여 시간 및 주파수 대역별 신호의 크기로 구성된 신호 패턴을 생성하는 신호패턴 생성부;
    타겟 오디오 신호 패턴과 상기 생성된 신호 패턴을 비교하는 패턴 비교부; 및
    상기 비교결과, 매칭율이 임계값을 넘는 경우 상기 타겟 오디오 신호 패턴에 대응하는 햅틱 신호를 발생시키는 햅틱신호 발생부를 포함하는 햅틱 신호 발생 장치.
  5. 제4 항에 있어서,
    상기 생성된 신호 패턴의 특징점과 상기 타겟 오디오 신호 패턴의 특징점의 크기 차이를 고려하여 상기 생성된 신호 패턴을 스케일링하는 스케일링부를 더 포함하는 것을 특징으로 하는 햅틱 신호 발생 장치.
  6. 제4 항에 있어서,
    상기 패턴 비교부는 상기 타겟 오디오 신호 패턴과 상기 생성된 신호 패턴의 특징점들을 추출하여, 특징점들 간의 차이를 기초로 하여 매칭율을 계산하는 것을 특징으로 하는 햅틱 신호 발생 장치.
  7. 제1 항 내지 제3 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2020/002437 2019-02-19 2020-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 WO2020171614A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080015590.9A CN113454575A (zh) 2019-02-19 2020-02-19 利用音频信号模式的触觉信号产生方法及装置
JP2021548643A JP2022521398A (ja) 2019-02-19 2020-02-19 オーディオ信号パターンを用いたハプティック信号発生方法および装置
US17/405,977 US11798382B2 (en) 2019-02-19 2021-08-18 Haptic signal generating method and device using audio signal pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0019182 2019-02-19
KR1020190019182A KR102273805B1 (ko) 2019-02-19 2019-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/405,977 Continuation US11798382B2 (en) 2019-02-19 2021-08-18 Haptic signal generating method and device using audio signal pattern

Publications (1)

Publication Number Publication Date
WO2020171614A1 true WO2020171614A1 (ko) 2020-08-27

Family

ID=72144525

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002437 WO2020171614A1 (ko) 2019-02-19 2020-02-19 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Country Status (5)

Country Link
US (1) US11798382B2 (ko)
JP (1) JP2022521398A (ko)
KR (1) KR102273805B1 (ko)
CN (1) CN113454575A (ko)
WO (1) WO2020171614A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656636B1 (ko) * 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
CN116185165B (zh) * 2022-06-17 2024-04-02 武汉市聚芯微电子有限责任公司 一种触觉生成方法、系统、设备以及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20090130833A (ko) * 2008-06-16 2009-12-24 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
KR100969870B1 (ko) * 2010-02-01 2010-07-13 전자부품연구원 오디오 입력데이터 특성에 따른 가변 가중치 기반 음원 검색 시스템
KR20140030053A (ko) * 2012-08-31 2014-03-11 임머숀 코퍼레이션 매핑을 사용한 사운드-햅틱 효과 변환 시스템
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100247969B1 (ko) * 1997-07-15 2000-03-15 윤종용 대용량패턴정합장치및방법
KR20110076283A (ko) 2009-12-29 2011-07-06 삼성전자주식회사 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) * 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
KR20120126446A (ko) * 2011-05-11 2012-11-21 엘지전자 주식회사 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US8804093B2 (en) * 2011-10-26 2014-08-12 LeVoy Haight Systems and methods for theater seat movement
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
JP2018064216A (ja) * 2016-10-13 2018-04-19 シャープ株式会社 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20090130833A (ko) * 2008-06-16 2009-12-24 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
KR100969870B1 (ko) * 2010-02-01 2010-07-13 전자부품연구원 오디오 입력데이터 특성에 따른 가변 가중치 기반 음원 검색 시스템
KR20140030053A (ko) * 2012-08-31 2014-03-11 임머숀 코퍼레이션 매핑을 사용한 사운드-햅틱 효과 변환 시스템
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법

Also Published As

Publication number Publication date
CN113454575A (zh) 2021-09-28
US11798382B2 (en) 2023-10-24
KR102273805B1 (ko) 2021-07-06
JP2022521398A (ja) 2022-04-07
US20210383661A1 (en) 2021-12-09
KR20200101040A (ko) 2020-08-27

Similar Documents

Publication Publication Date Title
WO2020171614A1 (ko) 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
WO2014069741A1 (ko) 자동 채점 장치 및 방법
Turchet et al. Real-time hit classification in a Smart Cajón
US20170249957A1 (en) Method and apparatus for identifying audio signal by removing noise
WO2015152586A1 (ko) 유사도판별장치 및 그 동작 방법
EP2328143B1 (en) Human voice distinguishing method and device
CN110415722B (zh) 语音信号处理方法、存储介质、计算机程序和电子设备
Zhang et al. Aslnet: An encoder-decoder architecture for audio splicing detection and localization
KR102411687B1 (ko) 정상상태시각유발전위신호에 대한 자극 주파수 검출 방법
WO2015093668A1 (ko) 오디오 신호 처리 장치 및 방법
Lee et al. Representation Selective Self-distillation and wav2vec 2.0 Feature Exploration for Spoof-aware Speaker Verification
Zhang et al. CELIP: Ultrasonic-based Lip Reading with Channel Estimation Approach for Virtual Reality Systems
CN111710327A (zh) 用于模型训练和声音数据处理的方法、装置、设备和介质
JP6891144B2 (ja) 生成装置、生成方法及び生成プログラム
KR102140714B1 (ko) 안드로이드 애플리케이션의 주요부분을 패턴화한 멀웨어 탐지 분류 방법 및 시스템
Chen et al. Permutation Invariant Training of Generative Adversarial Network for Monaural Speech Separation.
KR20210094899A (ko) 소음 제거 방법 및 이를 위한 장치
WO2020171612A1 (ko) 사용자 입력신호를 고려한 햅틱 모터 구동 방법
JP2023507343A (ja) 咳嗽自動検出のための方法および装置
CN108831230B (zh) 一种自动跟踪学习内容的学习互动方法及智慧台灯
Bando et al. Recognition of in-field frog chorusing using Bayesian nonparametric microphone array processing
KR20160141070A (ko) 영상이미지를 이용한 음악연주장치, 그 방법 및 영상이미지를 이용한 음악연주 프로그램을 저장하는 저장매체
Xu et al. Disappeared command: spoofing attack on automatic speech recognition systems with sound masking
WO2022114347A1 (ko) 화자 정보와의 적대적 학습을 활용한 음성 신호 기반 스트레스 인식 장치 및 방법
Fiona Keyboard acoustic triangulation attack

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759949

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548643

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759949

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20759949

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26.04.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20759949

Country of ref document: EP

Kind code of ref document: A1