KR20150080740A - Method and apparatus for generating audio signal and vibration signal based on audio signal - Google Patents
Method and apparatus for generating audio signal and vibration signal based on audio signal Download PDFInfo
- Publication number
- KR20150080740A KR20150080740A KR1020140000181A KR20140000181A KR20150080740A KR 20150080740 A KR20150080740 A KR 20150080740A KR 1020140000181 A KR1020140000181 A KR 1020140000181A KR 20140000181 A KR20140000181 A KR 20140000181A KR 20150080740 A KR20150080740 A KR 20150080740A
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- vibration
- signal
- vibration signal
- generating
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
본 발명은 신호 처리 방법에 관한 것으로써 보다 상세하게는 오디오 신호 및 진동 신호를 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a signal processing method, and more particularly, to a method and apparatus for generating an audio signal and a vibration signal.
최근 HCI(human computer interface)에 관한 관심이 높아지면서 오디오 신호 및 진동 신호의 변환 방법에 대한 연구도 점차 다양한 접근 방법들이 제안되고 연구되고 있다. 특히 이러한 방법들은 음악을 청취하는 일반인에게 음악의 실제감을 증대시키기 위한 방법 또는 청각 장애인이 음악을 느낄 수 있게 하는 방법으로써 활용되고 있다.Recently, as interest in HCI (human computer interface) has increased, researches on the conversion method of audio signal and vibration signal have been gradually proposed and studied. Especially, these methods are used as a way to increase the actual feeling of music to the public listening to the music or as a way to enable the hearing impaired to feel the music.
기존의 오디오-진동 변환 방법에 관하여는 다양한 방법들이 제안되어 왔다. 먼저 오디오 신호를 별도의 처리가 없이 그대로 통과시켜 진동으로 변환시켜주는 보이스 코일 등을 통해 진동으로 전달하는 방법을 일반적인 오디오-진동 변환 방법으로 사용하여 왔다. 보이스 코일은 일반적인 스피커 내부에 사용되는 것으로, 전기 신호가 들어오게 되면 전기가 코일을 통과하면서 상하로 진동하게 되는 원리이다. 이러한 보이스 코일은 반응 속도가 빠르고 진동 주파수 대역이 비교적 넓으며 가격도 저렴한 편이기 때문에 많이 사용된다. 특히 서브 우퍼와 같은 스피커에서 나오는 진동을 사람들이 쉽게 접해왔기 때문에 사용자 경험적인 측면에서도 유리하다.Various methods have been proposed for the conventional audio-vibration conversion method. A method of transmitting an audio signal by vibration through a voice coil or the like that passes the audio signal without any additional processing and converts it into vibration has been used as a general audio-vibration conversion method. The voice coil is used inside a general speaker. When an electric signal comes in, the electric coil vibrates up and down while passing through the coil. Such a voice coil is widely used because it has a high reaction speed, a relatively wide oscillation frequency band, and a low cost. Especially since the vibration from a speaker such as a subwoofer is easily accessible, it is advantageous from the user experience point of view.
또 다른 오디오-진동 변환 방법으로 오디오 신호를 주파수 축에서 여러개의 대역으로 구분하여 구분된 신호를 다수의 진동자를 통해 전달하는 방법도 있다. 이러한 방법은 사람은 청각적으로 저음역대부터 고음역대까지를 다르게 받아들이기 때문에 진동 또한 구분시켜 전달하는 개념으로 제시되었다. 이렇게 전달된 서브밴드 신호는 일렬 어레이 또는 격자 형태로 배열된 다수의 진동자로 전달된다.Another audio-vibration conversion method is to divide an audio signal into a plurality of bands in the frequency axis and transmit the separated signals through a plurality of vibrators. This method is presented as a concept of separating and transmitting vibrations because people accept audible changes from low to high frequency. The transmitted subband signals are transmitted to a plurality of oscillators arranged in a linear array or a lattice form.
또 다른 오디오-진동 변환 방법으로 여러개의 오디오 트랙을 가지고 있는 미디 음원이나, 각각의 악기들이 따로 녹음되어 악기 별 오디오 트랙이 별도로 존재하는 음악에 한정시켜 다수의 진동자를 통해 음악을 진동으로 표현할 수도 있다.In another audio-vibration conversion method, a MIDI sound source having a plurality of audio tracks, or each musical instrument may be recorded separately, so that the music can be expressed in a plurality of vibrators through a plurality of oscillators .
그러나 오디오-진동 변환 방법들은 진동을 위한 신호가 아닌 음원이 그대로 진동으로 재현되어 불필요한 구간에 진동이 전달되거나, 미디 음원과 같은 제한적인 오디오에만 적용 가능한 문제점이 있다. 이러한 문제점을 해결하기 위해 본 발명은 음악과 같은 오디오에서 특징 값을 추출하여 추출된 값을 바탕으로 진동 신호를 전달하기 위한 방법에 대해 개시한다.However, the audio-vibration conversion methods have a problem that the sound source is reproduced as a vibration as it is, not a signal for vibration, so that vibration is transmitted to an unnecessary section, or only limited audio such as a MIDI sound source is applied. In order to solve such a problem, the present invention discloses a method for extracting feature values from audio such as music and delivering the vibration signal based on the extracted values.
본 발명의 제1 목적은 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법을 제공하는 것이다.A first object of the present invention is to provide a method of generating a vibration signal based on an audio signal and an audio signal.
본 발명의 제2 목적은 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법을 수행하는 장치를 제공하는 것이다.A second object of the present invention is to provide an apparatus for performing a method of generating a vibration signal based on an audio signal and an audio signal.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른
According to an aspect of the present invention for attaining the first object of the present invention,
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 In order to achieve the second object of the present invention,
상술한 바와 같이 본 발명의 실시예에 따른 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치를 사용하는 경우 오디오 분석을 통해 추출할 수 있는 특징 값을 활용하여 오디오 신호를 진동으로 변환시켜 표현하고 전달할 수 있다. 이러한 벙법을 사용함으로써 사용자로 하여금 진동을 통해 음악의 리듬 패턴이나 특징을 느낄 수 있도록 하여, 음악의 실제감 증대나 청각 장애인에게 음악을 느낄 수 있도록 한다.As described above, when the method and apparatus for generating the vibration signal based on the audio signal and the audio signal according to the embodiment of the present invention are used, the audio signal can be vibrated Can be transformed, expressed and transmitted. By using this method, the user can feel the rhythm pattern or characteristic of the music through the vibration, so that the actual feeling of music can be increased or the music can be felt by the hearing-impaired person.
도 1은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 변조 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 리듬 패턴에 따른 진동 신호를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 오디오 신호 변조부가 오디오 신호의 에너지를 변화시키는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 진동 신호 및 변조된 오디오 신호를 생성하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 변조 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 순서도이다. 1 is a conceptual diagram illustrating a method for generating a modulated audio signal and a vibration signal based on an input audio signal according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a vibration signal according to a rhythm pattern according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a method of changing an energy of an audio signal according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a method of generating a vibration signal according to an input audio signal according to an embodiment of the present invention.
5 is a conceptual diagram illustrating a method of generating a vibration signal according to an input audio signal according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a method of generating a vibration signal according to an input audio signal according to an embodiment of the present invention.
7 is a conceptual diagram illustrating a method of generating a vibration signal and a modulated audio signal based on an input audio signal according to an embodiment of the present invention.
8 is a flowchart illustrating a method of generating a modulated audio signal and a vibration signal based on an input audio signal according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals will be used for the same constituent elements in the drawings, and redundant explanations for the same constituent elements will be omitted.
이하, 본 발명의 실시예에서는 오디오 신호의 특징 값을 추출하여 오디오 신호를 기반으로 음악의 진동을 표현하는 방법 및 장치에 대해 개시한다. 예를 들어, 오디오 신호에서 특징 값을 추출하여 음악의 리듬이나 비트, 빠르기 등을 검출하고, 이를 기반으로 오디오 신호를 변조하거나 진동신호를 생성하여 진동으로 전달한다.
Hereinafter, a method and apparatus for extracting a characteristic value of an audio signal and expressing the vibration of the music based on the audio signal will be described in the embodiments of the present invention. For example, a feature value is extracted from an audio signal to detect a rhythm, a beat, a speed, etc. of the music, and an audio signal is modulated or a vibration signal is generated based on the rhythm, beat, and speed.
도 1은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 개념도이다.1 is a conceptual diagram illustrating a method of generating an audio signal and a vibration signal based on an input audio signal according to an embodiment of the present invention.
도 1에서 개시하는 오디오-진동 신호 생성 장치는 신호 입력부(100), 특징 정보 추출부(110), 진동 신호 생성부(130), 진동부(150), 오디오 재생부(140) 및 프로세서(160)를 포함할 수 있다. 도 1에서 개시하는 오디오-진동 신호 생성 장치의 각 구성부는 설명의 편의상 개별적으로 표현한 것이다. 도 1에 개시된 각 구성부는 추가적으로 하나의 구성부가 복수의 구성부로 분할되거나 복수의 구성부가 하나의 구성부로 구현될 수 있다.1 includes a
도 1을 참조하면, 신호 입력부(100)는 오디오 신호를 입력받기 위해 구현될 수 있다. 신호 입력부(100)에 입력된 오디오 신호는 특징 정보가 분석되어 오디오 신호에 따른 진동 신호를 생성할 수 있다.Referring to FIG. 1, the
특징 정보 추출부(110)는 신호 입력부(100)에서 입력된 신호의 특징 정보를 추출하기 위해 구현될 수 있다. 오디오 신호에서 추출되는 특징 정보는 예를 들어, 오디오 신호의 에너지(energy), 시작점(onset, attack), 리듬(rhythm), 빠르기(tempo), 비트(beat), 음색(timbre, tone), 거칠기(roughness), 피치(pitch) 등 다양한 정보 중 적어도 하나의 정보일 수 있다. The feature
진동 신호 생성부(130)는 특징 정보 추출부(110)에서 추출된 입력 오디오 신호의 특징 정보를 기반으로 진동 신호를 생성하기 위해 구현될 수 있다. 진동 신호 생성부(130)에서는 검출된 특징 정보를 기반으로 새로운 진동 신호를 생성할 수 있다. 예를 들어 음악에서의 리듬 패턴을 추출하여 동일한 리듬 패턴을 가진 구간에서 진동 신호를 생성해 줄 수 있다. The vibration
프로세서(160)는 신호 입력부(100), 특징 정보 추출부(110), 진동 신호 생성부(130), 진동부(150), 오디오 재생부(140)의 동작을 제어하기 위해 구현될 수 있다.The
도 2는 본 발명의 실시예에 따른 리듬 패턴에 따른 진동 신호를 나타낸 개념도이다. 2 is a conceptual diagram illustrating a vibration signal according to a rhythm pattern according to an embodiment of the present invention.
도 2를 참조하면, 도 2의 상단은 원본 오디오 신호에서 음악 정보 검출(music information retrieval)을 기반으로 검출된 지점(200)을 나타낸다. 원본 오디오 신호는 음악 정보 검출 과정을 통해 특정한 지점을 검출할 수 있다.도 2의 하단은 원본 오디오에서 음악 정보 검출 단계를 통해 검출된 지점을 기반으로 생성된 진동 신호를 나타낸다.Referring to FIG. 2, the top of FIG. 2 shows the detected
진동부(150)는 진동 신호 생성부(130)에서 생성된 진동 신호를 기반으로 입력 신호에 따라 동기화하여 진동을 수행하기 위해 구현될 수 있다. The
오디오 재생부(140)는 원본 오디오 신호와 원본 오디오 신호에서 음악 정보 검출 과정을 기반으로 생성한 진동 신호와 동기화를 수행하여 오디오 신호를 재생할 수 있다. The
본 발명의 실시예에 따르면, 오디오-진동 출력 장치에서는 생성된 진동부(150)에서 생성되는 진동 신호와 오디오 신호가 동기화되어 출력될 수 있도록 동기화를 수행할 수 있다. 이러한 동기화를 기반으로 진동부(150)와 오디오 재생부(140)에서 오디오 신호와 오디오 신호를 기반으로 한 진동 신호가 동기화되어 재생될 수 있다.
According to the embodiment of the present invention, in the audio-vibration output apparatus, synchronization can be performed so that the vibration signal and the audio signal generated in the
이하, 본 발명의 실시예에 따른 오디오-진동 신호 생성 방법에 대해 구체적으로 개시한다. Hereinafter, a method for generating an audio-vibration signal according to an embodiment of the present invention will be described in detail.
전술한 바와 같이 특징 정보 추출부는 오디오 신호에서 특징 정보를 추출하기 위해 구현될 수 있다. 특징 정보는 오디오 신호의 에너지(energy), 시작점(onset, attack), 리듬(rhythm), 빠르기(tempo), 비트(beat), 음색(timbre, tone), 거칠기(roughness), 피치(pitch) 등과 같은 오디오 신호의 특징을 나타내는 정보일 수 있다. 위와 같은 오디오 신호의 특징 정보는 기존의 오디오 신호 분석 방법을 기반으로 수행될 수 있다.As described above, the feature information extracting unit can be implemented to extract feature information from an audio signal. The feature information may include information about the energy of an audio signal, onset, attack, rhythm, tempo, beat, timbre, tone, roughness, And may be information indicating characteristics of the same audio signal. The feature information of the audio signal as described above can be performed based on a conventional audio signal analysis method.
또한 본 발명의 실시예에 따르면, 입력 오디오 신호의 특징 정보에 따라 오디오 신호를 변조할 수도 있다. 오디오 신호 변조는 특징 정보를 기반으로 오디오 신호의 에너지 값을 일정한 부분으로 변화시킬 수 있다.
Also, according to the embodiment of the present invention, the audio signal may be modulated according to the feature information of the input audio signal. The audio signal modulation can change the energy value of the audio signal to a constant part based on the feature information.
도 3은 본 발명의 실시예에 따른 오디오 신호의 에너지를 변화시키는 방법을 나타낸 개념도이다.3 is a conceptual diagram illustrating a method of changing energy of an audio signal according to an embodiment of the present invention.
도 3에서는 특징 정보 추출을 통해 추출된 오디오 신호의 에너지에 대한 정보를 판단하고(단계 S300), 이를 기반으로 오디오 신호를 변조하는 방법(단계 S350)에 대해 개시한다. 입력된 오디오 신호의 에너지를 기반으로 오디오 신호를 변조할 수 있다. 예를 들어, 에너지가 큰 부분에 대해서는 상대적으로 좀 더 강조가 되도록 높은 가중치를 사용하여 에너지의 크기를 변환하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 작은 에너지를 가지도록 낮은 가중치를 사용하여 에너지의 크기를 변환할 수 있다.3, information on the energy of the audio signal extracted through the feature information extraction is determined (step S300), and a method of modulating the audio signal based on the information (step S350) is described. The audio signal can be modulated based on the energy of the input audio signal. For example, we can use a higher weight to transform the magnitude of the energy so that it is relatively more emphasized for the larger part of the energy, and a smaller weight for the smaller part of the energy. You can convert the size.
반대로 변환 방법에 따라 에너지가 큰 부분에 대해서는 상대적으로 좀 더 약해지도록 낮은 가중치를 사용하여 변환하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 큰 에너지를 가지도록 높은 가중치를 사용하여 변환할 수 있다. 이러한 변환 방법의 설정은 사용자의 설정에 따라 변화할 수 있다. Conversely, depending on the conversion method, a large weight can be transformed using a low weight to make it relatively weaker, and a high weight can be converted to have a relatively larger energy for a small amount of energy. The setting of this conversion method may be changed according to the setting of the user.
변환을 수행함에 있어서 에너지의 크기에 따라 선형적으로 가중치를 적용하여 오디오 신호를 변조할 수도 있으나, 계단 함수 형식으로 에너지의 크기에 따라 구간을 나누어 가중치를 적용할 수 있다. In performing the transform, the audio signal may be modulated by linearly applying weights according to the magnitude of the energy, but the weights can be applied by dividing the intervals according to the magnitude of the energy in the step function form.
예를 들어, 오디오 신호의 특징 정보를 기반으로 입력 오디오 신호의 에너지 값에 따라 구간을 구분할 수 있다. 입력 오디오 신호의 에너지 값에 따라 구분된 구간에 대하여 구간 별로 별도의 가중치를 부여하여 에너지 값이 큰 값으로 구분된 구간은 높은 가중치를 부여하고 에너지 값이 낮은 값으로 구분된 구간은 낮은 가중치를 부여하는 방법으로 에너지를 할당할 수 있다. 이러한 방법으로 입력 신호 중 에너지가 큰 구간에 대해 강조될 수 있도록 오디오 신호를 변조할 수 있다.For example, based on the feature information of the audio signal, the interval can be classified according to the energy value of the input audio signal. The energy value of the input audio signal is divided according to the energy value, and a weight is assigned to each interval. The energy value is assigned a high weight, and the low energy value is assigned a low weight The energy can be assigned in such a way. In this way, the audio signal can be modulated so that the energy of the input signal can be emphasized over a large section.
또한 본 발명의 실시예에 따르면 입력 오디오 신호에 따라 진동 신호를 생성함에 있어 검출된 오디오 특징 값을 바탕으로 해당 부분에 맞춰 새로운 진동 신호를 생성할 수 있다.
In addition, according to the embodiment of the present invention, a new vibration signal can be generated in accordance with a corresponding part based on the detected audio feature value in generating a vibration signal according to an input audio signal.
도 4는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.4 is a conceptual diagram illustrating a method of generating a vibration signal according to an input audio signal according to an embodiment of the present invention.
도 4에서는 입력 오디오 신호를 기반으로 진동 신호의 진동수를 다르게 생성하는 방법에 대해 개시한다. FIG. 4 illustrates a method of generating a frequency of a vibration signal differently based on an input audio signal.
도 4를 참조하면, 입력 오디오 신호의 비트는 입력 오디오 신호를 기반으로 분석될 수 있다(단계 S400). 예를 들어 일정한 에너지가 반복되는 패턴 정보를 분석하여 반복되는 에너지 패턴의 주기 정보를 기반으로 입력 오디오 신호의 비트의 크기가 분석될 수 있다.Referring to FIG. 4, the bits of the input audio signal may be analyzed based on the input audio signal (step S400). For example, the size of a bit of an input audio signal can be analyzed based on period information of a repeated energy pattern by analyzing pattern information in which a certain energy is repeated.
예를 들어, 진동 신호를 생성하기 위한 특징 정보로써 입력 오디오 신호의 비트가 분석될 수 있고, 분석된 비트 신호를 기반으로 진동 신호를 생성할 수 있다(단계 S450). For example, the bits of the input audio signal may be analyzed as feature information for generating the vibration signal, and the vibration signal may be generated based on the analyzed bit signal (step S450).
예를 들어, 비트 신호의 빠르기 구간 별로 진동 신호의 진동수를 다르게 설정하여 진동 신호를 생성할 수 있다. 예를 들어, 입력 오디오 신호의 빠르기가 80~100bpm일 경우, 제1 진동수를 가지는 진동 신호를 생성하고 입력 오디오 신호의 빠르기가 100~120bpm일 경우, 제2 진동수를 가지는 진동 신호를 생성하고 120bpm이상일 경우, 제3 진동수를 가지는 진동 신호를 생성할 수 있다. 제1 진동수에서 제3 진동수로 변화할수록 더 빠른 진동수를 가질 수 있다. 이러한 진동수도 선형 함수를 기반으로 비트 크기에 따라 선형적으로 변하거나 계단 함수를 기반으로 특정한 구간별로 변할 수도 있다.For example, the vibration signal can be generated by setting the frequency of the vibration signal to be different according to the interval of the beat signal. For example, when the speed of the input audio signal is 80 to 100 bpm, a vibration signal having a first frequency is generated. When the speed of the input audio signal is 100 to 120 bpm, a vibration signal having a second frequency is generated. , It is possible to generate the vibration signal having the third frequency. As the frequency changes from the first frequency to the third frequency, it is possible to have a faster frequency. These frequencies may also change linearly according to the bit size based on the linear function or may vary from one particular section to another based on the step function.
또한 오디오 신호를 기반으로 진동 신호의 세기를 다르게 설정할 수도 있다.
Also, the intensity of the vibration signal can be set differently based on the audio signal.
도 5는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.5 is a conceptual diagram illustrating a method of generating a vibration signal according to an input audio signal according to an embodiment of the present invention.
도 5에서는 입력 오디오 신호를 기반으로 진동 신호의 진동 크기를 다르게 생성하는 방법에 대해 개시한다. FIG. 5 illustrates a method of generating a vibration magnitude of a vibration signal differently based on an input audio signal.
도 5를 참조하면, 입력 오디오 신호의 에너지의 크기가 분석될 수 있고(단계 S500), 진동 신호의 크기를 다르게 설정할 수 있다(단계 S550). Referring to FIG. 5, the magnitude of the energy of the input audio signal can be analyzed (step S500) and the magnitude of the vibration signal can be set differently (step S550).
예를 들어, 에너지가 큰 부분에 대해서는 상대적으로 좀 더 강조가 되도록 높은 가중치를 사용하여 진동의 크기를 설정하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 작은 에너지를 가지도록 낮은 가중치를 사용하여 진동의 크기를 설정할 수 있다.For example, use a higher weight to set the magnitude of the vibration so that it is relatively more emphasized for the higher energy part, and use a lower weight to have a relatively smaller energy for the lower energy part. You can set the size.
반대로 변환 방법에 따라 에너지가 큰 부분에 대해서는 상대적으로 좀 더 약해지도록 낮은 가중치를 사용하여 진동 크기를 설정하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 큰 에너지를 가지도록 높은 가중치를 사용하여 진동 크기를 설정할 수 있다. 이러한 진동 크기의 설정 방법의 설정은 사용자의 설정에 따라 변화할 수 있다. On the contrary, according to the conversion method, the vibration magnitude is set using a low weight so that the energy is relatively weaker for a portion having a large energy, and the vibration magnitude is set using a high weight so as to have a relatively larger energy for a portion having a small energy Can be set. The setting of the setting method of the vibration magnitude can be changed according to the setting of the user.
진동 크기를 결정함에 있어서 에너지의 크기에 따라 선형적으로 가중치를 적용하여 진동 크기를 변화시킬 수도 있으나, 계단 함수 형식으로 에너지의 크기에 따라 구간을 나누어 가중치를 적용하여 진동 크기를 변화시킬 수도 있다.In determining the magnitude of the vibration, it is possible to change the magnitude of the vibration by applying a weight linearly according to the magnitude of the energy, but it is also possible to change the magnitude of the vibration by dividing the interval according to the magnitude of the energy in the form of a step function.
예를 들어, 입력 오디오 신호의 에너지 값에 따라 구간을 설정하여 구간 별로 별도의 가중치를 부여하여 에너지 값이 큰 값으로 구분된 구간은 높은 가중치를 부여하여 큰 값의 진동 신호를 생성하고 에너지 값이 낮은 값으로 구분된 구간은 낮은 가중치를 부여하여 낮은 값의 진동 신호를 생성할 수 있다.
For example, an interval is set according to the energy value of an input audio signal, and a different weight is assigned to each interval, so that a section having a large energy value is assigned a high weight to generate a large-value vibration signal, And the low-value section is given a low weight value to generate a low-value vibration signal.
도 6은 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.6 is a conceptual diagram illustrating a method of generating a vibration signal according to an input audio signal according to an embodiment of the present invention.
도 6에서는 입력 오디오 신호에 따라 진동 신호 생성을 수행할 경우, 검출된 오디오 신호의 특징 정보를 기반으로(단계 S600) 진동 신호의 특징 정보(예를 들어, 진동 신호의 크기, 진동의 길이, 진동 주파수, 진동의 감쇄 정도)를 설정하는 방법(단계 S650)에 대해 개시한다. 6, when generating the vibration signal according to the input audio signal, the feature information of the vibration signal (for example, the size of the vibration signal, the length of the vibration, the vibration Frequency, and degree of attenuation of vibration) (step S650).
도 6을 참조하면, 진동 신호의 특징 정보는 입력된 오디오 신호의 특징 정보를 기반으로 각각 결정될 수 있다. 이하에서 개시하는 입력된 오디오 신호의 특징 정보를 기반으로 진동 신호의 특징을 결정하는 방법은 하나의 예시로써 다른 다양한 입력 오디오 신호의 특징 정보를 기반으로 진동 신호의 특징이 결정될 수 있다.Referring to FIG. 6, the feature information of the vibration signal may be determined based on the feature information of the input audio signal. As a method of determining the characteristics of the vibration signal based on the feature information of the input audio signal described below, the characteristics of the vibration signal can be determined based on the feature information of the various other input audio signals.
진동 신호의 특징 정보 중 하나인 진동 신호의 크기는 입력된 오디오 신호의 에너지의 크기를 기반으로 결정될 수 있다. The magnitude of the vibration signal, which is one of the feature information of the vibration signal, can be determined based on the magnitude of the energy of the input audio signal.
또 다른 진동 신호의 특징 정보 중 하나인 진동의 길이는 입력된 오디오 신호에서 특정 신호의 길이 정보를 기반으로 결정될 수 있다. 예를 들어, 제1 신호가 제1 시간 구간 동안 입력되고, 제2 신호가 제2 시간 구간 동안 입력되는 경우, 제1 시간 구간 동안 제1 진동 신호가 생성되고 제2 시간 구간 동안 제2 진동 신호가 생성될 수 있다.The length of the vibration, which is one of the feature information of another vibration signal, can be determined based on the length information of the specific signal in the input audio signal. For example, if a first signal is input during a first time period and a second signal is input during a second time period, a first oscillation signal is generated during a first time period and a second oscillation signal is generated during a second time period, Can be generated.
또 다른 진동 신호의 특징 정보 중 하나인 진동 주파수는 입력 오디오 신호의 비트의 크기를 기반으로 결정될 수 있다. 빠른 비트를 가진 입력 오디오 신호일 수록 더 큰 진동 주파수로 진동 신호가 생성될 수 있다.The vibration frequency, which is one of the feature information of another vibration signal, can be determined based on the bit size of the input audio signal. The vibration signal can be generated at a larger vibration frequency as the input audio signal having a higher bit rate.
또 다른 진동 신호의 특징 정보 중 하나인 진동의 감쇄 정도는 입력된 오디오 신호의 에너지의 크기가 변화하는 정도를 기반으로 결정될 수 있다. 예를 들어, 일정한 에너지의 증감 크기가 큰 경우, 진동의 감쇄가 빠르게 되도록 설정할 수 있고, 반대로 에너지의 증감 크기가 작은 경우, 진동의 감쇄가 느리게 되도록 설정할 수 있다.
The degree of attenuation of vibration, which is one of the feature information of another vibration signal, can be determined based on the degree of change in the magnitude of the energy of the input audio signal. For example, when the magnitude of increase and decrease of the constant energy is large, the attenuation of the vibration can be set to be fast. On the contrary, if the magnitude of increase and decrease of the energy is small, the attenuation of the vibration can be set to be slow.
도 7은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 진동 신호 및 변조된 오디오 신호를 생성하는 방법을 나타낸 개념도이다. 7 is a conceptual diagram illustrating a method of generating a vibration signal and a modulated audio signal based on an input audio signal according to an embodiment of the present invention.
도 7에서는 입력 오디오 신호를 기반으로 생성된 진동 신호(750)와 오디오 신호(700)의 동기화 방법을 나타낸다. 7 shows a method of synchronizing an
도 7을 참조하면, 입력된 오디오 신호를 분석하여 생성된 진동 신호(750)와 오디오 신호(700)는 동기화를 수행하여 동일한 타이밍에 생성되도록 구현될 수 있다. 오디오 재생부는 원본 오디오 신호와 원본 오디오 신호에서 음악 정보 검출 과정을 기반으로 생성한 진동 신호와 동기화를 수행하여 오디오 신호를 재생할 수 있다.Referring to FIG. 7, the
예를 들어, 진동 신호(750)와 오디오 신호(700)는 일정한 시간 구간 별로 식별자를 부여하여 식별자를 기준으로 동기화되어 출력될 수 있다. 출력 장치에서는 입력된 오디오를 일정한 단위로 분할하여 분할된 단위 중 일부의 단위(예를 들어, 하나의 단위)에 대하여 출력 전에 미리 진동 신호(750) 및 오디오 신호(700)를 생성할 수 있다. 출력 전에 미리 진동 신호(750) 및 오디오 신호(700)를 생성하는 일부의 단위의 크기는 진동 신호(750)로 변환하는데 걸리는 시간 및 오디오 신호(700)로 변조하는데 걸리는 시간을 기반으로 결정될 수 있다. 미리 입력 오디오 신호의 일부의 단위에 대해 진동 신호(750) 및 오디오 신호(700)로 생성한 후 출력과 동시에 나머지 입력 오디오 신호에 대한 진동 신호(750) 및 오디오 신호(700)에 대한 생성을 수행할 수 있다.
For example, the
도 8은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 순서도이다. 8 is a flowchart illustrating a method of generating an audio signal and a vibration signal based on an input audio signal according to an embodiment of the present invention.
도 8을 참조하면, 오디오 신호를 입력받는다(단계 S800).Referring to FIG. 8, an audio signal is received (step S800).
진동 신호를 생성하기 위한 오디오 신호를 입력받을 수 있다.An audio signal for generating a vibration signal can be input.
입력된 오디오 신호에서 특징 정보를 추출한다(단계 S810).The feature information is extracted from the input audio signal (step S810).
입력된 오디오에서 다양한 진동 신호를 생성하고 오디오 신호를 변조하기 위한 특징 정보를 추출할 수 있다. 특징 정보는 예를 들어, 오디오 신호의 에너지(energy), 시작점(onset, attack), 리듬(rhythm), 빠르기(tempo), 비트(beat), 음색(timbre, tone), 거칠기(roughness), 피치(pitch) 등 다양한 정보 중 적어도 하나의 정보일 수 있다. It is possible to generate various vibration signals from the input audio and extract feature information for modulating the audio signal. The feature information may include, for example, energy, an onset, an attack, a rhythm, a tempo, a beat, a tone, a tone, a roughness, (pitch), and the like.
특징 정보를 기반으로 진동 신호를 생성한다(단계 S820).The vibration signal is generated based on the feature information (step S820).
전술한 도 3 내지 도 7에서 개시한 바와 같이 추출된 입력 오디오 신호의 특징 정보를 기반으로 진동 신호를 생성할 수 있다. 입력 오디오 신호의 특징 정보를 기반으로 오디오 신호의 변조를 수행할 수도 있다.The vibration signal can be generated based on the feature information of the input audio signal extracted as described with reference to Figs. And modulate the audio signal based on the feature information of the input audio signal.
진동 신호와 오디오 신호를 동기화한다(단계 S830).The vibration signal and the audio signal are synchronized (step S830).
생성된 진동 신호와 오디오 신호가 출력시 동기를 맞출 수 있도록 진동 신호와 원본 오디오 신호에 대한 동기화를 수행한다.And synchronizes the vibration signal and the original audio signal so that the generated vibration signal and the audio signal can be synchronized at the time of outputting.
동기화를 수행한 진동 신호 및 오디오 신호를 출력한다(단계 S840). And outputs the synchronized vibration signal and audio signal (step S840).
동기화를 수행한 진동 신호 및 오디오 신호를 출력할 수 있다.
It is possible to output the vibration signal and the audio signal which have been synchronized.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
Claims (1)
상기 입력 오디오 신호의 특징 정보를 추출하는 단계;
상기 특징 정보를 기반으로 상기 진동 신호를 생성하는 단계; 및
상기 진동 신호와 상기 오디오 신호를 동기화하여 출력하는 단계를 포함하는 오디오 신호 및 진동 신호를 생성하는 방법.A method for generating an audio signal and a vibration signal based on an input audio signal,
Extracting feature information of the input audio signal;
Generating the vibration signal based on the feature information; And
And outputting the vibration signal and the audio signal in synchronization with each other.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140000181A KR102212409B1 (en) | 2014-01-02 | 2014-01-02 | Method and apparatus for generating audio signal and vibration signal based on audio signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140000181A KR102212409B1 (en) | 2014-01-02 | 2014-01-02 | Method and apparatus for generating audio signal and vibration signal based on audio signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150080740A true KR20150080740A (en) | 2015-07-10 |
| KR102212409B1 KR102212409B1 (en) | 2021-02-04 |
Family
ID=53792566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140000181A KR102212409B1 (en) | 2014-01-02 | 2014-01-02 | Method and apparatus for generating audio signal and vibration signal based on audio signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102212409B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3575005A4 (en) * | 2017-02-23 | 2019-12-25 | Samsung Electronics Co., Ltd. | Method and apparatus for providing vibration in electronic device |
| CN114630140A (en) * | 2022-03-17 | 2022-06-14 | 阿里巴巴（中国）有限公司 | Information setting method and device based on audio data |
| KR20220104413A (en) * | 2021-01-18 | 2022-07-26 | 한국전자통신연구원 | Music learning apparatus and music learning method using tactile sensation |
| WO2023018123A1 (en) * | 2021-08-09 | 2023-02-16 | 삼성전자 주식회사 | Electronic device and method for providing user interface therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080115653A1 (en) * | 2003-08-29 | 2008-05-22 | John Sagastegui | Color-guiding music teaching system including practice pad, pitch plates, percussion targets & lesson book assembly and method |
| US20100217413A1 (en) * | 2009-02-12 | 2010-08-26 | Seiler Brock Maxwell | Multi-channel audio vibratory entertainment system |
| KR20110109363A (en) * | 2010-03-31 | 2011-10-06 | 삼성전자주식회사 | Media system and method for creating sensitivity according to kind of music for playing music |
| KR20130112799A (en) * | 2012-04-04 | 2013-10-14 | 임머숀 코퍼레이션 | Sound to haptic effect conversion system using multiple actuators |
-
2014
- 2014-01-02 KR KR1020140000181A patent/KR102212409B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080115653A1 (en) * | 2003-08-29 | 2008-05-22 | John Sagastegui | Color-guiding music teaching system including practice pad, pitch plates, percussion targets & lesson book assembly and method |
| US20100217413A1 (en) * | 2009-02-12 | 2010-08-26 | Seiler Brock Maxwell | Multi-channel audio vibratory entertainment system |
| KR20110109363A (en) * | 2010-03-31 | 2011-10-06 | 삼성전자주식회사 | Media system and method for creating sensitivity according to kind of music for playing music |
| KR20130112799A (en) * | 2012-04-04 | 2013-10-14 | 임머숀 코퍼레이션 | Sound to haptic effect conversion system using multiple actuators |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3575005A4 (en) * | 2017-02-23 | 2019-12-25 | Samsung Electronics Co., Ltd. | Method and apparatus for providing vibration in electronic device |
| US11198154B2 (en) | 2017-02-23 | 2021-12-14 | Samsung Electronics Co., Ltd. | Method and apparatus for providing vibration in electronic device |
| KR20220104413A (en) * | 2021-01-18 | 2022-07-26 | 한국전자통신연구원 | Music learning apparatus and music learning method using tactile sensation |
| WO2023018123A1 (en) * | 2021-08-09 | 2023-02-16 | 삼성전자 주식회사 | Electronic device and method for providing user interface therefor |
| CN114630140A (en) * | 2022-03-17 | 2022-06-14 | 阿里巴巴（中国）有限公司 | Information setting method and device based on audio data |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102212409B1 (en) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8436241B2 (en) | Beat enhancement device, sound output device, electronic apparatus and method of outputting beats | |
| KR101550925B1 (en) | System and method for automatically producing haptic events from a digital audio file | |
| WO2016027366A1 (en) | Vibration signal generation apparatus and vibration signal generation method | |
| KR20120126446A (en) | An apparatus for generating the vibrating feedback from input audio signal | |
| JP4645241B2 (en) | Voice processing apparatus and program | |
| JP2011048023A (en) | Somesthetic vibration generating device and somesthetic vibration generation method | |
| US8822804B1 (en) | Digital aerophones and dynamic impulse response systems | |
| KR102212409B1 (en) | Method and apparatus for generating audio signal and vibration signal based on audio signal | |
| US6673995B2 (en) | Musical signal processing apparatus | |
| KR20140003111A (en) | Apparatus and method for evaluating user sound source | |
| EP3772224B1 (en) | Vibration signal generation apparatus and vibration signal generation program | |
| CN115910009A (en) | Electronic device, method, and computer program | |
| WO2017135350A1 (en) | Recording medium, acoustic processing device, and acoustic processing method | |
| CN113348508B (en) | Electronic device, method and computer program | |
| US8315726B2 (en) | Music genre judging device and game machine having the same | |
| US20220092952A1 (en) | Decoding device, decoding method, and program | |
| JP2016194721A (en) | Musical instrument and signal processing device | |
| US20240273981A1 (en) | Tactile signal generation device, tactile signal generation method, and program | |
| JPH04251294A (en) | Sound image assigned position controller | |
| JP7515128B2 (en) | Ear-worn device and playback method | |
| WO2023189193A1 (en) | Decoding device, decoding method, and decoding program | |
| WO2023189973A1 (en) | Conversion device, conversion method, and conversion program | |
| JP2015087436A (en) | Voice sound processing device, control method and program for voice sound processing device | |
| KR20240005445A (en) | Emotional care apparatus and method | |
| JP7556609B2 (en) | Tactile transmission system, tactile transmission device, tactile transmission program, and tactile transmission method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |