KR102212409B1 - 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치 - Google Patents

오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR102212409B1
KR102212409B1 KR1020140000181A KR20140000181A KR102212409B1 KR 102212409 B1 KR102212409 B1 KR 102212409B1 KR 1020140000181 A KR1020140000181 A KR 1020140000181A KR 20140000181 A KR20140000181 A KR 20140000181A KR 102212409 B1 KR102212409 B1 KR 102212409B1
Authority
KR
South Korea
Prior art keywords
signal
vibration
audio signal
energy
vibration signal
Prior art date
Application number
KR1020140000181A
Other languages
English (en)
Other versions
KR20150080740A (ko
Inventor
임우택
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140000181A priority Critical patent/KR102212409B1/ko
Publication of KR20150080740A publication Critical patent/KR20150080740A/ko
Application granted granted Critical
Publication of KR102212409B1 publication Critical patent/KR102212409B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치가 개시되어 있다. 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 방법은 입력 오디오 신호의 특징 정보를 추출하는 단계, 특징 정보를 기반으로 진동 신호 및 오디오 신호를 생성하는 단계와 진동 신호 및 오디오 신호를 동기화하여 출력하는 단계를 포함할 수 있다.

Description

오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치{Method and apparatus for generating audio signal and vibration signal based on audio signal}
본 발명은 신호 처리 방법에 관한 것으로써 보다 상세하게는 오디오 신호 및 진동 신호를 생성하는 방법 및 장치에 관한 것이다.
최근 HCI(human computer interface)에 관한 관심이 높아지면서 오디오 신호 및 진동 신호의 변환 방법에 대한 연구도 점차 다양한 접근 방법들이 제안되고 연구되고 있다. 특히 이러한 방법들은 음악을 청취하는 일반인에게 음악의 실제감을 증대시키기 위한 방법 또는 청각 장애인이 음악을 느낄 수 있게 하는 방법으로써 활용되고 있다.
기존의 오디오-진동 변환 방법에 관하여는 다양한 방법들이 제안되어 왔다. 먼저 오디오 신호를 별도의 처리가 없이 그대로 통과시켜 진동으로 변환시켜주는 보이스 코일 등을 통해 진동으로 전달하는 방법을 일반적인 오디오-진동 변환 방법으로 사용하여 왔다. 보이스 코일은 일반적인 스피커 내부에 사용되는 것으로, 전기 신호가 들어오게 되면 전기가 코일을 통과하면서 상하로 진동하게 되는 원리이다. 이러한 보이스 코일은 반응 속도가 빠르고 진동 주파수 대역이 비교적 넓으며 가격도 저렴한 편이기 때문에 많이 사용된다. 특히 서브 우퍼와 같은 스피커에서 나오는 진동을 사람들이 쉽게 접해왔기 때문에 사용자 경험적인 측면에서도 유리하다.
또 다른 오디오-진동 변환 방법으로 오디오 신호를 주파수 축에서 여러개의 대역으로 구분하여 구분된 신호를 다수의 진동자를 통해 전달하는 방법도 있다. 이러한 방법은 사람은 청각적으로 저음역대부터 고음역대까지를 다르게 받아들이기 때문에 진동 또한 구분시켜 전달하는 개념으로 제시되었다. 이렇게 전달된 서브밴드 신호는 일렬 어레이 또는 격자 형태로 배열된 다수의 진동자로 전달된다.
또 다른 오디오-진동 변환 방법으로 여러개의 오디오 트랙을 가지고 있는 미디 음원이나, 각각의 악기들이 따로 녹음되어 악기 별 오디오 트랙이 별도로 존재하는 음악에 한정시켜 다수의 진동자를 통해 음악을 진동으로 표현할 수도 있다.
그러나 오디오-진동 변환 방법들은 진동을 위한 신호가 아닌 음원이 그대로 진동으로 재현되어 불필요한 구간에 진동이 전달되거나, 미디 음원과 같은 제한적인 오디오에만 적용 가능한 문제점이 있다. 이러한 문제점을 해결하기 위해 본 발명은 음악과 같은 오디오에서 특징 값을 추출하여 추출된 값을 바탕으로 진동 신호를 전달하기 위한 방법에 대해 개시한다.
본 발명의 제1 목적은 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법을 제공하는 것이다.
본 발명의 제2 목적은 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법을 수행하는 장치를 제공하는 것이다.
삭제
상술한 바와 같이 본 발명의 실시예에 따른 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치를 사용하는 경우 오디오 분석을 통해 추출할 수 있는 특징 값을 활용하여 오디오 신호를 진동으로 변환시켜 표현하고 전달할 수 있다. 이러한 방법을 사용함으로써 사용자로 하여금 진동을 통해 음악의 리듬 패턴이나 특징을 느낄 수 있도록 하여, 음악의 실제감 증대나 청각 장애인에게 음악을 느낄 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 변조 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 리듬 패턴에 따른 진동 신호를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 오디오 신호 변조부가 오디오 신호의 에너지를 변화시키는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 진동 신호 및 변조된 오디오 신호를 생성하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 변조 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
이하, 본 발명의 실시예에서는 오디오 신호의 특징 값을 추출하여 오디오 신호를 기반으로 음악의 진동을 표현하는 방법 및 장치에 대해 개시한다. 예를 들어, 오디오 신호에서 특징 값을 추출하여 음악의 리듬이나 비트, 빠르기 등을 검출하고, 이를 기반으로 오디오 신호를 변조하거나 진동신호를 생성하여 진동으로 전달한다.
도 1은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 1에서 개시하는 오디오-진동 신호 생성 장치는 신호 입력부(100), 특징 정보 추출부(110), 진동 신호 생성부(130), 진동부(150), 오디오 재생부(140) 및 프로세서(160)를 포함할 수 있다. 도 1에서 개시하는 오디오-진동 신호 생성 장치의 각 구성부는 설명의 편의상 개별적으로 표현한 것이다. 도 1에 개시된 각 구성부는 추가적으로 하나의 구성부가 복수의 구성부로 분할되거나 복수의 구성부가 하나의 구성부로 구현될 수 있다.
도 1을 참조하면, 신호 입력부(100)는 오디오 신호를 입력받기 위해 구현될 수 있다. 신호 입력부(100)에 입력된 오디오 신호는 특징 정보가 분석되어 오디오 신호에 따른 진동 신호를 생성할 수 있다.
특징 정보 추출부(110)는 신호 입력부(100)에서 입력된 신호의 특징 정보를 추출하기 위해 구현될 수 있다. 오디오 신호에서 추출되는 특징 정보는 예를 들어, 오디오 신호의 에너지(energy), 시작점(onset, attack), 리듬(rhythm), 빠르기(tempo), 비트(beat), 음색(timbre, tone), 거칠기(roughness), 피치(pitch) 등 다양한 정보 중 적어도 하나의 정보일 수 있다.
진동 신호 생성부(130)는 특징 정보 추출부(110)에서 추출된 입력 오디오 신호의 특징 정보를 기반으로 진동 신호를 생성하기 위해 구현될 수 있다. 진동 신호 생성부(130)에서는 검출된 특징 정보를 기반으로 새로운 진동 신호를 생성할 수 있다. 예를 들어 음악에서의 리듬 패턴을 추출하여 동일한 리듬 패턴을 가진 구간에서 진동 신호를 생성해 줄 수 있다.
프로세서(160)는 신호 입력부(100), 특징 정보 추출부(110), 진동 신호 생성부(130), 진동부(150), 오디오 재생부(140)의 동작을 제어하기 위해 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 리듬 패턴에 따른 진동 신호를 나타낸 개념도이다.
도 2를 참조하면, 도 2의 상단은 원본 오디오 신호에서 음악 정보 검출(music information retrieval)을 기반으로 검출된 지점(200)을 나타낸다. 원본 오디오 신호는 음악 정보 검출 과정을 통해 특정한 지점을 검출할 수 있다.도 2의 하단은 원본 오디오에서 음악 정보 검출 단계를 통해 검출된 지점을 기반으로 생성된 진동 신호를 나타낸다.
진동부(150)는 진동 신호 생성부(130)에서 생성된 진동 신호를 기반으로 입력 신호에 따라 동기화하여 진동을 수행하기 위해 구현될 수 있다.
오디오 재생부(140)는 원본 오디오 신호와 원본 오디오 신호에서 음악 정보 검출 과정을 기반으로 생성한 진동 신호와 동기화를 수행하여 오디오 신호를 재생할 수 있다.
본 발명의 실시예에 따르면, 오디오-진동 출력 장치에서는 생성된 진동부(150)에서 생성되는 진동 신호와 오디오 신호가 동기화되어 출력될 수 있도록 동기화를 수행할 수 있다. 이러한 동기화를 기반으로 진동부(150)와 오디오 재생부(140)에서 오디오 신호와 오디오 신호를 기반으로 한 진동 신호가 동기화되어 재생될 수 있다.
이하, 본 발명의 실시예에 따른 오디오-진동 신호 생성 방법에 대해 구체적으로 개시한다.
전술한 바와 같이 특징 정보 추출부는 오디오 신호에서 특징 정보를 추출하기 위해 구현될 수 있다. 특징 정보는 오디오 신호의 에너지(energy), 시작점(onset, attack), 리듬(rhythm), 빠르기(tempo), 비트(beat), 음색(timbre, tone), 거칠기(roughness), 피치(pitch) 등과 같은 오디오 신호의 특징을 나타내는 정보일 수 있다. 위와 같은 오디오 신호의 특징 정보는 기존의 오디오 신호 분석 방법을 기반으로 수행될 수 있다.
또한 본 발명의 실시예에 따르면, 입력 오디오 신호의 특징 정보에 따라 오디오 신호를 변조할 수도 있다. 오디오 신호 변조는 특징 정보를 기반으로 오디오 신호의 에너지 값을 일정한 부분으로 변화시킬 수 있다.
도 3은 본 발명의 실시예에 따른 오디오 신호의 에너지를 변화시키는 방법을 나타낸 개념도이다.
도 3에서는 특징 정보 추출을 통해 추출된 오디오 신호의 에너지에 대한 정보를 판단하고(단계 S300), 이를 기반으로 오디오 신호를 변조하는 방법(단계 S350)에 대해 개시한다. 입력된 오디오 신호의 에너지를 기반으로 오디오 신호를 변조할 수 있다. 예를 들어, 에너지가 큰 부분에 대해서는 상대적으로 좀 더 강조가 되도록 높은 가중치를 사용하여 에너지의 크기를 변환하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 작은 에너지를 가지도록 낮은 가중치를 사용하여 에너지의 크기를 변환할 수 있다.
반대로 변환 방법에 따라 에너지가 큰 부분에 대해서는 상대적으로 좀 더 약해지도록 낮은 가중치를 사용하여 변환하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 큰 에너지를 가지도록 높은 가중치를 사용하여 변환할 수 있다. 이러한 변환 방법의 설정은 사용자의 설정에 따라 변화할 수 있다.
변환을 수행함에 있어서 에너지의 크기에 따라 선형적으로 가중치를 적용하여 오디오 신호를 변조할 수도 있으나, 계단 함수 형식으로 에너지의 크기에 따라 구간을 나누어 가중치를 적용할 수 있다.
예를 들어, 오디오 신호의 특징 정보를 기반으로 입력 오디오 신호의 에너지 값에 따라 구간을 구분할 수 있다. 입력 오디오 신호의 에너지 값에 따라 구분된 구간에 대하여 구간 별로 별도의 가중치를 부여하여 에너지 값이 큰 값으로 구분된 구간은 높은 가중치를 부여하고 에너지 값이 낮은 값으로 구분된 구간은 낮은 가중치를 부여하는 방법으로 에너지를 할당할 수 있다. 이러한 방법으로 입력 신호 중 에너지가 큰 구간에 대해 강조될 수 있도록 오디오 신호를 변조할 수 있다.
또한 본 발명의 실시예에 따르면 입력 오디오 신호에 따라 진동 신호를 생성함에 있어 검출된 오디오 특징 값을 바탕으로 해당 부분에 맞춰 새로운 진동 신호를 생성할 수 있다.
도 4는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 4에서는 입력 오디오 신호를 기반으로 진동 신호의 진동수를 다르게 생성하는 방법에 대해 개시한다.
도 4를 참조하면, 입력 오디오 신호의 비트는 입력 오디오 신호를 기반으로 분석될 수 있다(단계 S400). 예를 들어 일정한 에너지가 반복되는 패턴 정보를 분석하여 반복되는 에너지 패턴의 주기 정보를 기반으로 입력 오디오 신호의 비트의 크기가 분석될 수 있다.
예를 들어, 진동 신호를 생성하기 위한 특징 정보로써 입력 오디오 신호의 비트가 분석될 수 있고, 분석된 비트 신호를 기반으로 진동 신호를 생성할 수 있다(단계 S450).
예를 들어, 비트 신호의 빠르기 구간 별로 진동 신호의 진동수를 다르게 설정하여 진동 신호를 생성할 수 있다. 예를 들어, 입력 오디오 신호의 빠르기가 80~100bpm일 경우, 제1 진동수를 가지는 진동 신호를 생성하고 입력 오디오 신호의 빠르기가 100~120bpm일 경우, 제2 진동수를 가지는 진동 신호를 생성하고 120bpm이상일 경우, 제3 진동수를 가지는 진동 신호를 생성할 수 있다. 제1 진동수에서 제3 진동수로 변화할수록 더 빠른 진동수를 가질 수 있다. 이러한 진동수도 선형 함수를 기반으로 비트 크기에 따라 선형적으로 변하거나 계단 함수를 기반으로 특정한 구간별로 변할 수도 있다.
또한 오디오 신호를 기반으로 진동 신호의 세기를 다르게 설정할 수도 있다.
도 5는 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 5에서는 입력 오디오 신호를 기반으로 진동 신호의 진동 크기를 다르게 생성하는 방법에 대해 개시한다.
도 5를 참조하면, 입력 오디오 신호의 에너지의 크기가 분석될 수 있고(단계 S500), 진동 신호의 크기를 다르게 설정할 수 있다(단계 S550).
예를 들어, 에너지가 큰 부분에 대해서는 상대적으로 좀 더 강조가 되도록 높은 가중치를 사용하여 진동의 크기를 설정하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 작은 에너지를 가지도록 낮은 가중치를 사용하여 진동의 크기를 설정할 수 있다.
반대로 변환 방법에 따라 에너지가 큰 부분에 대해서는 상대적으로 좀 더 약해지도록 낮은 가중치를 사용하여 진동 크기를 설정하고 에너지가 작은 부분에 대해서는 상대적으로 좀 더 큰 에너지를 가지도록 높은 가중치를 사용하여 진동 크기를 설정할 수 있다. 이러한 진동 크기의 설정 방법의 설정은 사용자의 설정에 따라 변화할 수 있다.
진동 크기를 결정함에 있어서 에너지의 크기에 따라 선형적으로 가중치를 적용하여 진동 크기를 변화시킬 수도 있으나, 계단 함수 형식으로 에너지의 크기에 따라 구간을 나누어 가중치를 적용하여 진동 크기를 변화시킬 수도 있다.
예를 들어, 입력 오디오 신호의 에너지 값에 따라 구간을 설정하여 구간 별로 별도의 가중치를 부여하여 에너지 값이 큰 값으로 구분된 구간은 높은 가중치를 부여하여 큰 값의 진동 신호를 생성하고 에너지 값이 낮은 값으로 구분된 구간은 낮은 가중치를 부여하여 낮은 값의 진동 신호를 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 입력 오디오 신호에 따라 진동 신호를 생성하는 방법을 나타낸 개념도이다.
도 6에서는 입력 오디오 신호에 따라 진동 신호 생성을 수행할 경우, 검출된 오디오 신호의 특징 정보를 기반으로(단계 S600) 진동 신호의 특징 정보(예를 들어, 진동 신호의 크기, 진동의 길이, 진동 주파수, 진동의 감쇄 정도)를 설정하는 방법(단계 S650)에 대해 개시한다.
도 6을 참조하면, 진동 신호의 특징 정보는 입력된 오디오 신호의 특징 정보를 기반으로 각각 결정될 수 있다. 이하에서 개시하는 입력된 오디오 신호의 특징 정보를 기반으로 진동 신호의 특징을 결정하는 방법은 하나의 예시로써 다른 다양한 입력 오디오 신호의 특징 정보를 기반으로 진동 신호의 특징이 결정될 수 있다.
진동 신호의 특징 정보 중 하나인 진동 신호의 크기는 입력된 오디오 신호의 에너지의 크기를 기반으로 결정될 수 있다.
또 다른 진동 신호의 특징 정보 중 하나인 진동의 길이는 입력된 오디오 신호에서 특정 신호의 길이 정보를 기반으로 결정될 수 있다. 예를 들어, 제1 신호가 제1 시간 구간 동안 입력되고, 제2 신호가 제2 시간 구간 동안 입력되는 경우, 제1 시간 구간 동안 제1 진동 신호가 생성되고 제2 시간 구간 동안 제2 진동 신호가 생성될 수 있다.
또 다른 진동 신호의 특징 정보 중 하나인 진동 주파수는 입력 오디오 신호의 비트의 크기를 기반으로 결정될 수 있다. 빠른 비트를 가진 입력 오디오 신호일 수록 더 큰 진동 주파수로 진동 신호가 생성될 수 있다.
또 다른 진동 신호의 특징 정보 중 하나인 진동의 감쇄 정도는 입력된 오디오 신호의 에너지의 크기가 변화하는 정도를 기반으로 결정될 수 있다. 예를 들어, 일정한 에너지의 증감 크기가 큰 경우, 진동의 감쇄가 빠르게 되도록 설정할 수 있고, 반대로 에너지의 증감 크기가 작은 경우, 진동의 감쇄가 느리게 되도록 설정할 수 있다.
도 7은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 진동 신호 및 변조된 오디오 신호를 생성하는 방법을 나타낸 개념도이다.
도 7에서는 입력 오디오 신호를 기반으로 생성된 진동 신호(750)와 오디오 신호(700)의 동기화 방법을 나타낸다.
도 7을 참조하면, 입력된 오디오 신호를 분석하여 생성된 진동 신호(750)와 오디오 신호(700)는 동기화를 수행하여 동일한 타이밍에 생성되도록 구현될 수 있다. 오디오 재생부는 원본 오디오 신호와 원본 오디오 신호에서 음악 정보 검출 과정을 기반으로 생성한 진동 신호와 동기화를 수행하여 오디오 신호를 재생할 수 있다.
예를 들어, 진동 신호(750)와 오디오 신호(700)는 일정한 시간 구간 별로 식별자를 부여하여 식별자를 기준으로 동기화되어 출력될 수 있다. 출력 장치에서는 입력된 오디오를 일정한 단위로 분할하여 분할된 단위 중 일부의 단위(예를 들어, 하나의 단위)에 대하여 출력 전에 미리 진동 신호(750) 및 오디오 신호(700)를 생성할 수 있다. 출력 전에 미리 진동 신호(750) 및 오디오 신호(700)를 생성하는 일부의 단위의 크기는 진동 신호(750)로 변환하는데 걸리는 시간 및 오디오 신호(700)로 변조하는데 걸리는 시간을 기반으로 결정될 수 있다. 미리 입력 오디오 신호의 일부의 단위에 대해 진동 신호(750) 및 오디오 신호(700)로 생성한 후 출력과 동시에 나머지 입력 오디오 신호에 대한 진동 신호(750) 및 오디오 신호(700)에 대한 생성을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 방법을 나타낸 순서도이다.
도 8을 참조하면, 오디오 신호를 입력받는다(단계 S800).
진동 신호를 생성하기 위한 오디오 신호를 입력받을 수 있다.
입력된 오디오 신호에서 특징 정보를 추출한다(단계 S810).
입력된 오디오에서 다양한 진동 신호를 생성하고 오디오 신호를 변조하기 위한 특징 정보를 추출할 수 있다. 특징 정보는 예를 들어, 오디오 신호의 에너지(energy), 시작점(onset, attack), 리듬(rhythm), 빠르기(tempo), 비트(beat), 음색(timbre, tone), 거칠기(roughness), 피치(pitch) 등 다양한 정보 중 적어도 하나의 정보일 수 있다.
특징 정보를 기반으로 진동 신호를 생성한다(단계 S820).
전술한 도 3 내지 도 7에서 개시한 바와 같이 추출된 입력 오디오 신호의 특징 정보를 기반으로 진동 신호를 생성할 수 있다. 입력 오디오 신호의 특징 정보를 기반으로 오디오 신호의 변조를 수행할 수도 있다.
진동 신호와 오디오 신호를 동기화한다(단계 S830).
생성된 진동 신호와 오디오 신호가 출력시 동기를 맞출 수 있도록 진동 신호와 원본 오디오 신호에 대한 동기화를 수행한다.
동기화를 수행한 진동 신호 및 오디오 신호를 출력한다(단계 S840).
동기화를 수행한 진동 신호 및 오디오 신호를 출력할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 방법에 있어서,
    오디오-진동 신호 생성 장치의 특징 정보 추출부가 상기 입력 오디오 신호의 특징 정보를 추출하는 단계;
    상기 오디오-진동 신호 생성 장치의 진동 신호 생성부가 상기 특징 정보를 기반으로 상기 진동 신호를 생성하는 단계; 및
    상기 오디오-진동 신호 생성 장치의 오디오 재생부가 상기 진동 신호와 상기 오디오 신호를 동기화하여 출력하는 단계를 포함하고,
    상기 추출한 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 진동 신호 생성부가 상기 에너지에 대한 정보에 따라 상기 오디오 신호를 변조하는 단계를 더 포함하고,
    상기 진동 신호를 생성하는 단계는, 상기 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 변조된 오디오 신호에 기초하여 상기 진동 신호를 결정하는,
    오디오 신호 및 진동 신호를 생성하는 방법.
  2. 제1항에 있어서,
    상기 오디오 신호를 변조하는 단계는,
    상기 에너지가 기준보다 큰 경우 상위 가중치를 사용하여 상기 에너지의 크기를 변환하고, 상기 에너지가 기준보다 작을 경우 하위 가중치를 사용하여 사용하여 상기 에너지의 크기를 변환함으로써 오디오 신호를 변조하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  3. 제1항에 있어서,
    상기 오디오 신호를 변조하는 단계는,
    상기 에너지가 기준보다 작은 경우 상위 가중치를 사용하여 상기 에너지의 크기를 변환하고, 상기 에너지가 기준보다 큰 경우 하위 가중치를 사용하여 사용하여 에너지의 크기를 변환함으로써 오디오 신호를 변조하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  4. 제2항 및 제3항 중 어느 한 항에 있어서,
    상기 상위 가중치는 상기 에너지가 클수록 높은 값으로 결정되고, 상기 하위 가중치는 상기 에너지가 작을수록 낮은 값으로 결정되는, 오디오 신호 및 진동 신호를 생성하는 방법.
  5. 제1항에 있어서,
    상기 특징 정보가 상기 오디오 신호의 비트(beat) 신호인 경우, 상기 비트 신호를 분석하는 단계를 더 포함하고,
    상기 진동 신호를 생성하는 단계는, 상기 특징 정보가 상기 오디오 신호의 비트 신호인 경우, 상기 비트 신호의 빠르기 구간 별로 진동 신호의 진동수를 서로 다르게 설정하여 상기 진동 신호를 결정하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  6. 제5항에 있어서,
    상기 비트 신호를 분석하는 단계는,
    상기 오디오 신호의 일정한 에너지가 반복되는 패턴에 대한 정보를 분석하여 반복되는 상기 패턴의 주기 정보를 기반으로 입력 오디오 신호의 비트의 크기를 분석하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  7. 제5항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    임의의 선형 함수를 기반으로 상기 비트 신호의 크기에 따라 상기 진동 신호를 결정하거나, 임의의 계단 함수를 기반으로 상기 비트 신호의 크기에 기초하여 상기 진동 신호를 결정하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  8. 제1항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    상기 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 에너지의 크기가 클수록 진동의 크기를 크게 결정하고, 상기 에너지의 크기가 작을수록 상기 진동의 크기를 작게 결정하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  9. 제1항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    상기 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 에너지의 크기가 클수록 진동의 크기를 작게 결정하고, 상기 에너지의 크기가 작을수록 상기 진동의 크기를 크게 결정하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  10. 제8항 및 제9항 중 어느 한 항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    임의의 선형 함수를 기반으로 상기 에너지의 크기에 따라 상기 진동 신호를 결정하거나, 임의의 계단 함수를 기반으로 상기 에너지의 크기에 기초하여 상기 진동 신호를 결정하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  11. 제1항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    상기 특징 정보가 상기 오디오 신호에서 특정 신호의 길이 정보인 경우, 제1 신호가 제1 시간 구간 동안 입력되면 상기 제1 시간 구간에 대응하여 제1 진동 신호를 생성하고, 제2 신호가 제2 시간 구간 동안 입력되면, 상기 제2 시간 구간 동안 제2 진동 신호가 생성하고,
    상기 제1 신호 및 제2 신호는 서로 다른 특정 신호를 의미하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  12. 제1항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    상기 특징 정보가 상기 오디오 신호의 비트(beat)인 경우, 빠른 비트를 가진 오디오 신호일수록 상기 진동 신호의 진동 주파수가 커지도록 상기 진동 신호를 생성하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  13. 제1항에 있어서,
    상기 진동 신호를 결정하는 단계는,
    상기 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 에너지의 증감 크기가 클수록 상기 진동 신호에서 진동의 감쇄가 빠르게 되도록 상기 진동 신호를 생성하고, 상기 에너지의 증감 크기가 작을수록 상기 진동 신호에서 진동의 감쇄가 느리게 되도록 상기 진동 신호를 생성하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  14. 제1항에 있어서,
    상기 오디오 신호를 동기화하여 출력하는 단계는,
    상기 오디오 신호 및 진동 신호에 대해 일정한 시간 구간 별로 식별자를 부여하고, 상기 식별자를 기준으로 상기 진동 신호와 상기 오디오 신호를 동기화하여 출력하는, 오디오 신호 및 진동 신호를 생성하는 방법.
  15. 입력 오디오 신호를 기반으로 오디오 신호 및 진동 신호를 생성하는 오디오-진동 신호 생성 장치에 있어서,
    상기 입력 오디오 신호의 특징 정보를 추출하는 특징 정보 추출부;
    상기 특징 정보를 기반으로 상기 진동 신호를 생성하는 진동 신호 생성부;
    상기 진동 신호와 상기 오디오 신호를 동기화하여 출력하는 오디오 재생부
    를 포함하고,
    상기 특징 정보 추출부는
    상기 추출한 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 에너지에 대한 정보에 따라 상기 오디오 신호를 변조하고,
    상기 진동 신호 생성부는,
    상기 특징 정보가 상기 오디오 신호의 에너지인 경우, 상기 변조된 오디오 신호에 기초하여 상기 진동 신호를 결정하는,
    진동 신호 생성 장치.
KR1020140000181A 2014-01-02 2014-01-02 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치 KR102212409B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140000181A KR102212409B1 (ko) 2014-01-02 2014-01-02 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140000181A KR102212409B1 (ko) 2014-01-02 2014-01-02 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150080740A KR20150080740A (ko) 2015-07-10
KR102212409B1 true KR102212409B1 (ko) 2021-02-04

Family

ID=53792566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000181A KR102212409B1 (ko) 2014-01-02 2014-01-02 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102212409B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651705B1 (ko) 2017-02-23 2024-03-28 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치
KR102656091B1 (ko) * 2021-01-18 2024-04-11 한국전자통신연구원 촉각 음악 학습 장치 및 촉각 음악 학습 방법
KR20230022666A (ko) * 2021-08-09 2023-02-16 삼성전자주식회사 전자 장치 및 그의 사용자 인터페이스 제공 방법
CN114630140A (zh) * 2022-03-17 2022-06-14 阿里巴巴（中国）有限公司 基于音频数据的信息设置方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080115653A1 (en) 2003-08-29 2008-05-22 John Sagastegui Color-guiding music teaching system including practice pad, pitch plates, percussion targets & lesson book assembly and method
US20100217413A1 (en) 2009-02-12 2010-08-26 Seiler Brock Maxwell Multi-channel audio vibratory entertainment system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110109363A (ko) * 2010-03-31 2011-10-06 삼성전자주식회사 음악재생시 음악 종류에 따라 감성을 연출하는 미디어 시스템 및 방법
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080115653A1 (en) 2003-08-29 2008-05-22 John Sagastegui Color-guiding music teaching system including practice pad, pitch plates, percussion targets & lesson book assembly and method
US20100217413A1 (en) 2009-02-12 2010-08-26 Seiler Brock Maxwell Multi-channel audio vibratory entertainment system

Also Published As

Publication number Publication date
KR20150080740A (ko) 2015-07-10

Similar Documents

Publication Publication Date Title
JP7243052B2 (ja) オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム
KR101550925B1 (ko) 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
KR20120126446A (ko) 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치
US20170245070A1 (en) Vibration signal generation apparatus and vibration signal generation method
CN103380454A (zh) 用于钹振动的电子处理的系统及方法
KR102212409B1 (ko) 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
JP2018146876A (ja) 電子楽器、発音制御方法およびプログラム
GB2582952A (en) Audio contribution identification system and method
WO2021035189A1 (en) Tactile audio enhancement
Fontana et al. An exploration on the influence of vibrotactile cues during digital piano playing
KR20140003111A (ko) 사용자 음원 평가 장치 및 방법
Lim et al. An audio-haptic feedbacks for enhancing user experience in mobile devices
EP3772224B1 (en) Vibration signal generation apparatus and vibration signal generation program
WO2017135350A1 (ja) 記録媒体、音響処理装置および音響処理方法
WO2023189973A1 (ja) 変換装置、変換方法および変換プログラム
WO2023189193A1 (ja) 復号装置、復号方法および復号プログラム
CN104954369A (zh) 多媒体内容的发送、生成和传输、播放方法和对应装置
WO2013186901A1 (ja) 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
US20240134459A1 (en) Haptic feedback method, system and related device for matching split-track music to vibration
JP2015087436A (ja) 音声処理装置、音声処理装置の制御方法およびプログラム
JP5847049B2 (ja) 楽器音出力装置
US11501745B1 (en) Musical instrument pickup signal processing system
JP6089651B2 (ja) 音処理装置、音処理装置の制御方法、プログラム
KR20240005445A (ko) 감성 케어 장치 및 방법
WO2022264537A1 (ja) 触覚信号生成装置、触覚信号生成方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right