KR101641418B1 - 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치 - Google Patents

Abstract

오디오 신호(audio signal)로부터 햅틱 신호(haptic signal)를 생성하는 방법 및 장치가 개시된다. 오디오 기반 햅틱 신호 생성 방법은, 수신된 오디오 신호로부터 오디오 특성 정보를 산출하는 단계와, 청각 주목도 가중치에 기반하여 오디오 특성 정보에 따른 청각 주목도(auditory saliency)를 산출하는 단계와, 청각 주목도에 기반하여 촉각 신호를 산출하는 단계를 포함하여 구성될 수 있다. 오디오 기반 햅틱 신호 생성 장치는, 오디오 신호를 수신하는 오디오 신호 수신부와, 수신된 오디오 신호로부터 오디오 특성 정보를 산출하는 오디오 특성 정보 산출부와, 청각 주목도 가중치에 기반하여 오디오 특성 정보에 따른 청각 주목도를 산출하는 청각 주목도 산출부와, 청각 주목도에 기반하여 촉각 신호를 산출하는 촉각 신호 산출부를 포함하여 구성될 수 있다.

Description

청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치{METHOD FOR HAPTIC SIGNAL GENERATION BASED ON AUDITORY SALIENCY AND APPARATUS THEREFOR}

본 발명은 오디오 신호를 이용하여 촉각 신호를 생성하는 기술에 관한 것으로, 더욱 상세하게는 오디오 신호의 주파수, 세기 등의 특성 정보와 크게 주목되는 부분을 이용하여 이를 촉각 신호에도 반영하는 기술에 관한 것이다.

사람이 손가락으로 물체를 만질 때 느낄 수 있는 햅틱 자극은 물체가 피부의 표면에 닿아서 느끼는 촉감 피드백(Tactile Feedback)과 관절과 근육의 움직임이 방해될 때 느껴지는 근감각 힘 피드백(Kinesthetic Force Feedback) 등이 있다.

이러한 햅틱 피드백이 가장 많이, 그리고 먼저 활용된 곳은 의학 분야이다. 의학 분야, 특히 외과적 수술(Invasive Surgery) 분야의 특성상 피교육자가 시행착오(Trial and Error)를 통한 숙달 과정을 거치기가 어렵고, 고비용을 필요로 하기 때문에, 상대적으로 경제적인 수단인 햅틱 피드백이 활용되었다.

즉, 컴퓨터 화면에 3차원 해부학적 구조를 보면서 가상의 환자를 대상으로 환부를 직접 시술할 수 있는 3차원 영상이 실시간으로 컴퓨터 화면에 표시된다. 여기에 압축 공기나 전기 등으로 움직이는 작은 핀과 같은 기계 수용기를 이용하여, 실제로 피부 조직 등을 만지는 듯한 촉감이 전달되어 실제 상황과 거의 비슷한 환경을 구현하게 된다.

이러한 햅틱 자극은 물체를 문지르는 속도 및 힘, 물체의 물성에 따라 다르게 인지된다. 따라서, 동일한 사람이 종류가 다른 햅틱 자극을 인지하려면, 물체의 물성을 바꾸어야 한다. 이에 관한 기술로서, 손에 접촉되는 물체의 접촉면에 복수개의 미세돌기가 형성되어 있어, 그 길이를 변화시켜 미세돌기 간의 간격을 변화시키고, 미세돌기 진동의 변위 또는 주파수를 조절하여 사용자에게 다양한 햅틱 자극을 제공하는 기술 등이 제공되고 있다.

한편, 이러한 햅틱 자극을 오디오 분야에도 접목하여 입체적으로 음향을 들려주려는 시도가 있어 왔다. 여기에서는 이른바 3D(three dimensions)에서 진화한 4D라는 용어를 사용하고 있으며, 이는 2D, 3D와는 달리 마케팅 용어이다. 즉, 본 발명에 있어서는 음향을 전달할 때 음향 이외의 감각, 예를 들어 청각 신호에 수반되는 촉각 신호가 4번째 dimension을 이루는 것 정도로 이해하면 된다.

이러한 햅틱 기술은 최근 게임, 영화, 음악 등 다양한 멀티미디어 콘텐츠에 촉감으로 정보를 전달하는 방법으로 각광받고 있으며, 이미 진동 이어폰 및 헤드폰, 홈씨어터 시스템, 4D 영화관, 실감형 게임기, 스마트 폰 및 태블릿과 같은 제품이 출시되어 있다. 이러한 제품들은 멀티미디어 콘텐츠의 사용자 경험에서 시청각뿐만 아니라 촉각을 이용한 다중 감각 디스플레이로 사용자의 몰입감과 만족도를 증가시키고 있다.

그러나 현재는 촉감 정보 전달을 위해 사람이 직접 작곡과 같은 과정을 거쳐 신호를 만들어내거나 오디오 신호의 저주파수 성분을 걸러내어 진동 신호로 사용하는 구현이 다수를 차지하고 있다. 사람이 직접 촉각 신호를 만들어내는 경우는 많은 시간과 비용을 필요로 한다는 단점이 있으며, 오디오 신호의 저주파수 성분을 이용하는 경우는 그 효과가 수작업으로 만들어진 경우에 비해 자연스럽게 어울리지 못한다는 단점이 있다.

많은 시간과 비용을 들이지 않고도 청각 신호와 자연스럽게 어울리는 촉각 신호의 생성 방안에 대한 연구가 필요한 시점이다.

본 발명의 목적은 많은 비용과 시간을 필요로 하거나 오디오 신호를 적합하게 표현하지 못하는 기존의 오디오 신호 기반 촉감 효과 생성 방법을 개선하여 사람의 청각 주목도에 기반한 촉각 신호의 생성 방법과 이를 위한 장치를 제공하는 것에 있다.

이를 통해 자동으로 빠른 시간에 오디오 신호에서 받는 청각 자극에 알맞은 촉각 신호를 사용자에게 전달할 수 있다.

상술한 본 발명의 목적을 달성하기 위한 일 측면에 따른 오디오 기반 햅틱 신호 생성 방법은, 오디오 신호(audio signal)로부터 햅틱 신호 (haptic signal)를 생성하는 방법에 있어서, 수신된 오디오 신호로부터 오디오 특성 정보를 산출하는 단계와, 청각 주목도 가중치에 기반하여 오디오 특성 정보에 따른 청각 주목도(auditory saliency)를 산출하는 단계와, 청각 주목도에 기반하여 촉각 신호를 산출하는 단계를 포함하여 구성될 수 있다.

여기에서, 상기 오디오 특성 정보는, 수신된 오디오 신호의 세기(intensity), 음고(pitch), 리듬(rhythm), 에너지(energy), 시간적 대비(temporal contrast), 가락(melody), 화성(harmony), 음색(timbre) 중 적어도 하나 이상의 정보를 포함할 수 있다.

여기에서, 상기 오디오 특성 정보를 산출하는 단계는, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할하고 각각의 세부 주파수 대역별 오디오 특성 정보를 산출할 수 있다.

나아가, 상기 청각 주목도를 산출하는 단계는, 각각의 세부 주파수 대역별 오디오 특성 정보에 기반하여 청각 주목도를 산출할 수 있다.

여기에서, 상기 청각 주목도 가중치는, 미리 정의되어 있거나 오디오 특성 정보로부터 산출될 수 있다.

여기에서, 상기 촉각 신호는, 수신된 오디오 신호의 주파수를 변환(frequency conversion)하여 생성되거나, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할한 세부 주파수 대역별로 대응되는 기준 진동 주파수로 생성될 수 있다.

나아가, 상기 촉각 신호는, 청각 주목도에 따라 진폭을 결정함으로써, 기준 진동 주파수로 생성될 수 있다.

여기에서, 상기 촉각 신호를 산출하는 단계는, 청각 주목도와 수신된 오디오 신호를 구성하는 음원(sound source)에 기반하여 햅틱 자극의 패턴을 결정할 수 있다.

여기에서, 상기 오디오 신호는, 오디오 드라이버(audio driver)를 제어하는 운영 체제(Operating System)의 구성요소로부터 생성될 수 있다.

여기에서, 오디오 기반 햅틱 신호 생성 방법은, 촉각 신호를 산출하는 단계 이후에, 촉각 신호를 햅틱 자극을 발생시키는 장치에 전달하여 햅틱 자극을 발생시키는 단계를 더 포함하여 구성될 수 있다.

상술한 본 발명의 목적을 달성하기 위한 일 측면에 따른 오디오 기반 햅틱 신호 생성 장치는, 오디오 신호로부터 햅틱 신호를 생성하는 장치에 있어서, 오디오 신호를 수신하는 오디오 신호 수신부와, 수신된 오디오 신호로부터 오디오 특성 정보를 산출하는 오디오 특성 정보 산출부와, 청각 주목도 가중치에 기반하여 오디오 특성 정보에 따른 청각 주목도를 산출하는 청각 주목도 산출부와, 청각 주목도에 기반하여 촉각 신호를 산출하는 촉각 신호 산출부를 포함하여 구성될 수 있다.

여기에서, 상기 오디오 특성 정보는, 수신된 오디오 신호의 세기, 음고, 리듬, 에너지, 시간적 대비, 가락, 화성, 음색 중 적어도 하나 이상의 정보를 포함할 수 있다.

여기에서, 상기 오디오 특성 정보를 산출부는, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할하고 각각의 세부 주파수 대역별 오디오 특성 정보를 산출할 수 있다.

나아가, 상기 청각 주목도 산출부는, 각각의 세부 주파수 대역별 오디오 특성 정보에 기반하여 청각 주목도를 산출할 수 있다.

여기에서, 상기 청각 주목도 가중치는, 미리 정의되어 있거나 혹은 오디오 특성 정보로부터 산출될 수 있다.

여기에서, 상기 촉각 신호는, 수신된 오디오 신호의 주파수를 변환하여 생성되거나, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할한 세부 주파수 대역별로 대응되는 기준 진동 주파수로 생성될 수 있다.

나아가, 상기 촉각 신호는, 청각 주목도에 따라 진폭을 결정함으로써, 기준 진동 주파수로 생성될 수 있다.

여기에서, 상기 촉각 신호 산출부는, 청각 주목도와 수신된 오디오 신호를 구성하는 음원에 기반하여 햅틱 자극의 패턴을 결정할 수 있다.

여기에서, 상기 오디오 신호는, 오디오 드라이버를 제어하는 운영 체제의 구성요소로부터 생성될 수 있다.

여기에서, 오디오 기반 햅틱 신호 생성 장치는, 산출된 촉각 신호를 수신하여 햅틱 자극을 발생시키는 햅틱 자극 생성부를 더 포함하여 구성될 수 있다.

상기와 같은 본 발명에 따른 오디오 기반 햅틱 신호 생성 방법 및 장치를 사용하면, 오디오 신호에서 크게 주목되는 부분을 촉각 신호에서도 강조하여 청각 신호와 자연스럽게 어울리는 촉각 신호를 사용자에게 전달하여 멀티미디어 콘텐츠의 감상시 사용자의 콘텐츠에 대한 몰입감, 이해도 및 만족감을 높일 수 있다는 장점이 있다.

또한 청각 장애인 등 청각을 이용한 정보전달이 어려운 환경에서 오디오 신호의 느낌을 촉감으로 대신 전달할 수 있다. 반면 오디오 신호에서 강조해야 하나 주목도가 낮은 부분이 있을 때에는 촉감으로 이 부분을 강조하는 방법으로 청각을 보조하여 의도한 정보의 전달이 원활하게 이루어지도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 오디오 기반 햅틱 신호 생성 방법과 그 세부 단계를 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호로부터 햅틱 신호를 생성하는 과정의 구현 과정을 예시한 것을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 오디오 기반 햅틱 신호 생성 기능을 운영 체제의 구성요소로서 구현한 것을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 오디오 기반 햅틱 신호 생성 장치와 그 구성요소를 설명하기 위한 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

햅틱(Haptic) 신호란 조이스틱, 마우스, 키보드, 터치스크린 등과 같은 각종 게임기나 컴퓨터의 입력장치를 조작하면서 사용자가 진동, 운동감, 힘 등을 느낄 수 있게 조작되어 사용자에게 정보를 전달할 수 있는 신호이다. 이 신호는 디지털화된 데이터인 것이 통상적인 경우이지만 넓은 의미에서 햅틱 자극(haptic stimuli) 그 자체도 포함할 수 있다. 예를 들어 1KHz 이하의 일정한 진동수를 가지고 진동하는 저주파 파동, 그 자체도 햅틱 신호에 포함될 수 있다. 햅틱 자극이란 이러한 햅틱 기술을 이용하여 사용자에게 전달되는 진동, 운동감, 힘 등을 일컫는다.

리듬이란 빠르기라고도 하며, 일정한 규칙으로 흐르는 소리의 진행, 즉, 음(표)과 쉼(표)이 길이를 달리하며 연속적으로 진행하는 것을 말한다.

가락이란 멜로디 또는 선율이라고도 한다. 음악의 3요소(리듬, 멜로디, 하모니)의 하나로 음악적인 표현과 인간의 감정을 가장 잘 나타내는 요소로서 갖가지 음높이와 길이를 가진 음을 가로로 결합, 형성하는 음의 선적 연결이다. 화성(하모니)이 복수음의 동시적(수직적) 결합이라면, 멜로디는 높이가 다른 음의 계시적(수평적), 단음적 배열이다. 그러나 이와 같은 음의 연속이 음악적인 의미를 갖추기 위해서는 시간적인 질서, 즉 리듬을 포함해야만 한다. 따라서 가락이란 음높이의 선과 리듬이 결합하여 생기는 음운동의 형식이라고 정의할 수 있다.

한편, 음의 3요소에는 음의 세기(loudness), 음의 상태(pitch), 음색(timbre)의 세 가지가 있다. 음의 세기는 음파의 진폭에 의해 정해지며, 그 단위는 물리적인 양으로서 데시벨, 감각적인 양으로서 폰(phon)을 사용한다. 음의 상태는 음파의 매초 진동수에 의해 정해진다. 음색은 음의 고조파 성분의 비율에 의한 파형의 차이로 정해지며, 세기와 상태가 같더라도 피아노와 바이올린의 소리가 다른 것은 이 때문이다.

좀 더 자세히 설명하자면, 음의 세기란 방향성을 가진 개념이다. 어느 점에서의 어느 방향으로의 음의 세기는 그 점에서 생각하고 있는 방향으로 직각인 단위의 면을 통해서 전달되는 음향 에너지의 평균의 비율로 정의된다. 단위는 S/m^2이다. 음장(音場, sound field, acoustic field) 내의 지정된 방향 a에 있어서의 음의 세기는 그 방향으로 직각인 단위의 면을 통과하는 음향 에너지속이며 다음과 같이 정의될 수 있다.

T ： 주기의 정수배 또는 주기에 비해 충분히 긴 시간,

p ： 음압의 순시값,

va ： a방향으로의 입자 속도.

소리가 가진 에너지는 공기의 압력 변동으로 인한 에너지를 일컫는다. 이 에너지에 의해서 귀의 고막이 진동하고 그 진동의 대소(진폭의 대소)에 따라 음의 강도를 느끼게 된다. 음의 강도는 음이 가지고 있는 에너지의 크기인데 물리적 계측이 가능하고, 음의 크기는 감각적 크기를 말하는 것인데 계측이 불가능하다.

음고(Pitch)란 음의 높낮이를 말한다. 물리적으로 소리의 진동수(Frequency) 차이를 뜻하고, 진동수가 많은 것은 높게 느껴지고 진동수가 적은 것은 낮게 느껴진다. 음고는 진동수의 차이에 기인하므로, 진동수가 많은 음은 높게 느끼고 적은 진동수의 음은 낮게 느낀다. 그러므로 음고의 문제는 순수하게 진동수 관련의 물리적인 면과 음향 관련의 심리학적인 면이라는 두 관점의 고려가 필요하다

음악에서는 음이름을 사용해서 절대 음높이를 표시하게 되는데, 1834년 슈투트가르트 회의에서 가온 라(A4) 음의 1초당 진동수를 440Hz로 조율하기로 결정하고 1939년 런던회의에서 이 음높이를 채택하였다. 음이름으로 표시하고 있는 음높이는 어떤 음을 기준으로 한 상대적 음높이이고, 이는 440Hz의 음인 가온 라(A4) 음을 기준으로 하여 산출된다. 즉, 가온 라(A4) 음의 음고란 진동수 440Hz를 갖는 음파의 음높이를 말하며, 서양 표준음계에서는 이 가온 라(A4)음의 진동수에 2의 1/12승(약 1.059)을 곱하여 인접한 반음들의 조율 기준율을 결정한다.

이러한 음고는 스펙트럼에 의하여 표현될 수 있는데, 주파수 스펙트럼(Frequency Spectrum)이란 광파, 전파, 음파 등 파동의 성분들을 묘사하는 방법이다. 주파수가 다른 성분의 결합으로 생기는 음파를 복합음이라고 하는데, 예를 들어, 규칙적인 것으로 들리는 악기의 소리도 주파수나 세기가 다른 성분들로 겹쳐져 있다.

이를 파형의 특성 또는 푸리에 변환(Fourier Transform)의 결과를 주파수의 함수로 표시한 것으로서, 주파수를 나타내는 수평축 상에 조화음의 진폭을 나타내는 선의 높이(수직축)로 표시한다.

주파수 변환이란 서로 다른 2개의 주파수 f1 및 f2를 혼합하여 각각의 합과 차(f1±f2)의 서로 다른 주파수로 변환하는 것. 슈퍼헤테로다인 수신기(superheterodyne receiver)의 중간 주파수가 그 대표적인 예이다. 합의 주파수 변환을 상향 변환, 차의 방법을 하향 변환이라고 한다.

음원이란 음이 발생하는 근원을 말한다. 음원은 점음원, 선음원, 면음원의 3종류로 구별한다. 점음원은 수음 거리에 비하여 음원이 작고 음이 음원에서 구면상으로 발사되고 있는 경우를 말하며, 선음원은 수많은 점음원이 선상으로 연결되어 있는 음원이다. 면음원은 넓은 면에서 음이 발사되고 있는 양질의 음원이다.

점음원에서 음파는 구상으로 넓어지며, 에너지는 구의 표면적의 확대에 따라 작아지므로 음원에서 거리가 γ[m]인 위치에서의 음압 레벨(SPL, sound pressure level)은 음원 출력을 PWL(파워 레벨, power level)로 표시했을 때 SPL=PWL-11-20log10γ[㏈]의 관계가 성립한다. 이 법칙을 점음원에서 거리 감쇠에 대한 역자승 법칙이라 한다. 즉, 거리(γ)가 2배로 될 때마다 음압 레벨은 6㏈씩 감쇠한다. 이 법칙은 점음원이 아니더라도 그 음원에서의 음의 지향성이 있을 때는 한 방향에 대하여 성립한다. 소음 대책을 위해 음장을 계산할 때 이 법칙을 사용한다.

오디오 드라이버란 윈도 시스템이나 리눅스 시스템 같은 운영 체제 상에서 소리를 재생하거나 기록할 때 필요한 응용 프로그램을 제어하는 장치 드라이버를 말한다. 압축기 및 복호기 드라이버, 형식 변환기 드라이버, 필터 드라이버를 포함하거나 관리할 수 있다. MCI(Media Control Interface)를 이용하여 보낸 오디오 명령과 데이터는 오디오 드라이버에 전달되고, 시스템에 부착된 사운드 카드 등을 구동하게 된다.

운영 체제란, 컴퓨터의 기동과 함께 핵심부(kernel)가 주기억 장치에 올려져 컴퓨터를 작동시키고 운영을 관리하여 응용프로그램이 효율적으로 실행될 수 있는 환경을 제공하는 기본 소프트웨어를 말한다.

초기의 운영 체제는 중앙 처리 장치(CPU), 주기억 장치, 디스크 장치, 각종 입출력 장치 등이 정상적으로 작동하도록 감시하고 제어하며, 응용프로그램이 사용하는 CPU 시간, 기억 공간, 입출력 등 하드웨어 자원을 할당하고 배분하는 시스템 관리 기능이 기본이었으나, 현재는 동영상이나 게임에 이르는 각종 응용 프로그램들을 수행할 수 있도록 유틸리티 기능들이 추가되고, 사용자 인터페이스도 보다 편리한 그래픽 사용자 인터페이스(GUI)로 변모하고 있다.

하드 디스크 등 보조 기억 장치를 관리하는 파일 관리, 응용 프로그램의 실행 순서, 우선순위 등을 관리하는 태스크(task) 관리와 작업(job) 관리, 사용자의 식별, 확인을 위한 보안 관리, 컴퓨터 간의 정보 교환을 관리하는 통신망 관리 등 시스템 관리 기능은 사용자의 눈에 보이지 않는 곳에서 행해진다.

개인용 컴퓨터(PC)에 사용되는 대표적인 OS로는 마이크로소프트사의 마이크로소프트 디스크 운영 체계(MS-DOS), 윈도, IBM사의 OS/2, 애플사의 맥 OS 등이 있으며, 워크스테이션급으로는 AT&T사가 개발한 유닉스(UNIX), 리눅스(Linux) 등이 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하기에 앞서 본 발명의 구성을 간단하게 정리하면 다음과 같다.

오디오 신호로부터 1차적으로 추출 가능한 세기, 음고, 에너지, 세기 및 음고의 시간적 변화 등의 물리적, 인지적 특성 요소를 선택적으로 조합하여 사람이 청각적으로 주목하는 정도를 계산해 낼 수 있다. 계산된 각 시점별, 혹은 전체 신호의 청각 주목도를 반영하는 촉각 신호를 생성하고 촉감 디스플레이를 통해 물리적으로 사용자에게 전달할 수 있다. 주목도의 계산에는 한 가지 정해진 방법이 있는 것이 아니며 조합되는 특성 요소의 종류와 조합 계산식은 바뀔 수 있으나 사람이 실제 느끼는 청각 자극의 분명한 정도를 나타내는 공통된 목표를 가진다.

오디오 신호의 분석은 청각적으로 사람이 주목하는 정도를 계산한 후 이를 반영하여 촉감 신호를 생성할 수 있다. 오디오 신호는 디지털 또는 아날로그 신호일 수 있고, 2개 이상의 세부 주파수 대역으로 나눌 수 있다. 이에 따라 촉각 신호 또한 2개 이상의 세부 주파수 대역으로 나누어 햅틱 효과를 생성할 수 있다. 나아가 촉각 신호를 2가지 이상의 햅틱 자극 패턴으로 생성하도록 할 수 있다.

또한 이를 2개 이상의 햅틱 디스플레이를 사용하여 햅틱 자극을 전달할 수 있다. 햅틱 디스플레이는 하나의 다중주파수 생성이 가능한 수단일 수 있다. 오디오 신호의 주파수 대역은 사람이 촉감으로 느낄 수 있는 주파수로 낮게 변환할 수 있다. 햅틱 신호 생성 기능은 운영 체제의 구성요소로 구현 가능하며, 해당 기능을 악세서리의 형태로 구현하는 것도 가능하다.

도 1은 본 발명의 일 실시예에 따른 오디오 기반 햅틱 신호 생성 방법과 그 세부 단계를 설명하기 위한 흐름도이고, 도 2는 오디오 신호로부터 햅틱 신호를 생성하는 과정의 구현 과정을 예시한 것을 설명하기 위한 예시도이다. 오디오 기반 햅틱 신호 생성 방법과 그 세부 단계를 도 1 내지 도 2를 참조하여 살펴보면 다음과 같다.

오디오 기반 햅틱 신호 생성 방법은, 오디오 신호(audio signal)로부터 햅틱 신호(haptic signal)를 생성하는 방법에 있어서, 수신된 오디오 신호로부터(S110) 오디오 특성 정보를 산출하는 단계(S120)와, 청각 주목도 가중치에 기반하여 오디오 특성 정보에 따른 청각 주목도(auditory saliency)를 산출하는 단계(S130)와, 청각 주목도에 기반하여 촉각 신호를 산출하는 단계(S140)를 포함하여 구성될 수 있다.

오디오 특성 정보는, 수신된 오디오 신호의 세기(intensity), 음고(pitch), 리듬(rhythm), 에너지(energy), 시간적 대비(temporal contrast), 가락(melody), 화성(harmony), 음색(timbre) 중 적어도 하나 이상의 정보를 포함할 수 있다.

오디오 특성 정보를 산출하는 단계(S120)는 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할하고 각각의 세부 주파수 대역별 오디오 특성 정보를 산출할 수 있고, 청각 주목도를 산출하는 단계(S130)는 각각의 세부 주파수 대역별 오디오 특성 정보에 기반하여 청각 주목도를 산출할 수 있다.

청각 주목도 가중치는 미리 정의되어 있거나, 오디오 특성 정보로부터 산출될 수 있다. 촉각 신호는 수신된 오디오 신호의 주파수를 변환(frequency conversion)하여 생성되거나, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할한 세부 주파수 대역별로 대응되는 기준 진동 주파수로 생성될 수 있다.

또한 촉각 신호는 청각 주목도에 따라 진폭을 결정함으로써, 기준 진동 주파수로 생성될 수 있다. 촉각 신호를 산출하는 단계(S140)는 청각 주목도와 수신된 오디오 신호를 구성하는 음원(sound source)에 기반하여 햅틱 자극의 패턴을 결정할 수 있다.

본 발명에서 제안하는 햅틱 신호 생성 방법을 도 2를 참조하여 예를 들어 설명하면 다음과 같은 단계로 이루어진다. 수신된 Audio Source로부터 오디오의 물리적, 인지적 특성 요소를 계산할 수 있다. 이 때 Audio Source는 음원별, 주파수 대역별로 Segmentation되어 계산될 수 있다.

오디오의 특성 요소로부터 청각 주목도를 계산하는 단계는 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 주파수 영역으로 변환된 오디오 신호를 Treble, Bass 등의 세부 주파수 대역별로 청각 주목도를 계산할 수 있다. 오디오의 청각 주목도로부터 촉각 신호를 계산하는 단계는 상대적으로 고주파인 오디오 신호를 저주파인 촉각 신호로 모드 전환(modality conversion)하거나 세부 주파수 대역별로 대응되는 촉각 신호로 척도 변환(스케일링, scaling)되어 계산될 수 있다. 이와 같은 과정을 거쳐 촉각 신호를 계산해 내면 이를 햅틱 자극 발생 장치로 내보내 햅틱 자극을 생성할 수 있게 된다.

오디오 신호는 자연 상태의 음파, 주파수 변조(frequency modulation)된 상태의 전파, 양자화(quantization) 및 디지털화되어 데이터 형태로 저장된 비트 스트림 등 다양한 형태일 수 있다. 이는 본 발명에서 다루는 오디오 신호가 그 형태에 구애받지 않음을 의미한다.

도 1을 참조하여 보면, 오디오의 물리적, 인지적 특징 요소의 계산은 이미 세기, 음고, 빠르기, 에너지, 거칠기, 부드러움, 어울림, 밝기 등의 다양한 요소의 계산 방법이 공개되어 널리 알려져 있다. 또한 한 가지 요소에 대해서도 다양한 계산 방법이 존재한다. 따라서 이러한 오디오의 특징 요소 계산은 이미 알려진 방법에 따라 하드웨어 및 소프트웨어적으로 구현될 수 있으며 오디오 신호에 포함된 다양한 음원(악기, 목소리, 효과음 등)의 서로 다른 특성을 보다 세부적으로 반영하기 위해 가청 주파수 대역을 여러 개의 세부 주파수 대역으로 나누어 각각의 세부 주파수 대역에서 오디오의 물리적, 인지적 특징 요소들을 계산할 수 있다.

계산된 오디오의 특징 요소로부터 청각적 주목도를 계산하는 단계에서는 한 예로 세기(intensity), 시간적 대비(temporal contrast), 주파수(frequency) 요소가 사용될 수도 있고, 오디오 특성 정보 산출 단계에서 각 세부 주파수 대역의 오디오 특징 요소가 계산된 경우 각 세부 주파수 대역별로 청각 주목도를 계산하거나 더 적은 수의 주파수 대역별 청각 주목도, 혹은 전체 주파수 대역의 청각 주목도가 계산될 수 있다.

또한 청각 주목도의 계산에는 청각 주목도 가중치가 고려될 수 있다. 청각 주목도 가중치는 사람에 따라 같은 음향에 대하여 주목하는 오디오적 특성이 다름을 고려할 수도 있고, 음향 자체의 특성이 고려될 수도 있다. 청각 주목도 가중치는 미리 정의되어 있을 수도 있고, 물리적 요소에 의하여 결정될 수도 있다.

물리적 요소는 필터(filter)가 사용될 수 있는데, 필터는 음향필터를 가리킨다. 입력되는 음파의 스펙트럼에 따라 특정 파장 영역의 음파를 얻기 위한 것일 수도 있고, 입력되는 음파의 강도를 감쇄시키기 위한 것일 수도 있다.

위와 같이 정해진 주파수에 따라 불필요한 부분을 잘라낼 수 있으므로, 저역을 잘라내는 저역 필터(Low Cut)와 고역을 잘라내는 고역 필터(High Cut), 특정한 주파수만 없애고 나머지 부분은 그대로 통과하는 밴드 패스 필터(Band Pass Filter)로 구성하는 것이 가능하다. 또한, 특정 주파수만 선택하여 없애는 밴드 리젝트 필터(Band Reject Filter)로 구성하는 것도 가능하고, 이들을 조합하여 사용하는 것도 가능하다.

계산된 청각 주목도로부터 촉감 디스플레이에 전달할 촉각 신호를 생성하는 단계에서는, 오디오 신호의 주목도에 기반하여 촉각 신호의 세기, 주파수, 거칠기 등 물리적, 인지적으로 다양한 특성 및 패턴을 결정할 수 있다. 사람이 느낄 수 있는 촉각의 주파수 대역은 청각에 비해 매우 좁으므로 오디오 신호에서의 주파수 대역은 1KHz 이하의 낮은 진동 주파수 대역으로 변환되어 진동 신호가 생성될 수 있다. 또는 각 세부 주파수 별로 1KHz 이하의 기준 진동 주파수 하나씩이 대응되어 청각 주목도에 따른 기준 진동주파수의 진폭, 주파수 변환 등으로 햅틱 신호를 생성할 수 있다. 촉각 신호의 물리적 특성과 인지적 특성의 관계에 대해서도 일부 알려진 모델이 있으므로 촉감 디스플레이의 특성과 함께 고려하여 인지적으로 보다 효과적인 촉감을 생성, 전달할 수 있다.

이 기술은 실시간으로 동작이 가능하므로 모바일 기기, 게임 단말기, 홈씨어터, 4D 영화 시스템 등에 탑재하여 멀티미디어 콘텐츠의 오디오 신호를 분석하여 햅틱 신호를 자동으로 생성해 주는데 사용할 수 있다.

도 3은 본 발명의 일 실시예에 따른 오디오 기반 햅틱 신호 생성 기능을 운영 체제의 구성요소로서 구현한 것을 설명하기 위한 예시도이다. 도 3과 앞서 참조한 도 1을 계속 참조하여 보면, 오디오 신호는, 오디오 드라이버(audio driver)를 제어하는 운영 체제(Operating System)의 구성요소로부터 생성될 수 있다. 또한 오디오 기반 햅틱 신호 생성 방법은, 촉각 신호를 산출하는 단계(S140) 이후에, 촉각 신호를 햅틱 자극을 발생시키는 장치에 전달하여 햅틱 자극을 발생시키는 단계(S150)를 더 포함하여 구성될 수 있다.

운영체제(OS)의 audio subsystem에 해당 기능을 구현하면 해당 운영체제 위에서 동작하는 어떤 종류의 게임이나 영화 음악에 대해서든 본 기술의 적용이 가능하다. 또한 어떤 장비의 악세서리 형태로 제작한다면 오디오 출력을 받아 이를 디지털 신호로 변환한 후 본 기술을 적용하여 구현이 가능하다. 또한 사용자 개인의 취향 또는 이용하는 콘텐츠의 특성에 따라 촉감 효과의 세밀한 조절이 가능하도록 편의 기능을 추가하여 제공할 수 있다.

도 4는 본 발명의 일 실시예에 따른 오디오 기반 햅틱 신호 생성 장치(10)와 그 구성요소를 설명하기 위한 블록도이다. 도 4를 참조하여 오디오 기반 햅틱 신호 생성 장치(10)와 그 구성요소를 설명하면 다음과 같다.

오디오 기반 햅틱 신호 생성 장치(10)는, 오디오 신호로부터 햅틱 신호를 생성하는 장치에 있어서, 오디오 신호를 수신하는 오디오 신호 수신부(100)와, 수신된 오디오 신호로부터 오디오 특성 정보를 산출하는 오디오 특성 정보 산출부(200)와, 청각 주목도 가중치에 기반하여 오디오 특성 정보에 따른 청각 주목도를 산출하는 청각 주목도 산출부(300)와, 청각 주목도에 기반하여 촉각 신호를 산출하는 촉각 신호 산출부(400)를 포함하여 구성될 수 있다.

오디오 특성 정보는, 수신된 오디오 신호의 세기(intensity), 음고(pitch), 리듬(rhythm), 에너지(energy), 시간적 대비(temporal contrast), 가락(melody), 화성(harmony), 음색(timbre) 중 적어도 하나 이상의 정보를 포함할 수 있다. 오디오 특성 정보를 산출부(200)는, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할하고 각각의 세부 주파수 대역별 오디오 특성 정보를 산출할 수 있다.

청각 주목도 산출부(300)는, 각각의 세부 주파수 대역별 오디오 특성 정보에 기반하여 청각 주목도를 산출할 수 있고, 청각 주목도 가중치는 미리 정의되어 있거나, 오디오 특성 정보로부터 산출될 수 있다.

촉각 신호는 수신된 오디오 신호의 주파수를 변환(frequency conversion)하여 생성되거나, 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할한 세부 주파수 대역별로 대응되는 기준 진동 주파수로 생성될 수 있다. 또한 청각 주목도에 따라 진폭을 결정함으로써, 기준 진동 주파수로 생성될 수 있다.

촉각 신호 산출부(400)는, 청각 주목도와 수신된 오디오 신호를 구성하는 음원(sound source)에 기반하여 햅틱 자극의 패턴을 결정할 수 있다. 오디오 신호는, 오디오 드라이버(audio driver)를 제어하는 운영 체제(Operating System)의 구성요소로부터 생성될 수 있다. 오디오 기반 햅틱 신호 생성 장치(10)는, 산출된 촉각 신호를 수신하여 햅틱 자극을 발생시키는 햅틱 자극 생성부(500)를 더 포함하여 구성될 수 있다.

오디오 기반 햅틱 신호 생성 장치(10)와 세부 구성요소에 대한 설명은 앞서 설명한 오디오 기반 햅틱 신호 생성 방법에 대한 설명에서 상술한 바 있으므로 중복하여 기재하지는 않는다. 다만, 오디오 기반 햅틱 신호 생성 장치(10)와 그 구성요소들은 논리적으로 구분 가능한 요소일 뿐, 물리적인 위치가 서로 다름을 의미하지는 않는다. 즉, 예를 들면, 오디오 기반 햅틱 신호 생성 장치(10)의 각 구성요소들은 실제로는 서로 같은 물리적 위치에 있는 구성도 가능하다.

비록 몇몇의 측면들은 방법의 관점에서 설명되었지만, 이러한 측면들은 상응하는 장치의 설명을 나타내는 것이 명확하며, 여기서 방법의 단계는 장치에 대응한다. 특정 구현 요구들에 따르면, 발명의 실시예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 본 발명의 실시예들은 프로그램 코드, 방법들 중 하나의 수행을 위해 동작하는 프로그램 코드를 가지는 컴퓨터 프로그램 제품으로서 수행될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 햅틱 신호 생성 장치 100: 오디오 신호 수신부
200: 오디오 특성 정보 산출부 300: 청각 주목도 산출부
400: 촉각 신호 산출부 500: 햅틱 자극 생성부

Claims (20)

1. 오디오 신호(audio signal)로부터 햅틱 신호(haptic signal)를 생성하는 방법에 있어서,
   수신된 오디오 신호로부터 베이스(bass) 성분의 오디오 특성 정보와 트레블(treble) 성분의 오디오 특성 정보를 산출하는 단계;
   상기 베이스 성분의 오디오 특성 정보와 상기 트레블 성분의 오디오 특성 정보 각각에 대한 청각 주목도(auditory saliency)를 계산하는 단계; 및
   상기 베이스 성분의 오디오 특성 정보 및 상기 트레블 성분의 오디오 특성 정보에 각각 대응하는 청각 주목도와 상기 수신된 오디오 신호를 구성하는 음원(sound source)에 기반하여 햅틱 자극의 패턴을 결정하는 촉각 신호를 생성하는 단계를 포함하며,
   상기 오디오 특성 정보는, 상기 베이스 성분 및 상기 트레블 성분의 두 오디오 특성 정보에 각각 대응하는 각 주파수 대역의 오디오 신호를 기설정 스케일로 변환한 음고, 상기 각 주파수 대역의 전체 성분에 대한 진폭 또는 오디오 신호의 세기, 및 상기 각 주파수 대역의 오디오 신호의 에너지 크기의 정보를 포함하고,
   상기 청각 주목도를 계산하는 단계는, 상기 음고, 상기 세기 및 상기 에너지 크기 중 어느 하나에서 미리 정의되어 있거나, 상기 오디오 특성 정보로부터 산출되는 청각 주목도 가중치를 토대로 햅틱 장치의 진동의 변위 또는 주파수에 대응하는 상기 베이스 성분의 주파수 대역과 상기 트레블 성분의 주파수 대역에서의 청각 주목도를 각각 계산하는 오디오 기반 햅틱 신호 생성 방법.
2. 청구항 1에 있어서,
   상기 오디오 특성 정보는,
   상기 수신된 오디오 신호의 리듬(rhythm), 시간적 대비(temporal contrast), 가락(melody), 화성(harmony), 음색(timbre) 중 적어도 하나 이상의 정보를 더 포함하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 청각 주목도 가중치는 음향필터를 포함한 물리적 요소에 의해 결정되는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
6. 청구항 1에 있어서,
   상기 촉각 신호를 생성하는 단계는,
   상기 수신된 오디오 신호의 주파수를 변환(frequency conversion)하여 상기 촉각 신호를 생성하거나,
   상기 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할한 세부 주파수 대역별로 상기 세부 주파수 대역에 각각 대응되는 기준 진동 주파수를 토대로 상기 촉각 신호를 생성하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
7. 청구항 6에 있어서,
   상기 촉각 신호를 생성하는 단계는,
   상기 베이스 성분의 오디오 특성 정보 및 상기 트레블 성분의 오디오 특성 정보에 각각 대응하는 청각 주목도에 따라 진폭을 결정함으로써, 상기 세부 주파수 대역에 대한 상기 기준 진동 주파수를 생성하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
8. 청구항 7에 있어서,
   상기 촉각 신호를 생성하는 단계는,
   상기 기준 진동 주파수의 주파수 대역을 1KHz 이하의 낮은 진동 주파수 대역으로 변환하여 진동 신호를 생성하거나, 상기 세부 주파수 대역 별로 1KHz 이하의 기준 진동 주파수 하나씩을 대응시켜 상기 청각 주목도에 따른 기준 진동 주파수의 진폭 또는 주파수로 햅틱 신호를 생성하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
9. 청구항 1에 있어서,
   상기 오디오 신호는,
   오디오 드라이버(audio driver)를 제어하는 운영 체제(Operating System)의 구성요소로부터 생성되는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
10. 청구항 1에 있어서,
    상기 촉각 신호를 생성하는 단계 이후에,
    상기 촉각 신호를 햅틱 자극을 발생시키는 장치에 전달하여 햅틱 자극을 발생시키는 단계를 더 포함하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 방법.
11. 오디오 신호로부터 햅틱 신호를 생성하는 장치에 있어서,
    상기 오디오 신호를 수신하는 오디오 신호 수신부;
    상기 수신된 오디오 신호로부터 베이스(bass) 성분의 오디오 특성 정보와 트레블(treble) 성분의 오디오 특성 정보를 산출하는 오디오 특성 정보 산출부;
    상기 베이스 성분의 오디오 특성 정보와 상기 트레블 성분의 오디오 특성 정보 각각에 대한 청각 주목도를 계산하는 청각 주목도 산출부; 및
    상기 베이스 성분의 오디오 특성 정보 및 상기 트레블 성분의 오디오 특성 정보에 각각 대응하는 청각 주목도와 상기 수신된 오디오 신호를 구성하는 음원(sound source)에 기반하여 햅틱 자극의 패턴을 결정하는 촉각 신호를 생성하는 촉각 신호 산출부를 포함하며,
    상기 오디오 특성 정보는, 상기 베이스 성분 및 상기 트레블 성분의 두 오디오 특성 정보에 각각 대응하는 각 주파수 대역의 오디오 신호를 기설정 스케일로 변환한 음고, 상기 각 주파수 대역의 전체 성분에 대한 진폭 또는 오디오 신호의 세기, 및 상기 각 주파수 대역의 오디오 신호의 에너지 크기의 정보를 포함하며,
    상기 청각 주목도 산출부는, 상기 음고, 상기 세기 및 상기 에너지 크기 중 어느 하나에서 미리 정의되어 있거나, 상기 오디오 특성 정보로부터 산출되는 청각 주목도 가중치를 토대로 햅틱 장치의 진동의 변위 또는 주파수에 대응하는 상기 베이스 성분의 주파수 대역과 상기 트레블 성분의 주파수 대역에서의 청각 주목도를 각각 계산하는 오디오 기반 햅틱 신호 생성 장치.
12. 청구항 11에 있어서,
    상기 오디오 특성 정보는,
    상기 수신된 오디오 신호의 리듬, 시간적 대비, 가락, 화성, 음색 중 적어도 하나 이상의 정보를 더 포함하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.
13. 삭제
14. 삭제
15. 청구항 11에 있어서,
    상기 청각 주목도 가중치는 음향필터를 포함한 물리적 요소에 의해 결정되는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.
16. 청구항 11에 있어서,
    상기 촉각 신호 산출부는,
    상기 수신된 오디오 신호의 주파수를 변환하여 상기 촉각 신호를 생성하거나, 상기 수신된 오디오 신호의 주파수 대역을 소정의 단위로 분할한 세부 주파수 대역별로 상기 세부 주파수 대역에 각각 대응되는 기준 진동 주파수를 생성하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.
17. 청구항 16에 있어서,
    상기 촉각 신호 산출부는,
    상기 베이스 성분의 오디오 특성 정보 및 상기 트레블 성분의 오디오 특성 정보에 각각 대응하는 청각 주목도에 따라 진폭을 결정함으로써, 상기 세부 주파수 대역에 대한 상기 기준 진동 주파수를 생성하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.
18. 청구항 17에 있어서,
    상기 촉각 신호 산출부는,
    상기 기준 진동 주파수의 주파수 대역을 1KHz 이하의 낮은 진동 주파수 대역으로 변환하여 진동 신호를 생성하거나, 상기 세부 주파수 대역 별로 1KHz 이하의 기준 진동 주파수 하나씩을 대응시켜 상기 청각 주목도에 따른 기준 진동 주파수의 진폭 또는 주파수로 햅틱 신호를 생성하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.
19. 청구항 11에 있어서,
    상기 오디오 신호는,
    오디오 드라이버를 제어하는 운영 체제의 구성요소로부터 생성되는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.
20. 청구항 11에 있어서,
    상기 촉각 신호를 수신하여 햅틱 자극을 발생시키는 햅틱 자극 생성부를 더 포함하는 것을 특징으로 하는 오디오 기반 햅틱 신호 생성 장치.

Images