KR101121785B1 - 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 - Google Patents
소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 Download PDFInfo
- Publication number
- KR101121785B1 KR101121785B1 KR1020110101520A KR20110101520A KR101121785B1 KR 101121785 B1 KR101121785 B1 KR 101121785B1 KR 1020110101520 A KR1020110101520 A KR 1020110101520A KR 20110101520 A KR20110101520 A KR 20110101520A KR 101121785 B1 KR101121785 B1 KR 101121785B1
- Authority
- KR
- South Korea
- Prior art keywords
- change
- haptic effect
- representative value
- source data
- sound source
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법에 관한 것으로서, 보다 구체적으로는 (1) 음향신호 출력부를 구비한 전자기기로부터 음원 데이터를 샘플링하는 단계; (2) 상기 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계; (3) 상기 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계; (4) 상기 측정된 변화량에 따라 상기 대푯값의 변화 유형을 결정하는 단계; 및 (5) 상기 결정된 변화 유형에 따라 햅틱 장치에서 서로 다른 햅틱 효과를 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 소리 음량의 변화을 이용하여 햅틱 효과를 생성하는 방법에 따르면, 햅틱 장치를 구비한 전자기기가 음향 효과를 제공함에 있어서, 재생되는 음원 데이터로 저장되어 있는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 햅틱 피드백을 함께 제공할 수 있다. 또한, 본 발명에 따르면, 연속하여 변화하는 음향 출력에 대해 출력 전후로 이어지는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 다양한 햅틱 피드백을 함께 제공할 수 있다.
본 발명에서 제안하고 있는 소리 음량의 변화을 이용하여 햅틱 효과를 생성하는 방법에 따르면, 햅틱 장치를 구비한 전자기기가 음향 효과를 제공함에 있어서, 재생되는 음원 데이터로 저장되어 있는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 햅틱 피드백을 함께 제공할 수 있다. 또한, 본 발명에 따르면, 연속하여 변화하는 음향 출력에 대해 출력 전후로 이어지는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 다양한 햅틱 피드백을 함께 제공할 수 있다.
Description
본 발명은 햅틱 효과를 생성하는 방법에 관한 것으로서, 보다 구체적으로는 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법에 관한 것이다.
노트북, 스마트폰, 태블릿 PC 등의 정보통신 단말기나 비디오 게임 콘솔, 리모트 컨트롤 등의 전자기기가 발달함에 따라, 최근에는 이들 기기를 이용하여 사용자에게 보다 다양한 사용자 경험(User eXperience, UX)을 제공하기 위한 연구가 활발하게 진행되고 있다. 예를 들어, 기존의 사용자 단말기가 2차원의 평면적 화면을 보여주고, 화면에 보이는 내용에 맞추어 소리를 들려주는 단순한 수준의 시청각 피드백을 제공하는 데에 머물렀다면, 최근의 사용자 단말기는 3차원의 입체감 있는 화면을 제공하고, 제공되는 화면 내용과 함께 사용자에게 힘, 운동감, 질감 등을 함께 느끼게 하는, 더욱 복잡한 시각 피드백, 햅틱(haptic) 피드백 등을 제공할 수 있게 되었다.
이와 같이 각종 전자기기에서 사용자에게 다양한 피드백을 제공하는 목적은, 결국, 단말기를 통해 보고, 듣고, 느끼는 경험들이 보다 현실감 있도록 하기 위함인데, 일반적으로 사용자는, 단말기에서 제공되는 여러 가지 감각적 피드백들이 함께 결합될 때 더 현실감 있는 경험을 하게 된다. 이러한 이유로 인해, 종래에는 주로 시각 피드백과 햅틱 피드백을 동시에 제공하기 위한 기술이 발달해왔는데, 예를 들면, 진동 효과가 제공되는 비디오 게임 콘솔이나 파일럿을 양성하는 모의비행 훈련 시설 등에서 이러한 기술이 적용되어 왔다. 그러나 최근에는 시각 및 햅틱 피드백의 결합에서 더 나아가, 청각 및 햅틱 피드백을 함께 제공하기 위한 기술이 많이 연구되고 있다.
청각 피드백을 제공하는 사용자 단말기에 있어서, 기기에서 발생하는 모든 소리는 먼저, 펄스 부호 변조(Pulse Code Modulation, PCM) 방식의 디지털 신호로 저장된 후, DAC(Digital Analog Converter)를 통해 아날로그 신호로 변환되어 외부에 출력되는 과정을 거친다. 이때, 재생되는 음원의 데이터는 ‘1’과 ‘0’의 조합으로 구성된 디지털 신호로서, 출력하고자 하는 소리의 진폭에 대한 정보를 담고 있는데, 따라서 청각 피드백으로 제공될 음원 데이터에 맞추어 단말기에 구비된 햅틱 장치를 함께 제어할 수 있다면, 청각 피드백과 햅틱 피드백을 사용자에게 동시에 제공할 수 있게 된다.
그러나 종래 기술에 의한 청각 및 햅틱 피드백의 제공은, 대부분 미리 저장된 음원에 대하여 음악이 재생될 때에 미리 정의된 방식으로 햅틱 효과가 발생하도록 하는데 그치고 있어서, 음악뿐 아니라 일반적으로 발생할 수 있는 모든 이벤트를 고려하여 햅틱 피드백을 제공하는 데에 한계가 있다. 또한, 청각 피드백과 관련된 모든 이벤트를 고려하여 발생 가능한 햅틱 효과를 미리 정의하기에는 많은 시간이 소요되는 문제가 있다. 나아가, 음악 파일 외의 소리 데이터를 햅틱 피드백으로 제공하는 기술의 경우에도, 소리 음량의 변화에 따라 구체적으로 어떠한 방식으로 햅틱 피드백을 제공할 것인지에 대해서는 그 구현 방법이 개시되지 않은 문제가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 햅틱 장치를 구비한 전자기기가 음향 효과를 제공함에 있어서, 재생되는 음원 데이터로 저장되어 있는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 햅틱 피드백을 함께 제공할 수 있는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 연속하여 변화하는 음향 출력에 대해 출력 전후로 이어지는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 다양한 햅틱 피드백을 함께 제공할 수 있는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 소리의 음량 변화량을 이용하여 햅틱 장치를 제어하는 방법은,
(1) 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계;
(2) 상기 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계;
(3) 상기 측정된 변화량에 따라 상기 대푯값의 변화 유형을 결정하는 단계; 및
(4) 상기 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
(0-1) 음향신호 출력부를 구비한 전자기기로부터 음원 데이터를 샘플링하는 단계를 더 포함하며,
상기 단계 (0-1)에서 샘플링되는 음원 데이터는, 상기 음향신호 출력부의 아날로그 신호 또는 펄스폭 변조 신호로부터 추출되는 디지털 신호일 수 있다.
더욱 바람직하게는,
상기 단계 (0-1)에서 샘플링되는 음원 데이터는, 상기 음향신호 출력부에서 출력 예정 중인 디지털 원시 데이터 신호일 수 있다.
바람직하게는, 상기 단계 (1)에서,
상기 추출은, 저역 통과 필터를 이용한 다운 샘플링 방법에 의해 이루어질 수 있다.
바람직하게는,
(0-2) 2 이상의 수로서 음원 데이터로부터 추출할 대푯값의 개수를 설정하는 단계를 더 포함하며,
상기 단계 (1)에서는,
상기 단계 (0-2)에서 상기 설정한 개수에 따라 상기 음원 데이터로부터 대푯값을 추출할 수 있다.
더욱 바람직하게는, 상기 단계 (1)에서,
상기 추출은, 상기 음원 데이터를 상기 단계 (0-2)에서 상기 설정한 개수에 따른 그룹으로 분류하고 상기 분류된 그룹에 대한 대푯값을 산출하여 이루어질 수 있다.
바람직하게는, 상기 단계 (1)에서는,
상기 음원 데이터에 대하여 2개의 대푯값을 추출하며,
상기 단계 (3)에서 결정하는 상기 대푯값의 변화 유형은, 변화 없음, 증가함, 감소함 중 적어도 어느 하나를 포함할 수 있다.
바람직하게는, 상기 단계 (1)에서는,
상기 음원 데이터에 대하여 3개의 대푯값을 추출하며,
상기 단계 (3)에서 결정하는 상기 대푯값의 변화 유형은, 계속 변화 없음, 계속 증가함, 계속 감소함, 증가 후 감소함, 및 감소 후 증가함 중 적어도 어느 하나를 포함할 수 있다.
바람직하게는, 상기 단계 (4)에서,
상기 햅틱 효과는, 효과 없음, 어느 하나의 상기 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 대푯값에 해당하는 햅틱 효과와 그 후 바로 이루어지는 효과 급정지 제어, 효과 급정지 제어와 그 후 바로 이루어지는 어느 하나의 상기 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 대푯값의 배수에 해당하는 햅틱 효과, 및 어느 두 상기 대푯값의 평균에 해당하는 햅틱 효과 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 또 다른 특징에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법은,
(1) 음향 신호를 출력할 전자기기로부터 샘플링된 제1 음원 데이터에 대하여 적어도 둘 이상의 제1 대푯값을 추출하는 단계;
(2) 상기 추출한 제1 대푯값에 대하여 시간에 따른 제1 변화량을 측정하는 단계;
(3) 상기 측정된 제1 변화량에 따라 상기 제1 대푯값의 변화 유형을 결정하는 단계;
(4) 상기 제1 음원 데이터의 뒤에 이어지는 제2 음원 데이터에 대하여 적어도 둘 이상의 제2 대푯값을 추출하는 단계;
(5) 상기 추출한 제2 대푯값에 대하여 시간에 따른 제2 변화량을 측정하는 단계;
(6) 상기 측정된 제2 변화량에 따라 상기 제2 대푯값의 변화 유형을 결정하는 단계; 및
(7) 상기 결정된 제1 대푯값의 변화 유형에 이어지는 상기 결정된 제2 대푯값의 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 단계 (1)에서는, 상기 제1 음원 데이터에 대하여 2개의 제1 대푯값을 추출하고, 상기 단계 (4)에서는, 상기 제2 음원 데이터에 대하여 2개의 제2 대푯값을 추출하며,
상기 단계 (3) 및 상기 단계 (6)에서 결정하는 상기 제1 대푯값 및 상기 제2 대푯값의 변화 유형은 각각, 변화 없음, 증가함, 감소함 중 적어도 어느 하나를 포함할 수 있다.
바람직하게는,
상기 단계 (1)에서는, 상기 제1 음원 데이터에 대하여 3개의 제1 대푯값을 추출하고, 상기 단계 (4)에서는, 상기 제2 음원 데이터에 대하여 3개의 제2 대푯값을 추출하며,
상기 단계 (3) 및 상기 단계 (6)에서 결정하는 상기 제1 대푯값 및 상기 제2 대푯값의 변화 유형은 각각, 계속 변화 없음, 계속 증가함, 계속 감소함, 증가 후 감소함, 및 감소 후 증가함 중 적어도 어느 하나를 포함할 수 있다.
바람직하게는, 상기 단계 (7)에서,
상기 햅틱 효과는, 효과 없음, 어느 하나의 상기 제1 또는 제2 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 제1 또는 제2 대푯값에 해당하는 햅틱 효과와 그 후 바로 이루어지는 효과 급정지 제어, 효과 급정지 제어와 그 후 바로 이루어지는 어느 하나의 상기 제1 또는 제2 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 제1 또는 제2 대푯값의 배수에 해당하는 햅틱 효과, 및 어느 두 상기 제1 또는 제2 대푯값의 평균에 해당하는 햅틱 효과 중 적어도 어느 하나를 포함할 수 있다.
본 발명에서 제안하고 있는 소리 음량의 변화을 이용하여 햅틱 효과를 생성하는 방법에 따르면, 햅틱 장치를 구비한 전자기기가 음향 효과를 제공함에 있어서, 재생되는 음원 데이터로 저장되어 있는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 햅틱 피드백을 함께 제공할 수 있다.
또한, 본 발명에 따르면, 연속하여 변화하는 음향 출력에 대해 출력 전후로 이어지는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 다양한 햅틱 피드백을 함께 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 흐름을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300이 수행되는 과정을 도시한 도면.
도 3은 본 발명의 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300이 수행되는 과정을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S500에서 결정되는 대푯값의 변화 유형을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S600에서 생성되는 햅틱 효과를 도시한 도면.
도 6은 본 발명의 또 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 흐름을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300이 수행되는 과정을 도시한 도면.
도 3은 본 발명의 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300이 수행되는 과정을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S500에서 결정되는 대푯값의 변화 유형을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S600에서 생성되는 햅틱 효과를 도시한 도면.
도 6은 본 발명의 또 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 흐름을 나타내는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법은, 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계(S300), 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계(S400), 측정된 변화량에 따라 대푯값의 변화 유형을 결정하는 단계(S500), 및 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계(S600)를 포함하여 구현될 수 있으며, 음향신호 출력부를 구비한 전자기기로부터 음원 데이터를 샘플링하는 단계(S100) 및 음원 데이터로부터 추출할 대푯값의 개수를 설정하는 단계(S200)를 더 포함하여 구현될 수 있다.
본 발명은 음향신호 출력부를 구비하여 음향신호를 출력할 수 있는 전자기기가, 전기 에너지를 진동 형태의 역학 에너지로 전환할 수 있는 진동 소자 내지, 촉각 데이터로 변환 가능한 진동, 온도, 풍력 등 햅틱 효과를 생성할 수 있는 장치를 더 포함하는 경우에 모두 사용될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 각 단계에 대하여 상세히 설명하도록 한다.
단계 S100에서는, 음향신호 출력부를 구비한 전자기기로부터 음원 데이터를 샘플링할 수 있다. 이때, 샘플링되는 음원 데이터는, 음향신호 출력부의 아날로그 신호 또는 펄스 폭 변조 신호로부터 추출되는 디지털 신호이거나, 또는 음향신호 출력부에서 출력 예정 중인 디지털 원시 데이터 신호일 수 있다.
단계 S200에서는, 음원 데이터로부터 추출할 대푯값의 개수를 설정할 수 있다. 추출할 대푯값의 개수로 설정할 수 있는 값은 2 이상의 수로서, 예를 들어, 2개의 대푯값을 추출하거나 또는 3개의 대푯값을 추출하도록 설정할 수 있으며, 그보다 많은 수의 대푯값을 추출하도록 설정할 수도 있다.
단계 S300에서는, 음원 데이터에 대하여 적어도 둘 이상의 대푯값을 추출할 수 있다. 이때, 단계 S200에서 대푯값의 개수를 미리 설정해 놓은 경우, 그 개수에 따라 대푯값을 추출할 수 있다. 대푯값의 추출은, 저역 통과 필터를 이용한 다운 샘플링 방법에 의해 이루어지거나, 또는 추출할 개수에 따른 그룹으로 분류하여 그룹별 평균을 구하는 방법으로 이루어질 수 있다. 또한, 추출할 개수에 따른 그룹으로 분류하여 그룹별 평균을 구한 다음, 그에 대해 저역 통과 필터를 이용하여 추출하는 방법으로 이루어질 수도 있다.
도 2는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300이 수행되는 과정으로서, 음원 데이터에 대하여 저역 통과 필터(Low Pass Filter, LPF)를 이용한 다운 샘플링(down sampling) 방법에 의해 대푯값을 추출하는 과정을 나타낸다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300은, 예를 들어 5㎳의 시간 간격으로 이루어진 음원 데이터(210)를 저역 통과 필터 처리함으로써 이루어질 수 있다. 이때, 저역 통과 필터에 의해 필터링(filtering) 하는 이유는, 음원 데이터(210)를 얻는 과정에서 사용되는 샘플링 주파수(fs)가 통상적으로, 실제 출력될 음향의 최대 주파수보다 약 2배 이상 높게 설정되기 때문이다. 한편, 저역 통과 필터 처리를 할 때에는, 각 데이터에 대해 서로 다른 가중치를 줌으로써, 출력될 음향 신호의 변화 유형이 보다 명확히 드러나도록 할 수 있다. 이렇게 1차적으로 저역 통과 필터 처리를 한 데이터는, 필터 처리하기 전의 데이터에 비해 그 개수가 감소하며 저역 통과 필터의 차단 주파수(fc) 이하의 데이터만 남게 된다. 이와 같이 저역 통과 필터 처리를 이용한 다운 샘플링 방법은, 최종적으로 원하는 개수의 데이터가 추출될 때까지 계속될 수 있다. 도 2에서는 음원 데이터(210)에 대하여 3번의 저역 통과 필터 처리(220, 230, 240)를 하여 최종적으로 3개의 데이터(240)가 추출되는 과정을 확인할 수 있다. 이때, 추출된 3개의 데이터는 필터링 되기 전의 음원 데이터(210)에 대한 대푯값으로 결정될 수 있다. 또한, 실시예에 따라서는, 최종적으로 2개의 대푯값을 추출하도록 다운 샘플링할 수 있다.
한편, 음원 데이터로부터 대푯값을 추출하는 과정은, 위에서 설명한 필터 처리를 통한 다운 샘플링 방법뿐 아니라, 그룹별 평균을 이용하여 이루어질 수도 있다. 도 3은 본 발명의 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S300이 수행되는 과정을 도시한 도면이다. 도 3에서 확인할 수 있듯이, 예를 들어 210개의 음원 데이터에 대하여 3개의 대푯값을 추출할 경우, 음원 데이터를 각각, 첫 번째부터 70번째, 71번째부터 140번째, 141번째부터 210번째까지의 데이터로 구성되는 3개의 그룹으로 분류한 다음, 각 그룹별 평균을 산출하여 그 값을 대푯값으로 추출할 수 있다. 또한, 실시예에 따라서는, 위와 같이 산출된 그룹별 평균을 다시 저역 통과 필터 처리하여 대푯값을 추출하도록 할 수 있다.
단계 S400에서는, 추출한 대푯값에 대하여 시간에 따른 변화량을 측정할 수 있다. 단계 S300에서 추출한 각각의 대푯값은 특정 시간 구간에서의 진폭에 대한 정보를 나타내므로, 서로 다른 대푯값 간에는 시간에 따른 변화량을 가질 수 있고, 따라서 이러한 변화량으로부터 대푯값의 변화 양상, 곧, 음원 데이터의 변화 양상을 구별할 수 있기 때문이다. 이때, 대푯값의 시간에 따른 변화량은 양수이거나 음수일 수 있으며, 서로 다른 시간 구간에서의 대푯값이 동일한 경우에는, 그 변화량이 0(영) 일 수 있다. 한편, 3개 이상의 대푯값이 추출되는 경우, 각 대푯값은 그에 인접한 대푯값에 대하여 전후로 변화량을 가질 수 있는데, 이 경우 음원 데이터의 변화 양상에 부합하도록, 대푯값 간의 변화량을 앞에서부터 순서대로 측정할 수 있다.
단계 S500에서는, 측정된 변화량에 따라 대푯값의 변화 유형을 결정할 수 있다. 이때, 대푯값의 변화 유형은 다양한 형태로 분류될 수 있다. 예를 들어, 2개의 대푯값이 추출된 경우, 대푯값의 변화 유형은 증가함, 감소함, 또는 변화 없음 중 어느 하나의 변화 유형을 가질 수 있다. 또한, 예를 들어, 3개의 대푯값이 추출된 경우에는, 첫 번째, 두 번째 및 세 번째 대푯값에 이르기까지 모두 변화량이 없을 수 있고(maintain형), 처음에서 마지막으로 갈수록 대푯값이 계속 증가하거나(fade-in형) 또는 계속 감소할 수 있으며(fade-out형), 첫 번째에서 두 번째 대푯값으로 진행될 때에 증가했다가 두 번째에서 세 번째 대푯값으로 진행될 때에 다시 감소하는 변화 유형(peak형)을 가질 수 있다. 또한, 첫 번째에서 두 번째 대푯값으로 진행될 때에 감소했다가 두 번째에서 세 번째 대푯값으로 진행될 때에 다시 증가하는 변화 유형(valley형)을 가질 수도 있다.
도 4에서는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S500에서 결정되는 대푯값의 변화 유형을 나타낸다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S500에서 결정되는 대푯값의 변화 유형은, 3개의 대푯값이 추출된 경우, 계속 증가함(410), 계속 감소함(420), 계속 변화 없음(430), 증가 후 감소함(440), 및 감소 후 증가함(450)의 5가지 유형 중 어느 하나를 포함할 수 있다.
단계 S600에서는, 햅틱 장치에서 단계 S500에서 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성할 수 있다. 즉, 음원 데이터로부터 추출한 대푯값의 변화 유형이 결정된 경우, 햅틱 장치에서는 그에 부합하는 햅틱 효과를 생성하도록 설정할 수 있다. 이 경우, 햅틱 장치가 생성할 수 있는 햅틱 효과에는, 효과 없음, 어느 하나의 대푯값에 해당하는 햅틱 효과, 어느 하나의 대푯값에 해당하는 햅틱 효과와 그 후 바로 이루어지는 효과 급정지 제어, 또는 효과 급정지 제어와 그 후 바로 이루어지는 어느 하나의 대푯값에 해당하는 햅틱 효과가 포함될 수 있으며, 어느 하나의 대푯값의 배수에 해당하는 햅틱 효과나, 어느 두 대푯값의 평균에 해당하는 햅틱 효과도 포함될 수 있다. 이때, 어느 하나의 대푯값에 해당하는 햅틱 효과를 생성한 뒤 바로 이어서 효과 급정지 제어를 수행하는 경우에는 진폭이 점차 감소하는 햅틱 패턴이 나타날 수 있고, 반대로, 효과 급정지 제어를 한 뒤 바로 이어서 어느 하나의 대푯값에 해당하는 햅틱 효과를 생성할 경우에는 진폭이 점차 증가하는 햅틱 패턴이 나타날 수 있다.
도 5에서는 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S600에서 생성되는 햅틱 효과를 나타낸다. 도 5에서 도시된 바와 같이, 본 발명의 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 단계 S600에서 생성되는 햅틱 효과에는, 효과 없음(510), 어느 하나의 값에 해당하는 햅틱 효과(520), 점진적으로 진폭이 증가하는 햅틱 효과(530), 또는 점진적으로 진폭이 감소하는 햅틱 효과(540) 등의 햅틱 패턴이 포함될 수 있다. 예를 들어, 도 4에 도시된 대푯값의 변화 유형에 따라 햅틱 패턴을 생성시키는 경우, 0이 아닌 대푯값이 변화없이 유지되는 경우(430)에는 그 대푯값에 해당하는 햅틱 효과(520)를 생성할 수 있고, 대푯값이 0으로 변화없이 유지되는 경우(430)에는 햅틱 효과가 발생하지 않도록(510) 설정할 수 있다. 또한, 대푯값의 변화 유형이 증가 후 감소하는 형태(440)인 경우, 두 번째 대푯값에 해당하는 햅틱 효과 생성에 바로 이어서 효과 급정지 제어를 할 수 있고(540), 반면에, 대푯값의 변화 유형이 감소 후 증가하는 형태(450)인 경우, 효과 급정지 제어에 바로 이어서 세 번째 대푯값에 해당하는 햅틱 효과를 생성(530)할 수 있다.
본 발명은 상기와 같은 단계를 포함함으로써, 햅틱 장치를 구비한 전자기기가 음향 효과를 제공함에 있어서, 음원 데이터로 저장되어 있는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성함으로써, 사용자에게 제공되는 청각 피드백에 맞추어 촉각 피드백을 함께 제공할 수 있다.
한편, 이상에서는 어느 하나의 유형으로 결정된 대푯값의 변화 유형에 따라 햅틱 효과를 생성하는 방법을 설명하였다. 그러나 음향 출력이 연속하여 변화하는 경우, 출력 전후로 이어지는 소리 음량의 변화 유형을 구분하고, 그 변화 유형에 따라 햅틱 효과를 생성할 필요가 있다. 이를 위해, 도 6에서는 본 발명의 또 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법의 흐름을 도시하였다. 도 6에 도시된 바와 같이, 본 발명의 또 다른 일 실시예에 따른 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법은, 음향신호를 출력할 전자기기로부터 샘플링된 제1 음원 데이터에 대하여 둘 이상의 제1 대푯값을 추출하는 단계(S1100), 추출한 제1 대푯값에 대하여 시간에 따른 제1 변화량을 측정하는 단계(S1200), 측정된 제1 변화량에 따라 제1 대푯값의 변화 유형을 결정하는 단계(S1300), 제1 음원 데이터의 뒤에 이어지는 제2 음원 데이터에 대하여 둘 이상의 제2 대푯값을 추출하는 단계(S1400), 추출한 제2 대푯값에 대하여 시간에 따른 제2 변화량을 측정하는 단계(S1500), 측정된 제2 변화량에 따라 제2 대푯값의 변화 유형을 결정하는 단계(S1600), 및 제1 대푯값의 변화 유형에 이어지는 제2 대푯값의 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계(S1700)를 포함하여 구현될 수 있다.
단계 S1100에서는, 음향신호를 출력할 전자기기로부터 샘플링된 제1 음원 데이터에 대하여 둘 이상의 제1 대푯값을 추출할 수 있다. 이때, 제1 대푯값의 추출은, 단계 S200에서와 마찬가지로, 저역 통과 필터를 이용한 다운 샘플링 방법에 의해 이루어지거나, 또는 추출할 개수에 따른 그룹으로 분류하여 그룹별 평균을 구하는 방법으로 이루어질 수 있다. 또한, 추출할 개수에 따른 그룹으로 분류하여 그룹별 평균을 구한 다음, 그에 대해 저역 통과 필터를 이용하여 추출하는 방법으로 이루어질 수도 있다. 또한, 추출하는 대푯값의 개수도 2개나 3개 또는 그 이상일 수 있다.
단계 S1200에서는, 추출한 제1 대푯값에 대하여 시간에 따른 제1 변화량을 측정할 수 있다. 이때, 제1 대푯값의 시간에 따른 제1 변화량은, 단계 S300에서와 마찬가지로, 양수이거나 음수일 수 있으며, 서로 다른 시간 구간에서의 제1 대푯값이 동일한 경우에는, 그 변화량이 0(영) 일 수 있다. 한편, 3개 이상의 제1 대푯값이 추출되는 경우, 제1 대푯값 간의 변화량을 앞에서부터 순서대로 측정할 수 있다.
단계 S1300에서는, 측정된 제1 변화량에 따라 제1 대푯값의 변화 유형을 결정할 수 있다. 이때, 단계 S400에서와 마찬가지로, 제1 대푯값의 변화 유형은 다양한 형태로 분류될 수 있다. 예를 들어, 2개의 제1 대푯값이 추출된 경우, 대푯값의 변화 유형은 증가함, 감소함, 또는 변화 없음 중 어느 하나의 변화 유형을 가질 수 있다. 또한, 예를 들어, 3개의 제1 대푯값이 추출된 경우에는, 첫 번째, 두 번째 및 세 번째 제1 대푯값에 이르기까지 모두 변화량이 없을 수 있고(maintain형), 처음에서 마지막으로 갈수록 제1 대푯값이 계속 증가하거나(fade-in형) 또는 계속 감소할 수 있으며(fade-out형), 첫 번째에서 두 번째 제1 대푯값으로 진행될 때에 증가했다가 두 번째에서 세 번째 제1 대푯값으로 진행될 때에 다시 감소하는 변화 유형(peak형)을 가질 수 있다. 또한, 첫 번째에서 두 번째 제1 대푯값으로 진행될 때에 감소했다가 두 번째에서 세 번째 제1 대푯값으로 진행될 때에 다시 증가하는 변화 유형(valley형)을 가질 수도 있다.
이어서, 단계 S1400 내지 단계 S1600에서는, 제1 음원 데이터의 뒤에 이어지는 제2 음원 데이터에 대하여 단계 S1100 내지 단계 S1300에서의 과정을 동일하게 수행할 수 있다. 즉, 단계 S1400에서는 제2 음원 데이터에 대하여 둘 이상의 제2 대푯값을 추출하고, 단계 S1500에서는 추출한 제2 대푯값에 대하여 시간에 따른 제2 변화량을 측정하며, 단계 S1600에서는 측정된 제2 변화량에 따라 제2 대푯값의 변화 유형을 결정할 수 있다.
단계 S1700에서는, 제1 대푯값의 변화 유형에 이어지는 제2 대푯값의 변화 유형에 따라 서로 다른 햅틱 효과를 생성할 수 있다. 이때, 단계 S500에서와 마찬가지로, 햅틱 장치가 생성할 수 있는 햅틱 효과에는, 효과 없음, 어느 하나의 제1 또는 제2 대푯값에 해당하는 햅틱 효과, 어느 하나의 제1 또는 제2 대푯값에 해당하는 햅틱 효과와 그 후 바로 이루어지는 효과 급정지 제어, 또는 효과 급정지 제어와 그 후 바로 이루어지는 어느 하나의 제1 또는 제2 대푯값에 해당하는 햅틱 효과가 포함될 수 있으며, 어느 하나의 제1 또는 제2 대푯값의 배수에 해당하는 햅틱 효과나, 어느 두 제1 또는 제2 대푯값의 평균에 해당하는 햅틱 효과도 포함될 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S100: 음향신호 출력부를 구비한 전자기기로부터 음원 데이터를 샘플링하는 단계
S200: 음원 데이터로부터 추출할 대푯값의 개수를 설정하는 단계
S300: 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계
S400: 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계
S500: 측정된 변화량에 따라 대푯값의 변화 유형을 결정하는 단계
S600: 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계
S1100: 음향신호를 출력할 전자기기로부터 샘플링된 제1 음원 데이터에 대하여 둘 이상의 제1 대푯값을 추출하는 단계
S1200: 추출한 제1 대푯값에 대하여 시간에 따른 제1 변화량을 측정하는 단계
S1300: 측정된 제1 변화량에 따라 제1 대푯값의 변화 유형을 결정하는 단계
S1400: 제1 음원 데이터의 뒤에 이어지는 제2 음원 데이터에 대하여 둘 이상의 제2 대푯값을 추출하는 단계
S1500: 추출한 제2 대푯값에 대하여 시간에 따른 제2 변화량을 측정하는 단계
S1600: 측정된 제2 변화량에 따라 제2 대푯값의 변화 유형을 결정하는 단계
S1700: 제1 대푯값의 변화 유형 및 제2 대푯값의 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계
210: 필터 처리 전의 음원 데이터
220: 첫 번째 저역 통과 필터 처리 및 다운 샘플링한 데이터
230: 두 번째 저역 통과 필터 처리 및 다운 샘플링한 데이터
240: 세 번째 저역 통과 필터 처리 및 다운 샘플링한 데이터
410 내지 450: 추출된 3개의 대푯값이 형성할 수 있는 변화 유형의 예
510 내지 540: 햅틱 장치에서 생성할 수 있는 햅틱 효과의 예
S200: 음원 데이터로부터 추출할 대푯값의 개수를 설정하는 단계
S300: 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계
S400: 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계
S500: 측정된 변화량에 따라 대푯값의 변화 유형을 결정하는 단계
S600: 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계
S1100: 음향신호를 출력할 전자기기로부터 샘플링된 제1 음원 데이터에 대하여 둘 이상의 제1 대푯값을 추출하는 단계
S1200: 추출한 제1 대푯값에 대하여 시간에 따른 제1 변화량을 측정하는 단계
S1300: 측정된 제1 변화량에 따라 제1 대푯값의 변화 유형을 결정하는 단계
S1400: 제1 음원 데이터의 뒤에 이어지는 제2 음원 데이터에 대하여 둘 이상의 제2 대푯값을 추출하는 단계
S1500: 추출한 제2 대푯값에 대하여 시간에 따른 제2 변화량을 측정하는 단계
S1600: 측정된 제2 변화량에 따라 제2 대푯값의 변화 유형을 결정하는 단계
S1700: 제1 대푯값의 변화 유형 및 제2 대푯값의 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계
210: 필터 처리 전의 음원 데이터
220: 첫 번째 저역 통과 필터 처리 및 다운 샘플링한 데이터
230: 두 번째 저역 통과 필터 처리 및 다운 샘플링한 데이터
240: 세 번째 저역 통과 필터 처리 및 다운 샘플링한 데이터
410 내지 450: 추출된 3개의 대푯값이 형성할 수 있는 변화 유형의 예
510 내지 540: 햅틱 장치에서 생성할 수 있는 햅틱 효과의 예
Claims (13)
- 햅틱 효과의 생성 방법으로서,
(1) 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계;
(2) 상기 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계;
(3) 상기 측정된 변화량에 따라 상기 대푯값의 변화 유형을 결정하는 단계; 및
(4) 상기 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계를 포함하되,
상기 단계 (1)에서는,
상기 음원 데이터에 대하여 2개의 대푯값을 추출하며,
상기 단계 (3)에서 결정하는 상기 대푯값의 변화 유형은, 변화 없음, 증가함, 감소함 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제1항에 있어서,
(0-1) 음향신호 출력부를 구비한 전자기기로부터 음원 데이터를 샘플링하는 단계를 더 포함하며,
상기 단계 (0-1)에서 샘플링되는 음원 데이터는, 상기 음향신호 출력부의 아날로그 신호 또는 펄스 폭 변조 신호로부터 추출되는 디지털 신호인 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제2항에 있어서,
상기 단계 (0-1)에서 샘플링되는 음원 데이터는, 상기 음향신호 출력부에서 출력 예정 중인 디지털 원시 데이터 신호인 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제1항에 있어서, 상기 단계 (1)에서,
상기 추출은, 저역 통과 필터를 이용한 다운 샘플링 방법에 의해 이루어지는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제1항에 있어서,
(0-2) 2 이상의 수로서 음원 데이터로부터 추출할 대푯값의 개수를 설정하는 단계를 더 포함하며,
상기 단계 (1)에서는,
상기 단계 (0-2)에서 상기 설정한 개수에 따라 상기 음원 데이터로부터 대푯값을 추출하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제5항에 있어서, 상기 단계 (1)에서,
상기 추출은, 상기 음원 데이터를 상기 단계 (0-2)에서 상기 설정한 개수에 따른 그룹으로 분류하고 상기 분류된 그룹에 대한 대푯값을 산출하여 이루어지는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 삭제
- 햅틱 효과의 생성 방법으로서,
(1) 음원 데이터에 대하여 둘 이상의 대푯값을 추출하는 단계;
(2) 상기 추출한 대푯값에 대하여 시간에 따른 변화량을 측정하는 단계;
(3) 상기 측정된 변화량에 따라 상기 대푯값의 변화 유형을 결정하는 단계; 및
(4) 상기 결정된 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계를 포함하되,
상기 단계 (1)에서는,
상기 음원 데이터에 대하여 3개의 대푯값을 추출하며,
상기 단계 (3)에서 결정하는 상기 대푯값의 변화 유형은, 계속 변화 없음, 계속 증가함, 계속 감소함, 증가 후 감소함, 및 감소 후 증가함 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제1항에 있어서, 상기 단계 (4)에서,
상기 햅틱 효과는, 효과 없음, 어느 하나의 상기 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 대푯값에 해당하는 햅틱 효과와 그 후 바로 이루어지는 효과 급정지 제어, 효과 급정지 제어와 그 후 바로 이루어지는 어느 하나의 상기 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 대푯값의 배수에 해당하는 햅틱 효과, 및 어느 두 상기 대푯값의 평균에 해당하는 햅틱 효과 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 햅틱 효과의 생성 방법으로서,
(1) 음향 신호를 출력할 전자기기로부터 샘플링된 제1 음원 데이터에 대하여 적어도 둘 이상의 제1 대푯값을 추출하는 단계;
(2) 상기 추출한 제1 대푯값에 대하여 시간에 따른 제1 변화량을 측정하는 단계;
(3) 상기 측정된 제1 변화량에 따라 상기 제1 대푯값의 변화 유형을 결정하는 단계;
(4) 상기 제1 음원 데이터의 뒤에 이어지는 제2 음원 데이터에 대하여 적어도 둘 이상의 제2 대푯값을 추출하는 단계;
(5) 상기 추출한 제2 대푯값에 대하여 시간에 따른 제2 변화량을 측정하는 단계;
(6) 상기 측정된 제2 변화량에 따라 상기 제2 대푯값의 변화 유형을 결정하는 단계; 및
(7) 상기 결정된 제1 대푯값의 변화 유형에 이어지는 상기 결정된 제2 대푯값의 변화 유형에 따라 서로 다른 햅틱 효과를 생성하는 단계를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제10항에 있어서,
상기 단계 (1)에서는, 상기 제1 음원 데이터에 대하여 2개의 제1 대푯값을 추출하고, 상기 단계 (4)에서는, 상기 제2 음원 데이터에 대하여 2개의 제2 대푯값을 추출하며,
상기 단계 (3) 및 상기 단계 (6)에서 결정하는 상기 제1 대푯값 및 상기 제2 대푯값의 변화 유형은 각각, 변화 없음, 증가함, 감소함 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제10항에 있어서,
상기 단계 (1)에서는, 상기 제1 음원 데이터에 대하여 3개의 제1 대푯값을 추출하고, 상기 단계 (4)에서는, 상기 제2 음원 데이터에 대하여 3개의 제2 대푯값을 추출하며,
상기 단계 (3) 및 상기 단계 (6)에서 결정하는 상기 제1 대푯값 및 상기 제2 대푯값의 변화 유형은 각각, 계속 변화 없음, 계속 증가함, 계속 감소함, 증가 후 감소함, 및 감소 후 증가함 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
- 제10항에 있어서, 상기 단계 (7)에서,
상기 햅틱 효과는, 효과 없음, 어느 하나의 상기 제1 또는 제2 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 제1 또는 제2 대푯값에 해당하는 햅틱 효과와 그 후 바로 이루어지는 효과 급정지 제어, 효과 급정지 제어와 그 후 바로 이루어지는 어느 하나의 상기 제1 또는 제2 대푯값에 해당하는 햅틱 효과, 어느 하나의 상기 제1 또는 제2 대푯값의 배수에 해당하는 햅틱 효과, 및 어느 두 상기 제1 또는 제2 대푯값의 평균에 해당하는 햅틱 효과 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110101520A KR101121785B1 (ko) | 2011-10-05 | 2011-10-05 | 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 |
| US13/645,999 US20130088342A1 (en) | 2011-10-05 | 2012-10-05 | Method of generating haptic effect using variation in sound volume |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110101520A KR101121785B1 (ko) | 2011-10-05 | 2011-10-05 | 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101121785B1 true KR101121785B1 (ko) | 2012-03-09 |
Family
ID=46141666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110101520A KR101121785B1 (ko) | 2011-10-05 | 2011-10-05 | 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20130088342A1 (ko) |
| KR (1) | KR101121785B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101470329B1 (ko) * | 2013-02-18 | 2014-12-09 | (주)마이크로텍시스템 | 햅틱 게임 구현 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
| KR20160011745A (ko) | 2014-07-22 | 2016-02-02 | 택추얼센스 주식회사 | 온라인 네트워크를 통해 재생되는 동영상 컨텐츠를 기반으로 하는 햅틱 효과를 클라이언트의 단말장치에 제공하는 방법 및 시스템 |
| JP2018037106A (ja) * | 2012-08-31 | 2018-03-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | マッピングを用いた音をハプティック効果に変換するシステム |
| KR20220094539A (ko) * | 2020-12-29 | 2022-07-06 | 한국기술교육대학교 산학협력단 | 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8686839B2 (en) * | 2011-11-01 | 2014-04-01 | Texas Instruments Incorporated | Closed-loop haptic or other tactile feedback system for mobile devices, touch screen devices, and other devices |
| RU169169U1 (ru) * | 2016-07-04 | 2017-03-07 | Рявкин Александр Юрьевич | Тифлофлэшплеер |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090096632A1 (en) | 2007-10-16 | 2009-04-16 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
| KR20100001770A (ko) * | 2008-06-27 | 2010-01-06 | 엘지전자 주식회사 | 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법 |
| KR20100000742A (ko) * | 2008-06-25 | 2010-01-06 | 엘지전자 주식회사 | 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법 |
| US20110128132A1 (en) | 2006-04-13 | 2011-06-02 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
| US9448626B2 (en) * | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
-
2011
- 2011-10-05 KR KR1020110101520A patent/KR101121785B1/ko active IP Right Grant
-
2012
- 2012-10-05 US US13/645,999 patent/US20130088342A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110128132A1 (en) | 2006-04-13 | 2011-06-02 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| US20090096632A1 (en) | 2007-10-16 | 2009-04-16 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
| KR20100000742A (ko) * | 2008-06-25 | 2010-01-06 | 엘지전자 주식회사 | 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법 |
| KR20100001770A (ko) * | 2008-06-27 | 2010-01-06 | 엘지전자 주식회사 | 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018037106A (ja) * | 2012-08-31 | 2018-03-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | マッピングを用いた音をハプティック効果に変換するシステム |
| KR101470329B1 (ko) * | 2013-02-18 | 2014-12-09 | (주)마이크로텍시스템 | 햅틱 게임 구현 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
| KR20160011745A (ko) | 2014-07-22 | 2016-02-02 | 택추얼센스 주식회사 | 온라인 네트워크를 통해 재생되는 동영상 컨텐츠를 기반으로 하는 햅틱 효과를 클라이언트의 단말장치에 제공하는 방법 및 시스템 |
| KR20220094539A (ko) * | 2020-12-29 | 2022-07-06 | 한국기술교육대학교 산학협력단 | 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템 |
| KR102428109B1 (ko) | 2020-12-29 | 2022-08-01 | 한국기술교육대학교 산학협력단 | 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130088342A1 (en) | 2013-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101121785B1 (ko) | 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 | |
| JP6794483B2 (ja) | 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法 | |
| CN104423589B (zh) | 用于变换触觉信号的方法和系统 | |
| CN104423707B (zh) | 使用分段和组合的触觉转换系统 | |
| JP4262597B2 (ja) | サウンドシステム | |
| CN109313503B (zh) | 实时触觉生成 | |
| JP2019133685A (ja) | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 | |
| KR101427993B1 (ko) | 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 | |
| EP2885786B1 (en) | Transforming audio content for subjective fidelity | |
| CN104021148B (zh) | 调节音效的方法和装置 | |
| CN105027580A (zh) | 用于输出修改的音频信号的方法以及通过应用程序产生的图形用户界面 | |
| US10108395B2 (en) | Audio device with auditory system display and methods for use therewith | |
| CN105611458A (zh) | 一种移动终端的定向录音控制方法及装置 | |
| CN106095384B (zh) | 一种音效调节方法及用户终端 | |
| Swindells et al. | Medium fidelity rapid prototyping of vibrotactile haptic, audio and video effects | |
| CN108174031A (zh) | 一种音量调节方法、终端设备及计算机可读存储介质 | |
| KR102388543B1 (ko) | 오디오 노출을 관리하기 위한 사용자 인터페이스들 | |
| CN113823250B (zh) | 音频播放方法、装置、终端及存储介质 | |
| CN106935235A (zh) | 电子设备以及乐音控制方法 | |
| CN110727411A (zh) | 一种音频信号的处理方法、装置、存储介质以及终端 | |
| US9026237B2 (en) | Generating audio impressions of data | |
| US20120117373A1 (en) | Method for controlling a second modality based on a first modality | |
| EP3889958A1 (en) | Dynamic audio playback equalization using semantic features | |
| US20230239618A1 (en) | Wearable device for providing multi-modality and operation method thereof | |
| CN116077925A (zh) | 一种振动反馈方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150223 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160222 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170322 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180201 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190305 Year of fee payment: 8 |