KR102663844B1 - 햅틱 제어 신호 제공 장치 및 방법 - Google Patents

햅틱 제어 신호 제공 장치 및 방법 Download PDF

Info

Publication number
KR102663844B1
KR102663844B1 KR1020230092431A KR20230092431A KR102663844B1 KR 102663844 B1 KR102663844 B1 KR 102663844B1 KR 1020230092431 A KR1020230092431 A KR 1020230092431A KR 20230092431 A KR20230092431 A KR 20230092431A KR 102663844 B1 KR102663844 B1 KR 102663844B1
Authority
KR
South Korea
Prior art keywords
haptic
control signal
signal
pattern data
data
Prior art date
Application number
KR1020230092431A
Other languages
English (en)
Other versions
KR20230113244A (ko
Inventor
김형준
손기석
이종훈
Original Assignee
주식회사 씨케이머티리얼즈랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180108339A external-priority patent/KR102337869B1/ko
Application filed by 주식회사 씨케이머티리얼즈랩 filed Critical 주식회사 씨케이머티리얼즈랩
Priority to KR1020230092431A priority Critical patent/KR102663844B1/ko
Publication of KR20230113244A publication Critical patent/KR20230113244A/ko
Application granted granted Critical
Publication of KR102663844B1 publication Critical patent/KR102663844B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

햅틱 장치의 햅틱 제어 신호 제공 장치 및 방법이 개시된다. 햅틱 장치의 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 진동 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 전송부를 포함할 수 있다.

Description

햅틱 제어 신호 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING HAPTIC CONTROL SIGNAL}
아래의 설명은 햅틱 제어 신호 제공 장치 및 방법에 관한 것이다.
문화 산업이 발달함에 따라 콘서트, 비디오 게임 등 소비자가 즐길 수 있는 컨텐츠의 종류가 다양화되고 있고, VR(Virtual Reality), 3D 영상과 같은 시각적으로 몰입감이 높은 컨텐츠 제공 방법에 대한 소비자의 수요가 증대되고 있다. 이와 더불어 촉각적으로도 더 실감나는 경험을 하고자 하는 소비자의 수요도 증대되고 있다. 이러한 경향에 따라 소비자에게 햅틱 피드백을 제공하는 햅틱 장치에 대한 관심도 나날이 증가하고 있다. 햅틱 장치는 햅틱 장치에 흐르는 전류량, 햅틱 장치에 인가되는 전압의 크기를 조절하여 햅틱 장치가 제공하는 햅틱 자극을 조절할 수 있다. 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서는 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 기술적 수단의 발전이 요구된다.
본 발명은 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서는 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 햅틱 제어 신호 제공 장치 및 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 전송부를 포함할 수 있다.
상기 햅틱 패턴 데이터 결정부는, 상기 오디오 신호로부터 오디오 비트 패턴을 추출하고, 상기 추출된 오디오 비트 패턴에 기초하여 상기 햅틱 패턴 데이터를 결정할 수 있다.
상기 햅틱 패턴 데이터 결정부는 상기 오디오 신호를 주파수 대역별로 분할하고, 상기 분할된 주파수 대역별 신호들 중에서 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택하고, 상기 선택된 하나 이상의 주파수 대역의 신호에 대해 반파 정류를 수행하여 상기 오디오 비트 패턴을 추출할 수 있다.
상기 햅틱 제어 신호 생성부는 상기 햅틱 패턴 데이터에 기초하여 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정할 수 있다.
상기 햅틱 패턴 데이터 결정부는 데이터 베이스에 미리 저장된 햅틱 패턴 데이터 중 상기 부가 효과 신호에 대응하는 햅틱 패턴 데이터를 추출할 수 있다.
햅틱 제어 신호 제공 장치는 상기 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성하는 시각화 데이터 생성부를 더 포함하고, 상기 전송부는 상기 시각화 데이터를 상기 햅틱 장치로 전송할 수 있다.
일 실시예에 따른 햅틱 장치는 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신하는 수신부; 상기 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 햅틱 패턴 데이터 추출부; 햅틱 자극을 발생시키는 액츄에이터; 및 상기 추출된 햅틱 패턴 데이터에 기초하여 상기 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부를 포함할 수 있다.
상기 햅틱 패턴 데이터 추출부는 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나에 기초하여 상기 햅틱 패턴 데이터를 복원할 수 있다.
상기 수신부는 햅틱 제어 신호 제공 장치로부터 상기 햅틱 패턴 데이터에 대응하는 시각화 데이터를 더 수신하고, 상기 수신한 시각화 데이터에 기초하여 상기 햅틱 패턴 데이터의 특성 정보를 출력하는 시각화 데이터 표시부를 더 포함할 수 있다.
상기 햅틱 패턴 데이터는 오디오 데이터 및 부가 효과 데이터 중 적어도 하나에 기초하여 상기 햅틱 제어 신호 제공 장치에 의해 생성될 수 있다.
일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공 방법은 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 단계; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 진동 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 단계; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 단계를 포함할 수 있다.
상기 햅틱 패턴 데이터를 결정하는 단계는 상기 오디오 신호로부터 오디오 비트 패턴을 추출하는 단계; 및 상기 추출된 오디오 비트 패턴에 기초하여 상기 햅틱 패턴 데이터를 결정하는 단계를 포함할 수 있다.
상기 햅틱 패턴 데이터를 결정하는 단계는 데이터 베이스에 미리 저장된 햅틱 패턴 데이터 중 상기 부가 효과 신호에 대응하는 햅틱 패턴 데이터를 추출하는 단계를 포함할 수 있다.
상기 햅틱 제어 신호를 생성하는 단계는 상기 햅틱 패턴 데이터에 기초하여 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법은 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신하는 단계; 상기 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 단계; 상기 추출된 햅틱 패턴 데이터에 기초하여 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 단계; 및 상기 액츄에이터 제어 신호에 기초하여 상기 액츄에이터의 구동을 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 햅틱 장치는 햅틱 패턴 데이터에 기초하여 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부; 및 상기 생성된 액츄에이터 제어 신호에 기초하여 햅틱 자극을 생성하는 액츄에이터를 포함할 수 있다.
일 실시예에 따른 햅틱 장치의 액츄에이터 제어부는, 회로에 직류 전원을 인가하는 DC-DC 컨버터; 및 햅틱 패턴 데이터에 기초하여 제어 신호를 생성하는 컨트롤 회로를 포함하고, 상기 액츄에이터는 상기 제어 신호에 기초하여 상기 햅틱 자극을 생성할 수 있다.
일 실시예에 따른 햅틱 장치의 액츄에이터 제어부는 상기 생성된 제어 신호의 세기를 조절하는 조절부를 더 포함할 수 있다.
본 발명에 따르면, 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 효과가 있다..
도 1은 일 실시예에 따른 햅틱 자극 제공 시스템을 도시하는 도면이다.
도 2는 일 실시예에 따른 햅틱 제어 신호 제공 장치의 구성을 도시하는 도면이다.
도 3a는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT(Fast Fourier Transform)응 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 3b는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 오디오 신호를 분리해 내는 일례를 도시하는 도면이다.
도 4a는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛(Wavelet) 변환을 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 4b는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 과정을 도시하는 도면이다.
도 5는 일 실시예에 따른 햅틱 장치의 구성을 도시한 도면이다.
도 6은 일 실시예에 따른 액츄에이터 제어부의 구성을 도시하는 도면이다.
도 7a는 일 실시예에 따른 액츄에이터 제어부의 회로의 일례를 도시하는 도면이다.
도 7b는 다른 실시예에 따른 하나의 제어 신호에 기초하여 컨트롤 회로가 동작되는 회로의 일례를 도시하는 도면이다.
도 7c는 또 다른 실시예에 따른 다양한 패턴의 제어 신호를 생성할 수 있는 회로도의 일례를 도시한다.
도 7d은 다양한 햅틱 자극을 생성하는 햅틱 장치에 대한 회로의 일례를 도시한다.
도 8은 일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공방법의 동작을 도시하는 흐름도이다.
도 9는 일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법에 대한 동작을 도시하는 흐름도이다.
실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 햅틱 자극 제공 시스템을 도시하는 도면이다.
도 1을 참조하면, 햅틱 자극 제공 시스템은 사용자에게 햅틱 자극을 전달하는 햅틱 장치(120) 및 햅틱 장치(120)에 햅틱 제어 신호를 제공하는 햅틱 제어 신호 제공 장치(110)를 포함할 수 있다. 햅틱 자극 제공 시스템은 햅틱 제어 신호 제공 장치(110)를 통해 사용자의 햅틱 장치(120)의 동작을 제어함으로써, 사용자에게 오디오 등 외부 입력 신호의 비트 패턴에 대응하는 다양한 형태의 햅틱 자극을 제공할 수 있다. 햅틱 자극 제공 시스템은 햅틱 장치(120)의 사용자에게 다양한 형태의 햅틱 자극을 제공하고, 이를 통해 컨텐츠에 대한 더 높은 차원의 몰입감을 사용자에게 제공할 수 있다.
햅틱 장치(120)는 진동을 통해 사용자에게 햅틱 자극을 제공하는 장치이다. 예를 들어, 햅틱 장치(120)는 진동의 세기, 진동 방향, 진동 주기 등을 조절하여 다양한 햅틱 자극(예: 스치는 촉감, 조여지는 촉감, 눌리는 촉감 등)을 사용자에게 제공할 수 있다. 햅틱 장치(120)는 햅틱 장치(120)가 사용되는 환경에 따라 다양한 종류의 기기에 대응될 수 있다. 예를 들어, 사용자가 비디오 게임을 플레이하는 환경일 경우, 햅틱 장치(120)는 비디오 게임 콘솔일 수 있고, 사용자가 가수의 콘서트에 참여한 경우, 햅틱 장치(120)는 음악의 비트 패턴에 대응하여 진동을 제공할 수 있는 기능을 포함하는 응원 도구일 수 있다. 또한, 햅틱 장치(120)는 스마트 폰과 연동되어 제어되는 웨어러블 밴드(wearable band), 웨어러블 워치(wearable watch) 등을 포함하는 임의의 웨어러블 기기(wearable device)를 포함할 수 있다.
햅틱 제어 신호 제공 장치(110)는 햅틱 장치(120)가 제공하는 햅틱 자극을 제어할 수 있는 햅틱 제어 신호를 생성하고, 생성된 햅틱 제어 신호를 햅틱 장치(120)에 전송할 수 있다. 햅틱 제어 신호 제공 장치(110)는 입력 신호(130)를 수신하고, 수신한 입력 신호(130)에 기초하여 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 입력 신호(130)가 오디오 신호인 경우, 햅틱 제어 신호 제공 장치(110)는 오디오 신호의 오디오 비트 패턴에 대응하는 햅틱 제어 신호를 생성할 수 있다. 입력 신호(130)가 미리 규정된 특수한 효과를 나타내는 부가 효과 신호일 경우, 햅틱 제어 신호 제공 장치(110)는 미리 규정된 특수 효과에 대응하는 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 미리 규정된 특수 효과가 비가 내리는 상황에 대응된다면, 햅틱 제어 신호 제공 장치(110)는 사용자가 햅틱 장치(120)를 통해 비가 내리는 촉감을 느낄 수 있는햅틱 자극을 발생하도록 햅틱 장치(120)를 제어하는 햅틱 제어 신호를 생성할 수 있다.
도 2는 일 실시예에 따른 햅틱 제어 신호 제공 장치의 구성을 도시하는 도면이다.
도 2를 참조하면, 햅틱 제어 신호 제공 장치(200)는 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부(210), 결정된 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부(220), 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성하는 시각화 데이터 생성부(230), 생성된 햅틱 제어 신호를 햅틱 장치에 전송하는 전송부(240) 및 데이터 베이스(250)를 포함할 수 있다.
햅틱 패턴 데이터 결정부(210)는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 패턴 데이터 결정부(210)는 오디오 신호에 기초하여 햅틱 패턴 데이터를 결정하는 제1 햅틱 패턴 데이터 결정부(211) 및 부가 효과 신호에 기초하여 햅틱 패턴 데이터를 결정하는 제2 햅틱 패턴 데이터 결정부(213)을 포함할 수 있다.
제1 햅틱 패턴 데이터 결정부(211)는 수신한 오디오 신호로부터 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 오디오 신호로부터 햅틱 패턴 데이터를 결정하는 과정에 대해서는 이하 제시되는 도 3a, 도 3b, 도 4a 및 도 4b에서 보다 구체적으로 설명하도록 한다.
제2 햅틱 패턴 데이터 결정부(213)는 수신한 부가 효과 신호에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 부가 효과 신호는 미리 결정된 특수 효과를 나타내는 신호일 수 있고, 부가 효과 신호에 대응하는 햅틱 패턴 데이터는 미리 생성되어 데이터 베이스(250)에 저장될 수 있다. 예를 들어, 미리 결정된 특수 효과는 제공되는 컨텐츠에 따라서 비가 내리는 효과, 총에 맞는 효과 등일 수 있고, 각각의 특수 효과에 대응하는 촉감을 전달하는 햅틱 패턴 데이터가 미리 생성되어 데이터 베이스(250)에 저장될 수 있다. 다만, 미리 결정된 특수 효과의 범위는 위 예시에 한정되지 않는다. 제2 햅틱 패턴 데이터 결정부(213)는 수신한 부가 효과 신호를 식별하고, 식별된 부가 효과 신호에 대응하여 데이터 베이스(250)에 저장된 햅틱 패턴 데이터를 추출하고, 추출된 햅틱 패턴 데이터에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.
일 실시예에 따른 햅틱 제어 신호 생성부(220)는 햅틱 제어 신호에 포함될 부가 정보를 포함하는 데이터 헤더를 생성하는 데이터 헤더부(221), 햅틱 제어 신호의 진폭 데이터를 생성하는 진폭 데이터 생성부(223), 햅틱 제어 신호의 진동 "??? 데이터를 생성하는 방향 데이터 생성부(225), 햅틱 제어 신호의 신호 상태에 대한 데이터를 생성하는 신호 상태 데이터 생성부(227)를 포함할 수 있다.
데이터 헤더부(221)는 통해 햅틱 제어 신호에 포함될 부가 정보를 생성할 수 있다. 예를 들어, 데이터 헤더부(221)에 의해 생성되는 부가 정보는 햅틱 제어 신호의 포멧(format)에 대한 정보, 신호의 종류에 대한 정보, 용량에 대한 정보 등을 포함할 수 있다. 진폭 데이터 생성부(223)는 햅틱 패턴 데이터의 진폭 정보에 기초하여 햅틱 제어 신호의 진폭 데이터를 생성할 수 있다. 햅틱 제어 신호의 진폭 데이터는 햅틱 장치의 진동 세기를 결정함으로써, 햅틱 자극의 특성을 결정하는 데에 사용될 수 있다. 방향 데이터 생성부(225)는 햅틱 패턴 데이터의 진동 방향 정보에 기초하여 햅틱 제어 신호의 진동 방향 데이터를 생성할 수 있다. 햅틱 제어 신호의 진동 방향 데이터는 햅틱 장치의 진동 방향을 결정함으로써, 햅틱 자극의 특성을 결정하는 데에 사용될 수 있다. 예를 들어, 진동 방향은 좌우 방향, 상하 방향 등 임의의 방향일 수 있다. 신호 상태 데이터 생성부(227)는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호의 신호 상태에 대한 데이터를 생성할 수 있다. 예를 들어, 신호 상태에 대한 데이터는 신호가 최대 진폭을 유지하는 시간에 대한 데이터 또는 휴지 상태(예를 들어 진폭이 0을 유지하는 상태)를 유지하는 시간에 대한 데이터를 포함할 수 있다. 햅틱 제어 신호가 최대 진폭을 유지하는 시간에 대한 데이터 또는 휴지 상태를 유지하는 시간에 대한 데이터는 햅틱 장치의 다양한 형태의 햅틱 자극 패턴을 결정하는 데에 사용될 수 있다.
다른 실시예에 따르면, 햅틱 제어 신호 생성부(220)는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 미리 생성되어 데이터 베이스(250)에 저장되어 있는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다. 햅틱 제어 신호 생성부(220)는 실시간으로 수신되는 오디오 신호에 기초하여 결정된 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수도 있지만, 미리 생성되어 데이터 베이스(220)에 저장되어 있는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다.
일 실시예에 따른 시각화 데이터 생성부(230)는 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성할 수 있다. 예를 들어, 시각화 데이터는 햅틱 패턴 데이터에 대한 특징 정보(예를 들어 진폭 데이터, 진동 방향 데이터 등)를 디스플레이하기 위한 햅틱 자극 패턴과 어울리는 문자에 대한 데이터, 화면에 부가될 이모티콘에 대한 데이터를 포함할 수 있다. 예를 들어, 시각화 데이터는 햅틱 자극 패턴에 대한 특징 정보를 디스플레이하기 위한 문자의 색상 정보, 글꼴 정보, 특징 정보 제공 방식에 대한 정보를 포함하는 디스플레이 인터페이스에 대한 정보를 포함할 수 있다. 또한, 햅틱 자극이 부가 효과(예: 비가 내리는 효과)에 대응되는 경우, 시각화 데이터는 부가 효과와 대응되는 이모티콘 데이터(예: 물방울 이모티콘, 우산 이모티콘 등) 및 영상 데이터(예: 비가 내리는 배경 영상 등)를 포함할 수 있다. 다른 실시예에서, 시각화 데이터는 햅틱 패턴 데이터에 대한 특징 정보(예를 들어 진폭 정보, 진동 방향 정보 등)를 시각 장애인에게 제공하기 위한 점자를 형성하기 위한 데이터, 햅틱 패턴 데이터에 대한 정보를 LED 패턴으로 제공하기 위한 데이터를 포함할 수 있다.
전송부(240)는 햅틱 제어 신호 생성부(220)에서 생성된 햅틱 제어 신호 및 시각화 데이터 생성부(230)에서 생성된 시각화 데이터 중 적어도 하나를 햅틱 장치에 전송할 수 있다. 예를 들어 전송부(240)는 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이, LTE를 포함하는 유무선 통신을 통해 햅틱 제어 신호 또는 시각화 데이터를 햅틱 장치에 전송할 수 있다.
도 3a는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 수신한 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
일 실시예에 따르면, 단계(311)에서 제1 햅틱 패턴 데이터 결정부는 오디오 신호에 FFT을 수행하기 위해 입력된 오디오 신호를 세그멘테이션(segmentation)화할 수 있다. 제1 햅틱 패턴 데이터 결정부는 입력 오디오 신호를 임의의 개수의 데이터열 형태로 세그멘테이션화할 수 있는데, 예를 들어, 오디오 신호에 대하여 원활하게 FFT를 수행하기 위해 256개 또는 1024개의 데이터 열로 오디오 신호를 세그멘테이션화할 수 있다. 여기서, 세그멘테이션화되는 데이터 열의 개수는 위 일례에 한정되지 않는다.
단계(312)에서 제1 햅틱 패턴 데이터 결정부는 세그멘테이션화된 오디오 신호에 FFT을 수행하여 오디오 신호를 시간 영역에서 주파수 영역으로 변환할 수 있다. 단계(313)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 영역으로 변환된 오디오 신호를 주파수 대역 별로 분할할 수 있다. 제1 햅틱 패턴 데이터 결정부는 목적하는 오디오 비트 패턴을 포함하는 주파수 대역의 오디오 신호를 획득하기 위하여 주파수 영역으로 변환된 오디오 신호를 복수의 주파수 대역으로 분할할 수 있다.
단계(314)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 대역 별로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호의 잡음을 제외한 비트 패턴에 대한 정보, 오디오 신호의 특정 악기에 대한 비트 패턴 정보 등 추출하고자 하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 잡음에 해당하는 오디오 신호가 고주파 대역에 포함되는 경우 고주파 대역을 제외한 신호가 선택될 수 있다. 또한, 여러 가지 악기에 대한 오디오 신호가 결합된 오디오 신호 중 특정 악기의 오디오 신호를 추출하고자 하는 경우, 특정 악기의 주파수 대역에 대응하는 오디오 신호가 선택적으로 추출될 수 있다. 적용되는 실시예에 따라 복수의 주파수 대역의 오디오 신호가 요구되는 경우, 요구되는 복수의 주파수 대역의 신호가 추출될 수 있다. 오디오 신호가 복수의 주파수 대역으로 분할되고, 선택되는 방식은 위에 제시된 예시에 한정되지 않고, 적용되는 실시예에서 요구되는 오디오 신호의 주파수 대역에 따라 다양하게 결정될 수 있다.
단계(315)에서, 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호에 IFFT(Inverse Fast Fourier Transformation)를 수행할 수 있다. 제1 햅틱 패턴 데이터 결정부는 IFFT를 통해 선택된 주파수 대역의 오디오 신호를 주파수 영역에서 시간 영역으로 변환할 수 있다.
단계(316)에서, 제1 햅틱 패턴 데이터 결정부는 IFFT된 오디오 신호를 스무딩(smoothing) 처리할 수 있다. 예를 들어, 오디오 신호를 스무딩하는 과정에서, 제1 햅틱 패턴 데이터 결정부는 IFFT를 통해 시간 영역으로 변환된 오디오 신호를 전파 정류하고, 오디오 신호를 세그멘테이션화하여 FFT의 진행에 기인하여 발생한 왜곡을 감소시키고, 급격히 변화하는 영역을 부드럽게 보정하기 위하여 윈도우(window) 함수를 통해 오디오 신호에 대하여 컨볼루션(Convolution) 연산을 수행할 수 있다. 예를 들어 윈도우 함수는 해닝(Hanning), 해밍(Hamming), 카이저(Kaiser) 함수일 수 있지만 이에 한정되지 않는다. 또한, 시간 영역에서의 컨볼루션 연산은 주파수 영역에서의 곱 연산과 동일한 점에 기초하여, 주파수 영역에서 연산 과정을 수행하면 더 빠른 연산 수행이 가능할 수 있다.
단계(317)에서, 제1 햅틱 패턴 데이터 결정부는 스무딩된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다.
도 3b는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 오디오 신호를 분리해 내는 일례를 도시하는 도면이다.
일 실시예에 따르면, 오디오 신호(321)는 FFT를 통해 시간 영역에서 주파수 영역으로 변환되고, 주파수 대역 별로 오디오 신호의 컴포넌트들이 분리될 수 있다. 신호들(323)은 6개의 서로 다른 주파수 대역(f1, f2, f3, f4, f5, f6)으로 분할된 오디오 신호들일 수 있다. 주파수 대역을 분할하는 방식은 제시된 예시에 한정되지 않는다. 제1 햅틱 패턴 데이터 결정부는 복수의 주파수 대역으로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 주파수 대역(f2)의 오디오 신호(325)를 선택한다. 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호(325)를 IFFT를 통해 주파수 영역에서 시간 영역으로 변환한다. 제1 햅틱 패턴 데이터 결정부는 시간 영역으로 변환된 오디오 신호(327)를 스무딩 처리 및 반파 정류하고, 이를 통해 목적하는 비트 패턴 정보를 추출할 수 있다. 제1 햅틱 패턴 데이터 결정부는 추출한 비트 패턴 정보에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.
도 4a는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 4a를 참조하면, 단계(411)에서 제1 햅틱 패턴 데이터 결정부는 입력된 오디오 신호에 대하여 이산 웨이블렛 변환을 수행하기 위해 입력된 오디오 신호를 세그멘테이션화할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호에 대하여 원활하게 이산 웨이블렛 변환을 수행하기 위해 256개 또는 1024개의 데이터 열로 오디오 신호를 세그멘테이션화할 수 있다.
단계(413)에서, 제1 햅틱 패턴 데이터 결정부는 이산 웨이블렛 변환을 통해 세그멘테이션화된 오디오 신호를 주파수 대역 별로 분할할 수 있다. 제1 햅틱 패턴 데이터 결정부는 목적하는 오디오 비트 패턴을 포함하는 주파수 대역의 오디오 신호를 획득하기 위하여 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할할 수 있다. 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 방법은 도 4b를 통해 자세히 설명된다.
단계(415)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 대역 별로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호의 잡음을 제외한 음악의 비트 패턴 정보, 오디오 신호의 특정 악기의 비트 패턴 정보 등 추출하고자 하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다.
단계(417)에서, 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호를 스무딩할 수 있다. 예를 들어, 오디오 신호를 스무딩하는 과정은 선택된 주파수 대역의 오디오 신호를 전파 정류하고, 오디오 신호의 왜곡을 감소시키고, 급격히 변화하는 영역을 부드럽게 보정하기 위하여 윈도우 함수를 통해 오디오 신호에 대하여 컨볼루션 연산을 수행할 수 있다. 예를 들어 윈도우 함수는 해닝(Hanning), 해밍(Hamming), 카이저(Kaiser) 함수일 수 있지만 이에 한정되지 않는다.
단계(419)에서 제1 햅틱 패턴 데이터 결정부는 스무딩된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다. 제1 햅틱 패턴 데이터 결정부는 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.
도 4b는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 과정을 도시하는 도면이다.
일 실시예에 따르면, 입력된 오디오 신호는 고역 통과 필터(421)에 의해 필터링되고, 고역 통과 필터(421)에 의해 필터링된 오디오 신호는 다운 샘플링(down sampling)되어 제1 대역 주파수 신호로 분할될 수 있다. 저역 통과 필터(422)에 의해 필터링된 오디오 신호는 다운 샘플링 되어 제2 대역 주파수 신호를 분할하기 위한 입력 오디오 신호로 사용될 수 있다. 제2 대역 주파수 신호를 분할하기 위한 입력 오디오 신호는 고역 통과 필터(423)에 의해 필터링되고, 다운 샘플링 되어 제2 대역 주파수 신호로 분할될 수 있다. 저역 통과 필터(424)에 의해 필터링된 오디오 신호는 다운 샘플링되어 제3 대역 주파수 신호를 분할하기 위한 입력 오디오 신호로 사용될 수 있다. 이와 같은 필터링 및 다운 샘플링 과정들이 필터들(425, 426, 427, 428)에 의해 수행됨에 따라, 제1 햅틱 패턴 데이터 결정부는 시간 영역에서 오디오 신호를 주파수 대역 별로 분할할 수 있다. 예를 들어, n개 대역의 주파수로 오디오 신호를 분할하고자 한다면 2n번의 필터링 과정이 필요하다. 제1 햅틱 패턴 데이터 결정부는 복수의 주파수 대역의 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 오디오 신호를 선택하고, 선택된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다.
도 5는 일 실시예에 따른 햅틱 장치의 구성을 도시한 도면이다.
도 5를 참조하면, 햅틱 장치(500)는 햅틱 장치의 동작을 제어하는 컨트롤러(510), 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호 및 시각화 데이터를 수신하는 수신부(520), 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 햅틱 패턴 데이터 추출부(530), 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부(540), 햅틱 장치가 제공하는 햅틱 자극에 대응하는 진동을 발생시키는 액츄에이터들(551, 552, 553), 수신한 시각화 데이터를 디스플레이하는 시각화 데이터 표시부(560)를 포함한다.
컨트롤러(510)는 햅틱 패턴 데이터 추출부(530), 시각화 데이터 표시부(560), 데이터 베이스(570)의 동작을 제어할 수 있다. 수신부(520)는 유무선 통신(예를 들어, 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이 LTE를 포함함)을 통해 제어 신호 제공 장치로부터 햅틱 제어 신호 및 햅틱 패턴 데이터에 대응하는 시각화 데이터를 수신하고, 수신한 햅틱 제어 신호 및 시각화 데이터를 데이터 베이스(570)에 저장할 수 있다.
햅틱 패턴 데이터 추출부(530)는 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출할 수 있다. 햅틱 패턴 데이터 추출부(530)는 햅틱 제어 신호로부터 데이터 헤더, 햅틱 패턴 데이터의 진폭 데이터, 진동 방향 데이터, 신호 상태 데이터를 복원하고, 복원된 결과에 기초하여 햅틱 패턴 데이터를 추출할 수 있다. 추출된 햅틱 패턴 데이터는 통신 모듈(미도시)을 통해 액츄에이터 제어부에 전송될 수 있다.
액츄에이터 제어부(540)는 햅틱 패턴 데이터에 기초하여 액츄에이터들(551, 552, 553)의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성할 수 있다. 액츄에이터 제어부의 동작은 도 6을 통해 아래에서 자세히 설명하도록 한다.
액츄에이터들(551, 552, 553)은 액츄에이터 제어부(540)로부터 수신한 액츄에이터 제어 신호에 기초하여 진동을 발생시킬 수 있다. 예를 들어, 액츄에이터들(551, 552, 553)은 햅틱 패턴 데이터에 기초하여 발생된 전류 형태의 액츄에이터 제어 신호에 기초하여 햅틱 패턴 데이터에 대응하는 진동을 발생시킬 수 있다. 또한 액츄에이터들(551, 552, 553)은 제공되는 컨텐츠에 따라 다양한 형태로 구성될 수 있다. 예를 들어, 슈팅 게임에 제공되는 햅틱 장치의 경우, 액츄에이터들(551, 552, 553)은 사용자가 착용하는 조끼에 배치되어 사용자가 총에 맞는 효과를 느낄 수 있도록 진동을 발생시킬 수 있고, 슈팅 장치에 배치되어 사용자가 슈팅 효과를 느낄 수 있도록 하는 진동을 발생시킬 수 있다. 액츄에이터들(551, 552, 553)의 개수는 도면에 제시된 예시에 한정되지 않는다.
시각화 데이터 표시부(560)는 수신한 시각화 데이터에 기초하여 햅틱 패턴 데이터에 대한 특성 정보(예를 들어 진폭 정보, 진동 방향 정보 등)를 출력할 수 있다. 예를 들어, 시각화 데이터는 햅틱 패턴 데이터에 대한 정보를 디스플레이하기 위한 문자에 대한 정보, 화면에 부가될 이모티콘에 대한 정보 등일 수 있다. 데이터 베이스(570)는 햅틱 제어 신호에 대한 정보, 시각화 데이터에 대한 정보, 햅틱 패턴 데이터에 대한 정보 등을 저장할 수 있다.
도 6은 일 실시예에 따른 액츄에이터 제어부의 구성을 도시하는 도면이다.
도 6을 참조하면, 액츄에이터 제어부(620)는 햅틱 패턴 데이터에 기초하여 전류를 발생시키는 컨트롤 회로(623), 액츄에이터 제어부(620)에 인가되는 직류 전원의 전압을 변압시키는 DC-DC 컨버터(converter; 621) 및 컨트롤 회로(623)에서 발생한 전류 값을 조절하는 조절부(625)를 포함한다. 컨트롤 회로(623)에서 발생된 전류 또는 조절부(625)에서 전류 값이 조절된 전류는 액츄에이터 제어 신호에 대응될 수 있다.
컨트롤 회로(623)는 DC-DC 컨버터(621)로부터 인가된 직류 전압과, 햅틱 패턴 데이터 추출부(610)로부터 수신한 햅틱 패턴 데이터에 기초하여 전류를 발생시키고, 발생된 전류를 조절부(625)에 전달할 수 있다. 예를 들어, 컨트롤 회로(623)는 H-bridge 회로를 통해 햅틱 패턴 데이터에 대응하여 변화하는 전류를 발생시킬 수 있다. DC-DC 컨버터(621)는 컨트롤 회로(623)에 인가되는 직류 전원의 전압을 조절할 수 있다.
조절부(625)는 스위치를 사용하여 컨트롤 회로(623)에 의해 발생된 전류의 세기를 조절하고, 조절된 전류를 액츄에이터들(631, 633, 635)에 인가하여 액츄에이터들(631, 633, 635)의 진동을 조절할 수 있다. 예를 들어, 조절부(625)는 스위칭 회로를 포함할 수 있다. 조절부(625)는 스위칭 회로의 스위치를 통해 액츄에이터들(631, 633, 635)에 연결된 코일들의 주 권선과 보조 권선의 비를 조절할 수 있고, 선택된 코일들의 주 권선과 보조 권선의 비를 통해 액츄에이터들(631, 633, 635)에 흐르는 전류를 조절할 수 있다. 조절된 전류를 통해 조절부(625)는 액츄에이터들(631, 633, 635)의 진동력을 조절할 수 있고, 조절된 액츄에이터들(631, 633, 635)의 진동을 통해 햅틱 장치는 다양한 햅틱 자극을 사용자에게 제공할 수 있다. 다른 실시예에서, 조절부(625)는 가변 저항을 통해 액츄에이터들(631, 633, 635)에 인가되는 전압의 크기를 조절할 수 있고, 조절된 전압의 크기에 기초하여 액츄에이터(631, 633, 635)에 흐르는 전류의 세기를 조절할 수 있다.
도 7a는 일 실시예에 따른 액츄에이터 제어부의 회로의 일례를 도시하는 도면이다.
도 7a를 참조하면, 컨트롤 회로(713)는 4개의 MOSFET 또는 트랜지스터를 포함하는 H-bridge회로로 구성된다. 컨트롤 회로(713)에는 DC-DC 컨버터(711)에 의해 전압이 조절된 직류 전압이 인가되고, 컨트롤 회로(713)는 DC-DC 컨버터(711)로부터 인가된 전압 및 햅틱 패턴 데이터에 기초하여 변화하는 전류를 발생시킬 수 있다. 컨트롤 회로(713)에 의해 발생된 전류는 스위칭 회로(717)를 통해 조절될 수 있다. 스위칭 회로(717)는 스위칭을 통해 스위칭 회로(717)에 연결된 코일의 주 권선 및 보조 권선의 비를 조절할 수 있고, 조절된 코일의 주권선 및 보조 권선의 비에 기초하여 액츄에이터(719)에 인가되는 전류를 조절할 수 있다. 이 방식은 전압 변경을 위해 PWM(Pulse width Modulation)신호를 컨트롤하는 종래의 방법에서 요구되는 복잡한 PWM 신호의 세기 변경이나 PWM신호 컨트롤 시간을 필요로 하지 않고, 단순한 스위칭 회로를 통해 3 단계의 전압 레벨을 쉽고 빠르게 변경하고, 제어할 수 있는 장점이 있다. 조절된 전류를 통해 액츄에이터(719)의 진동의 세기 및 진동자의 움직임의 방향이 조절될 수 있고, 조절된 액츄에이터(719)의 진동에 의해 햅틱 자극이 생성될 수 있다.
도 7b는 다른 실시예에 따른 하나의 제어 신호에 기초하여 컨트롤 회로가 동작되는 회로의 일례를 도시하는 도면이다.
도 7b를 참조하면, 제시된 회로는 DC-DC 컨버터와 기존의 H-bridge회로에 버퍼와 NOT 게이트로 구성된 논리 회로가 연결된 회로이다. 버퍼(Buffer)와 NOT 게이트로 구성된 논리 회로가 연결된 컨트롤 회로를 통해 하나의 제어 신호(S31)(720)에 의한 액츄에이터 제어가 수행될 수 있다. 구체적으로,DC-DC 컨버터에 의해 모터 구동에 필요한 DC 전압 레벨이 회로에 제공되고, 제공된 DC 전압 레벨은 햅틱 패턴 데이터에 포함된 진동 세기 변화에 대한 정보에 기초하여 PWM 신호 제어부(700)를 통해 제어될 수 있다.
제어 신호(S31)(720)가 High 상태가 되면 G1(721)에는 Low 상태의 신호가 출력되고 G1(721)에 연결된 트랜지스터(727)는 On 상태가 되어 전류가 흐르게 되고 G3(723)에는 제어 신호(720)와 동일한 High 상태의 신호가 출력되고 G3(723)에 연결된 트랜지스터(726)는 Off 상태가 되어 전류가 흐르지 않게 된다. 제어 신호(S31)(720)가 Low 상태가 되면 G2(722)의 출력은 High 상태의 신호가 되고, 연결된 G4(724)에는 High 상태의 신호가 출력되어 연결된 트랜지스터(728)은 Off 상태가 된다. G2(722)의 출력에 연결된 G5(725)의 출력은 Low 상태의 신호가 되고, G5(725) 연결된 트랜지스터(729)는 On 상태가 되어 전류가 흐르게 된다. 결론적으로 제어 신호(S31)(720)가 High 상태가 될 경우 트랜지스터(727))와 트랜지스터(728))이 On 상태가 되어 전류가 순방향(i2)으로 흐르고 제어 신호(S31)(720)이 Low 상태가 될 경우 트랜지스터(726)와 트랜지스터(729)가 On 상태가 되어 전류가 역방향(i1)으로 흐른다. 설명된 방법으로 액츄에이터에 흐르는 전류의 방향이 하나의 컨트롤 신호(720)를 통해 결정될 수 있으며, 이때 PWM 신호 제어부(700)의 제어 신호(S31)(720)의 세기 변화를 이용하여 액츄에이터에 인가되는 전압의 세기 또한 조정될 수 있다. 다수의 제어 신호가 사용될 경우 하나의 액츄에이터의 동작을 제어하기 위해서는 필수적으로 다수의 제어 신호가 동기화 되어야 한다. 만약 다수의 제어 신호가 동기화되지 않을 경우, 동기화 되지 않은 제어 신호를 통해 목표한 진동 패턴을 생성하는 것에는 큰 어려움이 따른다. 설명된 방식은 하나의 제어 신호(720)를 사용함으로써, 동기화 과정이 생략될 수 있기 때문에, 진동 패턴을 용이하게 생성할 수 있는 장점이 있다.
도 7c는 또 다른 실시예에 따른 다양한 패턴의 제어 신호를 생성할 수 있는 회로도의 일례를 도시한다.
도 7c를 참조하면, 도 7c에 제시된 회로는 DC-DC 컨버터를 통해 모터 구동에 필요한 DC 전압 레벨이 회로에 제공되고,제공된 전압 레벨은 햅틱 패턴 데이터에 포함된 진동 세기 변화에 대한 정보에 기초하여 PWM 신호 제어부를 통해 제어될 수 있다. 액츄에이터(735)는 제어 신호(S41)(731), 제어 신호(S42)(732)에 기초하여 제어될 수 있다. 제어 신호(S41)(731)가 Low 상태가 되고 제어 신호(S42)(732)가 High 상태가 되면 전류가 순방향(i2)로 흐르게 되고 이와 반대로 제어 신호(S41)(731)가 High 상태가 되고, 제어 신호(S42)(732)가 Low 상태가 되면 역방향(i1)으로 전류가 흐르게 된다. 그리고 제어 신호(731, 732)의 세기 변화를 이용하여 액츄에이터(735)에 인가되는 전압의 세기 또한 조절될 수 있다. 또한, 정현파, 반파 형태의 정현파, 구형파, 반파 형태의 구형파 등과 같은 다양한 형태의 제어 신호(731, 732)를 통해 액츄에이터가 조절될 수 있다.
도 7d은 다양한 햅틱 자극을 생성하는 햅틱 장치의 액츄에이터 제어부 및 액츄에이터에 대한 회로의 일례를 도시한다.
기존의 LRA(Linear Resonant Actuator) 액츄에이터에 사용되는 구동 드라이버는 햅틱 드라이버 집적회로(Haptic Driver Integrated Circuit)로 일정한 진폭을 갖는 정현파를 생성하고, 생성된 정현파의 주파수와 구동 시간만을 변경할 수 있다. 도 7d에 제시된 햅틱 장치는 구동 신호 생성부(740)와 디지털 가변 저항기를 포함하는 디지털 게인 제어부(Digital Gain Controller)(751, 752), OP AMP(761, 762)를 통해 정현파, 삼각파 및 사각파 등을 생성하고, 생성된 각각의 형태의 파형의 구동시간, 주파수 및 진폭의 크기를 변경함으로써 다양한 촉감의 햅틱 자극을 생성할 수 있다.
구체적으로, 구동 신호 생성부(740)에서 디지털 출력(S72)(742)이 High 상태로 출력됨으로써, 구동시간이 설정될 수 있고,디지털 출력(S72)(742)이 Low 상태로 출력됨으로써, 휴지 시간이 설정될 수 있다. 또한, 구동 신호 생성부(740)를 통해 H-Bridge(753)에 위상 변화에 대한 신호가 제공됨으로써 전류의 방향(i3, i4)이 결정될 수 있고, 결정된 전류 방향에 기초하여 액츄에이터(770)가 움직이는 방향이 결정될 수 있다. 또한 구동 신호 생성부(740)는 디지털 게인 제어부(751, 752)를 통해 액츄에이터(770)에 제공되는 전압의 세기를 조절할 수 있고, 조절된 전압의 세기에 기초하여 액츄에이터(770)에 흐르는 전류의 세기가 제어됨으로써, 액츄에이터(770)의 구동 세기가 결정될 수 있다. 설명된 방식을 통해 사각파 형태의 다양한 세기의 구동신호를 생성하는 일 실시예에 따르면, 구동 신호 생성부(740)는 디지털 출력(S72)(742)으로 사각파 형태 패턴의 신호를 생성하고, H-Bridge(753)를 통해 결정된 전류의 방향을 통해 액츄에이터(770)의 구동 방향이 결정될 수 있다. 구동 신호 생성부(740)는 디지털 게인 제어부(751, 752)를 통해 액츄에이터의 구동 세기를 결정함으로써, 사각파 형태의 구동 신호를 생성할 수 있다. 정현파 형태의 구동 신호를 생성하고자 하는 다른 실시예에 따르면, 구동 신호 생성부(740)를 통해 디지털 출력(S72)(742)으로 정현파를 출력하는 총 시간의 길이가 결정될 수 있고, 구동 신호 생성부(740)에서 신호(S71)(741), 신호(S73)(743)를 통해 디지털 게인 제어부(751, 753)의 게인(gain)을 조절함으로써, 출력 신호의 크기 변화를 통해 OP-AMP(761, 762)의 출력 신호가 정현파의 반파 형태가 되도록 출력 신호의 형태가 조절될 수 있다. 또한, 정현파의 반파 형태로 형태가 조절된 출력 신호는 H-Bridge(753)를 통해 전류 방향이 변경되어 다시 출력됨으로써, 완전한 정현파 형태의 구동 신호가 생성될 수 있다. 생성된 정현파 형태의 구동 신호를 통해 액츄에이터(770)이 구동될 수 있다.. 정현파 형태의 구동 신호를 생성하는 방식과 유사한 방식을 통해 구동 신호의 진폭과 위상을 제어함으로써 반파 형태의 정현파, 구형파, 반파 형태의 구형파, 삼각파 등이 생성될 수 있다. 생성되는 구동 신호의 형태는 제시된 예시에 한정되지 않고, 진폭과 위상의 조절을 통해 임의의 형태의 구동 신호가 생성될 수 있다. 구동 신호는 액츄에이터 제어 신호에 대응될 수 있다.
도 8은 일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공방법의 동작을 도시하는 흐름도이다.
도 8을 참조하면, 단계(810)에서 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 제어 신호 제공 장치는 오디오 신호로부터 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 FFT 또는 웨이블렛 변환을 통해 오디오 신호의 주파수 대역을 분할하고, 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 신호를 선택하고, 선택된 신호에서 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 제어 신호 제공 장치는 부가 효과에 대응하여 데이터 베이스에 미리 저장된 햅틱 패턴 데이터를 추출하고, 추출된 햅틱 패턴 데이터에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.
단계(820)에서 햅틱 제어 신호 제공 장치는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정할 수 있다.
단계(830)에서 햅틱 제어 신호 제공 장치는 햅틱 제어 신호를 햅틱 장치에 전송할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이, LTE를 포함하는 유무선 통신을 통해 햅틱 제어 신호를 햅틱 장치에 전송할 수 있다
도 9는 일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법에 대한 동작을 도시하는 흐름도이다.
도 9를 참조하면, 단계(910)에서 햅틱 장치는 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신할 수 있다. 단계(920)에서 햅틱 장치는 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출할 수 있다. 예를 들어, 햅틱 장치는 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 복원할 수 있다.
단계(930)에서 햅틱 장치는 추출한 햅틱 패턴 데이터에 기초하여 액츄에이터 제어 신호를 생성할 수 있다. 예를 들어, 햅틱 장치는 H-bridge 회로를 통해 햅틱 패턴 데이터에 기초하여 전류 형태의 액츄에이터 제어 신호를 생성할 수 있고, 스위칭 회로를 통해 코일의 주 권선 및 보조 권선의 비를 조절하여 전류 형태의 액츄에이터 제어 신호를 조절할 수 있다. 단계(940)에서 햅틱 장치는 액츄에이터 제어 신호에 기초하여 액츄에이터의 구동을 제어할 수 있다. 예를 들어, 액츄에이터는 액츄에이터 제어 신호에 기초하여 햅틱 패턴 데이터에 대응하는 진동을 발생시킴으로써 햅틱 자극을 발생시킬 수 있다.
위 실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (7)

  1. 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 장치의 진동을 제어하기 위한 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부를 포함하며,
    상기 햅틱 제어 신호는,
    상기 햅틱 제어 신호의 포멧(format)에 대한 정보, 신호의 종류에 대한 정보 및 용량에 대한 정보를 포함하는 제1 데이터;
    상기 햅틱 장치의 진동 세기를 결정하는 제2 데이터; 및
    상기 햅틱 장치의 진동 세기가 최대를 유지하는 시간에 대한 데이터 또는 상기 햅틱 장치의 진동이 휴지 상태를 유지하는 시간에 대한 데이터를 포함하는 제3 데이터;
    를 포함하는, 햅틱 제어 신호 제공 장치.
  2. 제1항에 있어서,
    상기 햅틱 장치는 복수의 액츄에이터를 포함하는, 햅틱 제어 신호 제공 장치.
  3. 제2항에 있어서,
    상기 햅틱 장치는 상기 액츄에이터의 진동을 제어하기 위한 액츄에이터 제어신호를 생성하는 액츄에이터 제어부를 포함하고,
    상기 액츄에이터 제어부는,
    회로에 직류 전원을 인가하는 DC-DC 컨버터; 및
    상기 햅틱 제어 신호에 기초하여 상기 액츄에이터 제어신호에 대한 전류 값을 조절하는 조절부
    를 포함하는, 햅틱 제어 신호 제공 장치.
  4. 제1항에 있어서,
    상기 햅틱 제어 신호는, 상기 오디오 신호 및 부가 효과 신호 중 적어도 하나에 대응하는 시각화 데이터를 더 포함하는, 햅틱 제어 신호 제공 장치.
  5. 제4항에 있어서,
    상기 시각화 데이터는 상기 햅틱 장치에서 디스플레이하기 위한 문자 정보, 이모티콘 정보 중 적어도 어느 하나를 포함하는, 햅틱 제어 신호 제공 장치.
  6. 제1항에 있어서,
    상기 오디오 신호는 복수의 악기에 대한 오디오 신호가 결합된 형태이고,
    상기 오디오 신호 중 특정 악기의 주파수 대역에 대응하는 오디오 신호를 선택적으로 추출하여 상기 햅틱 제어 신호를 생성하는, 햅틱 제어 신호 제공 장치.
  7. 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 장치의 진동을 제어하기 위한 햅틱 제어 신호를 생성하는 단계; 및
    상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 단계
    를 포함하고,
    상기 햅틱 제어 신호는,
    상기 햅틱 제어 신호의 포멧(format)에 대한 정보, 신호의 종류에 대한 정보 및 용량에 대한 정보를 포함하는 제1 데이터;
    상기 햅틱 장치의 진동 세기를 결정하는 제2 데이터; 및
    상기 햅틱 장치의 진동 세기가 최대를 유지하는 시간에 대한 데이터 또는 상기 햅틱 장치의 진동이 휴지 상태를 유지하는 시간에 대한 데이터를 포함하는 제3 데이터;
    를 포함하는, 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공 방법.
KR1020230092431A 2018-09-11 2023-07-17 햅틱 제어 신호 제공 장치 및 방법 KR102663844B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230092431A KR102663844B1 (ko) 2018-09-11 2023-07-17 햅틱 제어 신호 제공 장치 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180108339A KR102337869B1 (ko) 2017-11-13 2018-09-11 햅틱 제어 신호 제공 장치 및 방법
KR1020210173102A KR20220013348A (ko) 2018-09-11 2021-12-06 햅틱 제어 신호 제공 장치 및 방법
KR1020230092431A KR102663844B1 (ko) 2018-09-11 2023-07-17 햅틱 제어 신호 제공 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173102A Division KR20220013348A (ko) 2018-09-11 2021-12-06 햅틱 제어 신호 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230113244A KR20230113244A (ko) 2023-07-28
KR102663844B1 true KR102663844B1 (ko) 2024-05-13

Family

ID=80268265

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210173102A KR20220013348A (ko) 2018-09-11 2021-12-06 햅틱 제어 신호 제공 장치 및 방법
KR1020230092431A KR102663844B1 (ko) 2018-09-11 2023-07-17 햅틱 제어 신호 제공 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210173102A KR20220013348A (ko) 2018-09-11 2021-12-06 햅틱 제어 신호 제공 장치 및 방법

Country Status (1)

Country Link
KR (2) KR20220013348A (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
KR101622632B1 (ko) * 2009-08-26 2016-05-20 엘지전자 주식회사 이동 단말기
KR20110109363A (ko) * 2010-03-31 2011-10-06 삼성전자주식회사 음악재생시 음악 종류에 따라 감성을 연출하는 미디어 시스템 및 방법
KR101928550B1 (ko) * 2016-04-21 2018-12-12 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치

Also Published As

Publication number Publication date
KR20230113244A (ko) 2023-07-28
KR20220013348A (ko) 2022-02-04

Similar Documents

Publication Publication Date Title
US20240085984A1 (en) Apparatus and method for providing haptic control signal
US20200286346A1 (en) Vibrotactile control systems and methods
Schneider et al. Tactile animation by direct manipulation of grid displays
CN104423589B (zh) 用于变换触觉信号的方法和系统
JP6445921B2 (ja) 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
Martínez et al. Vitaki: a vibrotactile prototyping toolkit for virtual reality and video games
KR100986681B1 (ko) 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
US20220159809A1 (en) Wireless control apparatus and method for haptic device
US20230403511A1 (en) Multistep sound preference determination
KR102337869B1 (ko) 햅틱 제어 신호 제공 장치 및 방법
KR102663844B1 (ko) 햅틱 제어 신호 제공 장치 및 방법
KR101903535B1 (ko) 입력 오디오 신호를 조작하기 위한 장치 및 방법
CN114162016A (zh) 用于产生与音乐同步的车辆座椅的振动的系统和设备
JP5135930B2 (ja) 楽曲加工装置およびプログラム
WO2020121662A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR20200035384A (ko) 햅틱 장치를 위한 무선 제어 장치 및 방법
KR20240017038A (ko) 햅틱 장치를 위한 무선 제어 장치 및 방법
CN114206454A (zh) 生成装置、生成方法、程序和触觉呈现装置
JP2019063547A (ja) データ出力プログラム、データ出力装置、およびデータ出力方法
US12008892B2 (en) Vibrotactile control systems and methods
CN113168222B (zh) 模式数据生成装置及方法、模式数据再现装置及方法
WO2024125478A1 (zh) 音频呈现方法和设备
TW202407513A (zh) 音訊和觸覺訊號處理
KR20200023754A (ko) 악보 제공 장치, 방법, 시스템 및 이를 적용한 컴퓨터로 읽을 수 있는 기록매체
KR20200053896A (ko) 표시장치 및 이의 제어방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant