KR20190054907A

KR20190054907A - Apparatus and method for providing haptic control signal

Info

Publication number: KR20190054907A
Application number: KR1020180108339A
Authority: KR
Inventors: 김형준; 손기석; 이종훈
Original assignee: 주식회사 씨케이머티리얼즈랩
Priority date: 2017-11-13
Filing date: 2018-09-11
Publication date: 2019-05-22
Also published as: KR102337869B1

Abstract

Disclosed are an apparatus and a method for providing a haptic control signal of a haptic apparatus. The apparatus for providing a haptic control signal of a haptic apparatus may comprise: a haptic pattern data determining unit determining haptic pattern data based on at least one of an audio signal and an additional effect signal; a haptic control signal generating unit generating a haptic control signal for controlling a vibration operation of the haptic apparatus based on the haptic pattern data; and a transmission unit transmitting the haptic control signal to the haptic apparatus.

Description

[0001] APPARATUS AND METHOD FOR PROVIDING HAPTIC CONTROL SIGNAL [0002]

아래의 설명은 햅틱 제어 신호 제공 장치 및 방법에 관한 것이다.The following description relates to an apparatus and method for providing a haptic control signal.

문화 산업이 발달함에 따라 콘서트, 비디오 게임 등 소비자가 즐길 수 있는 컨텐츠의 종류가 다양화되고 있고, VR(Virtual Reality), 3D 영상과 같은 시각적으로 몰입감이 높은 컨텐츠 제공 방법에 대한 소비자의 수요가 증대되고 있다. 이와 더불어 촉각적으로도 더 실감나는 경험을 하고자 하는 소비자의 수요도 증대되고 있다. 이러한 경향에 따라 소비자에게 햅틱 피드백을 제공하는 햅틱 장치에 대한 관심도 나날이 증가하고 있다. 햅틱 장치는 햅틱 장치에 흐르는 전류량, 햅틱 장치에 인가되는 전압의 크기를 조절하여 햅틱 장치가 제공하는 햅틱 자극을 조절할 수 있다. 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서는 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 기술적 수단의 발전이 요구된다.As the cultural industry develops, the types of content that consumers can enjoy, such as concerts and video games, are diversified. Consumers' demand for a method of providing visually immersive contents such as Virtual Reality (VR) . In addition, the demand of consumers who want to experience more tactile feelings is also increasing. According to this tendency, interest in haptic devices that provide haptic feedback to consumers is increasing day by day. The haptic device can control the haptic stimulus provided by the haptic device by adjusting the amount of current flowing through the haptic device and the magnitude of the voltage applied to the haptic device. In order to provide a higher level of immersion feeling for contents provided with the haptic device, it is required to develop technological means capable of transmitting various types of touch such as squeeze, tightening, pushing, and biting.

일 실시예에 따른 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 전송부를 포함할 수 있다.The haptic-pattern-signal providing apparatus includes: a haptic-pattern data determiner that determines haptic-pattern data based on at least one of an audio signal and an additional-effect signal; A haptic control signal generator for generating a haptic control signal for controlling the operation of the haptic device based on the haptic pattern data; And a transmitter for transmitting the haptic control signal to the haptic device.

상기 햅틱 패턴 데이터 결정부는, 상기 오디오 신호로부터 오디오 비트 패턴을 추출하고, 상기 추출된 오디오 비트 패턴에 기초하여 상기 햅틱 패턴 데이터를 결정할 수 있다.The haptic pattern data determination unit may extract an audio bit pattern from the audio signal and determine the haptic pattern data based on the extracted audio bit pattern.

상기 햅틱 패턴 데이터 결정부는 상기 오디오 신호를 주파수 대역별로 분할하고, 상기 분할된 주파수 대역별 신호들 중에서 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택하고, 상기 선택된 하나 이상의 주파수 대역의 신호에 대해 반파 정류를 수행하여 상기 오디오 비트 패턴을 추출할 수 있다.The haptic pattern data determination unit may divide the audio signal by frequency bands, select one or more frequency bands including desired bit pattern information from the divided frequency bands, Wave half-wave rectification for the signal to extract the audio bit pattern.

상기 햅틱 제어 신호 생성부는 상기 햅틱 패턴 데이터에 기초하여 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정할 수 있다.The haptic control signal generator may determine at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal based on the haptic pattern data.

상기 햅틱 패턴 데이터 결정부는 데이터 베이스에 미리 저장된 햅틱 패턴 데이터 중 상기 부가 효과 신호에 대응하는 햅틱 패턴 데이터를 추출할 수 있다.The haptic pattern data determination unit may extract haptic pattern data corresponding to the additional effect signal from the haptic pattern data stored in advance in the database.

햅틱 제어 신호 제공 장치는 상기 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성하는 시각화 데이터 생성부를 더 포함하고, 상기 전송부는 상기 시각화 데이터를 상기 햅틱 장치로 전송할 수 있다.The haptic control signal providing apparatus may further include a visualization data generation unit for generating visualization data corresponding to the haptic pattern data, and the transmission unit may transmit the visualization data to the haptic device.

일 실시예에 따른 햅틱 장치는 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신하는 수신부; 상기 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 햅틱 패턴 데이터 추출부; 햅틱 자극을 발생시키는 액츄에이터; 및 상기 추출된 햅틱 패턴 데이터에 기초하여 상기 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부를 포함할 수 있다.A haptic device according to an embodiment includes a receiving unit for receiving a haptic control signal from a haptic control signal providing apparatus; A haptic pattern data extracting unit for extracting haptic pattern data from the received haptic control signal; An actuator for generating a haptic stimulus; And an actuator control unit for generating an actuator control signal for controlling the driving of the actuator based on the extracted haptic pattern data.

상기 햅틱 패턴 데이터 추출부는 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나에 기초하여 상기 햅틱 패턴 데이터를 복원할 수 있다.The haptic pattern data extraction unit may restore the haptic pattern data based on at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal.

상기 수신부는 햅틱 제어 신호 제공 장치로부터 상기 햅틱 패턴 데이터에 대응하는 시각화 데이터를 더 수신하고, 상기 수신한 시각화 데이터에 기초하여 상기 햅틱 패턴 데이터의 특성 정보를 출력하는 시각화 데이터 표시부를 더 포함할 수 있다.The receiving unit may further include a visualization data display unit that further receives the visualization data corresponding to the haptic pattern data from the haptic control signal providing apparatus and outputs the characteristic information of the haptic pattern data based on the received visualization data .

상기 햅틱 패턴 데이터는 오디오 데이터 및 부가 효과 데이터 중 적어도 하나에 기초하여 상기 햅틱 제어 신호 제공 장치에 의해 생성될 수 있다.The haptic pattern data may be generated by the haptic control signal providing apparatus based on at least one of audio data and additional effect data.

일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공 방법은 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 단계; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 진동 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 단계; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of providing a haptic control signal by a haptic control signal providing apparatus, comprising: determining haptic pattern data based on at least one of an audio signal and an additional effect signal; Generating a haptic control signal for controlling a vibration operation of the haptic device based on the haptic pattern data; And transmitting the haptic control signal to the haptic device.

상기 햅틱 패턴 데이터를 결정하는 단계는 상기 오디오 신호로부터 오디오 비트 패턴을 추출하는 단계; 및 상기 추출된 오디오 비트 패턴에 기초하여 상기 햅틱 패턴 데이터를 결정하는 단계를 포함할 수 있다.Wherein the determining the haptic pattern data comprises: extracting an audio bit pattern from the audio signal; And determining the haptic pattern data based on the extracted audio bit pattern.

상기 햅틱 패턴 데이터를 결정하는 단계는 데이터 베이스에 미리 저장된 햅틱 패턴 데이터 중 상기 부가 효과 신호에 대응하는 햅틱 패턴 데이터를 추출하는 단계를 포함할 수 있다. The step of determining the haptic pattern data may include extracting haptic pattern data corresponding to the additional effect signal from the haptic pattern data stored in advance in the database.

상기 햅틱 제어 신호를 생성하는 단계는 상기 햅틱 패턴 데이터에 기초하여 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정하는 단계를 포함할 수 있다.The generating of the haptic control signal may include determining at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal based on the haptic pattern data.

일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법은 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신하는 단계; 상기 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 단계; 상기 추출된 햅틱 패턴 데이터에 기초하여 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 단계; 및 상기 액츄에이터 제어 신호에 기초하여 상기 액츄에이터의 구동을 제어하는 단계를 포함할 수 있다.An actuator control method performed in a haptic device according to an embodiment includes receiving a haptic control signal from a haptic control signal supply device, Extracting haptic pattern data from the received haptic control signal; Generating an actuator control signal for controlling the driving of the actuator based on the extracted haptic pattern data; And controlling the driving of the actuator based on the actuator control signal.

일 실시예에 따른 햅틱 장치는 햅틱 패턴 데이터에 기초하여 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부; 및 상기 생성된 액츄에이터 제어 신호에 기초하여 햅틱 자극을 생성하는 액츄에이터를 포함할 수 있다.According to one embodiment, a haptic device includes an actuator controller for generating an actuator control signal for controlling driving of an actuator based on haptic pattern data; And an actuator for generating a haptic stimulus based on the generated actuator control signal.

일 실시예에 따른 햅틱 장치의 액츄에이터 제어부는, 회로에 직류 전원을 인가하는 DC-DC 컨버터; 및 햅틱 패턴 데이터에 기초하여 제어 신호를 생성하는 컨트롤 회로를 포함하고, 상기 액츄에이터는 상기 제어 신호에 기초하여 상기 햅틱 자극을 생성할 수 있다.The actuator control unit of the haptic device according to an exemplary embodiment includes a DC-DC converter that applies DC power to a circuit; And a control circuit for generating a control signal based on the haptic pattern data, wherein the actuator can generate the haptic stimulus based on the control signal.

일 실시예에 따른 햅틱 장치의 액츄에이터 제어부는 상기 생성된 제어 신호의 세기를 조절하는 조절부를 더 포함할 수 있다.The actuator control unit of the haptic device according to an exemplary embodiment may further include an adjustment unit for adjusting the intensity of the generated control signal.

도 1은 일 실시예에 따른 햅틱 자극 제공 시스템을 도시하는 도면이다.
도 2는 일 실시예에 따른 햅틱 제어 신호 제공 장치의 구성을 도시하는 도면이다.
도 3a는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT(Fast Fourier Transform)응 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 3b는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 오디오 신호를 분리해 내는 일례를 도시하는 도면이다.
도 4a는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛(Wavelet) 변환을 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 4b는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 과정을 도시하는 도면이다.
도 5는 일 실시예에 따른 햅틱 장치의 구성을 도시한 도면이다.
도 6은 일 실시예에 따른 액츄에이터 제어부의 구성을 도시하는 도면이다.
도 7a는 일 실시예에 따른 액츄에이터 제어부의 회로의 일례를 도시하는 도면이다.
도 7b는 다른 실시예에 따른 하나의 제어 신호에 기초하여 컨트롤 회로가 동작되는 회로의 일례를 도시하는 도면이다.
도 7c는 또 다른 실시예에 따른 다양한 패턴의 제어 신호를 생성할 수 있는 회로도의 일례를 도시한다.
도 7d은 다양한 햅틱 자극을 생성하는 햅틱 장치에 대한 회로의 일례를 도시한다.
도 8은 일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공방법의 동작을 도시하는 흐름도이다.
도 9는 일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법에 대한 동작을 도시하는 흐름도이다.1 is a diagram illustrating a haptic stimulus providing system according to one embodiment.
2 is a diagram showing a configuration of a haptic control signal providing apparatus according to an embodiment.
3A is a flowchart illustrating a method of extracting an audio bit pattern from an audio signal using a first haptic pattern data determination unit according to an embodiment using an FFT (Fast Fourier Transform).
FIG. 3B is a diagram illustrating an example in which the first haptic pattern data determination unit according to an embodiment separates audio signals in a frequency band including desired bit pattern information using an FFT.
4A is a flowchart illustrating a method of extracting an audio bit pattern from an audio signal using a discrete wavelet transform according to another embodiment of the present invention.
FIG. 4B is a diagram illustrating a process of dividing an audio signal into frequency bands by the first haptic pattern data determination unit according to another embodiment through discrete wavelet transform.
5 is a view showing a configuration of a haptic device according to an embodiment.
6 is a diagram showing a configuration of an actuator control unit according to an embodiment.
7A is a diagram showing an example of a circuit of an actuator control unit according to an embodiment.
7B is a diagram showing an example of a circuit in which a control circuit is operated based on one control signal according to another embodiment.
FIG. 7C shows an example of a circuit diagram capable of generating control signals of various patterns according to another embodiment.
Figure 7d shows an example of a circuit for a haptic device that produces various haptic stimuli.
8 is a flowchart illustrating an operation of a method for providing a haptic control signal by the haptic control signal providing apparatus according to an embodiment.
9 is a flowchart illustrating an operation of an actuator control method performed in a haptic device according to an embodiment.

실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Structural or functional descriptions of embodiments are set forth for illustrative purposes only, and may be embodied with various changes and modifications. Accordingly, the scope of this disclosure is not intended to be limited to the specific forms of the disclosed embodiments, but includes variations, equivalents, or alternatives included in the described technical concepts.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second, etc. may be used to describe various elements, but such terms should be interpreted solely for the purpose of distinguishing one element from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected or connected to the other element, although other elements may be present in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms " comprises ", or " having ", and the like, are used to specify one or more of the described features, integers, steps, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.On the other hand, if an embodiment is otherwise feasible, the function or operation specified in a particular block may be performed differently from the flowchart. For example, two consecutive blocks may actually be executed at substantially the same time, and the blocks may be rearranged depending on the related function or operation.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and a duplicate description thereof will be omitted.

도 1은 일 실시예에 따른 햅틱 자극 제공 시스템을 도시하는 도면이다.1 is a diagram illustrating a haptic stimulus providing system according to one embodiment.

도 1을 참조하면, 햅틱 자극 제공 시스템은 사용자에게 햅틱 자극을 전달하는 햅틱 장치(120) 및 햅틱 장치(120)에 햅틱 제어 신호를 제공하는 햅틱 제어 신호 제공 장치(110)를 포함할 수 있다. 햅틱 자극 제공 시스템은 햅틱 제어 신호 제공 장치(110)를 통해 사용자의 햅틱 장치(120)의 동작을 제어함으로써, 사용자에게 오디오 등 외부 입력 신호의 비트 패턴에 대응하는 다양한 형태의 햅틱 자극을 제공할 수 있다. 햅틱 자극 제공 시스템은 햅틱 장치(120)의 사용자에게 다양한 형태의 햅틱 자극을 제공하고, 이를 통해 컨텐츠에 대한 더 높은 차원의 몰입감을 사용자에게 제공할 수 있다.Referring to FIG. 1, the haptic stimulus providing system may include a haptic device 120 that transmits a haptic stimulus to a user, and a haptic control signal providing device 110 that provides a haptic control signal to the haptic device 120. The haptic stimulus providing system controls the operation of the user's haptic device 120 through the haptic control signal providing device 110 to provide various types of haptic stimuli corresponding to a bit pattern of an external input signal such as audio have. The haptic stimulus providing system may provide various types of haptic stimulation to the user of the haptic device 120, thereby providing a higher level of immersion for the content to the user.

햅틱 장치(120)는 진동을 통해 사용자에게 햅틱 자극을 제공하는 장치이다. 예를 들어, 햅틱 장치(120)는 진동의 세기, 진동 방향, 진동 주기 등을 조절하여 다양한 햅틱 자극(예: 스치는 촉감, 조여지는 촉감, 눌리는 촉감 등)을 사용자에게 제공할 수 있다. 햅틱 장치(120)는 햅틱 장치(120)가 사용되는 환경에 따라 다양한 종류의 기기에 대응될 수 있다. 예를 들어, 사용자가 비디오 게임을 플레이하는 환경일 경우, 햅틱 장치(120)는 비디오 게임 콘솔일 수 있고, 사용자가 가수의 콘서트에 참여한 경우, 햅틱 장치(120)는 음악의 비트 패턴에 대응하여 진동을 제공할 수 있는 기능을 포함하는 응원 도구일 수 있다. 또한, 햅틱 장치(120)는 스마트 폰과 연동되어 제어되는 웨어러블 밴드(wearable band), 웨어러블 워치(wearable watch) 등을 포함하는 임의의 웨어러블 기기(wearable device)를 포함할 수 있다.The haptic device 120 is a device that provides a haptic stimulus to a user through vibration. For example, the haptic device 120 may provide a variety of haptic stimuli (e.g., rubbing touch, tight touch, and tactile touch) to the user by adjusting the intensity of the vibration, the vibration direction, and the vibration period. The haptic device 120 may correspond to various types of devices depending on the environment in which the haptic device 120 is used. For example, if the user is in an environment in which to play a video game, the haptic device 120 may be a video game console and, if the user participates in the concert of the artist, the haptic device 120 may correspond to a bit pattern of music It may be a cheering tool that includes the ability to provide vibration. In addition, the haptic device 120 may include any wearable device including a wearable band, a wearable watch, etc., which is controlled in conjunction with a smartphone.

햅틱 제어 신호 제공 장치(110)는 햅틱 장치(120)가 제공하는 햅틱 자극을 제어할 수 있는 햅틱 제어 신호를 생성하고, 생성된 햅틱 제어 신호를 햅틱 장치(120)에 전송할 수 있다. 햅틱 제어 신호 제공 장치(110)는 입력 신호(130)를 수신하고, 수신한 입력 신호(130)에 기초하여 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 입력 신호(130)가 오디오 신호인 경우, 햅틱 제어 신호 제공 장치(110)는 오디오 신호의 오디오 비트 패턴에 대응하는 햅틱 제어 신호를 생성할 수 있다. 입력 신호(130)가 미리 규정된 특수한 효과를 나타내는 부가 효과 신호일 경우, 햅틱 제어 신호 제공 장치(110)는 미리 규정된 특수 효과에 대응하는 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 미리 규정된 특수 효과가 비가 내리는 상황에 대응된다면, 햅틱 제어 신호 제공 장치(110)는 사용자가 햅틱 장치(120)를 통해 비가 내리는 촉감을 느낄 수 있는햅틱 자극을 발생하도록 햅틱 장치(120)를 제어하는 햅틱 제어 신호를 생성할 수 있다.The haptic control signal providing apparatus 110 may generate a haptic control signal for controlling the haptic stimulus provided by the haptic device 120 and may transmit the generated haptic control signal to the haptic device 120. The haptic control signal providing apparatus 110 may receive the input signal 130 and may generate a haptic control signal based on the received input signal 130. For example, when the input signal 130 is an audio signal, the haptic control signal providing apparatus 110 may generate a haptic control signal corresponding to an audio bit pattern of the audio signal. When the input signal 130 is an additional effect signal indicating a predetermined special effect, the haptic control signal providing device 110 may generate a haptic control signal corresponding to a predetermined special effect. For example, if the predefined special effect corresponds to a non-raising situation, the haptic control signal providing device 110 may provide a haptic stimulus to the user to generate a haptic stimulus, 120 based on the haptic control signal.

도 2는 일 실시예에 따른 햅틱 제어 신호 제공 장치의 구성을 도시하는 도면이다.2 is a diagram showing a configuration of a haptic control signal providing apparatus according to an embodiment.

도 2를 참조하면, 햅틱 제어 신호 제공 장치(200)는 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부(210), 결정된 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부(220), 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성하는 시각화 데이터 생성부(230), 생성된 햅틱 제어 신호를 햅틱 장치에 전송하는 전송부(240) 및 데이터 베이스(250)를 포함할 수 있다.Referring to FIG. 2, the haptic control signal providing apparatus 200 includes a haptic pattern data determining unit 210 for determining haptic pattern data, a haptic control signal generating unit 220 for generating a haptic control signal based on the determined haptic pattern data A visualization data generation unit 230 for generating visualization data corresponding to the haptic pattern data, a transmission unit 240 for transmitting the generated haptic control signal to the haptic device, and a database 250.

햅틱 패턴 데이터 결정부(210)는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 패턴 데이터 결정부(210)는 오디오 신호에 기초하여 햅틱 패턴 데이터를 결정하는 제1 햅틱 패턴 데이터 결정부(211) 및 부가 효과 신호에 기초하여 햅틱 패턴 데이터를 결정하는 제2 햅틱 패턴 데이터 결정부(213)을 포함할 수 있다.The haptic pattern data determination unit 210 may determine the haptic pattern data based on at least one of the audio signal and the additional effect signal. The haptic pattern data determination unit 210 includes a first haptic pattern data determination unit 211 for determining haptic pattern data based on an audio signal and a second haptic pattern data determination unit 211 for determining haptic pattern data based on the additional effect signal. (213).

제1 햅틱 패턴 데이터 결정부(211)는 수신한 오디오 신호로부터 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 오디오 신호로부터 햅틱 패턴 데이터를 결정하는 과정에 대해서는 이하 제시되는 도 3a, 도 3b, 도 4a 및 도 4b에서 보다 구체적으로 설명하도록 한다.The first haptic pattern data determination unit 211 may extract the audio bit pattern from the received audio signal and determine the haptic pattern data based on the extracted audio bit pattern. The process of determining the haptic pattern data from the audio signal will be described in more detail with reference to FIGS. 3A, 3B, 4A and 4B.

제2 햅틱 패턴 데이터 결정부(213)는 수신한 부가 효과 신호에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 부가 효과 신호는 미리 결정된 특수 효과를 나타내는 신호일 수 있고, 부가 효과 신호에 대응하는 햅틱 패턴 데이터는 미리 생성되어 데이터 베이스(250)에 저장될 수 있다. 예를 들어, 미리 결정된 특수 효과는 제공되는 컨텐츠에 따라서 비가 내리는 효과, 총에 맞는 효과 등일 수 있고, 각각의 특수 효과에 대응하는 촉감을 전달하는 햅틱 패턴 데이터가 미리 생성되어 데이터 베이스(250)에 저장될 수 있다. 다만, 미리 결정된 특수 효과의 범위는 위 예시에 한정되지 않는다. 제2 햅틱 패턴 데이터 결정부(213)는 수신한 부가 효과 신호를 식별하고, 식별된 부가 효과 신호에 대응하여 데이터 베이스(250)에 저장된 햅틱 패턴 데이터를 추출하고, 추출된 햅틱 패턴 데이터에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.The second haptic pattern data determination unit 213 can determine the haptic pattern data based on the received additional effect signal. The additional effect signal may be a signal indicating a predetermined special effect, and haptic pattern data corresponding to the additional effect signal may be generated in advance and stored in the database 250. [ For example, the predetermined special effect may be a rain effect, a gun effect, or the like depending on the content to be provided, and haptic pattern data that transmits a touch corresponding to each special effect is generated in advance and stored in the database 250 Lt; / RTI > However, the range of predetermined special effects is not limited to the above example. The second haptic pattern data determination unit 213 identifies the received additional effect signal, extracts the haptic pattern data stored in the database 250 corresponding to the identified additional effect signal, and based on the extracted haptic pattern data, The haptic pattern data can be determined.

일 실시예에 따른 햅틱 제어 신호 생성부(220)는 햅틱 제어 신호에 포함될 부가 정보를 포함하는 데이터 헤더를 생성하는 데이터 헤더부(221), 햅틱 제어 신호의 진폭 데이터를 생성하는 진폭 데이터 생성부(223), 햅틱 제어 신호의 진동 "?? 데이터를 생성하는 방향 데이터 생성부(225), 햅틱 제어 신호의 신호 상태에 대한 데이터를 생성하는 신호 상태 데이터 생성부(227)를 포함할 수 있다.The haptic control signal generator 220 includes a data header unit 221 for generating a data header including additional information to be included in the haptic control signal, an amplitude data generator for generating amplitude data of the haptic control signal 223, a direction data generation unit 225 for generating vibration data of the haptic control signal, and a signal state data generation unit 227 for generating data on the signal state of the haptic control signal.

데이터 헤더부(221)는 통해 햅틱 제어 신호에 포함될 부가 정보를 생성할 수 있다. 예를 들어, 데이터 헤더부(221)에 의해 생성되는 부가 정보는 햅틱 제어 신호의 포멧(format)에 대한 정보, 신호의 종류에 대한 정보, 용량에 대한 정보 등을 포함할 수 있다. 진폭 데이터 생성부(223)는 햅틱 패턴 데이터의 진폭 정보에 기초하여 햅틱 제어 신호의 진폭 데이터를 생성할 수 있다. 햅틱 제어 신호의 진폭 데이터는 햅틱 장치의 진동 세기를 결정함으로써, 햅틱 자극의 특성을 결정하는 데에 사용될 수 있다. 방향 데이터 생성부(225)는 햅틱 패턴 데이터의 진동 방향 정보에 기초하여 햅틱 제어 신호의 진동 방향 데이터를 생성할 수 있다. 햅틱 제어 신호의 진동 방향 데이터는 햅틱 장치의 진동 방향을 결정함으로써, 햅틱 자극의 특성을 결정하는 데에 사용될 수 있다. 예를 들어, 진동 방향은 좌우 방향, 상하 방향 등 임의의 방향일 수 있다. 신호 상태 데이터 생성부(227)는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호의 신호 상태에 대한 데이터를 생성할 수 있다. 예를 들어, 신호 상태에 대한 데이터는 신호가 최대 진폭을 유지하는 시간에 대한 데이터 또는 휴지 상태(예를 들어 진폭이 0을 유지하는 상태)를 유지하는 시간에 대한 데이터를 포함할 수 있다. 햅틱 제어 신호가 최대 진폭을 유지하는 시간에 대한 데이터 또는 휴지 상태를 유지하는 시간에 대한 데이터는 햅틱 장치의 다양한 형태의 햅틱 자극 패턴을 결정하는 데에 사용될 수 있다.The data header unit 221 may generate additional information to be included in the haptic control signal. For example, the additional information generated by the data header unit 221 may include information on a format of the haptic control signal, information on the type of the signal, information on the capacity, and the like. The amplitude data generation unit 223 can generate the amplitude data of the haptic control signal based on the amplitude information of the haptic pattern data. The amplitude data of the haptic control signal can be used to determine the characteristics of the haptic stimulus by determining the vibration intensity of the haptic device. Direction data generating unit 225 may generate vibration direction data of the haptic control signal based on the vibration direction information of the haptic pattern data. The vibration direction data of the haptic control signal can be used to determine the characteristics of the haptic stimulus by determining the vibration direction of the haptic device. For example, the vibration direction may be any direction such as a left-right direction, a vertical direction, and the like. The signal state data generation unit 227 can generate data on the signal state of the haptic control signal based on the haptic pattern data. For example, the data on the signal state may include data on the time the signal remains at its maximum amplitude or data on the time it is held in a dormant state (e.g., a state in which the amplitude maintains zero). Data on the time for which the haptic control signal maintains the maximum amplitude or data on the time for which the dormant state is maintained can be used to determine various types of haptic stimulation patterns of the haptic device.

다른 실시예에 따르면, 햅틱 제어 신호 생성부(220)는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 미리 생성되어 데이터 베이스(250)에 저장되어 있는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다. 햅틱 제어 신호 생성부(220)는 실시간으로 수신되는 오디오 신호에 기초하여 결정된 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수도 있지만, 미리 생성되어 데이터 베이스(220)에 저장되어 있는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다.According to another embodiment, the haptic control signal generator 220 generates a haptic control signal based on the haptic pattern data previously generated based on at least one of the audio signal and the additional effect signal and stored in the database 250 can do. The haptic control signal generation unit 220 may generate the haptic control signal based on the haptic pattern data determined based on the audio signal received in real time. However, the haptic control signal generation unit 220 may generate the haptic control signal based on the haptic pattern data previously generated and stored in the data base 220 The haptic control signal can be generated based on the haptic signal.

일 실시예에 따른 시각화 데이터 생성부(230)는 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성할 수 있다. 예를 들어, 시각화 데이터는 햅틱 패턴 데이터에 대한 특징 정보(예를 들어 진폭 데이터, 진동 방향 데이터 등)를 디스플레이하기 위한 햅틱 자극 패턴과 어울리는 문자에 대한 데이터, 화면에 부가될 이모티콘에 대한 데이터를 포함할 수 있다. 예를 들어, 시각화 데이터는 햅틱 자극 패턴에 대한 특징 정보를 디스플레이하기 위한 문자의 색상 정보, 글꼴 정보, 특징 정보 제공 방식에 대한 정보를 포함하는 디스플레이 인터페이스에 대한 정보를 포함할 수 있다. 또한, 햅틱 자극이 부가 효과(예: 비가 내리는 효과)에 대응되는 경우, 시각화 데이터는 부가 효과와 대응되는 이모티콘 데이터(예: 물방울 이모티콘, 우산 이모티콘 등) 및 영상 데이터(예: 비가 내리는 배경 영상 등)를 포함할 수 있다. 다른 실시예에서, 시각화 데이터는 햅틱 패턴 데이터에 대한 특징 정보(예를 들어 진폭 정보, 진동 방향 정보 등)를 시각 장애인에게 제공하기 위한 점자를 형성하기 위한 데이터, 햅틱 패턴 데이터에 대한 정보를 LED 패턴으로 제공하기 위한 데이터를 포함할 수 있다.The visualization data generation unit 230 according to an exemplary embodiment may generate visualization data corresponding to the haptic pattern data. For example, the visualization data may include data on characters matching the haptic stimulus pattern for displaying feature information (e.g., amplitude data, vibration direction data, etc.) for the haptic pattern data, emoticon to be added to the screen can do. For example, the visualization data may include information on a display interface including information on color information, font information, and feature information providing method for displaying feature information on a haptic stimulation pattern. In addition, when the haptic stimulus corresponds to an additive effect (for example, a rain effect), the visualization data may include emoticon data (e.g., water emoticon, umbrella emoticon, ). In another embodiment, the visualization data may include data for forming braille to provide visual information (e.g., amplitude information, vibration direction information, etc.) for the haptic pattern data, information about the haptic pattern data, As shown in FIG.

전송부(240)는 햅틱 제어 신호 생성부(220)에서 생성된 햅틱 제어 신호 및 시각화 데이터 생성부(230)에서 생성된 시각화 데이터 중 적어도 하나를 햅틱 장치에 전송할 수 있다. 예를 들어 전송부(240)는 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이, LTE를 포함하는 유무선 통신을 통해 햅틱 제어 신호 또는 시각화 데이터를 햅틱 장치에 전송할 수 있다.The transmission unit 240 may transmit at least one of the haptic control signal generated by the haptic control signal generation unit 220 and the visualization data generated by the visualization data generation unit 230 to the haptic device. For example, the transmission unit 240 may transmit a haptic control signal or visualization data to the haptic device through wired / wireless communication including Ethernet, Bluetooth, ZigBee, Wi-Fi, and LTE.

도 3a는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 수신한 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.FIG. 3A is a flowchart illustrating a method of extracting an audio bit pattern from an audio signal received using an FFT by a first haptic pattern data determination unit according to an exemplary embodiment.

일 실시예에 따르면, 단계(311)에서 제1 햅틱 패턴 데이터 결정부는 오디오 신호에 FFT을 수행하기 위해 입력된 오디오 신호를 세그멘테이션(segmentation)화할 수 있다. 제1 햅틱 패턴 데이터 결정부는 입력 오디오 신호를 임의의 개수의 데이터열 형태로 세그멘테이션화할 수 있는데, 예를 들어, 오디오 신호에 대하여 원활하게 FFT를 수행하기 위해 256개 또는 1024개의 데이터 열로 오디오 신호를 세그멘테이션화할 수 있다. 여기서, 세그멘테이션화되는 데이터 열의 개수는 위 일례에 한정되지 않는다.According to one embodiment, in step 311, the first haptic pattern data determination unit may segment the input audio signal to perform an FFT on the audio signal. The first haptic pattern data determination unit may segment the input audio signal into an arbitrary number of data stream types. For example, the first haptic pattern data determination unit may segment the audio signal into 256 or 1024 data strings to smoothly perform FFT on the audio signal. It can be changed. Here, the number of data segments to be segmented is not limited to the above example.

단계(312)에서 제1 햅틱 패턴 데이터 결정부는 세그멘테이션화된 오디오 신호에 FFT을 수행하여 오디오 신호를 시간 영역에서 주파수 영역으로 변환할 수 있다. 단계(313)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 영역으로 변환된 오디오 신호를 주파수 대역 별로 분할할 수 있다. 제1 햅틱 패턴 데이터 결정부는 목적하는 오디오 비트 패턴을 포함하는 주파수 대역의 오디오 신호를 획득하기 위하여 주파수 영역으로 변환된 오디오 신호를 복수의 주파수 대역으로 분할할 수 있다.In step 312, the first haptic pattern data determiner may perform FFT on the segmented audio signal to convert the audio signal from the time domain to the frequency domain. In step 313, the first haptic pattern data determination unit may divide the audio signal converted into the frequency domain by frequency bands. The first haptic pattern data determination unit may divide an audio signal converted into a frequency domain into a plurality of frequency bands to obtain an audio signal of a frequency band including a target audio bit pattern.

단계(314)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 대역 별로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호의 잡음을 제외한 비트 패턴에 대한 정보, 오디오 신호의 특정 악기에 대한 비트 패턴 정보 등 추출하고자 하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 잡음에 해당하는 오디오 신호가 고주파 대역에 포함되는 경우 고주파 대역을 제외한 신호가 선택될 수 있다. 또한, 여러 가지 악기에 대한 오디오 신호가 결합된 오디오 신호 중 특정 악기의 오디오 신호를 추출하고자 하는 경우, 특정 악기의 주파수 대역에 대응하는 오디오 신호가 선택적으로 추출될 수 있다. 적용되는 실시예에 따라 복수의 주파수 대역의 오디오 신호가 요구되는 경우, 요구되는 복수의 주파수 대역의 신호가 추출될 수 있다. 오디오 신호가 복수의 주파수 대역으로 분할되고, 선택되는 방식은 위에 제시된 예시에 한정되지 않고, 적용되는 실시예에서 요구되는 오디오 신호의 주파수 대역에 따라 다양하게 결정될 수 있다.In step 314, the first haptic pattern data determination unit may select signals of one or more frequency bands including desired bit pattern information among the audio signals segmented by frequency bands. For example, the first haptic pattern data determination unit may include a first haptic pattern data determination unit that determines a first haptic pattern data determination unit that receives a signal of one or more frequency bands including bit pattern information to extract, such as information on a bit pattern excluding noise of an audio signal, You can choose. For example, when an audio signal corresponding to a noise is included in a high frequency band, a signal excluding the high frequency band can be selected. In addition, when it is desired to extract an audio signal of a specific musical instrument among audio signals combined with audio signals of various musical instruments, the audio signal corresponding to the frequency band of the specific musical instrument can be selectively extracted. When audio signals of a plurality of frequency bands are required according to an embodiment to be applied, signals of a plurality of required frequency bands can be extracted. The manner in which the audio signal is divided into a plurality of frequency bands and the manner in which the audio signal is selected is not limited to the example shown above and can be variously determined according to the frequency band of the audio signal required in the applied embodiment.

단계(315)에서, 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호에 IFFT(Inverse Fast Fourier Transformation)를 수행할 수 있다. 제1 햅틱 패턴 데이터 결정부는 IFFT를 통해 선택된 주파수 대역의 오디오 신호를 주파수 영역에서 시간 영역으로 변환할 수 있다.In step 315, the first haptic pattern data determiner may perform Inverse Fast Fourier Transform (IFFT) on the audio signal of the selected frequency band. The first haptic pattern data determination unit may convert the audio signal of the frequency band selected through the IFFT from the frequency domain to the time domain.

단계(316)에서, 제1 햅틱 패턴 데이터 결정부는 IFFT된 오디오 신호를 스무딩(smoothing) 처리할 수 있다. 예를 들어, 오디오 신호를 스무딩하는 과정에서, 제1 햅틱 패턴 데이터 결정부는 IFFT를 통해 시간 영역으로 변환된 오디오 신호를 전파 정류하고, 오디오 신호를 세그멘테이션화하여 FFT의 진행에 기인하여 발생한 왜곡을 감소시키고, 급격히 변화하는 영역을 부드럽게 보정하기 위하여 윈도우(window) 함수를 통해 오디오 신호에 대하여 컨볼루션(Convolution) 연산을 수행할 수 있다. 예를 들어 윈도우 함수는 해닝(Hanning), 해밍(Hamming), 카이저(Kaiser) 함수일 수 있지만 이에 한정되지 않는다. 또한, 시간 영역에서의 컨볼루션 연산은 주파수 영역에서의 곱 연산과 동일한 점에 기초하여, 주파수 영역에서 연산 과정을 수행하면 더 빠른 연산 수행이 가능할 수 있다.In step 316, the first haptic pattern data determiner may perform an IFFT-processed audio signal smoothing process. For example, in the process of smoothing an audio signal, the first haptic pattern data determination unit may perform full-wave rectification of the audio signal converted into the time domain through IFFT, segment the audio signal, and reduce the distortion caused by the progress of the FFT And perform a convolution operation on the audio signal through a window function to smoothly correct the rapidly changing region. For example, the window function may be a Hanning, Hamming, Kaiser function, but is not limited thereto. In addition, the convolution operation in the time domain can be performed faster if the operation is performed in the frequency domain based on the same point as the product operation in the frequency domain.

단계(317)에서, 제1 햅틱 패턴 데이터 결정부는 스무딩된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다.In step 317, the first haptic pattern data determination unit may half-wave rectify the smoothed audio signal to extract an audio bit pattern.

도 3b는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 오디오 신호를 분리해 내는 일례를 도시하는 도면이다.FIG. 3B is a diagram illustrating an example in which the first haptic pattern data determination unit according to an embodiment separates audio signals in a frequency band including desired bit pattern information using an FFT.

일 실시예에 따르면, 오디오 신호(321)는 FFT를 통해 시간 영역에서 주파수 영역으로 변환되고, 주파수 대역 별로 오디오 신호의 컴포넌트들이 분리될 수 있다. 신호들(323)은 6개의 서로 다른 주파수 대역(f₁, f₂, f₃, f₄, f₅, f₆)으로 분할된 오디오 신호들일 수 있다. 주파수 대역을 분할하는 방식은 제시된 예시에 한정되지 않는다. 제1 햅틱 패턴 데이터 결정부는 복수의 주파수 대역으로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 주파수 대역(f₂)의 오디오 신호(325)를 선택한다. 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호(325)를 IFFT를 통해 주파수 영역에서 시간 영역으로 변환한다. 제1 햅틱 패턴 데이터 결정부는 시간 영역으로 변환된 오디오 신호(327)를 스무딩 처리 및 반파 정류하고, 이를 통해 목적하는 비트 패턴 정보를 추출할 수 있다. 제1 햅틱 패턴 데이터 결정부는 추출한 비트 패턴 정보에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.According to one embodiment, the audio signal 321 is transformed from the time domain to the frequency domain by FFT, and the components of the audio signal may be separated by frequency band. The signals 323 may be audio signals divided into _six different frequency bands f ₁ , f ₂ , f ₃ , f ₄ , f ₅ , f ₆ . The manner of dividing the frequency band is not limited to the example shown. The first haptic pattern data determination unit selects the audio signal 325 of the frequency band f ₂ including the desired bit pattern information among the audio signals divided into a plurality of frequency bands. The first haptic pattern data determination unit transforms the audio signal 325 of the selected frequency band from the frequency domain to the time domain through the IFFT. The first haptic pattern data determination unit may perform smoothing processing and half-wave rectification of the audio signal 327 converted into the time domain, and extract the desired bit pattern information through the smoothing processing and the half-wave rectification. The first haptic pattern data determination unit may determine the haptic pattern data based on the extracted bit pattern information.

도 4a는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.4A is a flowchart illustrating a method of extracting an audio bit pattern from an audio signal using a discrete wavelet transform according to another embodiment of the present invention.

도 4a를 참조하면, 단계(411)에서 제1 햅틱 패턴 데이터 결정부는 입력된 오디오 신호에 대하여 이산 웨이블렛 변환을 수행하기 위해 입력된 오디오 신호를 세그멘테이션화할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호에 대하여 원활하게 이산 웨이블렛 변환을 수행하기 위해 256개 또는 1024개의 데이터 열로 오디오 신호를 세그멘테이션화할 수 있다.Referring to FIG. 4A, in step 411, the first haptic pattern data determination unit may segment the input audio signal to perform discrete wavelet transform on the input audio signal. For example, the first haptic pattern data determination unit may segment the audio signal into 256 or 1024 data strings to smoothly perform the discrete wavelet transform on the audio signal.

단계(413)에서, 제1 햅틱 패턴 데이터 결정부는 이산 웨이블렛 변환을 통해 세그멘테이션화된 오디오 신호를 주파수 대역 별로 분할할 수 있다. 제1 햅틱 패턴 데이터 결정부는 목적하는 오디오 비트 패턴을 포함하는 주파수 대역의 오디오 신호를 획득하기 위하여 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할할 수 있다. 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 방법은 도 4b를 통해 자세히 설명된다.In step 413, the first haptic pattern data determination unit may divide the audio signal segmented by the discrete wavelet transform into frequency bands. The first haptic pattern data determination unit may divide the audio signal into frequency bands through discrete wavelet transform to obtain an audio signal of a frequency band including a target audio bit pattern. A method of dividing an audio signal by frequency band by the discrete wavelet transform will be described in detail with reference to FIG.

단계(415)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 대역 별로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호의 잡음을 제외한 음악의 비트 패턴 정보, 오디오 신호의 특정 악기의 비트 패턴 정보 등 추출하고자 하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다.In step 415, the first haptic pattern data determination unit may select a signal of one or more frequency bands including desired bit pattern information among the audio signals divided by frequency bands. For example, the first haptic pattern data determination unit may select one or more frequency band signals including bit pattern information of music to be extracted, such as bit pattern information of music excluding noise of an audio signal, bit pattern information of a specific musical instrument of an audio signal, .

단계(417)에서, 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호를 스무딩할 수 있다. 예를 들어, 오디오 신호를 스무딩하는 과정은 선택된 주파수 대역의 오디오 신호를 전파 정류하고, 오디오 신호의 왜곡을 감소시키고, 급격히 변화하는 영역을 부드럽게 보정하기 위하여 윈도우 함수를 통해 오디오 신호에 대하여 컨볼루션 연산을 수행할 수 있다. 예를 들어 윈도우 함수는 해닝(Hanning), 해밍(Hamming), 카이저(Kaiser) 함수일 수 있지만 이에 한정되지 않는다.In step 417, the first haptic pattern data determination unit may smooth the audio signal of the selected frequency band. For example, in the process of smoothing an audio signal, full-wave rectification of an audio signal of a selected frequency band is performed, a distortion of an audio signal is reduced, and a convolution operation Can be performed. For example, the window function may be a Hanning, Hamming, Kaiser function, but is not limited thereto.

단계(419)에서 제1 햅틱 패턴 데이터 결정부는 스무딩된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다. 제1 햅틱 패턴 데이터 결정부는 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.In step 419, the first haptic pattern data determination unit may half-wave rectify the smoothed audio signal to extract an audio bit pattern. The first haptic pattern data determination unit may determine the haptic pattern data based on the extracted audio bit pattern.

도 4b는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 과정을 도시하는 도면이다.FIG. 4B is a diagram illustrating a process of dividing an audio signal into frequency bands by the first haptic pattern data determination unit according to another embodiment through discrete wavelet transform.

일 실시예에 따르면, 입력된 오디오 신호는 고역 통과 필터(421)에 의해 필터링되고, 고역 통과 필터(421)에 의해 필터링된 오디오 신호는 다운 샘플링(down sampling)되어 제1 대역 주파수 신호로 분할될 수 있다. 저역 통과 필터(422)에 의해 필터링된 오디오 신호는 다운 샘플링 되어 제2 대역 주파수 신호를 분할하기 위한 입력 오디오 신호로 사용될 수 있다. 제2 대역 주파수 신호를 분할하기 위한 입력 오디오 신호는 고역 통과 필터(423)에 의해 필터링되고, 다운 샘플링 되어 제2 대역 주파수 신호로 분할될 수 있다. 저역 통과 필터(424)에 의해 필터링된 오디오 신호는 다운 샘플링되어 제3 대역 주파수 신호를 분할하기 위한 입력 오디오 신호로 사용될 수 있다. 이와 같은 필터링 및 다운 샘플링 과정들이 필터들(425, 426, 427, 428)에 의해 수행됨에 따라, 제1 햅틱 패턴 데이터 결정부는 시간 영역에서 오디오 신호를 주파수 대역 별로 분할할 수 있다. 예를 들어, n개 대역의 주파수로 오디오 신호를 분할하고자 한다면 2n번의 필터링 과정이 필요하다. 제1 햅틱 패턴 데이터 결정부는 복수의 주파수 대역의 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 오디오 신호를 선택하고, 선택된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다.According to one embodiment, the input audio signal is filtered by a high-pass filter 421 and the audio signal filtered by the high-pass filter 421 is down-sampled and divided into a first band frequency signal . The audio signal filtered by the low-pass filter 422 may be downsampled and used as an input audio signal for dividing the second band-frequency signal. The input audio signal for dividing the second band frequency signal may be filtered by a high-pass filter 423, down-sampled and divided into a second band frequency signal. The audio signal filtered by the low-pass filter 424 may be downsampled and used as an input audio signal to divide the third band-frequency signal. As such filtering and downsampling processes are performed by the filters 425, 426, 427, and 428, the first haptic pattern data determination unit may divide the audio signal in the time domain by frequency bands. For example, if you want to divide the audio signal into frequencies of n bands, 2n filtering steps are necessary. The first haptic pattern data determination unit may select an audio signal of one or more frequency bands including desired bit pattern information among signals of a plurality of frequency bands and half-wave rectify the selected audio signal to extract an audio bit pattern.

도 5는 일 실시예에 따른 햅틱 장치의 구성을 도시한 도면이다.5 is a view showing a configuration of a haptic device according to an embodiment.

도 5를 참조하면, 햅틱 장치(500)는 햅틱 장치의 동작을 제어하는 컨트롤러(510), 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호 및 시각화 데이터를 수신하는 수신부(520), 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 햅틱 패턴 데이터 추출부(530), 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부(540), 햅틱 장치가 제공하는 햅틱 자극에 대응하는 진동을 발생시키는 액츄에이터들(551, 552, 553), 수신한 시각화 데이터를 디스플레이하는 시각화 데이터 표시부(560)를 포함한다.5, the haptic device 500 includes a controller 510 for controlling the operation of the haptic device, a receiving unit 520 for receiving the haptic control signal and the visualization data from the haptic control signal providing device, A haptic pattern data extracting unit 530 for extracting data, an actuator control unit 540 for generating an actuator control signal for controlling driving of the actuator, actuators 551 for generating vibration corresponding to the haptic stimulus provided by the haptic device, , 552, and 553, and a visualization data display unit 560 that displays the received visualization data.

컨트롤러(510)는 햅틱 패턴 데이터 추출부(530), 시각화 데이터 표시부(560), 데이터 베이스(570)의 동작을 제어할 수 있다. 수신부(520)는 유무선 통신(예를 들어, 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이 LTE를 포함함)을 통해 제어 신호 제공 장치로부터 햅틱 제어 신호 및 햅틱 패턴 데이터에 대응하는 시각화 데이터를 수신하고, 수신한 햅틱 제어 신호 및 시각화 데이터를 데이터 베이스(570)에 저장할 수 있다.The controller 510 can control the operation of the haptic pattern data extracting unit 530, the visualization data displaying unit 560, and the database 570. The receiving unit 520 receives visualization data corresponding to the haptic control signal and the haptic pattern data from the control signal providing apparatus through wired / wireless communication (including Ethernet, Bluetooth, ZigBee, WiFi LTE, for example) The received haptic control signal and the visualization data can be stored in the database 570.

햅틱 패턴 데이터 추출부(530)는 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출할 수 있다. 햅틱 패턴 데이터 추출부(530)는 햅틱 제어 신호로부터 데이터 헤더, 햅틱 패턴 데이터의 진폭 데이터, 진동 방향 데이터, 신호 상태 데이터를 복원하고, 복원된 결과에 기초하여 햅틱 패턴 데이터를 추출할 수 있다. 추출된 햅틱 패턴 데이터는 통신 모듈(미도시)을 통해 액츄에이터 제어부에 전송될 수 있다.The haptic pattern data extracting unit 530 may extract the haptic pattern data from the haptic control signal. The haptic pattern data extracting unit 530 may extract the data header, the amplitude data of the haptic pattern data, the vibration direction data, and the signal state data from the haptic control signal, and extract the haptic pattern data based on the restored result. The extracted haptic pattern data may be transmitted to the actuator controller through a communication module (not shown).

액츄에이터 제어부(540)는 햅틱 패턴 데이터에 기초하여 액츄에이터들(551, 552, 553)의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성할 수 있다. 액츄에이터 제어부의 동작은 도 6을 통해 아래에서 자세히 설명하도록 한다.The actuator control unit 540 may generate an actuator control signal for controlling the driving of the actuators 551, 552, and 553 based on the haptic pattern data. The operation of the actuator control unit will be described in detail below with reference to FIG.

액츄에이터들(551, 552, 553)은 액츄에이터 제어부(540)로부터 수신한 액츄에이터 제어 신호에 기초하여 진동을 발생시킬 수 있다. 예를 들어, 액츄에이터들(551, 552, 553)은 햅틱 패턴 데이터에 기초하여 발생된 전류 형태의 액츄에이터 제어 신호에 기초하여 햅틱 패턴 데이터에 대응하는 진동을 발생시킬 수 있다. 또한 액츄에이터들(551, 552, 553)은 제공되는 컨텐츠에 따라 다양한 형태로 구성될 수 있다. 예를 들어, 슈팅 게임에 제공되는 햅틱 장치의 경우, 액츄에이터들(551, 552, 553)은 사용자가 착용하는 조끼에 배치되어 사용자가 총에 맞는 효과를 느낄 수 있도록 진동을 발생시킬 수 있고, 슈팅 장치에 배치되어 사용자가 슈팅 효과를 느낄 수 있도록 하는 진동을 발생시킬 수 있다. 액츄에이터들(551, 552, 553)의 개수는 도면에 제시된 예시에 한정되지 않는다.The actuators 551, 552, and 553 may generate vibration based on the actuator control signals received from the actuator control unit 540. For example, the actuators 551, 552, and 553 may generate vibrations corresponding to the haptic pattern data based on the actuator control signals of the current type generated based on the haptic pattern data. Also, the actuators 551, 552, and 553 may be configured in various forms according to the provided contents. For example, in the case of a haptic device provided in a shooting game, the actuators 551, 552, and 553 may be placed in a vest that the user wears to generate a vibration so that the user can feel the effect of the gun, It is possible to generate vibration that is placed on the device and allows the user to feel the shooting effect. The number of actuators 551, 552, 553 is not limited to the example shown in the drawings.

시각화 데이터 표시부(560)는 수신한 시각화 데이터에 기초하여 햅틱 패턴 데이터에 대한 특성 정보(예를 들어 진폭 정보, 진동 방향 정보 등)를 출력할 수 있다. 예를 들어, 시각화 데이터는 햅틱 패턴 데이터에 대한 정보를 디스플레이하기 위한 문자에 대한 정보, 화면에 부가될 이모티콘에 대한 정보 등일 수 있다. 데이터 베이스(570)는 햅틱 제어 신호에 대한 정보, 시각화 데이터에 대한 정보, 햅틱 패턴 데이터에 대한 정보 등을 저장할 수 있다.The visualization data display unit 560 can output characteristic information (e.g., amplitude information, vibration direction information, and the like) for the haptic pattern data based on the received visualization data. For example, the visualization data may include information on characters for displaying information on haptic pattern data, information on emoticons to be added to the screen, and the like. The database 570 may store information on a haptic control signal, information on visualization data, information on haptic pattern data, and the like.

도 6은 일 실시예에 따른 액츄에이터 제어부의 구성을 도시하는 도면이다.6 is a diagram showing a configuration of an actuator control unit according to an embodiment.

도 6을 참조하면, 액츄에이터 제어부(620)는 햅틱 패턴 데이터에 기초하여 전류를 발생시키는 컨트롤 회로(623), 액츄에이터 제어부(620)에 인가되는 직류 전원의 전압을 변압시키는 DC-DC 컨버터(converter; 621) 및 컨트롤 회로(623)에서 발생한 전류 값을 조절하는 조절부(625)를 포함한다. 컨트롤 회로(623)에서 발생된 전류 또는 조절부(625)에서 전류 값이 조절된 전류는 액츄에이터 제어 신호에 대응될 수 있다.6, the actuator control unit 620 includes a control circuit 623 for generating a current based on the haptic pattern data, a DC-DC converter (not shown) for converting the voltage of the DC power applied to the actuator control unit 620, 621 for adjusting the current value generated in the control circuit 623, and an adjusting unit 625 for adjusting the current value generated in the control circuit 623. The current generated in the control circuit 623 or the current whose current value is adjusted in the regulator 625 may correspond to the actuator control signal.

컨트롤 회로(623)는 DC-DC 컨버터(621)로부터 인가된 직류 전압과, 햅틱 패턴 데이터 추출부(610)로부터 수신한 햅틱 패턴 데이터에 기초하여 전류를 발생시키고, 발생된 전류를 조절부(625)에 전달할 수 있다. 예를 들어, 컨트롤 회로(623)는 H-bridge 회로를 통해 햅틱 패턴 데이터에 대응하여 변화하는 전류를 발생시킬 수 있다. DC-DC 컨버터(621)는 컨트롤 회로(623)에 인가되는 직류 전원의 전압을 조절할 수 있다.The control circuit 623 generates a current based on the DC voltage applied from the DC-DC converter 621 and the haptic pattern data received from the haptic pattern data extractor 610, and supplies the generated current to the regulator 625 ). For example, the control circuit 623 can generate a current that changes in response to the haptic pattern data through the H-bridge circuit. The DC-DC converter 621 can regulate the voltage of the DC power applied to the control circuit 623.

조절부(625)는 스위치를 사용하여 컨트롤 회로(623)에 의해 발생된 전류의 세기를 조절하고, 조절된 전류를 액츄에이터들(631, 633, 635)에 인가하여 액츄에이터들(631, 633, 635)의 진동을 조절할 수 있다. 예를 들어, 조절부(625)는 스위칭 회로를 포함할 수 있다. 조절부(625)는 스위칭 회로의 스위치를 통해 액츄에이터들(631, 633, 635)에 연결된 코일들의 주 권선과 보조 권선의 비를 조절할 수 있고, 선택된 코일들의 주 권선과 보조 권선의 비를 통해 액츄에이터들(631, 633, 635)에 흐르는 전류를 조절할 수 있다. 조절된 전류를 통해 조절부(625)는 액츄에이터들(631, 633, 635)의 진동력을 조절할 수 있고, 조절된 액츄에이터들(631, 633, 635)의 진동을 통해 햅틱 장치는 다양한 햅틱 자극을 사용자에게 제공할 수 있다. 다른 실시예에서, 조절부(625)는 가변 저항을 통해 액츄에이터들(631, 633, 635)에 인가되는 전압의 크기를 조절할 수 있고, 조절된 전압의 크기에 기초하여 액츄에이터(631, 633, 635)에 흐르는 전류의 세기를 조절할 수 있다.The adjuster 625 adjusts the intensity of the current generated by the control circuit 623 using the switch and applies the adjusted current to the actuators 631, 633, 635 Can be controlled. For example, the regulator 625 may include a switching circuit. The adjustment section 625 can adjust the ratio of the main winding and the auxiliary winding of the coils connected to the actuators 631, 633 and 635 through the switch of the switching circuit, 633, and 635 can be adjusted. The regulated current allows the regulator 625 to regulate the vibrational force of the actuators 631, 633 and 635 and the vibration of the regulated actuators 631, 633 and 635 allows the haptic device to generate various haptic stimuli Can be provided to the user. In another embodiment, the regulator 625 can adjust the magnitude of the voltage applied to the actuators 631, 633, 635 via the variable resistors and adjust the magnitudes of the voltages applied to the actuators 631, 633, 635 Can be controlled.

도 7a는 일 실시예에 따른 액츄에이터 제어부의 회로의 일례를 도시하는 도면이다.7A is a diagram showing an example of a circuit of an actuator control unit according to an embodiment.

도 7a를 참조하면, 컨트롤 회로(713)는 4개의 MOSFET 또는 트랜지스터를 포함하는 H-bridge회로로 구성된다. 컨트롤 회로(713)에는 DC-DC 컨버터(711)에 의해 전압이 조절된 직류 전압이 인가되고, 컨트롤 회로(713)는 DC-DC 컨버터(711)로부터 인가된 전압 및 햅틱 패턴 데이터에 기초하여 변화하는 전류를 발생시킬 수 있다. 컨트롤 회로(713)에 의해 발생된 전류는 스위칭 회로(717)를 통해 조절될 수 있다. 스위칭 회로(717)는 스위칭을 통해 스위칭 회로(717)에 연결된 코일의 주 권선 및 보조 권선의 비를 조절할 수 있고, 조절된 코일의 주권선 및 보조 권선의 비에 기초하여 액츄에이터(719)에 인가되는 전류를 조절할 수 있다. 이 방식은 전압 변경을 위해 PWM(Pulse width Modulation)신호를 컨트롤하는 종래의 방법에서 요구되는 복잡한 PWM 신호의 세기 변경이나 PWM신호 컨트롤 시간을 필요로 하지 않고, 단순한 스위칭 회로를 통해 3 단계의 전압 레벨을 쉽고 빠르게 변경하고, 제어할 수 있는 장점이 있다. 조절된 전류를 통해 액츄에이터(719)의 진동의 세기 및 진동자의 움직임의 방향이 조절될 수 있고, 조절된 액츄에이터(719)의 진동에 의해 햅틱 자극이 생성될 수 있다.Referring to FIG. 7A, the control circuit 713 is composed of an H-bridge circuit including four MOSFETs or transistors. The control circuit 713 is supplied with a DC voltage whose voltage is adjusted by the DC-DC converter 711 and the control circuit 713 changes the voltage and haptic pattern data based on the voltage applied from the DC- Can be generated. The current generated by the control circuit 713 can be adjusted through the switching circuit 717. [ The switching circuit 717 is able to adjust the ratio of the main winding and the auxiliary winding of the coil connected to the switching circuit 717 through switching and to apply the auxiliary winding to the actuator 719 based on the ratio of the main winding and the auxiliary winding of the regulated coil Can be adjusted. This method eliminates the need for complicated PWM signal strength changes or PWM signal control times required by conventional methods of controlling PWM (Pulse Width Modulation) signals for voltage change, Can be easily and quickly changed and controlled. The intensity of the vibration of the actuator 719 and the direction of the vibration of the vibrator can be adjusted through the adjusted current and the haptic stimulus can be generated by the vibration of the adjusted actuator 719. [

도 7b는 다른 실시예에 따른 하나의 제어 신호에 기초하여 컨트롤 회로가 동작되는 회로의 일례를 도시하는 도면이다.7B is a diagram showing an example of a circuit in which a control circuit is operated based on one control signal according to another embodiment.

도 7b를 참조하면, 제시된 회로는 DC-DC 컨버터와 기존의 H-bridge회로에 버퍼와 NOT 게이트로 구성된 논리 회로가 연결된 회로이다. 버퍼(Buffer)와 NOT 게이트로 구성된 논리 회로가 연결된 컨트롤 회로를 통해 하나의 제어 신호(S31)(720)에 의한 액츄에이터 제어가 수행될 수 있다. 구체적으로,DC-DC 컨버터에 의해 모터 구동에 필요한 DC 전압 레벨이 회로에 제공되고, 제공된 DC 전압 레벨은 햅틱 패턴 데이터에 포함된 진동 세기 변화에 대한 정보에 기초하여 PWM 신호 제어부(700)를 통해 제어될 수 있다.Referring to FIG. 7B, the circuit shown is a circuit in which a logic circuit composed of a buffer and a NOT gate is connected to a DC-DC converter and an existing H-bridge circuit. An actuator control by one control signal S31 720 may be performed through a control circuit to which a logic circuit composed of a buffer and a NOT gate is connected. Specifically, a DC voltage level required for driving the motor by the DC-DC converter is provided to the circuit, and the provided DC voltage level is supplied to the PWM signal control unit 700 through the PWM signal control unit 700 based on the information on the vibration intensity change included in the haptic pattern data Lt; / RTI >

제어 신호(S31)(720)가 High 상태가 되면 G1(721)에는 Low 상태의 신호가 출력되고 G1(721)에 연결된 트랜지스터(727)는 On 상태가 되어 전류가 흐르게 되고 G3(723)에는 제어 신호(720)와 동일한 High 상태의 신호가 출력되고 G3(723)에 연결된 트랜지스터(726)는 Off 상태가 되어 전류가 흐르지 않게 된다. 제어 신호(S31)(720)가 Low 상태가 되면 G2(722)의 출력은 High 상태의 신호가 되고, 연결된 G4(724)에는 High 상태의 신호가 출력되어 연결된 트랜지스터(728)은 Off 상태가 된다. G2(722)의 출력에 연결된 G5(725)의 출력은 Low 상태의 신호가 되고, G5(725) 연결된 트랜지스터(729)는 On 상태가 되어 전류가 흐르게 된다. 결론적으로 제어 신호(S31)(720)가 High 상태가 될 경우 트랜지스터(727))와 트랜지스터(728))이 On 상태가 되어 전류가 순방향(i2)으로 흐르고 제어 신호(S31)(720)이 Low 상태가 될 경우 트랜지스터(726)와 트랜지스터(729)가 On 상태가 되어 전류가 역방향(i1)으로 흐른다. 설명된 방법으로 액츄에이터에 흐르는 전류의 방향이 하나의 컨트롤 신호(720)를 통해 결정될 수 있으며, 이때 PWM 신호 제어부(700)의 제어 신호(S31)(720)의 세기 변화를 이용하여 액츄에이터에 인가되는 전압의 세기 또한 조정될 수 있다. 다수의 제어 신호가 사용될 경우 하나의 액츄에이터의 동작을 제어하기 위해서는 필수적으로 다수의 제어 신호가 동기화 되어야 한다. 만약 다수의 제어 신호가 동기화되지 않을 경우, 동기화 되지 않은 제어 신호를 통해 목표한 진동 패턴을 생성하는 것에는 큰 어려움이 따른다. 설명된 방식은 하나의 제어 신호(720)를 사용함으로써, 동기화 과정이 생략될 수 있기 때문에, 진동 패턴을 용이하게 생성할 수 있는 장점이 있다.When the control signal S31 720 is in a high state, a low state signal is outputted to the G1 721 and the transistor 727 connected to the G1 721 is turned on to allow the current to flow. In the G3 723, A signal in the same high state as that of the signal 720 is outputted and the transistor 726 connected to the G3 723 is turned off and no current flows. When the control signal S31 720 is in the Low state, the output of the G2 722 becomes the high state signal, and the signal of the High state is outputted to the connected G4 724 and the connected transistor 728 becomes the Off state . The output of the G5 725 connected to the output of the G2 722 becomes the signal of the low state and the transistor 729 connected to the G5 725 becomes the ON state and the current flows. As a result, when the control signal S31 720 goes high, the transistor 727 and the transistor 728 are turned on and the current flows in the forward direction i2 and the control signal S31 720 goes Low The transistor 726 and the transistor 729 are turned on and the current flows in the reverse direction i1. The direction of the current flowing to the actuator can be determined through the single control signal 720 and the current signal is applied to the actuator using the intensity change of the control signal S31 720 of the PWM signal controller 700 The intensity of the voltage can also be adjusted. When a plurality of control signals are used, it is essential that a plurality of control signals be synchronized in order to control the operation of one actuator. If the plurality of control signals are not synchronized, it is difficult to generate the desired vibration pattern through the unsynchronized control signal. There is an advantage in that the described method can easily generate a vibration pattern since the synchronization process can be omitted by using one control signal 720. [

도 7c는 또 다른 실시예에 따른 다양한 패턴의 제어 신호를 생성할 수 있는 회로도의 일례를 도시한다.FIG. 7C shows an example of a circuit diagram capable of generating control signals of various patterns according to another embodiment.

도 7c를 참조하면, 도 7c에 제시된 회로는 DC-DC 컨버터를 통해 모터 구동에 필요한 DC 전압 레벨이 회로에 제공되고,제공된 전압 레벨은 햅틱 패턴 데이터에 포함된 진동 세기 변화에 대한 정보에 기초하여 PWM 신호 제어부를 통해 제어될 수 있다. 액츄에이터(735)는 제어 신호(S41)(731), 제어 신호(S42)(732)에 기초하여 제어될 수 있다. 제어 신호(S41)(731)가 Low 상태가 되고 제어 신호(S42)(732)가 High 상태가 되면 전류가 순방향(i2)로 흐르게 되고 이와 반대로 제어 신호(S41)(731)가 High 상태가 되고, 제어 신호(S42)(732)가 Low 상태가 되면 역방향(i1)으로 전류가 흐르게 된다. 그리고 제어 신호(731, 732)의 세기 변화를 이용하여 액츄에이터(735)에 인가되는 전압의 세기 또한 조절될 수 있다. 또한, 정현파, 반파 형태의 정현파, 구형파, 반파 형태의 구형파 등과 같은 다양한 형태의 제어 신호(731, 732)를 통해 액츄에이터가 조절될 수 있다.Referring to FIG. 7C, the circuit shown in FIG. 7C is provided with a DC voltage level required for driving the motor through a DC-DC converter, and the voltage level provided is based on information about the vibration intensity change included in the haptic pattern data And can be controlled through the PWM signal control unit. The actuator 735 can be controlled based on the control signal S41 (731) and the control signal (S42) 732. When the control signal S41 731 goes Low and the control signals S42 and 732 go High the current flows in the forward direction i2 and conversely the control signal S41 731 goes High , And when the control signals S42 and S732 are in the Low state, current flows in the reverse direction i1. The intensity of the voltage applied to the actuator 735 can also be adjusted using the intensity change of the control signals 731 and 732. In addition, the actuator can be controlled through various types of control signals 731 and 732 such as sinusoidal waves, sinusoidal waves in the form of half waves, square waves in the form of half waves, and the like.

도 7d은 다양한 햅틱 자극을 생성하는 햅틱 장치의 액츄에이터 제어부 및 액츄에이터에 대한 회로의 일례를 도시한다.7D shows an example of a circuit for an actuator control and actuator of a haptic device that produces various haptic stimuli.

기존의 LRA(Linear Resonant Actuator) 액츄에이터에 사용되는 구동 드라이버는 햅틱 드라이버 집적회로(Haptic Driver Integrated Circuit)로 일정한 진폭을 갖는 정현파를 생성하고, 생성된 정현파의 주파수와 구동 시간만을 변경할 수 있다. 도 7d에 제시된 햅틱 장치는 구동 신호 생성부(740)와 디지털 가변 저항기를 포함하는 디지털 게인 제어부(Digital Gain Controller)(751, 752), OP AMP(761, 762)를 통해 정현파, 삼각파 및 사각파 등을 생성하고, 생성된 각각의 형태의 파형의 구동시간, 주파수 및 진폭의 크기를 변경함으로써 다양한 촉감의 햅틱 자극을 생성할 수 있다.A driving driver used in a conventional LRA (Linear Resonant Actuator) actuator can generate a sinusoidal wave having a constant amplitude with a haptic driver integrated circuit, and can change only the frequency and driving time of the generated sinusoidal wave. The haptic device shown in FIG. 7D includes a driving signal generator 740, digital gain controllers 751 and 752 including a digital variable resistor, and OP AMPs 761 and 762. The haptic device includes a sinusoidal wave, a triangular wave, And the haptic stimulation of various tactile senses can be generated by changing the driving time, frequency, and magnitude of amplitude of each of the generated waveforms.

구체적으로, 구동 신호 생성부(740)에서 디지털 출력(S72)(742)이 High 상태로 출력됨으로써, 구동시간이 설정될 수 있고,디지털 출력(S72)(742)이 Low 상태로 출력됨으로써, 휴지 시간이 설정될 수 있다. 또한, 구동 신호 생성부(740)를 통해 H-Bridge(753)에 위상 변화에 대한 신호가 제공됨으로써 전류의 방향(i3, i4)이 결정될 수 있고, 결정된 전류 방향에 기초하여 액츄에이터(770)가 움직이는 방향이 결정될 수 있다. 또한 구동 신호 생성부(740)는 디지털 게인 제어부(751, 752)를 통해 액츄에이터(770)에 제공되는 전압의 세기를 조절할 수 있고, 조절된 전압의 세기에 기초하여 액츄에이터(770)에 흐르는 전류의 세기가 제어됨으로써, 액츄에이터(770)의 구동 세기가 결정될 수 있다. 설명된 방식을 통해 사각파 형태의 다양한 세기의 구동신호를 생성하는 일 실시예에 따르면, 구동 신호 생성부(740)는 디지털 출력(S72)(742)으로 사각파 형태 패턴의 신호를 생성하고, H-Bridge(753)를 통해 결정된 전류의 방향을 통해 액츄에이터(770)의 구동 방향이 결정될 수 있다. 구동 신호 생성부(740)는 디지털 게인 제어부(751, 752)를 통해 액츄에이터의 구동 세기를 결정함으로써, 사각파 형태의 구동 신호를 생성할 수 있다. 정현파 형태의 구동 신호를 생성하고자 하는 다른 실시예에 따르면, 구동 신호 생성부(740)를 통해 디지털 출력(S72)(742)으로 정현파를 출력하는 총 시간의 길이가 결정될 수 있고, 구동 신호 생성부(740)에서 신호(S71)(741), 신호(S73)(743)를 통해 디지털 게인 제어부(751, 753)의 게인(gain)을 조절함으로써, 출력 신호의 크기 변화를 통해 OP-AMP(761, 762)의 출력 신호가 정현파의 반파 형태가 되도록 출력 신호의 형태가 조절될 수 있다. 또한, 정현파의 반파 형태로 형태가 조절된 출력 신호는 H-Bridge(753)를 통해 전류 방향이 변경되어 다시 출력됨으로써, 완전한 정현파 형태의 구동 신호가 생성될 수 있다. 생성된 정현파 형태의 구동 신호를 통해 액츄에이터(770)이 구동될 수 있다.. 정현파 형태의 구동 신호를 생성하는 방식과 유사한 방식을 통해 구동 신호의 진폭과 위상을 제어함으로써 반파 형태의 정현파, 구형파, 반파 형태의 구형파, 삼각파 등이 생성될 수 있다. 생성되는 구동 신호의 형태는 제시된 예시에 한정되지 않고, 진폭과 위상의 조절을 통해 임의의 형태의 구동 신호가 생성될 수 있다. 구동 신호는 액츄에이터 제어 신호에 대응될 수 있다.Specifically, the driving time can be set by outputting the digital outputs S72 and 742 in the high state in the driving signal generating unit 740, and the digital outputs S72 and 742 are outputted in the low state, Time can be set. The direction of current i3 and i4 can be determined by providing a signal for the phase change to the H-bridge 753 through the drive signal generator 740 and the actuator 770 can be controlled based on the determined current direction The direction of movement can be determined. The driving signal generator 740 can adjust the intensity of the voltage supplied to the actuator 770 via the digital gain controllers 751 and 752 and adjust the intensity of the current flowing in the actuator 770 based on the intensity of the adjusted voltage. By controlling the intensity, the driving intensity of the actuator 770 can be determined. According to one embodiment of generating driving signals of various intensities in the form of a square wave through the described method, the driving signal generating unit 740 generates a square wave pattern signal with the digital outputs S72 and 742, The driving direction of the actuator 770 can be determined through the direction of the current determined through the H-Bridge 753. [ The driving signal generation unit 740 can generate driving signals of a square wave type by determining the driving intensity of the actuator through the digital gain control units 751 and 752. According to another embodiment of generating a sinusoidal driving signal, the length of the total time for outputting a sine wave to the digital outputs S72 and 742 through the driving signal generator 740 can be determined, AMP 761 through a change in the magnitude of the output signal by adjusting the gains of the digital gain control units 751 and 753 through the signals S71 and S73 through the signals S71 and S73 , And 762 may be in the form of a half wave of a sinusoidal wave. In addition, the output signal whose shape is adjusted in the half-wave form of the sinusoidal wave is changed again through the H-bridge 753 so that the sinusoidal wave form signal can be generated. And the actuator 770 can be driven through the generated sinusoidal driving signal. By controlling the amplitude and the phase of the driving signal through a method similar to a method of generating a sinusoidal driving signal, sinusoidal waves, A square wave, a triangle wave, or the like may be generated. The type of the drive signal to be generated is not limited to the example shown, and any type of drive signal can be generated through adjustment of amplitude and phase. The drive signal may correspond to the actuator control signal.

도 8은 일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공방법의 동작을 도시하는 흐름도이다.8 is a flowchart illustrating an operation of a method for providing a haptic control signal by the haptic control signal providing apparatus according to an embodiment.

도 8을 참조하면, 단계(810)에서 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 제어 신호 제공 장치는 오디오 신호로부터 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 FFT 또는 웨이블렛 변환을 통해 오디오 신호의 주파수 대역을 분할하고, 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 신호를 선택하고, 선택된 신호에서 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 제어 신호 제공 장치는 부가 효과에 대응하여 데이터 베이스에 미리 저장된 햅틱 패턴 데이터를 추출하고, 추출된 햅틱 패턴 데이터에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.Referring to FIG. 8, in step 810, the haptic control signal providing apparatus may determine haptic pattern data based on at least one of an audio signal and an additional effect signal. The haptic control signal providing apparatus can extract an audio bit pattern from an audio signal and determine haptic pattern data based on the extracted audio bit pattern. For example, the haptic-control-signal providing apparatus divides a frequency band of an audio signal by FFT or wavelet transform, selects a signal of a frequency band including desired bit pattern information, extracts an audio bit pattern from the selected signal , And the haptic pattern data can be determined based on the extracted audio bit pattern. The haptic control signal providing apparatus may extract the haptic pattern data stored in advance in the database corresponding to the additional effect, and may determine the haptic pattern data based on the extracted haptic pattern data.

단계(820)에서 햅틱 제어 신호 제공 장치는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정할 수 있다.In step 820, the haptic control signal providing apparatus may generate a haptic control signal based on the haptic pattern data. For example, the haptic control signal providing apparatus may determine at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal based on the haptic pattern data.

단계(830)에서 햅틱 제어 신호 제공 장치는 햅틱 제어 신호를 햅틱 장치에 전송할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이, LTE를 포함하는 유무선 통신을 통해 햅틱 제어 신호를 햅틱 장치에 전송할 수 있다In step 830, the haptic control signal providing device may transmit a haptic control signal to the haptic device. For example, the haptic control signal providing apparatus can transmit a haptic control signal to the haptic device through wired / wireless communication including Ethernet, Bluetooth, ZigBee, Wi-Fi, and LTE

도 9는 일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법에 대한 동작을 도시하는 흐름도이다.9 is a flowchart illustrating an operation of an actuator control method performed in a haptic device according to an embodiment.

도 9를 참조하면, 단계(910)에서 햅틱 장치는 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신할 수 있다. 단계(920)에서 햅틱 장치는 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출할 수 있다. 예를 들어, 햅틱 장치는 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 복원할 수 있다.Referring to FIG. 9, in step 910, the haptic device may receive a haptic control signal from the haptic control signal providing device. In step 920, the haptic device may extract the haptic pattern data from the received haptic control signal. For example, the haptic device may restore haptic pattern data based on at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal.

단계(930)에서 햅틱 장치는 추출한 햅틱 패턴 데이터에 기초하여 액츄에이터 제어 신호를 생성할 수 있다. 예를 들어, 햅틱 장치는 H-bridge 회로를 통해 햅틱 패턴 데이터에 기초하여 전류 형태의 액츄에이터 제어 신호를 생성할 수 있고, 스위칭 회로를 통해 코일의 주 권선 및 보조 권선의 비를 조절하여 전류 형태의 액츄에이터 제어 신호를 조절할 수 있다. 단계(940)에서 햅틱 장치는 액츄에이터 제어 신호에 기초하여 액츄에이터의 구동을 제어할 수 있다. 예를 들어, 액츄에이터는 액츄에이터 제어 신호에 기초하여 햅틱 패턴 데이터에 대응하는 진동을 발생시킴으로써 햅틱 자극을 발생시킬 수 있다.In step 930, the haptic device may generate an actuator control signal based on the extracted haptic pattern data. For example, the haptic device can generate an actuator control signal in the form of a current based on the haptic pattern data through the H-bridge circuit and adjust the ratio of the main winding and the auxiliary winding of the coil through the switching circuit, The actuator control signal can be adjusted. In step 940, the haptic device may control the actuation of the actuator based on the actuator control signal. For example, the actuator may generate a haptic stimulus by generating a vibration corresponding to the haptic pattern data based on the actuator control signal.

위 실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.The components described in the above embodiments may be implemented using one or more of a digital signal processor (DSP), a processor, a controller, an application specific integrated circuit (ASIC), a programmable logic device such as a field programmable gate array (FPGA), other electronic devices, Or a combination of < RTI ID = 0.0 > a < / RTI > At least some of the processes or functions described in the embodiments may be implemented by software, and the software may be recorded on a recording medium. The components, functions and processes described in the embodiments may be implemented by a combination of hardware and software.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for an embodiment or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

Claims

A haptic pattern data determination unit for determining haptic pattern data based on at least one of an audio signal and an additional effect signal;
A haptic control signal generator for generating a haptic control signal for controlling a vibration operation of the haptic device based on the haptic pattern data; And
The haptic device according to claim 1,
And the haptic control signal providing device includes: