KR102554444B1 - 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 - Google Patents

음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 Download PDF

Info

Publication number
KR102554444B1
KR102554444B1 KR1020220115125A KR20220115125A KR102554444B1 KR 102554444 B1 KR102554444 B1 KR 102554444B1 KR 1020220115125 A KR1020220115125 A KR 1020220115125A KR 20220115125 A KR20220115125 A KR 20220115125A KR 102554444 B1 KR102554444 B1 KR 102554444B1
Authority
KR
South Korea
Prior art keywords
tactile
signal
frequency
mode
information
Prior art date
Application number
KR1020220115125A
Other languages
English (en)
Other versions
KR20220130064A (ko
Inventor
김형준
강지구
이종훈
이정범
정종형
Original Assignee
주식회사 씨케이머티리얼즈랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨케이머티리얼즈랩 filed Critical 주식회사 씨케이머티리얼즈랩
Publication of KR20220130064A publication Critical patent/KR20220130064A/ko
Application granted granted Critical
Publication of KR102554444B1 publication Critical patent/KR102554444B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

일 실시 예에 따른 햅틱 장치는, 음향 정보를 저장하거나 또는 상기 음향 정보를 외부 기기로부터 전송 받기 위한 데이터베이스부; 상기 음향 정보를 미리 정해진 패턴에 따른 전기 신호로 변환하기 위한 제어부; 상기 전기 신호에 기초하여 모션 신호를 발생시키는 구동부; 상기 모션 신호에 의하여 사용자에게 패턴화된 촉각 신호를 전달하는 전달부를 포함할 수 있다.

Description

음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치{A METHOD OF TRANSFORMING A SOUND SIGNAL TO A TACTUAL SIGNAL AND HAPTIC DEVICE OF USING THEREOF}
아래의 실시 예는, 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치에 관한 것이다.
햅틱 장치는, 디지털 기기에 진동이나 힘, 충격을 발생하여 사용자에게 촉감을 제공하는 기술이다. 즉, 햅틱 장치는 게임기, 휴대폰, 컴퓨터 등의 디지털 기기의 입력장치(예를 들면, 조이스틱, 마우스, 키보드, 터치스크린 등)를 조작함에 따라 진동, 운동감, 힘 등을 사용자에게 제공한다. 그에 따라, 햅틱 장치는 컴퓨터 가상체험 등과 같이 보다 실감나는 정보를 사용자에게 전달하는 기술이다.
일반적으로 햅틱 기술을 위한 햅틱 장치로는 관성형 액추에이터(Inertial actuator), 압전형 액추에이터(Piezoelectric actuator), 전기활성폴리머 액추에이터(Electro-active polymer actuator, EAP) 등이 있다.
관성형 액추에이터에는 자기 회로에 연결된 중량체에 의해 발생하는 편심력으로 진동하는 편심 모터(Eccentric rotation motor, ERM), 탄성 스프링과 자기 회로에 연결된 중량체에 의해 발생하는 공진 주파수를 이용하여 진동의 세기를 최대화 시키는 선형 공진 액추에이터(Linear resonant actuator, LRA)가 있다.
압전형 액추에이터는 전기장에 의해 순간적으로 외형이 변하는 압전 소자를 중심으로, 탄성체 등을 이용하여 바(Bar)나 디스크(Disk)형태로 구동하는 소자이다.
종래 기술인 햅틱 제공 장치 중 압전형 액추에이이터에 대하여, 대한민국 등록특허공보 제10-1603957호(명칭: 압전 액추에이터, 압전 진동장치 및 휴대 단말), 대한민국 공개특허공보 제10-2011-0118584호(명칭: 투명한 합성 압전 조합된 터치 센서 및 햅틱 액추에이터)가 있다.
전기활성폴리머 액추에이터는 외부 전력에 의해 특정한 메커니즘을 갖는 고분자 백본(Backbone) 위 기능기(Functional group)에 의해 외형이 변하는 것을 주요 원리로 하여 전기활성 폴리머 필름을 질량체에 붙여 반복된 움직임을 제공하여 구동하는 소자이다.
또한 상기한 햅틱 제공 장치 외 형상기억합금, 정전기력, 초음파 등을 이용한 햅틱 제공 장치들이 개발되고 있다.
햅틱 장치는 개발 초기에 항공기 및 전투기 시뮬레이션 또는 가상영상체험 영화, 게임 등에서 주로 적용되었으며, 2000년대 중반 이후 이 기술이 적용된 터치스크린 휴대전화가 출시되어 보다 개인 사용자들에게 친숙하게 적용되면서 주목받고 있다.
이처럼, 햅틱 장치는 스마트폰, 게임 콘솔 등 다양한 전자 기기에서 사용되고 있다. 햅틱 장치는 시청각뿐 아니라 촉각, 후각 등 복합적인 방법으로 미디어를 접하고자 하는 사용자 요구사항이 증가함에 따라 사용이 증가하고 있는 추세이다.
일반적으로, 종래의 햅틱 피드백 제공 방법은 사용자의 디지털 기기 조작에 따라 발생하는 이벤트, 애플리케이션 자체에서 발생하는 이벤트에 의해 햅틱 장치가 구동된다. 즉, 사용자가 디지털 기기의 사용자 인터페이스를 통해 상호작용할 때 발생하는 특정 이벤트, 또는 애플리케이션 자체에서 발생하는 이벤트(예를 들면, 알람 등)에 의해 햅틱 장치가 트리거링된다. 이처럼, 햅틱 피드백 제공 방법은 발생한 이벤트에 따라 미리 정의된 특정 햅틱 패턴을 출력하는 이벤트 드리븐(event-driven) 방식이 일반적으로 사용되고 있다.
다른 햅틱 피드백 제공 방식으로는 연속적으로 출력되는 오디오 데이터를 햅틱 출력을 위한 데이터로 변경하여 햅틱 피드백을 제공하는 방식이 있다. 이때, 출력 중인 오디오 데이터를 햅틱 데이터로 변화하는 방식으로는 아날로그 신호 방식과, FFT(Fast Fourier Transform) 필터 방식 등이 사용되고 있다.
아날로그 신호 방식은 오디오 출력 때 발생하는 아날로그 신호를 입력으로 하여 햅틱 액추에이터를 구동시키는 방법이다. 아날로그 신호 방식은 반응 속도가 매우 빠르고, 하드웨어로 구현이 용이하며, 특히 액추에이터의 구동 주파수 범위가 다양할 경우 더욱 효과적으로 사용할 수 있다.
일 실시 예에 따른 목적은, 영상, 음악, 게임 등 다양한 콘텐츠에서 출력되는 음향 효과와 어울리는 촉각 제공 기술을 제공하는 것이다.
일 실시 예에 따른 목적은, 단순 진동이 아닌 강약, 고저가 구분 가능하여 보다 입체적이고 리듬감 있는 촉각을 제공하는 기술을 제공하는 것이다.
일 실시 예에 따른 목적은, 음향의 특성이 기재된 악보 등의 기록들을 효율적으로 촉각 패턴화 시킬 수 있는 기술을 제공하는 것이다.
일 실시 예에 따른 햅틱 장치는, 음향 정보를 저장하거나 또는 상기 음향 정보를 외부 기기로부터 전송 받기 위한 데이터베이스부; 상기 음향 정보를 미리 정해진 패턴에 따른 전기 신호로 변환하기 위한 제어부; 및 사용자에게 패턴화된 촉각 신호를 제공하는 촉각 액추에이터를 포함하고, 상기 촉각 액추에이터는, 상기 전기 신호에 기초하여 모션 신호를 발생시키는 구동부; 및 상기 모션 신호에 의하여 사용자에게 상기 패턴화된 촉각 신호를 전달하는 전달부를 포함할 수 있다.
상기 음향 정보는, 지속 시간, 높낮이 및 세기 정보를 가지는 음표와, 지속 시간 정보를 가지는 쉼표 중 하나 이상을 포함할 수 있다.
상기 미리 정해진 패턴에 따른 전기 신호는, 음표의 높낮이 정보에 비례하여 증가하는 전압의 크기; 음표의 지속 시간에 비례하여 증가하는 전압 인가 시간; 및 상기 전압 인가 시간 이후에 배치되는 대기 시간을 포함할 수 있다.
상기 전압의 크기는, 서로 높낮이가 다른 음표에 대응하는 미리 정해진 값을 가질 수 있다.
상기 음표의 지속 시간은, 상기 전압 인가 시간 및 대기 시간의 합과 동일할 수 있다.
상기 음향 정보는, 상기 음표의 세기를 변화시키는 셈여림표를 더 포함하고, 상기 제어부는 상기 셈여림표가 나타내는 표시에 따라 상기 전압의 크기 또는 상기 전압 인가 시간을 조절할 수 있다.
상기 셈여림표가 포르테 계열인 경우, 상기 제어부는 상기 전압의 크기 및/또는 상기 대기 시간 대비 상기 전압 인가 시간을 일정한 비율로 증가시키고, 상기 셈여림표가 피아노 계열인 경우, 상기 제어부는 상기 전압의 크기 및/또는 상기 대기 시간 대비 상기 전압 인가 시간을 일정한 비율로 감소시킬 수 있다.
상기 음향 정보는, 음높이가 서로 다른 음표들을 연결하는 이음선을 더 포함할 수 있고, 상기 제어부는 상기 이음선으로 연결된 음표들 사이의 대기 시간을 0초로 조절할 수 있다.
상기 음향 정보는, 음높이가 동일한 음표들을 연결하는 붙임선을 더 포함할 수 있고, 상기 제어부는, 상기 붙임선으로 연결된 음표들 사이의 대기 시간에 후행하는 음표의 지속 시간을 가산할 수 있다.
상기 음향 정보는, 일정한 구간을 반복 재생시키기 위한 세로선을 더 포함하고, 상기 제어부는, 상기 전압을 상기 세로선이 표시된 구간 내의 음표들과 대응하는 전압이 반복되도록 조절할 수 있다.
상기 구동부는, 내부에 수용 공간을 형성하는 하우징; 상기 수용 공간 내에 배치되는 진동부; 상기 진동부가 상기 하우징에 대하여 진동 가능하도록 상기 하우징 및 진동부를 연결하는 탄성 부재; 및 상기 진동부를 구동하기 위한 자기장을 형성하는 코일을 포함하고, 상기 전달부는, 상기 수용 공간을 커버하도록 배치되고, 상기 진동부의 질량은 2g 이하이고, 상기 탄성 부재의 탄성 계수는 2.021 N/mm 이하이고, 상기 촉각 액추에이터의 공진 주파수는 160Hz 이하일 수 있다.
상기 제어부는, 상기 음향 정보에 기초하여 미리 결정된 복수 개의 구동 모드 중 어느 하나의 구동 모드를 결정하고, 상기 전기 신호가 상기 결정된 구동 모드에 해당하는 주파수를 가질 수 있다.
상기 복수 개의 구동 모드는, 일반 진동 모드, 두드림 모드 및 출렁거림 모드를 포함할 수 있고, 상기 구동 모드가 상기 일반 진동 모드일 때, 상기 제어부는 상기 코일로, 160Hz 이하인 정현파(sine wave)인 전기 신호를 인가할 수 있고, 상기 구동 모드가 상기 두드림 모드일 때, 상기 제어부는 상기 코일로, 상기 일반 진동 모드에서 인가되는 전기 신호의 주파수보다 낮고 60Hz 이하인 방형파(square wave) 또는 펄스파(pulse wave)인 전기 신호를 인가할 수 있고, 상기 구동 모드가 상기 출렁거림 모드일 때, 상기 제어부는 상기 코일로, 상기 일반 진동 모드에서 인가되는 전기 신호의 주파수보다 낮고 상기 두드림 모드에서 인가되는 전기 신호의 주파수보다 높은 방형파 또는 펄스파인 전기 신호를 인가할 수 있다.
상기 음향 정보는 음표의 세기를 변화시키는 셈여림표의 유무 및 종류에 관한 정보를 포함할 수 있고, 상기 제어부는, 상기 셈여림표의 유무 및 종류에 기초하여, 상기 구동 모드를 결정할 수 있다.
상기 음향 정보는, 음높이가 서로 다른 음표들을 연결하는 이음선에 관한 정보를 포함할 수 있고, 상기 제어부는, 상기 이음선으로 연결된 구간에서 상기 구동 모드를 상기 출렁거림 모드로 결정할 수 있다.
일 실시 예에 따르면, 햅틱 장치를 이용하여 음향신호를 촉각 신호로 변환하는 방법에 있어서, 저장된 음향 정보 또는 외부 기기로부터 수신한 음향 정보를 입력하는 단계; 오선표를 기준으로 상기 음향 정보의 세부 내용을 해석하는 단계; 상기 음향 정보를 미리 정해진 패턴에 따른 전기 신호로 변환하는 단계; 상기 전기 신호에 기초하여 모션 신호를 발생시키는 단계; 및 상기 모션 신호에 의하여 사용자에게 패턴화된 촉각 신호를 전달하는 단계를 포함할 수 있다.
상기 해석하는 단계는, 적어도 하나의 음표 또는 쉼표의 배열을 판단하는 단계; 상기 음표의 지속 시간, 높낮이, 및 세기 정보를 확인하는 단계; 및 상기 쉼표의 지속 시간 정보를 확인하는 단계를 포함할 수 있다.
상기 변환하는 단계는, 각 음표에 대응하는 미리 정해진 전압의 크기를 매칭시키는 단계; 및 상기 매칭된 전압의 크기에 따라 전기 신호의 전압의 크기를 조절하는 단계를 포함할 수 있다.
상기 발생시키는 단계는, 상기 전기 신호의 패턴에 대응하는 주파수 및 진폭의 크기를 가지는 모션 신호를 발생시키는 단계를 포함할 수 있다.
상기 전달하는 단계는, 사용자의 손 끝에 상기 촉각 신호를 전달하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 음향의 특성이 기재된 악보 등의 기록들을 효율적으로 촉각 패턴화 시킬 수 있다.
일 실시 예에 따르면, 단순 진동이 아닌 강약, 고저가 구분 가능하여 보다 입체적이고 리듬감 있는 촉각을 제공이 가능하다.
일 실시 예에 따르면, 영상, 음악, 게임 등 다양한 콘텐츠에서 출력되는 음향 효과에 효과적인 촉각을 제공 가능하다.
일 실시 예에 따르면, 콘텐츠 사용자의 사용자 경험 증대로 보다 풍부한 감성을 전달 받을 수 있다.
일 실시 예에 따르면, 인체가 감지할 수 있는 주파수 범위 중, 160Hz 이하의 주파수 범위에서 종래의 기술보다 더 효율적인 촉각이 제공 가능하다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시 예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 일 실시 예에 따른 햅틱 장치를 개략적으로 나타낸 사시도이다.
도 2는 오선보에서 사용되는 음표 및 쉼표를 나타낸 표이다.
도 3는 오선보에서 사용되는 박자표를 나타낸 표이다.
도 4은 오선보에서 사용되는 연주속도, 표현, 셈여림표를 나타낸 표이다.
도 5는 오선보에서 사용되는 세로선을 나타내기 위한 악보이다.
도 6은 오선보에서 사용되는 음높이, 이음선, 붙임선을 나타낸 표이다.
도 7은 음향 정보가 전기 신호로 변환하기 위한 과정을 나타낸 그래프이다.
도 8은 셈여림표의 종류에 따라 전기 신호의 크기가 달라지는 모습을 나타낸 표이다.
도 9는 연주 속도가 표시된 오선보의 예를 나타낸다.
도 10은 일 실시 예에 따른 음향 정보를 촉각 신호로 변환하는 방법을 나타낸 순서도이다.
도 11은 일 실시 예에 따른 음향 정보를 촉각 신호로 변환하는 방법의 해석하는 단계를 구체화한 순서도이다.
도 12는 일 실시 예에 따른 음향 정보를 촉각 신호로 변환하는 방법의 변환하는 단계를 구체화한 순서도이다.
도 13은 일 실시 예에 따른 음향 정보를 촉각 신호로 변환하는 방법의 발생시키는 단계 및 전달하는 단계를 구체화한 순서도이다.
도 14는 일 실시 예에 따른 촉각 액추에이터의 내부를 나타내는 도면이다.
도 15는 일 실시 예에 따른 탄성 부재를 나타내는 도면이다.
도 16은 다른 실시 예에 따른 탄성 부재를 나타내는 도면이다.
도 17은 일 실시 예에 따른 햅틱 장치의 블록도이다.
도 18은 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 주파수에 따른 구동 영역을 개념적으로 나타내는 그래프이다.
도 19는 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 실제로 측정된 주파수 및 가속도 관계를 나타내는 그래프이다.
도 20은 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 저주파수를 갖는 방형파 전기 신호를 인가할 때 측정된 주파수 및 가속도 관계를 나타내는 그래프이다.
도 21은 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 저주파수를 갖는 정현파 전기 신호를 인가할 때 측정된 주파수 및 가속도 관계를 나타내는 그래프이다.
도 22는 일 실시 예에 따른 촉각 액추에이터의 제어 방법을 나타내는 도면이다.
도 23은 일 실시 예에 따른 촉각 액추에이터가 동작하는 일 형태를 나타내는 도면이다.
도 24는 일 실시 예에 따른 촉각 액추에이터가 동작하는 다른 형태를 나타내는 도면이다.
도 25는 서로 다른 공진 주파수를 갖는 촉각 액추에이터들에 있어서, 5Hz의 방형파인 입력 전기 신호의 크기 변화에 따른 가속도의 변화를 나타내는 그래프이다.
도 26은 서로 다른 공진 주파수를 갖는 촉각 액추에이터들에 있어서, 90mA의 방형파인 입력 전기 신호의 주파수 변화에 따른 가속도의 변화를 나타내는 그래프이다.
도 27은 80Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 방형파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 28은 120Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 방형파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 29는 160Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 방형파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 30은 180Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 방형파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 31은 서로 다른 공진 주파수 특성을 갖는 촉각 액추에이터들에 있어서, 방형파인 전기 신호가 인가될 때 두드림 및 진동의 임계 주파수를 나타내는 그래프이다.
도 32는 80Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 펄스파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 33은 120Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 펄스파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 34는 160Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 펄스파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 35는 180Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 펄스파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 36은 서로 다른 공진 주파수 특성을 갖는 촉각 액추에이터들에 있어서, 펄스파인 전기 신호가 인가될 때 두드림 및 진동의 임계 주파수를 나타내는 그래프이다.
도 37은 80Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 정현파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 38은 120Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 정현파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 39는 160Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 정현파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 40은 180Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 정현파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이다.
도 41은 서로 다른 공진 주파수 특성을 갖는 촉각 액추에이터들에 있어서, 정현파인 전기 신호가 인가될 때 출렁거림 및 진동의 임계 주파수를 나타내는 그래프이다.
도 42는 다른 실시 예에 따른 촉각 액추에이터의 제어 방법을 나타내는 도면이다.
도 43은 셈여림표의 종류에 따라 일 실시 예에 따른 촉각 액추에이터가 작동되는 동작 모드를 나타낸 표이다.
이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 일 실시 예에 따른 햅틱 장치(1)를 개략적으로 나타낸 사시도이다.
도 1을 참조하면, 일 실시 예에 따른 햅틱 장치(1)는, 음향 정보를 저장하거나 또는 음향 정보를 외부 기기(S)로부터 전송 받기 위한 데이터베이스부(D, 10)와, 음향 정보를 미리 정해진 패턴에 따른 전기 신호로 변환하기 위한 제어부(C, 20)와, 제어부(20)으로부터 전기 신호를 인가받아 사용자에게 다양한 촉각 신호를 전달하는 촉각 액추에이터(200)를 포함할 수 있다.
촉각 액추에이터(200)는 전기 신호에 기초하여 모션 신호를 발생시키는 구동부(A, 30)와, 구동부(30)에 물리적으로 연결되어 모션 신호에 의하여 사용자에게 패턴화된 촉각 신호를 전달하는 전달부(H, 40)를 포함할 수 있다. 촉각 액추에이터(200)의 예시적인 구성에 대하여는, 도 14 내지 16을 참조하여 후술하기로 한다.
외부 기기(S)는 음향 정보를 저장하고 전송할 수 있는 장치는 모두 가능하고, 예를 들어, 통상적으로 사용되는 모바일 기기 또는, USB 저장 매체, SD 카드 등일 수 있다. 예를 들어, 외부 기기(S)는 데이터베이스부(10)에 직접 연결되거나, 인터넷 등을 이용하여 유무선 방식으로 음향 정보를 수신 받을 수 있는 통신부(50, 도 17 참조)를 거쳐서 제어부(20) 및/또는 데이터베이스부(10)로 음향 정보를 전달할 수 있다.
음향 정보는, 일반적으로 사용되는 mp3 등의 음원 파일 형태의 소스가 아니라, 오선보 등의 악보에 기재할 수 있는 음표, 쉼표, 박자표, 연주속도, 표현, 셈여림표, 그리고 이들을 수식하는 각종 기호들에 대한 정보를 포함하는 텍스트 또는 이미지로 구성될 수 있다. 위와 같은 음향 정보는 햅틱 장치(1)에 최적화시킬 수 있는 것으로, 음원 파일을 이용하는 경우에 비하여 훨씬 작은 용량으로 정보를 저장 또는 송수신 할 수 있다.
음향의 기록 수단 중, 가장 잘 알려진 것은 기보(악보를 기록하는 작업)로서, 각 문화권마다 특색 있는 형식을 갖추나, 대체로 서로 다른 악보는 연동하여 기보가 가능하다. 이하 햅틱 장치(1)는 여러 가지 악보 중 대중적으로 사용되고 있는 악보인 오선보를 이용하는 경우를 예시적으로 설명하기로 하지만, 오선보 외에 다른 악보에도 적용될 수도 있음을 밝혀둔다. 햅틱 장치(1)는, 각 음향 정보를 촉각 신호 제공에 필요한 전기 신호로 전환할 수 있다.
제어부(20)는 음향 정보를 바탕으로 구동부(30)의 움직임을 제어한다. 제어부(20)는, 악보의 구성을 구동부(30)의 구동을 위한 전기 신호로 전환할 수 있고, 구동부(30)는 이를 실제 움직임이 포함된 모션 신호로 출력할 수 있다.
전달부(40)는, 사용자의 손 또는 다른 신체 피부와 직접적으로 접촉이 발생하고, 촉각 신호의 주기 또는 크기를 통하여 어떠한 음이 재생되고 있는지 사용자에게 전달할 수 있다. 예를 들어, 전달부(40)는 구동부(30)를 감싸는 커버 또는 케이스일 수 있다. 다른 예로, 전달부(40)는, 3축 병진이동 및 3축 회전 이동이 가능한 햅틱 디스플레이, 또는 장갑, 손목 시계 등과 같은 형태의 웨어러블 장치가 될 수도 있다.
도 2 내지 6은 오선보에서 사용되는 각종 표시들을 설명하기 위한 것이다.
도 2는 오선보에서 사용되는 음표 및 쉼표를 나타낸 표이다.
음표는 음의 길이 또는 높이를 지시하는 기호이고, 음의 길이는 음표 종류로, 음의 높이는 오선 위에 위치로 나타낼 수 있다.
쉼표는 음악에서 음을 내지 않은 곳과 그 길이를 나타내는 표이고, 음높이가 없기 때문에 오선 높이에 상관없이 보통 일정한 자리에 적는다. 그리고 길이의 비율은 같은 이름의 음표의 길이와 동등한 종류의 쉼표가 있다.
음의 길이에 대하여, "온"은 1박을 의미하고, 2분 또는 4분은, 1/2박 또는 1/4박을 의미한다. 따라서, 표의 아래로 내려갈수록 ?F은 음의 길이 또는 쉼표의 길이를 가지게 된다.
도 3은 오선보에서 사용되는 박자표(time signature)를 나타낸 표이다.
박자표는 악보에서 음자리표나 조표에 이어, 그 오른쪽에 붙어 있는 분수 표시를 통한 숫자 또는 표(기호)이다. 분수 표시에서 분모는 한 박의 단위가 되는 음표의 종류를 나타내고, 분자는 한 마디 안에서의 박수를 나타낸다.
예를 들어, 박자표는 4/4, 3/4, 2/4, 6/8 등의 분수로 나타내는데, 분모는 단위가 되는 음표, 분자는 1마디 안에 포함되는 단위음표의 수를 나타낸다. 즉, 4/4박자는 4분음표를 1박으로 하여 1마디 안에 4박이 들어 있는 박자를 나타낸다.
도 4는 오선보에서 사용되는 템포(tempo), 표현(articulation), 셈여림표(dynamics)를 나타낸 표이다.
템포는, 악곡진행의 속도 또는 그 규정을 나타내고 악곡을 연주하는 빠르기를 나타내는 표시이다.
또한, 템포는 메트로놈을 사용하는 방법을 나타내고, 단위 음표를 결정하고, 그것을 1분간에 몇 개 연주할 것인가를 나타낸다. 예를 들어 "♪=120" 경우, 1분에 1/8박이 120번 등장한다는 것을 의미한다. 이 경우, 1분에 총 15박자가 나오는 빠르기로 진행한다는 것을 의미한다.
표현(articulation)은, 악상에 따라 각 음표를 음악적으로 발음하고 연결하기 위한 여러 가지 방법을 말한다. 프레이징과 함께 사용되기도 하지만, 프레이징이 선율을 일정한 크기의 프레이즈로 구분하는 것에 반해 표현(articulation)은 프레이징보다 더 작은 단위로 구분하는 것이다.
표현 주법으로 레가토·논레가토·스타카토·포르타토 등이 있다. 레가토는 음과 음 사이가 끊어지지 않도록 이어서 연주하는 것이고, 논레가토는 음표의 가치보다 약간 짧게 하여 음 사이를 일시 중지시키는 것이다. 스타카토는 음을 반 정도 길이로 하나하나 짧게 끊어서 연주하라는 것이고, 포르타토는 음의 가치를 충분히 늘여서 연주하되 음표마다 텅잉(tonguing)하는 주법이다.
셈여림표는 악곡의 부분 또는 전반에 걸쳐 음의 셈과 여림의 정도를 나타내는 표이고, 강약기호(强弱記號)라고도 한다. 악곡의 표정이나 성격을 더욱 자세하고 명확하게 나타내기 위하여 쓰는 표로서 악곡의 맨 앞이나 중간에 적어, 악곡 전반의 셈여림 및 부분적인 셈여림 등 음의 세기를 지시하거나 변화시킨다.
일반적으로 피아니시모(pp:매우 여리게), 피아노(p:여리게), 메조피아노 (mp:조금 여리게), 메조포르테(mf:조금 세게), 포르테(f:세게), 포르티시모(ff:매우 세게), 크레셴도(cresc:점점 세게), 디크레셴도(decresc:점점 여리게), 스포르찬도(sf:특히 세게), 포르테피아노(fp:세게 곧 여리게) 등이 있다.
도 5는 오선보에서 사용되는 세로선을 나타내기 위한 악보이다.
예를 들어 도돌이표는, 악보상의 어느 부분을 되풀이해서 연주하도록 지정하는 표이고, 반복하는 방향으로 겹세로줄 옆에 두 점을 붙여서 나타내는 방법과, D.S.나 D.C. 등의 표기, bis, ter 등의 문자를 사용하는 경우가 있다.
도 6은 오선보에서 사용되는 음높이(pitch), 이음선(slur) 및 붙임선(tie) 등을 나타낸 표이다.
음높이는 음의 높낮이를 가리키고, 오선보를 기준으로 높은 곳에 위치할수록 음표의 음이 높아지게 된다.
이음선은 음높이가 서로 다른 2개 또는 그 이상의 음표 위나 아래에 이어 붙인 호선(arc)을 뜻하고, 이음줄이라고도 한다. 이음선이 붙어 있는 음표를 부드럽고 원활하게(레가토) 연주할 것을 나타낸다.
붙임선은 음높이가 동일한 두 개 음의 위나 아래로 그어 연결하는 호선(arc)을 의미한다. 붙임선으로 이어진 두 개의 음은 끊이지 않고 연속되는 하나의 음으로 연주된다. 타이는 같은 마디 안에서 사용되기도 하고 세로줄을 넘어 다른 마디의 음으로 이어지기도 한다.
도 7은 음향 정보가 전기 신호로 변환하기 위한 과정을 나타낸 그래프이다.
햅틱 장치(1)의 제어부(20)에서는 음향 정보를 전기 신호로 변환하고, 전기 신호를 정의하기 위한 구성 요소는 다음과 같다.
a. 전압의 크기
b. 전압의 극성 (+, -)
c. 전압 인가 시간
d. 대기시간
악보를 구성하는 음향 정보로부터 촉각 제공 장치 동작에 필요한 전기 신호로의 전환 방법은 다음과 같다.
전압 인가 시간 동안은, 전기 신호는 일정한 크기의 정압(Va, Vb)을 나타내고, 대기 시간 동안은, 전기 신호의 전압은 0을 나타낸다.
악보에서 한 음표가 가지는 음의 길이는 전기 신호의 전압 인가 시간과 대기 시간의 합과 동일하다. 한편, 전압 인가 시간 및 대기 시간은 미리 설정된 비율에 의해 결정될 수 있다.
악보에서 한 음표가 가지는 음의 길이는 악보에 기재된 박자표, 연주 속도, 음표가 나타내는 박수를 바탕으로 계산하며, 이를 전기 신호의 전압 인가 시간 및 대기 시간의 합으로 적용할 수 있다.
악표에서 쉼표가 있는 경우, 쉼표가 나타내는 박수만큼 바로 앞 음표의 대기 시간에 추가하여, 전기 신호의 전압의 크기가 0인 상태가 지속될 수 있다.
제어부(20)에서 인가되는 전기 신호의 전압은 구동부(30)가 올바르게 구동 가능한 전압 범위 내에서, 데이터베이스부(10)에 수신된 악보에 기재된 음표의 음높이의 개수에 따라 결정할 수 있다.
예를 들어, 1V~8V 사이의 구동 전압 범위를 가지고 있는 햅틱 장치(1)를 사용하는 경우, 가장 높은 음이 2옥타브 "도" 음이고, 가장 낮은 음이 1옥타브 "도" 음이며 "도레미파솔라시도"로 구성된 악보를 촉각 패턴으로 전환하고자 하는 경우, 1V~8V를 각 음높이 별로 8등분 하여 배분할 수 있다. 예를 들어, 제어부(20)는, 가장 낮은 음표인 2옥타브 "도"에 해당하는 전기 신호의 전압을 1V로 결정하고, 차례대로 "레"에 대응하는 전압을 2V로 결정하고, 마지막으로 3옥타브 "도"의 대응하는 전압을 8V로 결정할 수 있다. 이러한 음표가 나타내는 음의 높이 대비 대응하는 전기 신호의 전압의 크기는, 예시적으로 도 8에 기재된 표를 참고할 수 있다.
한편, 구동부(30)가 구동 가능한 전압의 경우의 수가, 악보에 포함된 음표들의 최저음부터 최고음까지의 음의 수보다 작을 경우, 제어부(20)는, 최저음부터 최고음까지의 전체 음의 수를 상기 구동 가능한 전압의 경우의 수로 나누어 영역을 설정하고, 영역별로 서로 다른 전압으로 구동시킬 수 있다. 다시 말하면, 제어부(20)는, 동일한 영역에 속하는 복수 개의 음들을 동일한 전압으로 구동되게 할 수 있다.
도 6에 도시된 바와 같이, 서로 다른 음높이를 가지는 음표와 음표 사이가 이음선으로 연결된 경우, 각각의 음 높이는 구분하도록 전기 신호의 전압 크기는 달라지고, 선행하는 음표의 전압 인가 시간을 해당 음표의 전체 길이(지속 시간)와 같게 하고 대기시간을 0(s)로 설정할 수 있다.
또한, 동일한 음높이를 가지는 음표와 음표 사이가 붙임선으로 연결된 경우, 선행하는 음표의 원래의 대기 시간에 후행하는 음표의 전체 길이(지속 시간)를 가산하여 선행하는 음표의 대기 시간을 새롭게 설정하고, 후행하는 음표에 대한 정보는 무시할 수 있다. 위와 같은 방식에 의하면, 음향 정보를 보다 단순화 시킴으로써 악보에 기재된 정보량을 보다 감소시켜 햅틱 장치(1)에 최적화된 정보로 재생성할 수 있다.
제어부(20)는 악보에 기재된 마침표, 도돌이표 등의 세로선, 디 카포(Di capo), 달 세뇨(Dal Segno) 등의 줄임표들이 나타내는 의미를 해석할 수 있고, 제어부(20)는 해당 표시가 지시하는 바에 맞추어 반복적인 전기 신호의 패턴을 생성할 수 있다.
또한, 제어부(20)는 악보의 조표 및 변조는 고려하지 않을 수 있고, 제자리의 음표에 대한 음높이로 인가 전압의 크기를 결정할 수 있다.
도 8은 셈여림표의 종류에 따라 전기 신호가 달라지는 모습을 나타낸 표이다. 셈여림표의 종류는 도 4를 참고할 수 있다.
제어부(20)는 셈여림 표시의 의미를 해석할 수 있고, 제어부(20)는 표시된 셈여림표의 종류에 따라, 인가 전압의 크기를 조절하거나 또는, 전압 인가 시간을 조절할 수 있다.
예를 들어, 1V~8V 사이의 구동 전압 범위를 가지고 있는 햅틱 장치를 사용하는 경우에, 가장 높은 음이 2옥타브 "도" 음이고, 가장 낮은 음이 1옥타브 "도" 음이며 "도레미파솔라시도"로 구성된 메조피아노(messo piano) 악보의 경우, 모데라토(Moderato, 보통 연주 세기)로 구성된 악보보다 그 분위기가 여리기 때문에 더 낮은 인가 전압을 설정할 수 있다.
구체적으로, (도레)-(미파)-(솔라)-(시도)의 네 단계로 음높이-전압 관계를 설정하고, 각 단계별로 인가 전압을 1V 내지 4V로 배분하여, 전체적인 전기 신호의 인가 전압의 크기를 모데라토인 경우보다 약하게 할 수 있다.
또 다른 예로, 1V~8V 사이의 구동 전압 범위를 가지고 있는 햅틱 장치를 사용하는 경우에, 가장 높은 음이 2옥타브 "도" 음이고, 가장 낮은 음이 1옥타브 "도" 음이며 "도레미파솔라시도"로 구성된 메조포르테(messo forte) 악보의 경우, 모데라토(Moderato, 보통 연주 세기)로 구성된 악보보다 그 분위기가 세기 때문에, 전압 인가 시간을 길게 가지도록 전기 신호를 조절할 수 있다. 다시 말하면, 셈여림표가 포르테계열일 경우에는, 전압인가시간을 증가시키고, 대기시간을 감소시키는 방식으로 셈여림표에 대한 정보를 반영할 수 있다. 다시 말하면, 전체 음표에서 대기 시간 대비 전압 인가 시간을 증가 또는 감소시킴으로써, 촉각을 통하여 셈여림의 변경 여부를 감지하도록 할 수 있다.
[실시 예 1]
아래에서는, 촉각 패턴을 생성하기 위한 방법을 구체적으로 제시한다.
도 9는 연주 속도가 표시된 오선보의 예를 나타낸다.
도 9에 도시된 악보로부터 제어부(20)는 4분의 4박자로 기록된 박자표와 4분음표를 250으로 연주하는 연주속도 표기를 확인하고, 이를 통해 4분음표 한 음의 길이를 계산할 수 있으며, 해당하는 값은 250ms(즉 1/4s)에 해당한다.
이를 기준으로 악보에 사용된 8분 음표, 16분 음표 및 4분 쉼표 각각의 길이를 설정한 뒤, 미리 설정된 비율에 따라 각 음표에 대응하는 전기 신호의 전압 인가 시간 및 대기 시간을 설정할 수 있다.
또한, 전기 신호는 도돌이표를 바탕으로 위 기보된 4마디를 2번 반복하여 총 8마디 구성의 전기 신호의 패턴을 가질 수 있다.
음표간 사이에 붙임선이 존재하는 경우, 예를 들어, 8분 음표 2개를 붙임선으로 연결한 경우, 선행하는 음표의 원래의 대기 시간에 후행하는 음표의 전체 길이(지속 시간), 즉, 125ms에 해당하는 시간을 가산함으로써, 선행하는 음표의 대기 시간을 새롭게 설정하고, 후행하는 음표에 대한 정보는 무시함으로써, 전기 신호를 패턴화 할 수 있다.
악보에 쉼표가 배치되어 있는 경우, 예를 들어, 4분 음표 바로 뒤에 4분 쉼표가 등장하는 경우에는, 4분 쉼표 앞의 4분 음표의 원래의 대기 시간에, 쉼표 길이에 해당하는 250ms을 가산함으로써, 4분 음표의 대기 시간을 새롭게 설정하고, 4분 쉼표에 대한 정보는 무시함으로써, 전기 신호를 패턴화 할 수 있다.
오케스트라, 오페라 등 하나의 곡에서 여러 악기를 위한 악보들이 합주 또는 독주를 위하여 존재할 경우, 일 실시 예에 따른 햅틱 장치(1)는, 각 악보들에 기재된 선율을 마디 별로 나누어 자유롭게 조합하여, 전기 신호를 패턴화할 수 있으므로, 촉각의 패턴화가 달성될 수 있다.
도 10은 일 실시 예에 따른 음향 신호를 촉각 신호로 변환하는 방법(100)을 나타낸 순서도이다.
음향 신호를 촉각 신호로 변환하는 방법(100)은, 저장된 음향 정보 또는 외부 기기로부터 수신한 음향 정보를 입력하는 단계(110), 오선표를 기준으로 음향 정보의 세부 내용을 해석하는 단계(120), 음향 정보를 미리 정해진 패턴에 따른 전기 신호로 변환하는 단계(130), 전기 신호에 기초하여 모션 신호를 발생시키는 단계(140), 및 모션 신호에 의하여 사용자에게 패턴화된 촉각 신호를 전달하는 단계(150)를 포함할 수 있다.
상기 방법(100)은, 앞서 설명한 햅틱 장치(1)를 이용할 수 있다. 사용자가 최종적으로 받아 들이는 패턴화된 촉각 신호는, 촉각 액추에이터(200)의 구동부(30)의 움직임에 의하여 발생하는 모션 신호에 의하여 만들어지고, 모션 신호의 제어는 패턴화된 전기 신호에 의하여 이루어질 수 있다. 따라서, 상기 방법(100)은, 악보를 구성하는 음표, 쉼표, 및 각종 표시들을 해석하여 패턴화된 전기 신호를 생산하고, 이를 바탕으로 사용자가 실제로 느끼는 촉각 신호 또한 패턴화된 형태로 전달될 수 있다.
도 11은 일 실시 예에 따른 음향 신호를 촉각 신호로 변환하는 방법(100)의 해석하는 단계(120)를 구체화 한 순서도이다.
상기 해석하는 단계(120)는, 적어도 하나의 음표 또는 쉼표의 배열을 판단하는 단계(121), 음표의 지속 시간, 높낮이, 및 세기 정보를 확인하는 단계(122), 및 쉼표의 지속 시간 정보(123)를 확인하는 단계를 포함할 수 있다.
음표의 지속 시간은, 악보에 기재된 박자표 및 음표의 길이를 기준으로 해석할 수 있다. 음표의 지속 시간은, 전압 인가 시간 및 대기 시간의 합과 일치하며, 전기 신호는, 전압 인가 시간에만 0V가 아닌 일정한 크기의 전압이 설정되고, 대기 시간에는 전압의 크기가 0V로 설정된다.
쉼표의 지속 시간은, 음표와 마찬가지로, 악보에 기재된 박자표 및 음표의 길이를 기준으로 해석할 수 있다. 쉼표의 지속 시간 동안에는, 전압의 크기가 음표의 대기 시간과 마찬가지로 0V로 설정된다.
도 12는 일 실시 예에 따른 음향 신호를 촉각 신호로 변환하는 방법(100)의 변환하는 단계(130)를 구체화 한 순서도이다.
상기 변환하는 단계(130)는, 각 음표에 대응하는 미리 정해진 전압의 크기를 매칭시키는 단계(131), 및 매칭된 전압의 크기에 따라 전기 신호의 전압의 크기를 조절하는 단계(132)를 포함할 수 있다.
악보에 배치된 음표의 전체 음의 범위를 먼저 확인한 후, 각 음이 재생되기 위한 전압의 크기를 매칭할 수 있다. 모든 음에 대하여 전압의 크기를 다르게 매칭할 수도 있고, 일부 인접한 음을 묶어서 동일한 전압을 매칭시킬 수도 있다. 이러한 음을 묶어서 매칭시키는 방식은, 악보에 표시된 셈여림표에 따라 달라질 수 있다.
악보에 기재된 음표의 음의 높이에 따라, 전압의 크기를 조절할 수 있고, 전압 값은 플러스 또는 마이너스 둘 다 가능하다. 예를 들어, 특정 옥타브를 기준으로 낮은 옥타브의 음표에 대해서는 마이너스 전압의 크기로 조절할 수 있고, 높은 옥타브의 음표에 대해서는 플러스 전압의 크기로 조절할 수 있다.
도 13은 일 실시 예에 따른 음향 신호를 촉각 신호로 변환하는 방법(100)의 발생시키는 단계(140) 및 전달하는 단계(150)를 구체화한 순서도이다.
사용자가 느낄 수 있는 촉각 신호를 발생시키기 위한 모션 신호는, 예를 들어, 병진 운동, 진동 운동, 회전 운동 등이 있으며, 아래에서는, 모션 신호가 진동 신호인 경우를 구체화한다.
상기 발생시키는 단계(140)는, 전기 신호의 패턴에 대응하는 주파수 및 진폭의 크기를 가지는 모션 신호를 발생시키는 단계(141)를 포함할 수 있다. 진동 신호는 전기 신호의 특성에 따라 제어될 수 있다.
예를 들어, 음표의 음이 높아서 전기 신호의 전압이 큰 경우, 진동 신호의 진폭이 커지게 할 수 있고, 음의 길이가 긴 경우에는 진동의 주파수를 증가시킬 수 있다. 음표의 대기 시간 또는 쉼표의 지속 시간 동안에는 진동 신호를 멈출 수 있다.
상기 전달하는 단계(150)는, 사용자의 손 끝에 상기 진동 신호를 전달하는 단계(151)를 포함할 수 있다. 진동 신호는, 사용자가 손에 착용 가능한 웨어러블(wearable) 디바이스 또는 디스플레이 장치를 통해 전달 될 수 있다.
이와 같이, 진동 신호의 특성이 달라짐에 따라 사용자는 손끝으로 서로 다른 음이 전달됨을 느낄 수 있다.
도 14 내지 43에서는, 촉각 액추에이터(200)의 다양한 촉각의 패턴(일반 진동 모드, 두드림 모드, 출렁거림 모드)을 만들어 낼 수 있는 구성과 실험 데이터 및 이를 활용하여 음악 신호를 다양한 촉각 신호로 변환하는 방법 및 활용에 대하여 설명한다.
도 14는 일 실시 예에 따른 촉각 액추에이터(200)의 내부를 나타내는 도면이고, 도 15는 일 실시 예에 따른 탄성 부재(204)를 나타내는 도면이고, 도 16은 다른 실시 예에 따른 탄성 부재(214)를 나타내는 도면이고, 도 17은 일 실시 예에 따른 촉각 액추에이터(200)의 블록도이다.
도 14 내지 도 17을 참조하면, 일 실시 예에 따른 촉각 액추에이터(200)는 구동부(30) 및 전달부(40)를 포함하고, 구동부(30)는 하우징(201), 진동부(203), 탄성 부재(204) 및 코일(205)을 포함할 수 있다.
하우징(201)은, 예를 들어, 상면이 개방된 수용 공간을 포함할 수 있다. 하우징(201)은, 박스 형상으로 도시하였으나, 이와 달리 하우징(201)의 형상은 제한되지 않음을 밝혀둔다.
전달부(40)는, 상기 수용 공간의 적어도 일부를 커버할 수 있다. 전달부(40)의 테두리부는 하우징(201)의 측벽부에 고정될 수 있다. 전달부(40)에 직접 또는 간접적으로 접촉된 사용자의 신체를 통하여, 진동부(203)에 의해 발생되는 진동이 전달될 수 있다. 예를 들어, 전달부(40)는, 진동부(203)의 진동, 두드림 또는 출렁임 등의 촉감이 사용자에게 잘 전달될 수 있도록, 하우징(201) 보다 유연한 소재로 형성될 수 있다.
진동부(203)는, 하우징(201)의 수용 공간 내에 배치되고, 코일(205)에 인가되는 전기 신호에 의하여 발생되는 자기장에 의해 구동될 수 있다. 진동부(203)는, 상기 자기장에 의해 구동될 수 있는 물질을 포함할 수 있다. 진동부(203)는, "자기 회로부 겸 질량체"인 것으로 이해될 수도 있다.
예를 들어, 진동부(203)는, 강자성체(Ferromagnetic materials)들 중, 고유 보자력(Intrinsic Coercivity)이 적어도 1000A/m 이하인 연자성체(Soft magnetic materials)로 이루어지며 Fe, Ni, Si, Mn, Zn 등의 원소들 중 적어도 하나 이상이 포함된 스틸(Steel), 가루(Powder), 합금(Alloy), 합금 가루(Alloy powder), 합성체(Composites), 나노구조(Nanostructure) 등의 구조를 갖는 물질이 사용될 수 있으며, 전체 구성이 단일 물질일 필요는 없다.
다른 예로, 진동부(203)는, 상자성체(Paramagnetic materials)들 중, 그 비중이 적어도 8 이상인 Cu, W등이 순수하게 사용되거나 또는 상기한 연자성체인 Fe, Ni, Si, Mn, Zn 등의 원소들 중 적어도 하나 이상과 합금(Alloy), 합금 가루(Alloy powder), 합성체(Composites), 나노구조(Nanostructure) 등의 구조를 이루는 물질이 사용될 수 있으며, 마찬가지로 자기 회로부 겸 질량체를 구성하는 물질 및 구조는 균일할 필요는 없다.
진동부(203)의 일부는 강자성체(Ferromagnetic materials)로서 Fe, Co, Ni, Nd, Ni, B, Zn 등의 원소들 중 적어도 하나 이상이 포함된 스틸(Steel), 가루(Powder), 합금(Alloy), 합금 가루(Alloy powder), 합성체(Composites), 나노구조(Nanostructure) 등의 구조를 갖는 물질이 사용될 수 있으며 도 1을 기준으로 상하 방향으로 N극과 S극이 구분 가능하도록 착자된 물질을 사용할 수 있다.
탄성 부재(204)는, 진동부(203)가 하우징(201)에 대하여 진동 가능하도록 하우징(201) 및 진동부(203)를 연결할 수 있다. 예를 들어, 탄성 부재(204)는, 낮은 상자성(Paramagnetic) 또는 반자성(Diamagnetic)을 갖는 물질을 사용할 수 있으며 그 예로 스테인레스 스틸(Stainless steel), 플라스틱(Plastic) 또는 고무(Rubber)등 외력에 의해 물질의 외관이 변형되어도 외력이 사라짐과 동시에 원래 형상으로 복원할 수 있는 탄성을 갖는 물질이 사용 될 수 있다.
탄성 부재(204)는, 하우징(201)에 고정되는 고정부(204a)와, 진동부(203)를 지지하는 지지부(204b)와, 고정부(204a) 및 지지부(204b)를 연결하는 연결부(204c)를 포함할 수 있다. 예를 들어, 고정부(204a)의 직경은, 지지부(204b)의 직경보다 클 수 있다.
한편, 도 14 및 도 15에는 고정부(204a) 및 지지부(204b)가 환형인 경우를 예시적으로 도시하였으나, 도 16과 같이 탄성 부재(214)의 지지부(214b)는, 복수 개의 세그먼트(segment)로 이루어질 수도 있으며, 이는 고정부(214a) 역시 마찬가지이다.
코일(205)은, 인가받은 전기 신호를 이용하여 진동부(203)를 구동하기 위한 자기장을 형성할 수 있다. 예를 들어, 코일(205)로는, 평면 코일, 솔레노이드 코일 또는 연자성체(soft magnetic materials)를 포함한 코어(core)부를 갖는 전자석 코일 등이 사용될 수 있다.
도 17은, 일 실시 예에 따른 햅틱 장치의 블록도이다.
도 17을 참조하면, 일 실시 예에 따르면 햅틱 장치(1)는, 촉각 액추에이터(200), 데이터베이스부(10), 제어부(20), 통신부(50), 사용자 인터페이스(60) 및 센서(70)를 포함할 수 있다.
사용자 인터페이스(60)는, 사용자로부터 직접적으로 명령을 입력 받을 수 있다. 예를 들어, 사용자 인터페이스(60)는, 키보드, 마우스 또는 터치 패널 등일 수 있으며, 사용자 인터페이스(60)의 종류를 제한하는 것은 아님을 밝혀둔다.
센서(70)는, 촉각 액추에이터(200)의 외부 환경을 감지할 수 있다. 예를 들어, 센서(70)는, 온도, 습도, 압력 또는 빛의 광량 등을 감지하여, 이를 전기적인 신호로 바꾸어 제어부(20)로 전달할 수 있으며, 센서(70)의 종류를 제한하는 것은 아님을 밝혀둔다.
데이터베이스부(10)는, 음향 정보를 저장할 수 있다. 예를 들어, 데이터베이스부(10)에는 일반적으로 사용되는 mp3 등의 음원 파일 형태의 소스 뿐만 아니라, 오선보 등의 악보에 기재할 수 있는 음표, 쉼표, 그리고 이들을 수식하는 각종 기호들에 대한 정보를 포함하는 텍스트 또는 이미지가 저장될 수 있다. 데이터베이스부(10)에는, 사용자 인터페이스(60), 센서(70) 및/또는 통신부(50)로부터 전달받은 데이터가 저장될 수도 있다. 데이터베이스부(10)에는 미리 설정된 복수 개의 구동 모드가 저장될 수도 있다.
통신부(50)는, 다른 통신 기기와의 유무선 통신을 통하여 음향 정보를 입력 받을 수 있다. 예를 들면, 인터넷을 통하여 외부의 음원, 악보, 이미지 및 텍스트 등의 데이터를 수신받아 제어부(20) 및/또는 데이터베이스부(10)로 전달할 수 있다.
사용자 인터페이스(60), 센서(70), 데이터베이스부(10) 및 통신부(50)를 통칭하여, "정보 제공 수단"이라고 할 수 있다. 정보 제공 수단은, 제어부(20)에서 수집되는 구동 정보를 제공할 수 있다. 실시 예는, 정보 제공 수단으로부터 제어부(20)로 제공된 정보에 기초하여, 복수 개의 구동 모드로 구동될 수 있는 촉각 액추에이터(200)에 관한 것이며, 수집되는 정보의 종류나, 해당 정보를 제공하는 수단의 종류가 제한되는 것은 아니다. 예를 들어, 구동 정보는, 앞서 설명한 음향 정보를 포함할 수 있다. 다시 말하면, 구동 정보는, 오선보 등의 악보에 기재할 수 있는 음표, 쉼표, 박자표, 연주속도, 표현, 셈여림표, 그리고 이들을 수식하는 각종 기호 등에 대한 정보를 포함하는 텍스트 또는 이미지로 구성될 수 있다.
제어부(20)는, 미리 설정된 복수 개의 구동 모드 중 수집된 구동 정보에 기초하여 어느 하나의 구동 모드를 결정할 수 있다. 여기서, 제어부(20)에서 수집되는 구동 정보는, 정보 제공 수단으로부터 전달받은 정보일 수 있다. 제어부(20)는, 결정된 구동 모드에 따라서 코일(205)로 인가될 전기 신호의 특성을 결정할 수 있다. 여기서, 전기 신호의 특성이란, 크기, 인가 시간, 주파수 및 파형 등일 수 있다.
실시 예는, 탄성 부재(204)의 물성을 변화시켜 낮은 주파수 영역에서 진동이 가능하도록 한 것이다. 아래의 [수학식 1]을 바탕으로 종래 촉각 액추에이터의 공진 주파수와 진동부의 질량으로부터 유도된 탄성 부재의 탄성 계수에 대하여 나타낸 [표 1]과, 실시 예에 따른 촉각 액추에이터(200)의 탄성 부재(204)의 탄성 계수를 나타낸 [표 2]를 아래와 같이 제시한다.
[수학식 1]
Figure 112022095795126-pat00001
Spring No. 측정주파수(Hz) 질량(g) 해석스프링상수(N/mm)
1 154.7 1.578 1.491
2 154.1 1.578 1.479
3 152.7 1.578 1.453
4 149.8 1.578 1.398
5 153.0 2.23 2.061
6 160.0 2.23 2.254
[종래 촉각 액추에이터에 사용된 탄성 부재의 탄성계수표]
Spring No. 측정주파수(Hz) 질량(g) 해석스프링상수(N/mm)
7 98.7 0.65 0.250
8 81.4 0.79 0.207
9 75.7 0.93 0.210
10 85.3 1.09 0.313
11 78.2 1.04 0.251
[실시 예에 따른 촉각 액추에이터에 사용된 탄성 부재의 탄성계수표]
[표 1] 및 [표 2]를 참조하면, 예를 들어, 진동부(203)의 질량이 0.6 이상 1.1g인 촉각 액추에이터(200)에 있어서, 100 Hz 이하의 낮은 공진 주파수를 갖도록 하기 위하여, 탄성 부재(204)의 탄성 계수는 0.2 N/mm 이상 0.35 N/mm 이하로 설정될 수 있다.
도 18은 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 주파수에 따른 구동 영역을 개념적으로 나타내는 그래프이고. 도 19는 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 실제로 측정된 주파수 및 가속도 관계를 나타내는 그래프이다.
실선은 실시 예에 따른 촉각 액추에이터(200)의 구동을 나타내는 그래프이고, 1점 쇄선은 종래의 일반적인 선형 공진형 액추에이터의 구동을 나타내는 그래프이고, 점선은 종래의 일반적인 선형 공진형 액추에이터에서 구동 주파수 대역을 향상시킨 다기능 진동 액추에이터의 구동을 나타내는 그래프이다.
도 18 및 도 19를 참조하면, 실시 예에 따른 촉각 액추에이터(200)는 코일(205)에 인가하는 전기 신호에 따라서, 적어도 둘 이상의 구동 모드를 가진다.
종래의 일반적인 선형 공진형 액추에이터의 그래프(1점 쇄선)를 참조하면, 170Hz 이상에 위치한 하나의 공진 주파수(f_c)에서 최대 진동력을 가지며, 상대적으로 좁은 주파수 대역(A3)에서 구동 가능한 주파수 대역을 가짐을 알 수 있다.
기존의 경우 촉각 제공 방법이 진동에 국한된 점 때문에, 주기적인 진동을 형성하지 못하는 주파수 대역에서의 출력을 노이즈로 정의하여 무시하였기 때문에 다양한 촉각을 제시할 수 없었다.
반면, 실시 예에 따른 촉각 액추에이터의 그래프(실선)를 참조하면, 적어도 160Hz 이하에서 하나 이상의 공진 주파수(f_a1)를 가지며, 해당 공진 주파수(f_a1)를 포함하는 주파수 대역(A11)에서 종래의 햅틱 제공 장치가 출력하는 진동과 같은 형태의 촉각을 제시할 수 있다.
또한, 해당 공진 주파수(f_a1)의 대략 1/3이 되는 임계 주파수(f_a2) 이하의 영역에서, 진동이 아닌 힘을 제공할 수 있는 적어도 하나 이상의 서로 다른 주파수 대역(A12)을 포함하며, 여기에 해당되는 힘은 촉각으로서 두드림 및 출렁거림 등이 해당 될 수 있다. 여기서, 상기 임계 주파수란, 입력된 전기 신호에 따라 발생되는 파형이 무너지는 모습을 나타내지 않고 주기적인 형상의 진동을 형성하는 최소 주파수라고 할 수 있다.
도 20은 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 저주파수를 갖는 방형파 전기 신호를 인가할 때 측정된 주파수 및 가속도 관계를 나타내는 그래프이고, 도 21은 일 실시 예에 따른 촉각 액추에이터 등에 있어서, 저주파수를 갖는 정현파 전기 신호를 인가할 때 측정된 주파수 및 가속도 관계를 나타내는 그래프이다.
실선은 실시 예에 따른 촉각 액추에이터(200)의 구동을 나타내는 그래프이고, 1점 쇄선은 종래의 일반적인 선형 공진형 액추에이터의 구동을 나타내는 그래프이다.
도 20 및 도 21을 참조하면, 저주파수의 전기 신호를 흘러 주었을 때, 종래의 일반적인 선형 공진형 액추에이터는 실제 사용에 걸맞지 않는 노이즈를 보여주었으나, 실시 예에 따른 촉각 액추에이터(200)는 주어진 외부 전기 신호의 파형에 걸맞는 진동 패턴을 보여주었음을 확인 할 수 있다.
도 22는 일 실시 예에 따른 촉각 액추에이터의 제어 방법을 나타내는 도면이고, 도 23은 일 실시 예에 따른 촉각 액추에이터가 동작하는 일 형태를 나타내는 도면이고, 도 24는 일 실시 예에 따른 촉각 액추에이터가 동작하는 다른 형태를 나타내는 도면이다.
도 22 내지 도 24를 참조하면, 정보 제공 수단(10, 50, 60, 70, 도 17 참조)을 통하여 입력된 구동 정보는, 제어부(20)에서 수집될 수 있다(300). 단계 300에서 수집된 구동 정보에 기초하여, 제어부(20)는, 구동 코일(205)에 인가할 전기 신호를 결정할 수 있다. 제어부(20)는, 전기 신호의 인가 시간, 크기 및/또는 주파수 등을 결정할 수 있다. 제어부(20)는, 미리 설정된 복수 개의 구동 모드 중 어느 하나의 구동 모드를 결정하고, 결정된 구동 모드에 기초하여 전기 신호의 주파수를 결정할 수 있다(310). 여기서, 미리 설정된 복수 개의 구동 모드는, 예를 들어, 일반 진동 모드, 두드림 모드 및/또는 출렁거림 모드 등을 포함할 수 있다. 이하 제 1 설정 모드는 일반 진동 모드이고, 제 2 설정 모드는 두드림 모드이고, 제 3 설정 모드는 출렁거림 모드인 경우를 예시적으로 설명하기로 한다.
예를 들면, 단계 300에서 수집하는 구동 정보는, 음의 지속 시간 정보, 음의 높낮이 정보, 셈여림표의 유무 및 종류 등에 관한 음향 정보를 포함할 수 있다. 단계 310에서 제어부(20)는, 음 지속 시간 정보에 따라서 전기 신호의 인가 시간을 결정하고, 음의 높낮이 정보에 따라서 전기 신호의 크기를 결정하고, 셈여림표가 없는지, 포르테 계열인지, 또는 피아노 계열인지 여부에 따라 구동 모드를 각각 일반 진동 모드, 두드림 모드 또는 출렁거림 모드로 결정하고 그에 대응하도록 전기 신호의 주파수를 결정할 수 있다.
단계 310 에서 결정된 구동 단계가 일반 진동 모드인지 여부를 결정하고(320), 제 1 설정 모드(일반 진동 모드)인 경우, 제어부(20)는 전기 신호의 주파수를 주기적인 사인파 형상의 진동력을 형성하는 최소 주파수인 임계 주파수보다 높은 제 1 설정 주파수(f_H)로 결정하고(330), 제어부(20)는, 결정된 인가 시간, 크기 및 주파수에 해당하는 전기 신호를 코일(205)로 인가할 수 있다(380). 제 1 설정 주파수(f_H)는, 촉각 액추에이터(200)의 공진 주파수 주변의 주파수 대역(A11, 도 5 참조)에 속하는 값으로 설정될 수 있다. 예를 들어, 제 1 설정 주파수(f_H)는, 160Hz 이하의 값일 수 있다.
단계 380에서 제 1 설정 주파수(f_H)를 갖는 전기 신호가 인가되면, 도 23과 같이, 진동부(203)는, 하우징(201)의 수용 공간 내에서 상하로 진동하고, 예를 들어, 상기 진동은 탄성 부재(204), 하우징(201) 및 전달부(40)을 순차적으로 거쳐 사용자에게 전달될 수 있다. 제 1 설정 모드에서는, 주기적인 형상의 진동력을 형성할 수 있도록 충분히 높은 주파수가 입력되므로, 입력 파형의 종류에 큰 영향을 받지 않고, 유사한 진동을 발생시킬 수 있다. 다시 말하면, 제 1 설정 모드에서 입력 파형의 종류는 제한되지 않는다.
한편, 단계 310에서 결정된 구동 모드가 제 1 설정 모드 이외의 설정 모드이면, 제어부(20)는 전기 신호의 주파수를 제 1 설정 주파수(f_H)보다 낮은 제 2 설정 주파수(f_L)로 결정할 수 있다(340). 제 2 설정 주파수(f_L)는, 상기 임계 주파수보다 낮은 값으로 결정된다. 예를 들어, 제 2 설정 주파수(f_L)는, 촉각 액추에이터(200)의 공진 주파수의 1/3 이하의 값일 수 있다.
단계 340 수행 이후, 제어부(20)는, 구동 모드가 제 2 설정 모드(두드림 모드)인지 여부를 결정할 수 있다(350). 단계 350에서, 구동 모드가 제 2 설정 모드(두드림 모드)로 결정되면, 제어부(20)는, 전기 신호의 파형을 방형파(square wave) 또는 펄스파(pulse wave)로 결정할 수 있다. 반대로 단계 350에서, 구동 모드가 제 3 설정 모드(출렁거림 모드)로 결정되면, 제어부(20)는, 전기 신호의 파형을 정현파(sine wave)로 결정할 수 있다. 그리고 제어부(20)는, 설정된 주파수 및 파형으로 코일(205)에 전기 신호를 인가할 수 있다(380).
단계 380에서 제 2 설정 주파수(f_L)를 갖는 전기 신호가 인가되면, 진동부(203)는, 주기적인 진동력을 형성하지 못하므로, 아래와 같이 입력 파형에 따라서 상이한 촉감을 사용자에게 전달할 수 있다.
먼저, 입력되는 전기 신호의 파형이 정현파인 경우, 주기적인 진동력을 형성하지 못하는 진동부(203)는 비주기적으로 상하 운동을 하게 된다. 또한, 정현파의 특성상 코일(205)에 입력되는 전기 신호의 크기는 부드럽게 변화되므로 위와 같은 운동에 의하여, 사용자는 출렁거림의 촉감을 느낄 수 있다. 본 발명에서, "출렁거림"이란 주기성을 느낄 수 없는 일련의 촉감을 통칭하는 것으로 이해될 수 있다. 실제로 실시 예에 따라 제작된 시제품에 위와 같은 조건을 적용할 때, 사용자는 출렁거림의 촉감을 느낄 수 있었다.
다음으로, 입력되는 전기 신호의 파형이 방형파 또는 펄스파인 경우, 주기적인 진동력을 형성하지 못하는 진동부(203)가 비주기적으로 상하 운동을 하는 것은 마찬가지이다. 다만, 방형파 또는 펄스파의 특성상 코일(205)에 입력되는 전기 신호의 크기가 급격하게 변화하므로, 전기 신호의 크기가 변화하는 주기적인 순간마다 진동부(203)의 상하 운동 방향으로의 가속도가 다른 구간에 비하여 훨씬 크게 변화될 수 있다. 그리고 전기 신호의 크기가 변화하는 순간에 느껴지는 촉감은, 사용자의 촉감의 역치(threshold value)를 높이게 되어, 결과적으로 나머지 구간에서 느껴지는 촉감을 느끼지 못할 정도로 감각 적응(sensory adaptation)을 일으키므로, 사용자는 "두드림"의 촉감을 느낄 수 있다. 본 발명에서, "두드림"이란 나머지 구간보다 구별될 수 있을 정도로 높은 임펄스(impulse)가 주기적으로 반복되는 촉감을 통칭하는 것으로 이해될 수 있다. 실제로 실시 예에 따라 제작된 시제품에 위와 같은 조건을 적용할 때, 사용자는 두드림의 촉감을 느낄 수 있었다.
다시 말하면, 촉각 액추에이터(200)의 공진 주파수의 1/3 이하의 주파수를 갖는 전기 신호를 입력할 경우, 전기 신호의 파형에 따라서, 사용자는 적어도 2 이상의 서로 다른 촉각을 느낄 수 있다.
한편, 예를 들어, 진동부(203) 및 전달부(40) 사이의 거리가 충분히 가깝거나, 충분한 전압이 입력되는 경우, 진동부(203)는, 도 24와 같이, 전달부(40)에 직접적으로 접촉함으로써, 전달부(40)을 통하여 사용자에게 직접적인 힘을 전달할 수도 있을 것이다.
이하 실시 예에 따른 촉각 액추에이터(200)를 이용하여 실험한 결과 그래프를 통하여 보다 구체적으로 설명하기로 한다.
도 25는 서로 다른 공진 주파수를 갖는 촉각 액추에이터들에 있어서, 5Hz의 방형파인 입력 전기 신호의 크기 변화에 따른 가속도의 변화를 나타내는 그래프이고, 도 26은 서로 다른 공진 주파수를 갖는 촉각 액추에이터들에 있어서, 90mA의 방형파인 입력 전기 신호의 주파수 변화에 따른 가속도의 변화를 나타내는 그래프이다.
실험을 통하여 사용자는, 진동부(203)가 0.2G 이상의 가속도로 구동할 때 두드림의 촉감을 느낄 수 있음을 확인하였다. 도 25 및 도 26을 참조하면, 촉각 액추에이터(200)의 공진 주파수가 160Hz 이하인 경우, 크기가 90mA 이고, 주파수가 5Hz인 작은 전기 신호가 인가되더라도 진동부(203)가 0.2G 이상의 가속도로 구동될 수 있음을 확인할 수 있었다. 이에 반하여, 촉각 액추에이터의 공진 주파수가 160Hz 보다 약간 큰 180Hz인 경우, 0.2G 이상의 가속도로 구동되기 위하여는, 90mA의 약 1.5배인 130mA 이상의 전기 신호를 인가하여야 함을 알 수 있다.
실시 예에 따른 촉각 액추에이터(200)는, 진동부(203)의 질량이 2g 이하인 경우, 탄성 부재(204)의 탄성 계수는 2.021 N/mm 이하가 되게 함으로써, 공진 주파수가 160Hz 이하가 되게 할 수 있다. 한편, 진동부(203)의 질량이 2g 이상인 경우, 탄성 부재(204)의 탄성 계수는 2.021 N/mm 이상이 되게 함으로써, 공진 주파수가 160Hz 이하가 되게 할 수 있다.
도 27 내지 도 30은 각각 80Hz, 120Hz, 160Hz 및 180Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 방형파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이고, 도 31은 서로 다른 공진 주파수 특성을 갖는 촉각 액추에이터들에 있어서, 방형파인 전기 신호가 인가될 때 두드림 및 진동의 임계 주파수를 나타내는 그래프이다.
도 27 내지 도 30을 참조하면, 각 도면의 오른쪽 열에 나타난 그래프와 같이 특정한 주파수 이상의 방형파인 전기 신호가 인가되면 진동부(203)의 파형이 주기적인 사인파 형상의 진동력을 형성하는 것을 알 수 있다. 따라서, 상기한 조건에서 촉각 액추에이터는 사용자에게 "진동"의 촉감을 제공할 수 있다.
반면 각 도면의 왼쪽 열에 나타난 그래프와 같이 특정한 주파수 이하의 영역에서는 진동부(203)가 주기적인 진동력을 형성하지 못하고, 그래프가 부분적으로 무너져 있음을 알 수 있다. 다만, 방형파의 특성상 전기 신호의 크기가 변화하는 주기적인 순간마다 진동부의 가속도가 다른 구간에 비하여 훨씬 크게 변화된다. 따라서, 상기한 조건에서 촉각 액추에이터(200)는 사용자에게 "두드림"의 촉감을 제공할 수 있다.
이상과 같이 상기 특정한 주파수를 기준으로 촉각 액추에이터(200)가 사용자에게 제공하는 촉감은 진동 또는 두드림으로 구분될 수 있다. 상기 특정한 주파수는, 임계 주파수 또는 구분 주파수라고 할 수도 있다.
도 27 내지 도 30을 참조하면, 촉각 액추에이터(200)의 공진 주파수가 커질수록 상기 임계 주파수가 커지는 경향을 확인할 수 있으며, 상기 경향을 도 31에 나타내었다. 실시 예에 따른 촉각 액추에이터(200)의 제어 방법에 있어서 제 1 설정 주파수(f_H) 및 제 2 설정 주파수(f_L)는, 도 31에서 나타난 임계 주파수를 고려하여 설정될 수 있다.
도 32 내지 도 35는 각각 80Hz, 120Hz, 160Hz 및 180Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 펄스파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이고, 도 36은 서로 다른 공진 주파수 특성을 갖는 촉각 액추에이터들에 있어서, 펄스파인 전기 신호가 인가될 때 두드림 및 진동의 임계 주파수를 나타내는 그래프이다.
도 32 내지 도 35를 참조하면, 펄스파인 전기 신호를 입력할 때의 진동부의 파형은 사각파인 전기 신호를 입력할 때와 유사한 형태를 가짐을 알 수 있다. 따라서, 촉각 액추에이터에 임계 주파수 이하의 펄스파인 전기 신호가 인가되면, 촉각 액추에이터는 사용자에게 "두드림"의 촉감을 제공하고, 임계 주파수 이상의 펄스파인 전기 신호가 인가되면, 촉각 액추에이터는 사용자에게 "진동"의 촉감을 제공할 수 있다.
도 32 내지 도 35를 참조하면, 촉각 액추에이터의 공진 주파수가 커질수록 상기 임계 주파수가 커지는 경향을 확인할 수 있으며, 상기 경향을 도 36에 나타내었다.
한편, 동일한 공진 주파수를 갖는 촉각 액추에이터에 대하여, 펄스파인 전기 신호를 입력할 때의 임계 주파수는, 사각파인 전기 신호를 입력할 때의 임계 주파수보다 약 2배가 됨을 확인할 수 있다.
실시 예에 따른 촉각 액추에이터의 제어 방법에 있어서 제 1 설정 주파수(f_H) 및 제 2 설정 주파수(f_L)는, 도 36에서 나타난 임계 주파수를 고려하여 설정될 수 있다.
도 37 내지 도 40은 각각 80Hz, 120Hz, 160Hz 및 180Hz의 공진 주파수 특성을 갖는 촉각 액추에이터에 입력되는 정현파인 전기 신호의 변화에 따라 나타나는 진동부의 파형을 나타내는 도면이고, 도 41은 서로 다른 공진 주파수 특성을 갖는 촉각 액추에이터들에 있어서, 정현파인 전기 신호가 인가될 때 출렁거림 및 진동의 임계 주파수를 나타내는 그래프이다.
도 37 내지 도 40을 참조하면, 각 도면의 오른쪽 열에 나타난 그래프와 같이 특정한 주파수 이상의 정형파인 전기 신호가 인가되면 진동부의 파형이 주기적인 사인파 형상의 진동력을 형성하는 것을 알 수 있다. 따라서, 상기한 조건에서 촉각 액추에이터는 사용자에게 "진동"의 촉감을 제공할 수 있다.
반면 각 도면의 왼쪽 열에 나타난 그래프와 같이 특정한 주파수 이하의 영역에서는 진동부가 주기적인 진동력을 형성하지 못하고, 그래프가 부분적으로 무너져 있음을 알 수 있다. 주기적인 진동력을 형성하지 못하는 진동부는, 비주기적으로 상하 운동의 가속도를 갖게 된다. 한편, 정현파의 특성상 전기 신호의 크기는 부드럽게 변화되므로 위와 같은 운동에 의하여 사용자는 "출렁거림"의 촉감을 느낄 수 있다.
이상과 같이 상기 특정한 주파수를 기준으로 촉각 액추에이터가 사용자에게 제공하는 촉감은 진동 또는 출렁거림으로 구분될 수 있다.
도 37내지 도 40을 참조하면, 촉각 액추에이터의 공진 주파수가 커질수록 상기 임계 주파수가 커지는 경향을 확인할 수 있으며, 상기 경향을 도 41에 나타내었다. 실시 예에 따른 촉각 액추에이터의 제어 방법에 있어서 제 1 설정 주파수(f_H) 및 제 2 설정 주파수(f_L)는, 도 41에서 나타난 임계 주파수를 고려하여 설정될 수 있다.
도 42는 다른 실시 예에 따른 촉각 액추에이터의 제어 방법을 나타내는 도면이다. 반대되는 기재가 없는 이상 도 22에서 설명한 일 실시 예에 따른 촉각 액추에이터의 제어 방법에 대한 내용은 다른 실시 예에도 적용될 수 있다.
도 42를 참조하면, 다른 실시 예에 따른 촉각 액추에이터(200)의 제어 방법에 있어서, 단계 320에서 구동 모드가 일반 진동 모드이면, 제어부(20)는 인가되는 전기 신호의 주파수를 제 1 설정 주파수(f_H)로 결정할 수 있다. 상기 제 1 설정 주파수(f_H)는, 도 31, 도 36 또는 도 41을 참조하여, 주어진 조건하에서 "진동"의 촉감을 제공하는 최소 주파수인 제 1 임계 주파수보다 큰 값으로 설정될 수 있다.
단계 320에서 구동 모드가 일반 진동 모드가 아니면, 제어부(20)는 구동 모드가 두드림 모드인지 여부를 결정할 수 있다(350).
단계 150에서 구동 모드가 두드림 모드인 경우, 제어부는 인가되는 전기 신호의 주파수를 제 2 설정 주파수(f_L1)로 결정할 수 있다(151). 상기 제 2 설정 주파수(f_L1)는, 도 31 또는 도 36을 참조하여, 주어진 조건하에서 "두드림"의 촉감을 제공하는 최대 주파수인 제 2 임계 주파수보다 작은 값으로 설정될 수 있다.
단계 350에서 구동 모드가 두드림 모드가 아닌 경우, 제어부(20)는 인가되는 전기 신호의 주파수를 제 3 설정 주파수(f_L2)로 결정할 수 있다(352). 상기 제 3 설정 주파수(f_L2)는, 도 41을 참조하여, 주어진 조건하에서 "출렁거림"의 촉감을 제공하는 최대 주파수인 제 3 임계 주파수보다 작은 값으로 설정될 수 있다.
한편, 도 31, 도 36 및 도 41을 참조하면 알 수 있듯이, 동일한 조건 하에서 "출렁거림"의 촉감을 제공하는 최대 주파수인 제 3 임계 주파수는, "두드림"의 촉감을 제공하는 최대 주파수인 제 2 임계 주파수보다 크므로, 제 3 설정 주파수(f_L2)는 제 2 설정 주파수(f_L1) 보다 높게 설정될 수 있다. 한편, 제 1 설정 주파수(f_H)의 경우, 제 2 설정 주파수(f_L1) 및 제 3 설정 주파수(f_L2) 보다 큰 값으로 설정될 수 있다. 다시 말하면, 제 2 설정 주파수(f_L1)보다 제 3 설정 주파수(f_L2)가 크고, 제 3 설정 주파수(f_L2)보다 제 1 설정 주파수(f_H)가 클 수 있다.
도 43은 셈여림표의 종류에 따라 일 실시 예에 따른 촉각 액추에이터(200)가 작동되는 동작 모드를 나타낸 표이다.
도 43을 참조하면, 일 실시 예에 따른 햅틱 장치(1)의 제어부(20)는 음향 정보의 셈여림 표시의 의미를 해석할 수 있고, 제어부(20)는 표시된 셈여림표의 종류에 따라, 구동부(30)의 구동 모드를 조정할 수 있다.
예를 들어, 셈여림표가 포르테 계열인 경우, 제어부(20)는 촉각 액추에이터(200)를 일반 진동 모드로 동작시킬 수 있고, 한편, 셈여림표가 피아노 계열인 경우, 제어부(20)는 촉각 액추에이터(200)를 두드림 모드 또는 출렁거림 모드로 동작시킬 수 있다. 다만, 이는 하나의 예시에 불과하며, 셈여림표에서 구동 모드가 전환되는 지점은 사용자가 임의로 설정할 수도 있으며, 셈여림표의 종류 및 유무에 따라 서로 다른 구동 모드를 제공할 수 있는 것이라면, 어느 것이라도 본 발명의 사상에 포함되는 것으로 이해되어야 한다.
이와 같은 구성에 의하면, 사용자는 셈여림표의 종류 및 유무에 따라서 서로 다른 촉각을 제공받을 수 있으므로, 음향 정보가 변경되었음을 촉각적으로 인식할 수 있다.
*한편, 이상 구동 모드를 구분하기 위한 기준이 셈여림표인 경우를 예시적으로 제시하였으나, 이와 달리 다른 음향 정보에 기초하여 구동 모드를 달리 설정할 수 있음은 물론이다. 예를 들어, 제어부(20)는 음향 정보 중 이음선 표시의 의미를 해석할 수 있고, 제어부(20)는 음표가 이음선으로 연결된 구간에서 촉각 액추에이터(200)를 출렁거림 모드로 동작 시킬 수도 있을 것이다. 이에 따라, 이음선으로 연결된 음표가 연음 되어 부드럽게 넘어가는 음악적 느낌을 촉각으로 표현하는 것이 가능할 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. 사용자에게 촉각 신호를 제공하는 촉각 액추에이터를 포함하는 햅틱 장치를 이용하여 촉각 신호를 생성하는 방법에 있어서,
    음향 정보를 수신하는 단계;
    상기 음향 정보를 포함하는 구동 정보를 수집하는 단계;
    상기 수집된 구동 정보에 기초하여, 미리 설정된 복수 개의 구동 모드 중 어느 하나의 구동 모드를 결정하는 단계;
    상기 결정된 구동 모드에 기초하여, 상기 음향 정보를 전기 신호로 변환하는 단계; 및
    상기 촉각 액추에이터에 전기 신호를 인가하는 단계
    를 포함하고,
    음의 지속 시간 정보 및 음의 높낮이 정보를 포함하는 상기 음향 정보의 세부 내용을 해석하여 상기 복수 개의 구동 모드 중 어느 하나의 구동 모드를 결정하는, 촉각 신호를 생성하는 방법.
  2. 제1항에 있어서,
    상기 결정된 구동 모드에 기초하여, 상기 촉각 액추에이터로 인가할 전기 신호의 파형을 결정하는 단계를 더 포함하는, 촉각 신호를 생성하는 방법.
  3. 제1항에 있어서,
    상기 구동 모드를 결정하는 단계는, 음 지속 시간 정보에 따라서 전기 신호의 인가 시간을 결정하고, 음의 높낮이 정보에 따라서 전기 신호의 크기가 결정되고, 셈여림표가 없는지, 포르테 계열인지, 또는 피아노 계열인지 여부에 따라서 실시간으로 결정되는, 촉각 신호를 생성하는 방법.
  4. 제1항에 있어서,
    상기 촉각 신호는 복수의 주파수, 복수의 진폭, 및 복수의 지속 시간 중 적어도 하나를 갖는 촉각 신호인, 촉각 신호를 생성하는 방법.
  5. 제1항에 있어서,
    상기 결정된 구동 모드에 기초하여, 상기 전기 신호가 상기 결정된 구동 모드에 해당하는 크기를 갖도록 하는 단계를 더 포함하는, 촉각 신호를 생성하는 방법.
  6. 제1항에 있어서,
    상기 결정된 구동 모드에 기초하여, 상기 전기 신호가 상기 결정된 구동 모드에 해당하는 인가 시간을 갖도록 하는 단계를 더 포함하는, 촉각 신호를 생성하는 방법.
  7. 제1항에 있어서,
    상기 음향 정보를 미리 정해진 패턴에 따른 상기 전기 신호로 변환하고,
    상기 미리 정해진 패턴에 따른 전기 신호는,
    음표의 높낮이 정보에 비례하여 증가하는 전압의 크기;
    음표의 지속 시간에 비례하여 증가하는 전압 인가 시간; 및
    상기 전압 인가 시간 이후에 배치되는 대기 시간을 포함하고,
    상기 음표의 지속 시간은, 상기 전압 인가 시간 및 대기 시간의 합과 동일한, 촉각 신호를 생성하는 방법.
  8. 제1항에 있어서,
    상기 구동 모드가 제1 설정 모드이면, 제어부는 상기 전기 신호의 주파수를 제1 설정 주파수로 결정하고, 상기 구동 모드가 상기 제1 설정 모드 이외의 설정 모드이면, 상기 제어부는 상기 전기 신호의 주파수를 상기 제1 설정 주파수보다 낮은 제2 설정 주파수 또는 상기 제1 설정 주파수보다 낮은 제3 설정 주파수로 결정하는, 촉각 신호를 생성하는 방법.
  9. 제8항에 있어서,
    상기 구동 모드가 제2 설정 모드이면, 상기 제어부는 상기 전기 신호의 파형을 방형파(square wave) 또는 펄스파(pulse wave)로 결정하고, 상기 구동 모드가 제3 설정 모드이면, 상기 제어부는 상기 전기 신호의 파형을 정현파(sine wave)로 결정하는, 촉각 신호를 생성하는 방법.
  10. 제1항에 있어서,
    상기 복수 개의 구동 모드는, 일반 진동 모드, 두드림 모드 및 출렁거림 모드를 포함하고,
    상기 구동 모드가 상기 일반 진동 모드이면, 제어부는 상기 전기 신호의 주파수를 제1 설정 주파수로 결정하고,
    상기 구동 모드가 상기 두드림 모드이면, 상기 제어부는 상기 전기 신호의 주파수를 상기 제1 설정 주파수보다 낮은 제2 설정 주파수로 결정하고,
    상기 구동 모드가 상기 출렁거림 모드이면, 상기 제어부는 상기 전기 신호의 주파수를 상기 제2 설정 주파수보다 높고 상기 제1 설정 주파수보다 낮은 제3 설정 주파수로 결정하는, 촉각 신호를 생성하는 방법.
  11. 제1항에 있어서,
    상기 음향정보는 음의 세기 정보를 더 포함하고,
    상기 음의 지속 시간 정보, 상기 음의 높낮이 정보 및 상기 음의 세기 정보를 포함하는 상기 음향 정보의 세부 내용을 해석하여 상기 복수 개의 구동 모드 중 어느 하나의 구동 모드를 결정하는, 촉각 신호를 생성하는 방법.
KR1020220115125A 2016-05-17 2022-09-13 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 KR102554444B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160060432 2016-05-17
KR20160060432 2016-05-17
KR1020170135903A KR102444659B1 (ko) 2016-05-17 2017-10-19 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170135903A Division KR102444659B1 (ko) 2016-05-17 2017-10-19 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치

Publications (2)

Publication Number Publication Date
KR20220130064A KR20220130064A (ko) 2022-09-26
KR102554444B1 true KR102554444B1 (ko) 2023-07-12

Family

ID=60300779

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020160137735A KR101790892B1 (ko) 2016-05-17 2016-10-21 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
KR1020170135903A KR102444659B1 (ko) 2016-05-17 2017-10-19 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
KR1020220115125A KR102554444B1 (ko) 2016-05-17 2022-09-13 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020160137735A KR101790892B1 (ko) 2016-05-17 2016-10-21 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
KR1020170135903A KR102444659B1 (ko) 2016-05-17 2017-10-19 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치

Country Status (5)

Country Link
US (4) US10488929B2 (ko)
EP (3) EP3379382B1 (ko)
KR (3) KR101790892B1 (ko)
CN (2) CN109154857B (ko)
WO (1) WO2017200258A2 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
JP2020160680A (ja) * 2019-03-26 2020-10-01 キヤノン株式会社 電子機器、電子機器を制御するための制御方法、コンピュータプログラム及び記憶媒体
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
KR102265399B1 (ko) * 2019-06-12 2021-06-15 주식회사 씨케이머티리얼즈랩 스테레오 촉각 제공 장치
WO2020251280A1 (ko) * 2019-06-12 2020-12-17 주식회사 씨케이머티리얼즈랩 스테레오 촉각 제공 장치
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11460923B2 (en) * 2019-08-01 2022-10-04 Maxim Integrated Products, Inc. Acoustic augmentation of haptic vibration with correlated sounds
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
KR102415820B1 (ko) * 2019-12-09 2022-06-30 한림대학교 산학협력단 인공지능 기반 표면 인식 방법을 통한 스마트 기기 시스템의 제어 방법, 장치 및 프로그램
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112382255A (zh) * 2020-10-26 2021-02-19 清能德创电气技术（北京）有限公司 一种基于交流伺服系统的音乐演奏方法
US11106357B1 (en) * 2021-02-15 2021-08-31 University Of Central Florida Research Foundation, Inc. Low latency tactile telepresence
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11880507B1 (en) * 2022-09-29 2024-01-23 Music App Inc. Automated musical-score-referenced evaluation of haptic-based rhythmic performance
CN116185171A (zh) * 2022-12-07 2023-05-30 瑞声开泰声学科技(上海)有限公司 一种振动反馈信号的生成方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101084059B1 (ko) 2009-10-23 2011-11-16 한국과학기술원 입력 사운드 신호에 근거한 휴대 단말기간의 햅틱 피드백 전달 시스템 및 그 방법
KR101287892B1 (ko) 2008-08-11 2013-07-22 임머숀 코퍼레이션 촉각작동 가능한 음악 게임용 주변장치
KR101468250B1 (ko) 2007-05-25 2014-12-04 임머숀 코퍼레이션 최종 사용자 장치 상의 햅틱 효과 커스터마이징
KR101550925B1 (ko) 2008-06-16 2015-09-08 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4250637A (en) * 1979-06-13 1981-02-17 Scott Instruments Company Tactile aid to speech reception
US4581491A (en) * 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP3895674B2 (ja) * 2002-11-29 2007-03-22 アルプス電気株式会社 振動発生装置
JP2004260649A (ja) * 2003-02-27 2004-09-16 Toshiba Corp 携帯情報端末装置
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
JP5208362B2 (ja) * 2005-10-28 2013-06-12 ソニー株式会社 電子機器
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8174512B2 (en) * 2006-06-02 2012-05-08 Immersion Corporation Hybrid haptic device utilizing mechanical and programmable haptic effects
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
JP2010107800A (ja) * 2008-10-31 2010-05-13 David Rebolledo Mendez Jovan 知覚装置
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
KR101080989B1 (ko) * 2009-03-13 2011-11-09 포항공과대학교 산학협력단 진동 저작 도구
JP2011242386A (ja) 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US20120279380A1 (en) * 2011-05-06 2012-11-08 Jonathan Daniel Ashdown Frequency tuning device, system, and method of use thereof
KR101391710B1 (ko) * 2012-03-16 2014-05-30 한국표준과학연구원 햅틱피드백 제공모듈, 그 제공모듈을 이용한 햅틱 감성 피드백 제공장치, 그 제공장치가 부착된 휴대용 단말기, 그 제공장치가 부착된 방향제시장치 및 그 제공장치를 이용한 햅틱 감성 피드백 제공방법
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
WO2013171913A1 (ja) 2012-05-12 2013-11-21 京セラ株式会社 圧電アクチュエータ、圧電振動装置および携帯端末
JP2012181867A (ja) * 2012-05-21 2012-09-20 Sony Corp 触覚シート装置、入力装置及び電子機器
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
KR20140115648A (ko) * 2013-03-21 2014-10-01 삼성전자주식회사 햅틱 엔진을 이용하여 햅틱 효과를 제공하는 단말 장치 및 그 제어 방법
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9437087B2 (en) * 2013-05-24 2016-09-06 Immersion Corporation Method and system for haptic data encoding and streaming using a multiplexed data stream
US9158379B2 (en) * 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
CA2936331A1 (en) * 2014-02-14 2015-08-20 Donald James DERRICK System for audio analysis and perception enhancement
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
KR101735471B1 (ko) * 2014-07-28 2017-05-16 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 모듈
US10186138B2 (en) * 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
JP2016119101A (ja) * 2014-12-23 2016-06-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 自動かつ独自のハプティック通知
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US9645647B2 (en) * 2015-05-13 2017-05-09 Immersion Corporation Systems and methods for haptic feedback for modular devices
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US9880627B2 (en) * 2015-12-15 2018-01-30 Immersion Corporation Automated haptic setting generation
WO2017188507A1 (ko) * 2016-04-29 2017-11-02 주식회사 씨케이머티리얼즈랩 촉각 액추에이터 및 그 제어 방법
KR101790880B1 (ko) * 2016-04-29 2017-10-26 주식회사 씨케이머티리얼즈랩 촉각 액추에이터 및 그 제어 방법
US10444838B2 (en) * 2016-05-17 2019-10-15 Immersion Corporation Thermally activated haptic output device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101468250B1 (ko) 2007-05-25 2014-12-04 임머숀 코퍼레이션 최종 사용자 장치 상의 햅틱 효과 커스터마이징
KR101550925B1 (ko) 2008-06-16 2015-09-08 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
KR101287892B1 (ko) 2008-08-11 2013-07-22 임머숀 코퍼레이션 촉각작동 가능한 음악 게임용 주변장치
KR101084059B1 (ko) 2009-10-23 2011-11-16 한국과학기술원 입력 사운드 신호에 근거한 휴대 단말기간의 햅틱 피드백 전달 시스템 및 그 방법

Also Published As

Publication number Publication date
EP3379382A2 (en) 2018-09-26
EP3760286B1 (en) 2022-08-31
CN109154857B (zh) 2021-11-02
WO2017200258A2 (ko) 2017-11-23
US11281297B2 (en) 2022-03-22
KR101790892B1 (ko) 2017-10-26
EP3760286A1 (en) 2021-01-06
US11662823B2 (en) 2023-05-30
CN114100114A (zh) 2022-03-01
US20200379571A1 (en) 2020-12-03
US20190064925A1 (en) 2019-02-28
US10488929B2 (en) 2019-11-26
WO2017200258A3 (ko) 2018-08-09
US20200050279A1 (en) 2020-02-13
CN109154857A (zh) 2019-01-04
EP3379382A4 (en) 2019-08-14
KR20170129651A (ko) 2017-11-27
US10782786B2 (en) 2020-09-22
EP4129429A1 (en) 2023-02-08
KR102444659B1 (ko) 2022-09-20
US20220121286A1 (en) 2022-04-21
KR20220130064A (ko) 2022-09-26
EP3379382B1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
KR102554444B1 (ko) 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
Marshall et al. Vibrotactile feedback in digital musical instruments
JP5746186B2 (ja) タッチ感知デバイス
CN103000170A (zh) 音效赋予设备和钢琴
KR101080989B1 (ko) 진동 저작 도구
JP5422969B2 (ja) 電子鍵盤楽器
Bongers Tactual display of sound properties in electronic musical instruments
Kapur Digitizing North Indian music: preservation and extension using multimodal sensor systems, machine learning and robotics
Nakada et al. An interactive musical scale presentation system via tactile sense through haptic actuator
JP6402493B2 (ja) 電子楽器、発音制御方法、およびプログラム
Howard et al. Force Feedback Gesture Controlled Physical Modelling Synthesis.
Nichols II The vbow: An expressive musical controller haptic human-computer interface
Bonger Tactile display in electronic musical instruments
Lopes et al. Tumaracatu: an ubiquitous digital musical experience of maracatu
JP2011237493A (ja) 鍵盤装置
Bojja RoboCapo: A Digitally Controlled Actuated Capo for Enhanced Guitar Playing
Lavastre et al. Studying Performances with Digital Musical Instruments: A Case Study of Ritual, a Piece for Solo Karlax
Michailidis et al. Affordances of vibrations in performances and composition
Michailidis et al. Affordances of vibrational excitation for music composition and performance
Trail Non-invasive gesture sensing, physical modeling, machine learning and acoustic actuation for pitched percussion
JP6402492B2 (ja) 電子楽器、電子楽器における発音制御方法、およびプログラム
Woodhouse et al. Why is the violin so hard to play?
Hoadley Form and function: examples of music interface design
Malloch The Celloboard: A Physical Interface for Music-Making
Mathews 6.3 Controllers for Computers and Musical Instruments

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right