KR20200017719A - 음원 기반의 진동패턴 생성장치 - Google Patents

음원 기반의 진동패턴 생성장치 Download PDF

Info

Publication number
KR20200017719A
KR20200017719A KR1020180092950A KR20180092950A KR20200017719A KR 20200017719 A KR20200017719 A KR 20200017719A KR 1020180092950 A KR1020180092950 A KR 1020180092950A KR 20180092950 A KR20180092950 A KR 20180092950A KR 20200017719 A KR20200017719 A KR 20200017719A
Authority
KR
South Korea
Prior art keywords
vibration
gain value
variable
sound source
frequency
Prior art date
Application number
KR1020180092950A
Other languages
English (en)
Other versions
KR102100871B1 (ko
Inventor
김정욱
Original Assignee
김정욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김정욱 filed Critical 김정욱
Priority to KR1020180092950A priority Critical patent/KR102100871B1/ko
Publication of KR20200017719A publication Critical patent/KR20200017719A/ko
Application granted granted Critical
Publication of KR102100871B1 publication Critical patent/KR102100871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0223—Driving circuits for generating signals continuous in time
    • B06B1/0269—Driving circuits for generating signals continuous in time for generating multiple frequencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 음원 파형에서 듀레이션과 진폭, 주파수를 포함하는 진동변수를 추출하고, 추출된 변수를 이용하여 음원 특성에 대응되는 진동패턴정보를 생성하는 기술에 관한 것이다.
본 발명에 따른 음원 기반의 진동패턴 생성장치는, 음원에 대응되는 파형에서 진동패턴을 생성하기 위한 구간에 해당하는 진동영역을 설정하는 진동영역 설정부와, 진동영역의 파형에서 게인값에 기반하여 듀레이션 변수와 진폭 변수, 주파수 변수를 포함하는 진동변수를 추출하는 진동변수 산출부 및, 진동변수 산출부에서 산출된 변수를 이용하여 해당 음원에 대응되는 피크치 전압과 주파수, 진동 시간을 산출함으로써, 이를 포함하는 진동패턴정보를 생성하는 진동패턴 생성부를 포함하여 구성되는 것을 특징으로 한다.

Description

음원 기반의 진동패턴 생성장치{APPARATUS FOR GENERATING VIBRATION PATTERN BASED ON SOUND SOURCE}
본 발명은 음원 파형에서 듀레이션과 진폭, 주파수를 포함하는 진동변수를 추출하고, 추출된 변수를 이용하여 음원 특성에 대응되는 진동패턴 정보를 생성하는 기술에 관한 것이다.
노트북, 스마트폰, 태블릿 PC 등의 정보통신 단말기나 비디오 게임 콘솔, 리모트 컨트롤 등의 전자기기가 발달함에 따라, 최근에는 이들 기기를 이용하여 사용자에게 보다 다양한 사용자 경험(User eXperience, UX)을 제공하기 위한 연구가 활발하게 진행되고 있다.
예를 들어, 기존의 사용자 단말기가 2차원의 평면적 화면을 보여주고, 화면에 보이는 내용에 맞추어 소리를 들려주는 단순한 수준의 시청각 피드백을 제공하는 데에 머물렀다면, 최근의 사용자 단말기는 3차원의 입체감 있는 화면을 제공하고, 제공되는 화면 내용과 함께 사용자에게 힘, 운동감, 질감 등을 함께 느끼게 하는, 더욱 복잡한 시각 피드백, 햅틱(haptic) 피드백 등을 제공할 수 있게 되었다.
이러한 햅틱 기술은 최근 게임, 영화, 음악 등 다양한 멀티미디어 콘텐츠에 촉감으로 정보를 전달하는 방법으로 각광받고 있으며, 이러한 제품들은 멀티미디어 콘텐츠의 사용자 경험에서 시청각뿐만 아니라 촉각을 이용한 다중 감각 디스플레이로 사용자의 몰입감과 만족도를 증가시키고 있다.
현재에는 촉감 정보를 전달하기 위해 사람이 직접 신호를 만들어내거나 오디오 신호의 저주파수 성분을 걸러내어 진동 신호로 사용하는 구현 방법이 다수를 차지하고 있다.
그러나, 사람이 직접 진동 신호를 만들어내는 촉감 신호를 만들어내는 방법은 많은 시간과 비용이 소요되는 단점이 있고, 오디오 신호의 저주파수 성분을 이용하는 방법은 그 효과가 수작업으로 만들어진 신호에 비해 자연스럽지 못한 단점이 있다.
따라서, 청각 신호와 자연스럽게 어울리는 촉각신호를 많은 시간과 비용을 들이지 않고도 생성할 수 있는 방안이 요구된다.
1.한국등록특허 제10-1641418호 (발명의 명칭 : 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치) 2.한국등록특허 제10-1644303호 (발명의 명칭 : 휴대용 단말기에서 햅틱 기능을 제공하기 위한 장치 및 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 음원 파형에서 듀레이션과 진폭, 주파수를 포함하는 진동 특성을 추출하고, 추출된 특성을 이용하여 진동패턴을 생성함으로써, 보다 효율적으로 음원과 자연스럽게 조화를 이룰 수 있는 음원 기반의 진동패턴 생성장치를 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 음원에 대응되는 파형에서 진동패턴을 생성하기 위한 구간에 해당하는 진동영역을 설정하는 진동영역 설정부와, 진동영역의 파형에서 게인값에 기반하여 듀레이션 변수와 진폭 변수, 주파수 변수를 포함하는 진동변수를 추출하는 진동변수 산출부 및, 진동변수 산출부에서 산출된 변수를 이용하여 해당 음원에 대응되는 피크치 전압과 주파수, 진동 시간을 산출함으로써, 이를 포함하는 진동패턴정보를 생성하는 진동패턴 생성부를 포함하여 구성되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치가 제공된다.
또한, 상기 진동변수 산출부는 진동영역의 파형에서 최초의 최소 게인값이 추출된 제1 시점과 최대 게인값 이후에서의 최소 게인값이 추출된 제2 시점 사이의 구간에 해당하는 시간을 듀레이션 변수로 산출하는 듀레이션 산출모듈과, 진동영역의 파형에서 추출된 최대 게인값을 진폭 변수로 산출하는 진폭 산출모듈 및, 상기 듀레이션 변수를 하기 수학식에 적용하고 이 수학식을 만족하는 최소 공배수를 주파수 변수로 산출하는 주파수 산출모듈을 포함하여 구성되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치가 제공된다.
Figure pat00001
여기서, x,y는 정수이고, y는 주파수 변수, Duration은 듀레이션 변수임.
또한, 진동패턴 생성부는 피크 전압(Peak voltage)과, 주파수(Hz), 진동 시간(ms)을 하기 수학식을 이용하여 각각 산출하는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치가 제공된다.
Figure pat00002
여기서, amplitude 는 진폭 변수이고, frequency 는 주파수 변수, cyclrd 는 상기 청구항2의 수학식에서 결정된 x 값임.
또한, 상기 진동변수 산출부는 진동영역의 파형에서 최초로 최소 게인값을 갖는 제1 최소 게인값(G1)과, 최대 게인값을 갖는 제1 최대 게인값(G2), 제1 최대 게인값(G2) 이후 최소 게인값을 갖는 제2 최소 게인값(G3), 상기 제1 최소 게인값(G1)과 제1 최대 게인값(G2) 사이에서 게인값의 변화가 전환되는 구간에서의 최소 게인값을 갖는 제3 최소 게인값(G4) 및, 제1 최소 게인값(G1)과 제3 최소 게인값(G4) 추출 구간에서 기 설정된 기준 게인값 이상인 게인값 중 최대 게인값을 갖는 제2 최대 게인값(G5)을 추출하는 게인값 추출모듈을 포함하여 구성되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치가 제공된다.
또한, 상기 기준 게인값은 상기 제1 최대 게인값(G2)에 "1" 미만의 가중치를 적용한 값으로 설정되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치가 제공된다.
또한, 상기 진동변수 산출부는 진동영역의 파형에서 Ramp Up&Down 변수를 추가로 산출하되, 상기 진동영역의 파형에서 최초의 최소 게인값이 추출된 제1 시점과 최대 게인값 이후에서의 최소 게인값이 추출된 제2 시점 및, 상기 최대 게인값이 추출된 제3 시점으로 설정하고, 제1 시점과 제3 시점 사이 구간에 해당하는 시간을 Ramp Up 변수로 산출함과 더불어 상기 제3 시점과 상기 제2 시점 사이 구간에 해당하는 시간을 Ramp Down 변수로 산출하고, 상기 진동패턴 생성부는 Ramp Up&Down 타입으로 설정된 음원에 대하여 상기 Ramp Up 변수를 Ramp Up 시간으로, Ramp Down 변수를 Ramp Down 시간으로 설정하여 해당 진동패턴 정보에 추가로 포함하는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치가 제공된다.
본 발명에 의하면, 음원 파형에서 듀레이션과 진폭, 주파수를 포함하는 진동 특성을 추출하고, 추출된 특성을 이용하여 진동패턴을 생성함으로써, 보다 효율적으로 음원과 자연스럽게 조화를 이룰 수 있는 음원 기반의 진동패턴을 생성할 수 있다.
도1은 본 발명의 제1 실시예에 따른 음원 기반의 진동패턴 생성장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도2는 도1에 도시된 진동변수 산출부(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 게인값 추출모듈(310)에서 추출되는 게인값을 설명하기 위한 도면.
도5는 도1에 도시된 음원 기반의 진동패턴 생성장치의 동작을 설명하기 위한 흐름도.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명의 제1 실시예에 따른 음원 기반의 진동패턴 생성장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도1을 참조하면, 본 발명에 따른 음원 기반의 진동패턴 생성장치는 파형 변환부(100)와, 진동영역 설정부(200), 진동변수 산출부(300) 및, 진동패턴 생성부(400)를 포함하여 구성된다.
파형 변환부(100)는 외부로부터 인가되는 음원을 도3에 도시된 바와 같은 파형(P) 형태로 변환한다. 음원은 사용자에게 현실감을 제공하기 위한 영상에 적용되는 것으로, 예컨대 FPS(First-person shooter) 영상이나 레이싱 영상 등에서 객체나 상황에 의해 발생되는 고유 음원이 될 수 있다. 즉, FPS(First-person shooter) 영상에 대해서는 기관단총, 권총, 폭탄, 수류탄, 기관총, 스나이퍼 등의 객체의 동작에 따른 음원이 될 수 있고, 레이싱 영상에 대해서는 차 출발 카운트 상황, 레이스 출발, 부스터 1단계, 부스터 2단계, 드리프트, 충돌 등의 상황이나 해당 객체에 대한 기능 설정에 의해 발생되는 음원이 될 수 있다.
상기한 파형 변환부(100)는 외부로부터 음원에 대한 파형이 직접 인가되는 경우, 구성에서 생략될 수 있다.
진동영역 설정부(200)는 음원 파형에서 진동패턴을 생성할 진동영역을 설정한다. 진동영역은 사용자(예컨대, 영상 개발자)에 의해 임의로 설정될 수 있다. 즉, 진동영역 설정부(200)는 상기 파형 변환부(100)에서 생성된 음파 신호를 표시수단(미도시)를 통해 표시출력하고, 표시 출력된 음파 신호에서 정보 입력부(미도시)를 통해 사용자에 의해 선택되는 시작 시점부터 종료 시점까지의 파형 구간을 진동영역으로 설정할 수 있다.
또한, 상기 진동영역 설정부(200)는 진동영역을 기 설정된 조건에 대응하여 자동으로 설정할 수 있다. 즉, 진동영역 설정부(200)는 음원 파형에서 기 설정된 시작 기준 게인값이 추출된 일정 시간 이전 시점을 진동영역 시작 시점으로 설정하고, 최대 게인값 이후 종료 영역 기준 게인값 이하로 유지되는 구간의 시작 시점을 진동영역 종료 지점으로 설정할 수 있다. 이때, 최소 게인값 및 최대 게인값은 "0" 이상의 조건에서 추출된다.
진동변수 산출부(300)는 진동패턴을 생성하기 위해 필요한 변수들을 산출하는 것으로, 진동영역의 파형에서 게인값에 기반하여 기본적으로 듀레이션 변수와 진폭 변수, 주파수 변수를 포함하는 진동변수를 산출하며, Ramp Up&Down 변수를 추가로 산출할 수 있다. 이때, 진동변수 산출부(300)는 음원의 종류에 대응하여 Ramp Up&Down 변수를 선택적으로 산출하거나, 또는 모든 음원에 대해 Ramp Up&Down 변수를 산출하는 것도 가능하다. Ramp Up&Down 이 필요한 음원에 대한 Ramp Up&Down 타입의 설정은 사용자에 의해 미리 이루어질 수 있다.
진동변수 산출부(300)는 도2에 도시된 바와 같이, 게인값 추출모듈(310)과, 듀레이션 산출모듈(320), 진폭 산출모듈(330), 주파수 산출모듈(340) 및 Ramp Up&Down 산출모듈(350)을 포함한다.
도3을 참조하면, 게인값 추출모듈(310)은 상기 진동영역 설정부(200)에서 설정된 진동영역(Z)의 파형에서 일정 시간 단위로 모든 게인값을 추출함과 더불어, 추출된 게인값 중 최초로 최소 게인값을 갖는 제1 최소 게인값(G1)과, 최대 게인값을 갖는 최대 게인값(G2), 최대 게인값(G2) 이후 최소 게인값을 갖는 제2 최소 게인값(G3), 상기 제1 최소 게인값(G1)과 최대 게인값(G2) 사이에서 게인값의 변화가 전환되는 구간에서의 최소 게인값을 갖는 제3 최소 게인값(G4) 및, 제1 최소 게인값(G1)과 제3 최소 게인값(G4) 추출 구간에서 기 설정된 기준 게인값 이상이 게인값 중 최대 게인값을 갖는 제2 최대 게인값(G5)을 추출한다. 이때, 기준 게인값은 최대 게인값(G2)에 "1" 미만의 가중치, 예컨대 "0.9"를 적용한 값으로 설정될 수 있다.
듀레이션 산출모듈(320)은 상기 진동영역 설정부(200)에서 설정된 진동영역의 파형에서 진동패턴의 주기를 결정하기 위한 변수인 듀레이션을 산출한다. 듀레이션 산출모듈(320)은 진동영역의 파형에서 최초의 최소 게인값이 추출된 제1 시점과 최대 게인값 이후에서의 최소 게인값이 추출된 제2 시점 사이의 구간에 해당하는 시간을 듀레이션 변수로 산출한다.
도3을 참조하면, 듀레이션 산출모듈(310)은 기 설정된 진동영역(Z)에서 제1 최소 게인값(G1)이 추출된 제1 시점과, 제2 최소 게인값(G3)이 추출된 제2 시점까지의 차이 시간을 듀레이션 변수로 산출한다. 도3에서 듀레이션 변수는 진동영역(Z)의 시간이 된다.
진폭 산출모듈(330)은 상기 진동영역 설정부(200)에서 설정된 진동영역(Z)에서 최대 게인값을 진폭 변수로 산출한다.
이때, 진폭 산출모듈(330)은 도3에서 제1 최소 게인값(G1)이 추출된 제1 시점에서 제3 최소 게인값(G4)이 추출된 제2 시점 사이의 제1 진동영역 구간(Z1)에서 기 설정된 진폭 기준값 이상인 제2 최대 게인값(G5)을 진폭값으로 설정할 수 있다.
주파수 산출모듈(340)은 상기 듀레이션 산출모듈(350)에서 추출된 듀레이션변수를 하기 수학식1에 적용하고, 수학식 1을 만족하는 최소 공배수를 주파수 변수로 산출한다. 이때, 듀레이션 변수는 도3에서 제1 진동영역 구간(Z1)으로 설정될 수 있다.
Figure pat00003
여기서, x=ckcle로 1~255 사이의 정수값으로 설정되고, y=주파수로 1-225 사이의 정수값으로 설정되며, 듀레이션(Duration)은 소수점을 반올림한 정수로 설정된다. 이때, 2-7 은
Figure pat00004
의 기약분수임을 이용한다.
즉, 주파수 산출모듈(330)은 수학식1을 만족하는 27 과 듀레이션의 최소공배수(LCM)를 구함으로써, 주파수 즉, y값을 산출할 수 있다.
예컨대, 듀레이션값이 211.234 일 때, 이를 수학식1에 적용하면 하기와 같이 주파수값이 산출된다.
풀이과정을 살펴보면,
211 ×2-7 =
Figure pat00005
에서, 211×
Figure pat00006
=
Figure pat00007
이므로, 128×x = 211×y 가 된다.
이를 만족하는 최소 공배수는 x=211, y=128 이 된다.
따라서, 주파수 변수는 "128"로 산출된다.
Ramp Up&Down 산출모듈(350)은 기 설정된 진동영역(Z)에서 최대값을 중심으로 최대값 이전에 추출된 제1 최소 게인값 추출 시점과 최대 게인값 추출 시점간의 차이를 Ramp Up 변수로 산출함과 더불어, 최대 게인값 추출 시점과 최대 게인값 이후 제2 최소 게인값 추출 시점간의 차이를 Ramp Down 변수로 산출한다.
도3을 참조하면, Ramp Up&Down 산출모듈(350)은 제1 최소 게인값(G1)을 갖는 제1 시점과, 제3 최소 게인값(G4)을 갖는 제1 진동영역 구간(Z1)에서 제1 최소 게인값(G1)이 추출된 시점과 제2 최대 게인값(G5)이 추출된 시점간의 차이 시간을 Ramp Up 변수로 산출함과 더불어, 최대 게인값(G2)이 추출된 시점과 제3 최소 게인값(G4)이 추출된 시점간의 차이 시간을 Ramp Down 변수로 산출한다.
한편, 도1에서 진동패턴 생성부(400)는 상기한 진동변수 산출부(300)에서 산출된 변수를 이용하여 해당 음원에 대응되는 피크치 전압과 주파수, 진동 시간을 산출함으로써, 이를 포함하는 진동패턴정보를 생성한다.
이때, 피크 전압(Peak voltage)과, 주파수(Hz), 진동 시간(ms)은 하기 수학식2에 의해 산출된다.
Figure pat00008
여기서, amplitude 는 진폭 변수이고, frequency 는 주파수 변수, cyclrd 는 상기 청구항2의 수학식에서 결정된 x 값이다.
예컨대, 주파수 변수가 "128"로 산출된 경우, "주파수값(Hz)=128 ×7.8125 ≒1000"에 의해 1000Hz로 결정된다. 여기서, "7.8125"는 주파수값을 산출하기 위한 상수로서, 이는 본 발명자가 다양한 음원에 적용하여 실험하여 획득한 고유한 결과값으로, 주파수 산출시 오류가 발생할 확률을 최소화할 수 있는 값이다.
또한, 진동패턴 생성부(400)는 Ramp Up&Down 타입으로 설정된 음원에 대하여 상기 Ramp Up 변수를 Ramp Up 시간으로, Ramp Down 변수를 Ramp Down 시간으로 설정하여 해당 진동패턴 정보에 추가로 포함한다.
이때, 진동패턴 생성부(400)는 Ramp Up&Down 변수를 기 설정된 레벨값으로 변경 설정한다. 즉, 진동패턴 생성부(400)는 상기 Ramp Up&Down 산출모듈(350)에서 산출된 Ramp Up&Down 변수의 Ramp 타임에 대응되는 레벨값을 결정한다. 이때, 진동파형 생성부(400)는 기 설정된 룩업테이블을 참조하여 Ramp 타임에 대응되는 Ramp Up레벨과 Ramp Down레벨을 각각 결정할 수 있다.
하기 표1은 Ramp 레벨을 16 단계로 분류하고, 각 레벨별 총 Ramp 타임을 나타낸 룩업테이블이다.
Ramp level 총 Ramp 타임
0 없음
1 32ms
2 64ms
3 96ms
4 128ms
5 160ms
6 192ms
7 224ms
8 256ms
9 512ms
10 768ms
11 1024ms
12 1280ms
13 1536ms
14 1792ms
15 2048ms
즉, 진동파형 생성부(400)는 해당 음원에 대해 산출된 진동변수에 기초하여 피크치 전압과, 주파수, 진동시간 및, Ramp Up&Down 시간을 결정함으로써, 음원에 대응되는 특성을 만족하는 진동패턴정보를 생성한다.
표2는 FPS 영상에서 사용할 객체별 음원에 대하여 생성된 진동패턴정보를 예시한 것이다.
Figure pat00009
또한, 본 발명에 있어서는 햅틱 기능을 제공하는 단말, 예컨대 스마트 폰이나 태블릿 PC, 게임기 등의 버튼에 대응하여 상술한 바와 같은 방식을 적용하여 진동패턴을 생성할 수 있다. 하기 표3에는 일반적으로 버튼 진동으로 사용되는 봉고 패턴과 놉 타입(Nob Type) 패턴에 대하여 생성된 진동패턴 정보가 예시되어 있다.
Figure pat00010
또한, 본 발명에 있어서는 상기 진동패턴 생성부(400)에서 생성된 각 음원별 진동패턴 정보를 해당 음원을 출력하는 영상과 함께 햅틱 서비스를 제공하는 외부 단말로 제공하는 햅틱영상 제공부(미도시)를 추가로 포함하여 구성될 수 있다.
이어, 도4에 도시된 흐름도를 참조하여 본 발명에 따른 음원 기반의 진동패턴 생성장치의 동작을 설명한다.
먼저, 사용자는 진동패턴을 생성하기 위한 음원을 선택하여 진동패턴 생성장치(100)로 로딩시킨다.
이때, 음원이 음성 파형 형태가 아닌 경우, 진동패턴 생성장치(100)는 도3에 도시된 바와 같이 로딩된 음원에 대응되는 파형(P)을 생성한다(ST100). 이때, 사용자는 해당 음원에 대한 Ramp Up&Down 타입 여부를 설정할 수 있다.
이어, 진동패턴 생성장치(100)는 파형(P)에서 진동패턴을 생성할 진동영역을 설정한다(ST200).
진동패턴 생성장치(100)는 상기 ST200 단계에서 설정된 진동영역에서 최대 게인값과 최소 게인값을 추출한다(ST300). 이때, 진동패턴 생성장치(100)는 진동영역내에서 제1 내지 제3 최소 게인값과 제1 및 제2 최대 게인값을 각각 추출한다(도3 참조).
이어, 진동패턴 생성장치(100)는 상기 ST300 단계에서 추출된 게인값들을 이용하여 듀레이션과, 진폭, 주파수 및 Ramp Up&Down 에 해당하는 진동변수를 각각 산출한다(ST400).
그리고, 진동패턴 생성장치(100)는 상기 ST400 단계에서 산출한 진동변수를 근거로 해당 음원에 대한 진동패턴정보를 생성한다(ST500). 이때, 진동패턴 정보는 해당 음원에 대응되는 피크치 전압과 주파수, 진동 시간을 포함하고, 음원에 따라 Ramp Up&Down 시간을 포함한다.
진동패턴 생성장치(100)는 사용자에 의해 선택되어 로딩된 각 음원에 대응하여 각각의 진동패턴 정보를 생성한다.
즉, 진동패턴 생성장치(100)는 표2에 도시된 바와 같이 목적하는 영상에 대응하여 각 객체에 대한 진동패턴정보를 생성한다.
그리고, 이러한 진동패턴정보는 해당 객체를 출력하는 영상과 함께 외부 단말(미도시)로 로딩되고, 외부 단말을 통해 해당 영상이 실행되는 때에 해당 객체의 출력에 대응하여 진동패턴이 동시에 출력된다.
상기한 외부 단말은 햅틱 기능을 제공하는 단말로서, 예컨대 다수의 피에조 모듈이 서로 다른 위치에 배치되는 스마트 폰이 될 수 있으며, 스마트 폰을 통해 FPS 영상을 다운받아 실행되는 상태에서, 수류탄이 터지는 시점에 대응하여 "주파수 = 93.75 Hz, 진폭(피크치 전압) = 70 V, 듀레이션(진동 시간) = 170ms, Ramp Up = 1레벨(32ms) , Ramp Down 2레벨(64ms)을 만족하는 패턴의 진동이 출력된다.
100 : 파형 변환부, 200 : 진동영역 설정부,
300 : 진동변수 산출부, 400 : 진동패턴 생성부,
310 : 게인값 추출모듈, 320 : 듀레이션 산출모듈,
330 : 진폭 산출모듈, 340 : 주파수 산출모듈,
350 : Ramp Up&Down 산출모듈.

Claims (6)

  1. 음원에 대응되는 파형에서 진동패턴을 생성하기 위한 구간에 해당하는 진동영역을 설정하는 진동영역 설정부와,
    진동영역의 파형에서 게인값에 기반하여 듀레이션 변수와 진폭 변수, 주파수 변수를 포함하는 진동변수를 추출하는 진동변수 산출부 및,
    진동변수 산출부에서 산출된 변수를 이용하여 해당 음원에 대응되는 피크치 전압과 주파수, 진동 시간을 산출함으로써, 이를 포함하는 진동패턴정보를 생성하는 진동패턴 생성부를 포함하여 구성되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치.
  2. 제1항에 있어서,
    상기 진동변수 산출부는 진동영역의 파형에서 최초의 최소 게인값이 추출된 제1 시점과 최대 게인값 이후에서의 최소 게인값이 추출된 제2 시점 사이의 구간에 해당하는 시간을 듀레이션 변수로 산출하는 듀레이션 산출모듈과,
    진동영역의 파형에서 추출된 최대 게인값을 진폭 변수로 산출하는 진폭 산출모듈 및,
    상기 듀레이션 변수를 하기 수학식에 적용하고 이 수학식을 만족하는 최소 공배수를 주파수 변수로 산출하는 주파수 산출모듈을 포함하여 구성되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치.
    Figure pat00011

    여기서, x,y는 정수이고, y는 주파수 변수, Duration은 듀레이션 변수임.
  3. 제2항에 있어서,
    진동패턴 생성부는 피크 전압(Peak voltage)과, 주파수(Hz), 진동 시간(ms)을 하기 수학식을 이용하여 각각 산출하는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치.
    Figure pat00012

    여기서, amplitude 는 진폭 변수이고, frequency 는 주파수 변수, cyclrd 는 상기 청구항2의 수학식에서 결정된 x 값임.
  4. 제2항에 있어서,
    상기 진동변수 산출부는 진동영역의 파형에서 최초로 최소 게인값을 갖는 제1 최소 게인값(G1)과, 최대 게인값을 갖는 제1 최대 게인값(G2), 제1 최대 게인값(G2) 이후 최소 게인값을 갖는 제2 최소 게인값(G3), 상기 제1 최소 게인값(G1)과 최대 게인값(G2) 사이에서 게인값의 변화가 전환되는 구간에서의 최소 게인값을 갖는 제3 최소 게인값(G4) 및, 제1 최소 게인값(G1)과 제3 최소 게인값(G4) 추출 구간에서 기 설정된 기준 게인값 이상인 게인값 중 최대 게인값을 갖는 제2 최대 게인값(G5)을 추출하는 게인값 추출모듈을 포함하여 구성되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치.
  5. 제4항에 있어서,
    상기 기준 게인값은 상기 제1 최대 게인값(G2)에 "1" 미만의 가중치를 적용한 값으로 설정되는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치.
  6. 제3항에 있어서,
    상기 진동변수 산출부는 진동영역의 파형에서 Ramp Up&Down 변수를 추가로 산출하되, 상기 진동영역의 파형에서 최초의 최소 게인값이 추출된 제1 시점과 최대 게인값 이후에서의 최소 게인값이 추출된 제2 시점 및, 상기 최대 게인값이 추출된 제3 시점으로 설정하고, 제1 시점과 제3 시점 사이 구간에 해당하는 시간을 Ramp Up 변수로 산출함과 더불어 상기 제3 시점과 상기 제2 시점 사이 구간에 해당하는 시간을 Ramp Down 변수로 산출하고,
    상기 진동패턴 생성부는 Ramp Up&Down 타입으로 설정된 음원에 대하여 상기 Ramp Up 변수를 Ramp Up 시간으로, Ramp Down 변수를 Ramp Down 시간으로 설정하여 해당 진동패턴 정보에 추가로 포함하는 것을 특징으로 하는 음원 기반의 진동패턴 생성장치.
KR1020180092950A 2018-08-09 2018-08-09 음원 기반의 진동패턴 생성장치 KR102100871B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180092950A KR102100871B1 (ko) 2018-08-09 2018-08-09 음원 기반의 진동패턴 생성장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092950A KR102100871B1 (ko) 2018-08-09 2018-08-09 음원 기반의 진동패턴 생성장치

Publications (2)

Publication Number Publication Date
KR20200017719A true KR20200017719A (ko) 2020-02-19
KR102100871B1 KR102100871B1 (ko) 2020-04-23

Family

ID=69670153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092950A KR102100871B1 (ko) 2018-08-09 2018-08-09 음원 기반의 진동패턴 생성장치

Country Status (1)

Country Link
KR (1) KR102100871B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20040079867A (ko) * 2004-07-02 2004-09-16 (주)블루엠 휴대폰의 벨소리음원 분석을 이용한 진동 벨소리 구현 방법
KR20120094849A (ko) * 2011-02-11 2012-08-27 임머숀 코퍼레이션 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR20120126446A (ko) * 2011-05-11 2012-11-21 엘지전자 주식회사 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치
KR20160012704A (ko) * 2014-07-25 2016-02-03 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
KR101644303B1 (ko) 2009-12-01 2016-08-01 삼성전자주식회사 휴대용 단말기에서 햅틱 기능을 제공하기 위한 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20040079867A (ko) * 2004-07-02 2004-09-16 (주)블루엠 휴대폰의 벨소리음원 분석을 이용한 진동 벨소리 구현 방법
KR101644303B1 (ko) 2009-12-01 2016-08-01 삼성전자주식회사 휴대용 단말기에서 햅틱 기능을 제공하기 위한 장치 및 방법
KR20120094849A (ko) * 2011-02-11 2012-08-27 임머숀 코퍼레이션 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR20120126446A (ko) * 2011-05-11 2012-11-21 엘지전자 주식회사 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치
KR20160012704A (ko) * 2014-07-25 2016-02-03 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
KR101641418B1 (ko) 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR102100871B1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
US10297120B2 (en) Haptic effect generation system
KR20170030510A (ko) 제2 스크린 햅틱
CN105739674A (zh) 高带宽触觉效果的音频增强仿真
US10269392B2 (en) Automated haptic effect accompaniment
KR101427993B1 (ko) 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
KR100986681B1 (ko) 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
CN109982231B (zh) 一种信息处理方法、设备及存储介质
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
US11430307B2 (en) Haptic feedback method
CN103366074A (zh) 情境指令系统及运作方法
KR102100871B1 (ko) 음원 기반의 진동패턴 생성장치
CN208756945U (zh) 具有可重配置的模拟摇杆灵敏度修改器按钮的游戏控制器
CN107844355B (zh) 一种煲机倒计时的提示方法
CN107085497A (zh) 音量控制方法及装置
CN111182317B (zh) 直播信息提示方法、装置、电子设备及存储介质
CN109785844A (zh) 用于智能电视交互操作的方法及装置
CN111078043A (zh) 一种低频振感补偿方法、装置及电子设备
CN103809846B (zh) 一种功能调用方法及电子设备
CN112019556B (zh) 一种语音直播的可视化方法、装置、设备和存储介质
CN104168498B (zh) 一种定位电视机开机频道的方法以及电视机
CN114125149A (zh) 视频播放方法、装置、系统、电子设备及存储介质
CN103634540A (zh) 一种控制方法、一种数据终端及数据发送设备
CN112256230A (zh) 菜谱交互方法及系统、存储介质
CN106155321A (zh) 一种控制方法及电子设备
WO2022196051A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant