KR20150110403A

KR20150110403A - 햅틱 효과의 자동 튜닝

Info

Publication number: KR20150110403A
Application number: KR1020150039172A
Authority: KR
Inventors: 자말 사본; 윌리암 린
Original assignee: 임머숀 코퍼레이션
Priority date: 2014-03-21
Filing date: 2015-03-20
Publication date: 2015-10-02
Also published as: EP2937863A2; US20150268723A1; EP2937863B1; US20180196520A1; EP2937863A3; US9946348B2; JP2015185168A

Abstract

햅틱 효과들을 생성하는 시스템이 오디오 데이터, 비디오 데이터 또는 감각 데이터를 포함하는 입력 미디어를 수신한다. 시스템은 입력 미디어로부터 햅틱 효과 트랙을 자동 생성한다. 이어서, 시스템은 자동 생성 햅틱 효과 트랙에 적어도 하나의 필터를 적용하여, 튜닝된 햅틱 효과 트랙을 생성한다.

Description

햅틱 효과의 자동 튜닝{AUTOMATIC TUNING OF HAPTIC EFFECTS}

관련 출원의 상호 참조

본원은 2014년 3월 21일자로 출원된 미국 특허 가출원 제61/968,419호의 우선권을 주장하며, 이에 따라 그 내용이 참고로 반영된다.

분야

일 실시예는 일반적으로 햅틱 효과에 관한 것으로서, 구체적으로는 햅틱 효과를 자동으로 생성하고 튜닝하는 장치에 관한 것이다.

햅틱은 힘, 진동 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 적용함으로써 사용자의 촉감(sense of touch)을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 장치, 터치스크린 장치, 및 개인용 컴퓨터와 같은 장치들이 햅틱 효과들을 발생시키도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 발생시킬 수 있는 내장된 하드웨어(액추에이터 등)에 대한 호출이 장치의 운영 체제(OS) 내에 프로그래밍될 수 있다. 이들 호출은 어느 햅틱 효과를 재생할지를 특정한다. 예를 들어, 사용자가 예를 들어 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 소정의 다른 제어를 사용하여 장치와 상호작용할 때, 장치의 OS는 제어 회로를 통해 내장된 하드웨어로 재생 명령을 송신할 수 있다. 이어서, 내장된 하드웨어는 적절한 햅틱 효과를 생성한다.

장치들은 햅틱 효과들의 출력과 게임들 또는 다른 미디어 등의 다른 콘텐츠의 출력을 통합하여 햅틱 효과들이 다른 콘텐츠에 포함되게 하도록 구성될 수 있다. 예를 들어, 게임 상황에서, 게임이 개발될 때, 오디오 효과 개발자는 게임과 연관되어 있고 기관총 사격, 폭발, 또는 자동차 충돌과 같은 게임 내에서 일어나는 행위를 표현하는 오디오 효과들을 개발할 수 있다. 통상, 예를 들어, 게임 개발자가 게임 애플리케이션의 개발을 마무리할 때, 또는 게임 개발자가 완성된 게임 애플리케이션을 새로운 플랫폼에 이식할 때, 햅틱 효과들은 게임 개발 프로세스에서 늦게 게임에 추가된다. 이는 일반적으로 모든 오디오 효과들이 개발된 후에 햅틱 효과들이 추가되는 현상을 야기한다. 통상적으로 햅틱 효과들이 프로세스에서 이렇게 늦게 추가되기 때문에, 햅틱 효과를 오디오 효과와 연관시키는 것에 관한 결정은 일반적으로 햅틱 효과 개발자 또는 소정의 다른 개발자의 책임이다. 또한, 오디오 효과 개발자는 통상적으로 오디오 효과에 대한 적합한 햅틱 효과의 선택에 관해 입력하지 않는다. 이는 콘텐츠에 결국 포함되는 햅틱 효과들의 품질의 저하에 기여할 수 있다. 이러한 품질 저하는 고품질 햅틱 효과들을 콘텐츠에 포함시키는 것에 대한 장벽이 될 수 있다.

발명의 요약

일 실시예는 햅틱 효과를 생성하는 시스템이다. 시스템은 오디오 데이터, 비디오 데이터 또는 감각 데이터를 포함하는 입력 미디어를 수신한다. 시스템은 입력 미디어로부터 햅틱 효과 트랙을 자동 생성한다. 이어서, 시스템은 자동 생성된 햅틱 효과 트랙에 적어도 하나의 필터를 적용하여, 튜닝된 햅틱 효과 트랙을 생성한다.

도 1은 본 발명의 일 실시예에 따른 시스템의 블록도를 나타낸다.
도 2는 본 발명의 실시예들에 따른, 오디오, 비디오 및 임의의 감각 관련 데이터(예로서, 가속도, 회전, 속도 등)를 포함하는 멀티미디어 장면들을 수신하고, 장면 관련 데이터를 햅틱 효과로 자동 변환하고, 이어서 햅틱 효과를 튜닝/필터링하는 시스템의 블록도이다.
도 3은 일 실시예에 따른, 2개의 장면("장면 1" 및 "장면 2")의 혼합을 나타내는 그래픽이다.
도 4는 일 실시예에 따른, "관심 물체" 필터에 의해 구현되는 컴퓨터 비전("CV") 튜닝을 나타낸다.
도 5는 본 발명의 다른 실시예에 따른, "배경/전경" 필터에 의해 구현되는 CV 튜닝을 나타낸다.
도 6은 본 발명의 다른 실시예에 따른, "액션 근접" 필터에 의해 구현되는 CV 튜닝을 나타낸다.
도 7은 일 실시예에 따른, 햅틱 효과 트랙을 자동 튜닝/필터링할 때의 도 1의 시스템의 기능의 흐름도이다.

일 실시예는 멀티미디어 클립의 콘텐츠와 관련된 오디오 또는 비디오 소스 데이터 또는 임의의 감각 데이터(물체의 가속도, 회전, 속도 등)와 같은 소스 데이터가 주어지는 경우에 하나 이상의 햅틱 효과를 자동 생성하고 튜닝/필터링하는 시스템이다. 실시예들은 수신된 소스 데이터를 햅틱 정보로 자동 변환하고, 이어서 튜닝 또는 필터링을 수행하여, 자동 생성된 출력을 조정하여, 사용자 선호, (지역 선호에 기초하는) 위치 측정, 출력 장치 파라미터 등을 설명할 수 있다. 필터링은 창시된 햅틱 효과들에도 적용될 수 있다. 따라서, 햅틱 효과들의 품질이 향상된다.

도 1은 본 발명의 일 실시예에 따른 시스템(10)의 블록도를 예시한다. 일 실시예에서, 시스템(10)은 장치의 일부이며, 시스템(10)은 장치를 위한 자동 햅틱 효과 튜닝 기능을 제공한다. 다른 실시예에서, 시스템(10)은 장치와 별개이며, 장치를 위한 자동 햅틱 효과 튜닝 기능을 원격적으로 제공한다. 단일 시스템으로서 도시되어 있지만, 시스템(10)의 기능은 분산 시스템으로서 구현될 수 있다. 시스템(10)은 버스(12) 또는 정보를 통신하기 위한 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(12)에 결합된 프로세서(22)를 포함한다. 프로세서(22)는 임의 타입의 범용 또는 특수 목적 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보 및 명령들을 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크와 같은 정적 저장 장치, 또는 임의의 다른 타입의 컴퓨터 판독가능 매체의 임의의 결합으로 구성될 수 있다.

컴퓨터 판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 가용 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체, 통신 매체, 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 다른 데이터를 포함할 수 있고, 당해 기술분야에 공지되어 있는 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능하고 프로그래밍 가능한 판독-전용 메모리("EPROM"), 전기적으로 소거가능하고 프로그래밍 가능한 판독-전용 메모리("EEPROM"), 레지스터들, 하드디스크, 이동식 디스크, 컴팩트 디스크 판독-전용 메모리("CD-ROM"), 또는 당해 기술분야에 공지되어 있는 임의의 다른 형태의 저장 매체를 포함할 수 있다.

일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은 일 실시예에서 시스템(10)은 물론, 장치의 나머지를 위한 운영 체제 기능을 제공하는 운영 체제(15)를 포함한다. 모듈들은 더 상세히 후술되는 바와 같이 햅틱 효과를 자동으로 튜닝하는 자동 햅틱 효과 튜닝 모듈(16)을 더 포함한다. 소정 실시예들에서, 자동 햅틱 효과 튜닝 모듈(16)은 복수의 모듈들을 포함할 수 있으며, 각각의 개별 모듈은 햅틱 효과를 자동으로 튜닝하기 위한 특정 개별 기능을 제공한다. 예를 들어, 자동 햅틱 효과 튜닝 모듈(16)은 오디오 또는 감각 데이터 중 적어도 하나를 포함하는 미디어를 수신하고 미디어로부터 햅틱 효과 트랙을 자동 생성하는 변환 모듈을 포함할 수 있다. 자동 햅틱 효과 튜닝 모듈(16)은 자동 생성된 햅틱 효과 트랙에 적어도 하나의 선택 가능 필터를 적용하여, 튜닝된 햅틱 효과 트랙을 생성하는 필터링 모듈도 포함할 수 있다. 시스템(10)은 통상적으로 오디오/비주얼 입력으로부터 대응하는 햅틱 효과들을 자동 생성하는 Immersion Corp.의 "적분기" 애플리케이션과 같은 추가 기능을 포함하기 위해 하나 이상의 추가 애플리케이션 모듈(18)을 포함할 것이다.

시스템(10)은 원격 소스들로부터 데이터를 전송 및/또는 수신하는 실시예들에서 적외선, 라디오, Wi-Fi, 또는 셀룰러 네트워크 통신과 같은 이동 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 장치(20)를 더 포함한다. 다른 실시예들에서, 통신 장치(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.

프로세서(22)는 사용자에게 그래픽 표현 또는 사용자 인터페이스를 표시하기 위한 표시장치(24), 예컨대 액정 표시장치("LCD")에 버스(12)를 통해 더 결합된다. 디스플레이(24)는 프로세서(22)로부터의 신호를 송수신하도록 구성되는 터치스크린 등의 터치-감지 입력 장치일 수 있고, 멀티-터치 터치스크린일 수 있다. 프로세서(22)는 마우스 또는 스타일러스와 같이 사용자가 시스템(10)과 상호 작용할 수 있게 해주는 키보드 또는 커서 제어(28)에 더 결합될 수 있다.

일 실시예에서, 시스템(10)은 액추에이터(26)를 더 포함한다. 프로세서(22)는 생성된 햅틱 효과와 관련된 햅틱 신호를 액추에이터(26)에 전송할 수 있고, 이어서 이 액추에이터는 햅틱 효과, 예컨대 진동 촉각 햅틱 효과, 정전 마찰 햅틱 효과 또는 변형 햅틱 효과를 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함한다. 액추에이터(26)는 예를 들어 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기 활성 중합체, 솔레노이드, 편심 회전 질량 모터(ERM), 선형 공진 액추에이터(LRA), 압전 액추에이터, 고대역폭 액추에이터, 전기 활성 중합체(EAP) 액추에이터, 정전 마찰 디스플레이 또는 초음파 진동 생성기일 수 있다. 대안적인 실시예들에서, 시스템(10)은 액추에이터(26) 이외에 하나 이상의 추가 액추에이터(도 1에 도시되지 않음)를 포함할 수 있다. 액추에이터(26)는 햅틱 출력 장치의 일례이고, 햅틱 출력 장치는 구동 신호에 반응하여, 햅틱 효과, 예컨대 진동 촉각 햅틱 효과, 정전 마찰 햅틱 효과 또는 변형 햅틱 효과를 출력하도록 구성된 장치이다. 대안적인 실시예들에서, 액추에이터(26)는 소정의 다른 유형의 햅틱 출력 장치로 대체될 수 있다. 또한, 다른 대안 실시예들에서, 시스템(10)은 액추에이터(26)를 포함하지 않을 수 있고, 시스템(10)과 별개인 장치가 햅틱 효과들을 생성하는 액추에이터 또는 다른 햅틱 출력 장치를 포함하며, 시스템(10)은 생성된 햅틱 효과 신호들을 통신 장치(20)를 통해 해당 장치에 송신한다.

시스템(10)은 데이터베이스(30)에 기능적으로 더 결합될 수 있으며, 데이터베이스(30)는 모듈들(16 및 18)에 의해 사용되는 데이터를 저장하도록 구성될 수 있다. 데이터베이스(30)는 동작 데이터베이스, 분석 데이터베이스, 데이터 저장소, 분산형 데이터베이스, 최종 사용자 데이터베이스, 외부 데이터베이스, 내비게이션 데이터베이스, 인-메모리 데이터베이스, 문서 지향 데이터베이스, 실시간 데이터베이스, 관계형 데이터베이스, 객체 지향 데이터베이스 또는 본 기술 분야에 공지된 임의의 다른 데이터베이스일 수 있다.

일 실시예에서, 시스템(10)은 하나 이상의 스피커(32)를 더 포함한다. 프로세서(22)는 스피커(32)에 오디오 신호를 송신할 수 있으며, 이어서 이 스피커는 오디오 효과들을 출력한다. 스피커(32)는 예를 들어 동적 확성기, 전기 역학 확성기, 압전 확성기, 자기 변형 확성기, 정전 확성기, 리본 및 평면 자기 확성기, 굴곡파 확성기(bending wave loudspeaker), 평판 확성기, 하일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커 및 디지털 확성기일 수 있다.

시스템(10)은 일 실시예에서 센서(34)를 더 포함한다. 센서(34)는 한 형태의 에너지, 또는 가속도, 생체 신호들, 거리, 흐름, 힘/압력/변형/휨, 습도, 선형 위치, 배향/경사, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동 또는 가시광 강도 등의, 그러나 이들로 제한되지 않는, 다른 물리적 속성을 검출하도록 구성될 수 있다. 센서(34)는 검출된 에너지, 또는 다른 물리적 속성을 전기 신호, 또는 가상 센서 정보를 나타내는 임의의 신호로 변환하도록 더 구성될 수 있다. 센서(34)는 가속도계, 심전도, 뇌파도, 근전계, 전기 안구도, 전자 구개 운동 기록기(electropalatograph), 전기 피부 반응 센서, 용량형 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 휨 센서), 힘-감지 저항기, 부하 셀, LuSense CPS2 155, 소형 압력 트랜스듀서, 압전 센서, 스트레인 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 무선 주파수 식별 태그), 회전 인코더, 회전 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예를 들어, 온도계, 열전쌍, 저항 온도 검출기, 서미스터, 또는 온도-변환 집적 회로), 마이크로폰, 광도계, 고도계, 생체 모니터, 또는 광 의존 저항기 등의, 그러나 이들로 제한되지 않는, 임의의 장치일 수 있다.

일반적으로, 오디오 및/또는 비디오 데이터를 포함하는 감각 멀티미디어 데이터로부터 햅틱 효과들을 생성하는 자동 햅틱 변환 알고리즘들에는 생성된 햅틱 효과들의 품질을 튜닝 및 조정에 의해 개선할 수 있는 인간의 예술적 터치가 존재하지 않는다. 실시예들은 가능할 때 다양한 필터링/튜닝 기술들을 이용하여 이러한 전문가 지식의 일부를 자동 변환 작업 흐름 내에 삽입한다.

실시예들은 자동 변환 프로세스의 일부로서 튜닝을 수행할 수 있거나, 햅틱 효과들이 자동으로 생성된 후에 사용자가 선택할 수 있는 선택 가능 필터들로서 이용 가능할 수 있다. 일 실시예에서, 필터들은 -1 내지 +1의 값의 샘플들을 갖는 펄스-코드 변조("PCM") 신호와 같은 햅틱 효과 트랙에 적용된다. 일 실시예에서, 아래에 더 상세히 개시되는 이용 가능 필터들은 "범프(bump) 강조", "최종물 강조", "장면 혼합", "동적 범위 압축/확장", "액추에이터 능력", "관심 물체", "배경/전경" 및 "액션 근접" 필터들을 포함한다. 일 실시예에서, 이용 가능 필터들 중 일부 또는 전부는 햅틱 효과들이 자동 생성될 때 동시에 구현될 수 있으며, 따라서 필터들의 출력은 선택될 수 있고, 게다가 "즉시" 이용될 수 있다.

도 2는 본 발명의 실시예들에 따른, 오디오, 비디오 및 임의의 감각 관련 데이터(예로서, 가속도, 회전, 속도 등)를 포함하는 멀티미디어 장면들을 수신하고, 장면 관련 데이터를 햅틱 효과로 자동 변환하고, 이어서 햅틱 효과를 튜닝/필터링하는 시스템의 블록도이다. 도 2에서, 멀티미디어 데이터의 다양한 장면 1-n으로부터의 오디오, 비디오 및/또는 센서 신호들은 201-203에서 공지 시스템들 및 방법들을 이용하여 햅틱 효과들로 자동 변환된다. 자동 변환을 위한 하나의 공지 시스템 및 방법이 미국 특허 출원 제13/785,166호에 개시되어 있으며, 그 개시 내용은 본 명세서에서 참고로 반영된다. 일반적으로, 자동 변환 알고리즘은 감각 데이터 또는 오디오 데이터 신호들을 분석하고, 포락선, 주파수 콘텐츠, 피크, 잡음 등과 같은 일부 특징들을 식별하고, 이어서 이러한 특징들에 기초하여 햅틱 트랙을 생성한다.

210에서, 하나 이상의 필터가 자동 변환된 햅틱 효과들에 적용된다. 필터들은 사전 선택될 수 있으며, 생성된 햅틱 트랙에 자동 적용될 수 있거나, 자동 변환 후의 임의 시간에 적용될 수 있다. 예를 들어, 이용 가능 필터들의 리스트가 사용자 인터페이스의 풀다운 메뉴 내에서 사용자에게 제공될 수 있으며, 사용자는 적용할 하나 이상의 필터를 선택할 수 있다. 다수의 필터가 선택될 때, 그들은 임의의 선택된 또는 사전 정의된 순서로 파이프라인화되고 적용될 수 있다. 필터 또는 필터들은 적용된 후에 최종 햅틱 효과 트랙(212)을 생성한다.

일 실시예에서, 다수의 필터와 관련하여, 필터들은 순차적으로, 예를 들어 필터 1, 이어서 필터 2, 기타 등등으로 적용될 수 있으며, 212에서 최종 햅틱 효과들이 출력될 때까지 필터 1은 최초 햅틱 트랙을 입력으로 취하고, 필터 2에 입력으로 제공되는 새로운 햅틱 트랙을 출력하며, 기타 등등일 수 있다. 필터들이 적용되는 순서/시퀀스는 결과적인 입력을 변경할 수 있다. 예를 들어, 일 실시예에서 순서가 필터 1, 필터 2 및 필터 3이고, 다른 실시예에서 순서가 필터 2, 필터 1 및 필터 3인 경우, 두 예에서 동일한 3개의 필터가 순차적으로 적용되는 경우에도 최종 햅틱 효과 트랙은 상이할 수 있다.

일 실시예에서, 다수의 필터와 관련하여, 필터들을 병렬로 적용될 수 있으며, 이 경우에 필터 1, 필터 2 등은 모두 동일한 최초 햅틱 트랙을 입력으로 갖고, 이어서 필터들 각각의 출력은 212에서 최종 햅틱 효과들을 출력하는 합산 필터에 입력들로서 제공된다. 합산 필터는 가중 합산 스킴을 포함할 수 있으며, 각각의 입력의 가중치는 사용자에 의해 할당되거나 자동으로 (즉, 사전 정의된 값들로) 할당될 수 있다. 다른 실시예에서는, 가중치들 모두가 동일하다(즉, 사용자의 개입 없이 자동으로 할당된다). 예컨대, 5개의 필터가 병렬로 적용되는 경우, 각각의 출력 트랙은 합산 필터에서 0.2(=1/5)의 가중치와 승산될 것이다.

또한, 일 실시예에서, 다수의 필터와 관련하여, "하이브리드" 모드가 구현될 수 있으며, 이 경우에 일부 필터들은 순차적으로 적용될 수 있고, 다중 시퀀스의 출력에는 필터들이 병렬로 적용될 수 있다. 예를 들어, 필터 1, 필터 3 및 필터 4가 시퀀스 1을 형성하도록 순차적으로 적용될 수 있다. 필터 2, 필터 3 및 필터 5가 시퀀스 2를 형성하도록 다른 순서로 적용될 수 있다. 이어서, 시퀀스 1 및 시퀀스 2의 출력들은 212에서 최종 햅틱 효과 트랙을 출력하기 위해 합산 필터에 제공될 수 있다.

실시예들에서, 임의의 필터 또는 임의의 필터 시퀀스 또는 임의의 병렬 필터 적용의 입력은 최초 변환된 햅틱 트랙, 임의의 필터의 출력, 임의의 필터 시퀀스의 출력 또는 임의의 병렬 필터 적용의 출력 중 하나일 수 있다.

다수의 필터와 관련하여, 필터들의 선택 및 적용 모드(즉, 병렬 또는 순차)는 사용자의 설계 스타일/기호에 기초하며, 미디어 클립의 부분들에 맞게 변경될 수 있다. 예를 들어, 처음 5분 동안에 필터 1 내지 5가 순차적으로 적용될 수 있고, 다음 2분 동안에 필터 2 및 3이 병렬로 적용될 수 있고, 기타 등등일 수 있다. 필터들 각각은 사용자의 스타일/기호(예로서, 고급 사용자 모드)에 의존하는 상이한 파라미터들을 갖고서 적용될 수 있거나, 디폴트 파라미터들을 갖고서(즉, 사용자 개입 없이) 적용될 수 있다.

일 실시예에서, 하나의 이용 가능 필터는 때때로 연속 효과로의 짧은 페이드인(fade in)과 더불어, 선행하는 효과들은 물론 바로 뒤의 효과들의 크기를 줄임으로써 중요 또는 관련 이벤트와 관련된 짧은, 예리하지만 강한 효과들(즉, "범프들")에 더 큰 중요성을 부여하는 "범프 강조" 필터이다. 범프들에 더 큰 중요성을 부여하기 위해, 범프들은 바로 선행하는 효과들과 다르게 느껴져야 한다. 실시예들은 "범프"에 바로 선행하는 효과들의 강도/크기를 낮춘다. 실시예들은 예를 들어 소정 임계치 또는 "범프 임계치"(예로서, 0.9)보다 큰 절대값을 갖는 햅틱 트랙의 샘플들을 발견함으로써 햅틱 트랙 내의 범프들을 발견한다. "범프"가 발견되면, 실시예들은 그 전의 시간의 "탐색 윈도"(예로서, 500ms)를 나타내는 햅틱 트랙의 샘플들을 본다. 이러한 샘플들에서, 소정 임계치 또는 "제거 임계치"(예로서, 0.3)보다 작고, 소정 임계치 또는 "제거 지속기간 임계치"(예로서, 50ms)보다 큰 시간을 커버하는 절대값들을 갖는 연속 샘플들의 블록들이 발견된다. 이어서, 이러한 샘플들은 무효화된다(즉, 0으로 감소한 크기 값들을 갖는다).

일 실시예에서, 하나의 이용 가능 필터는 "최종물 강조" 필터이다. 일반적으로, 클립/트랙에서의 최종 햅틱 효과는 통상적으로 클립의 끝을 표시하기 위해 강해야 하며, 따라서 자동으로 강조되어야 한다(예를 들어, 더 큰 크기를 가져야 한다). 따라서, "최종물 강조" 필터는 햅틱 트랙에서 최종 효과를 발견하고, 그의 크기를 증가시킨다. 이것은 최종 효과의 샘플 값들에 1보다 큰 이득 팩터(예로서, 1.5)를 곱함으로써 달성될 수 있다. 실시예들은 먼저 최종 효과 끝을 나타내는 햅틱 트랙 내의 샘플(즉, 최종 효과의 최종 샘플)을 발견한다. 이를 행하기 위해, 소정 임계치 또는 "침묵 임계치"(예로서, 0.1)보다 큰 절대값을 갖는 트랙 내의 최종 샘플이 발견된다. 이어서, 실시예들은 최종 효과의 끝에 선행하는 모든 샘플들을 고려하고, 그러한 샘플들 내에서 "햅틱 침묵"의 최종 블록을 발견함으로써 최종 효과의 시작(즉, 최종 효과의 최초 샘플)을 발견한다. 최종 효과의 시작은 이러한 최종 "햅틱 침묵"에 이어지는 최초 샘플이다. "햅틱 침묵"은 소정 임계치 또는 "침묵 임계치"(예로서, 0.1)보다 큰 절대값들을 갖고, 소정 임계치 또는 "침묵 지속기간 임계치"(예로서, 100ms)보다 큰 시간을 커버하는 연속 햅틱 트랙 샘플들의 블록이다.

일 실시예에서, 하나의 이용 가능 필터는 사용자로 하여금 미디어 클립에서 하나의 장면과 다음 장면 사이의 전이를 느끼게 하는 데에 적합한 "장면 혼합" 필터이다. 실시예들은 이전 장면 햅틱 트랙에 "페이드 아웃" 전략을 그리고/또는 현재 장면 햅틱 트랙에 "페이드 인" 전략을 적용한다. 도 3은 일 실시예에 따른, 2개의 장면("장면 1" 및 "장면 2")의 혼합을 나타내는 그래픽이다. 실시예들은 (각각의 장면과) 관련된 햅틱 효과들을 구별 가능하게 함으로써 클립 내의 상이한 장면들 사이의 전이를 강조 또는 하이라이팅한다. 실시예들은 필터링에 대해 "페이드 아웃"에 이어지는 "페이드 인" 접근법을 구현한다.

일 실시예에서, 기능은 아래의 경우에만 적용된다.

- 최초 장면/트랙 내의 최종 시간 윈도 또는 "혼합 탐색 윈도"(예로서, 500ms) 내의 햅틱 효과들뿐만 아니라, 이어지는 장면/트랙 내의 최초 시간 윈도 또는 "혼합 탐색 윈도" 내의 햅틱 효과들도 모두 강한 경우(즉, 각각에서 예를 들어 0.5보다 큰 최대 절대값을 갖는 햅틱 샘플들), 또는

- 양 효과들이 약한 효과들(즉, 각각에서 예를 들어 0.5보다 작은 최대 절대값을 갖는 햅틱 샘플들)이지만, 유사한 강도를 갖는 경우(즉, 2개의 탐색 윈도 각각에서의 최대 절대값들이 예를 들어 0.1만큼만 다른 경우).

또한, 아래와 같이 최초 장면의 햅틱 효과들의 최종 "탐색 윈도"("윈도 1")에 페이드 아웃 필터가 적용되고, 다음 장면의 햅틱 효과들의 최초 "탐색 윈도"("윈도 2")에 페이드 인 필터가 적용된다.

- 실시예들은 윈도 1의 제1 절반에서 최대값을 발견하고, 윈도 1과 동일한 신호 "신호 1"을 생성하며, 이 신호는 다음과 같은 방식으로 변경되는데, 즉 시작으로부터 최대 값의 위치까지의 샘플들은 모두 값 = 1을 가질 것이고; (이러한 최대 샘플로부터 신호 1의 끝까지의) 다음 샘플들은 (신호 1의 끝에서) 식별된 최대 값으로부터 0까지 선형으로 감소하는 샘플 값들을 갖도록 계산된다. 이어서, 윈도 1 샘플들에 신호 1 샘플들을 (요소별로) 곱하고, 그 결과는 윈도 1 대신에 최초 햅틱 트랙 내에 삽입된다.

- 이어서, 실시예들은 윈도 2에서 최대값을 발견하고, 윈도 2와 동일한 신호 "신호 2"를 생성하며, 이 신호는 다음과 같은 방식으로 변경되는데, 즉 최대값 위치로부터 신호 2의 끝까지의 샘플들은 모두 값 = 1을 가질 것이고, (신호 2의 시작으로부터 이러한 최대 샘플까지의) 선행 샘플들은 (신호 2의 시작에서의) 0으로부터 식별된 최대값까지 선형으로 증가하는 샘플 값들을 갖도록 계산되며, 이어서, 윈도 2 샘플들에 신호 2 샘플들을 (요소별로) 곱하고, 그 결과는 윈도 2 대신에 최초 햅틱 트랙 내에 삽입된다.

일 실시예에서, 하나의 이용 가능 필터는 약한 효과들을 더 약하게 하고/하거나 강한 효과들을 더 강하게 하기에 적합한 "동적 범위 압축/확장" 필터이다. 실시예들은 강한 효과들의 크기를 증가시키며, 작은 진폭의 효과들의 크기를 감소시킨다. 필터는 먼저 햅틱 샘플 값들을 (데시벨(dB) 단위의) 로그 스케일로 변환한다. 소정 임계치 "thr1"(예로서, -30 dB)보다 큰 값들을 갖는 모든 햅틱 샘플들은 아래와 같이 계산되는 이득 값 "gain"(예로서, 1.5)을 이용하여 계산되는 새로운 값을 가질 것이다.

new_value= ((old_value- thr1 )*gain)+ thr1

소정 임계치 "thr2"(예로서, -50 dB)보다 작은 값들을 갖는 모든 햅틱 샘플들은 아래와 같이 계산되는 감쇠 값 "att"(예로서, 2)를 이용하여 계산되는 새로운 값을 가질 것이다.

new_value= thr2 - (( thr2 -old_value)* att )

일 실시예에서, 하나의 이용 가능 필터는 의도된 재생 장치 내의 액추에이터(들)의 능력에 적합하도록 자동 생성 햅틱 트랙을 필터링하는 "액추에이터 능력" 필터이다. 일반적으로, 기본 햅틱 효과들의 일부 또는 전부를 장치 및 재생 장치의 액추에이터(들)의 품질에 따라 소정의 사전 정의된 값(예로서, 10 ms)만큼 늘리거나 줄임으로써 햅틱 트랙에 대한 변경들이 행해진다. 예를 들어, 텍스처 기반 햅틱 효과를 위해, 튜닝은 사이클 값(즉, 효과를 재생하는 시간 및 효과가 존재하지 않는 시간의 길이)을 정의하는 파라미터의 변경을 포함할 수 있다. 예를 들어, 텍스처화된 햅틱 효과는 효과의 지속기간 동안 10ms의 효과 및 10ms의 침묵을 포함할 수 있다. 일례에서, Samsung Corp.의 "Galaxy S4" 스마트폰에서의 텍스처 기반 햅틱 효과의 사이클 값은 10ms이었지만, LG Corp.의 "G2" 스마트폰에서는 이들 양 스마트폰이 LRA를 햅틱 출력 장치로서 가짐에도 불구하고 효과가 25ms의 사이클 값을 갖고서 더 양호하게 제공되었다. 이러한 필터를 위해, 필요한 하나의 입력은 햅틱 출력 장치들의 타입, 햅틱 출력 장치들의 위치 등을 포함하는 재생 장치의 액추에이터(들) 또는 다른 햅틱 출력 장치들의 능력들이다. 이것은 수동으로 제공되거나, 탐색표 내의 사전 저장된 값들로부터 자동 판독될 수 있다.

다른 실시예들에서는, 미디어 클립(즉, "관심 물체") 내의 특정 물체의 관련 이벤트들을 햅틱 방식으로 강조하기 위해 또는 그 대신에 이러한 이벤트들의 중요성을 낮추기 위해, 일부 필터들을 적용하여, 생성된 햅틱 효과들을 튜닝할 수 있다. 이러한 물체는 일 실시예에서 사용자/설계자에 의해 선택될 수 있거나, 다른 실시예에서 시스템에 의해 자동 검출될 수 있다. 다른 실시예는 카메라에 대한 액션의 근접이 주어지는 경우에 효과들을 튜닝할 수도 있다. 일반적으로, 이러한 실시예들은 자동 생성 햅틱 효과들이 감각 데이터를 이용하는 경우에 종종 발생하는 "상황외(out of context)" 문제의 개선과 관련된다. 더 구체적으로, 이러한 문제는 효과들의 크기/강도를 통해 명확히 관찰될 수 있다. 예를 들어, BMX 활동에서의 자전거 움직임으로부터 캡처된 데이터를 이용하여 햅틱 효과들을 도출할 때, 자동 생성 햅틱 효과들은 통상적으로 자전거가 카메라에 가까울 때 그리고 카메라로부터 멀 때 동일한 크기를 갖는다. 결과적으로, 햅틱 효과들은 이러한 근접의 개념을 반영하지 못하므로 덜 현실적으로 느껴진다.

또한, 물체/액션과 관련된 햅틱 효과들은 카메라에 대해 더 가까운 거리를 갖고서 비디오 내에서 이동하는 다른 사람/물체의 존재시에 관찰자에게 혼란을 줄 수 있다. 이러한 혼란은 관찰자가 효과들을 (카메라에 가장 가까운) 전경에서 발생하는 "액션"과 관련된 것으로 인식하는 반면에 실제로는 효과들이 (카메라로부터 가장 먼) 배경에서의 "액션"으로부터 도출될 수 있다는 사실에 기인한다. 이러한 특정 예에서의 해법은 표시되는 햅틱 효과들을 가능한 경우에(즉, 감각 데이터가 이용 가능한 경우에) "전경 액션"으로부터 도출하고, 그렇지 않은 경우에는 "배경 액션"으로부터 도출되는 효과들의 크기를 줄이는 것일 것이다.

"관심 물체", "배경/전경" 및 "액션 근접" 필터들은 비디오 입력에 기초하므로, 컴퓨터 비전 접근법들이 실시예들에서 사용된다.

도 4는 일 실시예에 따른, "관심 물체" 필터에 의해 구현되는 컴퓨터 비전("CV") 튜닝을 나타낸다. 도 4에서, 401에서, 사용자는 햅틱과 관련되어야 하는 물체/사람(즉, 사용자/설계자가 관심을 갖는 것으로 간주되는 물체 또는 사람)을 (405에서 이 물체에 대해 감각 데이터가 획득된 것으로 가정하여) 클립의 시작에서 그의 이차원 표현을 클릭함으로써 선택한다. CV 알고리즘이 402에서 이 물체를 추적하고, 403에서 N개의 프레임 각각에서 카메라에 대한 그의 거리를 추정할 것이다. 이어서, 406에서 이 물체에 대해 생성된 햅틱 효과들이 407에서 (N개의 대응하는 프레임에서) 이러한 추정된 거리로 변조된다. 예를 들어, 효과들은 물체가 카메라에 가까울 때 더 강해질 수 있거나(즉, 1보다 큰 이득 팩터를 샘플 값들과 곱할 수 있거나), 물체가 카메라로부터 멀 때 약해질 수 있다(즉, 1보다 작은 감소 팩터를 샘플 값들과 곱할 수 있다). 이득/감소 팩터의 값은 카메라에 대한 추정 거리에 따라 선형으로 변할 수 있다.

물체의 추적은 각각의 프레임에서 이 물체와 관련된 시각적 특징들을 추적하고 그의 움직임을 추정함으로써 수행된다. 사용될 수 있는 시각적 특징들은 컬러, 형상, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients) 서술자, Haar형 특징들, Shi-Tomasi 특징들 및 웨이블릿 변환을 포함한다(그러나 이에 한정되지 않는다). 추적은 광학 흐름 계산 기술들, 칼만(Kalman) 필터링 또는 입자 필터링 접근법들을 이용하여 수행될 수 있다.

도 5는 본 발명의 다른 실시예에 따른, "배경/전경" 필터에 의해 구현되는 CV 튜닝을 나타낸다. 도 5에서, 502에서, CV 알고리즘은 각각의 장면(N개의 프레임) 내의 물체들을 전경 및 배경 액션 물체들/이벤트로 자율적으로 분할한다(즉, 물체가 전경에 있지만 움직이지 않는 경우에 이는 고려되지 않는다). 다른 알고리즘이 503에서 패턴 매칭 접근법들을 이용하여 이러한 물체들을 식별하며, 전경에 있는 것으로 식별된 물체와 관련된 감각 데이터(505)가 이용 가능한 경우에(물체 타입으로 라벨링되는 경우에) 이 데이터를 이용하여 햅틱 트랙을 생성한다. 그렇지 않은 경우에, 햅틱은 배경 물체의 감각 데이터를 이용하여 생성된다. 배경/전경 필터링도 동적으로 적용될 수 있다. 미디어 클립 전반에서, 물체들/사람들은 위치들을 변경할 수 있으며, 따라서 전경 내의 물체들/사람들은 상이한 순간들에 상이할 수 있다. 실시예들은 이러한 제약에 적응하고, 그에 따라 햅틱 효과들을 변경할 수 있다. 식별된 물체/사람에 대해 생성된 햅틱 효과들은 전술한 바와 같이 카메라에 대한 그의 거리에 기초하여 튜닝될 수도 있다. 이 거리는 추적/식별 단계로부터 추정될 수 있다.

물체의 매칭 접근법/특성 식별은 이미지 내의 물체의 특징들을 검출한 후에 이들을 공지 물체들의 특징들과 대비하여 분류함으로써 수행된다. 사용될 수 있는 특징들은 컬러, 형상, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients) 서술자, Haar형 특징들, Shi-Tomasi 특징들 및 웨이블릿 변환을 포함한다(그러나 이에 한정되지 않는다). 분류는 신경망, SVM(Support Vector Machines), Adaboost 분류기, 캐스케이드 분류기, KNN(K Nearest Neighbors) 및 Bayesian 네트워크를 이용하여 수행될 수 있다.

도 6은 본 발명의 다른 실시예에 따른, "액션 근접" 필터에 의해 구현되는 CV 튜닝을 나타낸다. 도 6에서, CV 알고리즘은 601에서 각각의 장면(N개의 프레임)에서 빠르게 움직이는 픽셀들의 비율을 추정한다. 이 값이 높은 경우, 카메라는 장면에서 "액션"에 가까우며(예로서, POV(point-of-view) 카메라), 따라서 생성되는 햅틱 효과들은 더 큰 크기를 가져야 한다. 그렇지 않은 경우, 햅틱 효과들은 더 약하게 느껴져야 한다. 일 실시예는 광학 흐름 계산을 이용하여 이러한 근접을 추정한다.

도 7은 일 실시예에 따른, 햅틱 효과 트랙을 자동으로 튜닝/필터링할 때의 도 1의 시스템(10)의 기능의 흐름도이다. 일 실시예에서, 도 7의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독 가능 또는 유형 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능은 하드웨어에 의해 (예로서, 주문형 집적 회로("ASIC"), 프로그래머블 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등을 통해) 또는 하드웨어와 소프트웨어의 임의 결합에 의해 수행될 수 있다.

702에서, 오디오 데이터 또는 비디오 데이터를 포함할 수 있고, 장면 내의 하나 이상의 물체에 대한 감각 데이터를 포함할 수 있는 수신된 입력 미디어에 응답하여 햅틱 효과가 자동으로 생성된다. 그 결과는 복수의 클립 또는 장면을 포함할 수 있는 자동화된 햅틱 효과 트랙이다.

704에서, 자동 생성된 햅틱 효과 트랙에 대한 하나 이상의 타입의 튜닝 또는 필터링의 선택이 수신된다. 일 실시예에서, 이용 가능 필터들은 "범프 강조", "최종물 강조", "장면 혼합", "동적 범위 압축/확장", "액추에이터 능력", "관심 물체", "배경/전경" 및 "액션 근접" 필터들을 포함한다.

706에서, 자동 생성 햅틱 효과 트랙이 704에서의 선택 또는 선택들에 기초하여 필터링되며, 필터링된 최종 햅틱 효과 트랙이 생성된다.

개시된 바와 같이, 햅틱 효과 트랙이 자동으로 생성된다. 이어서, 이러한 기준선 햅틱 효과 트랙은 하나 이상의 튜닝 선호의 선택에 기초하여 튜닝 또는 필터링된다. 결과적인 햅틱 효과 트랙은 결과적으로 사용자의 선호에 맞는다.

본 명세서에서는 여러 실시예가 구체적으로 예시되고/되거나 설명된다. 그러나, 개시된 실시예들의 변경들 및 변형들이 본 발명의 사상 및 의도된 범위로부터 벗어나지 않고서 위의 가르침들에 의해 그리고 첨부된 청구항들의 범위 내에서 커버된다는 것을 이해할 것이다.

Claims

햅틱 효과들을 생성하는 방법으로서,
오디오 데이터, 비디오 데이터 또는 감각 데이터 중 적어도 하나를 포함하는 입력 미디어를 수신하는 단계;
상기 입력 미디어로부터 햅틱 효과 트랙을 자동 생성하는 단계; 및
상기 자동 생성 햅틱 효과 트랙에 적어도 하나의 필터를 적용하여, 튜닝된 햅틱 효과 트랙을 생성하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙 내의 범프들(bumps)을 강조하는 단계를 포함하는 방법.
제1항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 하나 이상의 클립 내의 최종 효과를 강조하는 단계를 포함하는 방법.
제1항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 장면들 사이에서 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 장면들 간의 전이들을 하이라이팅하기 위해 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 약한 햅틱 효과들을 더 약하게 하거나 상기 자동 생성 햅틱 효과 트랙 내의 강한 햅틱 효과들을 더 강하게 하기 위해 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 필터는 햅틱 효과 재생 장치의 햅틱 출력 능력에 응답하여 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 입력 미디어는 비디오 데이터를 포함하고, 상기 필터는 선택된 물체 또는 이벤트를 강조하기 위해 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 입력 미디어는 비디오 데이터를 포함하고, 상기 필터는 배경 또는 전경 물체 또는 배경 또는 전경 이벤트들을 강조하기 위해 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 입력 미디어는 비디오 데이터를 포함하고, 상기 필터는 상기 입력 미디어 내의 액션에 대한 근접을 강조하기 위해 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 방법.
제1항에 있어서,
상기 자동 생성 햅틱 효과 트랙에 적용될 필터들의 선택 가능한 선택을 제공하는 단계를 더 포함하고, 상기 선택된 필터들은 선택 가능한 순서로 적용될 수 있는 방법.
프로세서에 의해 실행될 때 상기 프로세서로 하여금 햅틱 효과들을 생성하게 하는 명령어들을 저장한 컴퓨터 판독 가능 매체로서,
햅틱 효과들의 상기 생성은
오디오 데이터, 비디오 데이터 또는 감각 데이터 중 적어도 하나를 포함하는 입력 미디어를 수신하는 단계;
상기 입력 미디어로부터 햅틱 효과 트랙을 자동 생성하는 단계; 및
상기 자동 생성 햅틱 효과 트랙에 적어도 하나의 필터를 적용하여, 튜닝된 햅틱 효과 트랙을 생성하는 단계
를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙 내의 범프들을 강조하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 하나 이상의 클립 내의 최종 효과를 강조하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 장면들 사이에서 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 장면들 간의 전이들을 하이라이팅하기 위해 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 필터는 상기 자동 생성 햅틱 효과 트랙의 약한 햅틱 효과들을 더 약하게 하거나 상기 자동 생성 햅틱 효과 트랙 내의 강한 햅틱 효과들을 더 강하게 하기 위해 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 필터는 햅틱 효과 재생 장치의 햅틱 출력 능력에 응답하여 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 입력 미디어는 비디오 데이터를 포함하고, 상기 필터는 선택된 물체 또는 이벤트를 강조하기 위해 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 입력 미디어는 비디오 데이터를 포함하고, 상기 필터는 배경 또는 전경 물체 또는 배경 또는 전경 이벤트들을 강조하기 위해 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 입력 미디어는 비디오 데이터를 포함하고, 상기 필터는 상기 입력 미디어 내의 액션에 대한 근접을 강조하기 위해 상기 자동 생성 햅틱 효과 트랙의 햅틱 효과들을 변경하는 단계를 포함하는 컴퓨터 판독 가능 매체.
제12항에 있어서,
상기 자동 생성 햅틱 효과 트랙에 적용될 필터들의 선택 가능한 선택을 제공하는 단계를 더 포함하고, 상기 선택된 필터들은 선택 가능한 순서로 적용될 수 있는 컴퓨터 판독 가능 매체.
오디오 데이터, 비디오 데이터 또는 감각 데이터 중 적어도 하나를 포함하는 입력 미디어를 수신하고, 상기 입력 미디어로부터 햅틱 효과 트랙을 자동 생성하는 변환 모듈; 및
상기 자동 생성 햅틱 효과 트랙에 적어도 하나의 필터를 적용하여, 튜닝된 햅틱 효과 트랙을 생성하는 필터링 모듈
을 포함하는 햅틱 효과 생성 시스템.
제1항에 있어서,
상기 자동 생성 햅틱 효과 트랙에 복수의 필터를 적용하는 단계를 더 포함하는 방법.
제24항에 있어서,
상기 복수의 필터를 적용하는 순서는 사전 정의된 시퀀스 또는 사전 정의된 우선순위에 기초하는 방법.
제24항에 있어서,
상기 복수의 필터는 순차적으로 또는 병렬로 적용되는 방법.