KR20150028731A - 햅틱 와핑 시스템 - Google Patents

햅틱 와핑 시스템 Download PDF

Info

Publication number
KR20150028731A
KR20150028731A KR20140116715A KR20140116715A KR20150028731A KR 20150028731 A KR20150028731 A KR 20150028731A KR 20140116715 A KR20140116715 A KR 20140116715A KR 20140116715 A KR20140116715 A KR 20140116715A KR 20150028731 A KR20150028731 A KR 20150028731A
Authority
KR
South Korea
Prior art keywords
haptic
signal
haptic signal
new
original
Prior art date
Application number
KR20140116715A
Other languages
English (en)
Other versions
KR102254385B1 (ko
Inventor
후안 마누엘 크루즈-헤르난데즈
자말 사본
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150028731A publication Critical patent/KR20150028731A/ko
Application granted granted Critical
Publication of KR102254385B1 publication Critical patent/KR102254385B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

햅틱 신호들을 변환하는 시스템이 제공된다. 시스템은 오리지널 햅틱 신호를 제공하며, 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함한다. 시스템은 오리지널 햅틱 신호를 새로운 햅틱 신호로 추가로 변환하고, 새로운 햅틱 신호는 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 제2 햅틱 효과 공간은 제2 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함하고, 새로운 햅틱 신호 내에 포함된 데이터는 오리지널 햅틱 신호 내에 포함된 데이터에 기초한다. 시스템은 추가로 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 햅틱 효과들을 생성한다.

Description

햅틱 와핑 시스템{HAPTIC WARPING SYSTEM}
관련 출원들에 대한 교차-참조
이 출원은 2013년 9월 6일에 출원된 미국 가특허 출원 일련 번호 제61/874,920호의 우선권을 주장한다(그 개시내용은 본원에 인용에 의해 포함된다).
일 실시예는 일반적으로 디바이스에 관한 것이며, 더 구체적으로는 햅틱 효과를 생성하는 디바이스에 관한 것이다.
햅틱은 힘, 진동 및 모션과 같은 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 적용함으로써 사용자의 촉감을 사용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스, 터치스크린 디바이스, 및 개인용 컴퓨터와 같은 디바이스는 햅틱 효과를 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과를 생성할 수 있는 내장 하드웨어(예를 들어, 액츄에이터)에 대한 호출은 디바이스의 운영 체제("OS") 내에서 프로그래밍될 수 있다. 이들 호출은 어느 햅틱 효과를 재생할지를 특정한다. 예를 들어, 사용자가 예를 들어, 버튼, 터치스크린, 손잡이, 조이스틱, 휠, 또는 일부 다른 제어를 사용하여 디바이스와 상호작용할 때, 디바이스의 OS는 내장 하드웨어에 제어 회로를 통해 재생 커맨드를 송신할 수 있다. 내장 하드웨어는 이후 적절한 햅틱 효과를 생성한다.
햅틱 효과 개발자는 디바이스에 대한 햅틱 효과를 만들(author) 수 있고, 디바이스는 햅틱 효과를 출력하도록 구성될 수 있다. 대안적으로, 디바이스는 오디오 입력, 비디오 입력, 또는 임의의 다른 타입의 센서 입력과 같은 입력을 수신할 수 있고, 입력을 햅틱 효과로 전환할 수 있고, 햅틱 효과를 출력할 수 있다(또는 입력을 햅틱 컨텐츠로 전환할 수 있고, 믹싱 또는 스트리밍을 통해, 다른 오디오 및/또는 비디오 컨텐츠와 함께 햅틱 컨텐츠를 수신할 수 있다). 어느 시나리오에서든, 상이한 타입의 하드웨어는 상이한 하드웨어 특성들로 인해 상이한 타입들의 햅틱 효과들을 생성할 수 있다. 예를 들어, 상이한 타입의 액츄에이터(예를 들어, ERM(eccentric rotating mass motor) 액츄에이터, 선형 공진 액츄에이터, 및 압전 액츄에이터)는 상이한 액츄에이터의 상이한 전자기 특성들로 인한 상이한 타입의 햅틱 효과를 생성할 수 있다. 일반적으로, 특정 타입의 하드웨어에 대한 햅틱 효과를 만들기를 원하는 햅틱 효과 개발자는 특정 하드웨어에 대해 햅틱 효과를 조정(tailor)하도록 요구된다. 햅틱 효과 개발자가 다수의 하드웨어 타입을 지원하기를 원하는 경우, 햅틱 효과 개발자는 일반적으로, 각각의 하드웨어 타입에 대한 최적의 햅틱 경험을 제공하기 위해, 상이한 햅틱 효과를 만들어야 한다. 이것은 햅틱 효과를 생성하는 것과 관련된 추가적인 설계 시간과 노력을 초래할 수 있다.
일 실시예는 햅틱 신호를 변환하는 시스템이다. 시스템은 오리지널 햅틱 신호를 수신하고, 여기서 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과를 포함한다. 시스템은 추가로 오리지널 햅틱 신호를 새로운 햅틱 신호로 변환하고, 여기서, 새로운 햅틱 신호는 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 제2 햅틱 효과 공간은 제2 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과를 포함하고, 새로운 햅틱 신호 내에 포함된 데이터는 오리지널 햅틱 신호 내에 포함된 데이터에 기초한다. 시스템은 추가로 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 새로운 햅틱 효과를 생성한다.
추가적인 실시예에서, 상세항목, 장점 및 수정은, 첨부 도면들과 함께 취해질 바람직한 실시예의 후속하는 상세한 설명으로부터 명백해질 것이다.
도 1은 발명의 일 실시예에 따른 시스템의 블록도를 예시한다.
도 2는 발명의 실시예에 따라, 햅틱 신호를 변환하거나 "와핑(warp)"하는 시스템의 흐름도이다.
도 3은 발명의 실시예에 따라, 햅틱 효과 공간 매핑의 예시적인 차트와 그래프를 예시하는 도면이다.
도 4는 발명의 실시예에 따라, 제1 햅틱 효과 공간과 연관된 제1 햅틱 신호의 제2 햅틱 효과 공간과 연관된 제2 햅틱 신호로의 예시적인 변환 또는 "와핑"을 예시하는 도면이다.
도 5는 발명의 실시예에 따라, 햅틱 신호에 과도(transient)를 추가함으로써 제1 햅틱 효과 공간과 연관된 햅틱 신호의 예시적인 변환 또는 "와핑"을 예시하며, 여기서, 과도는 제2 햅틱 효과 공간과 연관된, 도면이다.
도 6은 발명의 실시예에 따른, 햅틱 와핑 모듈의 기능성의 흐름도를 예시한다.
도 7은 발명의 또 다른 실시예에 따른, 햅틱 와핑 모듈의 기능성의 흐름도를 예시한다.
도 8은 발명의 또 다른 실시예에 따른, 햅틱 와핑 모듈의 기능성의 흐름도를 예시한다.
일 실시예는 특정 타입의 햅틱 출력 디바이스를 위해 설계된 입력 햅틱 신호를 또 다른 특정 타입의 햅틱 출력 디바이스에 대해 설계된 또 다른 햅틱 신호로 변환하거나 "와핑"하는 시스템이다. 입력 햅틱 신호는 자동으로(예를 들어, 오디오 입력, 비디오 입력 및/또는 센서 입력으로부터) 생성된, 또는 수동으로(예를 들어, 햅틱 효과 설계자에 의해 햅틱 효과 개발 플랫폼을 사용하여) 생성된 햅틱 신호일 수 있다. 입력 햅틱 신호는 임의의 타입의 액츄에이터(예를 들어, ERM(eccentric rotating mass) 모터 액츄에이터, 선형 공진 액츄에이터, 및 압전 액츄에이터), 또는 다른 타입의 햅틱 출력 디바이스에 대해 생성될 수 있다. 입력 햅틱 신호는 출력 햅틱 신호가 상이한 타입의 액츄에이터 또는 다른 타입의 햅틱 출력 디바이스 상에서 재생될 때 최적의 햅틱 경험을 생성할 수 있도록 출력 햅틱 신호로 변환될 수 있다. 입력 햅틱 신호를 변환할 시에, 타겟 햅틱 출력 디바이스의 특성들(예를 들어, 스펙트럼 특성들 및 시간 특성들)이 고려될 수 있고, 입력 햅틱 신호는 타겟 햅틱 출력 디바이스의 특성들에 기초하여 출력 햅틱 신호로 변환될 수 있다. 예를 들어, 고-해상도 액츄에이터에 대해 생성된 햅틱 신호는 표준-해상도 액츄에이터에 대해 생성된 햅틱 신호로 변환될 수 있다. 표준-해상도 액츄에이터는 베이스라인 범위의 진동 강도를 베이스라인 범위의 상이한 진동 효과에 제공할 수 있는 액츄에이터이다. 고-해상도 액츄에이터는 증가한 범위의 진동 강도를 증가한 범위의 상이한 진동 효과에 제공할 수 있는 액츄에이터이다. 또한, 고-해상도 액츄에이터는 빠르게 변경하는 동적 햅틱 효과의 제공(render)을 강제하게 하기에 충분한 속도로 자신의 강도 레벨을 증가시키거나 감소시킬 수 있다. 따라서, 표준-해상도 액츄에이터에 비해, 고-해상도 액츄에이터는 고속 응답 시간, 높은 동적 범위, 및 또한 넓은 주파수 응답을 가진다. 고-해상도 액츄에이터는 다수의 주파수(예를 들어, 100 헤르츠("Hz") 내지 400 Hz)에서 햅틱 효과를 생성할 수 있다. 그에 비해, 표준-해상도 액츄에이터는 제한된 범위의 크기, 또는 제한된 범위의 주파수를 생성할 수 있는 액츄에이터이다.
도 1은 발명의 실시예에 따르는 시스템(10)의 블록도를 예시한다. 일 실시예에서, 시스템(10)은 모바일 디바이스의 일부분이고, 시스템(10)은 모바일 디바이스에 대한 햅틱 와핑 기능성을 제공한다. 또 다른 실시예에서, 시스템(10)은 웨어러블 디바이스의 일부분이고, 시스템(10)은 웨어러블 디바이스에 대한 햅틱 와핑 기능성을 제공한다. 웨어러블 디바이스의 예는 손목 밴드, 헤드밴드, 안경, 반지, 다리 밴드, 의복에 통합된 어레이, 또는 사용자가 신체에 착용할 수 있거나 사용자에 의해 쥐일 수 있는 임의의 다른 타입의 디바이스를 포함한다. 일부 웨어러블 디바이스는 "햅틱 인에이블(haptically enabled)"일 수 있는데, 이는 웨어러블 디바이스가 햅틱 효과를 생성하기 위한 메커니즘을 포함함을 의미한다. 또 다른 실시예에서, 시스템(10)은 디바이스(예를 들어, 모바일 디바이스 또는 웨어러블 디바이스)로부터 분리되며, 디바이스에 대한 햅틱 와핑 기능성을 원격으로 제공한다. 단일 시스템으로서 도시되어 있지만, 시스템(10)의 기능성은 분산 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 통신하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스(12)에 커플링된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 타입의 범용 또는 특정 목적 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보와 명령어들을 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크와 같은 정적 스토리지, 또는 임의의 다른 타입의 컴퓨터-판독가능한 매체의 임의의 결합으로 구성될 수 있다. 시스템(10)은 또한 별도의 트랙 또는 파일에서 햅틱 파형을 수신할 수 있거나, 또는 파일 내에 저장된 다른 타입의 오디오 및/또는 비디오 컨텐츠와 믹싱된 햅틱 파형을 수신할 수 있다.
컴퓨터-판독가능한 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 탈착가능 및 탈착 불가능한 매체, 통신 매체, 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 다른 데이터를 포함할 수 있고, 당해 기술분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능 프로그래밍 가능한 판독-전용 메모리("EPROM"), 전기적으로 소거가능 프로그램 가능한 판독-전용 메모리("EEPROM"), 레지스터, 하드 디스크, 탈착가능한 디스크, 컴팩트 디스크 판독-전용 메모리("CD-ROM"), 또는 당해 기술분야에 공지되어 있는 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 일 실시예에서 시스템(10)에 대한 운영 체제 기능성을 제공하는 운영 체제(15), 뿐만 아니라 모바일 디바이스의 나머지를 포함한다. 모듈은, 하기에 더 상세하게 개시된 바와 같이, 햅틱 신호를 변환하거나 "와핑"하는 햅틱 와핑 모듈(16)을 더 포함한다. 특정 실시예에서, 햅틱 와핑 모듈(16)은 복수의 모듈을 포함할 수 있고, 각각의 모듈은 햅틱 신호를 변환하거나 "와핑"하기 위한 특정 개별 기능성을 제공한다. 시스템(10)은 통상적으로, Immersion Corporation에 의한 Integrator™ 소프트웨어와 같은, 추가적인 기능성을 제공하기 위한 하나 이상의 추가적인 애플리케이션 모듈(18)을 포함할 것이다.
실시예에서 원격 소스로부터 데이터를 전송하고 그리고/또는 수신하는 시스템(10)은, 적외선, 라디오, Wi-Fi와 같은 모바일 무선 네트워크 통신, 또는 셀룰러 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 디바이스(20)를 더 포함한다. 다른 실시예에서, 통신 디바이스(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 사용자에게 그래픽 표현 또는 사용자 인터페이스를 디스플레이하기 위한, 액정 디스플레이("LCD")와 같은 디스플레이(24)에 버스(12)를 통해 추가로 커플링된다. 디스플레이(24)는, 프로세서(22)로부터 신호를 송신하고 수신하도록 구성된, 터치 스크린과 같은 터치-감지 입력 디바이스일 수 있고, 다중-터치 터치스크린일 수 있다.
시스템(10)은, 일 실시예에서, 액츄에이터(26)를 더 포함한다. 프로세서(22)는 생성된 햅틱 효과와 연관된 햅틱 신호를 액츄에이터(26)에 전송할 수 있고, 액츄에이터(26)는 차례로, 진동촉각(vibrotactile) 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과와 같은 햅틱 효과를 출력한다. 액츄에이터(26)는 액츄에이터 구동 회로를 포함한다. 액츄에이터(26)는 예를 들어, 전기 모터, 전자기 액츄에이터, 음성 코일, 형상 기억 합금, 전자-활성 폴리머, 솔레노이드, ERM(eccentric rotating mass) 모터, 선형 공진 액츄에이터("LRA"), 압전 액츄에이터, 고 대역폭 애츄에이터, 전자활성 폴리머("EAP") 액츄에이터, 정전 마찰 디스플레이, 또는 초음파 진동 생성기일 수 있다. 대안적인 실시예에서, 시스템(10)은 액츄에이터(26)(도 1에 도시되지 않음)에 부가하여, 하나 이상의 추가적인 액츄에이터를 포함할 수 있다. 액츄에이터(26)는 햅틱 출력 디바이스의 예이며, 구동 신호에 응답하여, 햅틱 출력 디바이스는 진동촉각 햅틱 효과, 정전기 마찰 햅틱 효과, 또는 변형 햅틱 효과와 같은 햅틱 효과를 출력하도록 구성된 디바이스이다. 대안적인 실시예에서, 액츄에이터(26)는 일부 다른 타입의 햅틱 출력 디바이스로 대체될 수 있다. 또한, 다른 대안적인 실시예에서, 시스템(10)은 액츄에이터(26)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스는, 햅틱 효과를 생성하는 액츄에이터 또는 다른 햅틱 출력 디바이스를 포함하고, 시스템(10)은 생성된 햅틱 신호를 통신 디바이스(20)를 통해 그 디바이스에 송신한다.
시스템(10)은, 일 실시예에서 스피커(28)를 더 포함한다. 프로세서(22)는 차례로 오디오 효과를 출력하는 스피커(28)에 오디오 신호를 전송할 수 있다. 스피커(28)는, 예를 들어, 동적 라우드스피커, 전기역학 라우드스피커, 압전 라우드스피커, 자왜식 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡파(bending wave) 라우드스피커, 평판 라우드스피커, 헤일 에어 모션(heil air motion) 트랜스듀서, 플라즈마 아크 라우드스피커 및 디지털 라우드스피커일 수 있다. 대안적인 실시예에서, 시스템(10)은, 스피커(28)에 더하여, 하나 이상의 추가적인 스피커를 포함할 수 있다(도 1에 예시되지 않음). 또한, 다른 대안적인 실시예에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스는 오디오 효과를 출력하는 스피커를 포함하고, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스에 오디오 신호를 송신한다.
시스템(10)은, 일 실시예에서, 센서(30)를 더 포함한다. 센서(30)는 사운드, 움직임, 가속, 생체 신호, 거리, 흐름, 힘/압력/변형/구부림, 습도, 선형 위치, 배향/경사, 라디오 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도와 같은, 그러나 이에 제한되지 않는, 에너지 또는 다른 물리적 특징의 형태를 검출하도록 구성될 수 있다. 센서(30)는 검출된 에너지 또는 다른 물리적 특징을 전기 신호, 또는 가상 센서 정보를 나타내는 임의의 신호로 전환하도록 추가로 구성될 수 있다. 센서(30)는, 가속계, 심전도계, 뇌파계, 근전도계, 안구 전도계, EPG(electropalatograph), 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 구부림 센서(또는 굴곡 센서), 힘-감지 저항기, 로드 셀, LuSense CPS2 155, 소형 압력 트랜스듀서, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변환기, 나침반, 경사계, 자기 태그(또는 라디오 주파수 식별 태그), 회전 인코더, 회전 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예를 들어, 온도계, 서모커플(thermocouple), 저항 온도 검출기, 서미스터(thermistor), 또는 온도-트랜스듀싱 집적 회로), 마이크로폰, 광도계, 고도계, 생체 모니터, 카메라, 또는 광-종속 저항기와 같은, 그러나 이에 제한되지 않는, 임의의 디바이스일 수 있다. 대안적인 실시예에서, 시스템(10)은, 센서(30)에 더하여, 하나 이상의 추가적인 센서를 포함할 수 있다(도 1에 예시되지 않음). 이들 중 일부 실시예에서, 센서(30) 및 하나 이상의 추가적인 센서는 센서 어레이의 일부, 또는 일부 다른 타입의 센서 컬렉션일 수 있다. 또한, 다른 대안적인 실시예에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과는 별개의 디바이스가 에너지 또는 다른 물리적 특징의 형태를 검출하는 센서를 포함하고, 검출된 에너지 또는 다른 물리적 특징을 전기 신호, 또는 가상 센서 정보를 나타내는 다른 타입의 신호로 전환한다. 디바이스는 통신 디바이스(20)를 통해 시스템(10)에 전환된 신호를 송신할 수 있다. 대안적으로, 디바이스는 센서(30)의 센서 신호를 햅틱 효과 트랙 또는 파일로 전환할 수 있다.
발명의 실시예에 따르면, 도 2는 햅틱 신호를 변환하거나 "와핑"하는 시스템의 흐름도를 예시한다. 일 실시예에서, 도 2의 기능성, 뿐만 아니라, 도 6, 7 및 8의 기능성은 메모리 또는 다른 컴퓨터-판독가능한 또는 유형의 매체에 저장되고 소프트웨어에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 각각의 기능성은 하드웨어에 의해(예를 들어, 주문형 집적 회로("ASIC"), 프로그래밍가능한 게이트 어레이("PGA"), 필드 프로그래밍가능한 게이트 어레이("FPGA") 등의 사용을 통해), 또는 하드웨어와 소프트웨어의 임의의 결합에 의해 수행될 수 있다.
실시예에 따르면, 흐름은 210에서 시작한다. 210에서, 햅틱 신호가 수신되고, 여기서 햅틱 신호는 파형과 같은 데이터를 포함하고, 파형은 펄스-코딩 변조("PCM") 포맷인 하나 이상의 신호 값들의 세트이다. 햅틱 신호는 햅틱 효과와 연관될 수 있고, 햅틱 신호는 액츄에이터와 같은 햅틱 출력 디바이스에 송신될 수 있고, 햅틱 출력 디바이스는 햅틱 신호에 기초하여 햅틱 효과를 출력할 수 있다. 햅틱 효과의 예는 햅틱 출력 디바이스의 사용자에 의해 느껴지는 진동을 생성할 수 있는 진동촉각 햅틱 효과이다. 햅틱 효과의 다른 예는 정전기 마찰, 햅틱 효과, 또는 변형 햅틱 효과를 포함할 수 있다.
220에 따르면, 햅틱 신호는 입력 신호로부터 자동으로 생성되거나, 또는 햅틱 효과 개발 플랫폼을 사용하여 수동으로 생성될 수 있다. 더 구체적으로, 입력 신호가 수신될 수 있고, 햅틱 신호는 입력 신호에 기초하여 자동으로 생성될 수 있다. 입력 신호의 예는 오디오 신호, 비디오 신호, 가속 신호, 배향 신호, 주변광 신호, 움직임 신호, 온도 신호, 또는 다른 유사한 타입의 신호를 포함한다. 대안적인 실시예에서, 입력 신호에 기초하여 자동으로 생성된다기보다는, 햅틱 신호는 Immersion Corporation의 Haptic Studio™과 같은 햅틱 효과 개발 플랫폼을 사용하여 수동으로 생성될 수 있다. 햅틱 효과 개발 플랫폼을 사용하여, 햅틱 효과 개발자는 원하는 햅틱 효과를 생성하기 위해 사용될 수 있는 햅틱 신호의 하나 이상의 특성들을 정의할 수 있고, 햅틱 효과 개발 플랫폼은 하나 이상의 정의된 특성에 기초하여 햅틱 신호를 생성할 수 있다. 또한, 햅틱 신호는 특정 타입의 햅틱 출력 신호에 대해 설계될 수 있다. 더 구체적으로, 햅틱 신호는 햅틱 효과 공간과 연관될 수 있고, 햅틱 효과 공간은 가능하게는 햅틱 출력 디바이스에 의해 생성될 수 있는 햅틱 효과의 세트를 포함한다. 햅틱 효과 공간은 도 3과 함께 더 상세하게 하기에 기술되어 있다. 흐름은 이후 230으로 진행한다.
230에서, 햅틱 신호는 새로운 햅틱 신호로 변환되거나 와핑(도 2에서 "적응된" 것으로 식별됨)될 수 있다. 더 구체적으로, 새로운 햅틱 신호가 생성될 수 있고, 여기서 새로운 햅틱 신호는 파형과 같은 데이터를 포함하고, 데이터는 오리지널 신호의 데이터에 기초한다. 이러한 변환 또는 "와핑"은 추가로 도 4-8과 함께 더 상세히 하기에 기술되어 있다. 추가로, 새로운 햅틱 신호는 새로운 햅틱 효과 공간과 연관될 수 있고, 새로운 햅틱 효과 공간은 오리지널 햅틱 신호의 오리지널 햅틱 효과 공간과는 상이하다. 240에 따르면, 햅틱 신호의 변환은 타겟 햅틱 출력 디바이스의 하나 이상의 특성에 기초할 수 있다. 예를 들어, 새로운 햅틱 신호가 높은 주파수를 가지는 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스에 송신될 경우, 햅틱 신호는 높은 값을 가지는 햅틱 주파수 파라미터를 가지고 생성될 수 있다. 이들 실시예에서, 새로운 햅틱 신호의 새로운 햅틱 효과 공간은 타겟 햅틱 출력 디바이스의 햅틱 효과 공간일 수 있다. 새로운 햅틱 신호는 이후 ("재생 디바이스"로서 도 2에 식별된) 타겟 햅틱 출력 디바이스에 송신될 수 있고, 여기서 새로운 햅틱 신호가 재생되어 햅틱 효과를 생성한다. 특정 실시예에서, 오리지널 햅틱 신호는 또한 (도 2에 예시되지 않은) 상이한 타겟 햅틱 출력 디바이스에 송신되어 타겟 햅틱 출력 디바이스에 의해 생성된 햅틱 효과를 보완하는 상보적 햅틱 효과를 생성할 수 있다. 이후 흐름이 종료한다.
특정 실시예에서, 생성된 새로운 햅틱 신호는 사용자의 멀티미디어 시청 경험을 향상시키기 위해 하나 이상의 오디오 신호 및/또는 비디오 신호와 함께 재생될 수 있다. 이들 중 일부 실시예에서, 햅틱 출력 디바이스는 오디오/비디오 출력 디바이스(예를 들어, 모바일 디바이스)와 동일할 수 있다. 이들 중 일부 다른 실시예에서, 햅틱 출력 디바이스는 오디오/비디오 출력 디바이스(예를 들어, 햅틱 의자, 웨어러블 햅틱 디바이스 등)와는 별개일 수 있다.
또한, 특정 실시예에서, 입력 햅틱 신호의 새로운 햅틱 신호로의 변환 또는 "와핑"은 서버와 같은, 입력 햅틱 신호를 수신하는 디바이스와는 별개인 디바이스에 의해 "오프라인"으로 수행될 수 있다. 변환이 "오프라인"일 때, 전체 입력 햅틱 신호의 데이터는 입력 햅틱 신호를 새로운 햅틱 신호로 변환하기 위해 사용될 수 있다. 새로운 햅틱 신호는 이후 오리지널 디바이스에 역 스트리밍될 수 있고, 오리지널 디바이스는 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신할 수 있다. 대안적인 실시예에서, 입력 햅틱 신호의 새로운 햅틱 신호로의 변환 또는 "와핑"은 입력 햅틱 신호를 수신하는 동일한 디바이스에 의해 "온라인"으로 수행될 수 있고, 여기서 변환은 실시간 또는 거의 실시간으로 수행될 수 있다. 이들 실시예에서, 입력 햅틱 신호의 상이한 부분은 입력 햅틱 신호를 새로운 햅틱 신호로 순차적으로 변환하기 위해 사용될 수 있고, 전체 입력 햅틱 신호는 임의의 특정 시간에서 사용가능하지 않다. 또한, 특정 실시예에서, 새로운 햅틱 신호는 햅틱 출력 디바이스에 즉시 송신된다기 보다는, 컴퓨터 파일, 또는 다수의 컴퓨터 파일에 저장될 수 있다. 이들 실시예에서, 새로운 햅틱 신호는 컴퓨터 파일 또는 다수의 컴퓨터 파일로부터 순차적으로 검색될 수 있고, 새로운 햅틱 신호는 햅틱 출력 디바이스에 송신될 수 있거나, 또는 하나 이상의 오디오 신호 및/또는 비디오 신호와 믹싱될 수 있다.
도 3은, 발명의 실시예에 따라, 햅틱 효과 공간 매핑의 예시적인 차트 및 그래프를 예시한다. 이전에 기술된 바와 같이, 특정 타입의 액츄에이터에 대해 설계되고 특정 햅틱 효과 공간과 연관된 햅틱 신호는 상이한 타입의 액츄에이터에 대해 설계되고 상이한 햅틱 효과 공간과 연관된 새로운 햅틱 신호로 변환되거나 "와핑"될 수 있다. 또한 전술된 바와 같이, 햅틱 효과 공간은 가능하게는 액츄에이터와 같은 햅틱 출력 디바이스에 의해 생성될 수 있는 햅틱 효과의 세트를 포함한다. 도 3의 예시된 실시예에서, 예시적인 진동촉각 햅틱 효과 공간이 예시되어 있다. 그러나, 당업자는 진동촉각 햅틱 효과 공간이 햅틱 효과 공간의 일 예이며, 대안적인 실시예에서, 정전기 마찰 햅틱 효과 공간 또는 변형 햅틱 효과 공간과 같은 다른 타입의 햅틱 효과 공간이 활용될 수 있음을 쉽게 이해할 것이다.
예시된 실시예에 따르면, 이상적인 고-해상도 진동촉각 햅틱 효과 공간(310)은 이상적 환경(예를 들어, 진동촉각 액츄에이터의 사이즈 또는 전력 요건에서의 제약이 없는)에서 실제 진동촉각 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. 이상적인 고-해상도 진동촉각 햅틱 효과 공간(310)의 서브세트는 실제적인 고-해상도 진동촉각 햅틱 효과 공간(320)이다. 실제적인 고-해상도 진동촉각 햅틱 효과 공간(320)은 실제 환경(예를 들어, 진동촉각 액츄에이터의 사이즈 및 전력 요건에서의 실제 제약이 있는)에서 실제 진동 촉각 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다.
실제 고-해상도 진동촉각 햅틱 효과 공간(320)의 4개의 서브세트는: 현재 고-해상도 압전 액츄에이터 진동촉각 햅틱 효과 공간(330); 현재 고-해상도 EAP 액츄에이터 진동촉각 햅틱 효과 공간(340); LRA 진동촉각 햅틱 효과 공간(350); 및 ERM 진동촉각 햅틱 효과 공간(360)이다. 현재 고-해상도 압전 액츄에이터 진동촉각 햅틱 효과 공간(330)은 이러한 액츄에이터의 전자기계 특성에 기초하여 현재 고-해상도 압전 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. 현재 고-해상도 EAP 액츄에이터 진동촉각 햅틱 효과 공간(340)은 이러한 액츄에이터의 전자기계 특성에 기초하여 현재 고-해상도 EAP 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. LRA 진동촉각 햅틱 효과 공간(350)은 이러한 액츄에이터의 전자기계 특성에 기초하여 현재 LRA를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. ERM 진동촉각 햅틱 효과 공간(360)은 이러한 액츄에이터의 전자 기계 특성에 기초하여 현재 ERM을 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. LRA 및 ERM 햅틱 효과 공간은 때때로 고-해상도 액츄에이터를 이용하여 생성될 수 있지만, 일부 고-해상도 액츄에이터는 일부 LRA 및 ERM 햅틱 효과 공간을 완전히 재생성할 수는 없다.
예시된 실시예에 따르면, 변환 또는 "와핑" 알고리즘은 도 3에 예시된 진동촉각 햅틱 효과 공간 중 하나와 연관된 오리지널 햅틱 신호에 적용될 수 있고, 따라서, 오리지널 햅틱 신호는 도 3에 예시된 상이한 진동촉각 햅틱 효과 공간과 연관된 새로운 햅틱 신호로 변환된다. 예를 들어, 오리지널 햅틱 신호는 이상적인 고-해상도 진동촉각 햅틱 효과 공간(310)과 연관될 수 있다. 오리지널 햅틱 효과는 ERM 진동촉각 햅틱 효과 공간(360)과 연관된 새로운 햅틱 신호로 변환될 수 있다. 또 다른 예로서, 오리지널 햅틱 신호는 LRA 진동촉각 햅틱 효과 공간(350)과 연관된 새로운 햅틱 신호로 변환될 수 있다.
따라서, 와핑 알고리즘의 목적은 특정 햅틱 출력 디바이스의 타입에 대해 설계된 햅틱 효과가 상이한 타입의 팹칙 출력 디바이스 상에서 재생되도록 하는 동시에 햅틱 효과에 의해 제공되는 햅틱 경험을 보존하는 것이다. 특정 실시예에서, 고-해상도 압전 액츄에이터에 대해 설계된 햅틱 신호로부터 더 낮은 품질의 액츄에이터(예를 들어, LRA 또는 ERM)에 대해 설계된 햅틱 신호로의 변환이 와핑 알고리즘에 의해 제공될 수 있다. 그러나, 대안적인 실시예에서, 와핑 알고리즘은, 더 낮은 품질의 액츄에이터로부터 더 높은 품질의 액츄에이터로의 변환을 포함한, 다른 타입의 변환을 제공할 수 있다.
특정 실시에에서, 와핑 알고리즘은 제1 햅틱 신호 내에 포함된 데이터의 하나 이상의 주파수(또는 "피치")를 시프트시킴으로써 제1 햅틱 신호를 제2 햅틱 신호로 변환할 수 있다. 이러한 주파수-시프팅 기법(또는 "피치-시프트" 기법)은 추가로 도 4 및 5와 함께 더 상세하게 하기에 기술되어 있다. 대안적인 실시예에서, 와핑 알고리즘은 다른 타입의 데이터 변환 기법에 의해 제1 햅틱 신호를 제2 햅틱 신호로 변환할 수 있다. 다른 타입의 데이터 변환 기법은 추가로 도 6, 7 및 8과 함께 더 상세하게 하기에 기술되어 있다.
특정 실시예들에서, 햅틱 신호는 이벤트-기반 햅틱 신호일 수 있고, 이벤트는 대응하는 오디오 신호 및/또는 비디오 신호 내에서 마킹되고, 햅틱 효과는 인코딩된 오디오 신호 및/또는 비디오 신호에 기초하여 출력될 수 있다. 대안적인 실시예에서, 햅틱 신호는 파라미터 햅틱 신호일 수 있고, 하나 이상의 파라미터화된 햅틱 효과는 특정 시점에서 재생된다. 이들 중 일부 실시예에서, 파라미터화된 햅틱 효과는 별도의 햅틱 신호 내에서 인코딩되고, 파라미터화된 햅틱 효과는 특정 시점에서 기술된다. 대안적인 실시예에서, 햅틱 신호는 PCM 햅틱 신호일 수 있고, PCM 오디오 신호는 PCM 햅틱 신호로 전환될 수 있다. 또한, 일부 실시예에서, 일단 햅틱 신호가 생성되면, 햅틱 신호는 상이한 특정 윈도우에서 대역-통과 필터링될 수 있고, 이후, 특정 윈도우의 크기가 결정되어 전송되거나 저장될 수 있다. 햅틱 신호가 디코딩될 시에, 포락선 크기가 햅틱 신호를 재구성하기 위해 사용될 수 있을 때 역 프로세스가 적용될 수 있다.
도 4는 발명의 실시예에 따라, 제1 햅틱 효과 공간과 연관된 제1 햅틱 신호(410)의 제2 햅틱 효과 공간과 연관된 제2 햅틱 신호(420)로의 예시적인 변환 또는 "와핑"을 예시한다. 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스 타입에 대응하고, 제2 햅틱 효과 공간은 제2 햅틱 출력 디바이스 타입에 대응한다. 예시된 실시예에 따르면, 변환은 제1 햅틱 신호(410)의 하나 이상의 공진 주파수(즉, 주파수 frs1)를 제2 햅틱 신호(420)의 하나 이상의 공진 주파수(즉, 주파수 frs2)로 시프트하는 것을 수반한다. 따라서, 제1 햅틱 신호(410)의 제1 주파수 대역폭은 제2 햅틱 신호(420)의 제2 주파수 대역폭으로 변환될 수 있다. 특정 실시예에서, 이것은: (a) 주파수 대역폭의 공진을 식별하는 것; (b) 하위 인지 제한을 나타내는 주파수를 식별하는 것, 여기서 인지 제한은 사람이 햅틱 신호에 의해 생성된 진동촉각 햅틱 효과를 인지할 수 있는 주파수 제한임; 및 (c) 상위 인지 제한을 나타내는 주파수를 식별하는 것을 수반한다.
예시된 실시예에 따르면, 제1 햅틱 신호(410)는 실제 고-해상도 햅틱 효과 공간과 연관되고, 제2 햅틱 신호(420)는 고-해상도 압전 액츄에이터 햅틱 효과 공간과 연관된다. 그러나, 이것은 단지 예시적인 실시예이며, 다른 실시예에서: (a) 제1 햅틱 신호(410)는 고-해상도 압전 액츄에이터 햅틱 효과 공간과 연관될 수 있고, 제2 햅틱 신호(420)는 LRA 햅틱 효과 공간과 연관될 수 있고; (b) 제1 햅틱 신호(410)는 고-해상도 압전 액츄에이터 햅틱 효과 공간과 연관될 수 있고, 제2 햅틱 신호(420)는 ERM 햅틱 효과 공간과 연관될 수 있고; 또는 (c) 제1 햅틱 신호(410)는 LRA 햅틱 공간과 연관될 수 있고, 제2 햅틱 신호(420)는 ERM 햅틱 효과 공간과 연관될 수 있다.
예시된 실시예에 따르면, 햅틱 신호(410)의 주파수는 햅틱 신호(420)의 주파수로 시프트된다. 햅틱 신호(410 및 420)가 이벤트-기반 햅틱 신호인 실시예에서, 햅틱 신호(410)의 주파수는 미리-정의된 매핑에 기초하여 햅틱 신호(420)의 주파수에 매핑될 수 있다(즉, 햅틱 효과를 트리거링하는 각각의 공진 주파수 값이 또 다른 공진 주파수에 매핑될 수 있다). 햅틱 신호(410 및 420)가 파라미터화된 신호인 실시예에서, 햅틱 신호(410)의 각각의 공진 주파수는 햅틱 신호(420)의 또 다른 공진 주파수에 매핑될 수 있고, 햅틱 신호(410)의 크기, 듀레이션 및 포락선 정보는 햅틱 신호(420) 내에 일정하게 유지된다. 햅틱 신호(410 및 420)가 PCM 햅틱 신호인 실시예에서, 햅틱 신호(410)의 각각의 크기는 햅틱 신호(420)의 크기에 먼저 매핑될 수 있고, 후속적으로, 햅틱 신호(410)의 각각의 주파수는 햅틱 신호(420)의 주파수에 매핑될 수 있다.
도 4에서 알 수 있는 바와 같이, 햅틱 신호(410 및 420)의 공진은 250Hz의 주파수에서 식별된다. 추가로, 햅틱 신호(410 및 420)의 인지 범위는 100Hz 내지 500Hz의 범위를 가지는 주파수 대역폭에서 식별되며, 하위 인지 제한은 100Hz에 있고, 상위 인지 제한은 500Hz의 주파수에 있다. 또한 도 4에서 알 수 있는 바와 같이, 햅틱 신호(410)의 주파수 대역폭 내의 주파수는 햅틱 신호(420)의 주파수 대역폭 내의 주파수로 시프트된다.
도 5는 발명의 실시예에 따라, 햅틱 신호(510)에 과도(520)를 추가함으로써 제1 햅틱 효과 공간과 연관된 햅틱 신호(510)의 예시적인 변환 또는 "와핑"을 예시하며, 여기서 과도(520)는 제2 햅틱 효과 공간과 연관된다. 실시예에 따르면, 햅틱 신호(510)는 더 낮은 주파수(예를 들어, 60 Hz보다 더 작거나 같은 주파수)만을 포함하는 햅틱 신호이다. 과도(520)와 같은 과도는 상태의 변경에 의해 야기되는 짧은 듀레이션의 햅틱 신호이다. 실시예에 따르면, 햅틱 신호(510)가 더 낮은 주파수만을 포함할 때, 하나 이상의 과도(예를 들어, 과도(520))는 햅틱 신호(510)에 추가될 수 있다. 햅틱 신호(510) 및 과도(520)는 하나 이상의 햅틱 출력 디바이스에서 재생될 수 있다. 따라서, 햅틱 신호(510)와 과도(520)의 결합은 새로운 햅틱 신호를 구성한다.
도 6은 발명의 일 실시예에 따라, 햅틱 와핑 모듈(예를 들어, 도 1의 햅틱 와핑 모듈(16))의 기능성의 흐름도를 예시한다. 특정 실시예에서, 기능성의 일부는 생략될 수 있다. 흐름이 시작하여 610으로 진행한다. 610에서, 오리지널 햅틱 신호가 수신된다. 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로는, 오리지널 햅틱 신호는 프라이머리 햅틱 출력 디바이스에서 재생될 때 하나 이상의 프라이머리 햅틱 효과를 생성할 수 있고, 프라이머리 햅틱 효과는 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 프라이머리 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 특정 실시예에서, 프라이머리 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 압전 액츄에이터 또는 EAP 액츄에이터와 같은 고-해상도 액츄에이터일 수 있다. 또한, 이들 중 일부 실시예에서, 햅틱 효과는 진동촉각 햅틱 효과일 수 있고, 제1 햅틱 효과 공간은 진동촉각 햅틱 효과 공간일 수 있다. 흐름은 이후 620으로 진행한다.
620에서, 새로운 햅틱 신호가 생성된다. 새로운 햅틱 신호는 제2 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로, 새로운 햅틱 신호는 세컨더리 햅틱 출력 디바이스에서 재생될 때 하나 이상의 세컨더리 햅틱 효과를 생성할 수 있고, 제2 햅틱 효과는 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 세컨더리 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 또한, 제2 햅틱 효과 공간은 제1 햅틱 효과 공간과는 상이할 수 있다. 이것은 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트가 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트와는 상이할 수 있음을 의미한다.
특정 실시예에서, 새로운 햅틱 신호 내에 포함된 데이터는 오리지널 햅틱 신호 내에 포함된 데이터에 기초할 수 있다. 이들 중 일부 실시예에서, 새로운 햅틱 신호 내에 포함된 데이터는 다음과 같도록 존재할 수 있다: (a) 새로운 햅틱 신호는 세컨더리 햅틱 출력 디바이스가, 오리지널 햅틱 신호 내에 포함된 데이터의 절댓 값이 미리-정의된 임계보다 더 크거나 같은 오리지널 햅틱 신호의 듀레이션 동안 하나 이상의 세컨더리 햅틱 효과를 생성하게 한다; 그리고 (b) 새로운 햅틱 신호는 세컨더리 햅틱 출력 디바이스가, 오리지널 햅틱 신호 내에 포함된 데이터의 절댓값이 미리-정의된 임계보다 더 작은 오리지널 햅틱 신호의 듀레이션 동안 어떠한 세컨더리 햅틱 효과도 생성하지 않게 한다. 특정 실시예에서, 세컨더리 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 LRA 또는 ERM과 같은 표준-해상도 액츄에이터일 수 있다. 흐름은 이후 630으로 진행한다.
630에서, 오리지널 햅틱 신호가 프라이머리 햅틱 출력 디바이스에 송신되어 하나 이상의 프라이머리 햅틱 효과를 생성한다. 특정 실시예에서, 630은 생략될 수 있고, 오리지널 햅틱 신호는 어떠한 햅틱 출력 디바이스에도 송신되지 않는다. 흐름은 이후 640으로 진행한다.
640에서, 새로운 햅틱 출력 신호가 세컨더리 햅틱 출력 디바이스에 송신되어 하나 이상의 세컨더리 햅틱 효과를 생성한다. 흐름은 이후 종료한다.
도 7은, 발명의 또 다른 실시예에 따르면, 햅틱 와핑 모듈(예를 들어, 도 1의 햅틱 와핑 모듈(16))의 기능성의 흐름도를 예시한다. 특정 실시예에서, 기능성의 일부가 생략될 수 있다. 흐름이 시작하여 710으로 진행한다. 710에서, 오리지널 햅틱 신호가 수신될 수 있다. 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함할 수 있다. 전술된 바와 같이, 오리지널 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 특정 실시예에서, 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 압전 액츄에이터 또는 EAP 액츄에이터와 같은 고-해상도 액츄에이터일 수 있다. 대안적인 실시예에서, 액츄에이터는 LRA 또는 ERM와 같은 표준-해상도 액츄에이터일 수 있다. 또한, 이들 중 일부 실시예에서, 햅틱 효과는 진동촉각 햅틱 효과일 수 있고, 제1 햅틱 효과 공간은 진동촉각 햅틱 효과 공간일 수 있다. 흐름은 이후 720으로 진행한다.
720에서, 오리지널 햅틱 신호에 포함된 데이터는 복수의 시간-윈도우로 분할된다. 각각의 시간-윈도우는 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함한다. 흐름은 이후 730으로 진행한다.
730에서, 레벨은 복수의 시간 윈도우 중 하나의 시간-윈도우에 할당된다. 레벨은 수치 값에 의해 표현될 수 있다. 예를 들어, 1, 2, 3, 4, 5, 또는 6의 수치 값이 시간-윈도우에 할당될 수 있다. 따라서, 다시 말하자면, 시간-윈도우는 양자화된다. 또한, 일부 실시예에서, 레벨은 시간-윈도우 내에 포함된 데이터의 최대 절댓값에 기초하여 시간-윈도우에 할당될 수 있다. 대안적인 실시예들에서, 레벨은 시간-윈도우 내에 포함된 데이터의 평균 절댓값에 기초하여 시간-윈도우에 할당될 수 있다. 특정 실시예에서, 레벨은 복수의 시간-윈도우의 각각의 시간-윈도우에 할당될 수 있다. 흐름은 이후 740으로 진행한다.
740에서, 시간-윈도우의 레벨은 햅틱 효과 패턴을 나타내는 데이터로 번역된다. 특정 실시예에서, 번역은 햅틱 효과 패턴의 듀레이션을 설정하는 것을 포함하고, 햅틱 효과 패턴의 듀레이션 대 시간-윈도우의 듀레이션의 비는 시간-윈도우의 레벨 대 최대 레벨의 비에 비례한다. 예를 들어, 시간-윈도우의 듀레이션이 30 밀리초("ms")이고, 시간-윈도우의 레벨이 4(6의 최대 레벨을 가짐)인 경우, 햅틱 효과 패턴의 대응하는 듀레이션은 20ms이다. 이 예에서, 햅틱 효과 패턴은 후속적으로, 햅틱 효과 패턴이 존재하지 않는 10 ms(즉, 시간-윈도우의 나머지 듀레이션)의 듀레이션만큼 선행한다. 특정 실시예에서, 햅틱 효과 패턴은 진동촉각 햅틱 효과를 나타내는 진동촉각 햅틱 효과 패턴이다. 또한, 일부 실시예에서, 각각의 시간-윈도우의 각각의 레벨은 별도의 햅틱 효과 패턴을 나타내는 별도의 데이터 부분으로 번역될 수 있다. 흐름은 이후 750으로 진행한다.
750에서, 햅틱 효과 패턴을 나타내는 데이터를 포함하는 새로운 햅틱 신호가 생성된다. 새로운 햅틱 신호는 제2 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로, 새로운 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 또한, 제2 햅틱 효과 공간은 제1 햅틱 효과 공간과는 상이할 수 있다. 이것은, 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트가 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트와 상이할 수 있음을 의미한다. 특정 실시예에서, 새로운 햅틱 신호는 별도의 햅틱 효과 패턴을 나타내는 데이터의 별도의 부분을 포함할 수 있다. 흐름은 760으로 진행한다.
760에서, 새로운 햅틱 신호가 햅틱 출력 디바이스에 송신되어 하나 이상의 햅틱 효과를 생성한다. 흐름은 이후 종료한다.
방법의 또 다른 실시예에 따르면, 도 8은 햅틱 와핑 모듈(예를 들어, 도 1의 햅틱 와핑 모듈(16))의 기능성의 흐름도를 예시한다. 특정 실시예에서, 기능성의 일부는 생략될 수 있다. 흐름이 시작하여 810으로 진행한다. 810에서, 오리지널 햅틱 신호가 수신된다. 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함할 수 있다. 전술된 바와 같이, 오리지널 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 특정 실시예에서, 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 압전 액츄에이터 또는 EAP 액츄에이터와 같은 고-해상도 액츄에이터일 수 있다. 대안적인 실시예에서, 액츄에이터는 LRA 또는 ERM과 같은 표준-해상도 액츄에이터일 수 있다. 또한, 이들 중 일부 실시예에서, 햅틱 효과는 진동촉각 햅틱 효과일 수 있고, 제1 햅틱 효과 공간은 진동촉각 햅틱 효과 공간일 수 있다. 흐름은 이후 820으로 진행된다.
820에서, 오리지널 햅틱 신호 내에 포함된 데이터는 복수의 시간-윈도우로 분할된다. 각각의 시간-윈도우는 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함한다. 흐름은 이후 830으로 진행한다.
830에서, 제1 레벨이 복수의 시간 윈도우 중 제1 시간-윈도우에 할당되고, 제2 레벨이 복수의 시간 윈도우 중 제2 시간-윈도우에 할당된다. 특정 실시예에서, 제1 및 제2 시간 윈도우는 시간 상 인접한다(즉, 연속적이다). 전술된 바와 같이, 레벨은 수치 값에 의해 표현될 수 있다. 예를 들어, 1, 2, 3, 4, 5, 또는 6의 수치 값은 제1 시간-윈도우에 할당될 수 있고, 1, 2, 3, 4, 5, 또는 6의 별도의 수치 값은 제2 시간-윈도우에 할당될 수 있다. 따라서, 다시 말해, 제1 시간-윈도우 및 제2 시간 윈도우는 각각 양자화된다. 또한, 일부 실시예에서, 제1 레벨 및 제2 레벨 각각은, 각자 제1 시간-윈도우 및 제2 시간-윈도우 내에 포함된 데이터의 최대 절댓값에 기초하여, 각자 제1 시간-윈도우 및 제2 시간-윈도우에 할당될 수 있다. 대안적인 실시예에서, 제1 레벨 및 제2 레벨 각각은, 각자 제1 시간-윈도우 및 제2 시간-윈도우 내에 포함된 데이터의 평균 절댓값에 기초하여, 각자 제1 시간-윈도우 및 제2 시간-윈도우에 할당될 수 있다. 특정 실시예에서, 레벨은 복수의 시간-윈도우의 각자의 시간-윈도우에 할당될 수 있다. 흐름은 이후 840으로 진행한다.
840에서, 제1 레벨과 제2 레벨 사이의 레벨 트랜지션이 결정된다. 레벨 트랜지션은 제1 레벨로부터 제2 레벨로의 트랜지션이다. 레벨 트랜지션은 복수의 수치 값에 의해 표현될 수 있다. 예를 들어, 4의 수치값이 제1 시간-윈도우에 할당되고, 6의 수치 값이 제2 시간-윈도우에 할당되는 경우, 레벨 트랜지션은 (4,6)에 의해 표현될 수 있다. 또 다른 예로서, 6의 수치값이 제1 시간-윈도우에 할당되고, 4의 수치 값이 제2 시간-윈도우에 할당되는 경우, 레벨 트랜지션은 (6,4)에 의해 표현될 수 있다. 특정 실시예에서, 각각의 레벨과 그것의 다음(succeeding) 레벨 사이의 레벨 트랜지션이 결정될 수 있다. 흐름은 이후 850으로 진행한다.
850에서, 햅틱 효과 패턴은 결정된 레벨 트랜지션에 기초한 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 선택된다. 테이블은 레벨 트랜지션에 대응하는 햅틱 효과 패턴의 미리-정의된 테이블일 수 있고, 미리-정의된 테이블은 햅틱 출력 디바이스 또는 햅틱 출력 디바이스 타입에 대해 구체적으로 미리 정의될 수 있다. 또한, 하나 이상의 햅틱 효과 패턴이 햅틱 출력 디바이스 또는 햅틱 출력 디바이스 타입에 대해 구체적으로 미리 정의될 수 있다. 특정 실시예에서, 제1 레벨과 제2 레벨 간의 트랜지션이 기술적으로 구현가능하지 않을 때(예를 들어, 결정된 레벨 트랜지션이 테이블 내에 존재하지 않을 때, 또는 제1 시간-윈도우의 듀레이션이 선택된 햅틱 효과 패턴을 수용하기에는 너무 짧을 때), 다음이 발생할 수 있다: (a) 제1 레벨 또는 제2 레벨 중 적어도 하나가 수정될 수 있다(예를 들어, 위 또는 아래로 조정됨); (b) 새로운 레벨 트랜지션은 제1 레벨 또는 제2 레벨 중 적어도 하나로의 수정에 기초하여 결정될 수 있다; 그리고 (c) 햅틱 효과 패턴은 새로운 레벨 결정에 기초하여 테이블로부터 선택될 수 있다. 또한, 일부 실시예에서, 별도의 햅틱 효과 패턴은 각각의 결정된 레벨 트랜지션에 대한 테이블로부터 선택될 수 있다. 흐름은 이후 860으로 진행한다.
860에서, 선택된 햅틱 효과 패턴을 나타내는 데이터를 포함하는 새로운 햅틱 신호가 생성된다. 새로운 햅틱 신호는 제2 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로, 새로운 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 또한, 제2 햅틱 효과 공간은 제1 햅틱 효과 공간과는 상이할 수 있다. 이것은 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트가 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트와는 상이할 수 있음을 의미한다. 특정 실시예에서, 새로운 햅틱 신호는 별도로 선택된 햅틱 효과 패턴을 나타내는 데이터의 별도 부분들을 포함할 수 있다. 흐름은 870으로 진행한다.
870에서, 새로운 햅틱 신호가 햅틱 출력 디바이스에 송신되어 하나 이상의 햅틱 효과를 생성한다. 흐름은 이후 종료한다.
따라서, 일 실시예에서, 시스템은 제1 타입의 햅틱 출력 디바이스에 대한 입력 햅틱 신호를 제2 타입의 햅틱 출력 디바이스에 대한 출력 햅틱 신호로 변환할 수 있다. 따라서, 시스템은 자동으로 또는 수동으로 생성된 임의의 햅틱 컨텐츠를 관련된 방식으로 더 낮은 품질의 햅틱 출력 디바이스(또는 일부 경우에서, 더 높은 품질의 햅틱 출력 디바이스)로 적응시킬 수 있다. 예로서, 햅틱 효과 설계는 햅틱 효과를 한번(주로 고-해상도 햅틱 출력 디바이스에 대해) 설계하고, 모든 타입의 햅틱 출력 디바이스에 대해 적절하게 재생된 햅틱 효과를 가질 수 있다. 또한, 표준-해상도 햅틱 출력 디바이스를 사용하여 고-해상도 햅틱 신호를 재생할 때, 시스템은, 햅틱 효과 설계가 의도한 바와 같이 햅틱 효과가 표준-해상도 햅틱 출력 디바이스에 대해 경험되도록 고-해상도 햅틱 신호를 적절하게 변환할 수 있다. 이것은 시스템이 시중에서 이용가능한 임의의 상업적 햅틱 출력 디바이스에 대한 임의의 생성된 햅틱 컨텐츠를 재생하게 한다.
이 명세서 전반에 걸쳐 기술된 발명의 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 예를 들어, "일 실시예", "일부 실시예들", "특정 실시예", "특정 실시예들" 또는 다른 유사한 언어의 사용은, 이 명세서 전반에 걸쳐, 실시예와 관련되어 기술된 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 지칭한다. 따라서, 이 명세서 전반에 걸쳐 구문 일 실시예", "일부 실시예들", "특정 실시예", "특정 실시예들" 또는 다른 유사한 언어의 출현은, 반드시 모두 동일한 실시예의 그룹을 지칭하지는 않으며, 기술된 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다.
당업자는 위에서 논의된 바와 같은 발명이 상이한 순서의 단계들을 이용하여, 그리고/또는 개시된 것과는 상이한 구성의 엘리먼트를 이용하여 구현될 수 있음을 쉽게 이해할 것이다. 따라서, 발명이 이들 바람직한 실시예에 기초하여 기술되었지만, 특정 수정, 변형 또는 대안적 구성이 명백하면서도 발명의 사상 및 범위 내에서 유지된다는 점이 당업자에게 명백할 것이다. 따라서, 발명의 한계와 경계를 결정하기 위해, 첨부된 청구항에 대한 참조가 이루어져야 한다.

Claims (15)

  1. 햅틱 신호들을 변환하기 위한 방법으로서,
    오리지널 햅틱 신호를 수신하는 단계 ― 상기 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 상기 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함함 ― ;
    상기 오리지널 햅틱 신호를 새로운 햅틱 신호로 변환하는 단계 ― 상기 새로운 햅틱 신호는 상기 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 상기 제2 햅틱 효과 공간은 제2 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함하고, 상기 새로운 햅틱 신호 내에 포함된 데이터는 상기 오리지널 햅틱 신호 내에 포함된 데이터에 기초함 ― ; 및
    상기 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 햅틱 효과들을 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
    상기 제2 햅틱 공간을 포함하는 상기 새로운 햅틱 신호를 생성하는 단계 ― 상기 새로운 햅틱 신호는 상기 오리지널 햅틱 신호에 맞춰 동기화됨 ― ;
    상기 오리지널 햅틱 신호를 프라이머리 햅틱 출력 디바이스에 송신하여 하나 이상의 프라이머리 햅틱 효과들을 생성하는 단계; 및
    상기 새로운 햅틱 신호를 세컨더리 햅틱 출력 디바이스에 송신하여 하나 이상의 세컨더리 햅틱 효과들을 생성하는 단계
    를 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 새로운 햅틱 신호는 상기 세컨더리 햅틱 출력 디바이스가, 상기 오리지널 햅틱 신호 내에 포함된 데이터의 하나 이상의 절댓값들이 임계보다 더 크거나 같은 오리지널 햅틱 신호의 듀레이션 동안 상기 하나 이상의 세컨더리 햅틱 효과들을 생성하게 하고;
    상기 새로운 햅틱 신호는 상기 세컨더리 햅틱 출력 디바이스가, 상기 오리지널 햅틱 신호 내에 포함된 데이터의 하나 이상의 절댓값들이 상기 임계보다 더 작은 오리지널 햅틱 신호의 듀레이션 동안 어떠한 세컨더리 햅틱 효과들도 생성하지 않게 하는 방법.
  4. 제1항에 있어서,
    상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
    상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하는 단계 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 상기 데이터의 일부분을 포함함 ― ;
    상기 복수의 시간 윈도우들 중 하나의 시간-윈도우에 레벨을 할당하는 단계;
    상기 시간-윈도우의 레벨을 햅틱 효과 패턴을 나타내는 데이터로 번역하는 단계; 및
    상기 새로운 햅틱 신호를 생성하는 단계 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 시간-윈도우의 레벨을 햅틱 효과 패턴을 나타내는 데이터로 번역하는 단계는:
    상기 햅틱 효과 패턴의 듀레이션을 설정하는 단계 ― 상기 햅틱 효과 패턴의 듀레이션 대 상기 시간-윈도우의 듀레이션의 비는 상기 시간-윈도우의 레벨과 최대 레벨의 비에 비례함 ― 를 더 포함하는 방법.
  6. 제4항에 있어서,
    상기 레벨은 상기 시간-윈도우 내에 포함된 데이터의 최대 절댓값에 기초하여 상기 시간-윈도우에 할당되는 방법.
  7. 제4항에 있어서,
    상기 레벨은 상기 시간-윈도우 내에 포함된 데이터의 평균 절댓값에 기초하여 상기 시간-윈도우에 할당되는 방법.
  8. 제1항에 있어서,
    상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
    상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하는 단계 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함함 ― ;
    제1 레벨을 상기 복수의 시간-윈도우들 중 제1 시간-윈도우에 그리고 제2 레벨을 상기 복수의 시간-윈도우들 중 제2 시간-윈도우에 할당하는 단계;
    상기 제1 레벨과 상기 제2 레벨 사이의 레벨 트랜지션을 결정하는 단계;
    상기 결정된 레벨 트랜지션에 기초하여 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 햅틱 효과 패턴을 선택하는 단계; 및
    상기 새로운 신호를 생성하는 단계 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
    상기 결정된 레벨 트랜지션이 상기 테이블 내에 존재하지 않는 상기 제1 레벨 또는 상기 제2 레벨 중 적어도 하나를 수정하는 단계;
    상기 제1 레벨 또는 상기 제2 레벨 중 적어도 하나로의 수정에 기초하여 새로운 레벨 트랜지션을 결정하는 단계; 및
    상기 결정된 새로운 레벨 트랜지션에 기초하여 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 햅틱 효과 패턴을 선택하는 단계
    를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 햅틱 출력 디바이스는 액츄에이터를 포함하는 방법.
  11. 햅틱 신호들을 변환하기 위한 시스템으로서,
    햅틱 와핑(warping) 모듈을 저장하도록 구성되는 메모리; 및
    상기 메모리에 저장된 상기 햅틱 와핑 모듈을 실행하도록 구성되는 프로세서
    를 포함하고,
    상기 햅틱 와핑 모듈은 오리지널 햅틱 신호를 수신하도록 구성되고 ― 상기 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 상기 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함함 ― ;
    상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호를 새로운 햅틱 신호로 변환하도록 추가로 구성되고 ― 상기 새로운 햅틱 신호는 상기 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 상기 제2 햅틱 효과 공간은 제2 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함하고, 상기 새로운 햅틱 신호 내에 포함된 데이터는 상기 오리지널 햅틱 신호 내에 포함된 데이터에 기초함 ― ; 및
    상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 햅틱 효과들을 생성하도록 추가로 구성되는 시스템.
  12. 제11항에 있어서,
    상기 햅틱 와핑 모듈은 상기 제2 햅틱 공간을 포함하는 상기 새로운 햅틱 신호를 생성하도록 추가로 구성되고 ― 상기 새로운 햅틱 신호는 상기 오리지널 햅틱 신호에 맞춰 동기화됨 ― ;
    상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호를 프라이머리 햅틱 출력 디바이스에 송신하여 하나 이상의 프라이머리 햅틱 효과들을 생성하도록 추가로 구성되고;
    상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호를 세컨더리 햅틱 출력 디바이스에 송신하여 하나 이상의 세컨더리 햅틱 효과들을 생성하도록 추가로 구성되는 시스템.
  13. 제11항에 있어서,
    상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하도록 추가로 구성되고 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 상기 데이터의 일부분을 포함함 ― ;
    상기 햅틱 와핑 모듈은 상기 복수의 시간-윈도우들 중 하나의 시간-윈도우에 레벨을 할당하도록 추가로 구성되고;
    상기 햅틱 와핑 모듈은 상기 시간-윈도우의 레벨을 햅틱 효과 패턴을 나타내는 데이터로 번역하도록 추가로 구성되고;
    상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 생성하도록 추가로 구성되는 시스템.
  14. 제11항에 있어서,
    상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하도록 추가로 구성되고 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함함 ― ;
    상기 햅틱 와핑 모듈은 제1 레벨을 상기 복수의 시간-윈도우들 중 제1 시간-윈도우에 그리고 제2 레벨을 상기 복수의 시간-윈도우들 중 제2 시간-윈도우에 할당하도록 추가로 구성되고;
    상기 햅틱 와핑 모듈은 상기 제1 레벨과 상기 제2 레벨 사이의 레벨 트랜지션을 결정하도록 추가로 구성되고;
    상기 햅틱 와핑 모듈은 상기 결정된 레벨 트랜지션에 기초하여 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 햅틱 효과 패턴을 선택하도록 추가로 구성되고;
    상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 생성하도록 추가로 구성되는 시스템.
  15. 저장된 명령어들을 가지는 컴퓨터-판독가능한 매체로서,
    상기 명령어들은 프로세서에 의해 실행될 때, 상기 프로세서가 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하게 하는 컴퓨터-판독가능한 매체.
KR1020140116715A 2013-09-06 2014-09-03 햅틱 와핑 시스템 KR102254385B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US14/080,860 2013-11-15
US14/080,860 US9245429B2 (en) 2013-09-06 2013-11-15 Haptic warping system

Publications (2)

Publication Number Publication Date
KR20150028731A true KR20150028731A (ko) 2015-03-16
KR102254385B1 KR102254385B1 (ko) 2021-05-24

Family

ID=51302886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140116715A KR102254385B1 (ko) 2013-09-06 2014-09-03 햅틱 와핑 시스템

Country Status (5)

Country Link
US (2) US9245429B2 (ko)
EP (1) EP2846221B1 (ko)
JP (3) JP6324847B2 (ko)
KR (1) KR102254385B1 (ko)
CN (2) CN104423589B (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
JP2015121983A (ja) * 2013-12-24 2015-07-02 京セラ株式会社 触感呈示装置
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US9891714B2 (en) 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
TWI710934B (zh) * 2016-04-07 2020-11-21 國立硏究開發法人科學技術振興機構 觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10360774B1 (en) * 2018-01-05 2019-07-23 Immersion Corporation Method and device for enabling pitch control for a haptic effect
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
WO2020241170A1 (ja) * 2019-05-28 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112346561B (zh) * 2020-10-15 2022-10-25 瑞声新能源发展(常州)有限公司科教城分公司 一种振动驱动方法和系统、振动设备以及存储介质
CN115378302B (zh) * 2021-05-20 2023-12-12 荣耀终端有限公司 线性马达的控制方法、装置、设备及可读存储介质
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
WO2023189193A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 復号装置、復号方法および復号プログラム
US11809630B1 (en) * 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
WO2024070296A1 (ja) * 2022-09-30 2024-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100925293B1 (ko) * 2001-10-09 2009-11-04 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20100017929A (ko) * 2007-05-25 2010-02-16 임머숀 코퍼레이션 최종 사용자 장치 상의 햅틱 효과 커스터마이징
KR20100087715A (ko) * 2007-10-16 2010-08-05 임머숀 코퍼레이션 미디어 전송 스트림에서의 햅틱 효과 데이터의 동기화
US20120306631A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8826927D0 (en) 1988-11-17 1988-12-21 British Broadcasting Corp Aligning two audio signals in time for editing
US6374255B1 (en) 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
US20020165720A1 (en) * 2001-03-02 2002-11-07 Johnson Timothy M. Methods and system for encoding and decoding a media sequence
KR100581060B1 (ko) * 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
JP2007087274A (ja) * 2005-09-26 2007-04-05 Jr Higashi Nippon Consultants Kk 触覚装置及び触覚情報伝達システム
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20080136608A1 (en) * 2006-12-11 2008-06-12 Research In Motion Limited Sensory effects in a mobile device and an accessory thereof
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US20130207793A1 (en) * 2009-01-21 2013-08-15 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
EP2406703B1 (en) * 2009-03-12 2018-11-28 Immersion Corporation System and method for friction displays and additional haptic effects
JP5815698B2 (ja) * 2010-07-16 2015-11-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 触覚面上に触覚効果を生じさせる複アクチュエータ触覚面を含む装置
KR101197861B1 (ko) * 2010-08-13 2012-11-05 삼성전기주식회사 햅틱 피드백 액추에이터, 햅틱 피드백 디바이스 및 전자 장치
US9398278B2 (en) 2011-01-06 2016-07-19 Telenav, Inc. Graphical display system with adaptive keystone mechanism and method of operation thereof
CN102609078B (zh) * 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
KR20130024420A (ko) * 2011-08-31 2013-03-08 엘지전자 주식회사 햅틱 피드백 생성방법 및 햅틱 피드백 생성장치
US20130227411A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Sensation enhanced messaging
EP2629178B1 (en) * 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100925293B1 (ko) * 2001-10-09 2009-11-04 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
KR20100017929A (ko) * 2007-05-25 2010-02-16 임머숀 코퍼레이션 최종 사용자 장치 상의 햅틱 효과 커스터마이징
KR20100087715A (ko) * 2007-10-16 2010-08-05 임머숀 코퍼레이션 미디어 전송 스트림에서의 햅틱 효과 데이터의 동기화
US20120306631A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns

Also Published As

Publication number Publication date
KR102254385B1 (ko) 2021-05-24
US20150070149A1 (en) 2015-03-12
EP2846221A1 (en) 2015-03-11
US20160104356A1 (en) 2016-04-14
JP6324847B2 (ja) 2018-05-16
US9245429B2 (en) 2016-01-26
US9454881B2 (en) 2016-09-27
JP2015053043A (ja) 2015-03-19
EP2846221B1 (en) 2020-01-08
JP6412285B2 (ja) 2018-10-24
CN104423589A (zh) 2015-03-18
JP2019016384A (ja) 2019-01-31
CN109407837A (zh) 2019-03-01
JP2018136976A (ja) 2018-08-30
CN104423589B (zh) 2018-11-02
JP6698131B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
KR20150028731A (ko) 햅틱 와핑 시스템
JP6615307B2 (ja) 動的ハプティック変換システム
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
JP6739571B2 (ja) 周波数シフトを用いたハプティック変換システム
JP6639602B2 (ja) オフラインハプティック変換システム
JP6567809B2 (ja) 分割および合成を用いたハプティック変換システム
CN111381707A (zh) 触觉信号转换系统
JP2019067396A (ja) ハプティックピッチ制御

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right