KR20150028749A - 동적 햅틱 변환 시스템 - Google Patents

동적 햅틱 변환 시스템 Download PDF

Info

Publication number
KR20150028749A
KR20150028749A KR20140118706A KR20140118706A KR20150028749A KR 20150028749 A KR20150028749 A KR 20150028749A KR 20140118706 A KR20140118706 A KR 20140118706A KR 20140118706 A KR20140118706 A KR 20140118706A KR 20150028749 A KR20150028749 A KR 20150028749A
Authority
KR
South Korea
Prior art keywords
haptic
amplitude value
signal
input signal
effect
Prior art date
Application number
KR20140118706A
Other languages
English (en)
Inventor
사트비르 싱 바티아
후안 마누엘 크루즈-에르난데스
로크 티엔 판
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150028749A publication Critical patent/KR20150028749A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

입력 신호를 햅틱 신호로 동적으로 변환하는 시스템이 제공된다. 시스템은 효과 오브젝트들을 발생시키며, 효과 오브젝트는 입력 신호를 출력 신호로 변환하기 위하여 입력 신호에 대한 햅틱 변환 알고리즘을 수행하기 위한 명령어를 포함하고, 효과 오브젝트들의 순서가 정의된다. 또한 시스템은 입력 신호를 수신한다. 또한 시스템은 효과 오브젝트들을 정의된 순서로 입력 신호에 적용하고, 효과 오브젝트의 출력 신호는 햅틱 신호를 형성한다. 또한 시스템은 햅틱 신호를 햅틱 출력 장치로 송신하고, 햅틱 신호는 햅틱 출력 장치가 햅틱 효과를 출력하게 한다.

Description

동적 햅틱 변환 시스템{DYNAMIC HAPTIC CONVERSION SYSTEM}
관련 출원의 상호 참조
본 출원은 2013년 9월 6일자로 출원된 미국 가출원번호 제61/874,920호의 우선권을 주장하며, 그의 개시는 인용에 의해 본원에 포함된다.
기술분야
일 실시양태는 일반적으로 장치, 및 더 구체적으로는 햅틱 효과를 발생시키는 장치에 관한 것이다.
전자 장치 제조업자는 사용자를 위해 풍부한 인터페이스를 만들기 위해 노력하고 있다. 통상의 장치는 시각 및 청각 큐(cues)를 이용하여 사용자에게 피드백을 제공한다. 몇몇 인터페이스 장치에서는, 총칭하여 "햅틱(haptic) 피드백" 또는 "햅틱 효과"로 보다 일반적으로 알려진 운동감각적(kinesthetic) 피드백, 예컨대 능동(active) 및 저항력 피드백, 및/또는 촉각(tactile) 피드백, 예컨대 진동, 감촉, 및 열 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화하는 큐를 제공할 수 있다. 구체적으로, 사용자에게 특정 이벤트를 알려주거나, 또는 시뮬레이션 또는 가상 환경 내에서 더 큰 감각적 몰입(sensory immersion)을 불러 일으키기 위한 사실적인 피드백을 제공하기 위한 큐를 전자 장치 사용자에게 제공함에 있어서, 진동 효과, 또는 진동촉각(vibrotactile) 햅틱 효과가 유용할 수 있다.
햅틱 효과 개발자는 장치에 대한 햅틱 효과를 만들 수 있고, 장치는 햅틱 효과를 출력하도록 구성될 수 있다. 이러한 시나리오에서, 다양한 하드웨어 특성들 때문에 다양한 유형의 하드웨어가 다양한 유형의 햅틱 효과를 발생시킬 수 있다. 예를 들면, 다양한 유형의 액추에이터, 예컨대 이심 회전 질량 모터 액추에이터, 선형 공진 액추에이터, 및 압전 액추에이터는, 다양한 액추에이터의 다양한 전기기계적 특성 때문에, 다양한 유형의 햅틱 효과를 발생시킬 수 있다. 일반적으로, 특정 유형의 하드웨어에 대한 햅틱 효과를 만들기를 원하는 햅틱 효과 개발자는 햅틱 효과를 특정 하드웨어에 대해 맞출 필요가 있다. 햅틱 효과 개발자가 다수의 하드웨어 유형을 지원하기를 원하는 경우, 각 하드웨어 유형에 대한 최적 햅틱 체험을 제공하기 위하여, 일반적으로 햅틱 효과 개발자는 다양한 햅틱 효과를 만들어야 한다. 이는 햅틱 효과를 만드는 것과 관련하여 추가의 설계 시간 및 노력을 초래할 수 있다.
일 실시양태는 입력 신호를 햅틱 신호로 동적으로 변환하는 시스템이다. 시스템은 효과 오브젝트들을 발생시키며, 효과 오브젝트는 입력 신호를 출력 신호로 변환하기 위하여 입력 신호에 대한 햅틱 변환 알고리즘을 수행하기 위한 명령어를 포함하고, 효과 오브젝트들의 순서가 정의된다. 시스템은 입력 신호를 더 수신한다. 시스템은 정의된 순서로 효과 오브젝트들을 입력 신호에 더 적용하며, 효과 오브젝트의 출력 신호는 햅틱 신호를 형성한다. 또한 시스템은 햅틱 신호를 햅틱 출력 장치로 송신하고, 햅틱 신호는 햅틱 출력 장치가 햅틱 효과를 출력하게 한다.
추가의 실시양태, 세부사항, 장점 및 변경은, 첨부한 도면과 함께 제시된 바람직한 실시양태의 하기 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시양태에 따른 시스템의 블록도를 도시한다.
도 2는 본 발명의 실시양태에 따른, 동적으로 연결된 효과의 실시예를 도시한다.
도 3은 본 발명의 실시양태에 따른, 동적 윈도우 햅틱 변환 알고리즘의 기능을 나타내는 흐름도를 도시한다.
도 4는 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 햅틱 신호를 스트리밍(stream)하기 위한 요청을 도시한다.
도 5는 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 스트리밍 세션의 초기화를 도시한다.
도 6은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 압축 알고리즘의 결정을 도시한다.
도 7은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 압축 알고리즘의 통신을 도시한다.
도 8은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 응답 통신을 도시한다.
도 9는 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 응답 통신을 도시한다.
도 10은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 압축 통신을 도시한다.
도 11은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 햅틱 신호의 압축 및 스트리밍을 도시한다.
도 12는 본 발명의 실시양태에 따른, 동적 햅틱 변환 모듈의 기능의 흐름도를 도시한다.
도 13은 본 발명의 실시양태에 따른, 동적 햅틱 변환 모듈의 기능의 흐름도를 도시한다.
도 14는 본 발명의 실시양태에 따른, 동적 햅틱 변환 모듈의 기능의 흐름도를 도시한다.
일 실시양태는 다양한 햅틱 변환 알고리즘("효과"로도 식별됨)을 동적으로 연결(linking) 또는 연쇄(chaining)함으로써 입력 신호, 예컨대 오디오 신호를 햅틱 신호로 변환시키는 시스템이며, 한 효과의 출력 신호는 다른 효과의 입력 신호로서 기능한다. 따라서, 시스템은 실행시에 임의의 순서로 효과들의 집합을 배열할 수 있고, 효과들의 집합은 그 효과들의 집합의 생성 다음에 생성되는 효과를 포함하도록 확장될 수 있다. 효과들을 일반화하고 활용함으로써, 시스템은 임의의 햅틱 변환 알고리즘을 총괄적으로 생성할 수 있는 효과들의 목록을 실행시에 동적으로 생성할 수 있다.
다른 실시양태에서, 시스템은 입력 신호의 최소 및 최대 크기값에 기초하여 입력 신호의 한 부분을 정의하는 범위("윈도우"로서도 식별됨)를 동적으로 생성하고 업데이트함으로써, 및 "윈도우에 포함되는(fall within the window)" 입력 신호의 부분을 스케일링함으로써, 입력 신호를 햅틱 신호로 변환시킨다. "윈도우에 포함되지" 않는 입력 신호의 부분은 시스템에 의해 스케일링되지 않는다. 일 실시양태에서, 윈도우는 최소 크기값 이상 및 최대 크기값 이하인 크기값 범위를 포함한다. 최소 크기값 이상 및 최대 크기값 이하인 크기값을 포함하는 입력 신호의 부분이 윈도우에 포함된다. 최소 크기값 미만 또는 최대 크기값 초과인 크기값을 포함하는 입력 신호의 부분은 윈도우에 포함되지 않는다. 또한, 시스템은 최소 및 최대 크기값을 자주 업데이트할 수 있고, 또한 업데이트된 최소 및 최대 크기값에 기초하여 윈도우를 업데이트할 수 있다. 따라서 윈도우는 동적 윈도우일 수 있다.
또한, 다른 실시양태에서, 시스템은 햅틱 신호를 동적으로 압축하고 동적으로 압축된 햅틱 신호를 햅틱 출력 장치로 스트리밍할 수 있다. 햅틱 신호를 동적으로 압축함으로써, 시스템은 시스템과 클라이언트 사이의 왕복 지속시간(round trip duration), 햅틱 신호의 하나 이상의 특성 또는 그의 조합에 기초하여 압축 알고리즘을 선택할 수 있다. 따라서, 시스템은 많은 상이한 시나리오에 대하여 햅틱 신호를 효율적으로 압축하고 스트리밍할 수 있다. 또한, 햅틱 신호를 스트리밍함으로써, 시스템은 햅틱 신호를 원격 장치로 송신하거나 전송할 수 있다.
도 1은 본 발명의 일 실시양태에 따른 시스템(10)의 블록도를 도시한다. 일 실시양태에서, 시스템(10)은 장치(예를 들면, 이동식 장치 또는 착용가능한 장치)의 일부이고, 시스템(10)은 장치에 대한 동적 햅틱 변환 기능을 제공한다. 착용가능한 장치의 예는 손목 밴드, 머리밴드, 안경, 반지, 다리 밴드, 의복에 통합된 어레이, 또는 사용자가 신체에 착용할 수 있거나 사용자가 소지할 수 있는 임의의 다른 유형의 장치를 포함한다. 몇몇 착용가능한 장치는 "햅틱적으로 가능(haptically enabled)"할 수 있고, 이는 햅틱 효과를 발생시키기 위한 메커니즘을 포함하는 것을 의미한다. 다른 실시양태에서, 시스템(10)은 장치(예를 들면, 이동식 장치, 또는 착용가능한 장치)와는 분리되어 있고, 장치에 대하여 상술한 기능을 원격으로 제공한다. 단일 시스템으로 나타냈지만, 시스템(10)의 기능은 분산된 시스템으로서 실시될 수 있다. 시스템(10)은 버스(12) 또는 정보를 통신하기 위한 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(12)와 결합된 프로세서(22)를 포함한다. 프로세서(22)는 일반적인 또는 특정 목적 프로세서 중 임의의 유형일 수 있다. 또한 시스템(10)은 프로세서(22)에 의해 실행될 정보 및 명령어를 저장하기 위한 메모리(14)를 포함한다. 메모리(14)는 임의 접근 메모리("RAM"), 판독 전용 메모리("ROM"), 정적 저장장치, 예컨대 자기 또는 광학 디스크, 또는 임의의 다른 유형의 컴퓨터-판독가능 매체를 포함할 수 있다.
컴퓨터-판독가능 매체는 프로세서(22)에 의해 접근할 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 두 가지 모두, 통신 매체 및 저장 매체를 포함할 수 있다. 통신 매체는 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈 또는 변조된 데이터 신호, 예컨대 반송파 또는 다른 전달 메커니즘 내의 다른 데이터를 포함할 수 있고, 본 기술분야에서 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능 프로그래밍가능 판독전용 메모리("EPROM"), 전기적 소거가능 프로그래밍가능 판독전용 메모리("EEPROM"), 레지스터, 하드 디스크, 이동식 디스크, 컴팩트 디스크 판독전용 메모리("CD-ROM"), 또는 본 기술분야에서 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시양태에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 시스템(10), 뿐만 아니라 일 실시양태의 이동식 장치의 나머지에 대해 운영 체제 기능을 제공하는 운영 체제(15)를 포함한다. 모듈은 하기에 더 상세하게 개시된 바와 같이, 입력 신호를 햅틱 신호로 동적으로 변환하는 동적 햅틱 변환 모듈(16)을 더 포함한다. 특정 실시양태에서, 동적 햅틱 변환 모듈(16)은 복수의 모듈을 포함할 수 있으며, 각 모듈은 입력 신호를 햅틱 신호로 동적으로 변환하기 위한 특정 개별 기능을 제공한다. 시스템(10)은 통상적으로 추가 기능을 포함하기 위해 하나 이상의 추가 어플리케이션 모듈(18), 예컨대 임머숀　코퍼레이션(Immersion Corporation)의 인티그레이터(Integrator)™ 소프트웨어를 포함할 것이다.
실시양태에서, 원격 소스로부터 데이터를 전송 및/또는 수신하는 시스템(10)은 이동식 무선 네트워크 통신, 예컨대 적외선, 라디오, 와이-파이, 또는 셀룰러 네트워크 통신을 제공하기 위한 통신 장치(20), 예컨대 네트워크 인터페이스 카드를 더 포함한다. 다른 실시양태에서, 통신 장치(20)는 유선 네트워크 접속, 예컨대 이더넷 접속 또는 모뎀을 제공한다.
또한 프로세서(22)는 버스(12)를 통해, 사용자에게 그래픽 표현 또는 사용자 인터페이스를 표시하기 위한 표시장치(24), 예컨대 액정 표시장치("LCD")에 연결된다. 표시장치(24)는 신호를 프로세서(22)로부터 송신 및 수신하도록 구성되는 터치-감지 입력 장치, 예컨대 터치 스크린일 수 있고, 다중-터치 터치 스크린일 수 있다.
일 실시양태에서, 시스템(10)은 액추에이터(26)를 더 포함한다. 프로세서(22)는 발생된 햅틱 효과와 관련된 햅틱 신호를 액추에이터(26)에 전송할 수 있고, 액추에이터는 결국 햅틱 효과, 예컨대 진동촉각 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과를 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함한다. 액추에이터(26)는, 예를 들면 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 솔레노이드, 이심 회전 질량 모터("ERM"), 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 전기활성 고분자("EAP") 액추에이터, 정전 마찰 표시장치, 또는 초음파 진동 발생기일 수 있다. 대안적인 실시양태에서, 시스템(10)은 액추에이터(26) 이외에, 하나 이상의 추가 액추에이터를 포함할 수 있다(도 1에서 도시되지 않음). 액추에이터(26)는 햅틱 출력 장치의 예이고, 햅틱 출력 장치는 구동 신호에 반응하여, 햅틱 효과, 예컨대 진동촉각 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과를 출력하도록 구성된 장치이다. 대안적인 실시양태에서, 액추에이터(26)는 소정의 다른 유형의 햅틱 출력 장치로 대체될 수 있다. 또한 다른 대안적인 실시양태에서, 시스템(10)은 액추에이터(26)를 포함하지 않을 수 있고, 시스템(10)과 분리된 장치는 액추에이터, 또는 햅틱 효과를 발생시키는 다른 햅틱 출력 장치를 포함하며, 시스템(10)은 발생한 햅틱 신호를 통신 장치(20)를 통하여 상기 장치로 송신한다.
일 실시양태에서, 시스템(10)은 스피커(28)를 더 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)로 전송할 수 있고, 그 스피커는 결국 오디오 효과를 출력한다. 스피커(28)는 예를 들면, 동적 확성기, 전기역학적 확성기, 압전 확성기, 자왜식(magnetostrictive) 확성기, 정전 확성기, 리본 및 평면 자기 확성기, 굴곡파 확성기, 평판 확성기, 헤일 에어 모션 변환기(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 확성기일 수 있다. 대안적인 실시양태에서, 시스템(10)은 스피커(28) 이외에 하나 이상의 추가 스피커를 포함할 수 있다(도 1에서 도시되지 않음). 또한, 다른 대안적인 실시양태에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과 분리된 디바이스는 오디오 효과를 출력하는 스피커를 포함하고, 시스템(10)은 통신 장치(20)를 통해 상기 장치로 오디오 신호를 송신한다.
일 실시양태에서, 시스템(10)은 센서(30)를 더 포함한다. 센서(30)는 에너지 형태, 또는 다른 물리적 성질, 예컨대 비제한적으로 소리, 움직임, 가속도, 생체 신호, 거리, 유동, 힘/압력/변형/굽힘, 습도, 선형 위치, 배향/경사, 라디오 주파수, 회전 위치, 회전 속도, 스위치 조작, 온도, 진동, 또는 가시광 강도를 검출하도록 구성될 수 있다. 센서(30)는 또한 검출된 에너지 또는 다른 물리적 성질을 전기 신호, 또는 가상 센서 정보를 나타내는 임의의 신호로 변환하도록 구성될 수 있다. 센서(30)는 임의의 장치, 예컨대 비제한적으로, 가속도계, 심전도계, 뇌파계(electroencephalogram), 근전계, 안구전도계(electrooculogram), 일렉트로팔라토그래프(electropalatograph), 갈바닉 피부 반응 센서, 정전용량형 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 굽힘 센서), 힘-감지형 저항기(force-sensitive resistor), 로드 셀, 루센스(LuSense) CPS2 155, 소형 압력 변환기, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변환기, 나침반, 경사계, 자기 태그(또는 라디오 주파수 식별 태그), 로터리 인코더, 로터리 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예컨대, 온도계, 열전대, 저항 온도 측정기, 서미스터, 또는 온도-변환 집적회로), 마이크, 광도계, 고도계, 생물학적 모니터, 카메라, 또는 광저항기(light-dependent resistor)일 수 있다. 대안적인 실시양태에서, 시스템(10)은 센서(30) 이외에, 하나 이상의 추가 센서를 포함할 수 있다(도 1에 도시되지 않음). 이러한 실시양태 중 몇몇에서, 센서(30) 및 하나 이상의 추가 센서는 센서 어레이의 일부, 또는 소정의 다른 유형의 센서 집단일 수 있다. 또한, 다른 대안적인 실시양태에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과 분리된 장치는 에너지 형태 또는 다른 물리적 성질을 검출하는 센서를 포함하고, 검출된 에너지 또는 다른 물리적 에너지를, 전기 신호, 또는 가상 센서 정보를 나타내는 다른 유형의 신호로 변환한다. 이어서 장치는 변환된 신호를 통신 장치(20)를 통하여 시스템(10)으로 송신할 수 있다.
앞서 설명한 바와 같이, 일 실시양태에서, 시스템은 다양한 햅틱 변환 알고리즘(즉, 효과)을 동적으로 연결 또는 연쇄함으로써 입력 신호, 예컨대 오디오 신호를 햅틱 신호로 변환할 수 있다. 더 구체적으로, 실시양태에 따르면, 시스템은 실행시에 생성될 수 있는 하나 이상의 효과 오브젝트를 연결 또는 연쇄할 수 있다. 효과 오브젝트는, 시스템이 입력으로서 신호를 수신하고, 입력 신호를 출력 신호(예컨대, 햅틱 신호)로 변환하기 위해 입력 신호에 대한 햅틱 변환 알고리즘을 수행하고, 출력 신호를 출력하도록 할 수 있는 하나 이상의 컴퓨터-판독가능한 명령어를 포함할 수 있는 오브젝트 또는 모듈이다. 시스템의 사용자는 어떤 효과 오브젝트들을 시스템이 연결 또는 연쇄할 수 있는지를 결정할 수 있고, 또한 효과 오브젝트들의 순서를 결정할 수 있다. 예시적인 실시양태에서, 사용자는 하나 이상의 효과 오브젝트를 선택하기 위하여, 및 효과 오브젝트들의 순서를 선택하기 위하여, 시스템의 그래픽 사용자 인터페이스와 상호작용할 수 있다. 이러한 상호작용은: 그래픽 사용자 인터페이스 내에 표시되는 하나 이상의 "라디오 버튼" 또는 "체크 박스"를 선택하는 것; 하나 이상의 효과 오브젝트를 그래픽 사용자 인터페이스 내에 표시된 파이프라인으로 "드래그 앤드 드롭"하는 것, 또는 관련 기술분야에서 통상의 기술자에게 공지된 그래픽 사용자 인터페이스와의 임의의 다른 상호작용을 포함할 수 있다. 또한 각 햅틱 변환 알고리즘은 실시간(또는 근 실시간)으로 수행될 수 있고, 또는 오프라인(즉, 원래의 입력 신호의 재생 전에, 혹은 그와 독립적으로)으로 수행될 수 있다.
이전에, 대부분의 햅틱 변환 알고리즘은 정적인 특정 처리 체인을 포함해 왔다. 예를 들면, 햅틱 변환 알고리즘은 필터 변환 알고리즘, 예컨대 500 Hz 미만의 모든 관련 주파수를 추출하는, 500 헤르쯔("Hz") 차단으로 입력 신호에 적용되는 저역-통과 필터링 알고리즘, 그 다음으로, 필터링된 입력 신호에 적용되는 피크 검출 변환 알고리즘으로서 정의될 수 있다. 이에 반하여, 실시양태에 따르면, 시스템은 실행시에 임의의 순서로 효과들의 집합을 배열할 수 있고, 효과들의 집합은 그 효과들의 집합의 생성에 이어서 생성된 효과를 포함하도록 확장될 수 있다. 효과들을 일반화하고 활용함으로써, 시스템은 임의의 햅틱 변환 알고리즘을 총괄적으로 생성할 수 있는 효과들의 목록을 실행시에 동적으로 생성할 수 있다.
일 실시양태에서, 입력 신호는 오디오 신호, 또는 오디오 데이터를 포함하는 다른 유형의 오디오 입력일 수 있다. 대안적인 실시양태에서, 입력 신호는 비디오 신호, 또는 비디오 데이터를 포함하는 다른 유형의 비디오 신호일 수 있다. 또 다른 대안적인 실시양태에서, 입력 신호는 가속도 신호, 또는 가속도 데이터를 포함하는 다른 유형의 가속도 입력일 수 있다. 또 다른 대안적인 실시양태에서, 입력 신호는 햅틱 신호, 또는 햅틱 데이터를 포함하는 다른 유형의 햅틱 입력일 수 있다. 또 다른 대안적인 실시양태에서, 입력 신호는 배향 데이터를 포함하는 배향 신호, 주변광 데이터를 포함하는 주변광 신호, 또는 센서에 의해 감지될 수 있는 다른 유형의 신호일 수 있다. 또한, 다른 대안적인 실시양태에서, 입력은 입력 신호가 아니라, 데이터를 포함하는 다른 유형의 입력이다.
또한, 일 실시양태에서, 효과는 입력 신호를 햅틱 신호로 변환하기 위한, 관련 기술분야에서 통상의 기술자에게 공지된 임의의 햅틱 변환 알고리즘일 수 있다. 예를 들면, 효과는 입력 신호의 각 부분에 대하여 최대 진폭값을 식별하고, 식별된 최대 진폭값에 기초하여 입력 신호의 각 부분에 대한 햅틱 신호를 발생시키는 피크-검출 햅틱 변환 알고리즘일 수 있고, 여기에서는 식별된 최대 진폭값이 햅틱 신호의 크기를 정의한다. 다른 예로서, 효과는 입력 신호의 일부(예를 들면, 입력 신호 중 최고 주파수값을 갖는 부분)를 필터링하고, 입력 신호의 잔여부에 기초하여 햅틱 신호를 발생시키는 저역-통과 필터 햅틱 변환 알고리즘일 수 있다. 또 다른 예로서, 효과는 입력 신호의 일부(예를 들면, 입력 신호 중 최저 주파수값을 갖는 부분)를 필터링하고, 입력 신호의 잔여부에 기초하여 햅틱 신호를 발생시키는 고역-통과 필터 햅틱 변환 알고리즘일 수 있다. 또 다른 예로서, 효과는 입력 신호의 적어도 일부의 피치(pitch)를 이동시키고(shifts), 피치-이동된 입력 신호에 기초하여 햅틱 신호를 발생시키는 피치-이동 햅틱 변환 알고리즘일 수 있다. 또 다른 예로서, 효과는 입력 신호의 적어도 일부의 주파수를 이동시키고, 주파수-이동된 입력 신호에 기초하여 햅틱 신호를 발생시키는 주파수-이동 햅틱 변환 알고리즘일 수 있다. 또 다른 실시예로서, 효과는 도 3과 함께 하기에서 더 상세하게 추가로 설명되는 동적 윈도우 햅틱 변환 알고리즘일 수 있다.
예시적인 햅틱 변환 알고리즘은 다음의 특허 또는 특허 출원: 미국 특허 제7,979,146호; 미국 특허 제8,000,825호; 미국 특허 제8,378,964호; 미국 특허 출원 공개공보 제2011/0202155호; 미국 특허 출원 공개공보 제2011/0215913호; 미국 특허 출원 공개공보 제2012/0206246호; 미국 특허 출원 공개공보 제2012/0206247호; 미국 특허 출원 공개공보 제2013/0265286호; 미국 특허 출원 공개공보 제2013/0131851호; 미국 특허 출원 공개공보 제2013/0207917호; 미국 특허 출원 공개공보 제2013/0335209호; 미국 특허 출원 공개공보 제2014/0064516호; 미국 특허 출원 일련번호 제13/661,140호; 미국 특허 출원 일련번호 제13/785,166호; 미국 특허 출원 일련번호 제13/788,487호; 미국 특허 출원 일련번호 제14/078,438호; 미국 특허 출원 일련번호 제14/078,442호; 미국 특허 출원 일련번호 제14/078,445호; 미국 특허 출원 일련번호 제14/051,933호; 미국 특허 출원 일련번호 제14/020,461호; 미국 특허 출원 일련번호 제14/020,502호; 미국 특허 출원 일련번호 제14/246,817호; 및 미국 특허 출원 일련번호 제14/277,870호에 설명되어 있고, 이들 모두는 그의 전체가 인용에 의해 본원에 포함된다.
또한, 실시양태에 따르면, 햅틱 신호는 하나 이상의 햅틱 파라미터를 포함할 수 있으며, 햅틱 파라미터는 햅틱 효과를 발생시키는 데에 사용되는 햅틱 신호를 정의할 수 있고, 따라서, 또한 발생될 햅틱 효과를 정의할 수 있는 파라미터이다. 더 구체적으로, 햅틱 파라미터는 햅틱 효과 품질의 양, 예컨대 크기, 주파수, 지속시간, 진폭, 강도, 포락선(envelope), 밀도, 또는 임의의 다른 유형의 정량화가능한 햅틱 파라미터이다. 실시양태에 따르면, 햅틱 효과는 적어도 부분적으로, 햅틱 신호의 하나 이상의 햅틱 파라미터에 의해 정의될 수 있고, 하나 이상의 햅틱 파라미터는 햅틱 효과의 특성을 정의할 수 있다. 햅틱 파라미터는 수치를 포함할 수 있고, 수치는 햅틱 신호의 특성을 정의할 수 있고, 따라서, 또한 햅틱 신호에 의해 발생된 햅틱 효과의 특성을 정의할 수 있다. 햅틱 파라미터의 예는: 진폭 햅틱 파라미터, 주파수 햅틱 파라미터, 지속시간 햅틱 파라미터, 포락선 햅틱 파라미터, 밀도 햅틱 파라미터, 크기 햅틱 파라미터, 및 강도 햅틱 파라미터를 포함할 수 있다.
실시양태에 따르면, 시스템은 햅틱 신호를 햅틱 출력 장치, 예컨대 액추에이터로 송신할 수 있다. 결국, 햅틱 출력 장치는, 시스템에 의해 송신된 햅틱 신호에 반응하여, 하나 이상의 햅틱 효과, 예컨대 진동촉각적 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과를 출력할 수 있다.
도 2는 본 발명의 실시양태에 따른, 동적으로 연결된 효과의 예를 도시한다. 동적으로 연결된 효과는 임의의 수의 효과 오브젝트를 포함할 수 있고, 효과 오브젝트들은 사전정의된 순서에 따라 연결되거나 연쇄된다. 실시예 1은 시스템(예컨대, 도 1의 시스템(10))에 의해 만들어질 수 있는 동적으로 연결된 효과를 도시하며, 동적으로 연결된 효과는 피치-이동 효과 오브젝트(201), 저역-통과 필터 효과 오브젝트(202), 및 피크-검출 효과 오브젝트(203)를 포함한다. 피치-이동 효과 오브젝트(201)는 실행시에 생성되고 입력 신호(204)를 수신하는 효과 오브젝트이며, 입력 신호(204)를 출력 신호(205)로 변환하기 위하여 입력 신호(204)에 대해 피치-이동 햅틱 변환 알고리즘을 수행하고, 출력 신호(205)를 저역-통과 필터 효과 오브젝트(202)로 출력한다. 저역-통과 필터 효과 오브젝트(202)는 실행시에 생성되고 피치-이동 효과 오브젝트(201)로부터 출력 신호(205)를 수신하는 효과 오브젝트이며, 출력 신호(205)를 출력 신호(206)로 변환하기 위하여 출력 신호(205)에 대해 저역-통과 필터 햅틱 변환 알고리즘(예를 들면, 500 Hz 저역-통과 필터 햅틱 변환 알고리즘)을 수행하고, 출력 신호(206)를 피크-검출 효과 오브젝트(203)로 출력한다. 피크-검출 효과 오브젝트(203)는 실행시에 생성되고 저역-통과 필터 효과 오브젝트(202)로부터 출력 신호(206)를 수신하는 효과 오브젝트이며, 출력 신호(206)를 출력 신호(207)(여기서 출력 신호(207)는 햅틱 신호이다)로 변환하기 위하여 출력 신호(206)에 대해 피크-검출 햅틱 변환 알고리즘을 수행하고, 출력 신호(207)를 출력한다.
실시양태에 따르면, 시스템의 사용자가 출력 신호(207)에 만족하지 않을 경우, 사용자는 하나 이상의 효과 오브젝트를 동적으로 연결된 효과에 추가할 수 있고, 동적으로 연결된 효과로부터 하나 이상의 효과 오브젝트를 제거할 수 있고, 동적으로 연결된 효과의 효과 오브젝트들의 순서를 변경할 수 있고, 또는 그의 조합을 행할 수 있다. 사용자는, 컴퓨터-판독가능한 명령어를 포함하는 임의의 오브젝트 또는 모듈을 재컴파일링하지 않고 이를 완수할 수 있다.
예를 들면, 실시예 2는 실시예 1에 도시된 동적으로 연결된 효과와 유사한 동적으로 연결된 효과를 도시하지만, 여기에서는 피크-검출 효과 오브젝트(203)가 제거되었고, 효과들의 순서가 변경되어 저역-통과 필터 효과 오브젝트(202)가 피치-이동 효과 오브젝트(201) 전에 있다. 실시양태에 따르면, 저역-통과 필터 효과 오브젝트(202)는 입력 신호(204)를 수신하고, 입력 신호(204)를 출력 신호(208)로 변환하기 위하여 입력 신호(204)에 대해 저역-통과 필터 햅틱 변환 알고리즘(예를 들면, 500 Hz 저역-통과 필터 햅틱 변환 알고리즘)을 수행하고, 출력 신호(208)를 피치-이동 효과 오브젝트(201)로 출력한다. 실시예 2에서 출력 신호(208)는 실시예 1에서의 출력 신호(206)와 상이하다. 이는, 실시예 1에서, 피치-이동 햅틱 변환 알고리즘이 먼저 입력 신호(204)에 적용되었고, 후속적으로, 저역-통과 필터 햅틱 변환 알고리즘이 출력 신호(205)에 적용되었기 때문이다. 이에 반하여, 실시예 2에서는, 단지 저역-통과 필터 햅틱 변환 알고리즘만이 입력 신호(204)에 적용된다.
또한, 피치-이동 효과 오브젝트(201)는 출력 신호(208)를 수신하고, 출력 신호(208)를 출력 신호(209)(여기서 출력 신호(209)는 햅틱 신호이다)로 변환하기 위하여 출력 신호(208)에 대해 피치-이동 햅틱 변환 알고리즘을 수행하고, 출력 신호(209)를 출력한다. 실시예 2에서 출력 신호(209)는 실시예 1에서의 출력 신호(207)와 상이하다. 이는, 실시예 1에서, 피치-이동 햅틱 변환 알고리즘이 먼저 입력 신호(204)에 적용되었고, 후속적으로, 저역-통과 필터 햅틱 변환 알고리즘이 출력 신호(205)에 적용되었고, 그 다음으로 피크-검출 햅틱 변환 알고리즘이 출력 신호(207)에 적용되었기 때문이다. 이에 반하여, 실시예 2에서는, 저역-통과 필터 햅틱 변환 알고리즘이 우선 입력 신호(204)에 적용되고, 후속적으로 피치-이동 햅틱 변환 알고리즘이 출력 신호(208)에 적용된다.
따라서, 입력 신호, 예컨대 입력 오디오 신호, 또는 입력 햅틱 신호를 출력 신호, 예컨대 햅틱 신호로 변환하기 위한 목적으로 실행시에 시스템에 의해 임의의 수의 효과가 적용될 수 있다. 따라서, 실시예 3은 N 개의 효과를 포함하는 동적으로 연결된 효과의 일반적인 실시예를 도시하며, 여기서 N은 임의의 수일 수 있다(즉, 효과(210, 220, 및 230), 여기서 효과(220)와 효과(230) 사이의 생략은 임의의 수의 효과를 나타낼 수 있다). 따라서, 실시예 3에서, 효과(210)는 입력 신호(240)를 수신하고, 입력 신호(240)를 출력 신호(250)로 변환하기 위해 입력 신호(240)에 대한 햅틱 변환 알고리즘을 수행하고, 출력 신호(250)를 효과(220)로 출력한다. 이는 효과(230)(즉, N 번째 효과)가 출력 신호(260)를 출력할 때까지, N 개의 효과를 사용하여 N 번 수행되며, 출력 신호(260)는 햅틱 신호이다.
일 실시양태에서, 시스템이, 입력 신호의 재생 동안 실행하기에 햅틱 변환 알고리즘이 지나치게 크거나 또는 지나치게 복잡하다고 결정하는 경우, 시스템은 렌더링 옵션을 제공할 수 있다. 더 구체적으로, 시스템은 햅틱 변환 알고리즘을 오프라인(즉, 원래의 입력 신호의 재생 전에, 혹은 그와 독립적으로)으로 수행할 수 있다.
앞서 설명한 바와 같이, 동적으로 연결된 효과는 입력 신호, 복수의 효과, 및 복수의 효과에 의해 발생되는 출력 신호를 포함한다. 일 실시양태에서, 입력 신호는 실제 신호 그 자체 이외에 메타데이터를 포함할 수 있다. 메타데이터는 어떤 효과들을 사용할지 결정하기 위하여, 효과들의 순서를 결정하기 위하여, 또는 이들 조합을 위하여 시스템에 의해 사용될 수 있다. 실시양태에 따르면, 신호 그 자체가 효과들을 순차적으로 통과하여 지나갈 수 있고, 햅틱 출력 장치, 예컨대 액추에이터는 하나 이상의 햅틱 효과를 발생시키기 위하여, 햅틱 신호인 출력 신호를 사용할 수 있다.
또한, 일 실시양태에서, 앞서 설명한 바와 같이, 시스템은 입력 신호의 최소 및 최대 크기값에 기초하여 입력 신호의 한 부분을 정의하는 범위(즉, 윈도우)를 동적으로 생성하고 업데이트함으로써, 및 윈도우에 포함되는 입력 신호의 부분을 스케일링함으로써, 입력 신호, 예컨대 오디오 신호를 햅틱 신호로 변환할 수 있다. 윈도우에 포함되지 않는 입력 신호의 부분은 시스템에 의해 스케일링되지 않는다. 또한, 시스템은 최소 및 최대 크기값을 자주 업데이트할 수 있고, 업데이트된 최소 및 최대 크기값에 기초하여 윈도우를 또한 업데이트할 수 있다. 따라서, 윈도우는 동적 윈도우일 수 있다. 이러한 햅틱 변환 알고리즘은 동적 윈도우 햅틱 변환 알고리즘으로서 식별된다.
이전의 햅틱 변환 시스템의 문제 중 하나는, 입력 신호(예를 들면, 입력 오디오 신호)의 크기가, 햅틱 변환이 수행된 후에도, "감지할 수 있는(feelable)" 햅틱 효과를 제공하기에 충분히 높지 않을 수 있다는 것이다. 다시 말해서, 입력 오디오 신호의 예에서, 입력 오디오 신호가 충분히 크지 않은 경우, 변환된 햅틱 신호에 기초하여 출력된 햅틱 효과가 사용자 인식에서는 적절한 햅틱 체험을 제공하지 않을 수 있다. 실시양태에 따르면, 스케일링될 입력 신호의 부분을 정의하는 윈도우를 동적으로 생성하고 업데이트하고, 이어서 윈도우에 포함되는 입력 신호의 부분을 스케일링함으로써, 입력 신호의 그 부분이 특정 햅틱 "감지성 윈도우(window of feelability)"로 맵핑될 수 있다. 이렇게 하여, 입력 오디오 신호의 실시예에서, 오디오가 햅틱 인식에서 필요한 것보다 더 부드러운 경우, 입력 오디오 신호는 적절한 햅틱 윈도우 내에서 적절한 햅틱 신호로 여전히 변환될 수 있다.
또한, 실시양태에 따르면, 윈도우는 빈번하게(또는 빈번하지 않게) 업데이트될 수 있는 전역적(global) 최소 크기값 및 전역적 최대 크기값에 따라 동적(즉, 빈번하게 또는 빈번하지 않게 움직일 수 있음)일 수 있다. 전역적 최소 및 최대 크기값에 기초하여, 하나 이상의 문턱값(threshold value)을 결정할 수 있다. 하나 이상의 문턱값은 입력 신호의 부분이 윈도우에 포함되는지 여부, 및 따라서 입력 신호의 그 부분이 스케일링되는지 여부를 결정하는 데에 사용될 수 있다. 이는 입력 신호의 각 부분에 대하여 행해질 수 있어, 전체 입력 신호가 햅틱 신호로 변환될 수 있다. 실시양태에 따르면, 입력 신호의 몇몇 부분은 스케일링될 수 있고, 입력 신호의 다른 부분은 스케일링되지 않을 수 있다. 일 실시양태에서, 입력 신호의 한 부분의 하나 이상의 크기값은, 입력 신호의 그 부분이 속하는 "빈(bin)"을 결정하기 위하여 분석될 수 있고, 입력 신호의 그 부분은 빈으로 맵핑될 수 있다. 대안적인 실시양태에서, 최소 및 최대 크기값을 해석하고, 하나 이상의 문턱값을 결정하고, 입력 신호의 부분이 윈도우에 포함되는지 여부를 결정하기 위하여, 빈 외에, 다른 방법, 예컨대 수학식 또는 룩업 테이블(look-up tables)을 사용할 수 있다.
실시양태에 따르면, 동적 윈도우 햅틱 변환 알고리즘을 실시하기 위하여, 동적 범위 압축을 실행할 수 있다. 동적 범위 압축은 특정 범위 내에서의 입력 신호, 예컨대 오디오 신호의 크기값의 압축이다. 예를 들면, 입력 오디오 신호로, 큰 소리가 특정 범위로 감소되어 클리핑(clipping)을 방지할 수 있고, 부드러운 소리가 들리도록 동일한 범위에 포함되게 증폭될 수 있다. 동적 범위 압축은 궁극적으로 동적 압축 알고리즘의 문턱에 의해 제어될 수 있고, 문턱은 하나 이상의 문턱값으로 나타낼 수 있다. 또한, 2 종류의 동적 범위 압축: 하향 압축; 및 상향 압축이 있을 수 있다. 하향 압축에서, 문턱 초과의 신호 크기값이 감소하는 반면, 문턱 이하의 신호 크기값은 변하지 않는다. 상향 압축에서, 문턱 미만의 신호 크기값이 증가하는 반면, 문턱 이상의 신호 크기값은 변하지 않는다. 실시양태에 따르면, 동적 윈도우 햅틱 변환 알고리즘은 입력 신호의 각 부분에 대한 동적 압축 알고리즘에 의해 사용되는 문턱을 결정하기 위하여, 입력 신호의 각 부분에 대한 전역적 최소 크기값 및 전역적 최대 크기값을 사용할 수 있다. 또한 동적 윈도우 햅틱 변환 알고리즘은 도 3과 함께 하기에서 더 상세하게 설명된다.
도 3은 본 발명의 실시양태에 따른, 동적 윈도우 햅틱 변환 알고리즘의 기능의 흐름도이다. 일 실시양태에서, 도 3의 기능, 뿐만 아니라 하기에 설명된 도 12, 13 및 14의 기능은 메모리 또는 다른 컴퓨터-판독가능한 또는 유형의(tangible) 매체에 저장되고, 프로세서에 의해 실행되는 소프트웨어에 의해 실시된다. 다른 실시양태에서, 각 기능은 하드웨어(예를 들면, 주문형 집적회로("ASIC"), 프로그래밍가능 게이트 어레이("PGA"), 필드 프로그래밍가능 게이트 어레이("FPGA") 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 특정 실시양태에서, 몇몇 기능은 생략될 수 있다.
흐름이 시작되고, 310으로 진행하며, 입력 신호(300)의 적어도 일부를 입력 버퍼로서 수신한다. 몇몇 실시양태에서, 입력 신호(300)의 단지 일부만이 입력 버퍼로서 수신된다. 다른 실시양태에서, 입력 신호(300)는 전체가 입력 버퍼로서 수신된다. 선택적으로, 입력 버퍼의 임의의 필요 사전처리가 수행된다. 이어서 흐름은 320으로 진행한다.
320에서, 입력 버퍼의 최소 크기값 및 최대 크기값은, 입력 버퍼 내에 포함된 입력 신호(300), 또는 입력 신호(300)의 한 부분을 분석하고, 입력 신호(300) 또는 입력 신호(300)의 부분의 최소 크기값 및 최대 크기값을 결정함으로써 탐색된다(retrieved). 이어서, 탐색된 최소 크기값은 전역적 최소 크기값과 비교되며, 또한 탐색된 최대 크기값은 전역적 최대 크기값과 비교된다. 탐색된 최소 크기값이 전역적 최소 크기값 미만이거나, 탐색된 최대 크기값이 전역적 최대 크기값 초과이거나, 또는 그의 조합인 경우, 흐름은 330으로 진행한다. 그렇지 않으면, 흐름은 350으로 진행한다. 또한, 전역적 최소 및 최대 크기값이 없는 경우, 전역적 최소 및 최대 크기값은 탐색된 최소 및 최대 크기값으로 설정되고, 흐름은 350으로 진행한다.
330에서, 탐색된 최소 크기값이 전역적 최소 크기값 미만인 경우, 전역적 최소 크기값은 탐색된 최소 크기값과 동일하게 조정된다. 또한, 탐색된 최대 크기값이 전역적 최대 크기값 초과인 경우, 전역적 최대 크기값은 탐색된 최대 크기값과 동일하게 조정된다. 이어서, 전역적 최소 및 최대 크기값이 해석되고, 하나 이상의 문턱 크기값이 해석된 전역적 최소 및 최대 크기값에 기초하여 결정된다. 하나 이상의 문턱 크기값은 많은 상이한 프로세스 중 하나에 따라 결정될 수 있다. 예를 들면, 일 실시양태에서, 해석된 전역적 최소 및 최대 크기값에 기초하여, 입력 버퍼는 빈으로 맵핑될 수 있으며, 하나 이상의 문턱 크기값은 빈에 대해 사전정의된다. 맵핑된 빈과 관련된 하나 이상의 사전정의된 문턱 크기값은 하나 이상의 문턱 크기값으로 사용될 수 있다. 다른 실시양태에서, 하나 이상의 문턱 크기값은 하나 이상의 수학식을 사용하여 해석된 전역적 최소 및 최대 크기값에 기초하여 계산될 수 있다. 이 실시양태에서, 하나 이상의 문턱 크기값을 계산하기 위하여, 하나 이상의 수학식이 해석된 전역적 최소 및 최대 크기값에 적용될 수 있다. 다른 실시양태에서, 하나 이상의 룩업 테이블은 해석된 전역적 최소 및 최대 크기값을 사용하여 분석될 수 있고, 하나 이상의 문턱 크기값은 해석된 전역적 최소 및 최대 크기값에 기초하여 하나 이상의 룩업 테이블로부터 선택될 수 있다. 대안적인 실시양태에서, 하나 이상의 문턱 크기값은 관련 기술분야에서 통상의 기술자에게 공지된 임의의 프로세스를 사용하여 해석된 전역적 최소 및 최대 크기값에 기초하여 결정될 수 있다. 흐름은 340으로 진행한다.
340에서, 동적 범위 압축 알고리즘의 하나 이상의 문턱 크기값은 330에서 결정된 하나 이상의 문턱 크기값과 동일하게 조정될 수 있다. 이어서, 흐름은 350으로 진행한다.
350에서, 동적 범위 압축 알고리즘은 입력 버퍼에 포함된 입력 신호(300), 또는 입력 신호(300)의 한 부분에 적용된다. 일 실시양태에서, 상향 압축 알고리즘이 적용된다. 이 실시양태에서, 하나 이상의 문턱 크기값 미만인 입력 신호(300), 또는 입력 신호(300)의 부분의 임의의 크기값은 상향으로 스케일링된다(즉, 증가된다). 입력 신호(300) 또는 입력 신호(300)의 부분의 다른 모든 크기값은 변하지 않는다. 이어서, 흐름은 360으로 진행한다.
360에서, 선택적으로, 입력 버퍼의 임의의 필요 후처리가 수행된다. 이어서 흐름은 370으로 진행한다.
370에서, 입력 버퍼가 출력된다. 더 구체적으로, 입력 버퍼에 포함된 입력 신호(300), 또는 입력 신호(300)의 한 부분이 출력된다. 입력 신호(300)의 단지 일부만이 입력 버퍼에 포함되는 경우, 도 3에 도시된 흐름이 입력 신호(300)의 각 부분에 대해서 반복될 수 있다. 이어서 흐름이 종료된다.
따라서, 실시양태에 따르면, 동적 윈도우 햅틱 변환 알고리즘은, 문턱 미만인 입력 신호의 부분의 크기값을 증가시킴으로써, 및 크기값이 문턱 이상인 입력 신호의 다른 부분을 그대로 둠으로써, 입력 신호를 변경할 수 있다. 그 결과, 동적 윈도우 햅틱 변환 알고리즘은 약한 입력 신호의 경우에도, 입력 신호 또는 입력 신호의 일부분의 상향 스케일링 때문에, 실제로 사용자에 의해 느껴질 수 있는 하나 이상의 햅틱 효과를 발생시키는 데에 사용될 수 있는 햅틱 신호로 입력 신호를 변환할 수 있다. 또한, 동적 윈도우 햅틱 변환 알고리즘은 입력 신호를 변경하여, 햅틱 효과를 발생시키는 데에 사용되는 햅틱 출력 장치의 유형에 상관없이, 감지될 수 있는 햅틱 효과를 발생시키는 데에 사용될 수 있는 햅틱 신호로 입력 신호를 변환시킬 수 있다. 또한, 앞서 설명한 바와 같이, 동적 윈도우 햅틱 변환 알고리즘은 다른 햅틱 변환 알고리즘과 동적으로 연결되거나 연쇄된 햅틱 변환 알고리즘일 수 있다.
또한, 일 실시양태에서, 앞서 설명한 바와 같이, 시스템은 햅틱 신호 또는 햅틱 스트림을 동적으로 압축할 수 있고, 동적으로 압축된 햅틱 신호를 햅틱 출력 장치로 스트리밍할 수 있다. 햅틱 신호를 동적으로 압축함으로써, 시스템은, 시스템과 클라이언트 사이의 왕복 지속시간, 햅틱 신호의 하나 이상의 특성 또는 그의 조합에 기초하여 햅틱 신호에 적용하기 위한 압축 알고리즘을 선택할 수 있다. 햅틱 신호를 압축함으로써 시스템은 햅틱 신호가 매체 내에서 더 작은 공간을 차지하도록 할 수 있다.
따라서, 실시양태에 따르면, 시스템은 광범위한 액추에이터 유형에 대하여, 햅틱 신호, 예컨대 8,000 Hz 8-비트 펄스-부호 변조("PCM") 신호를 효율적으로 압축하기 위한 다수의 방법을 제공할 수 있다. 또한, 압축의 일부로서, 시스템은 햅틱 신호를 저장하기 위해 필요하지 않은 하나 이상의 주파수를 제거할 수 있다. 또한, 햅틱 신호는 n 개의 채널을 또한 포함할 수 있고, 여기서 n은 임의의 수이다. 이 경우에, n 개의 채널 내에 포함된 데이터는 햅틱 신호로 인터리빙(interleaved)될 수 있다.
일 실시예로서, 압전 액추에이터는, 50 Hz 내지 300 Hz의 주파수 범위를 포함하는 햅틱 신호(또는 햅틱 스트림)를 재생할 때, 가장 양호한 성능을 나타낼 수 있다. 이는 햅틱 신호 내의 다른 주파수 범위가 필요하지 않을 수 있고, 압전 액추에이터에서 햅틱 신호의 다른 주파수 범위를 재생하도록 요구되지 않을 수 있다는 것을 의미할 수 있다. 시스템은 이러한 주파수 범위를 제거할 수 있고, 특정 필터 뱅크들을 갖는 햅틱 인코딩 알고리즘을 활용함으로써, 압축된 햅틱 데이터를 효율적으로 저장할 수 있다. 이 필터 뱅크들은 임의의 원치않는 주파수 범위를 필터링할 수 있고, 원하는 주파수 범위만을 저장할 수 있다. 또한 시스템은 생성된 햅틱 데이터를 양자화할 수 있다. 양자화 알고리즘은 손실 또는 무손실일 수 있다. 이어서 시스템은 햅틱 데이터를 보다 더 압축하기 위하여, 햅틱 코딩 알고리즘, 예컨대 허프만(Huffman) 코딩 알고리즘을 활용할 수 있다. 디코딩 측면에서, 시스템은 상술한 프로세스를 역행할 수 있고, 원하는 주파수 범위를 포함하는 햅틱 데이터를 탐색할 수 있다. 햅틱 데이터는 압전 액추에이터로 바로 송신될 수 있으며, 햅틱 데이터는 햅틱 효과를 발생시키기 위해 재생될 수 있다.
다른 실시예로서, ERM 액추에이터 및 LRA 액추에이터의 성능은 유형 및 구동 회로에 따라 변할 수 있어서, 이러한 유형의 액추에이터에 대하여 특정 주파수 범위가 바람직할 것이라고 간주할 수 없다. 이러한 실시예에 대하여, 시스템은 1 ms 간격으로 햅틱 데이터를 평균내는 다른 햅틱 인코딩 알고리즘을 활용할 수 있고, 이는 햅틱 데이터를 원래보다 8 배 작은 1000 Hz, 8-비트로 변환한다. 시스템은 또한 햅틱 데이터를 보다 더 축소시키기 위해 무손실 양자화기 및 하나 이상의 햅틱 코팅 알고리즘을 사용할 수 있다. 시스템은 후속적으로 햅틱 코딩 및 양자화기 프로세스를 역행하는 디코딩 알고리즘을 활용할 수 있고, 1 ms의 업데이트 속도로 1000 Hz, 8-비트 데이터 스트림에 대해 효과 콜(call)을 사용하여 햅틱 데이터를 재생할 수 있다.
다른 실시예에서, 햅틱 신호, 또는 햅틱 스트림의 원시(raw) 햅틱 데이터가 수신될 수 있다. 이상적으로, 이 햅틱 데이터는, 신호에 대해 햅틱 변환 알고리즘이 수행된 설계-시간 변환을 이미 거쳤다. 햅틱 출력 장치, 예컨대 압전 액추에이터는 특정 주파수 범위(예를 들면, 150 - 350 Hz)에서 바람직한 햅틱 효과만을 제공할 수 있다. 실시양태에 따르면, 시스템은 햅틱 신호 또는 햅틱 스트림을 사용하여, 두 배의 샘플링 레이트(예를 들면, 800 Hz의 샘플링 레이트)로 150 - 350 Hz의 주파수 범위의 햅틱 데이터를 나타낼 수 있다.
햅틱 신호를 44.1/48 KHz PCM에서 800 Hz PCM으로 축소 스케일링하기 위하여, 시스템은 햅틱 신호의 모든 고주파수 성분(예를 들면, 400 Hz 이상의 주파수 성분)을 제거하는 필터 뱅크를 사용할 수 있어, 햅틱 신호는 400 Hz 미만의 콘텐츠만을 포함한다. 이어서 시스템은 신호를 800 Hz까지로 낮게 재샘플링할 수 있다. 이 프로세스는 샘플링 레이트가 800 Hz인 햅틱 신호를 생성할 수 있다. 필터 뱅크는 또한 모든 저주파수 성분(예를 들면, 50 Hz 미만의 주파수 성분)을 제거할 수 있다.
이 실시예에서, 햅틱 코딩 알고리즘이 손실 코딩 알고리즘인 경우, 시스템은 햅틱 데이터를 보다 더 압축하기 위하여 햅틱 신호를 양자화하고 허프만 코딩 알고리즘을 사용할 수 있다. 그러나, 햅틱 신호가 무손실로 압축되어야 하는 경우에, 햅틱 신호는 햅틱 신호의 성분을 근사하고, 오류를 압축하기 위하여 선형 예측 코딩 알고리즘을 사용할 수 있다.
또한, LRA 액추에이터, 또는 ERM 액추에이터에 대한 햅틱 신호에 있어서, 햅틱 데이터는 200 Hz에서 샘플링된 일련의 크기값일 수 있다. 시스템은 햅틱 데이터를 축소 압축하기 위하여 무손실 코딩 알고리즘을 적용할 수 있다.
또한 햅틱 신호의 동적 압축의 예를 도 4-11를 참고하여 하기에서 더 상세하게 설명한다.
도 4는 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 햅틱 신호를 스트리밍하기 위한 요청을 도시한다. 더 구체적으로, 도 4는 클라이언트(410) 및 서버(420)를 도시한다. 실시양태에 따르면, 클라이언트(410)는 서버(420)로 요청을 송신하고, 여기서 요청은 햅틱 파일(440)을 스트리밍하기 위해 세션(430)(즉, "세션 X")을 개시하기 위한 요청이며, 햅틱 파일(440)은 햅틱 신호, 또는 햅틱 스트림을 포함한다. 이에 반응하여, 서버(420)가 세션(430)을 개시한다.
도 5는 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축의 성분인 스트리밍 세션의 초기화를 도시한다. 실시양태에 따르면, 서버(420)는 확인을 클라이언트(410)에게 송신하여, 세션(430)이 개시된 것을 확인한다. 또한, 서버(420)는 클라이언트(410)와 서버(420) 사이의 왕복 지속시간을 측정한다. 더 구체적으로, 서버(420)는 클라이언트(410)에게 데이터를 송신하고 클라이언트로부터 데이터를 수신하는 데에 걸리는 시간의 양을 측정한다.
도 6은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축 성분인 압축 알고리즘의 결정을 도시한다. 실시양태에 따르면, 서버(420)는: 클라이언트(410)와 서버(420) 사이의 측정된 왕복 지속시간; 햅틱 파일(440)에 저장된 햅틱 신호, 또는 햅틱 스트림의 하나 이상의 특성; 또는 그의 조합에 기초하여 햅틱 파일(440)에 적용할 압축 알고리즘을 선택한다. 서버(420)는 선택적으로, 압축 알고리즘 이외에, 햅틱 인코딩 알고리즘(450)(즉, "인코더 A")을 고를 수 있다. 햅틱 신호의 예시적인 특성은 크기, 주파수, 지속시간, 진폭, 강도, 포락선, 밀도, 또는 햅틱 신호의 임의의 다른 유형의 정량화가능한 물리적 특성을 포함할 수 있다.
도 7은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축 성분인 압축 알고리즘의 통신을 도시한다. 실시양태에 따르면, 서버(420)는 압축 알고리즘의 선택(및 선택적으로는 햅틱 인코딩 알고리즘(450)의 선택)의 표시(indication)를 클라이언트(410)에게 송신한다. 실시양태에 따르면, 압축해제 알고리즘은 클라이언트(410)에게 이용가능할 수 있다. 선택적으로, 햅틱 디코딩 알고리즘(460)(즉, "디코더 A")이 또한 클라이언트(410)에게 이용가능할 수 있다.
도 8은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축 성분인 응답 통신을 도시한다. 실시양태에 따르면, 클라이언트(410)는 서버(420)로 응답을 송신한다. 응답은 서버(420)가 햅틱 파일(440)의 스트리밍을 시작할 수 있다는 것을 나타낼 수 있다. 응답은 대안적으로, 서버(420)가 세션(430)을 종료시킬 것을 요청할 수 있다. 클라이언트(410)는, 서버(420)에 의해 표시된 압축 알고리즘과 매칭되는 압축해제 알고리즘이 클라이언트(410)에게 이용가능하지 않기 때문에, 세션(430)을 종료하기를 원할 수 있다. 클라이언트(410)는 또한 햅틱 인코딩 알고리즘(450)과 매칭되는 햅틱 디코딩 알고리즘이 클라이언트(410)에게 이용가능하지 않기 때문에, 세션(430)을 종료하기를 원할 수 있다. 응답은 대안적으로, 서버(420)가 클라이언트(410)에게 이용가능한 압축해제 알고리즘과 매칭되는 압축 알고리즘을 사용할 것을 요청할 수 있다. 응답은 추가적으로, 또는 대안적으로, 서버(420)가, 클라이언트(410)에게 이용가능한 햅틱 디코딩 알고리즘(예를 들어, 햅틱 디코딩 알고리즘(460))과 매칭되는 햅틱 코딩 알고리즘을 사용할 것을 요청할 수 있다.
도 9는 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축 성분인 응답 통신을 도시한다. 실시양태에 따르면, 클라이언트(410)는 서버(420)로 응답을 송신한다. 앞서 설명한 바와 같이, 응답은 서버(420)가 클라이언트(410)에게 이용가능한 압축해제 알고리즘과 매칭되는 압축 알고리즘을 사용할 것을 요청할 수 있다. 응답은 추가적으로, 또는 대안적으로, 서버(420)가, 클라이언트(410)에게 이용가능한 햅틱 디코딩 알고리즘(예를 들어, 햅틱 디코딩 알고리즘(460))과 매칭되는 햅틱 코딩 알고리즘을 사용할 것을 요청할 수 있다. 이 실시양태에서, 또한 응답은: 클라이언트(410)에게 이용가능한 하나 이상의 압축해제 알고리즘의 목록; 클라이언트(410)에게 이용가능한 하나 이상의 햅틱 디코딩 알고리즘(예를 들면, 햅틱 디코딩 알고리즘(460))의 목록; 또는 그의 조합을 포함할 수 있다.
도 10은 본 발명의 실시양태에 따른 햅틱 신호의 동적 압축 성분인 압축 통신을 도시한다. 실시양태에 따르면, 서버(420)는 클라이언트(410)에게 표시를 송신하고, 표시는 클라이언트(410)에게 서버(420)가 데이터를 클라이언트(410)에게 송신하는 것을 시작할 것이라는 것을 나타내며, 또한 표시는 클라이언트(410)에게, 서버(420)가 클라이언트(410)에게 송신하는 데이터를 수신하기 시작할 것을 명령한다.
도 11은 본 발명의 실시양태에 따른, 햅틱 신호의 동적 압축 성분인 햅틱 신호의 압축 및 스트리밍을 도시한다. 실시양태에 따르면, 서버(420)는 햅틱 파일(440)에 압축 알고리즘을 적용하고, 햅틱 파일(440)을 압축한다. 또한, 서버(420)는 선택적으로, 햅틱 인코딩 알고리즘(450)을 적용하고, 햅틱 파일(440)을 인코딩한다. 서버(420)는 이어서 햅틱 파일(440)을 클라이언트(410)에게 스트리밍한다. 클라이언트(410)는 압축해제 알고리즘을 햅틱 파일(440)에 적용하고, 햅틱 파일(440)을 압축해제한다. 또한, 서버(420)는 선택적으로, 햅틱 디코딩 알고리즘(460)을 적용하고, 햅틱 파일(440)을 디코딩한다.
도 12는 본 발명의 실시양태에 따른, 동적 햅틱 변환 모듈의 기능의 흐름도를 도시한다. 흐름이 시작되고, 1210으로 진행한다. 1210에서, 효과 오브젝트들이 발생되며, 효과 오브젝트는 입력 신호를 출력 신호로 변환하기 위해 입력 신호에 대한 햅틱 변환 알고리즘을 수행하기 위한 명령어를 포함하고, 효과 오브젝트들의 순서가 정의된다. 특정 실시양태에서, 적어도 하나의 효과 오브젝트의 햅틱 변환 알고리즘은 앞서 설명한 바와 같이, 및 도 13을 참조하여 하기에서 더 설명되는 것과 같이 동적 윈도우 햅틱 변환 알고리즘일 수 있다. 이어서 흐름은 1220으로 진행한다.
1220에서, 입력 신호가 수신된다. 특정 실시양태에서, 입력 신호는 오디오 신호, 또는 오디오 데이터를 포함하는 다른 유형의 오디오 입력일 수 있다. 대안적인 실시양태에서, 입력 신호는 비디오 신호, 또는 비디오 데이터를 포함하는 다른 유형의 비디오 입력일 수 있다. 다른 대안적인 실시양태에서, 입력 신호는 가속도 신호, 또는 가속도 데이터를 포함하는 다른 유형의 가속도 입력일 수 있다. 다른 대안적인 실시양태에서, 입력 신호는 햅틱 신호, 또는 햅틱 데이터를 포함하는 다른 유형의 햅틱 입력일 수 있다. 또 다른 대안적인 실시양태에서, 입력 신호는 배향 데이터를 포함하는 배향 신호, 주변광 데이터를 포함하는 주변광 신호, 또는 센서에 의해 감지될 수 있는 다른 유형의 신호일 수 있다. 또한, 다른 대안적인 실시양태에서, 입력은 입력 신호가 아니라, 데이터를 포함하는 다른 유형의 입력일 수 있다. 몇몇 실시양태에서, 입력 신호는 효과 오브젝트들 및 효과 오브젝트들의 순서를 정의하는 메타데이터를 포함할 수 있다. 이어서 흐름은 1230으로 진행한다.
1230에서, 효과 오브젝트들은 정의된 순서로 입력 신호에 적용되며, 선행 효과 오브젝트의 출력 신호가 후행 효과 오브젝트의 입력 신호이고, 최종 효과 오브젝트의 출력 신호가 햅틱 신호를 형성한다. 이어서 흐름은 1240으로 진행한다.
1240에서, 햅틱 신호는 햅틱 출력 장치로 송신되고, 햅틱 신호는 햅틱 출력 장치가 햅틱 효과를 출력하도록 한다. 특정 실시양태에서, 햅틱 출력 장치는 액추에이터일 수 있다. 이어서 흐름은 1250으로 진행한다.
1250에서, 효과 오브젝트는 효과 오브젝트들에 추가될 수 있고; 효과 오브젝트는 효과 오브젝트들에서 제거될 수 있고; 효과 오브젝트들의 정의된 순서는 변경될 수 있고; 또는 그의 조합일 수 있다. 또한, 몇몇 실시양태에서, 다수의 효과 오브젝트가 추가될 수 있고; 다수의 효과 오브젝트가 제거될 수 있고; 또는 그 조합일 수 있다. 더욱 추가로, 1220, 1230, 및 1240은 원래의 햅틱 신호와는 상이한 신규 햅틱 신호를 발생시키기 위하여 재수행될 수 있고, 신규한 햅틱 신호는 햅틱 출력 장치로 송신될 수 있다. 따라서, 1250에서, 사용자는 효과 오브젝트들을 변경하거나, 효과 오브젝트들의 순서를 변경하거나, 또는 그의 조합으로써, 효과 오브젝트들로부터 발생된 전체 햅틱 변환 알고리즘을 변경할 수 있다. 따라서, 햅틱 변환 알고리즘은 동적 햅틱 변환 알고리즘이다. 몇몇 실시양태에서, 1250은 생략될 수 있다. 또한, 몇몇 실시양태에서, 1230의 후에, 및 1240의 전에, 동적 압축 알고리즘은 상술한 바와 같이, 및 도 14를 참조하여 하기에서 더 설명되는 바와 같이, 햅틱 신호에 대해 수행될 수 있다. 이어서 흐름이 종료된다.
도 13은 본 발명의 실시양태에 따른, 동적 햅틱 변환 모듈의 기능의 흐름도를 도시한다. 흐름이 시작되고, 1310으로 진행한다. 1310에서, 입력 신호의 일부가 분석된다. 특정 실시양태에서, 전체 입력 신호가 분석된다. 이어서, 흐름은 1320으로 진행한다. 1320에서, 입력 신호(또는 입력 신호의 일부분)의 최소 진폭값 및 최대 진폭값이 결정된다. 이어서 흐름은 1330으로 진행한다.
1330에서, 최소 진폭 값은 전역적 최소 진폭값과 비교된다. 이어서 흐름은 1340으로 진행한다. 1340에서, 전역적 최소 진폭 값은, 최소 진폭값이 전역적 최소 진폭값 미만일 때, 최소 진폭값과 동일하게 조정된다. 전역적 최소 진폭값이 없는 경우의 실시양태에서, 전역적 최소 진폭값이 생성되며 최소 진폭값과 동일하게 설정된다. 이어서 흐름은 1350으로 진행한다.
1350에서, 최대 진폭값은 전역적 최대 진폭값과 비교된다. 이어서 흐름은 1360으로 진행한다. 1360에서, 전역적 최대 진폭값은, 최대 진폭값이 전역적 최대 진폭값 초과일 때 최대 진폭값과 동일하게 조정된다. 전역적 최대 진폭값이 없는 경우의 실시양태에서, 전역적 최대 진폭값이 생성되며 최대 진폭값과 동일하게 설정된다. 이어서 흐름은 1370으로 진행한다.
1370에서, 문턱 크기값은 전역적 최소 진폭값 및 전역적 최대 진폭값에 기초하여 결정된다. 특정 실시양태에서, 문턱 크기값은 전역적 최소 진폭값 및 전역적 최대 진폭값에 기초하여 빈으로 입력 신호(또는 입력 신호의 일부분)를 맵핑함으로써 결정될 수 있고, 문턱 크기값은 빈에 대하여 사전정의된다. 다른 실시양태에서, 문턱 크기값은 전역적 최소 크기값 및 전역적 최대 크기값에 기초하여 룩업 테이블로부터 문턱 크기값을 선택함으로써 결정될 수 있다. 또 다른 실시양태에서, 문턱 크기값은 수학식을 전역적 최소 크기값 및 전역적 최대 크기값에 적용하여 문턱 크기값을 계산함으로써 결정될 수 있다. 이어서, 흐름은 1380으로 진행한다.
1380에서, 동적 범위 압축 알고리즘은 결정된 문턱 크기값에 기초하여, 입력 신호, 또는 입력 신호의 일부분에 적용된다. 특정 실시양태에서, 동적 범위 압축 알고리즘을 적용함으로써, 결정된 문턱 크기값 미만인 입력 신호 또는 입력 신호의 일부분의 하나 이상의 크기값이 상향 스케일링된다. 특정 실시양태에서, 1310-1380은 입력 신호의 각 부분에 대하여 수행될 수 있다. 이어서 흐름이 종료된다.
도 14는 본 발명의 실시양태에 따른, 동적 햅틱 변환 모듈의 기능의 흐름도를 도시한다. 흐름이 시작하고 1410으로 진행한다. 1410에서, 서버와 클라이언트 사이의 왕복 지속시간이 결정된다. 이어서 흐름은 1420으로 진행한다. 1420에서, 서버와 클라이언트 사이의 왕복 지속시간; 햅틱 신호의 하나 이상의 특성; 또는 그의 조합에 기초하여 압축 알고리즘이 선택된다. 이어서 흐름이 1430으로 진행한다. 1430에서, 햅틱 신호는 선택된 압축 알고리즘을 햅틱 신호에 적용함으로써 압축된다. 이어서, 흐름이 종료된다.
따라서, 일 실시양태에서, 시스템은 다양한 햅틱 변환 알고리즘(즉, 효과)을 동적으로 연결 또는 연쇄함으로써 입력 신호를 햅틱 신호로 변환할 수 있다. 이는 최종 사용자들이, 그들에게 보다 더 친숙한 파라미터를 사용하여 그들의 햅틱 효과를 완전히 커스터마이징하도록 할 수 있다. 최종 사용자들은 그들의 장치에 대하여 어떤 햅틱 변환 알고리즘이 가장 잘 "감지되는지"를 결정하기 위하여 효과들에 접근할 수 있는 시험 어플리케이션을 사용할 수 있다. 또한, 최종 사용자들은 그들의 장치에 대해 잘 작동하는 햅틱 변환 알고리즘을 결정하는 데에 있어서, 더 빠른 턴어라운드(turnaround)를 가질 수 있다. 최종 사용자가 특정 햅틱 변환 알고리즘의 일부로 사용될 수 있는 신규한 효과를 발견한 경우, 그 효과는 다른 변환에서의 사용을 위해 함께 동적으로 연결되거나 연쇄될 수 있는 효과들의 뱅크에 위치할 수 있다. 이는 최종 사용자에 대한 햅틱 효과의 설계 자유도를 증가시킬 수 있다.
또한, 다른 실시양태에서, 시스템은 입력 신호의 최소 및 최대 크기값에 기초하여 입력 신호의 한 부분을 정의하는 범위(즉, 윈도우)를 동적으로 생성하고 업데이트함으로써, 및 윈도우에 포함되는 입력 신호의 부분을 스케일링함으로써, 입력 신호를 햅틱 신호로 변환시킬 수 있다. 이는 원래의 입력 오디오 신호가 오디오 출력 장치, 예컨대 스피커를 통해 재생될 때 크게 인식되더라도, 변환된 햅틱 신호가 충분히 강하지 않은 문제를 해결할 수 있다.
또한 추가로, 다른 실시양태에서, 시스템은 햅틱 신호, 또는 햅틱 스트림을 동적으로 압축할 수 있고, 동적으로 압축된 햅틱 신호를 햅틱 출력 장치로 스트리밍할 수 있다. 이는 햅틱 데이터를 효율적으로 저장하고 스트리밍하는 데에 매우 중요할 수 있으며, 햅틱-가능(haptic-enabled) 매체가 최종 사용자에게 보다 매력적이도록 할 수 있다.
본 명세서 전체에 걸쳐 설명된 본 발명의 특징, 구조, 또는 특성은 하나 이상의 실시양태에서 임의의 적합한 방식으로 조합될 수 있다. 예를 들면, 본 명세서 전체에서 "일 실시양태", "몇몇 실시양태", "특정 실시양태", "특정 실시양태들", 또는 다른 유사어의 사용은 실시양태와 관련하여 설명된 특정 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시양태에 포함될 수 있다는 사실을 의미한다. 따라서, 본 명세서 전체에서 문구 "일 실시양태", "몇몇 실시양태", "특정 실시양태", "특정 실시양태들", 또는 다른 유사어가 나오더라도 반드시 모두가 같은 군의 실시양태를 언급하는 것은 아니며, 설명된 특징, 구조, 또는 특성은 하나 이상의 실시양태에서 임의의 적합한 방식으로 결합될 수 있다.
통상의 기술자는 전술한 바와 같은 본 발명이 단계들을 다른 순서로, 및/또는 구성 요소들을 개시된 구성과 다른 구성으로 하여 실시될 수 있다는 것을 쉽게 이해할 것이다. 그러므로, 비록 본 발명이 이러한 바람직한 실시양태를 바탕으로 설명되었지만, 통상의 기술자에게는 본 발명의 사상 및 범위 내에 속하는, 특정 변형, 변경, 및 대안의 구성도 자명할 것이라는 것이 명백할 것이다. 따라서, 본 발명의 경계 및 범위를 결정하기 위해서는, 첨부의 특허청구범위를 참조해야 한다.
10: 시스템
12: 버스
14: 메모리
15: 운영 체제
16: 동적 햅틱 변환
18: 다른 어플리케이션
20: 통신 장치
22: 프로세서
24: 표시장치
26: 액추에이터
28: 스피커
30: 센서

Claims (20)

  1. 프로세서에 의해 실행될 때, 상기 프로세서가 입력 신호를 햅틱 신호로 동적으로 변환하도록 하는 명령어들이 저장되어 있으며, 상기 변환은:
    복수의 효과 오브젝트를 발생시키는 단계 -효과 오브젝트는 입력 신호를 출력 신호로 변환하기 위해 입력 신호에 대한 햅틱 변환 알고리즘을 수행하기 위한 명령어를 포함하고, 효과 오브젝트들의 순서가 정의됨-;
    상기 입력 신호를 수신하는 단계;
    상기 효과 오브젝트들을 정의된 순서로 상기 입력 신호에 적용하는 단계 -효과 오브젝트의 상기 출력 신호가 상기 햅틱 신호를 형성함-; 및
    상기 햅틱 신호를 햅틱 출력 장치로 송신하는 단계 -상기 햅틱 신호는 상기 햅틱 출력 장치가 하나 이상의 햅틱 효과를 출력하게 함-
    를 포함하는, 컴퓨터-판독가능 매체.
  2. 제1항에 있어서, 상기 변환은: 효과 오브젝트를 상기 효과 오브젝트들에 추가하는 단계; 효과 오브젝트를 상기 효과 오브젝트들로부터 제거하는 단계; 또는 상기 효과 오브젝트들의 상기 정의된 순서를 변경하는 단계 중에서 적어도 하나를 더 포함하는, 컴퓨터-판독가능 매체.
  3. 제1항에 있어서, 상기 입력 신호가 상기 효과 오브젝트들 및 상기 효과 오브젝트들의 상기 순서를 정의하는 메타데이터를 포함하는, 컴퓨터-판독가능 매체.
  4. 제1항에 있어서, 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은:
    상기 입력 신호의 적어도 일부분을 분석하는 단계;
    전역적 최소 진폭값 및 전역적 최대 진폭값에 기초하여 문턱 크기값을 결정하는 단계; 및
    결정된 문턱 크기값에 기초하여 동적 범위 압축 알고리즘을 상기 입력 신호에 적용하는 단계
    를 포함하는, 컴퓨터-판독가능 매체.
  5. 제4항에 있어서, 상기 동적 범위 압축 알고리즘을 상기 입력 신호에 적용하는 단계는, 상기 결정된 문턱 크기값 미만인 상기 입력 신호의 하나 이상의 크기값을 상향 스케일링하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  6. 제4항에 있어서, 상기 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은:
    상기 입력 신호의 최소 진폭값 및 최대 진폭값을 결정하는 단계;
    상기 최소 진폭값을 전역적 최소 진폭값과 비교하는 단계;
    상기 최소 진폭값이 상기 전역적 최소 진폭값 미만일 때, 상기 전역적 최소 진폭값을 상기 최소 진폭값과 동일하게 조정하는 단계;
    상기 최대 진폭값을 전역적 최대 진폭값과 비교하는 단계; 및
    상기 최대 진폭값이 상기 전역적 최대 진폭값 초과일 때, 상기 전역적 최대 진폭값을 상기 최대 진폭값과 동일하게 조정하는 단계
    를 더 포함하는, 컴퓨터-판독가능 매체.
  7. 제6항에 있어서, 상기 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은 상기 입력 신호의 각 부분에 대해서 수행되는, 컴퓨터-판독가능 매체.
  8. 제4항에 있어서, 상기 전역적 최소 진폭값 및 상기 전역적 최대 진폭값에 기초하여 상기 문턱 크기값을 결정하는 단계는, 상기 최소 진폭값 및 상기 최대 진폭값에 기초하여 상기 입력 신호를 빈으로 맵핑하는 단계를 더 포함하고, 상기 문턱 크기값은 상기 빈에 대하여 사전정의되는, 컴퓨터-판독가능 매체.
  9. 제4항에 있어서, 상기 전역적 최소 진폭값 및 상기 전역적 최대 진폭값에 기초하여 상기 문턱 크기값을 결정하는 단계는, 상기 전역적 최소 진폭값 및 상기 전역적 최대 진폭값에 기초하여 룩업 테이블로부터 상기 문턱 크기값을 선택하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  10. 제1항에 있어서, 상기 변환은:
    서버와 클라이언트 사이의 왕복 지속시간을 결정하는 단계;
    상기 서버와 상기 클라이언트 사이의 왕복 지속시간; 또는 상기 햅틱 신호의 하나 이상의 특성 중에서 적어도 하나에 기초하여 압축 알고리즘을 선택하는 단계;
    선택된 압축 알고리즘을 상기 햅틱 신호에 적용함으로써 상기 햅틱 신호를 압축하는 단계
    를 더 포함하는, 컴퓨터-판독가능 매체.
  11. 복수의 효과 오브젝트를 발생시키는 단계 -효과 오브젝트가 입력 신호를 출력 신호로 변환하기 위해 입력 신호에 대한 햅틱 변환 알고리즘을 수행하기 위한 명령어를 포함하고, 효과 오브젝트들의 순서가 정의됨-;
    상기 입력 신호를 수신하는 단계;
    상기 효과 오브젝트들을 정의된 순서로 상기 입력 신호에 적용하는 단계 -효과 오브젝트의 상기 출력 신호가 상기 햅틱 신호를 형성함-; 및
    상기 햅틱 신호를 햅틱 출력 장치로 송신하는 단계 -상기 햅틱 신호는 상기 햅틱 출력 장치가 하나 이상의 햅틱 효과를 출력하게 함-
    를 포함하는, 입력 신호를 햅틱 신호로 동적으로 변환하기 위한, 컴퓨터-구현 방법.
  12. 제11항에 있어서, 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은:
    상기 입력 신호의 적어도 일부분을 분석하는 단계;
    전역적 최소 진폭값 및 전역적 최대 진폭값에 기초하여 문턱 크기값을 결정하는 단계; 및
    결정된 문턱 크기값에 기초하여 동적 범위 압축 알고리즘을 상기 입력 신호에 적용하는 단계
    를 포함하는, 컴퓨터-구현 방법.
  13. 제12항에 있어서, 상기 동적 범위 압축 알고리즘을 상기 입력 신호에 적용하는 단계는, 상기 결정된 문턱 크기값 미만인 상기 입력 신호의 하나 이상의 크기값을 상향 스케일링하는 단계를 더 포함하는, 컴퓨터-구현 방법.
  14. 제12항에 있어서, 상기 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은:
    상기 입력 신호의 최소 진폭값 및 최대 진폭값을 결정하는 단계;
    상기 최소 진폭값을 전역적 최소 진폭값과 비교하는 단계;
    상기 최소 진폭값이 상기 전역적 최소 진폭값 미만일 때, 상기 전역적 최소 진폭값을 상기 최소 진폭값과 동일하게 조정하는 단계;
    상기 최대 진폭값을 전역적 최대 진폭값과 비교하는 단계; 및
    상기 최대 진폭값이 상기 전역적 최대 진폭값 초과일 때, 상기 전역적 최대 진폭값을 상기 최대 진폭값과 동일하게 조정하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  15. 제11항에 있어서,
    서버와 클라이언트 사이의 왕복 지속시간을 결정하는 단계;
    상기 서버와 상기 클라이언트 사이의 왕복 지속시간; 또는 상기 햅틱 신호의 하나 이상의 특성 중에서 적어도 하나에 기초하여 압축 알고리즘을 선택하는 단계;
    선택된 압축 알고리즘을 상기 햅틱 신호에 적용함으로써 상기 햅틱 신호를 압축하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  16. 동적 햅틱 변환 모듈을 저장하도록 구성된 메모리; 및
    상기 메모리에 저장된 상기 동적 햅틱 변환 모듈을 실행하도록 구성된 프로세서
    를 포함하고,
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 복수의 효과 오브젝트를 발생시키도록 구성되고, 효과 오브젝트는 입력 신호를 출력 신호로 변환시키기 위해 상기 입력 신호에 대한 햅틱 변환 알고리즘을 수행하기 위한 명령어를 포함하고, 상기 효과 오브젝트들의 순서가 정의되고;
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 상기 입력 신호를 수신하도록 더 구성되고;
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 상기 효과 오브젝트들을 정의된 순서로 상기 입력 신호에 적용하도록 더 구성되고, 효과 오브젝트의 상기 출력 신호가 햅틱 신호를 형성하고;
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 상기 햅틱 신호를 햅틱 출력 장치로 송신하도록 더 구성되고, 상기 햅틱 신호는 상기 햅틱 출력 장치가 하나 이상의 햅틱 효과를 출력하게 하는,
    입력 신호를 햅틱 신호로 동적으로 변환하기 위한 시스템.
  17. 제16항에 있어서, 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은:
    상기 입력 신호의 적어도 일부분을 분석하는 단계;
    전역적 최소 진폭값 및 전역적 최대 진폭값에 기초하여 문턱 크기값을 결정하는 단계; 및
    결정된 문턱 크기값에 기초하여 동적 범위 압축 알고리즘을 상기 입력 신호에 적용하는 단계
    를 포함하는, 시스템.
  18. 제17항에 있어서, 상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 상기 결정된 문턱 크기값 미만인 상기 입력 신호의 하나 이상의 크기값을 상향 스케일링하도록 더 구성되는, 시스템.
  19. 제17항에 있어서, 상기 적어도 하나의 효과 오브젝트의 상기 햅틱 변환 알고리즘은:
    상기 입력 신호의 최소 진폭값 및 최대 진폭값을 결정하는 단계;
    상기 최소 진폭값을 전역적 최소 진폭값과 비교하는 단계;
    상기 최소 진폭값이 상기 전역적 최소 진폭값 미만일 때, 상기 전역적 최소 진폭값을 상기 최소 진폭값과 동일하게 조정하는 단계;
    상기 최대 진폭값을 전역적 최대 진폭값과 비교하는 단계; 및
    상기 최대 진폭값이 상기 전역적 최대 진폭값 초과일 때, 상기 전역적 최대 진폭값을 상기 최대 진폭값과 동일하게 조정하는 단계
    를 더 포함하는, 시스템.
  20. 제16항에 있어서,
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 서버와 클라이언트 사이의 왕복 지속시간을 결정하도록 더 구성되고;
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 상기 서버와 상기 클라이언트 사이의 왕복 지속시간; 또는 상기 햅틱 신호의 하나 이상의 특성 중에서 적어도 하나에 기초하여 압축 알고리즘을 선택하도록 더 구성되고;
    상기 프로세서는, 상기 동적 햅틱 변환 모듈을 실행할 때, 선택된 압축 알고리즘을 상기 햅틱 신호에 적용함으로써 상기 햅틱 신호를 압축하도록 더 구성된,
    시스템.
KR20140118706A 2013-09-06 2014-09-05 동적 햅틱 변환 시스템 KR20150028749A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US14/469,832 US10162416B2 (en) 2013-09-06 2014-08-27 Dynamic haptic conversion system
US14/469,832 2014-08-27

Publications (1)

Publication Number Publication Date
KR20150028749A true KR20150028749A (ko) 2015-03-16

Family

ID=51429008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140118706A KR20150028749A (ko) 2013-09-06 2014-09-05 동적 햅틱 변환 시스템

Country Status (5)

Country Link
US (2) US10162416B2 (ko)
EP (2) EP2846329A1 (ko)
JP (3) JP2015053047A (ko)
KR (1) KR20150028749A (ko)
CN (2) CN109857256A (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
KR101606791B1 (ko) * 2015-09-08 2016-03-28 박재성 주파수 변화에 따라 실시간 진동을 제공하는 진동 제공시스템 및 이것의 진동 제공방법
US9842476B2 (en) 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
CN105608399B (zh) * 2015-11-13 2018-05-08 深圳市智能体科技有限公司 智能眼镜、智能戒指及通过智能戒指控制智能眼镜的方法
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
WO2018017212A1 (en) * 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic driving guidance system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
WO2020044079A1 (en) * 2018-08-29 2020-03-05 Ecole Polytechnique Federale De Lausanne (Epfl) Multisensory haptic system and method
US10852830B2 (en) * 2018-09-11 2020-12-01 Apple Inc. Power efficient, dynamic management of haptic module mechanical offset
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN109710058A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 触觉信息录制方法及装置、系统
CN109447038A (zh) * 2018-11-27 2019-03-08 南京恩诺网络科技有限公司 触觉信息估算方法及装置、系统
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN111912462B (zh) * 2020-08-12 2021-12-24 东南大学 一种具有滑动觉、压觉和温度觉的多功能柔性触觉传感器
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5719561A (en) * 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6882735B2 (en) * 2001-01-11 2005-04-19 Autodesk, Inc. Dynamic range compression of an audio signal
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
EP1378826A1 (en) * 2002-07-01 2004-01-07 Sun Microsystems, Inc. Filter network for data representation
US7970147B2 (en) * 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
CN1842960A (zh) * 2003-08-28 2006-10-04 皇家飞利浦电子股份有限公司 用于在级联滤波器中消除通带波纹的方法和系统
GB0322875D0 (en) * 2003-09-30 2003-10-29 British Telecomm Haptics transmission systems
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
JP2009020291A (ja) * 2007-07-11 2009-01-29 Yamaha Corp 音声処理装置および通信端末装置
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
JP5016117B2 (ja) 2008-01-17 2012-09-05 アーティキュレイト テクノロジーズ インコーポレーティッド 口腔内触知フィードバックのための方法及び装置
KR20100039194A (ko) * 2008-10-06 2010-04-15 삼성전자주식회사 사용자 접촉 패턴에 따른 ＧＵＩ(Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ) 표시 방법 및 이를 구비하는 장치
GB0905692D0 (en) * 2009-04-02 2009-05-20 Tno Touch sensitive device
WO2010137650A1 (ja) * 2009-05-29 2010-12-02 シャープ株式会社 音声再生装置、音声再生方法及びプログラム
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2010148244A1 (en) * 2009-06-19 2010-12-23 Dolby Laboratories Licensing Corporation User-specific features for an upgradeable media kernel and engine
US9317116B2 (en) * 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US8801710B2 (en) * 2010-12-07 2014-08-12 Immersion Corporation Electrosurgical sealing tool having haptic feedback
TWI530818B (zh) * 2011-01-20 2016-04-21 宏達國際電子股份有限公司 具有觸覺回饋之電子裝置及提供觸覺回饋之方法
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US8965774B2 (en) * 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
EP2624099B1 (en) * 2012-02-03 2019-11-13 Immersion Corporation Method and system for sound to haptic effect conversion using waveform
US9513706B2 (en) 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9785236B2 (en) * 2012-05-25 2017-10-10 Immerz, Inc. Haptic interface for portable electronic device
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3648072A1 (en) 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Also Published As

Publication number Publication date
JP2019046505A (ja) 2019-03-22
EP3667666A1 (en) 2020-06-17
CN104679323A (zh) 2015-06-03
US10162416B2 (en) 2018-12-25
US20150070269A1 (en) 2015-03-12
US10409380B2 (en) 2019-09-10
JP6615307B2 (ja) 2019-12-04
EP2846329A1 (en) 2015-03-11
CN109857256A (zh) 2019-06-07
JP2019046506A (ja) 2019-03-22
US20190073039A1 (en) 2019-03-07
JP2015053047A (ja) 2015-03-19
CN104679323B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
JP6615307B2 (ja) 動的ハプティック変換システム
KR102254385B1 (ko) 햅틱 와핑 시스템
JP6739571B2 (ja) 周波数シフトを用いたハプティック変換システム
JP6735747B2 (ja) ハプティック出力装置に対応付けられたユーザ入力要素の位置制御
JP6517483B2 (ja) ハプティック信号を振動触覚ハプティック効果パターンの集合に変換するハプティックワーピングシステム
CN111381707A (zh) 触觉信号转换系统
EP3462285A1 (en) Haptic pitch control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application