KR102261452B1 - 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치 - Google Patents

햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치 Download PDF

Info

Publication number
KR102261452B1
KR102261452B1 KR1020140118710A KR20140118710A KR102261452B1 KR 102261452 B1 KR102261452 B1 KR 102261452B1 KR 1020140118710 A KR1020140118710 A KR 1020140118710A KR 20140118710 A KR20140118710 A KR 20140118710A KR 102261452 B1 KR102261452 B1 KR 102261452B1
Authority
KR
South Korea
Prior art keywords
control track
haptic
channels
haptic control
haptic feedback
Prior art date
Application number
KR1020140118710A
Other languages
English (en)
Other versions
KR20150028750A (ko
Inventor
빈센트 레베스크
자말 사분느
데이비드 엠 번바움
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150028750A publication Critical patent/KR20150028750A/ko
Application granted granted Critical
Publication of KR102261452B1 publication Critical patent/KR102261452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 특정 개수 및/또는 타입의 햅틱 출력 장치에서의 사용을 위해 설계된 제어 트랙을 다른 개수 및/또는 타입의 햅틱 출력 장치에서 사용되도록 변환하는 시스템 및 방법에 관한 것이다. 예를 들어, 컴퓨팅 장치는 제어 트랙을 다른 타입 및/또는 개수의 햅틱 출력 장치에 적용될 수 있는 또 다른 제어 트랙으로 변환시킬 수 있다. 변환된 제어 트랙은, 햅틱 트랙이 본래 설계되었던 시스템과는 상이한 개수 및/또는 타입의 햅틱 피드백 장치를 포함하는 스마트폰 또는 여타 시스템에서의 사용을 위해 호환될 수 있다. 이와 같이, 상기의 스마트폰 또는 여타 시스템의 사용자는 제어 트랙이 본래 사용 목적으로 설계되었던 또 다른 햅틱 피드백 시스템과 상이한 장치를 사용하여 햅틱 피드백을 경험할 수 있다. 변환은 스마트폰 또는 여타 시스템에서 국지적으로 및/또는 다른 장치에서 원격으로 이루어질 수 있다.

Description

햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치{METHOD AND APPARATUS OF CONVERTING CONTROL TRACKS FOR PROVIDING HAPTIC FEEDBACK}
관련 출원들에 대한 교차-참조
본 출원은 2013년 9월 6일에 출원된 미국 가특허 출원 일련 번호 제61/874,920호의 우선권을 주장하며, 그 전체 내용은 참조로서 본 명세서에 포함된다.
본 출원은 햅틱 출력 장치를 통해 햅틱 피드백을 제공하기 위한 제어 트랙을 변환하는 시스템 및 방법에 관한 것이다.
햅틱 피드백을 갖는 증강 미디어는 몰입형 사용자 경험(immersive user experience)을 생성할 수 있다. 예를 들면, 영화 또는 비디오 게임에서의 폭발 또는 노래에서의 딥 베이스(deep base)는 미디어 경험을 향상시키는 햅틱 피드백을 수반할 수 있다. 햅틱 피드백은 수동적으로 제작되거나(예를 들면, 사람에 의해 설계되거나) 자동적으로 생성되는(예를 들면, 처리 장치에 의해) 제어 트랙에 의해 특정될 수 있다. 그러나, 이들 기술 각각은 장점 및 단점을 가지고 있다.
수동적으로 제작된 제어 트랙은 사람에 의해 제작되는 고객 맞춤화된 햅틱 피드백을 활용할 수 있기 때문에 미디어 컨텐츠의 보다 의미있고, 본능적인 묘사를 행할 수 있다. 그러나, 수동적으로 제작되는 제어 트랙은 시간 소모적인 작업이다. 수동적으로 제작된 제어 트랙은 일반적으로 특수 영화와 같은 특정 미디어 컨텐츠용으로 생성되기 때문에 다른 영화와 같은 다른 미디어 컨텐츠에 사용하기에는 적합하지 않다. 이와 같이, 소정 미디어 컨텐츠용으로 수동적으로 제작되는 제어 트랙은 다른 미디어 컨텐츠에 적용될 수 없다. 게다가, 이렇게 수동적으로 제작된 제어 트랙은 통상적으로, 의자를 회전시킬 수 있고 의자를 위 아래로 움직일 수 있는 등의 다수의 그리고 상이한 타입의 햅틱 출력 장치를 갖는 의자와 같은 특수화된 햅틱 출력 시스템에 사용하기 위해 설계된다. 이와 같이, 제어 트랙은 특히, 모바일 통신 장치상에서 발견될 수 있는 것들과 같은 다른 타입 및/또는 개수의 햅틱 출력 장치와 호환되지 않을 수 있다.
종래의 자동화된 시스템은 미디어 컨텐츠의 연산적인 분석에 기초하여 결정되는 햅틱 피드백을 제공할 수 있다. 이러한 시스템은 햅틱 피드백을 제공하여 미디어 컨텐츠를 증강시키는 비용 효과적이며 빠른 솔루션을 제공할 수 있다. 그러나, 이들 종래의 시스템들은 모든 타입의 미디어 컨텐츠에 대한 햅틱 피드백을 제공할 수는 없으며 햅틱 피드백을 특정하는 수동 제작된 제어 트랙에 비견하는 햅틱 피드백 품질을 제공할 수 없다. 게다가, 자동적으로 생성된 제어 트랙은 소정 타입의 햅틱 출력 장치와 호환되지 않을 수 있다. 이들 및 다른 문제들이 존재한다.
본 발명은 햅틱 출력 장치를 통해 햅틱 피드백을 제공하기 위한 제어 트랙을 변환하는 시스템 및 방법에 관한 것이다. 제어 트랙은 특정 개수 및/또는 타입의 햅틱 출력 장치를 통해 햅틱 피드백을 제공하도록 구성될 수 있다. 본 시스템은 특정 타입 및/또는 개수의 햅틱 출력 장치용으로 설계된 고품질의 제어 트랙에 영향을 미쳐 다른 타입 및/또는 개수의 햅틱 출력 장치에 적용될 수 있도록 할 수 있다.
예를 들면, 제어 트랙은 영화와 같은 특정 미디어 컨텐츠용으로 수동적으로 제작되거나 생성될 수 있다. 제어 트랙은 사용자가 영화를 보고 있는 동안 햅틱 피드백을 제공하기 위해 복수의 상이한 타입의 햅틱 출력 장치가 장착된 특수 의자와 같은 햅틱 출력 시스템에서의 이용에 최적화될 수 있다.
제어 트랙은 상이한 타입 및/또는 개수의 햅틱 출력 장치가 의자를 회전시키는 회전형 햅틱 피드백, 의자를 위아래로 움직이는 타입의 햅틱 피드백, 및/또는 다른 타입의 햅틱 피드백과 같은 상이한 타입 및/또는 개수의 햅틱 피트백을 제공하도록 설계될 수 있다. 제공되는 개수 및/또는 타입의 햅틱 피드백은 특정 영화속 장면 또는 다른 미디어 컨텐츠에 대응하도록 제작자에 의해 설계될 수 있다.
일 실시예에서, 시스템은 다른 개수 및/또는 타입의 햅틱 출력 장치에 사용하기 위해 제어 트랙을 변환할 수 있다. 예를 들면, 시스템은 의자를 위해 특수하게 생성된 제어 트랙을, 다른 타입 및/또는 개수의 햅틱 피드백 장치에 적용될 수 있는 다른 제어 트랙(예를 들면, 제어 또는 구동 신호)으로 변환할 수 있다. 이 변환된 제어 트랙은 의자 이외의 상이한 수 또는 타입의 햅틱 피드백 장치를 포함하는 다른 장치 또는 스마트폰에 사용하기 위해 호환될 수 있다. 이러한 방식으로, 스마트폰 또는 다른 장치의 사용자는 제어 트랙이 본래 사용 목적으로 설계되었던 다른 햅틱 피드백 시스템 또는 의자와는 상이한 장치를 사용하여 햅틱 피드백을 경험할 수 있다. 일 실시예에 있어서, 제어 트랙은 시스템에 의한 변환없이 스마트폰 또는 다른 장치에 이용하기 위해 호환될 수 있다.
도 1은 본 발명의 일 양태에 따라, 햅틱 출력 장치를 통해 햅틱 피드백을 제공하기 위한 제어 트랙을 변환하는 시스템을 나타낸다.
도 2a는 본 발명의 일 양태에 따라, 복수의 채널을 갖는 제어 트랙을 더 적은 수의 채널을 갖는 변환된 제어 트랙으로 변환하는 컴퓨팅 장치의 일례를 나타낸다.
도 2b는 본 발명의 일 양태에 따라, 더 적은 수의 채널을 갖는 제어 트랙을 더 많은 수의 채널을 갖는 변환된 제어 트랙으로 변환하는 컴퓨팅 장치의 일례를 나타낸다.
도 2c는 본 발명의 일 양태에 따라, 소정 수의 채널을 갖는 제어 트랙을 동일한 수의 채널을 갖는 변환된 제어 트랙으로 변환하는 컴퓨팅 장치의 일례를 나타낸다.
도 3a는 본 발명의 일 양태에 따라, 각기 상이한 햅틱 프로파일을 갖는 더 적은 수의 채널로 변환된 대응하는 햅틱 프로파일을 각각 갖는 복수의 채널의 일례를 나타낸다.
도 3b는 본 발명의 일 양태에 따라, 각기 상이한 햅틱 프로파일을 갖는 더 많은 수의 채널로 변환된 대응하는 햅틱 프로파일을 각각 갖는 더 적은 수의 채널의 일례를 나타낸다.
도 3c는 본 발명의 일 양태에 따라, 각기 상이한 햅틱 프로파일을 갖는 동일한 수의 채널로 변환된 대응하는 햅틱 프로파일을 각각 갖는 소정 수의 채널의 일례를 나타낸다.
도 4는 본 발명의 일 양태에 따라, 복수의 채널을 갖는 제어 트랙에 기초하여 하나 이상의 햅틱 피드백을 출력하는 햅틱 출력 시스템의 일례를 나타낸다.
도 5는 본 발명의 일 양태에 따라, 변환된 제어 트랙이 생성되는 제어 트랙과는 다른 수의 채널을 갖는 변환된 제어 트랙에 기초하여 햅틱 피드백을 출력하는 햅틱 출력 장치를 갖는 장치의 일례를 나타낸다.
도 6은 본 발명의 일 양태에 따라, 햅틱 출력 장치를 통해 햅틱 피드백을 제공하기 위한 제어 트랙을 변환하는 처리의 흐름도를 나타낸다.
도 7a는 본 발명의 일 양태에 따라, 제어 트랙으로부터 디코딩된 햅틱 피드백과 변환된 제어 트랙으로 인코딩된 햅틱 피드백의 타이밍을 조정하는 일례를 모식적으로 나타낸다.
도 7b는 본 발명의 일 양태에 따라, 제어 트랙으로부터 디코딩된 햅틱 피드백의 타이밍을 결정하고, 타이밍에 기초하여 미디어 컨텐츠에서 발생하는 이벤트를 결정하고, 이벤트에 기초하여 햅틱 피드백을 결정하는 일례를 모식적으로 나타낸다.
도 7c는 본 발명의 일 양태에 따라, 도 7a 및 도 7b에 도시된 햅틱 트랙을 변환하는 하이브리드 스킴의 일례를 모식적으로 나타낸다.
도 1은 본 발명의 일 양태에 따라, 햅틱 출력 장치(160)를 통해 햅틱 피드백을 제공하기 위한 제어 트랙(112)을 변환하는 시스템(100)을 나타낸다. 시스템(100)은 제어 트랙 생성기(110), 컴퓨팅 장치(140), 햅틱 출력 시스템(170), 햅틱 출력 장치(160) 및/또는 다른 컴포넌트들을 포함할 수 있다.
제어 트랙 생성기(110)는 제어 트랙(112)을 생성하는 제어 트랙 설계자에 의해 조작되는 장치를 포함할 수 있다. 제어 트랙(112)은 햅틱 출력 시스템(170)이 설계자에 의해 특정하게 설계되는 하나 이상의 타입의 햅틱 피드백을 제공하게 하는 제어 신호 또는 다른 정보를 포함할 수 있다. 통상적으로, 반드시는 아니라고 할지라도, 제어 트랙은 햅틱 피드백들이 영화, 비디오 게임, 음악 및/또는 재생될 수 있는 다른 미디어 컨텐츠와 같은 미디어 컨텐츠와 동기화되도록 설계된다. 이러한 방식으로, 미디어 컨텐츠를 재생하는 사용자들에게는 미디어 컨텐츠의 다양한 부분에 대응하며 제어 트랙 설계자에 의해 설계되는 햅틱 피드백이 제공될 수 있다.
일부 예에서, 제어 트랙(112)은 인간의 간섭없이 컴퓨팅 장치에 의해 자동적으로 생성되고/거나 제어 트랙 설계자와 같은 인간 조작자에 의한 입력을 통해 컴퓨팅 장치에 의해 반자동적으로 생성될 수 있다. 제어 트랙(112)을 생성하기 위해 어느 방법이 이용되든지, 제어 트랙에 의해 특정된 햅틱 피드백은 햅틱 출력 시스템(170)에 사용하기 위해 최적화되거나 계획될 수 있다.
햅틱 출력 시스템(170)은 하나 이상의 햅틱 출력 장치(172)(도 1에 햅틱 출력 장치들(172A, 172B, ..., 172N로서 도시되어 있음)를 포함할 수 있다. 제어 트랙(112)은 통상적으로 특정 햅틱 출력 시스템(170)에 사용하기 위해 설계되기 때문에 다른 햅틱 출력 장치들과 호환되지 않을 수도 있다.
본 명세서에서 사용되는 바와 같이, 제어 트랙은 제어 트랙에 의해 특정된 특정 햅틱 피드백이 햅틱 출력 장치에 의해 생성될 수 없을 때 햅틱 출력 장치와 "비호환성(incompatible)"이다. 예를 들면, 제어 트랙 설계자는 햅틱 출력 시스템(170)에 이용하기 위해 제어 트랙(112)을 설계했기 때문에, 햅틱 출력 장치(160)는 제어 트랙(112)이 햅틱 출력 장치(160)에 적용될 때 제어 트랙 설계자 또는 자동화된 컴퓨터 처리에 의해 설계되는 특정 햅틱 피드백을 생성하지 못할 것이다. 이러한 비호환성은 신호 포맷의 차이, 햅틱 피드백을 제공하기 위해 사용되는 햅틱 출력 장치의 타입/수의 차이(예를 들면, 햅틱 출력 장치(172)와 햅틱 출력 장치(160)의 타입/수간의 차이) 및/또는 비호환성 햅틱 출력 장치가 특정 햅틱 피드백을 제공할 수 없게 하는 햅틱 출력 장치 또는 제어 트랙의 다른 특성으로부터 발생할 수 있다. 또한, 햅틱 피드백은 햅틱 피드백의 크기, 진폭, 지속 시간 및/또는 다른 특성과 같은 특성이 다른 햅틱 피드백에 대한 대응하는 특성과 상이할 때 다른 햅틱 피드백과는 "상이할" 수 있다.
햅틱 출력 장치(160)는 액추에이터, 예를 들면, 모터에 의해 편심 질량이 움직이는 ERM(Eccentric Rotating Mass)과 같은 전자기 액추에이터, 스프링에 부착된 질량이 앞뒤로 구동되는 LRA(Linear Resonant Actuator), 또는 압전 재료, 전자-활성 폴리머, 또는 형상 메모리 합금과 같은 "스마트 재료", 매크로-복합 섬유 액추에이터, 정전 액추에이터, 전자-촉각 액추에이터, 및/또는 햅틱(예를 들면, 진동 촉감) 피드백과 같은 물리적 피드백을 제공하는 다른 타입의 액추에이터를 포함할 수 있다. 햅틱 출력 장치(160)는 ESF(electrostatic friction), USF(ultrasonic surface friction)를 사용하는 것들 또는 초음파 햅틱 변환기를 이용하여 음향 방사압을 유도하는 것들, 또는 에어 제트를 이용한 훅부는 입김(puff of air) 등과 같은 돌출되는 햅틱 출력을 제공하는 것들과 같은 비기계 또는 비진동 장치를 포함할 수 있다.
컴퓨팅 장치(140)는 햅틱 출력 장치(160)가 변환된 제어 트랙(154)에 기초하여 햅틱 피드백을 제공할 수 있도록 제어 트랙(112)을 변환하도록 프로그래밍될 수 있다. 햅틱 출력 장치(160)에 의해 제공된 햅틱 피드백은 햅틱 출력 시스템(170)에 의해 제공되는 햅틱 피드백을 대신하여 사용되거나, 그를 대표하거나, 그를 시뮬레이션할 수 있다. 이러한 방식으로, 소정 타입 및/또는 개수의 햅틱 출력 장치를 갖는 특정 햅틱 출력 시스템에 사용하기 위해 설계되었던 제어 트랙은 상이한 타입 및/또는 개수의 햅틱 출력 장치에 사용될 수 있는 제어 트랙으로 변환될 수 있다.
컴퓨팅 장치(140)는 예를 들면, 컴퓨터 프로그래밍 명령어를 포함할 수 있는 다양한 모듈로 프로그래밍되는 프로세서(142)를 포함할 수 있다. 저장 장치(144)에 저장될 수 있는 다양한 모듈은 제어 트랙 디코딩 모듈(146), 제어 트랙 변환 모듈(148), 제어 트랙 편집 모듈(150), 피드백 조정 모듈(152) 및/또는 다른 모듈을 포함할 수 있다.
컴퓨팅 장치(140)는 컴퓨팅 장치(140)로 스트리밍될 수 있고/거나 저장 장치(144)에 저장될 수 있고/거나 컴퓨팅 장치(140)에 전송될 수 있는 제어 트랙(112)를 수신할 수 있다. 제어 트랙(112)이 스트리밍되고/거나 저장되고/거나 전송되거나 상관없이, 컴퓨팅 장치(140)는 제어 트랙을 처리하고 이 처리된 제어 트랙에 기초하여 변환된 제어 트랙(154)을 생성하도록 프로그래밍될 수 있다. 제어 트랙(154)은 제어 트랙(154)에 기초하여 햅틱 피드백을 생성할 수 있는 햅틱 출력 장치(160)에 제공될 수 있다. 별도로 도시되어 있지만, 햅틱 출력 장치(160)는 컴퓨팅 장치(140)와 통합되거나 분리될 수 있다. 분리되는 경우, 컴퓨팅 장치(140)와 햅틱 출력 장치(160)는 유선 또는 무선 접속을 통해 서로 결합될 수 있다. 통합되어 있을 경우, 프로세서(142)와 햅틱 출력 장치(160)는 통상의 회로를 사용하여 서로 결합될 수 있다.
일부 실시예에서, 제어 트랙 디코딩 모듈(146)은 제어 트랙(112)을 디코딩하도록 구성될 수 있다. 제어 트랙 디코딩 모듈(146)은 미리 저장된 파일(예를 들면, 제어 트랙(112)이 저장 장치(144)에 저장되어 있는 경우)에 기초하여 또는 제어 트랙이 스트리밍됨에 따라 처리가 행해지도록 하는 스트리밍된 제어 트랙(112)에 기초하여 제어 트랙(112)을 디코딩할 수 있다.
제어 트랙 디코딩 모듈(146)은 제어 트랙(112)으로부터 하나 이상의 개별 채널을 식별할 수 있다. 개별 채널은 대응하는 햅틱 출력 장치(172)가 햅틱 피드백을 생성할 수 있도록 구성될 수 있다. 즉, 대응하는 햅틱 출력 장치(172)에 적용될 때 각 개별 채널은 햅틱 피드백이 대응하는 햅틱 출력 장치에 의해 생성되게 한다. 제어 트랙 디코딩 모듈(146)은 종래의 신호 처리 기술을 이용하여 개별 채널을 식별하고 결정할 수 있다.
일부 실시예에서, 제어 트랙 디코딩 모듈(146)은 미디어 컨텐츠에 관련된 정보를 포함하는 메타-데이터를 제어 트랙(112)으로부터 추출하도록 구성될 수 있다. 메타-데이터는 대응하는 미디어 컨텐츠를 기술하기 위해 햅틱 설계자에 의해 제어 트랙(112)에 인코딩될 수 있다. 메타-데이터는 예를 들면, 대응하는 미디어 컨텐츠(예를 들면, 영화 또는 게임에서의 폭발)의 이벤트의 디스크립션, 미디어 재생동안의 특정 시간(예를 들면, 10초 동안의 회전 의자)에 특정 햅틱 피드백을 실행하는 커맨드, 및/또는 대응하는 미디어 컨텐츠에 관련된 다른 정보를 포함할 수 있다. 컴퓨팅 장치(140)는 후술하는 바와 같이, 메타-데이터에 기초하여 제어 트랙(154)을 생성하도록 구성될 수 있다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 제어 트랙(112)에 기초하여 제어 트랙(154)을 생성하도록 구성될 수 있다. 제어 트랙 변환 모듈(148)은 완전히 새로운 제어 트랙을 생성하거나 제어 트랙(112)을 변경함으로써 제어 트랙(154)을 생성할 수 있다. 이러한 방식으로, 제어 트랙 변환 모듈(148)은 제어 트랙(154)이 새로 생성되든지, 아니면 단지 제어 트랙(112)의 변경된 형태이든지 상관없이 제어 트랙(112)을 제어 트랙(154)으로 "변환"할 수 있다.
제어 트랙 변환 모듈(148)은 제어 트랙(154)에 포함될 동일 또는 상이한 수(예를 들면, 더 적거나 더 많은)의 채널을 생성하기 위해 제어 트랙(112)으로부터 디코딩되는 하나 이상의 개별 채널을 분석할 수 있다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 제어 트랙(112)을 제어 트랙(154)으로 변환하기 위한 신호 처리를 수행할 수 있다. 예를 들면, 복수의 채널의 제어 트랙(112)의 주파수 컨텐츠를 분석하여 단일 채널 또는 다른 수의 채널을 갖는 제어 트랙을 생성할 수 있다.
제어 트랙 변환 모듈(148)은 복수의 채널의 조합에 기초하여 멀티-채널 제어 트랙을 더 적은 채널을 갖는 제어 트랙으로 변환할 수 있다. 예를 들면, 제어 트랙 모듈(148)은 복수의 채널을 단일 채널상에 중첩시킬 수 있다. 제어 트랙 변환 모듈(148)은 복수의 채널의 서브 세트에만 기초하여 멀티-채널 제어 트랙을 더 적은 채널을 갖는 제어 트랙으로 변환할 수 있다. 예를 들면, 제어 트랙 변환 모듈(148)은 하나 이상의 복수의 채널을 무시하고/거나 특정 특성(예를 들면, 소정 시간에 더 높은 또는 최대 강도를 갖는 것들)을 갖는 하나 이상의 채널을 사용하고/거나 활용가능한 채널보다 더 적은 채널을 사용할 수 있다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 제어 트랙이 햅틱 출력 장치(160)에 보다 적합하게(예를 들면, 호환 가능하게) 되도록 제어 트랙(112) 및/또는 제어 트랙(154)의 하나 이상의 채널을 변경할 수 있다. 예를 들면, 제어 트랙 변환 모듈(148)은 햅틱 출력 장치(160)의 대역폭 및 주파수 응답과 보다 나은 매칭을 위해 햅틱 트랙(112)의 주파수 컨텐츠를 시프트시킬 수 있다. 일부 이들 예에서, 제어 트랙 변환 모듈(148)은 제어 트랙(112) 및/또는 제어 트랙(154)의 하나 이상의 신호의 엔벨로프를 추출하여 이 엔벨로프를 햅틱 출력 장치(160)의 공진 주파수에서 작동하는 사인파로 채울 수 있다. 이러한 방식으로, 제어 트랙 변환 모듈(148)은 햅틱 출력 장치(160)의 특성(예를 들면, 상술한 예에서의 공진 주파수)에 기초하여 제공될 햅틱 피드백을 조정할 수 있다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백과 대략 동일한 시간에 출력되도록 제어 트랙(154)으로 인코딩되는 햅틱 피드백을 조정할 수 있다. 예를 들면, 제어 트랙 변환 모듈(148)은 시작 시간 및/또는 종료 시간과 같은 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백의 타이밍을 식별할 수 있다. 햅틱 피드백의 타이밍(제어 트랙(112)내에 내장되거나 내장되지 않을 수 있는)을 이용하여, 제어 트랙 변환 모듈(148)은 대응하는 시간(예를 들면, 유사한 시작 및/또는 종료 시간)에 제어 트랙(154)으로 인코딩되는 햅틱 피드백을 인코딩할 수 있다. 이러한 방식으로, 제어 트랙(154)으로 인코딩되는 햅틱 피드백은 제어 트랙(112)으로 인코딩되는 햅틱 피드백의 시작 시간과 유사한 시간에 시작될 수 있거나, 제어 트랙(112)으로 인코딩되는 햅틱 피드백의 종료 시간과 유사한 시간에 종료될 수 있거나, 제어 트랙(112)으로 인코딩되는 햅틱 피드백의 시작 및 종료 시간과 유사한 시간에 시작 및 종료될 수 있다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백의 타이밍을 식별하고 미디어 컨텐츠의 대응하는 부분을 결정할 수 있다. 다음으로, 제어 트랙 변환 모듈(148)은 미디어 컨텐츠의 대응하는 부분에 기초하여 제공될 햅틱 피드백을 자동적으로 결정할 수 있다. 이들 실시의 일부에서, 제어 트랙(112)으로부터의 햅틱 피드백을 제어 트랙(154)으로 인코딩되는 햅틱 피드백으로 변환하는 것 대신에, 제어 트랙 변환 모듈(148)은 제어 트랙(112)으로부터의 햅틱 피드백이 인코딩되는 시간에 대응하는 미디어 컨텐츠의 부분에 기초하여 제어 트랙(154)으로 인코딩되어야 할 햅틱 피드백을 결정할 수 있다. 이러한 방식으로, 제어 트랙 변환 모듈(148)은 햅틱 피드백이 제공되어야 할 때에 대한 가이드로서 햅틱 트랙(112)을 사용할 수도 있지만, 미디어 컨텐츠를 사용하여 햅틱 피드백을 자동적으로 결정할 수도 있다. 미디어 컨텐츠에 기초하여 그러한 자동화된 햅틱 피드백 생성은 예를 들면, 2012년 2월 3일자로 출원되고, 명칭이 "Sound to Haptic Effect Conversion System using Amplitude Value"이며, 2012년 8월 16일자로 미국 특허 출원 공개 제2012/0206246호로서 공개된, 공동 소유의 미국 특허 출원 제13/365,984호와, 2012년 2월 3일자로 출원되고, 명칭이 "Sound to Haptic Effect Conversion System using Waveform"이며, 2012년 8월 16일자로 미국 특허 출원 공개 제2012/0206247호로서 공개된, 미국 특허 출원 제13/366,010호에 기술된 바와 같은 시스템 및 방법을 사용하여 수행될 수 있으며, 상기 문헌의 전체 내용은 본 명세서에서 참조로서 포함된다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백의 변환과 미디어 컨텐츠의 대응하는 부분들에 기초한 자동적인 생성의 조합에 기초하여 햅틱 피드백을 자동적으로 결정할 수 있다. 이러한 방식으로, 제어 트랙 변환 모듈(148)은 미디어 컨텐츠의 대응하는 부분으로부터 햅틱 피드백은 물론 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백의 변환을 자동적으로 결정하기 위해 제어 트랙(112)으로부터의 햅틱 피드백의 타이밍을 가이드로서 사용할 수 있다. 이러한 조합은 변환된 햅틱 피드백의 다양한 피드백 파라미터(예를 들면, 크기, 주파수, 지속 시간 등)와 미디어 컨텐츠로부터 자동적으로 생성되는 햅틱 피드백의 평균을 구함으로써 달성될 수 있다.
일부 실시예에서, 제어 트랙 변환 모듈(148)은 이벤트를 식별하고 이 식별된 이벤트에 기초하여 제어 트랙(112)을 제어 트랙(154)으로 변환할 수 있다. 이벤트는 기계 학습(machine learning) 및 패턴 인식, 제어 트랙(112)에 관련된 메타-데이터, 제어 트랙(112)과 관련된 미디어 컨텐츠에 기초하여, 및/또는 이벤트를 나타낼 수 있는 다른 정보에 기초하여 학습될 수 있다.
제어 트랙 변환 모듈(148)은 제어 트랙(112)의 하나 이상의 채널내의 하나 이상의 이벤트를 인식하기 위해 기계 학습 및 패턴 인식을 이용할 수 있다. 이벤트는 하나 이상의 채널의 인식가능한 특성을 포함할 수 있으며, 그에 의해 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백을 나타낸다. 예를 들면, 모든 채널들에 대한 높은 진폭은 폭발과 관련되는 햅틱 피드백이라고 추론될 수 있는 반면, 상이한 진폭 및 방향을 갖는 상이한 채널들은 플라잉(flying)과 관련되는 회전 운동(예를 들면, 상이한 햅틱 출력 장치가 의자를 회전시킬 수 있게 하는 제어 신호를 갖는 상이한 채널)이라고 추론될 수 있다.
일부 실시예에서, 햅틱 디코딩 모듈(146)에 의해 추출된 메타-데이터 및/또는 대응하는 미디어 컨텐츠의 분석 또한 그러한 이벤트를 식별하는 데 사용될 수 있다. 일부 실시예에서, 이벤트는 특정 햅틱 피드백에 맵핑될 수 있다. 이들 실시예에서, 제어 트랙 변환 모듈(148)은 특정 햅틱 피드백이 햅틱 출력 장치(160)에서 생성되도록 제어 트랙(154)을 생성하는 변환 룰을 사용할 수 있다. 일부 예에서, 특정 햅틱 피드백은 제어 트랙(112)에 응답하여 햅틱 출력 시스템(170)에 의해 생성되는 본래 햅틱 피드백을 시뮬레이션하도록 구성될 수 있다. 예를 들면, 폭발 효과를 시뮬레이션하기 위해 강한 진동을 가진 햅틱 피드백이 생성되도록 제어 트랙(154)이 생성될 수 있다. 플라잉 효과를 시뮬레이션하기 위해 느리게 변화하는 햅틱 피드백이 생성되도록 제어 트랙(154)을 생성할 수 있다. 따라서, 제어 트랙(154)은 제어 트랙 변환 모듈(148)에 의해 자동적으로 생성될 수 있다. 그러나, 컴퓨팅 장치(140)는 개발자 및/또는 최종 사용자와 같은 사용자에 의해 수동적인 편집이 허용되도록 프로그래밍될 수 있다.
일부 실시예에서, 제어 트랙 편집 모듈(150)은 변환을 수동적으로 또는 반수동적으로 수행하도록 구성될 수 있다. 이러한 수동 변환은 새로운 햅틱 피드백을 추가하고/거나, 자동적으로 구성된 햅틱 피드백을 제거하고/거나, 제어 트랙(154)에 의한 햅틱 피드백을 변경함으로써 특정 요구에 적합하게 제어 트랙(154)을 조정하는 것을 포함할 수 있다. 일부 실시예에서, 제어 트랙 편집 모듈(150)은 제어 트랙 변환 모듈(148)로부터 제안을 수신하는 동안 제어 트랙(112)의 수동 변환을 허용할 수 있다. 예를 들면, 사용자가 제어 트랙(112)을 수동적으로 변환함에 따라, 제어 트랙 변환 모듈(148)은 생성되게 될 햅틱 피드백에 대한 제안을 제공할 수 있다. 일부 실시예에서, 사용자가 또한 결과를 향상시키기 위해 제어 트랙 변환 모듈(148)에 제안을 제공할 수 있다. 예를 들면, 사용자는 미디어 컨텐츠의 소정 이벤트를 시각적으로 인식할 수 있으며, 그에 따라 햅틱 피드백을 제안, 변경 또는 제거(그리고 컴퓨팅 장치(140)는 제어 트랙 편집 모듈(150)을 통해 그러한 제안을 수신할 수 있다)할 수 있다.
일부 실시예에서, 피드백 조정 모듈(152)은 비디오 출력 및/또는 오디오 출력을 제어 트랙(112)과 조정되도록(coordinated) 구성될 수 있다. 일부 실시예에서, 피드백 조정 모듈(152)은 미디어 컨텐츠에 내장된 동기화 코드에 기초하여 및/또는 비디오 출력, 오디오 출력 및/또는 햅틱 피드백 각각을 출력하기 위한 시간을 일반적으로 설정하는 시간 스탬프를 통해 비디오 출력 및/또는 오디오 출력을 동기화할 수 있다.
동작 시, 미디어 재생은 다양한 구성으로 제어 트랙(154)과 조정될 수 있다. 예를 들어, 단일의 장치는 디스플레이 장치(예를 들어, 터치 스크린) 및 햅틱 출력 장치(160)를 포함할 수 있다. 대안적으로, 미디어 콘텐츠 및 햅틱 피드백을 별도로 제공하도록 다중 장치가 사용될 수 있다. 예를 들어, 텔레비전은 미디어 콘텐츠를 제공하도록 사용되고, 햅틱 피드백은 햅틱 출력 장치(160)를 내장하는 장치를 통해 제공된다. 햅틱 출력 장치를 내장할 수 있는 장치는 스마트폰, 태블릿 컴퓨터, 웨어러블(wearable) 장치(예를 들어, "스마트 안경"), 게임 컨트롤러, 리모콘, 및/또는 햅틱 출력 장치(160)를 내장할 수 있는 다른 장치를 포함할 수 있는데, 이에 한정되지 않는다.
단일의 햅틱 출력 장치(160)만이 도시되지만, 컴퓨팅 장치(140)는, 하나 초과의 햅틱 출력 장치(160)가 사용될 수 있도록 하나 초과의 채널을 포함하는 제어 트랙(154)을 생성할 수 있다. 예를 들어, 컴퓨팅 장치(140)는 멀티 채널 트랙을, 보다 소수의 채널을 갖는 제어 트랙으로 변환할 수 있지만, 이러한 보다 적은 수의 채널이 반드시 단일의 채널로 한정되지는 않는다. 또한, 컴퓨팅 장치(160)는 멀티 채널 제어 트랙을, 동일한 수의 채널을 갖는 제어 트랙으로 변환하여, 복수의 햅틱 출력 장치(160)가 대응하는 햅틱 피드백을 출력하도록 사용될 수 있다. 예를 들어, 햅틱 출력 장치(172)의 수가 햅틱 출력 장치(160)의 수에 매칭되면, 컴퓨팅 장치(140)는 햅틱 출력 장치(160)의 특성에 기초하여 제어 트랙(112)의 각 채널을 변환하도록 프로그래밍될 수 있다. 또한, 컴퓨팅 장치(140)는 단일의 채널 제어 트랙을, 하나 이상의 채널을 갖는 제어 트랙으로 변환할 수 있다.
일부 실시예에서, 컴퓨팅 장치(140)는 또한 자동으로 생성되는 제어 트랙을 변환할 수 있다. 예를 들어, 비디오 및/또는 오디오 콘텐츠에 기초하여 자동으로 생성되는 제어 트랙이 본 명세서에 설명된 컴퓨팅 장치(140)의 함수를 사용하여 변환될 수 있다.
또한, 이동 플랫폼을 이동시키는 모터를 제어하도록 사용되는 제어 트랙은 컴퓨팅 장치(140)에 의해 변환되어 햅틱 출력 장치(160)를 통해 이동을 시뮬레이션할 수 있다. 예를 들어, 놀이동산의 놀이기구의 모터용 커맨드 신호는, 모터에 의해 야기되는 가속(또는 다른 이동)을 검출하도록 분석될 수 있다. 이러한 분석은 본 명세서에 설명된 다양한 동작을 사용하여 행해져서, 햅틱 출력 장치(160)에 제공될 수 있는 제어 트랙(154)을 자동으로 생성하여 이동을 시뮬레이션할 수 있다. 제어 트랙(154) 및 선택적으로는 대응하는 미디어 콘텐츠는 단일의 장치 또는 다중 장치에 적용되어 놀이동산의 놀이기구를 시뮬레이션하는 햅틱 피드백 및 선택적으로는 비디오/오디오를 제공할 수 있다.
다른 적용들도 당업자에게는 자명할 것이다. 예를 들어, 진동 트랙은 본 명세서에 설명된 시스템 및 방법에 기초하여 마찰 트랙(예를 들어, ESF 트랙) 또는 역으로 변환될 수 있다. 예를 들어, 진동 트랙에 의해 인코딩되는 햅틱 피드백의 주파수 및 진폭은 마찰 트랙에 의해 인코딩되는 ESF의 특성에 매칭되도록 변경될 수 있다.
컴퓨팅 장치(140)는 모바일 장치(예를 들어, 스마트폰), 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 게이밍 콘솔 및/또는 다른 컴퓨팅 장치를 포함할 수 있다.
본 명세서에 설명된 저장 장치(144) 및 다른 저장 매체는, 컴퓨팅 장치(140)와 일체로(즉, 실질적으로 제거 불가능하게) 제공되는 시스템 저장소 및/또는 예를 들어 포트(예를 들어, USB 포트, 파이어와이어 포트 등) 또는 드라이브(예를 들어, 디스크 드라이브 등)를 통해 컴퓨팅 장치(140)에 제거 가능하게 연결 가능한 제거가능한 저장소 중 하나 또는 양쪽 모두를 포함할 수 있다. 본 명세서에 설명된 저장 장치(144) 및 다른 저장 매체는 광학적으로 판독 가능한 저장 매체(예를 들어, 광학 디스크 등), 자기적으로 판독 가능한 저장 매체(예를 들어, 자기 테입, 자기 하드 드라이브, 플로피 드라이드 등), 전하 기반 저장 매체(예를 들어, EEPROM, RAM 등), 고상 저장 매체(예를 들어, 플래시 드라이브 등), 및/또는 다른 전자적으로 판독 가능한 비일시적 저장 매체 중 하나 이상을 포함할 수 있다. 본 명세서에 설명된 저장 장치(144) 및 다른 저장 매체는 하나 이상의 가상 저장 리소스(예를 들어, 클라우드 저장, 가상 전용 네트워크, 및/또는 다른 가상 저장 리소스)를 포함할 수 있다. 본 명세서에 설명된 저장 장치(144) 및 다른 저장 매체는 소프트웨어 알고리즘, 프로세서(들)(142)에 의해 결정되는 정보, 컴퓨팅 장치(140)로부터 수신된 정보, 및/또는 컴퓨팅 장치(140)로 하여금 본 명세서에 설명된 바와 같이 기능할 수 있게 하는 다른 정보를 저장할 수 있다.
본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들은 컴퓨팅 장치(140)에 정보 처리 능력을 제공하도록 구성된다. 이와 같이, 본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들은 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 기계, 및/또는 정보를 전자적 처리하는 다른 기계 중 하나 이상을 포함할 수 있다. 본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들이 도 1에서 단일의 엔티티로 도시되지만, 이는 단지 예시적인 것이다. 일부 실시예에서, 본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들은 복수의 처리 유닛을 포함할 수 있다. 이들 처리 유닛은 동일 장치 내에 물리적으로 위치될 수 있거나 또는 본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들은 조정되어 동작하는 복수의 장치들의 처리 기능성을 나타낼 수 있다. 본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들은 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어 및/또는 펌웨어의 소정의 조합; 및/또는 본 명세서에 설명된 프로세서(들)(142) 및 다른 프로세서들에 대한 처리 능력을 구성하기 위한 다른 메커니즘에 의해 모듈들을 실행하도록 구성될 수 있다.
본 명세서에 설명된 다양은 모듈은 단지 예시적인 것이다. 다른 구성 및 수의 모듈들이 사용될 수 있고, 하나 이상의 물리적 프로세서가 본 명세서에 설명된 기능을 실행하도록 프로그래밍되어 있다면 비-모듈식 접근법을 사용하는 것도 가능하다. 다양한 모듈들이 도 1에서 단일의 처리 유닛 내에 같은 장소에 배치되는 것으로 도시되지만, 프로세서(들)(142)이 다중의 처리 유닛을 포함하는 실시예에서는, 하나 이상의 모듈들이 다른 모듈들로부터 멀리 위치될 수 있다는 것을 이해해야 한다. 본 명세서에 설명된 다른 모듈들에 의해 제공되는 기능성에 대한 설명은 예시적인 것이며, 모듈들 중 임의의 것이 설명되는 것보다 더 많거나 또는 더 적은 기능성을 제공할 수 있으므로, 한정적인 것으로 의도되지 않는다. 예를 들어, 모듈들 중 하나 이상이 제거될 수 있고, 그 기능성의 소정의 것 또는 모두가 모듈들 중 다른 것들에 의해 제공될 수 있다. 다른 예로서, 프로세서(들)(142)은 본 명세서에서 모듈들 중 하나에 의해 제공되는 것으로 여겨지는 기능성 중 소정의 것 또는 모두를 실행할 수 있는 하나 이상의 추가의 모듈을 실행하도록 구성될 수 있다.
도 1에 도시된 컴포넌트들은 네트워크와 같은 다양한 통신 링크를 통해 서로 쉽게 전달되도록 연결될 수 있다. 네트워크는 유선 또는 무선 연결을 포함할 수 있다. 본 발명의 소정의 일 양태에서, 네트워크는 예를 들어, 인터넷, 인트라넷, PAN(Personal Area Network), LAN(Local Area Network), WAN(Wide Area Nework), SAN(Storage Area Network), MAN(Metropolitan Area Network), 무선 네트워크, 셀룰러 통신 네트워크, 공중 전화망 개방, 및/또는 다른 네트워크 중 임의의 하나 이상을 포함할 수 있다.
본 명세서에 저장되거나 또는 저장 가능한 것으로 설명된 다양한 입력, 출력, 구성 및/또는 다른 정보는 하나 이상의 데이터베이스(도 1에 도시되지 않음)에 저장될 수 있다. 이러한 데이터베이스는 예를 들어 오라클 코포레이션에 의해 상업적으로 판매되는 OracleTM 관계형 데이터베이스를 포함하거나 또는 이에 인터페이스로 접속될 수 있다. 파일 기반, 또는 퀘리 포맷, 플랫폼 또는 OLAP(On Line Analytical Processing), SQL(Standard Query Language), a SAN(storage area network), Microsoft AccessTM, 기타와 같은 리소스를 포함하는, InformixTM, DB2 (Database 2) 또는 다른 데이터 저장와 같은 다른 데이터베이스도 사용, 병합 또는 액세스될 수 있다. 데이터베이스는 하나 이상의 물리적 장치에 그리고 하나 이상의 물리적 위치에 존재하는 하나 이상의 데이터베이스를 포함할 수 있다. 데이터베이스는 복수의 유형의 데이터 및/또는 파일 및 관련 데이터 또는 파일 디스크립션, 관리용 정보, 또는 임의의 다른 데이터를 저장할 수 있다.
도 2a는 본 발명의 일 양태에 따른, 복수의 채널(202)을 구비하는 제어 트랙(112)을, 보다 낮은 수의 채널(210)을 구비하는 변환된 제어 트랙(154)으로 변환하는 컴퓨팅 장치(140)의 일례를 도시한다. 단일의 채널(210)만이 도시되지만, 컴퓨팅 장치(140)는 제어 트랙(112)으로부터, 채널(202)의 수보다 적은 임의의 수의 채널을 구비하는 제어 트랙(154)을 생성하도록 프로그래밍될 수 있다. 따라서, 컴퓨팅 장치(140)는 3개(또는 다른 수)의 채널을 구비하는 제어 트랙을, 2개(또는 상기 제어 트랙보다 더 낮은 다른 수)의 채널을 구비하는 변환된 제어 트랙으로 변환할 수 있다. 본 명세서에 설명된 바와 같이, 컴퓨팅 장치(140)는 원하는 않는 채널을 제거(예를 들어, 다른 채널들을 나타내는 하나 이상의 채널을 선택), 2개 이상의 채널을 조합, 및/또는 그렇지 않다면 보다 낮은 수의 채널들을 생성함으로써 상기와 같이 할 수 있다. 제어 트랙(154)이 변경되지 않고 남겨진 제어 트랙(112)으로부터 적어도 하나의 채널(202)을 구비하도록, 제어 트랙(112)의 채널들 중 적어도 하나는 변경되지 않고 남겨질 수 있다는 것을 알아야 한다. 추가적으로 또는 대안적으로, 제어 트랙(112)의 채널(202) 중 적어도 하나는 채널(202)의 엔벨로프를 파일링하거나 또는 그렇지 않다면 변경시킴으로써 이와 같이 변경될 수 있다.
도 2a에 도시된 예는 제어 트랙(112)이 보다 적은 수의 햅틱 출력 장치를 구비하는 타겟 장치/시스템보다 더 많은 수의 햅틱 출력 장치를 구비하는 햅틱 출력 시스템에 사용되도록 원래 의도된 경우에 사용될 수 있지만, 이에 한정되지 않는다. 예를 들어, 5개의 햅틱 출력 장치를 구비하는 제1 장치에 의해 제공되는 햅틱 피드백은 제2 장치에 사용되는 원래의 제어 트랙을 변환함으로써 하나의 햅틱 출력 장치를 구비하는 상기 제2 장치에 의해 시뮬레이션되거나 또는 그렇지 않다면 제공될 수 있다.
도 2b는 본 발명의 일 양태에 따른, 보다 적은 수의 채널(202)을 구비하는 제어 트랙(112)을, 보다 많은 수의 채널(210)을 구비하는 변환된 제어 트랙(154)으로 변환하는 컴퓨팅 장치(140)의 일례를 도시한다. 단일의 제어 트랙(202)만이 도시되지만, 컴퓨팅 장치(140)는 임의의 수의 채널을 구비하는 제어 트랙(112)을, 보다 많은 수의 채널을 구비하는 제어 트랙(154)으로 변환하도록 프로그래밍될 수 있다. 본 명세서에 설명된 바와 같이, 컴퓨팅 장치(140)는 추가의 채널들 추가함으로써 이와 같이 할 수 있다. 이러한 추가된 채널은 (예를 들어, 추가의 하나 이상의 채널을 생성하도록 2개 이상의 채널(202)을 에버리징(averaging), 머징(merging), 또는 그렇지 않다면 조합; 하나 이상의 채널(202)을 복제, 및/또는 그렇지 않다면 새로운 채널(202)을 추가함으로써) 하나 이상의 채널(202)로부터 얻어질 수 있다.
도 2b에 도시된 예는 제어 트랙(112)이 보다 많은 수의 햅틱 출력 장치를 구비하는 타겟 장치/시스템보다 더 낮은 수의 햅틱 출력 장치를 구비하는 햅틱 출력 시스템에 사용되도록 원래 의도된 경우에 사용될 수 있지만, 이에 한정되지 않는다. 예를 들어, 3개의 햅틱 출력 장치를 구비하는 제1 장치에 의해 제공되는 햅틱 피드백은 제2 장치에 사용되는 원래의 제어 트랙을 변환함으로써 6개의 햅틱 출력 장치를 구비하는 상기 제2 장치에 의해 시뮬레이션되거나 또는 그렇지 않다면 제공될 수 있다.
도 2c는 본 발명의 일 양태에 따른, 주어진 수의 채널(202)을 구비하는 제어 트랙(112)을, 동일한 수의 채널(210)을 구비하는 변환된 제어 트랙(154)으로 변환하는 컴퓨팅 장치(140)의 일례를 도시한다. 단일의 채널(202) 및 단일의 채널(210)이 도시되지만, 컴퓨팅 장치(140)는 임의의 수의 채널(202)을 동일한 수의 채널(210)로 변환하도록 프로그래밍될 수 있다. 이러한 실시예에서, 컴퓨팅 장치(140)는 본 명세서에 설명된 하나 이상의 채널(202)을 변경하여, 이들을 대응하는 채널(210)로 변환할 수 있다.
도 2c에 도시된 예는 제어 트랙(112)이 타겟 장치/시스템과 동일한 수의 햅틱 출력 장치를 구비하는 햅틱 출력 시스템에 사용되도록 원래 의도된 경우에 사용될 수 있지만, 이에 한정되지 않는다. 일부 예에서, 타겟 장치의 햅틱 출력 장치 중 적어도 하나는 원래의 햅틱 출력 시스템의 햅틱 출력 장치 중 적어도 하나와는 다른 유형의 햅틱 출력 장치일 수 있다.
도 2a, 도 2b 및 도 2c를 참조하면, 소정의 실시예에서, 2개 이상의 채널(210)이 서로 대략 동일할 수 있다(예를 들어, 서로의 사본일 수 있다). 이러한 실시예에서, 타겟 장치의 적어도 2개의 햅틱 출력 장치는 동일한 햅틱 피드백을 제공할 수 있다.
도 3a는 본 발명의 일 양태에 따른, 각각이 상이한 햅틱 프로파일(310)을 구비하는 보다 적은 수의 채널(210)로 변환된 대응되는 햅틱 프로파일(300)을 각각 구비하는 복수의 채널(202)의 예를 도시한다. 도 3b는 본 발명의 일 양태에 따른, 각각이 상이한 햅틱 프로파일(310)을 구비하는 보다 많은 수의 채널(210)로 변환된 대응되는 햅틱 프로파일(300)을 각각 구비하는 보다 적은 수의 채널(202)의 예를 도시한다. 도 3c는 본 발명의 일 양태에 따른, 각각이 상이한 햅틱 프로파일(310)을 구비하는 동일한 수의 채널(210)로 변환된 대응되는 햅틱 프로파일(300)을 각각 구비하는 주어진 수의 채널(202)의 예를 도시한다.
도 3a, 도 3b 및 도 3c를 참조하면, 햅틱 프로파일의 비제한적인 예가 X 및 Y축에 대해 도시되어 있다. 각 힘 프로파일에서, Y축은 크기(magnitude)와 같은 햅틱 피드백의 특성을 나타내고, X축은 시간을 나타낼 수 있다. 채널(202)은 도 2a, 도 2b 및 도 2c에 대해 상술된 바와 같이 채널(210)로 변환될 수 있다.
도 4는 본 발명의 일 양태에 따른, 복수의 채널(202)을 구비하는 제어 트랙(112)에 기초하여 하나 이상의 햅틱 피드백을 출력하는 햅틱 출력 시스템(170)의 예를 도시한다. 햅틱 출력 시스템(170)은 제어 트랙(112)에 기초하여 햅틱 피드백을 제공하도록 원래 의도되는 시스템을 포함할 수 있다. (예를 들어, 각각이 햅틱 출력 장치(172)를 구비하는 웨어러블 장치의 시스템, 복수의 햅틱 출력 장치(172)를 구비하는 컴퓨팅 장치 등과 같은) 햅틱 출력 시스템(170)의 다른 구성도 사용될 수 있지만, 햅틱 출력 시스템(170)은 다중의 햅틱 출력 장치(172)를 구비하는 체어(chair)로 도시된다. 소정의 실시예에서, 주어진 햅틱 출력 장치(172)는 다른 햅틱 출력 장치(172)에 의해 제공되는 다른 햅틱 피드백과는 상이한 특정 유형의 햅틱 피드백을 제공하도록 구성될 수 있다. 예를 들어, 햅틱 출력 장치(172N)는 체어를 회전시킬 수 있고, 햅틱 출력 장치(172A)는 체어를 전후로 경사지게 할 수 있다.
도 5는 본 발명의 일 양태에 따른, 제어 트랙(154)이 생성되는 제어 트랙과는 상이한 수의 채널(210)을 구비하는 제어 트랙(154)에 기초하여 햅틱 피드백을 출력하는 햅틱 출력 장치(160)를 구비하는 컴퓨팅 장치(140)의 예를 도시한다. 도 5에는 단일의 햅틱 출력 장치(160)만이 도시되지만, 컴퓨팅 장치(140)는 하나 초과의 햅틱 출력 장치(160)를 포함할 수 있다. 도시된 바와 같이, 제어 트랙(112)으로부터 변환된 제어 트랙(154)이, 햅틱 출력 장치(160)를 내장하는 컴퓨팅 장치(140)에 적용될 수 있다. 예를 들어, (도 4 및 다른 도면들에 도시되는) 제어 트랙(112)은 햅틱 출력 장치(160)가 햅틱 출력 시스템(170)에 의해 제공되는 햅틱 피드백과 상이한 햅틱 피드백을 생성하도록 변환될 수 있다. 이러한 방식으로, 상이한 수 및/또는 유형의 햅틱 출력 장치를 위해 의도되거나 또는 그렇지 않다면 설계된 제어 트랙을 변환한 후 사용하여, 그렇지 않다면 제어 트랙과 호환될 수 없는 장치에 햅틱 피드백을 제공할 수 있다.
도 6은 본 발명의 일 양태에 따른, 햅틱 출력 장치를 통해 햅틱 피드백을 제공하기 위해 제어 트랙을 변환하는 처리(600)의 흐름도를 도시한다. 도 6 및 다른 도면들의 흐름도에 도시된 다양한 처리 동작이 여기에서 보다 상세하게 설명된다. 설명되는 동작은 위에서 상세하게 설명된 시스템 컴포넌트들의 일부 또는 모두를 사용하여 달성될 수 있다. 본 발명의 일 양태에 따르면, 다양한 동작들이 상이한 시퀀스로 행해질 수 있다. 다른 실시예에서, 도 6 및 다른 도면들에 도시된 동작들 중 일부 또는 모두와 함께 추가의 동작들이 행해질 수 있거나, 또는 일부 동작들이 생략될 수 있다. 또 다른 실시예에서, 하나 이상의 동작들이 동시에 행해질 수 있다. 따라서, 도시된 (그리고 이하에서 보다 더 상세하게 설명되는) 동작들은 원래 예시적인 것이므로, 제한적인 것으로 보아서는 안 된다.
동작(602)에서, 제1 제어 트랙이 수신될 수 있다. 제1 제어 트랙은 스트림, 저장된 파일, 및/또는 다른 전달 메커니즘을 통해 수신될 수 있다. 동작(604)에서, 제1 제어 트랙은 처리될 수 있다. 이러한 처리는 제1 제어 트랙을 디코딩하여, 제1 제어 트랙에 의해 인코딩된 신호, 메타데이터, 및/또는 다른 정보를 식별하거나 또는 그렇지 않다면 획득하는 것을 포함할 수 있다. 스트리밍 실시예에서, 처리는 제1 제어 트랙 중 적어도 일부를 처리를 위한 메모리 버퍼에 저장함으로써 스트리밍된 제1 제어 트랙에서 행해질 수 있다. 저장된 파일 실시예에서, 제1 제어 트랙은 메모리 장치로부터 획득된 후 처리될 수 있다.
동작(606)에서, 제2 제어 트랙이 상기 처리에 기초하여 생성될 수 있다. 제2 제어 트랙은 제1 제어 트랙으로부터 획득 또는 얻어진 신호, 메타데이터, 패턴 인식, 및/또는 다른 정보를 처리한 것에 기초하여 생성될 수 있다. 예를 들어, 햅틱 피드백이 제공되게 하는 제어 신호가 변경, 삭제, 추가 및/또는 그렇지 않다면 변경되어, 제2 제어 트랙이 생성될 수 있다. 대안적으로 또는 추가적으로, 제1 제어 트랙에 의해 인코딩되는 메타데이터를 사용하여 제2 제어 트랙을 생성할 수 있다. 이러한 메타데이터는 대응되는 미디어 파일(예를 들어, 영화)에서 발생하는 이벤트를 나타내는 주석(annotations)을 지시할 수 있다. 이러한 이벤트에 응답하여, 타겟 햅틱 출력 장치에 의해 출력될 수 있는 햅틱 피드백은 이벤트에 기초하여 생성될 수 있다. 예를 들어, 주어진 햅틱 피드백은 주어진 이벤트와 관련되어, 주어진 이벤트가 메타데이터에 의해 나타내어질 때, 주어진 햅틱 피드백은 주어진 이벤트에 대응되도록 제2 제어 트랙에서 인코딩될 수 있다. 대안적으로 또는 추가적으로, 제어 신호 또는 메타데이터에 의해 지시되는 신호 또는 이벤트 패턴을 사용하여 제2 제어 트랙을 생성할 수 있다. 예를 들어, 처리(600)는 특정 제어 신호 특성이 폭발과 같은 주어진 이벤트와 상호 연관된다는 것을 배울 수 있다. 이러한 방식으로, 폭발 또는 주어진 제어 신호가 나타내어지면, 처리(600)는 제2 제어 트랙에서, 제1 제어 트랙으로부터의 제어 신호로부터 사전 저장되거나 또는 얻어질 수 있는 이벤트용 햅틱 피드백을 인코딩할 수 있다.
동작(608)에서, 제2 제어 트랙은 하나 이상의 햅틱 출력 장치(예를 들어, 도 1에 도시된 햅틱 출력 장치(160))에 제공될 수 있다. 도시되지는 않지만, 제2 제어 트랙은 대안적으로 또는 추가적으로 이후에 햅틱 출력 장치에 제공되도록 메모리 장치에 저장될 수 있다. 이러한 실시예에서, 햅틱 출력 장치에 제공되도록 다양한 제어 트랙이 변환되어 저장될 수 있다.
도 7a는 본 발명의 일 양태에 따른, 제어 트랙(112)으로부터 디코딩되는 햅틱 피드백(712A, 712B) 및 제어 트랙(154)으로 인코딩되는 햅틱 피드백(754A, 754B)의 타이밍을 조정하는 예를 개략적으로 도시한다. 제어 트랙(112)에 의해 인코딩되는 햅틱 피드백(712A, 712B)의 타이밍을 결정할 수 있다. 대응되는 햅틱 피드백(754A, 754B)은 각각 햅틱 피드백(712A, 712B)으로부터 변환되어 이들과 각각 동기화될 수 있다. 즉, 햅틱 피드백(754A, 754B)은 양쪽 모두 각각 햅틱 피드백(712A, 712B)으로부터 변환되어 이들과 각각 동기화(예를 들어, 이들과 대략 같은 시간에 출력되도록 제어 트랙(154)에 인코딩)될 수 있다.
도 7b는 본 발명의 일 양태에 따른, 제어 트랙(112)으로부터 디코딩되는 햅틱 피드백(712A, 712B)의 타이밍을 결정하고, 이 타이밍에 기초하여 이벤트(722A, 722B)를 결정하고, 이 이벤트(722A, 722B)에 기초하여 햅틱 피드백(754A, 754B)을 결정하는 예를 개략적으로 도시한다. 햅틱 피드백(712A, 712B)이 출력되는 시간에 대응되는 이벤트(722A, 722B)가 결정된다. 이벤트(722A, 722B)에 기초하여, 각 햅틱 피드백(754A, 754B)이 자동으로 생성된다. 이러한 방식으로, 햅틱 피드백(712A, 712B)의 타이밍을 사용하여 이벤트(722A, 722B)가 결정되고, 그 후 상기 이벤트를 사용하여, 제어 트랙(154)으로 인코딩되는 햅틱 피드백(754A, 754B)을 자동으로 결정한다.
도 7c는 본 발명의 일 양태에 따른, 도 7a 및 도 7b에 도시되는 햅틱 트랙을 변환하는 하이브리드 방식의 예를 개략적으로 도시한다. 햅틱 피드백(712A, 712B)의 타이밍을 사용하여 미디어 콘텐츠(720)에서 발생하는 이벤트(722A, 722B)를 식별할 수 있다. 햅틱 피드백(754A, 754B)은 i) 대응되는 햅틱 피드백(712A, 712B)을 변환하는 것, 및 ii) 대응되는 이벤트(722A, 722B)에 기초하여 햅틱 피드백(754A, 754B)을 자동으로 결정하는 것의 조합에 기초하여 결정될 수 있다.
본 발명의 다른 양태, 사용 및 장점은 본 명세서에 개시된 본 발명의 상세한 설명 및 실시를 고려할 때 당업자에게 명확해질 것이다. 본 발명의 상세한 설명은 예시적인 것으로만 간주되어야 하며, 따라서 본 발명의 범위는 이하의 청구범위에 의해서만 한정되도록 의도된다.
160: 햅틱 출력 장치
112: 제어 트랙
110: 제어 트랙 생성기
140: 컴퓨팅 장치
170: 햅틱 출력 시스템
160: 햅틱 출력 장치

Claims (20)

  1. 프로세서에 의해 실행되는 햅틱 피드백을 제공하는 컴퓨터 구현 방법으로서,
    제1 햅틱 제어 트랙을 수신하는 단계;
    상기 제1 햅틱 제어 트랙을 디코딩된 제1 햅틱 제어 트랙으로 디코딩하는 단계;
    상기 디코딩된 제1 햅틱 제어 트랙에 기초하여 제2 햅틱 제어 트랙을 생성하는 단계; 및
    상기 햅틱 피드백을 제공하기 위해 햅틱 출력 장치에 상기 제2 햅틱 제어 트랙을 전송하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 디코딩하는 단계는 상기 제1 햅틱 제어 트랙으로부터 메타-데이터를 추출하는 단계를 포함하고, 상기 메타-데이터는 미디어 컨텐츠와 관련된 정보를 포함하고, 상기 제2 햅틱 제어 트랙을 생성하는 단계는 상기 메타-데이터에 기초하는, 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 메타-데이터는 상기 미디어 컨텐츠를 기술하기 위해 햅틱 설계자에 의해 상기 제1 햅틱 제어 트랙에 인코딩되는, 컴퓨터 구현 방법.
  4. 제2항에 있어서, 상기 메타-데이터는 상기 미디어 컨텐츠 내의 이벤트의 디스크립션을 포함하는, 컴퓨터 구현 방법.
  5. 제2항에 있어서, 상기 메타-데이터는 상기 미디어 컨텐츠의 재생 동안의 대응하는 시간에 상기 햅틱 피드백을 실행하기 위한 커맨드를 포함하는, 컴퓨터 구현 방법.
  6. 제5항에 있어서, 상기 햅틱 피드백의 제공은 일정 시간 동안 의자를 회전시키는 것을 포함하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 제1 햅틱 제어 트랙은 저장 장치에 저장된 파일을 포함하고, 상기 디코딩하는 단계는 상기 저장된 파일에서 수행되는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 제1 햅틱 제어 트랙은 스트리밍된 햅틱 제어 트랙을 포함하고, 상기 디코딩하는 단계는 상기 스트리밍된 햅틱 제어 트랙이 스트리밍됨에 따라 수행되는, 컴퓨터 구현 방법.
  9. 제1항에 있어서, 상기 제1 햅틱 제어 트랙은 복수의 채널을 포함하고, 상기 디코딩하는 단계는 상기 복수의 채널을 식별하는 단계를 포함하고, 상기 복수의 채널 각각은, 대응하는 햅틱 출력 장치에 적용될 때, 상기 대응하는 햅틱 출력 장치로 하여금 대응하는 햅틱 피드백을 생성하게 하도록 구성되는, 컴퓨터 구현 방법.
  10. 제9항에 있어서, 상기 생성하는 단계는 상기 제1 햅틱 제어 트랙의 상기 복수의 채널의 주파수 컨텐츠에 대한 분석에 기초하는, 컴퓨터 구현 방법.
  11. 제9항에 있어서, 상기 생성하는 단계는 상기 복수의 채널의 조합에 기초하거나 상기 복수의 채널의 서브 세트에만 기초하여 상기 복수의 채널을 더 적은 수의 채널로 변환하는 단계를 포함하는, 컴퓨터 구현 방법.
  12. 제9항에 있어서, 상기 생성하는 단계는,
    상기 복수의 채널을 단일 채널 상에 중첩시키는 단계,
    하나 이상의 복수의 채널을 무시하는 단계, 또는
    특정 특성을 갖는 상기 복수의 채널의 서브 세트를 사용하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  13. 제12항에 있어서, 상기 복수의 채널의 상기 서브 세트는 소정 시간에 더 높은 강도 또는 최대 강도를 갖는 채널을 포함하는, 컴퓨터 구현 방법.
  14. 제9항에 있어서, 상기 생성하는 단계는 상기 복수의 채널 중 하나 이상이 상기 햅틱 출력 장치와 호환 가능하도록 상기 복수의 채널 중 하나 이상을 변경하는 단계를 포함하는, 컴퓨터 구현 방법.
  15. 제1항에 있어서, 상기 생성하는 단계는, 상기 햅틱 출력 장치의 대역폭 또는 주파수 응답과 매칭되도록 상기 제1 햅틱 제어 트랙 또는 상기 제2 햅틱 제어 트랙의 주파수 컨텐츠를 시프트시키는 단계를 포함하는, 컴퓨터 구현 방법.
  16. 제1항에 있어서, 상기 생성하는 단계는,
    상기 제1 햅틱 제어 트랙 또는 상기 제2 햅틱 제어 트랙의 하나 이상의 신호의 엔벨로프를 추출하는 단계; 및
    상기 엔벨로프를 상기 햅틱 출력 장치의 공진 주파수에서 작동하는 사인파로 채우는 단계
    를 포함하는, 컴퓨터 구현 방법.
  17. 제1항에 있어서, 상기 생성하는 단계는,
    상기 제1 햅틱 제어 트랙에 인코딩되는 인코딩된 햅틱 피드백의 타이밍을 식별하는 단계; 및
    상기 타이밍에 기초하여 상기 제2 햅틱 제어 트랙에 상기 인코딩된 햅틱 피드백을 인코딩하는 단계 - 상기 타이밍은 시작 시간 또는 종료 시간을 포함함 -
    를 포함하는, 컴퓨터 구현 방법.
  18. 제1항에 있어서, 상기 생성하는 단계는,
    상기 제1 햅틱 제어 트랙에 기초하여 이벤트를 식별하는 단계 - 상기 이벤트는 기계 학습, 패턴 인식, 제1 햅틱 제어 트랙과 관련된 메타-데이터, 및 제1 햅틱 제어 트랙과 연관된 미디어 컨텐츠 중 적어도 하나에 기초하여 식별됨 -; 및
    상기 식별된 이벤트에 기초하여 상기 제1 햅틱 제어 트랙을 상기 제2 햅틱 제어 트랙으로 변환하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  19. 햅틱 피드백을 제공하는 시스템으로서,
    프로세서; 및
    명령어를 저장하는 메모리
    를 포함하고,
    상기 프로세서에 의해 실행될 때, 상기 명령어는 상기 프로세서로 하여금:
    제1 햅틱 제어 트랙을 수신하고,
    상기 제1 햅틱 제어 트랙을 디코딩된 제1 햅틱 제어 트랙으로 디코딩하고,
    상기 디코딩된 제1 햅틱 제어 트랙에 기초하여 제2 햅틱 제어 트랙을 생성하고,
    상기 햅틱 피드백을 제공하기 위해 적어도 하나의 햅틱 출력 장치에 상기 제2 햅틱 제어 트랙을 전송함으로써
    햅틱 피드백을 제공하도록 하는, 시스템.
  20. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 햅틱 피드백을 제공하도록 하는 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서, 상기 햅틱 피드백의 제공은,
    제1 햅틱 제어 트랙을 수신하고;
    상기 제1 햅틱 제어 트랙을 디코딩된 제1 햅틱 제어 트랙으로 디코딩하고;
    상기 디코딩된 제1 햅틱 제어 트랙에 기초하여 제2 햅틱 제어 트랙을 생성하고; 및
    상기 햅틱 피드백을 제공하기 위해 적어도 하나의 햅틱 출력 장치에 상기 제2 햅틱 제어 트랙을 전송하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020140118710A 2013-09-06 2014-09-05 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치 KR102261452B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06

Publications (2)

Publication Number Publication Date
KR20150028750A KR20150028750A (ko) 2015-03-16
KR102261452B1 true KR102261452B1 (ko) 2021-06-07

Family

ID=51453702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140118710A KR102261452B1 (ko) 2013-09-06 2014-09-05 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치

Country Status (5)

Country Link
US (4) US9401079B2 (ko)
EP (2) EP2846549B1 (ko)
JP (2) JP6667987B2 (ko)
KR (1) KR102261452B1 (ko)
CN (2) CN110231868A (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
CN106575230A (zh) 2014-09-02 2017-04-19 苹果公司 用于可变触觉输出的语义框架
US9879958B2 (en) 2014-09-19 2018-01-30 ARC Technology, LLC Haptic feedback spark device for simulator
US9719759B2 (en) * 2014-09-19 2017-08-01 ARC Technology, LLC Haptic feedback device for simulator
EP3286621A4 (en) 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
JP6299665B2 (ja) 2015-04-30 2018-03-28 三菱電機株式会社 電界効果トランジスタ
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
EP3293611B1 (en) * 2016-09-06 2019-05-15 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3531250B1 (en) * 2016-09-06 2021-02-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
KR20180048227A (ko) * 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US11442985B2 (en) * 2018-09-20 2022-09-13 Nokia Technologies Oy Apparatus and a method for artificial intelligence
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
JP7171530B2 (ja) * 2019-09-20 2022-11-15 日本電信電話株式会社 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130227410A1 (en) * 2011-12-21 2013-08-29 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP4052556B2 (ja) * 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
US7019622B2 (en) * 2004-05-27 2006-03-28 Research In Motion Limited Handheld electronic device including vibrator having different vibration intensities and method for vibrating a handheld electronic device
KR101384434B1 (ko) * 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
EP2026173A1 (en) * 2007-08-13 2009-02-18 Research In Motion Limited Touchscreen for electronic device
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
ES2631916T3 (es) * 2008-10-10 2017-09-06 Internet Services, Llc Dispositivo de salida háptica para su uso con medios con códigos hápticos
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
EP2202619A1 (en) * 2008-12-23 2010-06-30 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device and method of controlling same
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US20100328229A1 (en) * 2009-06-30 2010-12-30 Research In Motion Limited Method and apparatus for providing tactile feedback
DE102011017250B4 (de) * 2011-01-07 2022-12-01 Maxim Integrated Products, Inc. Berührungs-Feedbacksystem, haptisches Feedbacksystem und Verfahren zum Bereitstellen eines haptischen Feedbacks
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
EP3557388A1 (en) * 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
US9513706B2 (en) * 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9304588B2 (en) * 2013-05-14 2016-04-05 Thieab AlDossary Tactile communication apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130227410A1 (en) * 2011-12-21 2013-08-29 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Also Published As

Publication number Publication date
CN104423588B (zh) 2019-06-28
US10102725B2 (en) 2018-10-16
KR20150028750A (ko) 2015-03-16
CN104423588A (zh) 2015-03-18
US20190080570A1 (en) 2019-03-14
US10650645B2 (en) 2020-05-12
EP3537440A1 (en) 2019-09-11
EP2846549B1 (en) 2019-03-27
CN110231868A (zh) 2019-09-13
JP2020113289A (ja) 2020-07-27
JP2015092654A (ja) 2015-05-14
US20160307414A1 (en) 2016-10-20
JP6667987B2 (ja) 2020-03-18
EP3537440B1 (en) 2023-11-22
US20150070154A1 (en) 2015-03-12
US20170287292A1 (en) 2017-10-05
US9715798B2 (en) 2017-07-25
US9401079B2 (en) 2016-07-26
JP6874184B2 (ja) 2021-05-19
EP2846549A1 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
KR102261452B1 (ko) 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치
US10395490B2 (en) Method and system for providing haptic effects based on information complementary to multimedia content
US10909821B2 (en) Spatialized haptic feedback based on dynamically scaled values
EP3118723A1 (en) Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
KR20140005130A (ko) 미디어 인식 및 움직임 신호와의 동기화

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant