KR20170116007A - 햅틱 효과의 오버레잉 - Google Patents

햅틱 효과의 오버레잉 Download PDF

Info

Publication number
KR20170116007A
KR20170116007A KR1020177017205A KR20177017205A KR20170116007A KR 20170116007 A KR20170116007 A KR 20170116007A KR 1020177017205 A KR1020177017205 A KR 1020177017205A KR 20177017205 A KR20177017205 A KR 20177017205A KR 20170116007 A KR20170116007 A KR 20170116007A
Authority
KR
South Korea
Prior art keywords
content
primary
haptic effect
haptic
readable medium
Prior art date
Application number
KR1020177017205A
Other languages
English (en)
Inventor
데이비드 엠. 번바움
아브라함 다우하즈레
페이지 레이네즈
사트비르 신프 브하티아
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170116007A publication Critical patent/KR20170116007A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시스템은 오버레이된 햅틱 효과를 제공한다. 시스템은 1차 콘텐츠 및 1차 콘텐츠와 연관된 1차 햅틱 효과를 결정한다. 시스템은 또한 2차 콘텐츠 및 2차 콘텐츠와 연관된 2차 햅틱 효과를 결정한다. 이어서, 시스템은 2차 콘텐츠를 1차 콘텐츠와 동시에 출력하고, 2차 햅틱 효과를 적어도 하나의 햅틱 출력 디바이스 상에서 1차 햅틱 효과와 동시에 또한 출력한다.

Description

햅틱 효과의 오버레잉{OVERLAYING OF HAPTIC EFFECTS}
관련 출원에 대한 상호 참조
본 출원은 2015년 2월 25일자로 출원된 미국 가특허출원 제62/120,718호의 우선권을 주장하며, 그 개시 내용은 본 명세서에 참고로 포함된다.
일 실시예는 일반적으로 햅틱 시스템에 관한 것으로, 특히 오버레이된(overlaid) 햅틱 효과를 제공하는 햅틱 시스템에 관한 것이다.
"햅틱"은 힘, 진동 및 모션과 같은 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 적용함으로써 사용자의 터치 감을 이용하는 촉각 및 힘 피드백 기술에 관한 것이다. 모바일 디바이스, 터치스크린 디바이스 및 개인용 컴퓨터와 같은 디바이스들은 햅틱 효과들을 발생시키도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 발생시킬 수 있는 임베드된 하드웨어(예를 들어, 액추에이터)에 대한 호출들은 디바이스의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가 예컨대, 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 소정의 다른 컨트롤을 이용하여 디바이스와 상호작용할 때, 디바이스의 OS는 재생 커맨드를 제어 회로를 통해 임베디드 하드웨어에 전송할 수 있다. 그러면 임베디드 하드웨어는 적절한 햅틱 효과를 발생한다.
일 실시예는 오버레이된 햅틱 효과를 제공하는 시스템이다. 시스템은 1차 콘텐츠 및 1차 콘텐츠와 연관된 1차 햅틱 효과를 결정한다. 시스템은 또한 2차 콘텐츠 및 2차 콘텐츠와 연관된 2차 햅틱 효과를 결정한다. 이어서, 시스템은 2차 콘텐츠를 1차 콘텐츠와 동시에 출력하고, 적어도 하나의 햅틱 출력 디바이스 상에서 2차 햅틱 효과를 1차 햅틱 효과와 동시에 또한 출력한다.
도 1은 본 발명의 실시예에 따른 컴퓨터 서버/시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 햅틱 오버레이 기능성을 제공하기 위한 예시적인 사용자 인터페이스를 도시한다.
도 3은, 본 발명의 실시예들에 따라 햅틱 오버레이 기능성을 수행할 때, 도 1의 햅틱 오버레이 모듈의 동작의 흐름도이다.
일 실시예는 1차 햅틱 콘텐츠 스트림 위의 오버레이에서 2차 햅틱 효과들을 렌더링함으로써 햅틱 효과 오버레이 기능성(haptic effects overlaying functionality)을 제공한다. 1차 햅틱 콘텐츠 스트림은 비디오 스트림, 대화식 소프트웨어 인터페이스 등과 같은 1차 콘텐츠와 연관되고/되거나 동기화될 수 있다. 2차 햅틱 효과는 배너 광고와 같은 2차 콘텐츠와 연관되고/되거나 동기화될 수 있다. 1차 콘텐츠는, 2차 콘텐츠가 1차 콘텐츠를 부분적으로 차단(occlude)하거나 또는 1차 콘텐츠에 인접하거나 그 근처에 제공되도록 2차 콘텐츠와 오버레이될 수 있다. 일부 실시예는, 1차 햅틱 콘텐츠 스트림 및 2차 햅틱 효과가 1차 콘텐츠 및 2차 콘텐츠의 컨텍스트와 관련하여 바람직하고 직관적인 방식으로 사용자에게 제공되도록 햅틱 오버레이 기능성을 제공한다. 이에 따라, 실시예들은 오버레이된 햅틱 효과를 제공하는 햅틱 기능성을 허용한다.
도 1은 본 발명의 일 실시예에 따른 시스템(10)의 블록도를 도시한다. 일 실시예에서, 시스템(10)은 모바일 디바이스(예컨대, 스마트폰) 또는 비-모바일 디바이스의 일부이고, 시스템(10)은 디바이스에 대한 햅틱 기능성을 제공한다. 다른 실시예에서, 시스템(10)은 어떤 방식으로든 사용자와 접촉하는 물체(예컨대, 가구)에 포함되어 있는 디바이스의 일부이고, 시스템(10)은 이러한 디바이스에 대한 햅틱 기능성을 제공한다. 예를 들어, 일 실시예에서, 시스템(10)은 웨어러블 디바이스의 일부이고, 시스템(10)은 웨어러블 디바이스에 대한 햅틱 기능성을 제공한다. 웨어러블 디바이스들의 예들은 손목 밴드, 헤드 밴드, 안경, 반지, 발목 밴드, 의복에 통합되어 있는 어레이, 또는 사용자가 신체에 착용할 수 있거나 사용자에 의해 소지될 수 있는 임의의 다른 타입의 디바이스를 포함한다. 일부 웨어러블 디바이스들은 "햅틱 가능한(haptically enabled)" 것일 수 있으며, 이는 그들이 햅틱 효과를 발생시키기 위한 메커니즘을 포함한다는 것을 의미한다. 다른 실시예에서, 시스템(10)은 디바이스(예컨대, 모바일 디바이스 또는 웨어러블 디바이스)와 분리되어 있고, 디바이스에 대한 햅틱 기능성을 원격적으로 제공한다.
단일 시스템으로 도시되어 있지만, 시스템(10)의 기능성은 분산형 시스템으로 구현될 수 있다. 시스템(10)은 정보를 통신하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보 처리를 위해 버스(12)에 결합된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 타입의 범용 또는 특수 목적의 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보 및 명령어를 저장하기 위한 메모리(14)를 추가로 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크와 같은 정적 스토리지, 또는 임의의 다른 타입의 컴퓨터 판독가능 매체의 임의의 조합으로 구성될 수 있다.
컴퓨터 판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 이용 가능한 임의의 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 고정식 매체, 통신 매체, 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호에 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 포함할 수 있고, 본 기술분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능한 프로그래머블 판독 전용 메모리("EPROM"), 전기적 소거가능한 프로그래머블 판독 전용 메모리("EEPROM"), 레지스터들, 하드 디스크들, 이동식 디스크들, 콤팩트 디스크 판독 전용 메모리("CD-ROM"), 또는 본 기술 분야에서 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈을 저장한다. 모듈들은 일 실시예에서, 모바일 디바이스의 시스템(10)뿐만 아니라 다른 것들을 위한 운영 체제 기능성을 제공하는 운영 체제(15)를 포함한다. 이 모듈들은, 본 명세서에 더 상세히 개시된 바와 같이, 햅틱 기능성을 제공하는 햅틱 오버레이 모듈(16)을 추가로 포함한다. 특정의 실시예들에서, 햅틱 오버레이 모듈(16)은 복수의 모듈을 포함할 수 있고, 여기서 각각의 모듈은 햅틱 효과들을 제공하기 위한 특정의 개별 기능성을 제공한다. 시스템(10)은 전형적으로, Immersion Corp.의 TouchSense™ 소프트웨어와 같은, 부가의 기능성을 포함하기 위해 하나 이상의 부가 애플리케이션 모듈(18)을 포함한다.
시스템(10)은, 데이터를 송신하고/하거나 원격 소스들로부터 데이터를 수신하는 실시예들에서, 적외선, 무선, Wi-Fi, 셀룰러 네트워크 통신 등과 같은 모바일 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 디바이스(20)를 추가로 포함한다. 다른 실시예들에서, 통신 디바이스(20)는 이더넷 접속, 모뎀 등과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 버스(12)를 통해, 그래픽 표현이나 사용자 인터페이스를 사용자에게 표시하기 위한 액정 디스플레이("LCD")와 같은 디스플레이(24)에 추가로 접속된다. 디스플레이(24)는 터치스크린과 같이 신호를 전송하고 프로세서(22)로부터 수신하도록 구성된 터치-감지 입력 디바이스일 수 있으며, 멀티-터치 터치스크린일 수 있다.
일 실시예에서, 시스템(10)은 액추에이터(26)를 추가로 포함한다. 프로세서(22)는 햅틱 효과와 연관된 햅틱 신호를 액추에이터(26)로 송신할 수 있고, 액추에이터(26)는 차례로 진동촉각 햅틱 효과들, 정전 마찰 햅틱 효과들, 또는 변형 햅틱 효과들 등과 같은 햅틱 효과들을 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함한다. 액추에이터(26)는, 예를 들어 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액추에이터, 고대역폭 액추에이터, EAP(electroactive polymer) 액추에이터 등일 수 있다. 대안적인 실시예들에서, 시스템(10)은, 액추에이터(26)에 부가하여, 하나 이상의 부가적인 액추에이터(도 1에 예시되지 않음)를 포함할 수 있다. 대안적으로 또는 부가적으로, 액추에이터(26)는 열 디스플레이(thermal display)(예컨대, 고온/저온(hot/cold)), 전기 촉각 자극(electrotactile stimulation)(즉, 전류에 의한 촉각 수용체의 자극), 운동감각 피드백(kinesthetic feedback) 등과 같은 임의의 다른 햅틱 기술에 따라 동작할 수 있다. 또 다른 대안적인 또는 부가적인 실시예는 시스템이 사용자에게 어떤 움직임 또는 움직임들을 하게 하는지 그리고/또는 그렇게 할 마음이 생기게 하는지를 사용자에게 결정하도록 요구하는 작업과 같은 전기 근육 자극들을 구현할 수 있다.
액추에이터(26)는 햅틱 출력 디바이스의 일 예이고, 여기서 햅틱 출력 디바이스는, 구동 신호에 응답하여, 진동촉각 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과 등과 같은, 임의의 형태의 햅틱 효과들을 출력하도록 구성된 디바이스이다. 이에 따라, 대안적인 실시예들에서, 액추에이터(26)는 정전 마찰(electrostatic friction)(ESF) 또는 초음파 표면 마찰(ultrasonic surface friction)(USF)을 사용하는 디바이스, 초음파 햅틱 트랜스듀서를 이용하여 음향 방사 압력을 유발하는 디바이스, 햅틱 기판 및 가요성 또는 변형가능 표면 또는 형상 변경 디바이스를 사용하고 사용자의 신체에 부착될 수 있는 디바이스, 에어 젯(air jet)을 사용한 공기의 분출, 레이저 기반 투사물, 사운드 기반 투사물 등과 같은 투사된 햅틱 출력을 제공하는 디바이스와 같은, 비-기계식 또는 비-진동 디바이스일 수 있는 일부 다른 타입의 햅틱 출력 디바이스(도시되지 않음)에 의해 대체될 수 있다.
예를 들어, 일 실시예는 플라즈마(플러스 및 마이너스 입자들의 농축 혼합물)를 제공하기 위해 레이저 에너지가 농축 영역 공중(concentrated region mid-air)에 있는 공기 분자들을 이온화하는 레이저 기반 투사물을 제공한다. 일 실시예에서, 레이저는 아주 빠르고 아주 강한 속도(pace)로 펄스를 방출하는 펨토초 레이저(femtosecond laser)일 수 있고, 레이저가 빠를수록, 사람이 터치하는 것이 더 안전해진다. 투사물은 햅틱이고 상호작용적인 홀로그램처럼 보일 수 있다. 플라즈마가 사용자 피부와 접촉할 때, 사용자는 농축 영역에 있는 여기된 공기 분자(energized air molecule)들의 진동을 감지할 수 있다. 사용자 피부 상에서의 느낌은 사용자가 공중에 있는 플라즈마와 상호작용할 때 발생되는 파에 의해 야기된다. 그에 따라, 사용자를 이러한 농축 영역의 영향을 받게 하는 것에 의해 햅틱 효과들이 사용자에게 제공될 수 있다. 대안적으로 또는 부가적으로, 사용자를 지향된 음향 에너지(sound energy)에 의해 발생된 진동의 영향을 받게 하는 것에 의해 햅틱 효과들이 사용자에게 제공될 수 있다.
게다가, 다른 대안적인 실시예들에서, 시스템(10)은 액추에이터(26) 또는 임의의 다른 햅틱 출력 디바이스를 포함하지 않을 수 있고, 시스템(10)과 별개의 디바이스가 햅틱 효과들을 발생시키는 액추에이터 또는 다른 햅틱 출력 디바이스를 포함하고, 시스템(10)은 발생된 햅틱 신호들을 통신 디바이스(20)를 통해 그 디바이스로 전송한다.
일 실시예에서, 시스템(10)은 스피커(28)를 추가로 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)에 송신할 수 있고, 이어서 스피커는 오디오 효과들을 출력한다. 스피커(28)는, 예를 들어 다이나믹 라우드스피커(dynamic loudspeaker), 일렉트로다이나믹 라우드스피커(electrodynamic loudspeaker), 압전 라우드스피커(piezoelectric loudspeaker), 자기 변형 라우드스피커(magnetostrictive loudspeaker), 정전기 라우드스피커(electrostatic loudspeaker), 리본 및 평면 자기 라우드스피커(ribbon and planar magnetic loudspeaker), 굽힘파 라우드스피커(bending wave loudspeaker), 평판 라우드스피커(flat panel loudspeaker), 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커(plasma arc speaker), 및 디지털 라우드스피커(digital loudspeaker) 등일 수 있다. 대안적인 실시예들에서, 시스템(10)은, 스피커(28)에 부가하여, 하나 이상의 부가 스피커(도 1에 예시되지 않음)를 포함할 수 있다. 게다가, 다른 대안적인 실시예들에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과 별개의 디바이스가 오디오 효과들을 출력하는 스피커를 포함하고, 시스템(10)은 오디오 신호들을 통신 디바이스(20)를 통해 그 디바이스로 전송한다.
일 실시예에서, 시스템(10)은 센서(30)를 추가로 포함한다. 센서(30)는 소리, 움직임, 가속도, 생물학적 신호, 거리, 흐름, 힘/압력/변형/굴곡, 습도, 선형 위치, 배향/기울기, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도 등 - 이들로 제한되지 않음 - 과 같은, 한 형태의 에너지 또는 다른 물리적 특성을 검출하도록 구성될 수 있다. 센서(30)는 검출된 에너지 또는 다른 물리적 특성을 전기 신호, 또는 가상 센서 정보를 표현하는 임의의 신호로 변환하도록 추가로 구성될 수 있다. 센서(30)는 가속도계, 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 굽힘 센서), 힘 감응 저항기, 로드 셀(load cell), LuSense CPS2 155, 소형 압력 변환기, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 RFID(radio frequency identification tag)), 회전식 인코더, 회전식 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예를 들어, 온도계, 열전쌍, 저항 온도 검출기, 써미스터, 온도 변환 집적 회로 등), 마이크로폰, 광도계, 고도계, 생물학적 모니터, 카메라, 광 의존 저항기 등과 같지만 이들로 제한되지 않는 임의의 디바이스, 또는 심전도, 뇌파도, 근전계, 전기안구도, 전기구개도, 또는 임의의 다른 전기 생리학적 출력을 출력하는 임의의 디바이스일 수 있다.
대안적인 실시예들에서, 시스템(10)은, 센서(30)에 부가하여, 하나 이상의 부가 센서(도 1에 예시되지 않음)을 포함할 수 있다. 이 실시예들 중 일부에서, 센서(30) 및 하나 이상의 부가 센서는 센서 어레이, 또는 일부 다른 타입의 센서들의 집합체/배열의 일부일 수 있다. 게다가, 다른 대안적인 실시예들에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과 별개의 디바이스가 한 형태의 에너지, 또는 다른 물리적 특성을 검출하고 검출된 에너지 또는 다른 물리적 특성을 전기 신호, 또는 가상 센서 정보를 표현하는 다른 타입의 신호로 변환하는 센서를 포함한다. 디바이스는 이어서 변환된 신호를 통신 디바이스(20)를 통해 시스템(10)에 전송할 수 있다.
일반적으로, 공지된 시스템들에 있어서, 1차 미디어 콘텐츠는 시청자의 주의를 끌기 위해 2차 미디어 콘텐츠와 때때로 오버레이될 수 있다. 이러한 오버레이는, 예를 들어 '슈퍼스티셜(superstitial)' 콘텐츠가 1차 콘텐츠 앞에 배치되는 광고 시나리오에서 일반적이다. 그러한 슈퍼스티셜 콘텐츠의 예는 텍스트, 애니메이션 및/또는 비디오/오디오 콘텐츠를 포함하는 배너 광고("ad")이다. 배너 광고들은 종종 서비스와 제품을 광고하는 데 사용된다. 사용자가 배너 광고에 응답할 때, 광고된 콘텐츠와 관련된 더 많은 정보가 사용자에게 제공된다. 사용자는, 예를 들어 광고를 클릭하거나 소정 버튼을 누르거나, "제스처"를 제공하는 등에 의해 배너 광고에 응답할 수 있다. 제스처는 의미 또는 사용자 의도를 전달하기 위한 신체의 움직임이며, 이는 예를 들어, 미국 특허 제8,659,571호의 다양한 실시예에서 제공된 것으로서, 그 개시내용은 본 명세서에 참고로 포함된다. 단순한 제스처들이 결합되어 보다 복잡한 제스처를 형성할 수 있다. 예를 들어, 손가락을 터치 감응 표면과 접촉시키는 것은 "핑거 온(finger on)" 제스처로서 지칭될 수 있고, 한편 터치 감응 표면으로부터 손가락을 제거하는 것은 "핑거 오프(finger off)" 제스처로서 지칭될 수 있다. "핑거 온"과 "핑거 오프" 제스처들 사이의 시간이 비교적 짧으면, 조합된 제스처는 "태핑(tapping)"으로서 지칭될 수 있고; "핑거 온"과 "핑거 오프" 제스처들 사이의 시간이 비교적 길면, 조합된 제스처는 "긴 태핑"으로서 지칭될 수 있고; "핑거 온"과 "핑거 오프" 제스처들의 2차원(x,y) 위치들 사이의 거리가 비교적 크면, 조합된 제스처는 "스와이핑(swiping)"으로서 지칭될 수 있으며; "핑거 온"과 "핑거 오프" 제스처들의 2차원(x,y) 위치들 사이의 거리가 비교적 작으면, 조합된 제스처는 "스미어링(smearing)", "스머징(smudging)", 또는 "플리킹(flicking)"으로서 지칭될 수 있다. 단순하거나 복잡한 임의의 수의 2차원 또는 3차원 제스처를 어떤 방식으로든 조합하여, 다수의 손가락 접촉, 손바닥 또는 첫 접촉(first contact), 또는 해당 디바이스에 근접한 것을 포함하지만 이에 제한되지 않는 임의의 수의 다른 제스처를 형성할 수 있다. 제스처는 또한 가속도계, 자이로스코프, 또는 다른 모션 센서를 갖는 디바이스에 의해 인식되고 전자 신호들로 변환되는 임의의 형태의 손동작일 수 있다. 그러한 전자 신호들은 가상 주사위를 흔드는 것과 같은 동적 효과를 활성화할 수 있고, 여기서 센서는 동적 효과를 발생시키는 사용자 의도를 캡처한다.
예를 들어, 터치스크린 상에서 1차 콘텐츠를 수신하는 사용자는 터치스크린 상에서 1차 콘텐츠를 오버레이하는 배너 광고를 수신할 수 있다. 사용자가 터치스크린 상의 소정 위치를 태핑하여 광고에 응답하면, 광고된 콘텐츠와 관련된 추가 정보가 사용자에게 제공된다. 그러나, 공지된 시스템은 임의의 햅틱 콘텐츠에 대한 오버레이 기능성을 제공하지 않는다.
공지된 시스템과는 달리, 본 발명의 실시예는 햅틱 효과 오버레이 기능성을 제공한다. 일 실시예에서, 1차 햅틱 콘텐츠 스트림은 재생되는 동안 2차 햅틱 콘텐츠와 오버레이된다. 일 실시예는 1차 햅틱 콘텐츠 스트림을 처리하여, 1차 햅틱 콘텐츠 스트림과 2차 햅틱 콘텐츠가 최종 사용자에게 직관적이고/바람직하다고 느끼는 방식으로 동시에 렌더링될 수 있게 한다. 대안적인 또는 부가적인 실시예는 1차 햅틱 콘텐츠 스트림 또는 2차 햅틱 콘텐츠 중 어느 것이 렌더링되는지에 관한 선택이 이루어지도록 허용한다. 이러한 선택은, 예를 들어 원하는 햅틱 경험에 대한 사용자 선호도에 기초하여 이루어질 수 있다.
일 실시예에서, 1차 햅틱 콘텐츠 스트림은, 예를 들어 텍스트 콘텐츠, 오디오 스트림, 비디오 스트림, 대화형 소프트웨어(예를 들어, 비디오 게임 또는 모바일 애플리케이션) 등과 같은 1차 콘텐츠와 연관된다. 일 실시예에서, 1차 햅틱 콘텐츠 스트림은 1차 콘텐츠와 동기화되는 햅틱 효과를 포함한다. 일 실시예에서, 2차 햅틱 콘텐츠는, 예를 들어 배너 광고 또는 다른 슈퍼스티셜 비디오, 애니메이션 또는 그래픽 요소와 같은 2차 콘텐츠와 연관될 수 있다. 일 실시예에서, 2차 햅틱 콘텐츠는 1차 콘텐츠와 관련하여 비동기적인 햅틱 효과를 포함한다. 일 실시예에서, 2차 햅틱 콘텐츠는 2차 콘텐츠와 동기적인 햅틱 효과를 포함한다.
일 실시예에서, 2차 콘텐츠는 1차 콘텐츠의 일부 또는 전부를 차단하거나, 또는 1차 콘텐츠에 인접하거나 그 근처에 나타난다. 대안적인 또는 부가적인 실시예에서, 1차 콘텐츠 및 2차 콘텐츠는 개별 디바이스들 또는 동일한 디바이스의 개별 디스플레이들 상에 제공될 수 있다.
일반적으로, 1차 햅틱 콘텐츠 스트림 및 2차 햅틱 콘텐츠 스트림이 동시에 재생되는 경우, 이들 각각의 햅틱 효과들의 크기는 합산되어 사용자에게 바람직하지 않은 그리고/또는 불쾌한 느낌을 초래할 수 있다. 더욱이, 2개의 햅틱 스트림을 동시에 재생하는 것은, 햅틱 효과의 의미(예를 들어, 오디오/비디오 콘텐츠와의 동기화, 각각의 햅틱 효과들의 지속 시간 및/또는 패턴 등)가 불명료하게 되도록 초래할 수 있다. 이에 따라, 2개의 햅틱 스트림을 동시에 재생하는 것은, 햅틱 콘텐츠 스트림들 각각 또는 모두에 의해 운반될 메시지들(예를 들어, 콘텐츠의 제작자가 의도한 바와 같은)이 손실되거나 불분명하게 되도록 초래할 수 있다. 그러나, 일 실시예는 사용자에게 바람직한/편안한 느낌이 제공되는 방식으로 1차 햅틱 콘텐츠 스트림 및 2차 햅틱 콘텐츠 스트림을 렌더링한다.
일 실시예에서, 2차 콘텐츠와 연관된 햅틱 효과는 사용자가 2차 콘텐츠에 응답함으로써 그렇게 선택할 때까지 사용자에게 제공되지 않는다. 예를 들어, 2차 콘텐츠가 사용자에게 배너 광고를 태핑하는 것과 같은 입력을 요구하는 배너 광고일 때, 사용자가 배너 광고에 긍정적인 응답을 제공하면(예를 들어, 배너 광고를 태핑하면) 2차 햅틱 효과는 사용자에게 제공된다.
일 실시예에서, 사용자에게 2차 햅틱 효과를 제공하는 것으로 결정될 때(예를 들어, 사용자가 배너 광고를 태핑할 때), 1차 햅틱 효과는 "페이드 아웃(faded out)"되고 2차 햅틱 효과는 "페이드 인(faded in)" 된다. 일 실시예에서, 1차 햅틱 효과는 이득, 주파수, 진폭, 펄스 형상, 연속적인 펄스들 간의 간격 등과 같은 1차 햅틱 효과의 하나 이상의 햅틱 파라미터를 조정함으로써 페이드 아웃된다. 예를 들어, 1차 햅틱 효과 효과들은 이들 이득의 점진적 및/또는 단계적 감소에 의해 페이드 아웃될 수 있다. 대안적으로, 1차 햅틱 효과는 갑자기 뮤트되거나 중지될 수 있다(즉, 제로 이득으로의 즉각적인 감소).
일 실시예에서, 2차 햅틱 효과는 이득, 주파수, 진폭, 펄스 형상, 연속적인 펄스들 간의 간격 등과 같은 2차 햅틱 효과의 하나 이상의 햅틱 파라미터를 조정함으로써 페이드 인 된다. 예를 들어, 2차 햅틱 효과는 이들 이득의 점진적 및/또는 단계적 감소에 의해 페이드 인 될 수 있다. 대안적으로, 2차 햅틱 효과가 갑자기 시작될 수 있다(즉, 최대 이득으로의 즉각적인 증가).
일 실시예에서, 1차 햅틱 효과의 페이드 아웃이 임계치에 도달할 때 2차 햅틱 효과는 페이드 인 되거나 갑자기 시작된다. 예를 들어, 일 실시예에서, 1차 햅틱 효과의 이득이 최대 이득의 20%와 같은 임계 이득 값으로 감소될 때, 2차 햅틱 효과는 페이드 인 되거나 갑자기 시작된다. 일 실시예에서, 이러한 임계치는 사용자 선호도에 기초하여 결정/조정된다. 일 실시예에서, 사용자 선호도는 이전 사용자 경험으로부터의 피드백에 기초할 수 있다.
일 실시예에서, 1차 햅틱 효과를 페이드 아웃하는 임계치는 인간 지각에 기초하여 구성된다. 예를 들어, 1차 햅틱 효과가 인간 지각 한계에 근접하거나 그 아래에 있는 레벨로 페이드 아웃 될 때, 2차 햅틱 효과는 페이드 인 되거나 갑자기 시작될 수 있다. 이러한 인간 지각 한계는 정신 물리학에 기초한 인간 지각의 모델에 따라 결정될 수 있다. 정신 물리학은 물리적 자극과 주관적 반응 사이의 연결을 연구하는 과학적 규율이다(예를 들어, "Measuring, estimating, and understanding the psychometric function: A commentary," Stanley A. Klein, Perception & Psychophysics, 2001, 63 (8), 1421-1455에 제공된 바와 같은). 정신 물리학은 지각 작업(perceptual task)에서의 사용자의 주관적 반응을, 물리적 자극의 파라미터의 함수로서, 예측하는 것을 허용한다. 주관적 반응은, 예를 들어 하나 또는 2개의 연속적인 진동 펄스들이 사람에 의해 지각되는지에 관한 것일 수 있다. 물리적 자극의 대응하는 파라미터는, 예를 들어 2개의 펄스 사이의 간격일 수 있다. 정신 물리학은 일반적으로 검출 임계치들(예컨대, 자극이 지각 가능하게 되는 지점)뿐만 아니라 판별 임계치들(예컨대, 2개의 자극이 구별될 수 있는 지점)과 같은 지각의 임계치들을 연구한다. 정신 물리학적 결과는 심리 측정 함수(psychometric function) - 가로 좌표는 자극 세기이고, 세로 좌표는 관찰자 반응을 측정함 - 로서 종종 표현된다. 심리 측정 함수는 전형적으로 시그모이드 형상(sigmoid shape)을 갖는다.
일 실시예에서, 1차 햅틱 효과가 일정 기간(예를 들어, 수 초) 동안 페이드 아웃 될 때 2차 햅틱 효과는 페이드 인 되거나 갑자기 시작된다. 일 실시예에서, 1차 햅틱 효과가 페이드 아웃되는 동안, 2차 햅틱 효과는 2차 콘텐츠 내의 편집 콘텐츠에 기초하여 페이드 인 하거나 갑자기 시작하기 시작한다. 예를 들어, 햅틱 효과의 설계자는, 2차 햅틱 효과가 페이드 인 되거나 갑자기 시작되도록 트리거하기 위한 마커를 2차 콘텐츠 또는 2차 햅틱 효과에 포함할 수 있다.
일 실시예에서, 1차 햅틱 효과가 페이드 아웃 되는 동안, 2차 햅틱 효과는 2차 콘텐츠 내의 콘텍스트 요소에 기초하여 페이드 인 하거나 갑자기 시작하기 시작한다. 예를 들어, 2차 콘텐츠가 배너 광고일 때, 광고는 강조/전시되도록 구성되는 명시적인 햅틱 효과를 포함할 수 있다. 이에 따라, 2차 햅틱 효과는 그러한 명시적인 햅틱 효과로 재생되기 시작한다.
일 실시예에서, 1차 콘텐츠는 사용자의 모바일 디바이스 상에 제공된 비디오 스트림일 수 있고, 1차 햅틱 콘텐츠 스트림은 비디오 스트림을 위해 설계되고 비디오 스트림의 재생과 동기화하여 재생되는 햅틱 트랙일 수 있다. 재생 중 어느 시점에, 사용자에게는 1차 콘텐츠의 일부 또는 전부를 차단하거나 또는 1차 콘텐츠에 인접하거나 그 근처에 나타나는 배너 또는 슈퍼스티셜 비디오, 애니메이션 또는 그래픽 요소와 같은 2차 콘텐츠가 제공된다. 일 실시예에서, 2차 콘텐츠가 나타날 때, 그래픽 애니메이션 및 연관된 햅틱 효과는 사용자의 주의를 1차 콘텐츠로부터 2차 콘텐츠로 향하게 하도록 재생된다.
일 실시예에서, 2차 콘텐츠는 1차 콘텐츠와 독립적인 개별 패키지에 포함된다. 이런 실시예에서, 2차 햅틱 효과는 2차 콘텐츠를 형성하는 다른 콘텐츠와 함께 패키징된다. 예를 들어, 2차 콘텐츠가 배너 광고일 때, 2차 콘텐츠와 연관된 햅틱 효과는 비디오/오디오 콘텐츠, 애니메이션, 그래픽 요소 등과 같은 배너 광고를 형성하는 다른 콘텐츠와 함께 패키징된다. 이에 따라, 1차 콘텐츠 및 2차 콘텐츠는 상이하고 독립적인 소스들에 의해 제공되며, 그래서 이들의 연관된 햅틱 효과들도 제공된다.
예를 들어, 일 실시예에서, 1차 콘텐츠 및 1차 콘텐츠와 연관된 햅틱 효과는 제1 멀티미디어 소스에 의해 제공되는 반면, 2차 콘텐츠 및 2차 콘텐츠와 연관된 햅틱 효과는 제1 멀티미디어 소스와 독립적이고 상이한 제2 멀티미디어 소스에 의해 제공된 패키지에 포함된다. 일 실시예에서, 1차 콘텐츠 및 1차 콘텐츠와 연관된 햅틱 효과는 제1 멀티미디어 트랙에서 인코딩되는 반면, 2차 콘텐츠 및 2차 콘텐츠와 연관된 햅틱 효과는 제1 멀티미디어 트랙과 독립적이고 상이한 제2 멀티미디어 트랙에서 인코딩된다. 일 실시예에서, 1차 콘텐츠 및 1차 콘텐츠와 연관된 햅틱 효과는 멀티미디어 트랙에서 인코딩되는 반면, 2차 콘텐츠 및 2차 콘텐츠와 연관된 햅틱 효과는 멀티미디어 트랙과 독립적인 패키지에 포함되며, 그런 패키지는 멀티미디어 트랙 내의 마커들/태그들에 기초하여 검색된다.
일 실시예에서, 사용자는 대화형 소프트웨어(예를 들어, 게임, 앱 또는 다른 대화형 피처)와 상호 작용하기 위한 디바이스를 사용할 수 있으며, 이러한 상호 작용은 햅틱 효과의 스트림(예를 들어, 배경 음악과 연관된 햅틱 트랙) 및/또는 일련의 개별 햅틱 효과들(예를 들어, 득점과 같은 게임이나 앱과의 사용자의 상호 작용에 의해 야기되는 이벤트들과 연관된 햅틱 효과들)을 발생시킬 수 있다. 이런 상호 작용 중 어느 시점에, 사용자에게는 대화형 콘텐츠의 일부 또는 전부를 차단하거나 또는 대화형 콘텐츠에 인접하거나 그 근처에 나타나는 배너 또는 슈퍼스티셜 그래픽 요소와 같은 2차 콘텐츠가 제공된다. 2차 콘텐츠가 나타날 때, 그래픽 애니메이션 및 연관된 햅틱 효과는 사용자의 주의가 1차 콘텐츠로부터 2차 콘텐츠로 향하게 하도록 재생된다. 일 실시예에서, 배너는 튀는 볼을 나타낼 수 있고, 볼이 배너에서 튀어 오르는 동안, 실시예는 튀는 볼처럼 느끼도록 구성된 햅틱 효과를 재생한다.
일 실시예에서, 2차 콘텐츠는 슈퍼스티셜 비디오와 동기화된 햅틱 효과 스트림과 함께 재생되는 슈퍼스티셜 비디오이다. 일 실시예에서, 슈퍼스티셜 비디오는 폭발 요소/이벤트를 포함하는 영화 예고편일 수 있고, 폭발이 발생할 때, 실시예는 폭발처럼 느끼도록 구성된 햅틱 효과를 재생한다.
도 2는 본 발명의 실시예에 따라 햅틱 오버레이 기능성을 제공하기 위한 예시적인 사용자 인터페이스(UI)(200)를 도시한다. UI(200)는 사용자에 의해 소지된 모바일 디바이스와 같은 디바이스의 디스플레이 상에 1차 콘텐츠(202)를 제공한다. 일 실시예에서, 1차 콘텐츠(202)는 1차 햅틱 트랙과 함께 모바일 디바이스 상에서 재생되는 축구 게임의 비디오일 수 있다. 1차 콘텐츠(202)의 재생 중 어떤 시점에, 2차 콘텐츠(204)가 UI(200)에 제공된다. 도 2의 실시예에서, 2차 콘텐츠(204)는 1차 콘텐츠(202)의 하부에 제공되고 1차 콘텐츠(202)를 부분적으로 차단한다. 그러나, 대안적인 실시예에서, 2차 콘텐츠(204)는 1차 콘텐츠(202)의 다른 부분 또는 전부를 차단하거나 또는 1차 콘텐츠(202)에 인접하거나 그 근처에 나타날 수 있다. 또 다른 대안적인 실시예에서, 1차 콘텐츠(202) 및 2차 콘텐츠(204)는 상이한 디바이스 상에 또는 동일한 사용자 디바이스의 상이한 디스플레이들/UI들 상에 제공될 수 있다.
2차 콘텐츠(204)는 슈퍼스티셜 콘텐츠를 포함할 수 있다. 도 2에서, 슈퍼스티셜 콘텐츠는 차(206) "주행" UI(200)를 나타내는 배너 광고이다. 일 실시예에서, 차(206)가 움직일 때, 럼블링 엔진(rumbling engine)처럼 느껴지도록 구성된 햅틱 효과는 모바일 디바이스 상에서 재생된다. 일 실시예에서, 1차 콘텐츠(202)의 재생시의 마커/태그 또는 1차 콘텐츠(202)와 연관된 햅틱 효과들 내의 마커/태그는 2차 콘텐츠(204)의 재생을 개시하거나 트리거할 수 있다.
일 실시예는, 1차 콘텐츠(202)를 수반하는 1차 햅틱 콘텐츠 스트림 및 2차 콘텐츠(204)를 수반하는 2차 햅틱 콘텐츠가 모바일 디바이스의 사용자에 대해 원하는 경험을 생성하는 방식으로 결합되는 것을 보장한다. 예를 들어, 1차 콘텐츠(202)는 총격 장면을 포함하는 액션 영화일 수 있고, 2차 콘텐츠(204)는 총격 장면 중에 제공될 수 있다. 1차 콘텐츠(202) 및 2차 콘텐츠(204) 모두에 대한 햅틱 효과를 렌더링하기 위해, 총격 장면과 연관된 햅틱 효과는, 차(206)가 "온스크린"을 주행하고 엔진 럼블링처럼 느끼는 햅틱 효과를 생성하는 동안 감쇄될 수 있다(그러나 여전히 재생된다). 이에 따라, 사용자는 여전히 총격 장면과 연관된 햅틱 효과를 느낄 수 있고, 그러므로 1차 콘텐츠(202)의 양호한 경험을 보장하고 1차 콘텐츠(202)의 창작 의도가 가능한 한 많이 보존되도록 보장하면서, 또한 2차 햅틱 콘텐츠 스트림이 1차 햅틱 콘텐츠 스트림과 구별되게 경험되게 하고 1차 햅틱 콘텐츠 스트림과 더욱 원활하게 혼합될 수 있게 한다.
대안적인 실시예는 1차 콘텐츠(202)의 햅틱 트랙을 뮤트시키고, 2차 콘텐츠(204)의 햅틱 콘텐츠가 2차 콘텐츠(204)의 개시 시에 재생되도록 허용한다.
일 실시예에서, 2차 콘텐츠(204)와 연관된 햅틱 효과는 모바일 디바이스의 사용자에 의해 인에이블/허용되지 않는 한 재생되지 않는다. 예를 들어, 도 2의 실시예에서, 2차 콘텐츠(204)가 UI(200)에 제공될 때, 사용자 대화 상자(208)는, 사용자가 2차 콘텐츠(204)의 햅틱 효과를 인에이블하기를 원하는지를 사용자에게 요청하기 위해 UI(200)에 또한 제공된다. 예를 들어, 2차 콘텐츠(204)가 배너 광고일 때, 사용자 대화 상자(208)는 광고를 "느끼기" 위해 배너를 태핑하도록 사용자에게 요청할 수 있다. 이에 따라, 2차 콘텐츠(204)와 연관된 햅틱 효과는 사용자가 배너를 태핑하는 경우/태핑할 때 재생을 시작한다.
일 실시예에서, 2차 콘텐츠(204)는 UI(200)로 애니메이트하기 위해 기간 "Tbanner-anim"이 걸린다. 예를 들어, 도 2의 실시예에서, 2차 콘텐츠(204)는 UI(200)의 하부로 슬라이딩하기 위해 수초가 걸릴 수 있다. 이 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과는 기간 Tbanner - anim 동안 감쇄될 수 있다(예를 들어, 부분적으로 페이드 아웃됨). 일 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과는 이득, 주파수, 진폭, 펄스 형상, 연속적인 펄스들 간의 간격 등과 같은 이들의 햅틱 파라미터들 중 하나 이상을 조정함으로써 강조-해제된다(de-emphasized). 예를 들어, 1차 콘텐츠(202)와 연관된 햅틱 효과들은, 기간 Tbanner - anim의 종료에서의 이들의 이득이 이들의 최대 이득의 소정 퍼센티지(예를 들어, 20%)가 되도록 기간 Tbanner - anim 동안 그들의 이득의 점진적 및/또는 단계적 감소에 의해 강조-해제될 수 있다. 이러한 퍼센티지는 사용자에 의해 선택되거나 햅틱 효과의 설계자에 의해 구성될 수 있다. 대안적으로, 1차 콘텐츠(202)와 연관된 햅틱 효과는 Tbanner - anim 기간 동안에 또는 그 종료시에 갑자기 뮤트되거나 중지될 수 있다(즉, 제로 이득으로의 즉각적 감소).
일 실시예에서, 2차 콘텐츠(204)와 연관된 햅틱 효과는 Tbanner - anim 기간에 뒤따르는 "Tbanner - haptic -start" 기간 동안 페이드 인 된다. 일 실시예에서, 2차 콘텐츠(204)와 연관된 햅틱 효과는 이득, 주파수, 진폭, 펄스 형상, 연속 펄스들 간의 간격 등과 같은 이들의 햅틱 파라미터들 중 하나 이상을 조정함으로써 페이드 인 된다. 예를 들어, 2차 콘텐츠(204)와 연관된 햅틱 효과는, Tbanner - haptic -start 기간의 종료에서의 이들이 이득이 이들의 최대 이득의 소정 퍼센티지(예를 들어, 80%)가 되도록 Tbanner - haptic -start 기간 동안 이들의 이득의 점진적 및/또는 단계적 증가에 의해 페이드 인 될 수 있다. 이러한 퍼센티지는 사용자에 의해 선택되거나 햅틱 효과의 설계자에 의해 구성될 수 있다. 대안적으로, 2차 콘텐츠(204)와 연관된 햅틱 효과는 Tbanner - haptic -start 기간 동안의 한 지점에 또는 그 종료시에 갑자기 시작될 수 있다(즉, 최대 이득으로의 즉각적인 증가).
일 실시예에서, 2차 콘텐츠(204)와 연관된 햅틱 효과의 재생이 완료되면, 1차 콘텐츠(202)와 연관된 햅틱 효과가 다시 페이드 인 된다. 예를 들어, 2차 콘텐츠(204)와 연관된 햅틱 효과의 재생이 완료되면, 1차 콘텐츠(202)와 연관된 햅틱 효과는 기간 Tbanner - anim 이전에 그들의 이득을 초기 값들로 증가시킴으로써 다시 페이드 인 될 수 있다. 대안적으로, 1차 콘텐츠(202)와 연관된 햅틱 효과는 갑자기 다시 시작될 수 있다(즉, 최대 이득으로의 즉각적인 증가).
일 실시예는 1차 콘텐츠(202)와 연관된 햅틱 효과 및 2차 콘텐츠(204)와 연관된 햅틱 효과에 상대적인 우선순위를 할당한다. 이러한 우선순위화는, 예를 들어 1차 콘텐츠(202)와 연관된 수익 및 2차 콘텐츠(204)와 연관된 수익에 기초할 수 있다. 대안적으로 또는 부가적으로, 우선순위화는 사용자 선호도들에 기초할 수 있다. 일 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과와 2차 콘텐츠(204)와 연관된 햅틱 효과의 상대적 우선순위들을 결정할 때, 더 큰 우선순위를 갖는 햅틱 효과가 재생되는 동안, 더 낮은 우선 순위를 갖는 햅틱 효과는 뮤트/무시된다. 예를 들어, 1차 콘텐츠로서 재생되는 공공 안전 메시지는, 임의의 2차 콘텐츠와 연관된 햅틱 효과가 공공 안전 메시지와 연관된 햅틱 효과의 재생을 방해하게 허용되지 않도록 높은 우선순위로 할당될 수 있다. 다른 예로서, 2차 콘텐츠로서 재생되는 공공 안전 메시지는, 임의의 1차 콘텐츠와 연관된 햅틱 효과가 공공 안전 메시지와 연관된 햅틱 효과의 재생을 정지하게 허용되지 않도록 높은 우선순위로 할당될 수 있다. 또 다른 예에서, 소정의 배너 광고는 그 수익에 기초하여 높은 우선순위로 할당될 수 있고, 그러므로 임의의 1차 콘텐츠와 연관된 햅틱 효과는 그러한 배너 광고와 연관된 햅틱 효과와 디폴트로 오버레이된다.
일 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과는 1차 햅틱 출력 디바이스/액추에이터 상에 제공되고, 2차 콘텐츠(204)와 연관된 햅틱 효과는 1차 햅틱 출력 디바이스/액추에이터와 상이한 2차 햅틱 출력 디바이스/액추에이터 상에 제공된다. 이런 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과를 페이드 아웃하고 2차 콘텐츠(204)와 연관된 햅틱 효과를 페이드 인 하는 것은, 1차 햅틱 출력 디바이스/액추에이터로부터 2차 햅틱 출력 디바이스/액추에이터로의 햅틱 피드백의 이송으로서 사용자에 의해 느껴질 수 있다.
일 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과가 강조-해제되고 2차 콘텐츠(204)와 연관된 햅틱 효과가 페이드 인 또는 강조되는 동안, 1차 콘텐츠(202)와 연관된 햅틱 효과는 "배경" 햅틱 효과로서 재생되고, 2차 콘텐츠(204)와 연관된 햅틱 효과는 "전경" 햅틱 효과로서 재생된다. 예를 들어, 전경 햅틱 효과가 1차 햅틱 출력 디바이스/액추에이터 상에서 재생되고 배경 햅틱 효과가 2차 햅틱 출력 디바이스/액추에이터 상에서 재생되는 실시예에서, 1차 콘텐츠(202)와 연관된 햅틱 효과를 강조-해제하는 것은 이들 햅틱 효과를 1차 햅틱 출력 디바이스/액추에이터로부터 2차 햅틱 출력 디바이스/액추에이터로 이동시키고, 2차 콘텐츠(204)와 연관된 햅틱 효과를 강조 또는 페이드 인 하는 것은 이들 햅틱 효과를 2차 햅틱 출력 디바이스/액추에이터로부터 1차 햅틱 출력 디바이스/액추에이터로 이동시킨다.
대안적인 또는 부가적인 실시예에서, 이러한 전경 햅틱 효과 및 배경 햅틱 효과는 실질적으로 동시에(예를 들어, 동시에 발생하여) 제공될 수 있다. 즉, 2차 콘텐츠(204)와 연관된 햅틱 효과가 1차 햅틱 출력 디바이스/액추에이터에서 재생되는 동안, 1차 콘텐츠(202)와 연관된 햅틱 효과는 2차 햅틱 출력 디바이스/액추에이터에서 재생될 수 있다. 일부 실시예에서, 상이한 햅틱 출력 디바이스/액추에이터 상에 전경 및 배경 햅틱 효과들을 제공하는 것은 미국 특허 제8,982,068호에 개시된 실시예에 따라 수행될 수 있으며, 그 개시내용은 본 명세서에 참조로 포함된다.
도 3은 본 발명의 실시예에 따라 햅틱 효과를 생성할 때 도 1의 햅틱 오버레이 모듈(16)의 흐름도이다. 일 실시예에서, 도 3의 흐름도의 기능성은 메모리 또는 다른 컴퓨터 판독 가능 또는 유형의 매체에 저장된 소프트웨어에 의해 구현되고 프로세서에 의해 실행된다. 다른 실시예에서, 기능성은 하드웨어(예를 들어, 주문형 집적 회로("ASIC"), 프로그래머블 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등) 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
302에서, 1차 콘텐츠 및 1차 콘텐츠와 연관된 1차 햅틱 효과가 결정된다. 일 실시예에서, 1차 콘텐츠는 미디어 콘텐츠 또는 대화형 콘텐츠이다. 일 실시예에서, 1차 햅틱 효과는 1차 콘텐츠와 동기화되는 햅틱 트랙에 포함된다.
304에서, 2차 콘텐츠 및 2차 콘텐츠와 연관된 2차 햅틱 효과가 결정된다. 일 실시예에서, 1차 콘텐츠 및 1차 콘텐츠와 연관된 1차 햅틱 효과는 2차 콘텐츠 및 2차 콘텐츠와 연관된 2차 햅틱 효과를 결정하기 이전에 출력된다. 일 실시예에서, 2차 콘텐츠는 배너 광고이다.
306에서, 2차 콘텐츠는 1차 콘텐츠와 동시에 출력된다. 일 실시예에서, 2차 콘텐츠가 1차 콘텐츠와 동시에 출력될 때, 2차 콘텐츠는 1차 콘텐츠의 적어도 일부를 차단하거나 또는 UI 상의 1차 콘텐츠에 인접하거나 그 근처에 있다. 일 실시예에서, 1차 콘텐츠 및 2차 콘텐츠를 동시에 출력하는 것은 (예를 들어, 사실상 동일한 시간에 및/또는 동일한 시작 및/또는 종료 시간으로) 1차 콘텐츠 및 2차 콘텐츠를 동시에 재생함으로써 수행된다.
308에서, 2차 햅틱 효과는 적어도 하나의 햅틱 출력 디바이스에 대한 1차 햅틱 효과와 동시에 출력된다. 일 실시예에서, 1차 햅틱 효과 및 2차 햅틱 효과를 동시에 출력하는 것은 (예를 들어, 사실상 동일한 시간에 및/또는 동일한 시작 시간 및/또는 종료 시간으로) 1차 햅틱 효과 및 2차 햅틱 효과를 동시에 재생함으로써 수행된다. 일 실시예에서, 1차 햅틱 효과는 2차 햅틱 효과와 비동기적이다. 일 실시예에서, 1차 햅틱 효과는 1차 콘텐츠와 관련하여 동기적이거나 비동기적일 수 있다. 일 실시예에서, 2차 햅틱 효과는 2차 콘텐츠와 관련하여 동기적이거나 비동기적일 수 있다.
일 실시예에서, 2차 햅틱 효과는 1차 햅틱 효과를 페이드 아웃하고 2차 햅틱 효과를 페이드 인 함에 의해 1차 햅틱 효과와 동시에 출력된다. 일 실시예에서, 1차 햅틱 효과의 페이드 아웃은 1차 햅틱 효과의 햅틱 파라미터를 조정함으로써 수행된다. 일 실시예에서, 햅틱 파라미터는 1차 햅틱 효과의 이득이다. 일 실시예에서, 2차 햅틱 효과의 페이드 인은 2차 햅틱 효과의 햅틱 파라미터를 조정함으로써 수행된다. 일 실시예에서, 햅틱 파라미터는 2차 햅틱 효과의 이득이다. 일 실시예에서, 2차 햅틱 효과가 재생 완료된 후에, 1차 햅틱 효과는 다시 페이드 인 된다. 일 실시예에서, 2차 햅틱 효과는 1차 햅틱 효과를 뮤팅하고 2차 햅틱 효과를 재생함으로써 1차 햅틱 효과와 동시에 출력된다.
개시된 바와 같이, 실시예들은 한 세트의 햅틱 효과들이 다른 세트의 햅틱 효들과 오버레이되는 것을 허용한다. 일 실시예는, 진행 중인 햅틱 경험이 부가적인 햅틱 경험 하에서 중단되거나 계층화되도록 동기식 햅틱 콘텐츠 스트림 위에 비동기식 햅틱 효과를 렌더링한다. 일 실시예는 1차 햅틱 트랙이 페이드 아웃되고 2차 햅틱 트랙이 페이드 인 되는 것을 허용한다. 이에 따라, 실시예들은 햅틱 트랙이 다른 햅틱 트랙과 적절히 오버레이되어, 2개의 햅틱 트랙이 서로 구별될 수 있고 서로 상쇄되지 않도록 제공한다.
여러 실시예들이 본 명세서에 구체적으로 예시 및/또는 설명되었다. 그러나, 개시된 실시예들의 수정들 및 변동들은 본 발명의 사상 및 의도된 범위를 벗어나지 않고 상술한 교시들에 의해 그리고 첨부된 청구항들의 범위 내에 커버되는 것이 이해될 것이다.

Claims (20)

  1. 명령어들이 저장되어 있는 비일시적인 컴퓨터 판독 가능 매체로서, 상기 명령어들이 프로세서에 의해 실행될 때 상기 프로세서로 하여금 오버레이된 햅틱 효과들을 제공하게 하고, 상기 오버레이는:
    1차 콘텐츠 및 상기 1차 콘텐츠와 연관된 1차 햅틱 효과를 결정하고;
    2차 콘텐츠 및 상기 2차 콘텐츠와 연관된 2차 햅틱 효과를 결정하고;
    상기 2차 콘텐츠를 상기 1차 콘텐츠와 동시에 출력하고;
    상기 2차 햅틱 효과를 적어도 하나의 햅틱 출력 디바이스 상에서 상기 1차 햅틱 효과와 동시에 출력하는
    것을 포함하는, 비일시적인 컴퓨터 판독 가능 매체.
  2. 제1항에 있어서, 상기 1차 콘텐츠 및 상기 1차 콘텐츠와 연관된 상기 1차 햅틱 효과는 상기 2차 콘텐츠 및 상기 2차 콘텐츠와 연관된 상기 2차 햅틱 효과의 상기 결정 이전에 출력되는, 비일시적인 컴퓨터 판독 가능 매체.
  3. 제1항에 있어서, 상기 1차 햅틱 효과는 상기 1차 콘텐츠와 동기화되는 햅틱 트랙에 포함되는, 비일시적인 컴퓨터 판독 가능 매체.
  4. 제1항에 있어서, 상기 2차 콘텐츠가 상기 1차 콘텐츠와 동시에 출력될 때, 상기 2차 콘텐츠는 상기 1차 콘텐츠의 적어도 일부를 차단(occlude)하거나 또는 사용자 인터페이스 상에서 상기 1차 콘텐츠에 인접하거나 그 근처에 있는, 비일시적인 컴퓨터 판독 가능 매체.
  5. 제1항에 있어서, 상기 2차 햅틱 효과는 상기 1차 햅틱 효과를 페이드 아웃(fading out)하고 상기 2차 햅틱 효과를 페이드 인(fading in)함으로써 상기 1차 햅틱 효과와 동시에 출력되는, 비일시적인 컴퓨터 판독 가능 매체.
  6. 제5항에 있어서, 상기 1차 햅틱 효과의 페이드 아웃은 상기 1차 햅틱 효과의 햅틱 파라미터를 조정함으로써 수행되는, 비일시적인 컴퓨터 판독 가능 매체.
  7. 제6항에 있어서, 상기 햅틱 파라미터는 상기 1차 햅틱 효과의 이득인, 비일시적인 컴퓨터 판독 가능 매체.
  8. 제5항에 있어서, 상기 2차 햅틱 효과의 페이드 인은 상기 2차 햅틱 효과의 햅틱 파라미터를 조정함으로써 수행되는, 비일시적인 컴퓨터 판독 가능 매체.
  9. 제8항에 있어서, 상기 햅틱 파라미터는 상기 2차 햅틱 효과의 이득인, 비일시적인 컴퓨터 판독 가능 매체.
  10. 제5항에 있어서, 상기 2차 햅틱 효과가 재생 완료된 후, 상기 1차 햅틱 효과는 다시 페이드 인되는, 비일시적인 컴퓨터 판독 가능 매체.
  11. 제1항에 있어서, 상기 2차 햅틱 효과는 상기 1차 햅틱 효과를 뮤팅하고 상기 2차 햅틱 효과를 재생함으로써 상기 1차 햅틱 효과와 동시에 출력되는, 비일시적인 컴퓨터 판독 가능 매체.
  12. 제1항에 있어서, 상기 1차 콘텐츠는 미디어 콘텐츠 또는 대화형 콘텐츠인, 비일시적인 컴퓨터 판독 가능 매체.
  13. 제1항에 있어서, 상기 2차 콘텐츠는 배너 광고인, 비일시적인 컴퓨터 판독 가능 매체.
  14. 오버레이된 햅틱 효과들을 제공하는 방법으로서,
    1차 콘텐츠 및 상기 1차 콘텐츠와 연관된 1차 햅틱 효과를 결정하는 단계;
    2차 콘텐츠 및 상기 2차 콘텐츠와 연관된 2차 햅틱 효과를 결정하는 단계;
    상기 2차 콘텐츠를 상기 1차 콘텐츠와 동시에 출력하는 단계; 및
    상기 2차 햅틱 효과를 적어도 하나의 햅틱 출력 디바이스 상에서 상기 1차 햅틱 효과와 동시에 출력하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서, 상기 1차 콘텐츠 및 상기 1차 콘텐츠와 연관된 상기 1차 햅틱 효과는 상기 2차 콘텐츠 및 상기 2차 콘텐츠와 연관된 상기 2차 햅틱 효과를 결정하는 상기 단계 이전에 출력되는 방법.
  16. 제14항에 있어서, 상기 1차 햅틱 효과는 상기 1차 콘텐츠와 동기화되는 햅틱 트랙에 포함되는 방법.
  17. 제14항에 있어서, 상기 2차 콘텐츠가 상기 1차 콘텐츠와 동시에 출력될 때, 상기 2차 콘텐츠는 상기 1차 콘텐츠의 적어도 일부를 차단하거나 또는 사용자 인터페이스 상에서 상기 1차 콘텐츠에 인접하거나 그 근처에 있는, 방법.
  18. 제14항에 있어서, 상기 2차 햅틱 효과는 상기 1차 햅틱 효과를 페이드 아웃하고 상기 2차 햅틱 효과를 페이드 인함으로써 상기 1차 햅틱 효과와 동시에 출력되는 방법.
  19. 제18항에 있어서, 상기 1차 햅틱 효과의 페이드 아웃은 상기 1차 햅틱 효과의 햅틱 파라미터를 조정함으로써 수행되는 방법.
  20. 오버레이된 햅틱 효과들을 제공하기 위한 시스템으로서,
    1차 콘텐츠 및 상기 1차 콘텐츠와 연관된 1차 햅틱 효과를 결정하는 결정 모듈 - 상기 결정 모듈은 2차 콘텐츠 및 상기 2차 콘텐츠와 연관된 2차 햅틱 효과를 추가로 결정함; 및
    상기 2차 콘텐츠를 상기 1차 콘텐츠와 동시에 출력하는 출력 모듈 - 상기 출력 모듈은 상기 2차 햅틱 효과를 적어도 하나의 햅틱 출력 디바이스 상에서 상기 1차 햅틱 효과와 동시에 추가로 출력함 -
    을 포함하는 시스템.
KR1020177017205A 2015-02-25 2016-02-25 햅틱 효과의 오버레잉 KR20170116007A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120718P 2015-02-25 2015-02-25
US62/120,718 2015-02-25
PCT/US2016/019473 WO2016138209A1 (en) 2015-02-25 2016-02-25 Overlaying of haptic effects

Publications (1)

Publication Number Publication Date
KR20170116007A true KR20170116007A (ko) 2017-10-18

Family

ID=56690393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177017205A KR20170116007A (ko) 2015-02-25 2016-02-25 햅틱 효과의 오버레잉

Country Status (6)

Country Link
US (3) US9619034B2 (ko)
EP (1) EP3262491A4 (ko)
JP (1) JP2018506765A (ko)
KR (1) KR20170116007A (ko)
CN (1) CN107111374A (ko)
WO (1) WO2016138209A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093778A (ko) * 2019-01-29 2020-08-06 중앙대학교 산학협력단 전기열량 효과를 이용한 냉감제공 구동기 및 전기열량 효과를 이용한 냉감제공 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
CN115756151A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US9619034B2 (en) * 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10459522B2 (en) * 2016-06-15 2019-10-29 Konkuk University Glocal Industry-Academic Collaboration Foundation System and method for inducing somatic sense using air plasma and interface device using them
DK179082B1 (en) * 2016-09-06 2017-10-16 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
EP3343318B1 (en) 2016-12-29 2019-09-11 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for generating a haptic effect
US10606357B2 (en) * 2017-03-28 2020-03-31 Tanvas, Inc. Multi rate processing device for rendering haptic feedback
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10444703B2 (en) * 2017-07-28 2019-10-15 International Business Machines Corporation Method and system for simulation of forces using holographic objects
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
CN111158465A (zh) * 2019-12-09 2020-05-15 瑞声科技(新加坡)有限公司 一种力触觉振动反馈方法及系统
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
JP7340556B2 (ja) * 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
KR20040062956A (ko) * 2001-11-01 2004-07-09 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
US7779166B2 (en) 2002-12-08 2010-08-17 Immersion Corporation Using haptic effects to enhance information content in communications
US20060066569A1 (en) 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US9459632B2 (en) * 2005-06-27 2016-10-04 Coactive Drive Corporation Synchronized array of vibration actuators in a network topology
US9764357B2 (en) * 2005-06-27 2017-09-19 General Vibration Corporation Synchronized array of vibration actuators in an integrated module
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US20080167127A1 (en) * 2007-01-05 2008-07-10 Microsoft Corporation Integration of Media on Gaming Consoles
US8621348B2 (en) 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
KR101855535B1 (ko) 2010-04-23 2018-05-04 임머숀 코퍼레이션 햅틱 효과를 제공하는 시스템 및 방법
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
KR101668118B1 (ko) 2010-07-23 2016-10-21 삼성전자주식회사 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법
KR20140112386A (ko) * 2011-03-17 2014-09-23 코액티브 드라이브 코포레이션 다수의 동기화 진동 액츄에이터로부터의 비대칭적이고 일반적인 진동 파형
US20130016042A1 (en) 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
JP2013137659A (ja) * 2011-12-28 2013-07-11 Nikon Corp 表示装置
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8847741B2 (en) * 2012-05-16 2014-09-30 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US9056244B2 (en) 2012-09-12 2015-06-16 Wms Gaming Inc. Gaming apparatus incorporating targeted haptic feedback
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
JP6093659B2 (ja) * 2013-06-24 2017-03-08 シャープ株式会社 情報処理装置、および情報処理プログラム
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
CN103984414B (zh) * 2014-05-16 2018-12-25 北京智谷睿拓技术服务有限公司 产生触感反馈的方法和设备
US9478109B2 (en) * 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
US9619034B2 (en) * 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093778A (ko) * 2019-01-29 2020-08-06 중앙대학교 산학협력단 전기열량 효과를 이용한 냉감제공 구동기 및 전기열량 효과를 이용한 냉감제공 방법

Also Published As

Publication number Publication date
JP2018506765A (ja) 2018-03-08
EP3262491A4 (en) 2018-09-26
EP3262491A1 (en) 2018-01-03
CN107111374A (zh) 2017-08-29
US20170131777A1 (en) 2017-05-11
US20180373334A1 (en) 2018-12-27
US10241580B2 (en) 2019-03-26
US9619034B2 (en) 2017-04-11
WO2016138209A1 (en) 2016-09-01
US10007346B2 (en) 2018-06-26
US20160246376A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
US10241580B2 (en) Overlaying of haptic effects
US10564729B2 (en) Haptic feedback using a field of view
US10488931B2 (en) Systems and methods for pressure-based haptic effects
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
CN103858074B (zh) 经由3d显示器与装置交互的系统和方法
KR20160080083A (ko) 아이-트래킹을 기반으로 햅틱 효과를 생성하기 위한 시스템 및 방법
US10474238B2 (en) Systems and methods for virtual affective touch
KR20150022694A (ko) 스포츠 이벤트를 햅틱으로 이용할 수 있는 시청
US20180011538A1 (en) Multimodal haptic effects
KR20190028280A (ko) 비 오디오 데이터를 이용한 헤드폰 상에서의 햅틱 렌더링
US20200201437A1 (en) Haptically-enabled media
CN116578214A (zh) 用于选择可穿戴音频输出设备的音频输出模式的系统、方法和图形用户界面
EP3367216A1 (en) Systems and methods for virtual affective touch