KR102251047B1 - 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치 - Google Patents

미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102251047B1
KR102251047B1 KR1020200044666A KR20200044666A KR102251047B1 KR 102251047 B1 KR102251047 B1 KR 102251047B1 KR 1020200044666 A KR1020200044666 A KR 1020200044666A KR 20200044666 A KR20200044666 A KR 20200044666A KR 102251047 B1 KR102251047 B1 KR 102251047B1
Authority
KR
South Korea
Prior art keywords
haptic feedback
computing device
media content
haptic
information
Prior art date
Application number
KR1020200044666A
Other languages
English (en)
Other versions
KR20200040741A (ko
Inventor
알리 모다레스
크리스토퍼 제이 율리히
장 프랑수와 디온
락 판
사트비르 싱 바티아
스테판 디 랭크
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20200040741A publication Critical patent/KR20200040741A/ko
Application granted granted Critical
Publication of KR102251047B1 publication Critical patent/KR102251047B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

본 개시는 미디어 콘텐츠 및 햅틱 피드백을 커스텀화 하기 위해 사용되는 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하는 시스템 및 방법에 관한 것이다. 시스템은 미디어 콘텐츠를 단독으로 사용하여 결정된 햅틱 피드백을 수정하거나 변경할 수 있다. 다시 말해, 시스템은 사용자 또는 다른 사람에게 출력되어야 하는 햅틱 피드백을 결정하기 위해 미디어 콘텐츠 및 외부 파라미터 모두를 사용할 수 있다. 외부 파라미터는, 예컨대, 센서 정보, 커스텀화 정보 및/또는 햅틱 피드백을 커스텀화 하기 위해 사용될 수 있는 다른 외부 파라미터를 포함할 수 있다.

Description

미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치{METHOD AND APPARATUS TO PROVIDE HAPTIC FEEDBACK BASED ON MEDIA CONTENT AND ONE OR MORE EXTERNAL PARAMETERS}
관련 출원들
본 출원은 2013년 5월 24일자로 출원된 미합중국 가출원번호 제61/827,341호 및 2013년 9월 6일자로 출원된 미합중국 가출원번호 제61/874,920호의 우선권을 주장하며, 이는 전체로서 본 명세서에 참조된다.
기술 분야
본 개시는 미디어 콘텐츠 및 햅틱 피드백을 커스텀화(customize) 하기 위해 사용되는 외부 파라미터에 기초하여 햅틱 피드백을 제공하는 시스템 및 방법에 관한 것이다.
미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정하는 것은 사용자에게 막강하고 실감나는 경험을 제공할 수 있다. 그러나, 그러한 햅틱 피드백을 자동으로 결정하는 것은 관례적으로 미디어 콘텐츠 자체의 특성(예컨대, 템포(tempo), 주파수, 진폭 등)만 고려한다. 외부 파라미터 또는 미디어 콘텐츠의 특성 이외의 정보는 통상적으로 무시된다. 이와 같이, 미디어 콘텐츠만의 특성에 기초하여 햅틱 피드백을 자동으로 결정하는 통상적인 시스템은 풍부한 햅틱 피드백을 제공하는 융통성 있는, 구성 가능한(configurable) 및/또는 스케일러블(scalable) 솔루션을 제공하지 못할 수 있다.
본 개시는 미디어 콘텐츠 및 햅틱 피드백을 커스텀화(customize) 하는 데 사용되는 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하는 시스템 및 방법에 관한 것이다. 예컨대, 컴퓨팅 장치는 미디어 콘텐츠만 사용하여 결정된 햅틱 피드백을 수정하거나 변경하도록 프로그래밍 될 수 있다. 다시 말해, 컴퓨팅 장치는 사용자(또는 다른 사람)에게 출력되어야 하는 햅틱 피드백을 결정하기 위해 미디어 콘텐츠 및 외부 파라미터 모두를 사용할 수 있다. 그러한 외부 파라미터는 예컨대, 센서 정보, 커스텀화 정보 및/또는 햅틱 피드백을 커스텀화 하기 위해 사용될 수 있는 다른 외부 파라미터를 포함할 수 있다.
센서 정보는 환경(예컨대, 주위 공기 온도), 공간 정보(예컨대, 움직임, 위치, 방향 등), 감지되는(및 햅틱 피드백을 받는) 사용자의 바이오메트릭 정보 및/또는 사용자, 객체 및/또는 환경에 대해 감지되거나 결정될 수 있는 다른 정보에 관련된 감지 조건을 포함할 수 있다. 이런 방식으로, 컴퓨팅 장치는 미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정할 때 환경 조건, 공간 정보, 사용자의 조건 및/또는 다른 감지된 조건을 고려할 수 있다.
예컨대, 컴퓨팅 장치는 센서 정보를 사용하여 검출된 주위 진동(예컨대, 사용자가 노래를 듣는 중에 기차에 승차할 때)을 보상하고, 사용자의 위치, 움직임 또는 바이오메트릭 정보에 기초하여 다른 햅틱 피드백을 결정하고/결정하거나, 동일한 미디어 콘텐츠가 햅틱 피드백을 자동으로 결정하는 기초로서 사용되더라도 햅틱 피드백을 변경할 수 있다. 다른 예에서, 주변 진동이 존재하는 기차를 타고 비디오 게임을 하는 사용자는 게임플레이에 기초하여 제1 햅틱 피드백을 제공받을 수 있고, 주변 진동이 더 약하거나, 존재하지 않거나 또는 진동의 역치 아래인 경우, 동일한 비디오 게임을 하는 중에 게임플레이에 기초하여 덜 강한 제2 햅틱 피드백을 제공받을 수 있다. 이것은 기차에 승차 중일 때, 컴퓨팅 장치가 기차 승차 중에 존재하는 주위 진동을 보상할 수 있기 때문이다.
커스텀화 정보는 사용자 프로필 정보, 컴퓨팅 장치 상태 정보, 햅틱 출력 장치 유형 정보 및/또는 햅틱 피드백을 커스텀화 하기 위해 사용될 수 있는 다른 정보를 포함할 수 있다. 사용자 프로필 정보는 미디어 콘텐츠에 기초하여 햅틱 피드백을 결정하기 위해 사용되는 하나 이상의 사용자 선호도를 나타낼 수 있다. 예컨대, 햅틱 피드백을 받는 사용자는 컴퓨팅 장치가 햅틱 피드백을 결정하기 위해 사용하는 하나 이상의 선호도 또는 설정을 제공할 수 있다. 그러한 설정은, 여러 햅틱 피드백이 미디어 콘텐츠에 기초하여 결정되게 하는 사용자 선호도를 사용자가 특정할 수 있는, 여러 상황(context)(예컨대, 유스 케이스(use case))을 구체화할 수 있다.
이러한 방식으로, 사용자가 영화를 보고, 음악을 듣고, 운동을 하는 것과 같은 상황 및/또는 다른 상황은 미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정하도록 사용될 수 있다. 그러한 상황은 센서 정보, 사용자에 의한 입력에 기초하여, 컴퓨팅 장치 상태 정보(예컨대, 전경(foreground)에서 실행되는 어플리케이션) 및/또는 다른 정보에 기초하여 결정될 수 있다. 소정 구현예들에서, 커스텀화 정보는 햅틱 피드백을 출력하는데 사용되는 햅틱 출력 장치의 유형 및/또는 개수를 나타낼 수 있다. 이러한 방식으로, 컴퓨팅 장치는 햅틱 피드백을 결정할 때 햅틱 출력 장치의 유형 및/또는 개수를 고려할 수 있다.
소정 구현예들에서, 상황은 본 명세서에 기재된 많은 외부 파라미터를 포함할 수 있다. 예컨대, 햅틱 출력 장치의 유형 및/또는 개수, 재생되는 미디어 콘텐츠의 유형, 센서 정보 및/또는 다른 정보가 햅틱 피드백을 자동으로 결정하기 위해 사용될 수 있다. 이러한 구현예들 중 일부에서, 주어진 외부 파라미터는 주어진 외부 파라미터가 햅틱 피드백을 변경하기 위해 부합됨으로써 상응하는 중요도를 나타내기 위해 가중될 수 있다.
외부 파라미터 중 임의의 하나가 햅틱 피드백을 자동으로 결정하는데 사용되지 않은 하나 이상의 다른 외부 파라미터와 조합하여 결정된 햅틱 피드백을 변경할 수 있다. 이와 같이, 시스템은 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 자동으로 결정된 더 풍부하고, 더 완전하고 커스텀화 가능한 햅틱 피드백을 용이하게 할 수 있다.
동작 중에, 컴퓨팅 장치는 미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정할 때 하나 이상의 외부 파라미터를 고려할 수 있다. 예컨대, 사용자는 사용자의 바이오메트릭, 환경 조건, 움직임, 위치 및/또는 사용자 또는 환경에 관련된 다른 정보를 감지하는 웨어러블(wearable) 장치를 착용할 수 있다. 컴퓨팅 장치 또는 다른 장치를 사용하여 사용자는 다양한 외부 파라미터가 컴퓨팅 장치로 제공되는 동안 음악을 들을 수 있다. 컴퓨팅 장치는 음악을 위한(또는 다른 상황을 위한) 자동 햅틱 피드백 결정 설정을 포함하는 사용자 정의 프로필을 사용할 수 있다. 컴퓨팅 장치는 컴퓨팅 장치, 하나 이상의 웨어러블 장치 및/또는 다른 장치에 포함된 하나 이상의 햅틱 출력 장치를 통해 사용자에게 출력될 수 있는 햅틱 피드백을 자동으로 결정하기 위해 사용자 프로필, 다른 외부 파라미터 및 음악을 사용할 수 있다. 이러한 방식으로, 컴퓨팅 장치는 음악에 기초하여 햅틱 피드백을 결정하기 위해 음악의 재생에 관련된 다양한 정보(예컨대, 사용자가 운동하는지, 사용자의 바이오메트릭 조건 등)를 고려할 수 있다.
도 1은 본 발명의 양태에 따른, 햅틱 피드백을 커스텀화 하는 데 사용되는 외부 파라미터 및 미디어 콘텐츠에 기초하여 햅틱 피드백을 제공하기 위한 시스템을 개략적으로 도시.
도 2는 본 발명의 양태에 따른, 미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정하기 위해 컴퓨팅 장치에 의해 사용되는 여러 유형의 외부 파라미터를 개략적으로 도시.
도 3은 본 발명의 양태에 따른, 미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정하기 위해 컴퓨팅 장치에 의해 사용되는 여러 프로필의 개략도를 개략적으로 도시.
도 4는 본 발명의 양태에 따른, 미디어 콘텐츠 및 외부 파라미터에 기초하여 햅틱 피드백을 자동으로 결정하기 위한 프로세스의 예를 개략적으로 도시.
도 5는 본 발명의 양태에 따른, 외부 파라미터에 기초하여 자동으로 결정된 햅틱 피드백을 스케일링하기 위한 프로세스의 예를 개략적으로 도시.
도 6은 본 발명의 양태에 따른, 미디어 콘텐츠 및 외부 파라미터에 기초하여 햅틱 피드백을 자동으로 결정하기 위한 프로세스의 예를 개략적으로 도시.
본 개시는 미디어 콘텐츠 및 햅틱 피드백을 커스텀화 하기 위해 사용되는 외부 파라미터에 기초하여 햅틱 피드백을 제공하는 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 양태에 따른, 햅틱 피드백을 커스텀화 하기 위해 사용되는 외부 파라미터 및 미디어 콘텐츠에 기초하여 햅틱 피드백을 제공하기 위한 시스템(100)을 도시한다. 시스템(100)은 미디어 콘텐츠(122)를 제공하는 미디어 소스(120), 하나 이상의 외부 파라미터(132)를 제공하는 외부 파라미터 소스(130), 컴퓨팅 장치(140), 햅틱 출력 장치(162), 이미지 출력 장치(164), 오디오 출력 장치(166), 및/또는 다른 구성요소를 포함할 수 있다. 전술한 구성요소들은 도 1에는 하나씩만 도시되어 있지만, 그러한 구성요소들은 하나 초과의 것들이 사용될 수 있다.
컴퓨팅 장치(140)는, 아래 기재된 바와 같이, 하나 이상의 햅틱 출력 장치(162)로 하여금 햅틱 피드백을 출력하게 하는 하나 이상의 제어 신호를 자동으로 발생시키도록 프로그래밍 될 수 있다. 컴퓨팅 장치(140)는 오디오 콘텐츠의 템포 같은 미디어 콘텐츠(122)의 다양한 특성에 기초하여 외부 파라미터(132)를 고려하면서 제어 신호를 자동으로 발생시킬 수 있다. 예컨대, 컴퓨팅 장치(140)는 제공될 햅틱 피드백을 미디어 콘텐츠(122)와 하나 이상의 외부 파라미터(132)의 조합에 기초하여 자동으로 결정할 수 있다. 몇몇 경우에, 컴퓨팅 장치(140)는 제공될 햅틱 피드백을 미디어 콘텐츠(122)에 기초하여 자동으로 결정할 수 있고, 그 후 외부 파라미터(132)에 기초하여 자동으로 결정된 햅틱 피드백을 수정할 수 있다(예컨대, 특성을 변경).
미디어 콘텐츠(122)는 오디오 콘텐츠, 이미지 콘텐츠(예컨대, 비디오, 정지 이미지, 비디오 게임의 시각적 표현 등) 및/또는 다른 콘텐츠를 포함할 수 있다. 미디어 콘텐츠(122)는 비디오, 오디오, 비디오 게임 표현 및/또는 재생되거나 출력될 수 있는 다른 미디어로 구성될 수 있다. 외부 파라미터(132)는 센서 정보, 커스텀화 정보 및/또는 그곳에 인코딩된 미디어를 주는데 사용되는 미디어 콘텐츠(122) 특성(본 명세서에서 "속성"으로도 교체 가능하게 언급됨)과 독립된 다른 정보(상기의 임의의 조합을 포함)를 포함할 수 있다.
센서 정보는 환경(예컨대, 주위 온도, 기압 등), 움직임 또는 방향(예컨대, 가속도, 방향, 나침반 등), 바이오메트릭(예컨대, 심박수, 체온 등) 및/또는 감지되거나 검출될 수 있는 다른 정보를 측정하는 하나 이상의 센서로부터의 정보를 포함할 수 있다. 커스텀화 정보는 사용자 선호도(예컨대, 다른 유형의 미디어 콘텐츠를 위한 햅틱 피드백 커스텀화에 대한 사용자 선호도), 햅틱 피드백을 제공하기 위해 사용되는 햅틱 출력 장치의 개수 및/또는 유형의 표시, 장치 상태의 표시(예컨대, 전경에서 실행되는 어플리케이션, 배터리 레벨 등) 및/또는 미디어 콘텐츠(122)에 기초하여 자동으로 결정된 햅틱 피드백을 커스텀화 하는데 사용될 수 있는 다른 커스텀화 정보를 구체화하는 사용자 프로필을 포함할 수 있다.
센서 정보, 커스텀화 정보 및/또는 다른 정보가 사용되든 아니든, 컴퓨팅 장치(140)는 미디어 콘텐츠(122)를 프로세싱하고 센서 정보, 커스텀화 정보, 및/또는 다른 정보를 고려한 것에 기초하여 사용자에게 제공될 햅틱 피드백을 일으키는 제어 신호를 자동으로 발생시키도록 프로그래밍 될 수 있다.
예컨대, 컴퓨팅 장치(140)는 음악의 템포에 기초하여 햅틱 피드백을 자동으로 결정할 수 있고, 센서 정보가 활동 레벨이 소정의 임계값보다 작다고 나타낼 때 결정된 햅틱 피드백의 속력을 올릴 수 있다(예컨대, 결정된 햅틱 피드백의 빈도수를 증가시킴). 상기 예에서, 활동 레벨은 음악을 듣고 있는 사용자의 운동이 느려진 페이스(pace)를 나타낼 수 있고, 햅틱 피드백은 페이스 증가를 고무시키기 위해 속력을 올릴 수 있다.
다르게는 또는 추가적으로, 컴퓨팅 장치(140)는 여러 상황에서 사용되어야 하는 알고리즘의 특정 유형을 나타내는 사용자 프로필에 기초하여 햅틱 피드백을 자동으로 결정할 수 있다. 예컨대, 사용자 프로필은 사용자가 영화를 보고 있는 동안 햅틱 피드백을 자동으로 결정하는데 사용되는 주어진 알고리즘 및 사용자가 음악을 들을 때 사용되는 다른 알고리즘을 특정할 수 있다.
이러한 방식으로, 컴퓨팅 장치(140)는 햅틱 피드백을 자동으로 결정하도록 미디어 콘텐츠(122) 및 하나 이상의 외부 파라미터(132)를 함께 프로세싱하도록 프로그래밍 될 수 있어, 미디어 콘텐츠와 햅틱 피드백을 커스텀화 하는 데 사용되는 다른 정보에 기초하여 햅틱 피드백을 자동으로 결정하기 위한 구성가능하고 다이나믹한 방법을 제공한다.
소정 구현예들에서, 컴퓨팅 장치(140)는 상기 및 다른 기능을 수행하도록 하나 이상의 컴퓨터 프로그램 모듈로 프로그래밍 된 하나 이상의 프로세서(142)를 포함할 수 있다. 하나 이상의 컴퓨터 프로그램 모듈은 하나 이상의 저장 장치(144)에 저장될 수 있다. 모듈은 미디어 프로세싱 모듈(146), 센서 정보 모듈(148), 커스텀화 정보 모듈(150), 햅틱 피드백 모듈(152), 미디어 출력 모듈(154), 조정 모듈(coordination module; 156) 및/또는 다른 모듈을 포함할 수 있다.
소정 구현예들에서, 미디어 프로세싱 모듈(146)은 미디어 콘텐츠(122)를 미디어 소스(120), 저장 장치(144)(예컨대, 미디어 콘텐츠(122)가 컴퓨팅 장치(140)에서 국부적으로 저장될 때) 및/또는 미디어 콘텐츠(122)의 다른 소스로부터 수신하도록 구성될 수 있다. 예컨대, 미디어 콘텐츠(122)는 스트리밍 될 수 있거나, 다운로드 될 수 있거나, 복사될 수 있거나, 국부적으로 저장될 수 있거나, 국부적으로 생성될 수 있거나(예컨대, 도 1에 도시되지 않은 미디어 캡쳐 장치를 통해) 또는 미디어 프로세싱 모듈(146)에 의해 획득될 수 있다. 어떤 방식으로 미디어 콘텐츠(122)가 획득되든지, 미디어 프로세싱 모듈(146)은 메모리 내에 미디어 콘텐츠(122)를 버퍼링(buffer)하도록 구성될 수 있어서 미디어 콘텐츠(122)는 햅틱 피드백을 자동으로 결정하도록 프로세싱될 수 있다.
미디어 프로세싱 모듈(146)은 비디오 출력 장치(164) 및/또는 오디오 출력 장치(166)로 하여금 미디어를 출력하게 하도록 의도된 신호를 분석함으로써 미디어 콘텐츠(122)를 프로세싱하도록 구성될 수 있다. 신호는 다양한 이미지/비디오 속성, 오디오 속성 및/또는 미디어가 출력되게 하는 다른 속성을 포함할 수 있다.
그러한 이미지/비디오 속성은, 예컨대, 색감(color hue), 밝기, 채도(saturation), 프레임 당 픽셀 수, 비디오 크기, 비트 속도(bit rate) 및/또는 기존의 이미지/비디오 프로세싱 기술을 사용하여 검출될 수 있는 다른 이미지/비디오 속성을 포함할 수 있다.
오디오 속성은 예컨대, 주파수, 샘플 또는 비트 속도, 비트 깊이, 진폭 및/또는 기존의 오디오 프로세싱 기술을 사용하여 검출될 수 있는 다른 오디오 속성을 포함할 수 있다. 소정 구현예들에서, 미디어 프로세싱 모듈(146)은 미디어 콘텐츠(122)에 포함될 수 있는 복수의 채널을 프로세싱할 수 있다. 그러한 개별 채널은 햅틱 피드백을 자동으로 결정하기 위해 개별적으로 또는 서로 조합되어 사용될 수 있다. 미디어 프로세싱 모듈(146)은, 전체로서 본 명세서에 참조되는, 공유된, 미국 특허 출원 번호 제13/365,984호로 2012년 2월 3일자로 출원되고, 미국 특허 출원 공개 번호 제2012/0206246호로 2012년 8월 16일에 공개된 "진폭 값을 사용한 사운드 대 햅틱 효과 변환 시스템"과 미국 특허 출원 번호 제13/366,010호로 2012년 2월 3일자로 출원되고, 미국 특허 출원 공개 번호 제2012/0206247호로 2012년 8월 16일에 공개된 "파형을 사용한 사운드 대 햅틱 효과 변환 시스템"에 개시된 것과 같은, 오디오 프로세싱을 위한 다양한 기술을 사용할 수 있다.
소정 구현예들에서, 센서 정보 모듈(148)은 (예컨대, 햅틱 피드백을 일으키는 제어 신호를 발생시킴으로써) 햅틱 피드백을 자동으로 결정하는데 사용되는 센서 정보를 수신하도록 구성될 수 있다. 센서 정보는 본 명세서에 기재된 인터넷, 로컬 네트워크 및/또는 다른 네트워크를 포함할 수 있는 무선 또는 유선 네트워크를 통해 수신될 수 있다. 센서 정보는 환경을 설명하는 환경 정보, 객체/장치를 설명하는 포지셔닝(positioning)/방향/움직임 정보, 사용자의 생리/정신 조건을 설명하는 바이오메트릭 정보 및/또는 다른 정보를 포함할 수 있다. 이와 같이, 외부 파라미터 소스(130)는 가속도계, 자이로스코프, 자기계, 온도계, 심박수 모니터, 심전도("ECG") 센서, 피부 전기 반응("EDR") 센서, 갈바닉 피부 반응(galvanic skin response; "GSR") 센서, 사이코갈바닉 반사(pyschogalvanic reflex; "PGR") 센서, 혈압 센서, 포도당 모니터(glucose monitor) 및/또는 센서 정보를 생성할 수 있는 다른 센서를 포함할 수 있다. 소정 구현예들에서, 외부 파라미터 소스(130)는 장치를 착용하고 있는 사용자를 추적하여, 이동, 사용자 조건, 환경 조건 및/또는 사용자와 관련된 다른 조건을 감지하는 하나 이상의 웨어러블 장치로서 구성될 수 있다.
소정 구현예들에서, 커스텀화 정보 모듈(150)은 햅틱 피드백을 자동으로 결정하는 데 사용되는 커스텀화 정보를 수신하도록 구성될 수 있다. 커스텀화는 예컨대, 사용자 프로필 정보, 햅틱 출력 장치 정보, 장치 상태 정보(예컨대, 컴퓨팅 장치(140) 또는 다른 장치의 현재 상태를 나타내는 정보) 및/또는 다른 정보를 포함할 수 있다. 이와 같이, 외부 파라미터 소스(130)는 사용자가 사용자 프로필을 제공하고/하거나 저장하는 컴퓨팅 장치, 미디어 콘텐츠가 디스플레이되는 컴퓨팅 장치(예컨대, 컴퓨팅 장치(140)) 및/또는 커스텀화 정보를 제공할 수 있는 다른 장치를 포함할 수 있다.
소정 구현예들에서, 햅틱 피드백 모듈(152)은 하나 이상의 햅틱 출력 장치(162)로 하여금 햅틱 피드백을 제공하게 하는 미디어 콘텐츠(122)에 기초하여 제어 신호를 발생시키도록 구성될 수 있다. 소정 구현예들에서, 미디어 콘텐츠(122)로부터의 메타-데이터(meta-data)는 가능하다면 햅틱 피드백 결정을 더 안내하도록 사용될 수 있다. 예컨대, 음악의 템포 같은 특정 정보는 햅틱 피드백 모듈(152)에 의해 결정되는 전체적인 햅틱 피드백을 안내하기 위해 획득될 수 있다.
햅틱 피드백 모듈(152)은 햅틱 피드백을 결정하고 센서 정보 모듈(148) 및/또는 커스텀화 정보 모듈(150)에 의해 수신된 외부 파라미터를 모니터하기 위해 미디어 콘텐츠(122)(예컨대, 미디어 콘텐츠(122) 프로세싱에 기초하여 미디어 프로세싱 모듈(146)에 의해 획득된 정보)를 사용할 수 있다. 예컨대, 햅틱 피드백 모듈(152)은 햅틱 피드백이 제공되어야 하는 음악의 특정 부분(예컨대, 비트)을 확인하기 위해서 저역-통과형 필터를 적용할 수 있다. 음악의 그 부분은 햅틱 피드백을 결정하기 위해 사용될 수 있다(하나 이상의 외부 파라미터(132)와 함께 및/또는 외부 파라미터에 기초하여 수정될 수 있다).
소정 구현예들에서, 햅틱 피드백 모듈(152)은 미디어 콘텐츠(122) 및 하나 이상의 외부 파라미터(132)를 동시에 고려함으로써 햅틱 피드백을 결정할 수 있다. 프로세싱의 일 예는 햅틱 피드백을 결정할 때 상대적인 중요도를 결정하는 데 사용되는 가중치 팩터(weight factor)를 미디어 콘텐츠(122) 및 외부 파라미터(132)(본 명세서에 개시된 하나 이상의 다른 종류의 외부 파라미터를 포함할 수 있음) 각각에 할당하는 것을 포함할 수 있다.
예컨대, 미디어 콘텐츠(122)의 템포(tempo)는 제1 가중치로 할당될 수 있고 외부 파라미터(132)로부터의 바이오메트릭 판독은 제2 가중치로 할당될 수 있다. 햅틱 피드백 모듈(152)은 템포에 기초한 햅틱 피드백의 제1 빈도수(frequency) 및 바이오메트릭 판독에 기초한 햅틱 피드백의 제2 빈도수를 결정할 수 있다. 햅틱 피드백 모듈(152)은 제1 빈도수, 제1 가중치, 제2 빈도수, 및 제2 가중치에 기초하여 최종 빈도수를 결정할 수 있다. 예컨대, 햅틱 피드백 모듈(152)은 가중된 제1 빈도수(예컨대, 제1 가중치에 의해 곱해지거나 가중된 제1 빈도수) 및 가중된 제2 빈도수(예컨대, 제2 가중치에 의해 유사하게 가중된 제2 빈도수)를 평균낼 수 있다.
데이터 값의 상대적인 중요도를 고려하는 다른 방법도 또한 사용될 수 있다. 나아가, 외부 파라미터의 다른 숫자들이 사용될 수 있고 각각은 그들 자신 각자의 가중치가 할당될 수 있다. 또 나아가, 햅틱 피드백의 빈도수 이외의 하나 이상의 다른 속성 또는 특성이 유사하게 프로세싱될 수 있고 템포 이외의 미디어 콘텐츠(122)로부터의 신호 특성이 사용될 수 있으며 각각은 그들 자신 각자의 가중치가 할당될 수 있다.
소정 구현예들에서, 햅틱 피드백 모듈(152)은 처음 외부 파라미터(132) 없이 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정함으로써 햅틱 피드백을 결정할 수 있다. 이러한 구현예들에서, 햅틱 피드백 모듈(152)은 하나 이상의 외부 파라미터(132)에 기초하여 결정된 햅틱 피드백을 수정할 수 있다. 계속하여 전술한 비-제한적인 예에서, 햅틱 피드백 모듈(152)은 미디어 콘텐츠(122)의 템포를 사용하여 햅틱 피드백을 결정할 수 있다. 그런 다음 하나 이상의 외부 파라미터(132)가 사용되어 햅틱 피드백을 수정할 수 있다.
소정 구현예들에서, 햅틱 피드백 모듈(152)은 동시에 미디어 콘텐츠(122) 및 하나 이상의 외부 파라미터(132)의 제1 세트(상술한 바와 같이 각각 가중됨)를 사용하여 햅틱 피드백을 결정할 수 있다. 그런 다음 햅틱 피드백 모듈(152)은 하나 이상의 외부 파라미터(132)의 제2 세트에 기초하여 결정된 햅틱 피드백을 수정할 수 있다. 예컨대, 햅틱 피드백 모듈(152)은 바이오메트릭 정보 및 미디어 콘텐츠(122)의 템포를 가중함으로써 햅틱 피드백을 결정할 수 있다. 그런 다음 햅틱 피드백 모듈(152)은 주위 온도와 같은 환경 정보에 기초하여 결정된 햅틱 피드백을 수정할 수 있다.
어떤 정보가 그리고 이러한 정보가 언제 사용되는지에 관계없이, 햅틱 피드백 모듈(152)은 수정 팩터(modification factor)에 도달하도록 전술한 내용을 적용하여 햅틱 피드백을 적용할 수 있다.
햅틱 피드백 모듈(152)은 다양한 방법으로 수정 팩터를 다룰 수 있다. 예컨대, 수정 팩터는 스케일 팩터, 임계값 팩터, 및/또는 햅틱 피드백을 수정하거나 결정하기 위해 사용되는 다른 정보를 포함할 수 있다. 스케일 팩터는 햅틱 피드백의 특성을 상향 또는 하향 조정하기 위해 사용될 수 있다. 그러한 정보가 임계값 팩터를 초과하지 않으면 임계값 팩터는 정보(예컨대, 미디어 콘텐츠(122) 또는 외부 파라미터(132)를 설명하는 정보)를 필터링 하는 데 사용될 수 있다.
소정 구현예들에서, 햅틱 피드백 모듈(152)은 제1 유형의 정보에 기초하여 햅틱 피드백의 제1 특성을 결정하고 제2 유형의 정보에 기초하여 햅틱 피드백의 제2 특성을 결정하도록 구성될 수 있다. 예컨대, 햅틱 피드백 모듈(152)은 음악에서의 베이스 또는 비디오에서의 폭발을 나타내는 저역-통과(low-pass) 필터 데이터에 기초하여 햅틱 피드백의 크기를 결정할 수 있다. 햅틱 피드백 모듈(152)은 시스템(100)을 사용하고 감시되고 있는 사용자의 심장 페이스와 같은 바이오메트릭 정보에 기초하여 햅틱 피드백의 빈도수를 결정할 수 있다. 햅틱 피드백 모듈(152)은 본 명세서에서 설명한 바와 같은 다른 외부 파라미터(152)(예컨대, 외부 파라미터들에 의해 조합되고/조합되거나 후에 수정된 저역-통과 주파수 데이터)에 기초하여 햅틱 피드백의 제1 및/또는 제2 특성을 결정할 수 있다.
소정 구현예들에서, 햅틱 피드백 모듈(152)은 특정 유형의 미디어와 사용하기 위해 프로그래밍 된 알고리즘과 같은 명령어(instructions)에 대한 액세스를 가질 수 있다(예컨대, 하드-코딩된(hard-coded) 명령어를 가지고/가지거나 명령어를 수신 또는 획득할 수 있다). 예컨대, 햅틱 피드백 모듈(152)은 음악을 햅틱 피드백으로 프로세싱하기 위한 제1 알고리즘 및 비디오를 햅틱 피드백으로 프로세싱하기 위한 제2 알고리즘을 사용할 수 있다. 다른 유형의 미디어 콘텐츠(122)에 대한 다른 알고리즘이 또한 사용될 수 있다. 사용자는, 예컨대 저장 장치(144) 또는 다른 유형의(tangible) 저장 위치에 저장된 사용자 프로필을 통해 시스템(100)을 구성하여, 다른 유형의 미디어에 대해 상이한 알고리즘을 사용할 수 있다. 이러한 구현예들에서, 햅틱 피드백 모듈(152)은 사용자 프로필에 기초하여 및 재생되는 미디어 콘텐츠의 유형에 기초하여 적절한 알고리즘을 사용할 수 있다.
소정 구현예들에서, 햅틱 피드백 모듈(152)은 컴퓨팅 장치(140)의 사용자 및/또는 개발자에 의해 구성된 규칙(rule)을 사용하여 햅틱 피드백을 특정할 수 있다. 예컨대, 규칙은 제공될 햅틱 피드백의 수정을 트리거(trigger)하는 하나 이상의 임계값을 포함할 수 있다. 임계값은 외부 파라미터(132)들 중 임의의 하나 이상에 관한 것일 수 있다. 특정 예에서, 외부 파라미터는 사용자가 어떤 햅틱 피드백이 특정 알고리즘(예컨대, 더 높은 고도에서 햅틱 피드백의 빈도수를 증가시키도록 설계된 것)에 기초하여 결정되는지를 통해 및/또는 어떤 피드백이 특정 수정 팩터에 의해 수정되는지를 통해 임계 고도를 설정할 수 있도록 고도 정보를 포함할 수 있다. 다른 외부 파라미터(132)에 대한 다른 임계값이 또한, 단독으로 또는 또 다른 임계값과 조합하여, 사용될 수 있다.
소정 구현예들에서, 미디어 출력 모듈(154)은 미디어 콘텐츠(122)를 출력하도록 구성될 수 있다. 미디어 출력 모듈(154)은 기존의 미디어 포맷을 사용하여 미디어 콘텐츠(122)를, 예컨대 이미지 출력 장치(164), 오디오 출력 장치(166), 및/또는 다른 미디어 출력 장치로 제공할 수 있다.
소정 구현예들에서, 조정(coordination) 모듈(156)은 미디어 출력 장치(예컨대, 이미지 출력 장치(164) 및 오디오 출력 장치(166)) 및 햅틱 출력 장치(162)에 대해 각각 미디어 출력 및 제어 신호 출력을 조정하도록 구성될 수 있다. 소정 구현예들에서, 조정 모듈(156)은 일반적으로 비디오 출력, 오디오 출력, 및 햅틱 피드백 각각을 출력하기 위한 시간을 설정할 수 있는 타임 스탬프(time stamps)를 통해 및/또는 미디어 콘텐츠(122)에 내장된 동기화 코드에 따라, 이미지 출력, 제어 신호(예컨대, 제어 신호에 기인한 햅틱 피드백), 및 오디오 출력을 동기화할 수 있다.
알 수 있는 바와 같이, 미디어 콘텐츠(122)는 오디오 콘텐츠 및 비디오 콘텐츠를 모두 포함할 수 있다. 컴퓨팅 장치(140)는 본 명세서에 설명된 바와 같은 오디오, 비디오 및/또는 미디어 콘텐츠(122)의 다른 미디어를 프로세싱하여 공간적으로 변하는 햅틱 피드백을 제공할 수 있다.
다양한 시스템 구성요소의 예에 대한 개요를 설명된 바와 같이, 이제 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 자동으로 결정하기 위해 컴퓨팅 장치(140)에 의해 사용 및 프로세싱되는 여러 유형의 외부 파라미터(132)로 주의를 돌릴 것이다.
도 2는 본 발명의 양태에 따라, 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 자동으로 결정하기 위해 컴퓨팅 장치(140) 의해 사용될 수 있는 여러 유형의 외부 파라미터(132)를 도시한다. 컴퓨팅 장치(140)는 미디어 콘텐츠 및 하나 이상의 외부 파라미터(132)에 기초하여 햅틱 피드백을 자동으로 결정하기 위해 도 1에 도시된 모듈들 중 하나 이상에 의해 프로그래밍 될 수 있다. 소정 구현예들에서, 외부 파라미터(132)는 센서 정보(210), 커스텀화 정보(220), 다른 외부 파라미터(230), 및/또는 다른 정보를 포함할 수 있다.
센서 정보(210)는 사용자, 객체(object), 환경 등의 조건을 감지하는 하나 이상의 센서로부터의 정보를 포함할 수 있다. 예컨대, 센서 정보(210)는 환경 정보(212), 공간 정보(214), 바이오메트릭 정보(216), 및/또는 다른 정보를 포함할 수 있다.
환경 정보(212)는 주변 온도, 대기 기압, 고도, 및/또는 환경 조건을 설명할 수 있는 다른 정보를 포함할 수 있다. 이러한 구현예들에서, 도 1에 도시된 외부 파라미터 소스(130)는 온도 센서, 기압 센서, 고도계, 및/또는 환경 정보(212)를 감지할 수 있는 다른 장치를 포함할 수 있다.
컴퓨팅 장치(140)는 미디어 콘텐츠(122)에 기초하여 제공될 햅틱 피드백을 결정할 때 환경 정보(212)를 고려하도록 프로그래밍 될 수 있다. 컴퓨팅 장치(140)는 여러 환경 정보(212)에 따로따로 기초하여 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정할 수 있다. 비-제한적인 예에서, 컴퓨팅 장치(140)는 주위 온도가 제1 온도일 때 특정 노래에 대한 제1 햅틱 피드백을 결정하고 주위 온도가 제2(상이한) 온도일 때 동일한 노래에 대한 제2(상이한) 햅틱 피드백을 결정하도록 프로그래밍될 수 있다. 전술한 예에서는, 주위 온도가 제1 온도일 때 음악을 들으면서 운동하고 있는 사용자는, 동일한 음악이 본 명세서에 설명된 바와 같이 햅틱 피드백을 결정하기 위한 기초로서 사용되더라도, 주위 온도가 제2 온도 일 때와 다른 햅틱 피드백을 제공받을 수 있다. 이러한 방식으로, 컴퓨팅 장치(140)는 환경 정보(212)에 따라 달라지는 햅틱 피드백을 결정할 수 있다.
컴퓨팅 장치(140)는 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정할 때 공간 정보(214)를 사용할 수 있다. 공간 정보(214)는 움직임, 방향, 위치, 및/또는 공간 내의 객체를 설명할 수 있는 다른 정보를 포함할 수 있다. 이러한 구현예들에서, 도 1에 도시된 외부 파라미터 소스(130)는 가속도계, 자이로스코프, 자기계, 위성 항법 시스템(Global Positioning System, GPS) 센서 또는 위치 정보를 제공하는 데 사용될 수 있는 다른 장치, 및/또는 공간 정보(214)를 감지할 수 있는 다른 장치를 포함할 수 있다.
컴퓨팅 장치(140)는 여러 공간 정보(214)에 따로따로 기초하여 미디어 콘텐츠에 기초하여 햅틱 피드백을 결정할 수 있다. 컴퓨팅 장치(140)는 동작의 하나 이상의 모드(mode)에 따라 공간 정보(214)를 사용할 수 있다.
동작의 제1 모드에서, 컴퓨팅 장치(140)는 공간 정보(214)의 적어도 일부를 사용하여 빈도수, 크기 및/또는 햅틱 피드백의 다른 특성을 증가시킴으로써 진동 "노이즈(noise)"를 보상(compensate)할 수 있다. 예컨대, 사용자는 약간의 진동 노이즈가 발생하는 소파에 앉는 동안 컴퓨팅 장치(140)를 사용하여 주어진 영화를 보고 있을 수 있다. 컴퓨팅 장치(140)는 영화 및 공간 정보(214)에 기초하여(예컨대, 가속도계, 자이로스코프, 및/또는 다른 센서 기반 공간 정보에 기초하여 검출되고 있는 약간의 진동 노이즈에 기초하여) 제1 햅틱 피드백을 결정하도록 프로그래밍 될 수 있다. 사용자는 진동 노이즈가 감지되도록 기차에서 동일한 영화를 볼 수 있다. 컴퓨팅 장치(140)는 두 경우에서의 햅틱 피드백 각각이 동일한 영화에 기초하더라도 제1 햅틱 피드백보다 (예컨대) 더 높은 강도를 가지는 제2 햅틱 피드백을 일으킴으로써 진동 노이즈를 보상할 수 있다. 이러한 방식으로, 컴퓨팅 장치(140)는 공간 정보(214)에 따라 변하는 햅틱 피드백을 결정할 수 있다.
동작의 다른 모드에서, 컴퓨팅 장치(140)는 공간 정보(214)의 적어도 일부를 사용하여 활동 레벨을 결정할 수 있다. 예컨대, 움직임 센서 또는 다른 센서 정보에 기초하여, 컴퓨팅 장치(140)는 사용자의 활동 레벨을 결정할 수 있는데, 이는 결정된 햅틱 피드백을 조정하기 위하여 사용될 수 있다. 이러한 방식으로, 컴퓨팅 장치(140)는 사용자 활동의 레벨에 따라서 미디어 콘텐츠(122)에 기초하여 제공될 햅틱 피드백을 조정(예컨대, 빈도수, 크기, 및/또는 성능을 고무시키기 위한 햅틱 피드백의 다른 특성을 증가)할 수 있다.
동작의 다른 모드에서, 컴퓨팅 장치(140)는 공간 정보(214)의 적어도 일부를 사용하여 사용자의 위치를 결정할 수 있다. 이러한 방식으로, 사용자의 여러 지리적 위치가 미디어 콘텐츠(122)에 기초하는 여러 햅틱 피드백을 결정하는 데 사용될 수 있다. 비-제한적인 예에서, 제1 위치에서 운동하는 동안 음악을 듣고 있는 사용자는, 사용자가 (햅틱 피드백을 결정하는 데에도 사용된) 동일한 음악을 듣고 있을 수 있더라도, 제1 위치에 있을 때 제1 햅틱 피드백을 제공받을 수 있고 제2(상이한) 위치에 있을 때 제2(상이한) 햅틱 피드백을 제공받을 수 있다. 이러한 방식으로, 사용자가 위치한 곳에 따라, 컴퓨팅 장치(140)는 사용자 위치에 기초하여 변하는 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정하도록 프로그래밍 될 수 있다. 다른 예들에서, 미디어 콘텐츠(122)에 기초한 햅틱 피드백은 위치에 대한 거리에 따라 변할 수 있다. 소정 구현예들에서, 공간 정보(214)는 객체에 대한 근접도(proximity)가 햅틱 피드백 결정에 영향을 미칠 수 있도록 근접도 정보를 포함할 수 있다. 이러한 구현예들에서, 미디어 콘텐츠(122)에 기초한 햅틱 피드백은 객체가 접근하고 있거나 가까이 근접해 있다는 경고로 변할 수 있다.
컴퓨팅 장치(140)는 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정할 때 바이오메트릭 정보(216)를 사용할 수 있다. 바이오메트릭 정보(216)는 심박수, 피부 전도성(예컨대, 피부 수분 레벨/발한을 검출하기 위해), 혈압, 체온, 포도당 레벨, 및/또는 사용자의 생물학적 상태 또는 조건을 설명할 수 있는 다른 정보를 포함할 수 있다. 이러한 구현예들에서, 도 1에 도시된 외부 파라미터 소스는 심전도(ECG) 센서, 갈바닉 피부 반응("GSR") 센서, 사이코갈바닉 반사("PGR") 센서, 혈압 센서, 체온 센서, 포도당 모니터 및/또는 바이오메트릭 정보(216)를 감지할 수 있는 다른 센서를 포함할 수 있다.
컴퓨팅 장치(140)는 여러 바이오메트릭 정보(216)에 따로따로 기초하여 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정할 수 있다. 비-제한적인 예에서, 컴퓨팅 장치(140)는 바이오메트릭 정보(216)를 사용하여 사용자의 피로 또는 다른 생물학적 조건을 결정하고 생물학적 조건에 따라 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 결정하도록 프로그래밍 될 수 있다. 사용자의 생물학적 상태를 분석함으로써, 컴퓨팅 장치(140)는 사용자의 피로 레벨이 높고 그 결과 수행 레벨이 저하되고 있다는 것을 검출할 수 있다. 피로의 영향에 대처하기 위해, 음악 또는 다른 미디어 콘텐츠(122)의 전체적인 리듬에 동기화되어 햅틱 피드백의 주기성을 유지하면서, 컴퓨팅 장치(140)는 운동을 계속하도록 사용자에게 동기부여하기 위해 음악에 응답하여 일반적으로 제공될 햅틱 피드백의 템포를 향상시킬 수 있다. 상술한 예에서, 햅틱 피드백은 음악과 계속 동기화될 수 있지만, 주어진 순간에 전달되는 햅틱 피드백의 양이 증가되어 사용자로 하여금 운동을 계속하도록 고무시킬 수 있다. 이러한 방식으로, 컴퓨팅 장치(140)는 사용자의 생물학적 조건에 따라 변하는 미디어 콘텐츠(122)에 기초한 햅틱 피드백을 결정할 수 있다.
커스텀화 정보(220)는 사용자 프로필 정보(222), 컴퓨팅 장치 상태 정보(224), 햅틱 출력 장치 유형 정보(226), 및/또는 다른 커스텀화 정보를 포함할 수 있다.
사용자 프로필 정보(222)는 사용자가 햅틱 피드백을 자동으로 발생시키는 알고리즘 또는 기술을 결정할 수 있게 하도록 사용자 구성가능(configurable) 설정을 포함할 수 있다. 사용자 구성가능 설정은 햅틱 피드백을 자동으로 결정할 때 컴퓨팅 장치(140)에 의한 사용을 위한 사용자 프로필 정보(222)로서 저장될 수 있다. 이러한 방식으로, 컴퓨팅 장치(140)는 사용자가 이해할 수 있는 방식으로 저 레벨 사운드-투-햅틱(sound-to-haptics) 알고리즘을 노출시킬 수 있고 햅틱 피드백을 자동으로 결정하는 데 사용되는 사용자 선호도를 저장할 수 있다.
소정 구현예들에서, 예컨대, 사용자 프로필 정보(222)는 여러 유형의 애플리케이션/활동에 대해 사용되는 여러 알고리즘을 특정할 수 있다. 특정 예에서, 사용자는 컴퓨팅 장치(140)가 영화에 대한 특정 사운드-투-햅틱 알고리즘, 음악에 대한 다른 사운드-투-햅틱 알고리즘, 비디오 게임에 대한 또 다른 사운드-투-햅틱 알고리즘 등을 사용한다는 것을 특정할 수 있다.
이러한 구현예들 중 일부에서, 컴퓨팅 장치(140)는 컴퓨팅 장치 상태 정보(224)를 사용하여 햅틱 피드백을 제공하는 데 사용되는 장치의 전경에서 실행되는 프로그램을 결정할 수 있다. 예컨대, 컴퓨팅 장치(140)가 햅틱 피드백을 출력(또한 제공될 햅틱 피드백을 결정)하는 경우, 컴퓨팅 장치 상태 정보(224)는 컴퓨팅 장치(140)의 상태를 참조할 수 있다.
컴퓨팅 장치 상태 정보(224)는 사용자 동작 컴퓨팅 장치(140) 및/또는 햅틱 피드백을 출력하는 다른 장치로부터 수신될 수 있거나 자동으로 결정될 수 있다. 사용자로부터 수신될 때, 사용자는 햅틱 피드백을 자동으로 결정하는 데 어떤 알고리즘 또는 프로세싱이 사용되는지를 제어할 수 있다. 예컨대, 사용자는 사용자가 음악을 듣고 있으며 음악 프로필은 햅틱 피드백을 자동으로 결정하는 데 사용되어야 한다는 표시를 입력할 수 (있고 컴퓨팅 장치(140)가 수신할 수) 있다.
컴퓨팅 장치 상태 정보(224)가 자동으로 결정되는 소정 구현예들에서, 컴퓨팅 장치(140)는 자동으로 전경에서 실행되는 애플리케이션을 결정할 수 있다. 그러한 정보는, 예컨대, 재생되고 있는 미디어의 유형을 추론하는 데 사용될 수 있다. 특히, 멀티-미디어 플레이어 애플리케이션은 비디오/영화가 재생되고 있음을 시사할 수 있으면서, 그동안 음악 플레이어 애플리케이션은 음악이 재생되고 있음을 시사할 수 있고, 그동안 게임 애플리케이션은 비디오 게임이 재생되고 있음을 시사할 수 있다. 전경에서 실행되는 애플리케이션의 다른 유형은 유사하게 컴퓨팅 장치(140) 또는 햅틱 피드백을 제공하는 다른 장치의 현재 상태를 결정하는 데 사용될 수 있다. 예컨대, 운동 애플리케이션이 전경에서 실행되는 경우, 컴퓨팅 장치(140)는 장치 상태가 운동하고 있는 사용자에 상응한다는 것을 결정할 수 있다. 컴퓨팅 장치(140) 및/또는 햅틱 피드백이 출력되는 다른 장치가 운동하고 있는 사용자에 의해 수행, 작용될 수 있거나, 연관될 수 있고 컴퓨팅 장치(140)는 햅틱 피드백을 자동으로 결정하기 위해 사용될 하나 이상의 운동 프로필을 선택할 수 있다.
컴퓨팅 장치(140)는 그에 따라 다양한 상황 및 상태의 컴퓨팅 장치 상태 정보(224) 및/또는 사용자 프로필 정보(222)에 기초하여 햅틱 피드백을 자동으로 결정하는 데 사용될 수 있다.
소정 구현예들에서, 컴퓨팅 장치(140)는 햅틱 피드백을 자동으로 결정할 때 햅틱 피드백을 출력하는 데 사용되는 햅틱 출력 장치의 유형 및/또는 개수를 고려할 수 있다. 예컨대, 컴퓨팅 장치(140)는 햅틱 출력 장치 유형 정보(226)를 사용할 수 있고, 이는 햅틱 피드백을 자동으로 결정할 때 햅틱 피드백을 제공하는 데 사용되는 햅틱 출력 장치의 개수 및/또는 유형을 나타낸다.
소정 구현예들에서, 햅틱 출력 장치 유형 정보(226)는 사용자에 의해 구성가능할 수 있고, 자동으로 결정될 수 있고/있거나, 햅틱 피드백을 출력하는 주어진 시스템에 대해 햅틱 출력 장치의 특성(예컨대, 유형 및/또는 개수)을 특성하는 햅틱 출력 장치 정보의 데이터베이스에 기초할 수 있다. 컴퓨팅 장치(140)가 또한 햅틱 피드백을 출력하는 구현예들에서, 컴퓨팅 장치(140)는 햅틱 출력 장치 유형 정보(226)를 사전 저장할 수 있다. 사용자가 선택한 알고리즘/프로필 및 햅틱 출력 장치 구성에 기초하여, 컴퓨팅 장치(140)는 적절한 알고리즘을 사용할 수 있다. 예컨대, 선형 공진 액츄에이터("LRA")가 햅틱 피드백을 출력하는 데 사용되는 경우, 컴퓨팅 장치(140)는 햅틱 출력 장치의 LRA 유형에 의해 발생되기 위해 특별히 조정되는(tailored) 햅틱 피드백을 자동으로 결정할 수 있다. 햅틱 출력 장치의 다른 유형 및/또는 개수는 유사하게 햅틱 피드백을 발생시키기 위해 사용되는 각각의 알고리즘과 연관될 수 있다. 또한, 전술된 정보는 햅틱 피드백을 자동으로 발생시키는 데 사용되는 특정 알고리즘을 식별하도록 조합될 수 있다. 예컨대, 음악에 대한 사용자 정의 '베이시(Bassy)' 프로필은 햅틱 피드백을 자동으로 결정하기 위해 햅틱 출력 장치의 주어진 유형 및/또는 개수를 나타내는 정보와 조합될 수 있다.
소정 구현예들에서, 컴퓨팅 장치(140) 및/또는 햅틱 피드백을 출력하는 다른 장치는 사용자에 의한 개입 또는 선호도 없이 햅틱 피드백을 자동으로 결정할 수 있다. 이러한 구현예들에서, 컴퓨팅 장치(140)는 햅틱 피드백을 자동으로 발생시키는 데 사용되는 프로세싱 기술과 연관된 하나 이상의 프로필을 포함할 수 있다.
소정 구현예들에서, 다른 외부 파라미터(230)는 햅틱 출력 장치(162)에 대한 제어 신호가 미디어 콘텐츠(122)의 하나 이상의 특성에 기초하여 수동으로 커스텀화 될 수 있도록 사용자에 의해 수동으로 입력될 수 있다. 소정 구현예들에서, 컴퓨팅 장치(140)는 미디어 콘텐츠(122)의 하나 이상의 특성에 기초하여 햅틱 출력 장치(162)에 대한 제어 신호를 커스텀화 하도록 프로그래밍 될 수 있다.
도 1을 다시 참조하면, 소정 구현예들에서, 햅틱 출력 장치(162)는 액츄에이터, 예컨대, 편심 질량체가 모터에 의해 움직이는 편심 회전 질량("ERM"), 스프링에 부착된 질량체가 앞뒤로 구동되는 LRA, 또는 압전, 전기 활성 고분자, 또는 형상 기억 합금과 같은 "스마트 재료", 매크로 복합 섬유 액츄에이터, 정전기 액츄에이터, 전기 촉각 액츄에이터, 및/또는 햅틱(예컨대, 진동촉각) 피드백과 같은 물리적인 피드백을 제공하는 다른 유형의 액츄에이터와 같은 전자기 액츄에이터를 포함할 수 있다. 햅틱 출력 장치(162)는 정전기 마찰(electrostatic friction, "ESF"), 초음파 표면 마찰(ultrasonic surface friction, "USF")을 사용하는 것, 또는 초음파 햅틱 트랜스듀서(transducer)로 음향 복사 압력(acoustic radiation pressure)을 유도하는 것, 또는 햅틱 기재(substrate) 및 가요성 또는 변형 가능한 표면을 사용하는 것, 또는 에어 제트를 사용한 공기 퍼프(a puff of air)와 같은 투사(projected) 햅틱 출력을 제공하는 것 등과 같은 비-기계적 또는 비-진동 장치를 포함할 수 있다.
소정 구현예들에서, 이미지 출력 장치(164)는 터치 스크린 디스플레이, 모니터, 및/또는 비디오, 정지 이미지, 게임 표현 등과 같은 이미지 콘텐츠를 디스플레이할 수 있는 다른 디스플레이와 같은 디스플레이를 포함할 수 있다. 소정 구현예들에서, 오디오 출력 장치(166)는 스피커, 헤드폰, 또는 오디오를 방출할 수 있는 다른 장치를 포함할 수 있다. 소정 구현예들에서, 이미지 출력 장치(164), 햅틱 출력 장치(162), 및/또는 오디오 출력 장치(166)는 컴퓨팅 장치(140)와 통합될 수 있다. 소정 구현예들에서, 이미지 출력 장치(164), 햅틱 출력 장치(162), 및/또는 오디오 출력 장치(166)는 컴퓨팅 장치(140) 별도로 하우징될 수 있다.
저장 장치(144)는 컴퓨팅 장치(140)를 통합적으로(즉, 실질적으로 비-착탈식) 제공하는 시스템 저장장치 및/또는, 예컨대, 포트(예컨대, USB 포트, 파이어와이어 포트(firewire port) 등), 또는 드라이브(예컨대, 디스크 드라이브 등)를 통해 컴퓨팅 장치(140)에 착탈식으로 연결가능한 착탈식 저장장치 중 하나 또는 모두를 포함할 수 있다. 저장 장치(144)는 광학적으로 판독가능한 저장 매체(예컨대, 광학 디스크 등), 자기적으로 판독가능한 저장 매체(예컨대, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전기적 전하 기반 저장 매체(예컨대, EEPROM, RAM 등), 솔리드-스테이트(solid-state) 저장 매체(예컨대, 플래시 드라이브 등), 및/또는 다른 전자적으로 판독가능한 비-일시적 저장 매체 중 하나 이상을 포함할 수 있다. 저장 장치(144)는 하나 이상의 가상 저장 리소스(예컨대, 클라우드 저장장치, 가상 전용 네트워크, 및/또는 다른 가상 저장 리소스)를 포함할 수 있다. 저장 장치(144)는 소프트웨어 알고리즘, 프로세서(들)(142)에 의해 결정된 정보, 컴퓨팅 장치(140)로부터 수신된 정보, 및/또는 컴퓨팅 장치(140)가 본 명세서에서 설명된 바와 같은 기능을 할 수 있게 하는 다른 정보를 저장할 수 있다.
프로세서(들)(142)는 컴퓨팅 장치(140) 내에 정보 프로세싱 기능을 제공하도록 구성된다. 이와 같이, 프로세서(들)(142)는 디지털 프로세서, 아날로그 프로세서, 정보를 프로세싱하도록 설계된 디지털 회로, 정보를 프로세싱하도록 설계된 아날로그 회로, 상태 머신(state machine), 및/또는 정보를 전자적으로 프로세싱 하기 위한 다른 메커니즘 중 하나 이상을 포함할 수 있다. 프로세서(들)(142)가 단일 독립체로서 도 1에 도시되어 있지만, 이는 오직 설명 목적만을 위한 것이다. 소정 구현예들에서, 프로세서(들)(142)는 복수의 프로세싱 유닛을 포함할 수 있다. 이러한 프로세싱 유닛은 물리적으로 동일한 장치 내에 위치될 수 있거나, 프로세서(들)(142)는 조정에서 동작하는 복수의 장치의 프로세싱 기능을 나타낼 수 있다. 프로세서(들)(142)는 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어 및/또는 펌웨어의 소정 조합; 및/또는 프로세서(들)(142) 상에 프로세싱 기능을 구성하기 위한 다른 메커니즘에 의해 모듈을 실행하도록 구성될 수 있다.
본 명세서에 기재된 다양한 모듈은 단지 예시일 뿐이다. 모듈의 다른 구성 및 개수가 사용될 수 있고, 또한 하나 이상의 물리적인 프로세서가 본 명세서에 설명된 기능을 수행하도록 프로그래밍 되는 한 비-모듈 접근방식도 사용할 수 있다. 다양한 모듈이 단일 프로세싱 유닛 내에 공동 위치한 것으로서 도 1에 도시되어 있지만, 프로세서(들)(142)가 다수의 프로세싱 유닛을 포함하는 구현예들에서, 하나 이상의 모듈은 다른 모듈로부터 원격 위치될 수 있다는 점이 이해되어야 한다. 본 명세서에 설명된 다양한 모듈들에 의해 제공되는 기능의 설명은 예시적인 목적이며, 제한적인 것으로 의도되지 않으므로, 어떠한 모듈도 설명된 것보다 더 많거나 더 적은 기능을 제공할 수 있다. 예컨대, 모듈 중 하나 이상이 제거될 수 있고, 그 기능의 일부 또는 전부가 모듈 중 다른 것에 의해 제공될 수 있다. 다른 예로서, 프로세서(들)(142)는 모듈 중 하나에 대해 본 명세서에 설명된 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가적인 모듈을 실행하도록 구성될 수 있다.
도 1에 도시된 구성요소는 네트워크와 같은 다양한 통신 링크를 통해 서로 통신가능하게 연결될 수 있다. 네트워크는 유선 또는 무선 연결을 포함할 수 있다. 본 발명의 소정 양태에서, 네트워크는, 예컨대, 인터넷, 인트라넷, PAN(개인 영역 네트워크), LAN(로컬 영역 네트워크), WAN(광역 네트워크), SAN(스토리지 영역 네트워크), MAN(도시권 네트워크), 무선 네트워크, 셀룰러 통신 네트워크, 공공 전화 네트워크, 및/또는 다른 네트워크 중 임의의 하나 이상을 포함할 수 있다.
다양한 입력, 출력, 구성 및/또는 저장된 또는 저장가능한 것으로 본 명세서에 설명된 다른 정보는 하나 이상의 데이터베이스(도 1에 도시되지 않음)에 저장될 수 있다. 그러한 데이터베이스는 예컨대, 오라클 사에 의해 상업적으로 판매되는 오라클™(Oracle™) 관계형 데이터베이스를 포함할 수 있거나, 이에 인터페이스 접속할 수 있다. 인포믹스™(Informix™), DB2(데이터베이스 2) 또는 OLAP(온라인 분석 프로세싱), SQL(표준 쿼리 언어), SAN(스토리지 영역 네트워크), 마이크로소프트 액세스™(Microsoft Access™) 등과 같은 파일 기반, 또는 쿼리 형식, 플랫폼, 또는 리소스를 포함하는 다른 데이터 저장장치가 또한 사용, 통합, 또는 액세스 될 수 있다. 데이터베이스는 하나 이상의 물리적 장치 및 하나 이상의 물리적 위치 내에 상주하는 하나 이상의 그러한 데이터베이스를 포함할 수 있다. 데이터베이스는 복수의 유형의 데이터 및/또는 파일 및 연관된 데이터 또는 파일 설명, 관리 정보, 또는 임의의 다른 데이터를 저장할 수 있다.
도 3은 본 발명의 양태에 따른, 미디어 콘텐츠(122)에 기초하여 햅틱 피드백을 자동으로 결정하기 위해 컴퓨팅 장치(140)에 의해 사용되는 여러 프로필(300)(도 3에는 프로필(300A, 300B, 300N)로서 도시됨)의 개략도를 도시한다. 각 프로필(300)은 개발자(도 1에 도시된 컴퓨팅 장치(140)에 의해 사용되는 모듈을 개발한 자) 및/또는 햅틱 피드백을 수신하는 사용자에 의해서와 같이, 구성가능할 수 있다. 프로필(300)은 햅틱 피드백(예컨대, 음악 내 베이스의 특정 레벨이 햅틱 피드백의 특정 진폭과 연관되어야 하는 반면 영화 내 베이스의 특정 레벨은 햅틱 피드백의 다른 진폭과 연관되어야 한다)을 자동으로 결정하는 데 사용되는 파라미터, 햅틱 피드백을 자동으로 결정할 때 사용하기 위한 특정 알고리즘 또는 프로세싱, 및/또는 햅틱 피드백의 자동 결정에 영향을 미칠 수 있는 다른 설정을 특정하는 정보를 포함할 수 있다.
소정 구현예들에서, 프로필(300)은 여러 상황에 관한 것일 수 있다. 예컨대, 도시된 바와 같이, 영화 사용자 프로필(300A)은 (예컨대, 영화가 재생될 때) 영화 콘텐츠에 대한 햅틱 피드백을 자동으로 결정하는 데 사용되는 정보를 포함할 수 있고, 음악 사용자 프로필(300B)은 (예컨대, 음악이 재생될 때) 음악 콘텐츠에 대한 햅틱 피드백을 자동으로 결정하는 데 사용되는 정보를 포함할 수 있고, 게임 사용자 프로필(300N)은 (예컨대, 비디오 게임이 재생될 때) 게임 콘텐츠에 대한 햅틱 피드백을 자동으로 결정하는 데 사용되는 정보를 포함할 수 있다.
소정 구현예들에서, 각 프로필(300)은 여러 유형의 햅틱 출력 장치에 대한 설정을 포함할 수 있다. 다시 말해, 프로필(300)은 햅틱 피드백을 출력하는 데 사용되는 햅틱 출력 장치의 유형에 기초하여 햅틱 피드백을 자동 결정하는 것을 조정하는 데 사용될 수 있다. 예컨대, 각 프로필(300)은 압전(310A) 유형의 햅틱 출력 장치에 대한 설정(312), ERM(320) 유형의 햅틱 출력 장치에 대한 설정(314), LRA(330) 유형의 햅틱 출력 장치에 대한 설정(316), 및/또는 다른 유형의 햅틱 출력 장치에 대한 다른 설정을 포함할 수 있다. 각 설정은 본 명세서에서 설명된 바와 같이 햅틱 피드백을 자동으로 결정하는 데 사용되는 파라미터, 알고리즘 등에 관한 것일 수 있다.
다른 프로필(도시되지 않음)은 사용자가 운동, 운전, 및/또는 본 명세서에 설명된 외부 파라미터로부터 추론될 수 있는 다른 활동을 수행하고 있을 때와 같은 다른 상황에서 햅틱 피드백을 자동으로 결정하는 데 사용되는 정보를 포함할 수 있다. 이와 같이, 프로필(300)은 도 3에 도시된 것에 제한되지 않는다. 컴퓨팅 장치(140)(도 1에 도시된)는 각 프로필(300)을 사용하여, 재생될 미디어 콘텐츠의 유형, 미디어 콘텐츠가 재생되는 동안의 사용자 활동, 햅틱 피드백을 출력하는 데 사용되는 햅틱 출력 장치의 유형, 및/또는 다른 상황과 같은 미디어 콘텐츠가 재생되는 상황에 기초하여 어떻게 햅틱 피드백을 자동으로 결정할지를 커스텀화 할 수 있다.
소정 구현예들에서, 프로필(300)은 컴퓨팅 장치(140)에 액세스 가능하거나 포함되는 저장 장치 내에 저장될 수 있고, 이는 제공될 햅틱 피드백을 자동으로 결정한다. 소정 구현예들에서, 프로필(300)은 하드-코딩될 수 있거나 컴퓨팅 장치(140)를 프로그래밍하는 모듈로서 포함될 수 있다. 이러한 구현예들 중 일부에서, 프로필(300)은 햅틱 피드백을 수신하는 사용자에 의해 구성가능할 수도 있고 그렇지 않을 수도 있다.
도 4는 본 발명의 양태에 따른, 미디어 콘텐츠 및 외부 파라미터에 기초하여 햅틱 피드백을 자동으로 결정하기 위한 프로세스(400)의 예를 도시한다. 도 4 및 다른 도면의 흐름도에 도시된 다양한 프로세싱 동작이 본 명세서에서 더 상세하게 설명된다. 설명되는 동작은 위에서 상세히 설명된 시스템 구성요소의 일부 또는 전부를 사용하여 달성될 수 있다. 본 발명의 양태에 따르면, 다양한 동작은 상이한 순서로 수행될 수 있다. 다른 구현예들에서, 추가적인 동작이 도 4 및 다른 도면에 도시된 동작의 일부 또는 전부와 함께 수행될 수 있고, 일부 동작은 생략될 수 있다. 또 다른 구현예들에서, 하나 이상의 동작이 동시에 수행될 수 있다. 따라서, 도시된(그리고 아래에 더 상세히 설명된) 바와 같은 동작은 자연히 예시적인 것이고, 이와 같이, 제한하는 것으로서 간주되어서는 안된다.
동작(402)에서, 미디어 콘텐츠가 수신될 수 있다. 미디어 콘텐츠는, 스트림(예컨대, 인터넷과 같은 네트워크를 통해 전달되는 콘텐츠)을 통해, 다운로드를 통해, 프로세스(400)가 액세스하는 로컬 저장장치(스트림 또는 다운로드를 저장함)를 통해, 및/또는 미디어 콘텐츠가 수신되거나 획득될 수 있는 다른 방법으로 수신될 수 있다. 미디어 콘텐츠가 어떻게 수신되는지에 관계없이, 미디어 콘텐츠는 프로세싱되어 미디어 콘텐츠의 하나 이상의 특성을 결정할 수 있다. 이러한 특성은 제공되어야 하는 햅틱 피드백을 결정하기 위한 팩터로서 사용될 수 있다.
동작(404)에서, 외부 파라미터는 미디어 콘텐츠와 유사한 방식으로 수신될 수 있다. 추가적으로 또는 다르게는, 외부 파라미터는, 바이오메트릭 센서, 포지션/방향/위치 센서, 및/또는 다른 유형의 센서를 포함할 수 있는 센서와 같은 연결된 장치로부터 수신될 수 있다. 외부 파라미터가 어떻게 수신되는지에 관계없이, 외부 파라미터는 제공되어야 하는 햅틱 피드백을 변경하거나 자동으로 결정하는 데 사용될 수 있다.
동작(406)에서, 제어 신호는 미디어 콘텐츠 및 외부 파라미터에 기초하여 발생될 수 있다. 제어 신호는 하나 이상의 햅틱 출력 장치로 하여금 햅틱 피드백을 출력하게 하도록 구성될 수 있다. 이러한 방식으로, 프로세스(400)는 제공되어야 하는 햅틱 피드백을 자동으로 결정하는 데 사용될 수 있고 제어 신호로 그러한 햅틱 피드백을 인코딩할 수 있는데, 제어 신호는 햅틱 출력 장치에 인가되는 구동 신호 및/또는 햅틱 출력 장치로 하여금 햅틱 피드백을 출력하게 하는 데 사용되는 명령어를 포함할 수 있다.
소정 구현예들에서, 미디어 특성은 제공될 햅틱 피드백을 자동으로 결정하는 데 사용될 수 있고 그런 다음 외부 파라미터는 제공될 햅틱 피드백을 스케일링하거나 수정하는 데 사용될 수 있다. 소정 구현예들에서, 햅틱 피드백 및 외부 파라미터가 함께 햅틱 피드백을 자동으로 결정하는 데 사용될 수 있다. 소정 구현예들에서, 미디어 특성 및/또는 외부 파라미터는 미디어 특성 및/또는 외부 파라미터가 제공될 햅틱 피드백에 영향을 미치는 정도를 나타내기 위해 각각 가중될 수 있다. 이러한 가중치는 프로필의 일부로서 저장될 수 있거나 외부 파라미터와 연관될 수 있다.
동작(408)에서, 제어 신호는 하나 이상의 햅틱 출력 장치로 제공될 수 있다. 소정 구현예들에서,제어 신호는 유선 또는 무선 연결을 통해 원격 장치로 제공될 수 있다. 다른 구현예들에서, 제어 신호는 내부 버스(bus)와 같은 내부 연결을 통해 제공될 수 있다.
도 5는 본 발명의 양태에 따른, 외부 파라미터에 기초하여 자동으로 결정된 햅틱 피드백을 스케일링하기 위한 프로세스(406A)의 예를 도시한다. 동작(502)에서, 제공될 햅틱 피드백은 미디어 콘텐츠에 기초하여 자동으로 결정될 수 있다. 그러한 햅틱 피드백은, 전체로서 본 명세서에 참조되는, 공유된, 미국 특허 출원 공개 번호 제2012/0206246호로 2012년 8월 16일에 반포된 미국 특허 출원 번호 제13/365,984호, 및 미국 특허 출원 공개 번호 제2012/0206247호로 2012년 8월 16일에 반포된 미국 특허 출원 번호 제13/366,010호에 설명된 바와 같은 시스템 및 방법을 사용하여 자동으로 결정될 수 있다.
동작(504)에서, 외부 파라미터가 사용가능한지 여부를 결정하는 것이 이루어질 수 있다. 외부 파라미터가 사용가능하지 않은 경우(예컨대, 입력되거나 발견되지 않은), 햅틱 피드백을 일으키는 제어 신호가 동작(506)에서 발생될 수 있다. 반면에, 외부 파라미터가 사용가능할 경우, 다음 외부의 파라미터가 동작(508)에서 프로세싱 될 수 있다.
동작(510)에서, 다음 외부 파라미터가 가중되어 있는지 여부를 결정하는 것이 이루어질 수 있다. 다음 외부 파라미터가 가중되지 않은 경우, 햅틱 피드백은 동작(512)에서 다음 외부 파라미터에 기초하여 스케일링 될 수 있다. 예컨대, 다음 외부 파라미터는 햅틱 피드백의 특성을 증가 또는 감소시키는 설정을 특정할 수 있고/있거나 햅틱 피드백을 변경하기 위한 알고리즘 또는 프로세싱 명령어를 포함할 수 있다.
다음 외부 파라미터가 가중되는 경우, 가중된 외부 파라미터는 동작(514)에서 햅틱 피드백을 스케일링하는 데 사용될 수 있다. 예컨대, 가중된 외부 파라미터는 햅틱 피드백 스케일링 되어야 하는 스케일링의 비율을 나타낼 수 있다. 이러한 방식으로, 햅틱 피드백을 스케일링할 때 다른 외부 파라미터들과 비교되는 각 외부 파라미터의 상대적 중요성이 고려될 수 있다.
동작(516)에서, 더 많은 외부 파라미터가 사용가능한지 여부를 결정하는 것이 이루어질 수 있다. 더 많은 외부 파라미터가 사용가능한 경우, 프로세스(406A)는 동작(508)으로 반환되고, 여기서 다음 외부 파라미터가 프로세싱된다. 더 이상 외부 파라미터가 사용가능하지 않은 경우, 제어 신호가 동작(518)에서 스케일링된 햅틱 피드백에 대해 발생될 수 있다. 제어 신호는 제공될 햅틱 피드백의 특성을 특정할 수 있는 기존의 신호 프로세싱 기술에 기초하여 발생될 수 있다. 그러한 특성은 본 명세서에 설명된 바와 같은 미디어 콘텐츠 및 외부 파라미터에 기초하여 자동으로 결정되었을 수 있다.
도 6은 본 발명의 양태에 따른, 미디어 콘텐츠 및 외부 파라미터에 기초하여 햅틱 피드백을 자동으로 결정하기 위한 프로세스(406B)의 예를 도시한다. 동작(602)에서, 외부 파라미터가 사용가능한지를 결정하는 것이 이루어질 수 있다. 외부 파라미터가 사용가능하지 않으면, 햅틱 피드백에 대한 제어 신호가 동작(604)에서 발생될 수 있다. 반면, 외부 파라미터가 사용가능하면, 외부 파라미터가 동작(606)에서 프로세싱될 수 있다.
동작(608)에서, 다음 외부 파라미터가 가중되어야 하는지 여부를 결정하는 것이 이루어질 수 있다. 다음 외부 파라미터가 가중되었는지 여부에 따라, 비-가중된 또는 가중된 다음 외부 파라미터는 동작(610 또는 612)에서 메모리 내에 버퍼링 될 수 있다. 동작(614)에서, 프로세싱할 더 많은 외부 파라미터가 있는지 여부를 결정하는 것이 이루어질 수 있다. 더 많은 외부 파라미터가 사용가능하면, 프로세스(406B)는 동작(606)으로 반환할 수 있고, 여기서 다음 외부 파라미터가 프로세싱될 수 있다.
더 이상 외부 파라미터가 사용가능하지 않은 경우, 햅틱 피드백이 동작(616)에서 미디어 콘텐츠 및 버퍼링된 외부 파라미터에 기초하여 결정될 수 있다. 예컨대, 미디어 콘텐츠에 기초하여 햅틱 피드백을 자동으로 결정하는 것에 대해 본 명세서에 설명된 시스템 및 방법은 버퍼링된 외부 파라미터를 고려하도록 수정될 수 있다. 특히, 제공될 햅틱 피드백의 특성을 결정할 때, 그러한 시스템 및 방법은 햅틱 피드백의 특성을 변경(예컨대, 상향 또는 하향 스케일링)하도록 수정될 수 있다. 동작(618)에서, 결정된 햅틱 피드백에 대한 제어 신호가 발생될 수 있다.
본 발명의 다른 양태, 용도 및 이점은 본 명세서에 개시된 발명의 상세한 설명 및 실제를 고려하면 본 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 명세서는 단지 예시적인 것으로만 간주되어야 하고, 따라서 본 발명의 범위는 다음 청구범위에 의해서만 제한되도록 의도된다.

Claims (19)

  1. 컴퓨팅 장치에 의해 햅틱 피드백을 제공하는 방법으로서,
    상기 컴퓨팅 장치에 의해 미디어 콘텐츠를 수신하는 단계;
    상기 컴퓨팅 장치에서 실행되는 어플리케이션을 결정하는 단계;
    상기 컴퓨팅 장치에서 실행되는 어플리케이션과 연관된 커스텀화 정보(customization information)를 사용하여 상기 미디어 콘텐츠에 기초하여 생성된 햅틱 피드백 신호를 커스텀화하는 단계; 및
    상기 커스텀화된 햅틱 피드백 신호를 햅틱 출력 장치에 적용하여 상기 햅틱 피드백을 제공하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 컴퓨팅 장치와 연관된 센서로부터 외부 파라미터를 수신하는 단계를 더 포함하고,
    상기 햅틱 피드백 신호를 커스텀화하는 단계는, 상기 외부 파라미터에 더 기초하여 수행되는, 방법.
  3. 제1항에 있어서,
    상기 컴퓨팅 장치와 연관된 센서로부터 외부 파라미터를 수신하는 단계; 및
    상기 외부 파라미터에 따라 상기 햅틱 피드백 신호의 수정을 트리거(trigger)하는 단계
    를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 커스텀화 정보는 다른 유형의 미디어 콘텐츠를 위한 햅틱 피드백 커스텀화에 대한 사용자 선호도를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 컴퓨팅 장치에서 실행되는 어플리케이션에 따라 상기 미디어 콘텐츠의 유형을 결정하는 단계; 및
    상기 미디어 콘텐츠의 유형에 따라 상기 커스텀화 정보를 선택하는 단계
    를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 커스텀화 정보는, 상기 햅틱 피드백 신호를 생성하기 위해 사용될 적어도 알고리즘 및 파라미터들을 포함하는 프로필을 특정하는, 방법.
  7. 제1항에 있어서,
    상기 컴퓨팅 장치에서 실행되는 어플리케이션을 결정하는 단계는, 상기 컴퓨팅 장치의 전경(foreground)에서 실행되는 어플리케이션을 결정하는 단계를 포함하는, 방법.
  8. 햅틱 가능(haptically enabled) 컴퓨팅 장치로서,
    프로세서;
    상기 프로세서와 연결되고 햅틱 피드백을 생성하도록 구성된 햅틱 출력 장치; 및
    상기 프로세서와 연결되고 명령어들을 저장하는 저장 장치를 포함하고,
    상기 프로세서는 상기 명령어들을 실행할 때,
    미디어 콘텐츠를 수신하고,
    상기 컴퓨팅 장치에서 실행되는 어플리케이션을 결정하고,
    상기 컴퓨팅 장치에서 실행되는 어플리케이션과 연관된 커스텀화 정보를 사용하여 상기 미디어 콘텐츠에 기초하여 생성된 햅틱 피드백 신호를 커스텀화하고,
    상기 커스텀화된 햅틱 피드백 신호를 상기 햅틱 출력 장치에 적용하여 상기 햅틱 피드백을 생성하도록 구성되는, 햅틱 가능 컴퓨팅 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    센서로부터 외부 파라미터를 수신하고,
    상기 외부 파라미터에 더 기초하여 상기 커스텀화된 햅틱 피드백 신호를 생성하도록
    명령어들을 실행하도록 더 구성되는, 햅틱 가능 컴퓨팅 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    센서로부터 외부 파라미터를 수신하고,
    상기 외부 파라미터에 따라 상기 햅틱 피드백 신호의 수정을 트리거하도록
    명령어들을 실행하도록 더 구성되는, 햅틱 가능 컴퓨팅 장치.
  11. 제8항에 있어서,
    상기 커스텀화 정보는 다른 유형의 미디어 콘텐츠를 위한 햅틱 피드백 커스텀화에 대한 사용자 선호도를 포함하는, 햅틱 가능 컴퓨팅 장치.
  12. 제8항에 있어서,
    상기 프로세서는,
    상기 컴퓨팅 장치에서 실행되는 어플리케이션에 따라 상기 미디어 콘텐츠의 유형을 결정하고,
    상기 미디어 콘텐츠의 유형에 따라 상기 커스텀화 정보를 선택하도록
    명령어들을 실행하도록 더 구성되는, 햅틱 가능 컴퓨팅 장치.
  13. 제8항에 있어서,
    상기 커스텀화 정보는, 상기 햅틱 피드백 신호를 생성하기 위해 사용될 적어도 알고리즘 및 파라미터들을 포함하는 프로필을 특정하는, 햅틱 가능 컴퓨팅 장치.
  14. 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 컴퓨팅 장치에 의해 햅틱 피드백을 제공하는 방법을 수행하도록 하고, 상기 방법은,
    상기 컴퓨팅 장치에 의해 미디어 콘텐츠를 수신하는 단계;
    상기 컴퓨팅 장치에서 실행되는 어플리케이션을 결정하는 단계;
    상기 컴퓨팅 장치에서 실행되는 어플리케이션과 연관된 커스텀화 정보를 사용하여 상기 미디어 콘텐츠 및 상기 커스텀화 정보에 기초하여 생성된 햅틱 피드백 신호를 커스텀화하는 단계; 및
    상기 커스텀화된 햅틱 피드백 신호를 햅틱 출력 장치에 적용하여 상기 햅틱 피드백을 제공하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  15. 제14항에 있어서,
    상기 방법은, 상기 컴퓨팅 장치와 연관된 센서로부터 외부 파라미터를 수신하는 단계를 더 포함하고,
    상기 햅틱 피드백 신호를 커스텀화하는 단계는, 상기 외부 파라미터에 더 기초하여 수행되는, 비일시적 컴퓨터 판독가능 매체.
  16. 제14항에 있어서,
    상기 방법은,
    상기 컴퓨팅 장치와 연관된 센서로부터 외부 파라미터를 수신하는 단계; 및
    상기 외부 파라미터에 따라 상기 햅틱 피드백 신호의 수정을 트리거(trigger)하는 단계
    를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 제14항에 있어서,
    상기 커스텀화 정보는 다른 유형의 미디어 콘텐츠를 위한 햅틱 피드백 커스텀화에 대한 사용자 선호도를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  18. 제14항에 있어서,
    상기 방법은,
    상기 컴퓨팅 장치에서 실행되는 어플리케이션에 따라 상기 미디어 콘텐츠의 유형을 결정하는 단계; 및
    상기 미디어 콘텐츠의 유형에 따라 상기 커스텀화 정보를 선택하는 단계
    를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  19. 제14항에 있어서,
    상기 커스텀화 정보는, 상기 햅틱 피드백 신호를 생성하기 위해 사용될 적어도 알고리즘 및 파라미터들을 포함하는 프로필을 특정하는, 비일시적 컴퓨터 판독가능 매체.
KR1020200044666A 2013-05-24 2020-04-13 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치 KR102251047B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361827341P 2013-05-24 2013-05-24
US61/827,341 2013-05-24
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US14/181,144 US9274603B2 (en) 2013-05-24 2014-02-14 Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US14/181,144 2014-02-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20140062841A Division KR20140138086A (ko) 2013-05-24 2014-05-26 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200040741A KR20200040741A (ko) 2020-04-20
KR102251047B1 true KR102251047B1 (ko) 2021-05-13

Family

ID=50943051

Family Applications (2)

Application Number Title Priority Date Filing Date
KR20140062841A KR20140138086A (ko) 2013-05-24 2014-05-26 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치
KR1020200044666A KR102251047B1 (ko) 2013-05-24 2020-04-13 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR20140062841A KR20140138086A (ko) 2013-05-24 2014-05-26 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치

Country Status (5)

Country Link
US (4) US9274603B2 (ko)
EP (2) EP2806352A1 (ko)
JP (2) JP2014229315A (ko)
KR (2) KR20140138086A (ko)
CN (2) CN104182036B (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
JP6851197B2 (ja) 2013-05-30 2021-03-31 ティーケー ホールディングス インク．Ｔｋ Ｈｏｌｄｉｎｇｓ Ｉｎｃ． 多次元トラックパッド
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
CN105579928A (zh) 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
WO2015047364A1 (en) 2013-09-29 2015-04-02 Pearl Capital Developments Llc Devices and methods for creating haptic effects
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
CN110058697B (zh) 2013-10-08 2023-02-28 Tk控股公司 具有集成的多感觉反馈的基于力的触摸界面
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
WO2015088491A1 (en) 2013-12-10 2015-06-18 Bodhi Technology Ventures Llc Band attachment mechanism with haptic response
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
KR102019505B1 (ko) 2014-09-02 2019-09-06 애플 인크. 햅틱 통지
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US10466826B2 (en) 2014-10-08 2019-11-05 Joyson Safety Systems Acquisition Llc Systems and methods for illuminating a track pad system
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US10166466B2 (en) * 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
KR101784472B1 (ko) * 2015-01-13 2017-10-11 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 기기
WO2016114487A1 (ko) 2015-01-13 2016-07-21 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 기기
US10353467B2 (en) * 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
JP6367742B2 (ja) * 2015-03-17 2018-08-01 日本電信電話株式会社 情報伝達システム
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
US9659468B2 (en) * 2015-09-16 2017-05-23 Immersion Corporation Haptic feedback in a haptically noisy environment
US9842476B2 (en) * 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
US20170153702A1 (en) * 2015-11-27 2017-06-01 International Business Machines Corporation Providing haptic feedback using context analysis and analytics
FR3044434B1 (fr) * 2015-12-01 2018-06-15 Dassault Aviation Systeme d'interface entre un utilisateur d'affiche dans le cockpit d'un aeronef, aeronef et procede associe
US9990815B2 (en) 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US9818272B2 (en) 2016-04-04 2017-11-14 Apple Inc. Electronic device including sound level based driving of haptic actuator and related methods
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
EP3267288A1 (en) * 2016-07-08 2018-01-10 Thomson Licensing Method, apparatus and system for rendering haptic effects
US11676461B2 (en) * 2016-08-29 2023-06-13 Sony Corporation Information processing device, information processing method, and program for controlling haptics based on context information
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10469971B2 (en) 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
DE102016124275A1 (de) * 2016-12-13 2018-06-14 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zur Ansteuerung einer motorischen Verschlusselementanordnung eines Kraftfahrzeugs
CN107015639B (zh) * 2017-01-24 2020-02-04 瑞声科技(新加坡)有限公司 触觉反馈的动态范围控制方法、触觉反馈系统及电子终端
JP2018185704A (ja) * 2017-04-27 2018-11-22 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび生体電気刺激方法
US10371544B2 (en) 2017-05-04 2019-08-06 Wearworks Vibrating haptic device for the blind
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR101901364B1 (ko) 2017-09-18 2018-11-22 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
KR102093910B1 (ko) * 2018-09-17 2020-03-26 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법
KR102311660B1 (ko) * 2018-09-17 2021-10-13 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
GB2578454A (en) * 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
CN111491227B (zh) * 2019-01-28 2022-03-22 Oppo广东移动通信有限公司 耳机控制方法、装置、电子设备和存储介质
US10921892B2 (en) * 2019-02-04 2021-02-16 Subpac, Inc. Personalized tactile output
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10992297B2 (en) * 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
CN110585725A (zh) * 2019-09-08 2019-12-20 北京智明星通科技股份有限公司 一种手机游戏用户反馈信息请求方法、装置和服务器
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
JP7401281B2 (ja) 2019-12-11 2023-12-19 セイコーインスツル株式会社 情報伝達装置及びプログラム
US11422629B2 (en) 2019-12-30 2022-08-23 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption
US11402913B1 (en) * 2020-01-06 2022-08-02 Rockwell Collins, Inc. System and method for aircraft display device feedback
CN113453048A (zh) * 2020-03-25 2021-09-28 上海哔哩哔哩科技有限公司 音视频的触觉反馈设置方法、播放方法及计算机设备
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11929169B2 (en) 2022-02-09 2024-03-12 Kyndryl, Inc. Personalized sensory feedback
CN115291726B (zh) * 2022-08-09 2023-11-07 中国电信股份有限公司 触觉仿真方法及装置、系统、存储介质和电子设备
CN115758107B (zh) * 2022-10-28 2023-11-14 中国电信股份有限公司 触觉信号传输方法及装置、存储介质及电子设备
CN117351618A (zh) * 2023-08-31 2024-01-05 苏州索迩电子技术有限公司 一种带触觉反馈的装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
JP2010278997A (ja) * 2009-06-01 2010-12-09 Sharp Corp 画像処理装置、画像処理方法及びプログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
JP2002135366A (ja) * 2000-10-18 2002-05-10 Korg Inc バイブレータ制御装置
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
JP4052556B2 (ja) * 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
JP2005066133A (ja) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
JP4210936B2 (ja) 2004-07-08 2009-01-21 ソニー株式会社 情報処理装置及びこれに用いるプログラム
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US8621348B2 (en) 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
WO2010007987A1 (ja) * 2008-07-15 2010-01-21 シャープ株式会社 データ送信装置、データ受信装置、データ送信方法、データ受信方法および視聴環境制御方法
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
WO2010042884A2 (en) * 2008-10-10 2010-04-15 Internet Services, Llc Haptic otuput device for use with haptic encoded media
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
KR101670109B1 (ko) * 2009-03-12 2016-10-27 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8654524B2 (en) * 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
JP2011259354A (ja) * 2010-06-11 2011-12-22 Sharp Corp 視聴環境制御システム、送信装置、受信装置
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US9285840B2 (en) * 2010-08-19 2016-03-15 Michael S. Stamer Detachable sensory-interface device for a wireless personal communication device and method
DE102011017250B4 (de) * 2011-01-07 2022-12-01 Maxim Integrated Products, Inc. Berührungs-Feedbacksystem, haptisches Feedbacksystem und Verfahren zum Bereitstellen eines haptischen Feedbacks
TWI530818B (zh) * 2011-01-20 2016-04-21 宏達國際電子股份有限公司 具有觸覺回饋之電子裝置及提供觸覺回饋之方法
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
JP2010278997A (ja) * 2009-06-01 2010-12-09 Sharp Corp 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20140347176A1 (en) 2014-11-27
US20200142487A1 (en) 2020-05-07
CN104182036A (zh) 2014-12-03
JP2014229315A (ja) 2014-12-08
US10429934B2 (en) 2019-10-01
CN104182036B (zh) 2019-09-13
US10928910B2 (en) 2021-02-23
JP2019096349A (ja) 2019-06-20
KR20140138086A (ko) 2014-12-03
US20160179203A1 (en) 2016-06-23
US9274603B2 (en) 2016-03-01
CN110502113A (zh) 2019-11-26
KR20200040741A (ko) 2020-04-20
US20180373337A1 (en) 2018-12-27
EP3514678A1 (en) 2019-07-24
US10078368B2 (en) 2018-09-18
EP2806352A1 (en) 2014-11-26

Similar Documents

Publication Publication Date Title
KR102251047B1 (ko) 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US10083578B2 (en) Crowd-based haptics
EP2846221B1 (en) Method, system and computer program product for transforming haptic signals
US10228764B2 (en) Automatic haptic effect adjustment system
EP3575932A1 (en) Systems and methods for visual processing of spectrograms to generate haptic effects
KR20140113408A (ko) 햅틱 효과의 파라미터 수정을 위한 시스템 및 방법
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9276541B1 (en) Event-based presentation and processing of content
WO2023188804A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11809630B1 (en) Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
US20230372190A1 (en) Adaptive speech and biofeedback control of sexual stimulation devices
US20220331196A1 (en) Biofeedback-based control of sexual stimulation devices

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right