KR102215355B1 - 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백 - Google Patents

동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백 Download PDF

Info

Publication number
KR102215355B1
KR102215355B1 KR1020200064421A KR20200064421A KR102215355B1 KR 102215355 B1 KR102215355 B1 KR 102215355B1 KR 1020200064421 A KR1020200064421 A KR 1020200064421A KR 20200064421 A KR20200064421 A KR 20200064421A KR 102215355 B1 KR102215355 B1 KR 102215355B1
Authority
KR
South Korea
Prior art keywords
haptic feedback
control signal
media
haptic
channel
Prior art date
Application number
KR1020200064421A
Other languages
English (en)
Other versions
KR20200064046A (ko
Inventor
사트비르 싱 바티아
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20200064046A publication Critical patent/KR20200064046A/ko
Application granted granted Critical
Publication of KR102215355B1 publication Critical patent/KR102215355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시스템은 매체 콘텐츠에 기초한 햅틱 피드백을 제공한다. 시스템은 매체 콘텐츠를 제1 성분 및 제2 성분을 포함하는 성분으로 처리한다. 또한 시스템은 제1 성분과 관련된 제1 우선순위값 및 제2 성분과 관련된 제2 우선순위값을 결정한다. 또한 시스템은 제1 우선순위값을 제2 우선순위값과 비교한다. 또한 시스템은 비교에 기초하여 제1 제어 신호 및 제2 제어 신호를 발생시키며, 제1 제어 신호는 제1 햅틱 피드백이 출력되게 하도록 구성되고 제2 제어 신호는 제1 햅틱 피드백과 동일하거나 상이한 제2 햅틱 피드백이 출력되게 하도록 구성된다.

Description

동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백{SPATIALIZED HAPTIC FEEDBACK BASED ON DYNAMICALLY SCALED VALUES}
관련 출원에 대한 상호 참조:
본 출원은 2013년 9월 6일자로 출원된 미국 가출원 번호 제61/874,678호의 우선권을 주장한다(이 개시는 인용에 의해 본원에 포함된다).
기술분야:
일 실시양태는 일반적으로 장치, 및 보다 구체적으로는 햅틱 효과를 발생시키는 장치에 관한 것이다.
전자 장치 제조업자는 사용자를 위해 풍부한 인터페이스를 만들기 위해 노력하고 있다. 통상의 장치는 시각 및 청각 큐(cues)를 이용하여 사용자에게 피드백을 제공한다. 몇몇 인터페이스 장치에서는, 총칭하여 "햅틱(haptic) 피드백" 또는 "햅틱 효과"로 보다 일반적으로 알려진 운동감각적(kinesthetic) 피드백(예컨대, 능동(active) 및 저항력 피드백), 및/또는 촉각(tactile) 피드백(예컨대, 진동, 감촉, 및 열) 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화하는 큐를 제공할 수 있다. 구체적으로, 사용자에게 특정 이벤트를 알려주거나, 또는 시뮬레이션 또는 가상 환경 내에서 더 큰 감각적 몰입(sensory immersion)을 불러 일으키기 위한 사실적인 피드백을 제공하기 위한 큐를 전자 장치 사용자에게 제공함에 있어서, 진동 효과, 또는 진동촉각(vibrotactile) 햅틱 효과가 유용할 수 있다.
매체 콘텐츠의 매체 성분에 기초한 햅틱 피드백을 동적으로 제공하는 것은 사용자에게 있어 강력한 몰입형의 경험을 제공할 수 있다. 그러나, 몇몇 경우에서는, 상이한 매체 성분들이 상이하긴 하지만, 매체 성분에 기초하여 동적으로 생성된 햅틱 피드백을 구별하기 어렵도록 충분히 유사한 매체 특성을 가질 수 있다. 예를 들면, 스테레오 오디오 실시에서, 우 및 좌 오디오 채널에 대한 오디오가 충분히 유사한 경우, "우" 오디오 채널에 대응하고 "우" 햅틱 피드백 출력 장치를 통해서 제공되는 햅틱 피드백은, "좌" 오디오 채널에 대응하고 "좌" 햅틱 피드백 출력 장치를 통해서 제공되는 햅틱 피드백과 구별불가능할 수 있다. 상기 예에서, 사용자는 우 및 좌 채널에 대응하는 햅틱 피드백들 간의 차이를 인지하지 못할 수 있다.
일 실시양태는 매체 콘텐츠에 기초하여 햅틱 피드백을 제공하는 시스템이다. 시스템은 매체 콘텐츠를 제1 성분 및 제2 성분을 포함하는 성분으로 처리한다. 또한 시스템은 제1 성분과 관련된 제1 우선순위값(priority value) 및 제2 성분과 관련된 제2 우선순위값을 결정한다. 또한 시스템은 제1 우선순위값을 제2 우선순위값과 비교한다. 또한 시스템은 비교에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성하며, 제1 제어 신호는 제1 햅틱 피드백이 출력되게 하도록 구성되고 제2 제어 신호는 제1 햅틱 피드백과 동일하거나 상이한 제2 햅틱 피드백이 출력되게 하도록 구성된다.
추가의 실시양태, 세부사항, 장점 및 변경은, 첨부한 도면과 함께 제시된 바람직한 실시양태의 하기 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 실시양태에 따른, 매체 콘텐츠의 매체 성분의 동적으로 스케일링된 우선순위값에 기초하여 햅틱 피드백을 제공하기 위한 시스템을 도시한다.
도 2는 본 발명의 실시양태에 따른, 매체 콘텐츠의 매체 성분의 동적으로 스케일링된 우선순위값에 기초하여 햅틱 피드백을 제공하기 위한 시스템의 구성요소들 간의 데이터 흐름을 도시하는 흐름도이다.
도 3a는 본 발명의 실시양태에 따른, 통합된 햅틱 및 오디오 출력 장치를 갖는, 오디오 채널들을 우선순위화(prioritizing)하기 위한 컴퓨팅 장치의 예를 도시한다.
도 3b는 본 발명의 실시양태에 따른, 통합된 햅틱 및 이미지 출력 장치를 갖는, 이미지 성분들을 우선순위화하기 위한 컴퓨팅 장치의 예를 도시한다.
도 4는 본 발명의 실시양태에 따른, 원격 햅틱 및 오디오 출력 장치를 갖는, 오디오 채널들을 우선순위화하기 위한 컴퓨팅 장치의 예를 도시한다.
도 5a는 본 발명의 실시양태에 따른, 우선순위값의 스케일링을 도시하는 그래프의 예이다.
도 5b는 본 발명의 실시양태에 따른, 우선순위값의 스케일링을 도시하는 그래프의 예이다.
도 5c는 본 발명의 실시양태에 따른, 우선순위값의 스케일링을 도시하는 그래프의 예이다.
도 5d는 본 발명의 실시양태에 따른, 우선순위값의 스케일링을 도시하는 그래프의 예이다.
도 6은 본 발명의 실시양태에 따른, 매체 콘텐츠의 매체 성분의 동적으로 스케일링된 우선순위값에 기초하여 햅틱 피드백을 제공하기 위한 프로세스의 예를 도시한다.
도 7은 본 발명의 실시양태에 따른, 우선순위값의 스케일링의 예를 도시한다.
도 8은 본 발명의 실시양태에 따른, 우선순위값의 스케일링의 예를 도시한다.
도 9는 본 발명의 실시양태에 따른, 매체 콘텐츠의 입력 성분에 기초하여 햅틱 피드백을 제공하기 위한 프로세스의 예를 도시한다.
일 실시양태는 매체 성분, 예컨대 오디오 채널, 이미지의 영역, 또는 매체 콘텐츠의 다른 매체 성분의 동적으로 스케일링된 값에 기초하여 공간적으로 변하는 햅틱 피드백을 제공하는 시스템이다. 시스템은 매체 성분을 분석할 수 있고, 분석에 기초하여 햅틱 피드백을 자동으로 생성할 수 있다. 시스템은 스피커, 이미지 디스플레이, 또는 다른 매체 출력 장치를 통하여, 매체 성분의 출력과 조정화를 이루어(in coordination with) 햅틱 출력 장치를 통해 햅틱 피드백을 제공할 수 있다. 따라서, 특정 매체 성분은 시스템에 의해 동적으로 결정될 수 있는 그것의 대응 햅틱 피드백과 함께 출력될 수 있다.
특정 매체 성분에 기초한 특정 햅틱 피드백을, 다른 매체 성분에 기초한 다른 햅틱 피드백보다 강조하기 위하여, 시스템은 매체 성분의 분석에 기초하여 햅틱 피드백의 하나 이상의 부분을 스케일링할 수 있다. 예를 들면, 시스템은 햅틱 피드백이 생성되게 하는 정보를 스케일링할 수 있고, 이는 특정 햅틱 피드백을 보다 뚜렷하게(pronounced)(예를 들면, 증가된 크기, 지속시간 등) 하고/하거나 다른 햅틱 피드백을 덜 뚜렷하게(예를 들면, 감소된 크기, 지속시간 등) 한다. 시스템은 원래의 매체 성분이 이미지, 오디오 및/또는 다른 출력 구성요소에 의해 재생될 때 변경되지 않도록 정보를 스케일링할 수 있다. 즉, 원래의 매체 콘텐츠가 변경되지 않고 재생될 수 있는 한편, 매체 콘텐츠로부터 자동으로 생성된 특정 햅틱 피드백은 다른 햅틱 피드백에 비해 더 또는 덜 뚜렷해진다(그러나, 몇몇 실시에서, 매체 콘텐츠는 햅틱 피드백과는 별도로 및/또는 그와 함께 스케일링될 수 있다). 따라서, 시스템은, 이러한 햅틱 피드백이 서로 유사한 매체 성분에 기초한 경우에도, 사용자에 의해 구별될 수 있는 동적 햅틱 피드백을 촉진한다.
이러한 방식으로, 시스템은 상이한 매체 성분들과 관련하여 제공된 상이한 햅틱 피드백들을 구별하는 능력을 개선할 수 있고, 더 풍부하고 더 몰입적인 매체 경험을 제공할 수 있다. 이러한 개선은 오디오, 이미지(예컨대 비디오 또는 정지 이미지), 비디오 게임, 및/또는 다른 매체 콘텐츠에 적용될 수 있다.
일 실시양태에서, 시스템은 매체 성분들을 우선순위화할 수 있고, 햅틱 출력 장치로 하여금 우선순위화에 기초하여 햅틱 피드백을 제공하게 하는 제어 신호를 생성할 수 있다. 몇몇 실시에서, 예를 들면, 시스템은 매체 콘텐츠를 상이한 매체 성분들로 처리할 수 있고, 햅틱 피드백을 동적으로 결정하기 위해 사용되는 대응 우선순위값을 자동으로 결정하기 위해 각각의 매체 성분을 분석할 수 있다. 분석은 특정 매체 성분의 하나 이상의 매체 성질에 기초할 수 있다. 매체 성분은 예를 들면, 오디오 콘텐츠에 대한 소리 크기(다른 오디오 성질 중에서도 특히), 이미지 콘텐츠에 대한 색(다른 이미지 성질 중에서도 특히), 및/또는 분석을 위해서 정량화될 수 있거나 달리 평가될 수 있는 매체 콘텐츠의 다른 성질을 포함할 수 있다.
시스템은 매체 성분의 각 우선순위값을 적어도 하나의 다른 매체 성분의 우선순위값(또는 집계값, 예컨대 평균)과 비교할 수 있다. 우선순위값들 간의 차이가 문턱값을 초과하면, 우선순위값은 업스케일링 또는 다운스케일링될 수 있다. 따라서, 몇몇 우선순위값은 업스케일링될 수 있고, 다른 것들을 다운스케일링될 수 는 한편, 또 다른 것들은 전혀 스케일링되지 않을 수 있다. 이러한 방식으로, 매체 성분에 대한 우선순위값에 기초하여 생성된 햅틱 피드백은 스케일링 때문에 보다 구별가능할 수 있다. 몇몇 실시에서, 시스템은 문턱 차이에 도달하는지와 상관없이, 스케일링 수준이 우선순위값들 간의 차이에 기초할 수 있도록 우선순위값을 스케일링할 수 있다. "우선순위값의 스케일링" 또는 유사어는 매체 콘텐츠에 기초하여 스케일링된 햅틱 피드백을 생성하는 것을 목적으로 하여, 실제 매체 성분값(예를 들면, 오디오 수준)을 스케일링하는 것 및/또는 실제 매체 성분값에 기초한 신규값을 생성하는 것을 포함할 수 있다.
예를 들면, 좌 채널 및 우 채널을 갖는 오디오 콘텐츠를 포함하는 스테레오 실시양태에서, 제외된 햅틱 효과가 좌 햅틱 출력 장치에서는 재생되지 않고 우 햅틱 출력 장치에서 재생되어야 하는 경우, 시스템은 우 채널과 관련된 오디오 콘텐츠의 부분은 상향 방향으로 스케일링할 수 있고, 좌 채널과 관련된 오디오 콘텐츠의 부분은 하향 방향으로 스케일링할 수 있다. 시스템은 또한 우 채널과 관련된 오디오 콘텐츠의 스케일링된 부분에 기초하여 햅틱 효과를 생성할 수 있고, 그 햅틱 효과가 우 햅틱 출력 장치에서 출력되게 할 수 있다. 마찬가지로, 시스템은 또한 좌 채널과 관련된 오디오 콘텐츠의 스케일링된 부분에 기초하여 햅틱 효과를 생성할 수 있고, 그 햅틱 효과가 좌 햅틱 출력 장치에서 출력되게 할 수 있다. 따라서, 동적 스케일링에 기초하여, 우 햅틱 출력 장치에서 출력되는 햅틱 효과는 보다 "뚜렷"해지거나 "증대"될 수 있는 반면에, 좌 햅틱 출력 장치에서 출력되는 햅틱 효과는 보다 "약화"될 수 있다.
도 1은 본 발명의 실시양태에 따른, 매체 콘텐츠(122)의 매체 성분의 동적으로 스케일링된 값에 기초하여 햅틱 피드백을 제공하기 위한 시스템(100)을 도시한다. 시스템(100)은 매체 소스(120), 컴퓨팅 장치(140), 햅틱 출력 장치(162), 이미지 출력 장치(164), 오디오 출력 장치(166), 및/또는 다른 구성요소를 포함할 수 있다. 상술한 구성요소들의 단일 인스턴스만을 도 1에 도시하였지만, 이러한 구성요소들을 1 개를 초과하여 포함할 수 있다. 매체 콘텐츠(122)는 오디오 콘텐츠, 이미지 콘텐츠(예를 들면, 비디오, 정지 이미지, 비디오 게임의 시각적 표현 등), 및/또는 다른 콘텐츠를 포함할 수 있다. 오디오 콘텐츠의 예는 5.1 다중-채널 오디오, 6.1 다중-채널 오디오, 7.1 다중-채널 오디오, 11.1 다중-채널 오디오 등을 포함할 수 있다. 매체 콘텐츠(122)는 비디오, 오디오, 비디오 게임 표현, 및/또는 재생되거나 다르게 출력될 수 있는 다른 매체로서 구성될 수 있다.
몇몇 실시양태에서, 매체 소스(120)는 온라인 미디어 공급자, 예컨대 온라인 비디오 공급자 또는 게임 서버, 매체 플레이어, 예컨대 디스크 플레이어 또는 비디오 게임 콘솔, 다른 컴퓨팅 장치, 및/또는 매체(122)를 컴퓨팅 장치(140)에 제공할 수 있는 다른 장치를 포함할 수 있다.
몇몇 실시양태에서, 컴퓨팅 장치(140)는 하나 이상의 비일시적 저장 매체(144)에 저장될 수 있는 하나 이상의 컴퓨터 프로그램 모듈로 프로그래밍된 하나 이상의 프로세서(142)를 포함할 수 있다. 컴퓨팅 장치(140)는 매체 콘텐츠(122)의 매체 성분들을 우선순위화하고 우선순위화에 기초해서 햅틱 피드백을 스케일링하기 위하여 하나 이상의 모듈에 의해 프로그래밍될 수 있다. 모듈은 매체 처리 모듈(146), 우선순위화 모듈(148), 스케일링 모듈(150), 햅틱 피드백 모듈(152), 매체 출력 모듈(154), 조정 모듈(156), 및/또는 다른 모듈을 포함할 수 있다. 대안적인 실시양태에서, 컴퓨팅 장치(140)는 매체 콘텐츠(122)의 매체 성분들을 우선순위화하고 우선순위화에 기초하여 햅틱 피드백을 스케일링하기 위해 단일 모듈, 예컨대 햅틱 공간화 모듈(도 1에 도시되지 않음)에 의해 프로그래밍될 수 있다.
몇몇 실시양태에서, 매체 처리 모듈(146)은 매체 소스(120), 컴퓨터 판독가능 매체(132), 비일시적 저장 매체(144)(예를 들어, 매체 콘텐츠(122)가 컴퓨팅 장치(140)에 국부적으로 저장될 때), 및/또는 매체 콘텐츠(122)의 다른 소스로부터 매체 콘텐츠(122)를 얻도록 구성될 수 있다. 예를 들면, 매체 콘텐츠(122)는 스트리밍되거나, 다운로딩되거나, 복사되거나, 국부적으로 저장되거나, 국부적으로 생성되거나(예를 들면, 도 1에는 도시되지 않은 매체 캡처 장치를 통하여), 매체 처리 모듈(146)에 의해 다르게 획득될 수 있다.
매체 콘텐츠(122)가 어떠한 방식으로 얻어지는지와 상관없이, 매체 처리 모듈(146)은 매체 콘텐츠(122)를 하나 이상의 매체 성분, 예컨대 오디오 콘텐츠에 대한 오디오 채널 및 이미지 콘텐츠에 대한 이미지 영역으로 처리하기 위해 메모리에서 매체 콘텐츠(122)를 버퍼링하도록 구성될 수 있다.
예를 들면, 매체 콘텐츠(122)는 스테레오(즉, 이중 채널) 또는 서라운드(즉, 다중-채널) 소리 형식으로 인코딩되는 오디오 콘텐츠를 포함할 수 있다. 이러한 경우, 매체 처리 모듈(146)은 상이한 오디오 채널들을 개별 오디오 출력 장치들, 예컨대 스피커들로 전달하기 위해 사용되는 종래의 스테레오/다중-채널 오디오 디코딩 기술을 사용하여 매체 콘텐츠(122)(예를 들면, 그의 오디오 부분)를 별개의 오디오 채널들로 디코딩할 수 있다.
매체 콘텐츠(122)는 추가적으로 또는 대안적으로 다중 스트림(예를 들면, 별개의 디스플레이 화면들을 위한) 및/또는 이미지의 별개의 영역들로 분할될 수 있는 단일 스트림을 포함하는 이미지 콘텐츠를 포함할 수 있다. 이러한 예에서, 매체 처리 모듈(146)은 종래의 이미지 처리 기술, 예컨대 이미지를 다중 영역으로 나누기 위한 이미지 분할을 사용하여 매체 콘텐츠(122)(예를 들면, 그의 이미지 부분)를 처리할 수 있다. 각 영역은 화소 클러스터에 기초하여 그룹화될 수 있고, 또는 다른 종래의 이미지 처리 기술을 사용하여 그룹화될 수 있다.
몇몇 실시양태에서, 우선순위화 모듈(148)은 개별 매체 성분들을 분석할 수 있고, 분석에 기초하여 각 매체 성분에 대한 우선순위값을 결정할 수 있다. 분석은 실시간으로 수행될 수 있어, 각 매체 성분이 매체 출력 장치에 의해 출력될 때, 그 매체 성분의 우선순위값이 결정될 수 있다. 대안으로서, 분석 결과가 이후의 처리를 위해 저장되도록 분석이 수행될 수 있다.
매체 콘텐츠(122)가 오디오 콘텐츠를 포함하는 실시양태에서, 우선순위화 모듈(148)은 오디오 채널의 오디오 특성을 결정하기 위해 오디오 콘텐츠를 샘플링할 수 있다. 오디오 특성은 오디오의 크기 및/또는 오디오 채널의 다른 특성을 포함할 수 있다.
몇몇 실시양태에서, 우선순위화 모듈(148)은 오디오 콘텐츠를 특정 프레임 레이트로 샘플링할 수 있다. 오디오 콘텐츠의 각 프레임은, 오디오 프레임의 오디오 특성을 결정하기 위해 프레임의 특성을 분석할 수 있도록 처리될 수 있다. 오디오 콘텐츠의 각 샘플링된 부분(예를 들면, 하나 이상의 프레임)에 대하여, 우선순위화 모듈(148)은 특정 프레임 또는 오디오 콘텐츠의 다른 부분에 대한 오디오 특성을 결정할 수 있다. 오디오 콘텐츠의 처리는 2012년 2월 3일자로 출원된 발명의 명칭 "Sound to Haptic Effect Conversion System using Amplitude Value"인 공유 미국 특허 출원 제13/365,984호(그의 전체가 인용에 의해 본원에 포함됨), 및 2012년 2월 3일자로 출원된 발명의 명칭 "Sound to Haptic Effect Conversion System using Waveform"인 미국 특허 출원 제13/366,010호(그의 전체가 인용에 의해 본원에 포함됨)에 개시된 바와 같은 시스템을 사용하여 실시될 수 있다.
몇몇 실시양태에서, 우선순위화 모듈(148)은 오디오 특성에 기초하여 우선순위값을 결정할 수 있다. 예를 들면, 우선순위값은 오디오 특성값과 동일할 수 있거나, 그렇지 않으면 그로부터 유도될 수 있다. 오디오 실시양태에서의 우선순위값들의 차이는, 시스템이 공간적으로 변하는 햅틱 피드백을 제공하기 위한 기반(basis)으로서 사용할 수 있는, 상이한 오디오 채널들에 대한 소리의 상이한 수준, 유형, 지속시간 등을 나타낼 수 있다.
매체 콘텐츠(122)가 이미지 콘텐츠를 포함하는 실시양태에서, 우선순위화 모듈(148)은 이미지(예를 들면, 정지 이미지 또는 비디오 이미지의 프레임)의 특정 분할된 영역에 대해 "HSV"(Hue Saturation Value) 색 히스토그램 또는 다른 이미지 처리값을 결정할 수 있고, HSV 색 히스토그램이 한 이미지 영역과 다른 영역 간에서 상이한지를 결정할 수 있다. 별개의 비디오 스트림들이 사용되는 경우, 우선순위화 모듈(148)은 각 스트림에 대한 이미지 처리에 기초하여 얻어진 HSV값 또는 다른 값을 결정할 수 있다.
HSV 색 히스토그램이 한 영역과 다른 영역 간에서, 또는 한 이미지 스트림과 다른 이미지 스트림 간에서 상이할 때, 장면에서의 상이한 오브젝트 또는 차이들의 존재가 나타내어질 수 있으며, 시스템은 그것을 공간적으로 변하는 햅틱 피드백을 제공하기 위한 기반으로서 사용할 수 있다. 다른 이미지 변화들도 물론 공간적으로 변하는 햅틱 피드백을 제공하기 위한 기반으로서 사용될 수 있다.
몇몇 실시양태에서, 우선순위화 모듈(148)은 각 프레임과 관련된 타임스탬프를 생성하거나 그렇지 않으면 이를 얻을 수 있고, 샘플링된 매체 특성을 타임스탬프와 관련지어 저장할 수 있다. 이러한 방식으로, 매체 특성은 햅틱 피드백과 매체 콘텐츠(122)의 출력의 조정(coordination)을 위해 타임스탬프와 관련하여 저장될 수 있다.
몇몇 실시양태에서, 스케일링 모듈(150)은 각각의 매체 성분에 대해 결정된 우선순위값들을 비교하고, 비교에 기초하여 그러한 값들이 스케일링되어야 하는지를 결정하도록 구성될 수 있다. 비교는 다양한 기술에 기초하여 수행될 수 있다.
몇몇 실시양태에서, 예를 들면, 스케일링 모듈(150)은 각 우선순위값의 쌍별 비교(pairwise comparisons)를 수행하여, 특정 쌍의 우선순위값들 간의 차이가 미리 정해진 문턱값을 초과하여, 스케일링이 수행되어야 하는지를 결정할 수 있다. 상기 예는 2 개의 매체 성분을 분석할 때(예컨대, 스테레오 오디오 실시양태에 대하여) 유용할 수 있지만, 이러한 비교는 다른 개수의 매체 성분을 분석할 때도 또한 적용될 수 있다. 상기 및 본원에서 설명된 다른 문턱값은, 개별 벤더(vendors)/개체(entities)가 문턱값을 조정할 수 있도록 구성가능할 수 있다.
몇몇 실시양태에서, 스케일링 모듈(150)은 매체 성분 중 2 개 이상에 대한 평균 우선순위값을 결정할 수 있고, 특정 우선순위값과 평균의 차이가 미리 정해진 문턱값(이는 상술한 문턱값과 동일하거나 상이할 수 있다)을 초과하는지 여부를 결정할 수 있다. 이러한 몇몇 실시양태에서, 스케일링 모듈(150)은 표준 편차를 결정할 수 있고, 우선순위값이 문턱 편차 이상으로 변화하여 스케일링을 수행해야하는지 여부를 결정하기 위한 다양한 통계적 기술을 수행할 수 있다. 상기 예는 복수의 매체 성분을 분석할 때(예컨대 서라운드 오디오 실시양태에 대하여) 유용할 수 있지만, 이러한 비교는 다른 개수의 매체 성분을 분석할 때에도 또한 적용할 수 있다.
어떻게 우선순위값을 비교하는지에 상관없이, 몇몇 실시양태에서, 스케일링 모듈(150)은 우선순위값 중 하나 이상을 스케일링할 수 있다. 예를 들면, 스케일링 모듈(150)은 원래의 우선순위값보다 높거나 낮은 스케일링된 값을 생성할 수 있다. 한 쌍의 우선순위값들의 우선순위값 차이가 미리 정해진 문턱값을 초과하면, 스케일링 모듈(150)은 2 개의 우선순위값들 중 높은 것을 업스케일링할 수 있고/있거나 2 개의 우선순위값들 중 낮은 것을 다운스케일링할 수 있다. 마찬가지로, 특정 우선순위값 및 복수의 우선순위값들의 평균 간의 차이가 미리 정해진 문턱값을 초과하는 경우, 스케일링 모듈(150)은, 특정 우선순위값이 평균보다 높은 경우에는 그 특정 우선순위값을 업스케일링하고, 특정 우선순위값이 평균보다 낮은 경우에는 그 특정 우선순위값을 다운 스케일링할 수 있다. 몇몇 실시양태에서, 스케일링 모듈(150)은 스케일링되지 않은 우선순위값에 기초하여 제공하기 위해 기준치(baseline) 햅틱 피드백을 결정할 수 있다. 이러한 실시양태에서, 스케일링 모듈(150)은 햅틱 피드백의 특성들(예를 들면, 크기, 주파수, 지속시간 등) 간의 차이를 결정하고, 서로에 대하여 햅틱 피드백 특성을 스케일링할 수 있다.
스케일링의 어떤 실시양태가 수행되든 간에, 스케일링 모듈(150)은 각각 특정 매체 성분에 대해 결정된, 2 개 이상의 우선순위값들 간의 차이를 증가시킬 수 있다. 이는 대응 우선순위값에 대한 제1 햅틱 피드백이, 제2 공간 위치에서 제공된 제2 햅틱 피드백보다 더 개별적으로 인지가능한 제1 공간 위치에 제공되도록 허용한다.
한편, 차이가 미리 정해진 문턱을 초과하지 않는 경우, 스케일링 모듈(150)은 우선순위값을 스케일링하지 않을 수 있다. 이는 매체 성분의 차이가 반드시 인지가능하게 상이해야 하는 것은 아닌 경우일 수 있다(예를 들면, 상이한 오디오 채널에 걸쳐 큰 폭성(loud explosions)이 발생하고 있는 경우).
몇몇 실시양태에서, 햅틱 피드백 모듈(152)은 스케일링된 우선순위값(스케일링된 우선순위값에 대하여) 및/또는 스케일링되지 않은 우선순위값(스케일링되지 않은 우선순위값에 대하여)에 기초하여 제어 신호를 생성하도록 구성될 수 있다. 예를 들면, 햅틱 피드백 모듈(152)은 제1 우선순위값(이는 스케일링되거나 되지 않을 수 있다)에 기초하여 제1 제어 신호를 발생시키고, 제2 우선순위값(이는 스케일링되거나 되지 않을 수 있다)에 기초하여 제2 제어 신호를 발생시키도록 구성될 수 있다. 다른 제어 신호들은 또한 다른 매체 성분들에 대응하는 다른 우선순위값들에 대해 생성될 수 있다. 제1 제어 신호는 제1 햅틱 출력 장치가 제1 햅틱 피드백을 제공하게 하도록 구성될 수 있다. 마찬가지로, 제2 제어 신호는 제2 햅틱 출력 장치가 제2 햅틱 피드백을 제공하게 하도록 구성될 수 있다.
제어 신호에 대하여 본원에서 사용된, 용어 "제1 제어 신호" 및 "제2 제어 신호"(및 제어 신호를 개별적으로 식별하는 유사어)는, 상이한 햅틱 출력 장치들이 상이한 햅틱 피드백을 제공하게 될 수 있게 하는 것을 전달하도록 의도된다. 몇몇 실시양태에서, 예를 들면 "제1 제어 신호" 및 "제2 제어 신호"는 제1 및 제2 햅틱 출력 장치에 개별적으로 제공될 수 있고, 이 장치들 각각은 그들 각자의 제어 신호에 기초하여 햅틱 피드백이 제공되도록 한다. 몇몇 실시양태에서, "제1 제어 신호" 및 "제2 제어 신호"는 적절한 어드레싱 메커니즘으로 제1 및 제2 햅틱 출력 장치 양자 모두에 함께 제공될 수 있어, 제1 및 제2 햅틱 출력 장치는 어떤 햅틱 피드백을 출력할지를 결정하기 위하여 어드레싱 메커니즘을 디코딩하게 된다.
몇몇 실시양태에서, 우선순위화된 값은 제공될 대응 햅틱 피드백과 관련하여 메모리, 예컨대 비일시적 저장 매체(144)에 저장된 룩업(lookup) 테이블에 저장될 수 있고/있거나 우선순위값에 기초하여 동적으로 결정될 수 있다. 예를 들면, 우선순위값은 더 높은 우선순위값이 더 높은 크기의 햅틱 피드백을 발생시키도록, 햅틱 피드백의 특성(예를 들면, 크기)을 결정하는 데에 사용될 수 있다.
몇몇 실시양태에서, 매체 출력 모듈(154)은 매체 콘텐츠(122)를 출력하도록 구성될 수 있다. 매체 출력 모듈(152)은 매체(122)를 종래의 매체 형식을 사용하여, 예를 들면 이미지 출력 장치(164), 오디오 출력 장치(166), 및/또는 다른 매체 출력 장치에 제공할 수 있다.
몇몇 실시양태에서, 조정 모듈(156)은 매체 출력 장치(예를 들면, 이미지 출력 장치(164) 및 오디오 출력 장치(166)) 및 햅틱 출력 장치(162)로의 신호 출력에 각각 출력되는 매체 출력 및 제어 신호를 조정하도록 구성될 수 있다. 몇몇 실시양태에서, 조정 모듈(156)은 매체 콘텐츠(122)에 내장된(embedded) 동기화 코드에 따라 및/또는 비디오 출력, 오디오 출력, 및 햅틱 피드백 각각을 출력할 시간을 일반적으로 설정하는 타임 스탬프를 통해, 이미지 출력, 제어 신호(예를 들면, 제어 신호에 의해 발생된 햅틱 피드백), 및 오디오 출력을 동기화할 수 있다.
이해될 수 있는 바와 같이, 매체 콘텐츠(122)는 오디오 콘텐츠 및 비디오 콘텐츠 둘 모두를 포함할 수 있다. 컴퓨팅 장치(140)는 공간적으로 변하는 햅틱 피드백을 제공하기 위해, 본원에서 설명한 바와 같이 매체 콘텐츠(122)의 오디오, 비디오, 및/또는 다른 매체를 처리할 수 있다.
몇몇 실시양태에서, 햅틱 출력 장치(162)는 액추에이터, 예를 들면, 전자기 액추에이터, 예컨대 이심 질량이 모터에 의해 움직이는 이심 회전 질량("ERM"), 용수철에 부착된 질량이 후방으로 및 전방으로 구동되는 선형 공진 액추에이터("LRA"), 또는 "스마트 물질(smart material)", 예컨대 압전, 전기-활성 고분자, 또는 형상 기억 합금, 거대-복합체 섬유 액추에이터(macro-composite fiber actuator), 정전 액추에이터, 전기-촉각 액추에이터, 및/또는 물리적 피드백, 예컨대 햅틱(예를 들면, 진동촉각) 피드백을 제공하는 다른 유형의 액추에이터를 포함할 수 있다. 햅틱 출력 장치(162)는 비기계적 또는 비진동적 장치, 예컨대 정전 마찰("ESF"), 초음파 표면 마찰("USF")을 사용하는 것, 또는 초음파 햅틱 변환기로 음향 방사 압력을 유도하는 것, 또는 햅틱 기판 및 가요성의 또는 변형가능한 표면을 사용하는 것, 또는 투영된 햅틱 출력을 제공하는 것, 예컨대 에어 제트를 사용한 에어 퍼프(puff) 등을 포함할 수 있다.
몇몇 실시양태에서, 이미지 출력 장치(164)는 디스플레이, 예컨대 터치스크린 디스플레이, 모니터 및/또는 이미지 콘텐츠, 예컨대 비디오, 정지 이미지, 게임 표현 등을 표시할 수 있는 다른 디스플레이를 포함할 수 있다. 몇몇 실시양태에서, 오디오 출력 장치(166)는 스피커, 헤드폰, 또는 오디오를 방출할 수 있는 다른 장치를 포함할 수 있다. 몇몇 실시양태에서, 이미지 출력 장치(164), 햅틱 출력 장치(162), 및/또는 오디오 출력 장치(166)는 컴퓨팅 장치(140)에 통합될 수 있다. 몇몇 실시양태에서, 이미지 출력 장치(164), 햅틱 출력 장치(162), 및/또는 오디오 출력 장치(166)는 컴퓨팅 장치(140)와는 별도로 하우징될 수 있다.
몇몇 실시양태에서, 매체 소스(120)는 컴퓨팅 장치(140)와 관련하여 논의된 모듈로 프로그래밍될 수 있다. 따라서, 컴퓨팅 장치(140)에 대하여 상술한 기능 중 적어도 일부 또는 전부가 매체 소스(120)에서 수행될 수 있다.
비일시적 저장 매체(144)는 컴퓨팅 장치(140)와 일체형으로(즉, 실질적으로 고정식) 제공된 시스템 저장장치 및/또는 예를 들면 포트(예를 들면, "USB"(universal serial bus) 포트, 파이어와이어 포트 등) 또는 드라이브(예를 들면, 디스크 드라이브 등)을 통하여 컴퓨팅 장치(140)에 이동가능하게 연결될 수 있는 이동식 저장장치 중 하나 또는 양자 모두를 포함할 수 있다. 비일시적 저장 매체(144)는 광학 판독가능 저장 매체(예를 들면, 광 디스크 등), 자기적 판독가능 저장 매체(예를 들면, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전하-기반 저장 매체(예를 들면, 전기적 소거가능 프로그래밍가능 판독전용 메모리("EEPROM"), 임의-접근 메모리("RAM") 등), 고체 저장 매체(예를 들면, 플래시 드라이브 등), 및/또는 다른 전기적 판독가능 저장 매체 중 하나 이상을 포함할 수 있다. 비일시적 저장 매체(144)는 하나 이상의 가상 저장 자원(예를 들면, 클라우드 저장장치, 가상 개인 네트워크, 및/또는 다른 가상 저장 자원)을 포함할 수 있다. 비일시적 저장 매체(144)는 소프트웨어 알고리즘, 프로세서(들)(142)에 의해 결정된 정보, 컴퓨팅 장치(140)로부터 수신된 정보, 및/또는 컴퓨팅 장치(140)가 본원에 설명된 바와 같이 기능할 수 있게 하는 다른 정보를 저장할 수 있다.
프로세서(들)(142)는 컴퓨팅 장치(140)에 정보 처리 능력을 제공하도록 구성된다. 이처럼, 프로세서(들)(142)는 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 기계, 및/또는 정보를 전기적으로 처리하기 위한 다른 메커니즘 중 하나 이상을 포함할 수 있다. 프로세서(들)(142)가 도 1에서 단일 개체로서 도시되었지만, 이는 단지 도시하기 위한 목적일 뿐이다. 몇몇 실시양태에서, 프로세서(들)(142)는 복수의 처리 유닛을 포함할 수 있다. 이 처리 유닛들은 물리적으로 동일 장치 내에 위치할 수 있고, 또는 프로세서(들)(142)가 조화를 이루어 작동하는 복수 장치의 처리 기능을 나타낼 수 있다. 프로세서(들)(142)는 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어, 및/또는 펌웨어의 소정 조합; 및/또는 프로세서(들)(142) 상에 처리 능력을 구성하기 위한 다른 매커니즘에 의해 모듈을 실행하도록 구성될 수 있다.
본원에 설명된 다양한 모듈은 단지 예시적인 모듈일 뿐이다. 하나 이상의 물리적 프로세서가 본원에 설명된 기능을 수행하도록 프로그래밍되는 한 모듈의 다른 구성 및 개수가 사용될 수 있고, 또한 비모듈식 접근을 사용할 수도 있다. 도 1에서는 다양한 모듈이 단일 처리 유닛 내에 함께 위치한 것으로 도시되어 있지만, 프로세서(들)(142)가 복수의 처리 유닛을 포함하는 실시양태에서, 하나 이상의 모듈은 다른 모듈과 원격으로 위치할 수 있다는 것을 이해해야 한다. 본원에서 설명된 상이한 모듈들에 의해 제공된 기능의 설명은 예시적인 목적을 위한 것이며, 임의의 모듈이 설명된 것보다 더 많거나 적은 기능을 제공할 수 있으므로, 제한을 의도하지 않는다. 예를 들면, 모듈 중 하나 이상은 제거될 수 있고, 그의 기능 중 일부 또는 전부가 모듈들 중 다른 것에 의해 제공될 수 있다. 다른 예로서, 프로세서(들)(142)는 본원에서 모듈 중 하나에 속한 기능의 전부 또는 일부를 수행할 수 있는 하나 이상의 추가 모듈을 실행하도록 구성될 수 있다.
도 1에 도시된 구성요소들은 다양한 통신 연결, 예컨대 네트워크를 통하여 다른 것과 통신가능하게 결합될 수 있다. 네트워크는 유선 또는 무선 연결을 포함할 수 있다. 본 발명의 몇몇 측면에서, 네트워크는 예를 들면, 인터넷, 인트라넷, 개인 네트워크("PAN"), 근거리 네트워크("LAN"), 광역 네트워크("WAN"), 저장 영역 네트워크("SAN"), 대도시 네트워크("MAN"), 무선 네트워크, 셀룰러 통신 네트워크, 공중 교환 전화 네트워크("PSTN"), 및/또는 다른 네트워크 중 임의의 하나 이상을 포함할 수 있다.
다양한 입력, 출력, 구성, 및/또는 저장되거나 저장가능한 것으로서 본원에 설명된 다른 정보가 하나 이상의 데이터베이스(도 1에 도시되지 않음)에 저장될 수 있다. 이러한 데이터베이스는 예를 들면 오라클 코포레이션(Oracle Corporation)에 의해 시판되는 오라클™ 관계형 데이터베이스일 수 있고, 이를 포함할 수 있고, 또는 이에 접속할 수 있다. 다른 데이터베이스, 예컨대 인포믹스(Informix)™, 데이터베이스(Database) 2("DB2"), 또는 파일-기반 또는 쿼리 형식을 포함하는 다른 데이터 저장장치, 플랫폼, 또는 자원, 예컨대 온라인 분석 처리("OLAP"), "SQL"(Standard Query Language), SAN, 마이크로소프트 액세스(Microsoft Access)™ 또는 다른 것들을 또한 사용하거나, 포함하거나, 또는 접근할 수 있다. 데이터베이스는 하나 이상의 물리적 장치 및 하나 이상의 물리적 위치에 있는 하나 이상의 이러한 데이터베이스를 포함할 수 있다. 데이터베이스는 복수의 유형의 데이터 및/또는 파일 및 관련 데이터 또는 파일 기술(descriptions), 관리 정보, 또는 임의의 다른 데이터를 저장할 수 있다.
도 1에 도시되지 않지만, 매체 콘텐츠(122)는 다양한 센서 정보를 포함할 수 있다. 몇몇 실시양태에서, 다양한 센서 정보는 이미지 상의 다양한 오브젝트와 관련될 수 있다. 각각의 센서 정보는 매체 처리 모듈(146)에 의해 분리되고, 다른 매체 성분과 관련하여 본원에 설명된 바와 같이 우선순위화되고 스케일링된다. 이와 같이, 컴퓨팅 장치(140)는 매체 콘텐츠(122)에 포함된 다양한 유형의 정보에 대해 동적 햅틱 피드백을 우선순위화하고, 스케일링하고, 제공할 수 있다.
도 2는 본 발명의 실시양태에 따른, 매체 콘텐츠의 매체 성분들의 동적으로 스케일링된 우선순위값들에 기초하여 햅틱 피드백을 제공하기 위한 시스템(100)의 구성요소들 사이의 데이터 흐름을 도시하는 흐름도(200)이다. 다양한 햅틱 출력 장치(162)(도 2에서 햅틱 출력 장치 162A, 162B, ..., 162N로서 도시됨)는 대응 매체 출력 장치(210)(도 2에서 매체 출력 장치 210A, 210B, 210N으로 도시됨)와 함께 위치하거나, 다르게 관련될 수 있다(도 2에서 생략부호로 도시됨). 매체 출력 장치(210)는 오디오 출력 장치, 이미지 출력 장치, 및/또는 다른 유형의 매체 출력 장치를 포함할 수 있다. 햅틱 출력 장치(162)는, 매체 콘텐츠(122)에 기초하여 동적으로 생성되고 스케일링된 햅틱 피드백을 출력하도록 구성될 수 있다. 햅틱 피드백은 햅틱 출력 장치(162)를 통하여 매체 콘텐츠(122)의 출력과 조화를 이루어(in coordination with) 출력될 수 있으며, 이는 사용자(들)에 대한 매체 경험을 풍부하게 한다.
몇몇 실시양태에서, 매체 처리 모듈(146)은 매체 콘텐츠(122)를 얻을 수 있고, 매체 콘텐츠를 복수(예를 들면, 2 개 이상)의 매체 성분(도 2에서 MC(A), MC(B), 및 MC(N)으로 도시됨)으로 처리할 수 있다. 우선순위화 모듈(148)은 대응 매체 성분들에 대하여 우선순위값들(도 2에서 PV(A), PV(B), 및 PV(N)로 도시됨)을 결정할 수 있다. 스케일링 모듈(150)은 우선순위값들을 비교하고, 각 우선순위값을 스케일링하여 스케일링된 우선순위값들(도 2에서 SV(A), SV(B), 및 SV(N)로 도시됨)을 생성할 수 있다. 몇몇 실시양태에서, 스케일링 모듈(150)은 우선순위값 중 하나 이상에 대해 스케일링을 수행하지 않을 수 있어, 특정한 스케일링된 우선순위값이 우선순위 모듈(150)로부터의 스케일링되지 않은 우선순위값과 동일하게 할 수 있다.
몇몇 실시양태에서, 스케일링 모듈(150)은, 특정 우선순위값과 다른 값 간의 차이가 문턱값을 초과하는 경우에만 특정 우선순위값을 업스케일링 또는 다운스케일링한다.
예를 들면, 특정 우선순위값과 다른 우선순위값 간의 차이가 미리 정해진 문턱을 초과하는 경우, 스케일링 모듈(150)은 특정 우선순위값을 업스케일링 또는 다운스케일링할 수 있고/있거나, 다른 우선순위값을 업스케일링 또는 다운스케일링할 수 있다. 몇몇 실시양태에서, 특정 우선순위값은 업스케일링되고 다른 우선순위값은 다운스케일링된다.
다른 예에서, 특정 우선순위값과 우선순위값들 집단의 우선순위값 평균의 차이가 미리 정해진 문턱값을 초과하는 경우, 스케일링 모듈(150)은, 특정 값이 평균 초과인지 미만인지에 따라, 특정 우선순위값을 업스케일링 및/또는 다운스케일링할 수 있다(예를 들면, 특정 우선순위값은 평균 초과일 때 업스케일링될 수 있고, 평균 미만일 때 다운스케일링될 수 있다). 스케일링 모듈(150)은 또한 다른 기준에 기초하여 스케일링을 수행할 수 있다.
또 다른 예에서, 우선순위값 집단의 표준 편차가 미리 정해진 문턱값이거나 그것을 초과하는 경우, 스케일링 모듈(150)은 우선순위값 집단에 대하여 스케일링을 수행할 것인지 여부를 결정하고, 이어서, 본원에 설명된 바와 같이 개별화된 스케일링을 수행할 수 있다.
스케일링된 우선순위값들(이는 스케일링되지 않은 우선순위값들을 포함할 수 있다)에 기초하여, 햅틱 피드백 모듈(152)은 대응 제어 신호들(도 2에서 CS(A), CS(B), 및 CS(N)로 도시됨)을 생성할 수 있다. 각각의 제어 신호는, 대응 햅틱 피드백 장치(162)가 매체 출력 장치(210)에 의한 매체 출력과 조화를 이루어 햅틱 피드백을 출력하게 하도록 구성될 수 있다.
다른 실시양태에서, 스케일링 모듈(150)은 차이가 특정 문턱을 초과하는지 여부와 상관없이 스케일링을 수행할 수 있다. 이러한 실시양태에서, 스케일링 모듈(150)은 우선순위값들 간에 0이 아닌 차이가 존재할 때 우선순위값들을 스케일링할 수 있다.
도 3a는 본 발명의 실시양태에 따른, 통합된 햅틱 출력 장치(162)(도 3a에서 햅틱 출력 장치들(162A, 162B, 162N)로 도시됨) 및 오디오 출력 장치(166)(도 3a에서 오디오 출력 장치들(166A, 166B, 166N)로 도시됨)를 갖는, 오디오 채널을 우선순위화하기 위한 컴퓨팅 장치(140A)의 예를 도시한다. 2 개의 햅틱 장치(162)(즉, 162A 및 162B) 및 2 개의 오디오 출력 장치(166)(즉, 166A 및 166B)를 갖는 것으로 도시되었지만, 컴퓨팅 장치(140A)는 추가의 통합된 햅틱 및 오디오 출력 장치(즉, 162N 및 166N)을 포함할 수 있다.
도시한 바와 같이, 컴퓨팅 장치(140A)는 스테레오 오디오를 출력하고, 대응 오디오 채널들에 관련된 우선순위값들의 스케일링에 기초한 햅틱 피드백의 출력을 조정하기 위해 사용될 수 있다. 예를 들면, 컴퓨팅 장치(140A)는 "우" 및 "좌" 오디오 채널의 분석에 기초하여 "우" 및 "좌" 우선순위값을 결정할 수 있다. 컴퓨팅 장치(140A)는 "우" 및 "좌" 햅틱 피드백이 우 및 좌 스피커를 통한 우 및 좌 오디오 채널의 출력과 함께 출력되도록 할 수 있다. 우 햅틱 피드백은 우 우선순위값에 기초할 수 있고, 좌 햅틱 피드백은 좌 우선순위값에 기초할 수 있다. 이와 같이, 우 및 좌 우선순위값이 상이하긴 해도 서로 유사한 경우, 특히 컴퓨팅 장치(140A)가 포켓용(handheld) 장치를 포함하는 경우의 실시양태에서, 우 및 좌 햅틱 피드백은 구별하기 어려울 수 있다. 우 우선순위값 및/또는 좌 우선순위값을 스케일링함으로써, 컴퓨팅 장치(140A)는 서로 구별가능한 우 및 좌 햅틱 피드백을 생성할 수 있고, 이에 의해 동적으로 결정된 햅틱 피드백을 증강시킨다.
컴퓨팅 장치(140A)는 좌 오디오 출력 장치(166A) 및 우 오디오 출력 장치(166B)를 통해 우 및 좌 오디오 채널을 출력할 수 있고, 이러한 출력을 좌 햅틱 출력 장치(162A) 및 우 햅틱 출력 장치(162B)를 통한 좌 및 우 햅틱 피드백에 맞춰 조정할 수 있다. 좌 햅틱 피드백 및/또는 우 햅틱 피드백은 좌 및 우 오디오 채널의 스케일링된 우선순위값에 기초하기 때문에, 사용자는, 좌 및 우 오디오 채널 각각이 서로 유사한 오디오를 포함하더라도, 좌 및 우 햅틱 피드백을 구별할 수 있다.
도 3b는 본 발명의 측면에 따른, 통합된 햅틱 출력 장치(162)(도 3b에서 햅틱 출력 장치들(162A, 162B, 162C, 162N)로 도시됨) 및 이미지 출력 장치(164)를 갖는, 이미지 성분을 우선순위화하기 위한 컴퓨팅 장치(140B)의 예를 도시한다. 도시한 바와 같이, 이미지 출력 장치(164)는 터치 스크린 디스플레이 및/또는 이미지 콘텐츠(예를 들면, 비디오, 정지 이미지, 게임 표현 등)를 출력할 수 있는 다른 유형의 디스플레이를 포함할 수 있다. 이미지 출력 장치(164)는 디스플레이 영역들(310)(도 3b에서 디스플레이 영역들(310A, 310B, 310C, 310N)로 도시됨)로 분리될 수 있다. 디스플레이 영역들(310)은 개념적(예를 들면, 소프트웨어-기반) 또는 실제적(예를 들면, 개별 하드웨어 디스플레이를 포함)일 수 있다.
각각의 디스플레이 영역(310)은 이미지 콘텐츠의 대응 영역을 표시하도록 구성될 수 있고, 대응 햅틱 출력 장치(162)(즉, 햅틱 출력 장치들(162A, 162B, 162C, 162N) 중 하나)와 관련될 수 있다. 컴퓨팅 장치(140B)는 종래의 이미지 처리 기술을 사용하여 이미지 콘텐츠의 각 영역을 처리할 수 있고, 대응 우선순위값들을 결정할 수 있다. 뚜렷한 햅틱 피드백을 햅틱 출력 장치(162)에 제공하기 위하여, 제어 신호의 스케일링 및 생성이 본원에 설명된 바와 같이 수행될 수 있다.
도 4는 본 발명의 실시양태에 따른, 원격 햅틱 출력 장치(162)(도 4에서 햅틱 출력 장치들(162A, 162B, 162N)로 도시됨) 및 오디오 출력 장치(166)(도 4에서 오디오 출력 장치들(166A, 166B, 166N)로 도시됨)를 갖는, 오디오 채널을 우선순위화하기 위한 컴퓨팅 장치(140)의 예를 도시한다. 도 4는 또한 장비(apparatus)(410)를 도시한다. 장비(410)는 소프트웨어-유래 또는 실제 영역들(412)(도 4에서 영역들(412A, 412B, 412N)로 도시됨)으로 분리될 수 있다. 영역들(412)의 상대적 위치는 오디오 출력 장치들(166)의 상대 위치에 대응할 수 있다.
몇몇 실시양태에서, 장비(410)는 뚜렷한 영역들을 갖는 의자로서 구성될 수 있고, 각각은 대응 햅틱 출력 장치(162)(즉, 햅틱 출력 장치들(162A, 162B, 162N) 중 하나)를 갖는다. 각각의 뚜렷한 영역은 오디오 출력 장치(166)(즉, 오디오 출력 장치들(166A, 166B, 166N) 중 하나)에 대응할 수 있어, 컴퓨팅 장치(140)는 특정 오디오 출력 장치(166)에서의 오디오 출력을, 그 특정 오디오 출력 장치(166)의 위치에 대응하는 의자의 위치에서의 대응 햅틱 출력 장치(162)로의 햅틱 피드백 출력에 맞춰 조정한다. 예를 들면, "중간" 오디오 출력 장치(166)에서의 오디오 출력은 "중간" 햅틱 출력 장치(162)를 통해 제공된 햅틱 피드백과 조화를 이룰 수 있다. 도 4는 또한 장비(420)를 도시한다. 희미한 외곽선으로 도시되었지만, 장비(420)는 장비(410)와 유사한 구성을 가질 수 있다. 다른 개수의 햅틱 및 오디오 출력 장치(166)가 또한 사용될 수 있다.
도시되지 않았지만, 이미지 콘텐츠는 추가적으로 또는 대안적으로, 상이한 이미지 영역들이 우선순위화되고 스케일링되며, 대응 햅틱 출력 장치(162)를 통해 제공된 햅틱 피드백을 가질 수 있도록, 장비(410)로 조정될 수 있다.
도 5a, 5b, 5c 및 5d(즉, 도 5a-d)를 참조하면, 도시된 그래프는 스케일링 수준("스케일링"으로 나타냄) 대 특정 우선순위값과 다른 값(예컨대 다른 우선순위값, 평균으로부터의 차이 등) 간의 차이("PV 차이"로 나타냄)의 플롯에 대한 함수(510)를 플롯팅한다.
도 5a는 본 발명의 실시양태에 따른, 우선순위값과 다른 값 간의 차이가 증가함에 따라 감소하는 우선순위값의 스케일링을 도시하는 그래프(500A)의 예이다. 컴퓨팅 장치(예를 들면, 컴퓨팅 장치(140))는 함수(510A)에 기초하여 스케일링을 수행할 수 있다. 몇몇 실시양태에서, 컴퓨팅 장치는 우선순위값들 간의 차이가 미리 정해진 문턱을 초과하는지 여부에 상관없이 우선순위값을 스케일링할 수 있다. 예를 들면, 컴퓨팅 장치는, 0이 아닌 차이가 결정되면 우선순위값을 스케일링할 수 있고, 차이가 증가함에 따라 스케일링 수준을 감소시킬 수 있다. 이러한 실시양태에 대하여, 차이가 증가함에 따라, 우선순위값은 햅틱 피드백을 다른 것과 충분히 구별가능하게 동적으로 생성시킬 수 있기 때문에 스케일링이 더 이상 필요하지 않을 수 있다.
도 5b는 본 발명의 실시양태에 따른, 우선순위값과 다른 값 간의 차이가 증가함에 따라 증가하는 우선순위값의 스케일링을 도시하는 그래프(500B)의 예를 도시한다. 컴퓨팅 장치(예를 들면, 컴퓨팅 장치(140))는 함수(510B)에 기초하여 스케일링을 수행할 수 있다. 몇몇 실시양태에서, 컴퓨팅 장치는 우선순위값들 간의 차이가 미리 정해진 문턱을 초과하는지 여부에 상관없이 우선순위값을 스케일링할 수 있다. 예를 들면, 컴퓨팅 장치는, 0이 아닌 차이가 결정되면 우선순위값을 스케일링할 수 있고, 차이가 증가함에 따라 스케일링 수준을 증가시킬 수 있다. 이러한 실시양태에 대하여, 차이가 증가함에 따라, 동적으로 생성된 햅틱 피드백을 사용하여 오디오, 비디오, 및/또는 다른 매체 콘텐츠의 차이를 더 강화하도록 스케일링을 또한 증가시킬 수 있다.
도 5c는 본 발명의 실시양태에 따른, 문턱 차이(520A)에 도달하고 난 후에만, 우선순위값과 다른 값 간의 차이가 증가함에 따라 감소하는 우선순위값을 스케일링하는 것을 도시하는 그래프(500C)의 예이다. 컴퓨팅 장치(예를 들면, 컴퓨팅 장치(140))는 함수(510C)에 기초하여 스케일링을 수행할 수 있다. 몇몇 실시양태에서, 컴퓨팅 장치는 우선순위값들 간의 차이가 미리 정해진 문턱값(520A)를 초과한 후에만 우선순위값을 스케일링할 수 있고, 차이가 증가함에 따라 스케일링 수준을 증가시킬 수 있다.
도 5d는 본 발명의 실시양태에 따른, 문턱 차이(520B)에 도달하고 난 후에만, 우선순위값과 다른 값 간의 차이가 증가함에 따라 증가하는 우선순위값을 스케일링하는 것을 도시하는 그래프(500D)의 예이다. 컴퓨팅 장치(예를 들면, 컴퓨팅 장치(140))는 함수(510D)에 기초하여 스케일링을 수행할 수 있다. 몇몇 실시양태에서, 컴퓨팅 장치는 우선순위값들 간의 차이가 미리 정해진 문턱값(520B)를 초과한 후에만 우선순위값을 스케일링할 수 있고, 차이가 증가함에 따라 스케일링 수준을 감소시킬 수 있다.
도 5a-5d에 도시된 함수는 비선형으로서 나타나지만, 다른 형태 또는 모양 또한 사용될 수 있다. 예를 들면, 상술한 함수들 중 임의의 것의 적어도 일부에 대하여, 스케일링의 양이 차이와 함께 선형적으로 증가하도록 스케일링이 선형일 수 있다. 또한, 스케일링이 특정 요구에 따라 캡핑되거나(capped) 또는 플루어링되도록(floored), 스케일링의 최대 및/또는 최소 수준이 각각의 함수를 제한(bound)할 수 있다. 각각의 문턱값, 함수, 최대, 최소 등은 특정 요구를 만족시키도록 구성될 수 있다.
도 6은 본 발명의 실시양태에 따른, 매체 콘텐츠의 매체 성분들의 동적으로 스케일링된 우선순위값들에 기초하여 햅틱 피드백을 제공하기 위한 프로세스(600)의 예를 도시한다. 일 실시양태에서, 도 6의 흐름도의 기능, 뿐만 아니라 도 7, 8, 및 9의 흐름도의 기능은 각각 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체에 저장된 소프트웨어에 의해 실시되고, 프로세서에 의해 실행된다. 다른 실시양태에서, 각 기능은 하드웨어(예를 들어, 주문형 집적 회로("ASIC"), 프로그래밍가능 게이트 어레이("PGA"), 필드 프로그래밍가능 게이트 어레이("FPGA") 등의 사용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
도 6, 7, 8, 및 9의 흐름도에 도시된 기능은 본원에서 더 상세하게 설명된다. 설명된 기능은 상기에서 상세하게 설명된 시스템 구성요소들의 일부 또는 전부를 사용하여 달성될 수 있다. 본 발명의 측면에 따르면, 기능은 다양한 시퀀스로 수행될 수 있다. 다른 실시양태에서, 추가 기능이 도 6, 7, 8, 및 9에 나타낸 기능 중 일부 또는 전부와 함께 수행될 수 있고, 또는 일부 기능은 생략될 수 있다. 또 다른 실시양태에서, 기능의 일부 또는 전부는 동시에 수행될 수 있다. 따라서, 도시된(및 하기에서 더 상세하게 설명된) 기능은 본 발명의 실시양태에 따라 제공된 기능의 예이고, 그렇기 때문에 제한하는 것으로 여겨져서는 안 된다.
602에서, 매체 콘텐츠는 복수의 매체 성분으로 처리될 수 있다. 예를 들면, 매체 콘텐츠는 오디오 콘텐츠, 이미지 콘텐츠, 및/또는 다른 유형의 콘텐츠를 포함할 수 있다. 오디오 콘텐츠는 개별 오디오 채널들로 처리될 수 있고, 이미지 콘텐츠는 이미지의 상이한 영역들 및/또는 비디오의 상이한 스트림들(예를 들어)로 처리될 수 있다.
604에서, 우선순위값은 각각의 매체 성분에 대해 결정될 수 있다. 우선순위값은 매체 성분의 다양한 특성(즉, 오디오에 대한 오디오 수준 및 이미지에 대한 휘도 수준)에 기초하여 결정될 수 있다. 606에서, 결정된 우선순위값들이 비교될 수 있다. 이러한 비교는 쌍별 비교, 특정 우선순위값을 매체 성분들에 대한 우선순위값들 평균과 비교하는 것, 및/또는 다른 비교를 포함할 수 있다.
608에서, 제어 신호는 비교에 기초하여 생성될 수 있다. 610에서, 각 제어 신호는 대응 햅틱 출력 장치에 제공될 수 있으며, 제어 신호는 햅틱 피드백이 출력되게 한다. 612에서, 매체 콘텐츠를 매체 출력 장치에 제공할 수 있으며, 이는 오디오 출력 장치, 이미지 출력 장치, 및/또는 다른 매체 출력 장치를 포함할 수 있다.
도 7은 본 발명의 실시양태에 따른, 우선순위값의 스케일링의 예를 도시한다. 몇몇 실시양태에서, 프로세스(600)의 608은 606의 비교에 기초한 다음의 기능 중 적어도 일부를 포함할 수 있다.
702에서, 차이는 비교에 기초하여 결정될 수 있다. 704에서, 차이가 미리 정해진 문턱값을 초과하는지(예를 들어, 이상인지)가 결정될 수 있다. 차이가 미리 정해진 문턱값을 초과하지 않으면, 제어 신호는 706에서 스케일링없이 생성될 수 있다. 한편, 차이가 미리 정해진 문턱값을 초과하는 경우, 우선순위값들 중 하나 이상은 708에서 스케일링될 수 있다. 제어 신호는 710에서 스케일링된 우선순위값에 기초하여 생성될 수 있다.
도 8은 본 발명의 실시양태에 따른, 우선순위값의 스케일링의 예를 도시한다. 몇몇 실시양태에서, 프로세스(600)의 608은 606의 비교에 기초하여 다음의 기능 중 적어도 일부를 포함할 수 있다. 802에서, 차이는 비교에 기초하여 결정될 수 있다. 804에서, 우선순위값은 이러한 차이가 미리 정해진 문턱을 초과하는지와 상관없이, 차이에 기초하여 스케일링될 수 있다. 806에서, 제어 신호는 스케일링된 우선순위값에 기초하여 생성될 수 있다.
도 9는 본 발명의 실시양태에 따른, 매체 콘텐츠의 입력 성분에 기초하여 햅틱 피드백을 제공하는 프로세스의 예를 도시한다. 입력 매체 콘텐츠가 n 개의 입력 성분으로 처리됨에 따라 흐름이 시작되고, 여기서 n은 임의의 수일 수 있다. 도 9의 도시된 실시양태에서, 입력 오디오 콘텐츠는 n 개의 입력 오디오 스트림 또는 채널로 샘플링된다. 그러나, 대안적인 실시양태에서, 입력 이미지 콘텐츠는 n 개의 입력 비디오 스트림 또는 채널로 샘플링될 수 있다. 이어서 흐름은 910으로 진행한다. 910에서, n 개의 입력 성분의 하나 이상의 성질이 분석된다. 예시적인 성질은 크기, 힘 출력, 밀도, 감촉, 또는 임의의 다른 유형의 성질을 포함할 수 있다. n 개의 입력 성분이 n 개의 오디오 입력 스트림인 경우의 도시된 실시양태에서, 각 오디오 입력 스트림의 특정 주파수 범위, 예컨대 저주파수 범위가 분석될 수 있다. 이어서 흐름은 920으로 진행한다.
920에서, 각 시간 세그먼트에 대하여, n 개의 입력 성분에 대하여 결정된 우선순위값들을 비교함으로써, n 개의 입력 성분 중 어느 것이 최고 우선순위를 갖는지가 결정된다. 우선순위값은 각 입력 성분의 하나 이상의 분석된 성질을 기초로, n 개의 입력 성분의 각 입력 성분에 대해 결정될 수 있다. 각 입력 성분에 대한 우선순위값은 적어도 하나의 다른 입력 성분에 대한 우선순위값(또는 집계값, 예컨대 평균)과 비교될 수 있다. 실시양태에서, 비교 문턱(예를 들면, 40 % 또는 임의의 다른 백분율)이 정의될 수 있으며, 적응적 스케일링(930과 관련하여 하기에서 더 상세하게 설명됨)이 발생하기 위해서 문턱에 도달할 것이 요구될 수 있다. 예를 들면, 복수의 입력 성분의 우선순위값들이 비교되고, 서로 40 % 내로 결정되는 경우(즉, 문턱에 도달하지 않음), 그러면 비교된 입력 성분들은 동일한 우선순위를 갖는 것으로 고려되며, 비교된 입력 성분들에 대해 스케일링이 수행되지 않는다. 그러나, 입력 성분들의 우선순위값들이 비교되고, 서로 40 % 내에 있지 않은 것으로 결정되는 경우(즉, 문턱에 도달함), 그러면 비교된 입력 성분들은 상이한 우선순위들을 갖는 것으로 고려되며, 비교된 입력 성분들 중 하나 이상에 대해서 스케일링이 수행될 수 있다. 대안적인 실시양태에서, 상대 문턱보다 절대 문턱이 사용될 수 있다. 이 대안적인 실시양태에서, n 개의 입력 성분의 우선순위값들은 절대 문턱과 비교될 수 있다. 입력 성분의 우선순위값이 문턱에 도달하면, 그 입력 성분에 대해 스케일링을 수행할 수 있다. 그렇지 않고, 입력 성분이 문턱에 도달하지 않으면, 입력 성분에 대해 스케일링을 수행하지 않는다. 이어서 흐름은 930으로 진행한다.
930에서, n 개의 입력 성분 중 하나 이상의 입력 성분은 920에서 n 개의 입력 성분의 우선순위값들의 비교에 기초하여 스케일링된다. 더 높은 우선순위를 갖는 것으로 결정된 입력 성분은 업스케일링될 수 있고, 더 낮은 우선순위를 갖는 것으로 결정된 입력 성분은 다운스케일링될 수 있고, 또는 양자의 조합일 수 있다. 실시양태에 따라, 입력 성분을 스케일링함으로써, 입력 성분들의 하나 이상의 성질이 스케일링될 수 있다. 대안적인 실시양태에서, 입력 성분에 기초하여 햅틱 피드백을 생성하는 데에 사용된 정보가 스케일링될 수 있어, 입력 성분은 변경되지 않고, 햅틱 피드백은 강해지거나(정보가 업스케일링되는 경우) 또는 약해진다(정보가 다운스케일링되는 경우). 또 다른 대안적인 실시양태에서, 우선순위값은 스케일링될 수 있고, 우선순위값은 햅틱 피드백을 생성하기 위해 사용될 수 있으며, 또한 햅틱 피드백은 입력 성분에 기초한다. 하나 이상의 입력 성분을 스케일링함으로써, 더 높은 우선순위를 갖는 것으로 결정된 입력 성분은 명확성을 얻을 수 있고, 다른 입력 성분에 의해 가려질 가능성이 더 적다. 대안적인 실시양태에서, 입력 성분을 스케일링하는 것보다는, 입력 성분이 변경되거나(예를 들면, 주파수-이동 또는 피치-이동) 필터링될 수 있다. 특정 실시양태에서, 입력 성분은 스케일링되지 않고 930이 생략된다. 이어서 흐름은 940으로 진행한다.
940에서, n 개의 입력 성분은 매체 출력 장치로 출력된다. 특정 실시양태에서, 제어 신호들은 n 개의 입력 성분에 기초하여 생성되고, 제어 신호들은 햅틱 출력 장치들로 출력되고, 각 제어 신호는 햅틱 피드백이 출력되게 한다. n 개의 입력 성분이 n 개의 오디오 입력 스트림인 경우의 도시된 실시양태에서, n 개의 오디오 입력 스트림은 오디오 출력 장치들로 출력될 수 있다. 특정 실시양태에서, n 개의 입력 성분보다 적게 매체 출력 장치들로 출력된다. 이러한 실시양태에서, 더 높은 우선순위를 갖는 것으로 결정된 입력 성분들이 출력되고, 나머지 입력 성분들은 버려질 수 있다. 또한, 특정 실시양태에서, n 보다 적은 수의 제어 신호가 발생될 수 있고, 또한 n 보다 적은 수의 햅틱 출력 장치로 보내질 수 있다. 이어서 흐름이 종료된다.
따라서, 일 실시양태에서, 시스템은 매체 성분들의 동적으로 스케일링된 값들에 기초하여 공간적으로 변하는 햅틱 피드백을 제공할 수 있다. 시스템은 매체 성분의 분석에 기초하여 햅틱 피드백의 하나 이상의 부분을 스케일링할 수 있다. 이러한 방식으로, 시스템은 상이한 매체 성분들과 관련되어 제공된 상이한 햅틱 피드백을 구별하는 능력을 개선할 수 있고, 더 풍부하고 더 몰입적인 매체 경험을 제공할 수 있다. 즉, 시스템은 햅틱 피드백의 차이를 강조하고 과장함으로써, 보다 공간화된 햅틱 경험을 만드는 것을 도울 수 있다. 예를 들면, 다중-채널 경험에서, 시스템은 채널과 관련된 햅틱 효과를 다른 채널과 관련된 다른 햅틱 효과와 구별할 수 있다. 이는 이상적인 다중-채널 경험을 가져올 수 있고, 사용자를 즐겁게 하는 햅틱 효과의 공간화를 만든다.
본 명세서 전체에 걸쳐 설명된 본 발명의 특징, 구조, 또는 특성은 하나 이상의 실시양태에서 임의의 적합한 방식으로 조합될 수 있다. 예를 들면, 본 명세서 전체에서 "일 실시양태", "몇몇 실시양태", "특정 실시양태", "특정 실시양태들", 또는 다른 유사어의 사용은 실시양태와 관련하여 설명된 특정 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시양태에 포함될 수 있다는 사실을 의미한다. 따라서, 본 명세서 전체에서 문구 "일 실시양태", "몇몇 실시양태", "특정 실시양태", "특정 실시양태들", 또는 다른 유사어가 나오더라도 반드시 모두가 같은 군의 실시양태를 언급하는 것은 아니며, 설명된 특징, 구조, 또는 특성은 하나 이상의 실시양태에서 임의의 적합한 방식으로 결합될 수 있다.
통상의 기술자는 전술한 바와 같은 본 발명이 단계들을 다른 순서로, 및/또는 구성 요소들을 개시된 구성과 다른 구성으로 하여 실시될 수 있다는 것을 쉽게 이해할 것이다. 그러므로, 비록 본 발명이 이러한 바람직한 실시양태를 바탕으로 설명되었지만, 통상의 기술자에게는 본 발명의 사상 및 범위 내에 속하는, 특정 변형, 변경, 및 대안의 구성도 자명할 것이라는 것이 명백할 것이다. 따라서, 본 발명의 경계 및 범위를 결정하기 위해서는, 첨부의 특허청구범위를 참조해야 한다.
100: 시스템
120: 매체 소스
122: 매체 콘텐츠
132: 컴퓨터 판독가능 매체
140: 컴퓨팅 장치
142: 프로세서
144: 비일시적 저장 매체
146: 매체 처리 모듈
148: 우선순위화 모듈
150: 스케일링 모듈
152: 햅틱 피드백 모듈
154: 매체 출력 모듈
156: 조정 모듈
162: 햅틱 출력 장치
164: 이미지 출력 장치
166: 오디오 출력 장치
410, 420: 장비

Claims (22)

  1. 매체 콘텐츠에 기초하여 햅틱 피드백을 제공하기 위해 프로세서에 의해 실행되는 컴퓨터-구현 방법으로서,
    매체 콘텐츠를 적어도 제1 채널 및 제2 채널과 연관된 복수의 매체 성분으로 처리하는 단계;
    하나 이상의 상기 복수의 매체 성분의 하나 이상의 부분에 따라, 제1 제어 신호 및 제2 제어 신호를 생성하는 단계;
    제1 햅틱 피드백이 제1 원거리 장치에서 생성되도록 구성되는 상기 제1 제어 신호를 제1 햅틱 출력 장치를 갖는 상기 제1 원거리 장치에 전송하는 단계; 및
    제2 햅틱 피드백이 제2 원거리 장치에서 생성되도록 구성되는 상기 제2 제어 신호를 제2 햅틱 출력 장치를 갖는 상기 제2 원거리 장치에 전송하는 단계
    를 포함하고,
    상기 햅틱 피드백은, 상기 제1 햅틱 피드백 또는 상기 제2 햅틱 피드백이 상기 제1 채널과 연관된 상기 매체 콘텐츠의 제1 부분 또는 상기 제2 채널과 연관된 상기 매체 콘텐츠의 제2 부분의 스케일링된 값 또는 우선순위값에 기초하여 뚜렷하게 또는 약화되게 되도록 공간적으로 변화하는, 컴퓨터-구현 방법.
  2. 제1항에 있어서,
    상기 매체 콘텐츠는 오디오 콘텐츠 또는 비디오 콘텐츠를 포함하는, 컴퓨터-구현 방법.
  3. 제1항에 있어서,
    상기 제1 제어 신호 또는 상기 제2 제어 신호는 센서 정보를 포함하고, 상기 센서 정보는 상기 복수의 매체 성분 중 하나와 연관되는, 컴퓨터-구현 방법.
  4. 제1항에 있어서,
    상기 햅틱 피드백은 상기 제1 채널 및 제2 채널의 매체 콘텐츠의 각각의 부분의 각각의 우선순위값의 비교에 기초하는, 컴퓨터-구현 방법.
  5. 제1항에 있어서,
    상기 제1 제어 신호 또는 제2 제어 신호는 힘 정보를 포함하고, 상기 힘 정보는 크기 성분을 갖는, 컴퓨터-구현 방법.
  6. 제1항에 있어서,
    상기 제1 원거리 장치 또는 제2 원거리 장치의 햅틱 영역은 매체 출력 장치 각각에 대응하는, 컴퓨터-구현 방법.
  7. 제1항에 있어서,
    상기 매체 콘텐츠는 상기 제1 햅틱 피드백 또는 제2 햅틱 피드백에 동기화되는, 컴퓨터-구현 방법.
  8. 프로세서에 의해 실행될 때, 상기 프로세서가 매체 콘텐츠에 기초하여 햅틱 피드백을 제공하게 하는 명령어들이 저장되어 있고, 상기 명령어들은:
    매체 콘텐츠를 적어도 제1 채널 및 제2 채널과 연관된 복수의 매체 성분으로 처리하는 단계;
    하나 이상의 상기 복수의 매체 성분의 하나 이상의 부분에 따라, 제1 제어 신호 및 제2 제어 신호를 생성하는 단계;
    제1 햅틱 피드백이 제1 원거리 장치에서 생성되도록 구성되는 상기 제1 제어 신호를 제1 햅틱 출력 장치를 갖는 상기 제1 원거리 장치에 전송하는 단계; 및
    제2 햅틱 피드백이 제2 원거리 장치에서 생성되도록 구성되는 상기 제2 제어 신호를 제2 햅틱 출력 장치를 갖는 상기 제2 원거리 장치에 전송하는 단계
    를 포함하고,
    상기 햅틱 피드백은, 상기 제1 햅틱 피드백 또는 상기 제2 햅틱 피드백으로 하여금, 상기 제1 채널과 연관된 상기 매체 콘텐츠의 제1 부분 또는 상기 제2 채널과 연관된 상기 매체 콘텐츠의 제2 부분의 스케일링된 값 또는 우선순위값에 기초하여 뚜렷하게 또는 약화되게 되도록 공간적으로 변화하는, 비일시적 컴퓨터-판독가능 기록 매체.
  9. 제8항에 있어서,
    상기 매체 콘텐츠는 오디오 콘텐츠 또는 비디오 콘텐츠를 포함하는, 비일시적 컴퓨터-판독가능 기록 매체.
  10. 제8항에 있어서,
    상기 제1 제어 신호 또는 상기 제2 제어 신호는 센서 정보를 포함하고, 상기 센서 정보는 상기 복수의 매체 성분 중 하나와 연관되는, 비일시적 컴퓨터-판독가능 기록 매체.
  11. 제8항에 있어서,
    상기 햅틱 피드백은 상기 제1 채널 및 제2 채널의 매체 콘텐츠의 각각의 부분의 각각의 우선순위값의 비교에 기초하는, 비일시적 컴퓨터-판독가능 기록 매체.
  12. 제8항에 있어서,
    상기 제1 제어 신호 또는 제2 제어 신호는 힘 정보를 포함하고, 상기 힘 정보는 크기 성분을 갖는, 비일시적 컴퓨터-판독가능 기록 매체.
  13. 제8항에 있어서,
    상기 제1 원거리 장치 또는 제2 원거리 장치의 햅틱 영역은 매체 출력 장치 각각에 대응하는, 비일시적 컴퓨터-판독가능 기록 매체.
  14. 제8항에 있어서,
    상기 매체 콘텐츠는 상기 제1 햅틱 피드백 또는 제2 햅틱 피드백에 동기화되는, 비일시적 컴퓨터-판독가능 기록 매체.
  15. 매체 콘텐츠에 기초하여 햅틱 피드백을 제공하는 장치로서, 상기 장치는,
    프로세서; 및
    상기 프로세서에 의해 실행되도록 하는 하나 이상의 프로그램들을 저장하는 메모리를 포함하고,
    상기 하나 이상의 프로그램은 명령어들을 포함하고 있고, 상기 명령어들은:
    매체 콘텐츠를 적어도 제1 채널 및 제2 채널과 연관된 복수의 매체 성분으로 처리하는 단계;
    하나 이상의 상기 복수의 매체 성분의 하나 이상의 부분에 따라, 제1 제어 신호 및 제2 제어 신호를 생성하는 단계;
    제1 햅틱 피드백이 제1 원거리 장치에서 생성되도록 구성되는 상기 제1 제어 신호를 제1 햅틱 출력 장치를 갖는 상기 제1 원거리 장치에 전송하는 단계; 및
    제2 햅틱 피드백이 제2 원거리 장치에서 생성되도록 구성되는 상기 제2 제어 신호를 제2 햅틱 출력 장치를 갖는 상기 제2 원거리 장치에 전송하는 단계
    를 포함하고,
    상기 햅틱 피드백은, 상기 제1 햅틱 피드백 또는 상기 제2 햅틱 피드백으로 하여금, 상기 제1 채널과 연관된 상기 매체 콘텐츠의 제1 부분 또는 상기 제2 채널과 연관된 상기 매체 콘텐츠의 제2 부분의 스케일링된 값 또는 우선순위값에 기초하여 뚜렷하게 또는 약화되게 되도록 공간적으로 변화하는, 장치.
  16. 제15항에 있어서,
    상기 매체 콘텐츠는 오디오 콘텐츠 또는 비디오 콘텐츠를 포함하는, 장치.
  17. 제15항에 있어서,
    상기 제1 제어 신호 또는 상기 제2 제어 신호는 센서 정보를 포함하고, 상기 센서 정보는 상기 복수의 매체 성분 중 하나와 연관되는, 장치.
  18. 제15항에 있어서,
    상기 햅틱 피드백은 상기 제1 채널 및 제2 채널의 매체 콘텐츠의 각각의 부분의 각각의 우선순위값의 비교에 기초하는, 장치.
  19. 제15항에 있어서,
    상기 제1 제어 신호 또는 제2 제어 신호는 힘 정보를 포함하고, 상기 힘 정보는 크기 성분을 갖는, 장치.
  20. 제15항에 있어서,
    상기 제1 원거리 장치 또는 제2 원거리 장치의 햅틱 영역은 매체 출력 장치 각각에 대응하는, 장치.
  21. 제1항에 있어서,
    상기 제1 햅틱 피드백은 제1 스케일링된 값 또는 제1 우선순위값에 기초하여 뚜렷하게 되고, 상기 제2 햅틱 피드백은 제2 스케일링된 값 또는 제2 우선순위값에 기초하여 약화되게 되는, 컴퓨터-구현 방법.
  22. 제1항에 있어서,
    상기 제1 햅틱 피드백은 상향 방향으로 스케일링되고, 상기 제2 햅틱 피드백은 하향 방향으로 스케일링되는, 컴퓨터-구현 방법.
KR1020200064421A 2013-09-06 2020-05-28 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백 KR102215355B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874678P 2013-09-06 2013-09-06
US61/874,678 2013-09-06
US14/467,184 US9514620B2 (en) 2013-09-06 2014-08-25 Spatialized haptic feedback based on dynamically scaled values
US14/467,184 2014-08-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140118692A Division KR102119286B1 (ko) 2013-09-06 2014-09-05 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백

Publications (2)

Publication Number Publication Date
KR20200064046A KR20200064046A (ko) 2020-06-05
KR102215355B1 true KR102215355B1 (ko) 2021-02-15

Family

ID=51492793

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020140118692A KR102119286B1 (ko) 2013-09-06 2014-09-05 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백
KR1020200064421A KR102215355B1 (ko) 2013-09-06 2020-05-28 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백
KR1020200064418A KR20200064045A (ko) 2013-09-06 2020-05-28 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140118692A KR102119286B1 (ko) 2013-09-06 2014-09-05 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200064418A KR20200064045A (ko) 2013-09-06 2020-05-28 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백

Country Status (5)

Country Link
US (4) US9514620B2 (ko)
EP (3) EP2857933B1 (ko)
JP (2) JP6426404B2 (ko)
KR (3) KR102119286B1 (ko)
CN (2) CN110083240A (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2645748A1 (en) 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
JP6327417B2 (ja) * 2014-05-30 2018-05-23 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US10838378B2 (en) * 2014-06-02 2020-11-17 Rovio Entertainment Ltd Control of a computer program using media content
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
JP6703688B2 (ja) * 2016-04-07 2020-06-03 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
JP6977312B2 (ja) * 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20180048227A (ko) 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20220126259A (ko) * 2016-10-31 2022-09-15 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR102369905B1 (ko) 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20180048195A (ko) * 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
KR102429901B1 (ko) * 2017-11-17 2022-08-05 삼성전자주식회사 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
US10871829B2 (en) * 2017-12-05 2020-12-22 Tactai, Inc. Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245000A (ja) 1999-02-24 2000-09-08 Tokai Giken Kk 聴覚補助装置
JP2009533714A (ja) 2006-04-13 2009-09-17 イマージョン コーポレーション デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
US20120306631A1 (en) 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns
US20130227410A1 (en) 2011-12-21 2013-08-29 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US5684722A (en) * 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
JP2002152880A (ja) 2000-08-28 2002-05-24 Nippon Columbia Co Ltd 音楽鑑賞用椅子
GB2370353A (en) * 2000-12-20 2002-06-26 Nokia Mobile Phones Ltd Navigation system
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
WO2005115342A1 (en) * 2004-05-24 2005-12-08 Nycomed Pharma As Particulate comprising a calcium-containing compound and a sugar alcohol
US8139803B2 (en) 2005-08-15 2012-03-20 Immerz, Inc. Systems and methods for haptic sound
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
EP2202619A1 (en) * 2008-12-23 2010-06-30 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device and method of controlling same
EP3272329B1 (en) 2010-06-30 2020-09-16 Avon Products, Inc. Compositions and methods for stimulation magp-1 to improve the appearance of skin
US9230419B2 (en) * 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
WO2012028973A1 (en) 2010-09-01 2012-03-08 Woojer Ltd. Personal media playing system
US9477311B2 (en) * 2011-01-06 2016-10-25 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
EP2521066A1 (en) 2011-05-05 2012-11-07 Axiomatics AB Fine-grained relational database access-control policy enforcement using reverse queries
US8804093B2 (en) 2011-10-26 2014-08-12 LeVoy Haight Systems and methods for theater seat movement
KR101880764B1 (ko) 2012-02-03 2018-07-20 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
JP6541292B2 (ja) * 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
CN102907936B (zh) 2012-04-12 2015-02-18 北京太阳光影影视科技有限公司 一种多通道音频控制动感座椅平台
CN102681727B (zh) * 2012-05-09 2018-08-14 闻泰通讯股份有限公司 一种触摸及动作感应结合的电子设备控制系统及方法
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
GB2519475A (en) * 2012-08-21 2015-04-22 Immerz Inc Systems and methods for a vibrating input device
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US10410180B2 (en) * 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US10265237B2 (en) * 2013-03-06 2019-04-23 Udaya Sankar Devanaboyina Systems and methods for exerting force on bodies
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US20140354570A1 (en) * 2013-06-01 2014-12-04 Senseg Ltd. Haptic companion device
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US20150082408A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Quick login to user profile on exercise machine
US9827904B2 (en) * 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
WO2019217194A1 (en) * 2018-05-07 2019-11-14 Google Llc Dynamics processing effect architecture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245000A (ja) 1999-02-24 2000-09-08 Tokai Giken Kk 聴覚補助装置
JP2009533714A (ja) 2006-04-13 2009-09-17 イマージョン コーポレーション デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
US20120306631A1 (en) 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns
US20130227410A1 (en) 2011-12-21 2013-08-29 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Also Published As

Publication number Publication date
EP3410259B1 (en) 2020-04-29
EP2857933A1 (en) 2015-04-08
US20200175828A1 (en) 2020-06-04
KR20200064046A (ko) 2020-06-05
KR102119286B1 (ko) 2020-06-26
EP3623911A1 (en) 2020-03-18
KR20150028748A (ko) 2015-03-16
EP3410259A1 (en) 2018-12-05
US9514620B2 (en) 2016-12-06
US20170084140A1 (en) 2017-03-23
KR20200064045A (ko) 2020-06-05
US10553083B2 (en) 2020-02-04
US9852590B2 (en) 2017-12-26
US20150070153A1 (en) 2015-03-12
EP2857933B1 (en) 2018-05-02
JP2015053045A (ja) 2015-03-19
CN104423587A (zh) 2015-03-18
US20180068537A1 (en) 2018-03-08
CN110083240A (zh) 2019-08-02
US10909821B2 (en) 2021-02-02
JP6426404B2 (ja) 2018-11-21
JP2019012574A (ja) 2019-01-24
CN104423587B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
KR102215355B1 (ko) 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백
US10650645B2 (en) Method and apparatus of converting control tracks for providing haptic feedback
US9454881B2 (en) Haptic warping system
US20220286751A1 (en) Signaling loudness adjustment for an audio scene
US20230067584A1 (en) Adaptive Quantization Matrix for Extended Reality Video Encoding
JP2020162138A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant