KR20170096098A

KR20170096098A - 미디어 구동 햅틱들

Info

Publication number: KR20170096098A
Application number: KR1020177011570A
Authority: KR
Inventors: 스리밧사브 벤카테산; 카니야랄 샤; 스테판 랭크; 윌리엄 에스. 린
Original assignee: 임머숀 코퍼레이션
Priority date: 2014-12-23
Filing date: 2015-12-23
Publication date: 2017-08-23
Also published as: US20180321751A1; CN107106906A; EP3197576A1; EP3197575A1; US20160175705A1; JP6735747B2; WO2016105493A1; US10073523B2; US20200050270A1; US9996156B2; WO2016105496A1; EP3197575A4; JP6908242B2; US20160175704A1; WO2016105495A1; JP2018501552A; EP3197576A4; CN106999766A; KR20170095830A; EP3194040A1

Abstract

실시예들은 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 수정하는 기술들에 관한 것이다. 미디어 스트림을 수신하면, 햅틱 구동 신호가 미디어 스트림에 기초하여 생성된다. 햅틱 구동 신호는 햅틱 출력 디바이스에서 햅틱 효과를 렌더링하는데 적용된다. 미디어 편집 애플리케이션 내에서, 미디어 스트림이 수정될 수 있다. 이러한 수정에 응답하여, 수정된 햅틱 구동 신호가 미디어 스트림에 대한 수정에 기초하여 생성될 수 있다. 결과적으로, 수정된 햅틱 효과가 햅틱 출력 디바이스에서 렌더링된다.

Description

미디어 구동 햅틱들{MEDIA DRIVEN HAPTICS}

<우선권 출원>

본 출원은 2014년 12월 23일자로 출원된 미국 임시 특허 출원 제62/096,251호의 혜택들을 청구하며, 이는 본 명세서에서 그 전부가 참조로 원용된다.

<발명의 분야>

실시예들은 일반적으로 전자 디바이스들에 관한 것이고, 보다 구체적으로는, 햅틱 효과들을 생성하는 전자 디바이스들에 관한 것이다.

비디오 게임들 및 비디오 게임 시스템들이 엄청나게 인기를 얻고 있다. 비디오 게임 디바이스들 또는 제어기들은 통상적으로 시각적 및 청각적 큐들(cues)을 사용하여 사용자에게 피드백을 제공한다. 일부 인터페이스 디바이스들에서, 운동감각 피드백(예를 들어, 작용력 및 저항력 피드백) 및/또는 촉각 피드백(예를 들어, 진동, 텍스처, 온도 변동 등)이 사용자에게 제공될 수 있다. 일반적으로 이러한 피드백은 집합적으로 "햅틱 피드백" 또는 "햅틱 효과들"로서 알려져 있다. 햅틱 피드백은 비디오 게임 제어기, 또는 다른 전자 디바이스와의 사용자의 상호작용을 강화 및 단순화시키는 큐들을 제공한다. 예를 들어, 햅틱 효과들은 사용자들에게 특정 이벤트들을 알리거나, 시뮬레이션된 또는 가상의 환경 내에서 더 큰 감각적 몰입을 생성하는 사실적인 피드백을 제공하기 위해 비디오 게임 제어기들 또는 다른 전자 디바이스들의 사용자들에게 큐들을 제공할 수 있다.

사용자가 액션을 유발하기 위해 사용자 입력 엘리먼트와 상호작용하는 다른 디바이스들이 또한 햅틱 피드백 또는 햅틱 효과들로부터 혜택을 받을 수 있다. 예를 들어, 이러한 디바이스들은 의료 디바이스들, 자동차 제어들, 원격 제어들, 및 다른 유사한 디바이스들을 포함할 수 있다.

본 발명의 실시예들은 관련 기술을 실질적으로 향상시키는 햅틱 효과들을 생성하도록 구성되는 전자 디바이스들에 관한 것이다.

실시예들의 특징들 및 이점들이 하기의 설명에서 제시되거나, 이러한 설명으로부터 명백해질 것이거나, 또는 본 발명의 실시에 의해 습득될 수 있다.

예시적인 일 실시예에서, 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 기능성이 제공된다. 미디어 스트림을 수신하면, 햅틱 구동 신호가 미디어 스트림에 기초하여 생성된다. 햅틱 구동 신호는 다음으로 햅틱 출력 디바이스에서 햅틱 효과를 렌더링하는데 적용된다. 미디어 편집 애플리케이션 내에서, 미디어 스트림은 수정될 수 있다. 이러한 수정에 응답하여, 수정된 햅틱 구동 신호가 미디어 스트림에 대한 수정에 기초하여 생성될 수 있다. 결과적으로, 수정된 햅틱 효과가 햅틱 출력 디바이스에서 렌더링된다.

전술한 일반적인 설명 및 후술하는 상세한 설명 양자 모두는 예시적이고, 설명적이며, 본 발명을 설명된 예들로 제한하고자 의도되는 것은 아니라는 점이 이해되어야 한다.

추가의 실시예들, 상세사항들, 이점들, 및 변형들이 첨부 도면들과 함께 취해질, 바람직한 실시예들의 하기의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 본 발명의 예시적인 실시예에 따른 시스템의 블록도를 도시한다.
도 2는 본 발명의 예시적인 실시예에 따라 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 시스템을 도시하는 간략화된 블록도이다.
도 3은 본 발명의 예시적인 실시예에 따른 햅틱 효과 소프트웨어 스택의 블록도를 도시한다.
도 4는 본 발명의 다른 예시적인 실시예에 따라 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 시스템을 도시하는 간략화된 블록도이다.
도 5는 본 발명의 예시적인 실시예에 따라 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 기능성의 흐름도를 도시한다.
도 6은 본 발명의 실시예에 따른 미디어 편집 애플리케이션을 도시한다.
도 7은 본 발명의 예시적인 실시예에 따라 예상 입력 신호들과 사용자 입력 엘리먼트의 위치들을 매핑하는 기능성의 흐름도를 도시한다.
도 8은 본 발명의 실시예들과 함께 사용하기에 적합한 제어기의 기능성 블록도를 도시한다.
도 9a 및 9b는 본 발명의 실시예들과 함께 사용하기에 적합한 제어기의 상이한 도면들을 도시한다.

예시적인 실시예들은 미디어 데이터 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 기능성에 관한 것이다. 미디어 스트림은 다양한 애플리케이션들로부터 유래될 수 있고, 따라서 이러한 애플리케이션들에 대한 햅틱 효과들의 사용을 확장한다. 미디어 스트림을 수신하면, 햅틱 구동 신호가 미디어 스트림에 기초하여 생성된다. 햅틱 구동 신호는 다음으로 햅틱 출력 디바이스에서 햅틱 효과를 렌더링하는데 적용된다. 일부 구성들에서는, 미디어 스트림이 수정될 수 있다. 예를 들어, 미디어 스트림은 미디어 편집 애플리케이션에 의해 수정될 수 있다. 수정에 응답하여, 수정된 햅틱 효과가 햅틱 출력 디바이스에서 렌더링되도록 수정된 햅틱 구동 신호가 미디어 스트림에 대한 수정에 기초하여 생성될 수 있다.

다양한 실시예들에서, 디바이스를 사용하는 다양한 사용자 인터페이스들 및 방법들이 설명된다. 일부 실시예들에서, 디바이스는 휴대용 전자 디바이스(예를 들어, 게임 제어기, 콘솔, 모바일 폰, 스마트폰, 태블릿, 등)이다. 그러나, 사용자 인터페이스들 및 관련된 방법들은, 키보드, 마우스, 트랙볼 등과 같은, 하나 이상의 다른 물리적 사용자 인터페이스 디바이스를 포함할 수 있는, 퍼스널 컴퓨터들, 의료 디바이스들, 랩톱들 등과 같은, 다수의 다른 디바이스들에 적용될 수 있다는 점이 이해되어야 한다.

도 1은 본 발명의 예시적인 실시예에 따른 시스템(100)의 블록도를 도시한다.

시스템(100)은 원격 소스들로부터 데이터를 송신 및/또는 수신하도록 구성되는 통신 디바이스(110)를 포함할 수 있다. 통신 디바이스(110)는 네트워크(도시되지 않음)를 통해 프로세서(120)로부터 다른 디바이스로 전송될 데이터를 인코딩하고 프로세서(120)에 대해 네트워크를 통해 다른 시스템으로부터 수신되는 데이터를 디코딩함으로써 프로세서(120)와 다른 디바이스 사이의 접속을 가능하게 할 수 있다.

예를 들어, 통신 디바이스(110)는 무선 네트워크 통신을 제공하도록 구성되는 네트워크 인터페이스 카드를 포함할 수 있다. 적외선, 라디오, 블루투스, 와이파이, 및/또는 셀룰러 통신을 포함하는 다양한 무선 통신 기술들이 사용될 수 있다. 대안적으로, 통신 디바이스(110)는 이더넷 접속과 같은 유선 네트워크 접속(들)을 제공하도록 구성될 수 있다.

프로세서(120)는 계산을 수행하고 시스템(100)의 기능들을 제어하는 하나 이상의 범용 또는 특수 목적 프로세서들을 포함할 수 있다. 프로세서(120)는 마이크로 프로세싱 디바이스와 같은 단일 집적 회로를 포함할 수 있거나, 또는 프로세서(120)의 기능들을 달성하기 위해 협력하는 다수의 집적 회로 디바이스들 및/또는 회로 보드들을 포함할 수 있다. 또한, 프로세서(120)는 메모리(140) 내에 저장되는 운영 체제(141), 미디어 드라이버 모듈(142), 및 다른 애플리케이션들(143)은 프로그램들을 실행할 수 있다.

시스템(100)은 프로세서(120)에 의해 실행하기 위한 명령어들 및 정보를 저장하는 메모리(140)를 포함할 수 있다. 메모리(140)는 데이터를 검색하고, 제시하고, 수정하고, 저장하는 다양한 컴포넌트들을 포함할 수 있다. 예를 들어, 메모리(140)는 프로세서(120)에 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장할 수 있다. 이러한 모듈들은 시스템(100)에 대한 운영 체제 기능성을 제공하는 운영 체제(141)를 포함할 수 있다. 이러한 모듈들은 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하도록 구성되는 미디어 드라이버 모듈(142)을 더 포함할 수 있다. 이러한 미디어 스트림은 다양한 다른 애플리케이션들(143)로부터 유래할 수 있다. 따라서, 햅틱 효과가 다른 애플리케이션들(143)로 확장될 수 있다. 일부 구성들에서는, 추가적인 햅틱 효과들이 미디어 스트림에 기초하여 렌더링될 수 있도록 미디어 데이터 스트림이 수정될 수 있다. 시스템(100)에서의 다른 애플리케이션들(143)은 제어기(150)(예를 들어, 게임 패드, 웨어러블 디바이스 등)과 같은 주변기기 디바이스에 대한 제어 기능성을 제공하도록 구성되는 주변기기 펌웨어와 같은 추가 기능성을 포함할 수 있다.

비-일시적 메모리(140)는 프로세서(120)에 의해 액세스될 수 있는 다양한 컴퓨터 판독가능 매체를 포함할 수 있다. 다양한 실시예들에서, 메모리(140)는 휘발성 및 비-휘발성 매체, 분리형 및 비-분리형 매체를 포함할 수 있다. 예를 들어, 메모리(140)는 RAM(random access memory), DRAM(dynamic RAM), SRAM(static RAM), ROM(read only memory), 플래시 메모리, 및/또는 임의의 다른 타입의 비-일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 선택적으로, 또는 추가적으로, 메모리(140)는 하나 이상의 네트워크 또는 클라우드 액세스가능 저장 매체를 포함할 수 있다.

단일 시스템으로 도시되지만, 시스템(100)의 기능성은 분산형 시스템으로 구현될 수 있다. 예를 들어, 메모리(140)와 프로세서(120)는 집합적으로 시스템(100)을 포함하는 다수의 상이한 컴퓨터들에 걸쳐 분산될 수 있다. 일 실시예에서, 시스템(100)은 디바이스(예를 들어, 퍼스널 컴퓨터, 콘솔, 비디오 게임 콘솔 등)의 일부일 수 있고, 시스템(100)은 디바이스에 대한 햅틱 효과 기능성을 제공한다. 다른 실시예에서, 시스템(100)은 디바이스와 별개일 수 있고, 디바이스에 대한 전술한 기능성을 원격으로 제공할 수 있다.

시스템(100)은 제어기(150)에 동작 가능하게 접속될 수 있다. 제어기(150)는 시스템(100)에 입력을 제공하도록 구성되는 주변기기 디바이스일 수 있다. 제어기(150)는 무선 접속 또는 유선 접속을 사용하여 시스템(100)에 동작 가능하게 접속될 수 있다. 제어기(150)는 무선 접속 또는 유선 접속을 사용하여 시스템(100)과 통신하도록 구성되는 로컬 프로세서를 또한 포함할 수 있다. 대안적으로, 제어기(150)는 로컬 프로세서를 포함하지 않도록 구성될 수 있고, 제어기(150)와 관련된 모든 입력 신호들 및/또는 출력 신호들은 시스템(100)의 컴포넌트들에 의해 처리될 수 있다. 제어기(150)가 로컬 프로세서를 갖는 실시예들에서, 제어 기능성을 제공하도록 구성되는 미디어 드라이버 모듈들 및 주변기기 펌웨어와 같은 추가적 기능성이 제어기 (150) 내에 존재할 수 있다.

제어기(150)는 하나 이상의 디지털 버튼들, 하나 이상의 아날로그 버튼들, 하나 이상의 범퍼들, 하나 이상의 지향성 패드들, 하나 이상의 아날로그 또는 디지털 스틱들, 하나 이상의 드라이빙 휠들, 및/또는 사용자와 상호작용될 수 있고 시스템(100)에 입력을 제공할 수 있는 하나 이상의 사용자 입력 엘리먼트들을 더 포함할 수 있다. 제어기(150)는 사용자와 추가로 상호작용될 수 있고 시스템(100)에 추가로 입력을 제공할 수 있는 하나 이상의 아날로그 또는 디지털 트리거 버튼들(또는 "트리거들")을 또한 포함할 수 있다. 더 상세히 후술되는 바와 같이, 제어기(150)는 제어기(150)의 적어도 하나의 트리거에 양방향 푸시/풀 힘을 가하도록 구성되는 모터, 다른 타입의 액추에이터 또는 햅틱 출력 디바이스를 더 포함할 수 있다.

제어기(150)는 하나 이상의 액추에이터들, 또는 다른 타입의 햅틱 출력 디바이스들을 또한 포함할 수 있다. 제어기(150)가 로컬 프로세서를 포함하지 않는 실시예들에서 제어기(150)의 로컬 프로세서, 또는 프로세서(120)는 제어기(150)의 적어도 하나의 액추에이터에 햅틱 효과와 관련된 햅틱 신호를 송신할 수 있다. 액추에이터는, 결국, 햅틱 신호에 반응하여, 진동 촉각 햅틱 효과들, 운동 감각 햅틱 효과들, 또는 변형 햅틱 효과들과 같은 햅틱 효과들을 출력한다. 이러한 햅틱 효과들은 제어기(150)의 사용자 입력 엘리먼트(예를 들어, 디지털 버튼, 아날로그 버튼, 범퍼, 지향성 패드, 아날로그 또는 디지털 스틱, 드라이빙 휠, 또는 트리거)에서 경험될 수 있다. 대안적으로, 햅틱 효과들은 제어기(150)의 외부 표면에서 경험될 수 있다.

액추에이터는 촉각 출력 디바이스의 예이며, 촉각 출력 디바이스는 구동 신호에 응답하여 진동 촉각 햅틱 효과들, 정전기 마찰 햅틱 효과들, 온도 변동, 및/또는 변형 햅틱 효과들과 같은, 햅틱 효과들을 출력하도록 구성되는 디바이스이다 신호. 대안적인 실시예들에서, 제어기(150) 내의 하나 이상의 액추에이터들은 일부 다른 타입의 햅틱 출력 디바이스에 의해 대체될 수 있다. 이러한 햅틱 출력 디바이스는, 예를 들어, 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, ERM(eccentric rotating mass motor), HERM(harmonic ERM motor), LRA(linear resonant actuator), 압전 액추에이터, 고 대역폭 액추에이터, EAP(electroactive polymer) 액추에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 일부 경우들에서, 햅틱 출력 디바이스는 햅틱 출력 구동 회로를 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스는 단방향성 또는 양방향성일 수 있다.

제어기(150)는 하나 이상 스피커들을 더 포함할 수 있다. 제어기(150)의 로컬 프로세서 또는 제어기(150)가 로컬 프로세서를 포함하지 않는 실시예들에서의 프로세서(120)는 오디오 효과들을 결국 출력하는 제어기(150)의 적어도 하나의 스피커에 오디오 신호를 송신할 수 있다. 이러한 스피커는, 예를 들어, 다이나믹 라우드스피커, 일렉트로다이나믹 라우드스피커, 압전 라우드스피커, 자기 변형 라우드스피커, 정전 라우드스피커, 리본 및 평면 마그네틱 라우드스피커, 벤딩 웨이브 라우드스피커, 플랫 패널 라우드스피커, 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.

제어기(150)는 하나 이상의 센서들을 더 포함할 수 있다. 센서는, 이에 제한되는 것은 아니지만, 사운드, 움직임, 가속도, 생체 신호들, 거리, 흐름, 힘/압력/변형/굴곡, 습도, 선형 위치, 배향/기울기, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도와 같은, 에너지의 형태, 또는 다른 물리적 특성을 검출하도록 구성될 수 있다. 센서는 검출되는 에너지, 또는 다른 물리적 특성을 가상 센서 정보를 나타내는 전기 신호, 또는 임의의 신호로 변환하도록 추가로 구성될 수 있고, 제어기(150)는 변환된 신호를 제어기(150)의 로컬 프로세서, 또는 제어기(150)가 로컬 프로세서를 포함하지 않는 실시예들에서의 프로세서(120)에 전송할 수 있다.

도 2는 본 발명의 예시적인 실시예에 따라 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 시스템(200)을 나타내는 간략화된 블록도이다.

도 2에 도시되는 바와 같이, 시스템(200)은 하나 이상의 애플리케이션들(210)을 포함한다. 각각의 애플리케이션들(210)은 표준 또는 고유의 오디오 및/또는 비디오 스트림들과 같은 다양한 미디어 스트림들(215)을 생성할 수 있다.

미디어 스트림들(215)은 미디어 드라이버(220)에 공급된다. 미디어 스트림(215)을 수신하면, 미디어 드라이버(220)는 미디어 스트림들(215)에 기초하여 햅틱 구동 신호들(225)을 생성할 수 있다. 일부 구성들에서, 햅틱 구동 신호들(225)은 미디어 스트림들(215) 내에 내장될 수 있다. 다른 구성들에서, 햅틱 구동 신호들(225)은 실시간 또는 실질적으로 실시간으로 미디어 스트림들(215)에 기초하여 미디어 드라이버(220)에 의해 생성될 수 있다. 햅틱 구동 신호들(225)은 다음으로 제어기(230)에 전송된다.

제어기(230)에서, 햅틱 구동 신호들(225)은 하나 이상의 햅틱 출력 디바이스들(232)에 의해 실행될 수 있다. 햅틱 구동 신호들(225)을 실행함으로써, 햅틱 출력 디바이스들(232)은 햅틱 효과를 최종 사용자에게 렌더링한다.

일부 실시예들에서, 미디어 스트림들(220)은 수정될 수 있다. 예를 들어, 미디어 스트림들(215)은 미디어 편집 애플리케이션에 의해 수정될 수 있다. 이러한 수정에 응답하여, 수정된 햅틱 효과가 제어기(230) 내의 햅틱 출력 디바이스들(232)에서 렌더링되도록 미디어 스트림(215)에 대한 수정에 기초하여 수정된 햅틱 구동 신호(미도시)가 생성될 수 있다.

도 3은 본 발명의 예시적인 실시예에 따른 햅틱 효과 소프트웨어 스택(300)의 블록도를 도시한다. 도 3에 도시되는 바와 같이, 소프트웨어 스택(300)은 디바이스 모듈들(310), 주변기기 펌웨어 모듈들(320), 제어기 모듈들(330), 구동 모듈들(340), 및 럼블 구동 모듈(350)을 포함한다. 햅틱 효과 소프트웨어 스택(300)은 도 1의 시스템(100)과 같은 시스템 상에 구현된다.

디바이스 모듈들(310)은 입력 관리 코드(311), 주변기기 입력 API(application programming interface)(312), 럼블 API(313), 햅틱 효과 API(314), 직접 재생/크로스 오버(315), 트리거 엔진(316) , 공간화 엔진(317), 및 인코더(318)와 같은 다양한 입력 모듈들을 포함할 수 있다.

입력 관리 코드(311)는 디바이스 내에서 실행되는 게임 애플리케이션, 또는 다른 타입의 애플리케이션의 정황에서 제어기(330)에 의해 제공되는 입력을 관리하는 컴퓨터-판독가능 명령어들의 세트를 포함할 수 있다.

주변기기 입력 API(312)는 제어기(330)에 의해 제공되는 입력을 수신하고 관리하기 위해 게임 입력 관리 코드(311)가 주변기기 펌웨어(320)와 상호작용할 수 있게 하는 컴퓨터-판독가능 기능들 또는 루틴들의 세트를 포함할 수 있다.

럼블 API(313)는 럼블 명령어들을 제어기(330)의 하나 이상의 럼블 모터들 또는 럼블 액추에이터들(예를 들어, 도 3의 럼블 모터 L 및 럼블 모터 R)에 송신하기 위해 입력 관리 코드(311)가 주변기기 펌웨어(320)와 상호작용할 수 있게 하는 컴퓨터-판독가능 기능들 또는 루틴들의 세트를 포함할 수 있다. 또한, 럼블 명령어는 제어기(330)의 럼블 모터 또는 럼블 액추에이터로 하여금 일반적인 또는 럼블 햅틱 효과를 생성하게 할 수 있다.

햅틱 효과 API(314)(도 3에서 "API"로서 식별됨)는 햅틱 명령어들을 제어기(330)에 송신하기 위해 입력 관리 코드(311)에 액세스가능하고 입력 관리 코드(311)가 주변기기 펌웨어(320)와 상호작용할 수 있게 하는 컴퓨터 판독가능 기능들 또는 루틴들의 세트를 포함할 수 있다. 또한, 햅틱 명령어는 제어기(330)의 하나 이상의 타겟이 되는 모터들 또는 타겟이 되는 액추에이터들로 하여금 제어기(330)의 하나 이상의 사용자 입력 엘리먼트들에서 햅틱 효과를 생성하게 할 수 있다.

햅틱 효과 API(314)는 하나 이상의 햅틱 효과 정의들을 또한 저장할 수 있다. 햅틱 효과 정의는 미리 정의되고 햅틱 파일 또는 햅틱 스트림과 같은 스토리지 내에 저장될 수 있는 햅틱 신호와 같은 햅틱 데이터를 포함하고, 제어기(330)의 컴포넌트, 또는 사용자 입력 엘리먼트에서 햅틱 효과를 생성하기 위해 하나 이상의 럼블 모터들, 럼블 액추에이터들, 타겟이 되는 모터들, 또는 타겟이 되는 액추에이터들에 전송될 수 있는 데이터 구조이다. 햅틱 데이터는 대응하는 햅틱 효과의 하나 이상의 속성들을 포함할 수 있으며, 이러한 속성들은 파라미터들로서 저장될 수 있다. 햅틱 효과 정의의 예시적인 파라미터들은 진폭 파라미터, 주파수 파라미터, 파형 파라미터, 포락선 파라미터, 크기(또는 강도) 파라미터, 및 지속시간 파라미터를 포함할 수 있다.

햅틱 효과 API(314)는 게임 입력 관리 코드(311)가 직접 재생/크로스 오버(315), 트리거 엔진(316), 및 공간화 엔진(317)과 상호작용할 수 있게 하며, 게임 입력 관리 코드(311)에 의해 호출되는 요청들에 따라 직접 재생/크로스 오버(315), 트리거 엔진(316), 및 공간화 엔진(317)을 더욱 관리할 수 있다. 또한, 햅틱 효과 API(314)는 주변기기 펌웨어(320)와의 통신에 사용되고, 하나 이상의 햅틱 효과들의 생성에 사용되는 데이터를 저장할 수 있다.

직접 재생/크로스 오버(315)는 햅틱 데이터를 입력으로서 수신하고, 햅틱 데이터를 출력으로서 생성하고, 햅틱 데이터를 제어기(330)의 하나 이상의 타겟이 되는 모터들 또는 타겟이 되는 액추에이터들(예를 들어, 도 3의 모터 L 및 모터 R)에 송신할 수 있다. 일부 실시예들에서, 직접 재생/크로스오버(315)는 입력 햅틱 데이터의 포맷을 수정하지 않고 입력 햅틱 데이터를 직접 출력할 수 있다. 이것은 입력 햅틱 데이터의 "그대로(as-is)" 재생을 초래한다. 다른 실시예들에서, 직접 재생/크로스오버(315)는 입력되는 햅틱 데이터를 제1 포맷으로부터 제2 포맷으로 변환할 수 있고, 변환된 햅틱 데이터를 추가로 출력할 수 있다. 재생의 타입에 따라, 직접 재생/크로스오버(315)는 햅틱 데이터를 변환하기 위해 프로그램가능한 크로스오버를 선택적으로 사용할 수 있다. 햅틱 데이터를 변환함으로써, 디바이스 모듈들은 햅틱 효과를 해체하고, 다수의 액추에이터들에서 햅틱 효과를 재생할 수 있다.

햅틱 데이터의 포맷은 HES(haptic elementary stream) 포맷일 수 있다. HES 포맷은 디바이스에 스트리밍될 수 있는 햅틱 데이터를 나타내는 파일 또는 데이터 포맷이다. 햅틱 데이터는, 햅틱 데이터가 HES 포맷 내에서 암호화될 수 있다고 하더라도, 압축되지 않은 사운드가 표현되는 방법과 동일하거나 유사한 방식으로 표현될 수 있다.

트리거 엔진(316)은 햅틱 효과 정의와 같은 햅틱 데이터를 수신할 수 있고, 트리거 데이터(323)와 같은 사용자 입력 데이터에 기초하여 햅틱 데이터를 수정할 수 있다. 트리거 데이터는 제어기(330)의 하나 이상의 트리거들(예를 들어, 도 3의 트리거 L 및 트리거 R)의 위치 및/또는 범위를 나타내는 하나 이상의 파라미터들을 포함하는 데이터이다. 트리거 엔진(316)은 제어기(330)에 햅틱 명령어들을 더욱 송신할 수 있다. 예를 들어, 트리거 엔진(316)은 제어기(330)의 다양한 사용자 입력 엘리먼트들에 햅틱 명령어들을 송신할 수 있다. 전술된 바와 같이, 햅틱 명령어는 제어기(330)의 하나 이상의 타겟이 되는 모터들 또는 타겟이 되는 액추에이터들로 하여금 제어기(330)의 하나 이상의 사용자 입력 엘리먼트들에서 햅틱 효과를 생성하게 할 수 있다.

공간화 엔진(317)은 햅틱 데이터를 수신할 수 있고, 공간화 데이터에 기초하여 햅틱 데이터를 수정할 수 있다. 공간화 데이터는 각각의 사용자 입력 엘리먼트들에 대한 햅틱 효과들의 순서와 같은, 햅틱 효과의 원하는 방향 및/또는 흐름을 나타내는 데이터를 포함할 수 있다. 특정 실시예들에서, 공간화 엔진(317)은 입력 관리 코드(311)로부터의 방향 및/또는 흐름을 포함하는 공간화 데이터를 수신할 수 있다.

공간화 엔진(317)은 트리거 햅틱 효과와 같은 햅틱 효과가 제어기(330)의 하나 이상의 럼블 모터들, 또는 럼블 액추에이터들(예를 들어, 도 3의 럼블 모터 L 및 럼블 모터 R)에 대해 스케일링되도록 햅틱 데이터를 수정할 수 있고, 그 햅틱 효과는 제어기(330)의 하나 이상의 타겟이 되는 모터들, 또는 타겟이 되는 액추에이터들(예를 들어, 도 3에 도시되는 바와 같은 모터 L 및 모터 R)에 대해 또한 스케일링된다. 다시 말해서, 공간화 엔진(317)은, 전체 햅틱 효과의 방향 및 흐름의 느낌을 전달하기 위해, 각각의 모터 또는 액추에이터에 전송되는 햅틱 데이터를 수정하고, 따라서, 각각의 모터 또는 액추에이터에서 경험되는 햅틱 효과를 수정할 수 있다. 예를 들어, 모터 또는 액추에이터에서 경험되는 햅틱 효과를 강조하기 위해, 공간화 엔진(317)은 햅틱 효과의 하나 이상의 부분들을 스케일링할 수 있다. 예를 들어, 공간화 엔진(317)은 햅틱 효과가 경험되게 하는 모터 또는 액추에이터에 전송되는 햅틱 데이터를 스케일링할 수 있어, 햅틱 효과가 더욱 두드러지게(예를 들어, 크기, 지속시간 등이 증가하게) 한다. 추가적으로, 공간화 엔진(317)은 다른 모터들 또는 액추에이터들에 전송되는 햅틱 데이터를 스케일링할 수 있어, 이러한 모터들 또는 액추에이터들에서 경험되는 다른 햅틱 효과들이 덜 두드러지게(예를 들어, 크기, 지속시간 등이 감소되게) 할 수 있다. 일부 실시예들에서, 공간화 엔진(317)은 햅틱 데이터를 실시간으로 또는 실질적으로 실시간으로 수정할 수 있다. 또한, 일부 실시예들에서, 공간화 엔진(317)은 전체 햅틱 효과를 과장하기 위해서 입력들과 모터, 또는 액추에이터, 출력들 사이에 비-선형 관계들을 가질 수 있다.

인코더(318)는 직접 재생/크로스 오버(315), 트리거 엔진(316), 및/또는 공간화 엔진(317)으로부터 수신되는 햅틱 데이터를 포맷으로 인코딩한다. 일 실시예에서, 이러한 포맷은 HES 포맷일 수 있다. 인코더(318)는 인코딩된 햅틱 데이터를 주변기기 펌웨어(320)에 송신할 수 있다.

주변기기 펌웨어(320)는 하나 이상의 주변기기 디바이스들(예를 들어, 제어기들)에 대한 펌웨어이다. 주변기기 펌웨어(320)는 디코더 및 크로스 오버(321), 트리거 제어(322), 트리거 데이터(323), 다른 기능성(324), 및 럼블 제어(325)와 같은 다양한 모듈들을 포함할 수 있다.

디코더 및 크로스오버(321)는 인코더(318)로부터 인코딩된 햅틱 데이터를 수신할 수 있고 인코딩된 햅틱 데이터를 디코딩한다. 일부 실시예들에서, 디코더 및 크로스오버(321)는 인코딩된 햅틱 데이터를 디코딩하기 위해 프로그램가능한 크로스오버를 계산한다. 디코더 및 크로스오버(321)는 실시간으로 프로그램가능한 크로스오버를 계산할 수 있다.

트리거 제어(322)는 제어기(330)의 하나 이상의 타겟이 되는 모터들 또는 타겟이 되는 액추에이터들(예를 들어, 도 3의 모터 L 및 모터 R)에 대한 로우 레벨 제어 API이다. 트리거 제어(322)는 트리거 명령어를 수신할 수 있고, 트리거 명령어를 제어기(330)의 특정된 타겟이 되는 모터 또는 타겟이 되는 액추에이터에 대한 로우 레벨 트리거 명령어로 변환할 수 있고, 로우 레벨 트리거 명령어를 제어기(330)의 특정된 타겟이 되는 모터 또는 타겟이 되는 액추에이터에 송신할 수 있다. 로우 레벨 트리거 명령어는 특정된 타겟이 되는 모터 또는 타겟이 되는 액추에이터로 하여금 제어기(330)의 특정된 트리거에서 트리거 햅틱 효과를 생성하게 할 수 있다.

트리거 데이터(323)는, 전술된 바와 같이, 제어기(330)의 하나 이상의 트리거들(예를 들어, 도 3의 트리거 L 및 트리거 R)의 위치 및/또는 범위를 나타내는 하나 이상의 파라미터들을 포함하는 데이터이다. 트리거 데이터(323)는 주변기기 펌웨어(320)에 의해 제어기(330)로부터 수신될 수 있다. 주변기기 펌웨어(320)는 트리거 데이터(323)를 추가로 저장할 수 있고, 트리거 데이터(323)를 디바이스 모듈들(310)에 추가로 송신할 수 있다.

다른 게임패드 기능들(324)은 주변기기 펌웨어(320)에 의해 관리되는 제어기(330)의 기능들일 수 있다. 이러한 기능들은 유선/무선 통신, 입력 보고, 프로토콜 구현, 전력 관리 등과 같은 기능들을 포함할 수 있다.

럼블 제어(325)는 제어기(330)의 하나 이상의 럼블 모터들 또는 럼블 액추에이터들(예를 들어, 도 3의 럼블 모터 L 및 럼블 모터 R)에 대한 로우 레벨 제어 API이다. 럼블 제어(325)는 럼블 명령어를 수신할 수 있고, 럼블 명령어를 제어기(330)의 특정된 럼블 모터 또는 럼블 액추에이터에 대한 로우 레벨 럼블 명령어로 변환할 수 있고, 로우 레벨 트리거 명령어를 제어기(330)의 특정된 럼블 모터 또는 럼블 액추에이터에 송신할 수 있다.

미디어 드라이버 모듈(326)은 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하도록 구성되는 펌웨어 모듈이다. 미디어 스트림은 도 1의 시스템(100)과 같은 시스템에서 실행되는 다양한 다른 애플리케이션들로부터 유래할 수 있다. 수신 미디어 스트림을 수신하는 것에 응답하여, 미디어 드라이버 모듈(326)은 미디어 스트림에 기초하여 햅틱 구동 신호들을 생성할 수 있다. 이러한 햅틱 구동 신호는 제어기(330)의 하나 이상의 햅틱 출력 디바이스(들)에 의해 실행될 수 있다.

제어기(330)는 트리거 L 및 트리거 R을 포함할 수 있다. 제어기(330)는 기어 박스 L 및 기어 박스 R과, 모터 L 및 모터 R을 더 포함할 수 있다. 모터 L 및 기어박스 L은 제어기(330) 내에서 L을 트리거하도록 동작 가능하게 연결된다. 유사하게, 모터 R 및 기어박스 R은 제어기(330) 내에서 R을 트리거하도록 동작 가능하게 연결된다. 모터 L이 트리거 명령어를 수신할 때, 모터 L 및 기어박스 L은 집합적으로 트리거 햅틱 효과가 트리거 L에서 경험되게 할 수 있다. 유사하게, 모터 R이 트리거 명령어를 수신할 때, 모터 R 및 기어박스 R은 집합적으로 트리거 햅틱 효과가 트리거 R에서 경험되게 할 수 있다. 주변기기 펌웨어(320)는 구동 전자기기들(340)을 사용하여 트리거 명령어들을 제어기(330)의 모터 L 및 모터 R에 송신할 수 있다.

제어기(330)는 전위차계 L 및 전위차계 R을 더 포함할 수 있다. 전위차계 L은 트리거 L의 위치 및/또는 범위를 검출할 수 있고, 검출된 트리거 L의 위치 및/또는 범위를 트리거 데이터로서 주변기기 펌웨어(320)에 추가로 송신할 수 있다. 유사하게, 전위차계 R은 트리거 R의 위치 및/또는 범위를 검출할 수 있고, 검출된 트리거 R의 위치 및/또는 범위를 트리거 데이터로서 주변기기 펌웨어(320)에 추가로 송신할 수 있다.

제어기(330)는 럼블 모터 L 및 럼블 모터 R을 더 포함할 수 있다. 럼블 모터 L이 럼블 명령어를 수신할 때, 럼블 모터 L은 햅틱 효과가 제어기(330)의 좌측 컴포넌트를 따라 경험되게 한다. 유사하게, 럼블 모터 R이 럼블 명령어를 수신할 때, 럼블 모터 R은 햅틱 효과가 제어기(330)의 우측 컴포넌트를 따라 경험되게 한다. 주변기기 펌웨어(320)는 럼블 구동 전자기기들(350)을 사용하여 럼블 명령어들을 럼블 모터 L 및 럼블 모터 R에 송신할 수 있다.

도 4는 본 발명의 다른 예시적인 실시예에 따라 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 시스템(400)을 도시하는 간략화된 블록도이다. 도 4에 도시되는 바와 같이, 시스템(400)은 미디어 스트림(들)(410), 햅틱 출력 드라이버(420), 및 제어기(430)를 포함한다.

시스템(400)에 대한 입력으로서, 하나 이상의 애플리케이션(들)은 오디오 및/또는 비디오 스트림들과 같은 다양한 미디어 스트림(들)(410)을 생성할 수 있다. 미디어 스트림들(420)은 햅틱 출력 드라이버(420)에 의해 검색된다. 햅틱 출력 드라이버(420)는 미디어 스트림(들)(410)에 기초하여 햅틱 구동 신호를 생성하고 추가로 취급하기 위해 다양한 컴포넌트들을 포함할 수 있다. 도 4에 도시되는 예시적인 구성에서, 햅틱 출력 드라이버(420)는 미디어 스플리터(421), 햅틱 데이터 변환기(422), 프로토콜 매니저(423), XPC("Inter Process Communication") 핸들러(424), 및 XPC 서비스(425)를 포함할 수 있다.

햅틱 출력 드라이버(420) 내에서, 미디어 스플리터(421)는 입력되는 미디어 스트림(들)(410)을 수신한다. 예를 들어, 미디어 스트림(들)(410)은 인터리빙된 멀티 채널(예를 들어, 6개 채널들) 오디오 스트림을 포함할 수 있다. 스플리터 블록(421)은 인터리빙된 오디오 스트림과 같은 미디어 스트림(들)(410)을 디-인터리빙하고, 다양한 채널들의 오디오 데이터를 각각의 채널 버퍼들(도시되지 않음) 내로 분리하도록 구성된다.

채널 버퍼들 내에 미디어 스트림 컴포넌트들의 저장시, 햅틱 변환기(422)는 미디어 스트림(들)(410)에 기초하여 햅틱 구동 신호들을 생성할 수 있다. 일부 실시예들에서, 햅틱 변환기(422)는 하나 이상의 피크 검출 알고리즘들(예를 들어, 피크 진폭 또는 주파수)에 기초하여 햅틱 구동 신호들을 생성한다. 대안적으로, 또는 추가적으로, 햅틱 변환기(422)는 햅틱 출력 디바이스들과 관련된 사용자 입력 엘리먼트들의 위치들에 기초하여 햅틱 구동 신호들을 생성한다. 여기서, 햅틱 출력 디바이스들은 관련된 사용자 입력 엘리먼트들이 하나 이상의 미리 결정된 위치 값들에 배치되면 활성화될 수 있다.

일부 경우들에서, 피크 검출 알고리즘은 햅틱 출력 디바이스들의 업데이트 레이트에 기초하여 미디어 스트림을 세그먼트들로 분할할 수 있다. 예를 들어, 1ms 세그먼트들은 1ms의 업데이트 레이트를 갖는 햅틱 출력 디바이스에 사용될 수 있다. 각각의 세그먼트 내에서, 피크 값이 식별된다. 식별된 피크 값은 다음으로 햅틱 출력 디바이스들의 동작 특성들에 기초하여 대응하는 햅틱 구동 값으로 변환될 수 있다. 예를 들어, 16비트 PCM(pulse code modulation) 오디오 스트림은 [-32768, 32767] 범위 내의 데이터 값들을 포함할 수 있다. 이러한 예에서, 일정한 최대 강도 오디오 스트림은 "32767" 값들의 스트림을 포함할 수 있다. 오디오 대 햅틱 데이터 변환 동안, 오디오 스트림 값들은 햅틱 구동 신호 값들로 변환될 수 있다. 예로 돌아가서, 32767의 최대 오디오 강도 값은 255의 햅틱 구동 값으로 변환될 수 있다.

후속하여, 프로토콜 관리자(423)는 호스트 디바이스 및 제어기(430)와 관련된 하나 이상의 표준화된 또는 고유의 프로토콜들에 따라 햅틱 구동 신호들을 인코딩할 수 있다. XPC 핸들러(424)는 XPC 서비스(425)와 인터페이스하도록 구성될 수 있는 통신 핸들러이다. 이러한 예시적인 구성에서, XPC 서비스(425)는 입력 패킷들(426)에서 인코딩된 구동 신호들을 수신하고, USB("Universal Serial Bus") 통신 핸들러(427)는 인코딩된 햅틱 구동 신호들을 USB 호환 포맷으로 제어기(430)에 송신한다.

시스템(400)의 모듈러 아키텍처를 구현함으로써, 햅틱 효과들을 생성하도록 본래 설계되지 않은 애플리케이션들을 포함하는 임의의 애플리케이션으로부터 유래하는 미디어 스트림이 햅틱 효과들을 생성하는데 사용될 수 있다. 따라서, 햅틱 효과들은 임의의 수의 애플리케이션들로 확장될 수 있다. 일부 경우들에서는, 햅틱 효과들을 렌더링하는데 다수 애플리케이션들로부터 유래하는 미디어 스트림들이 사용될 수 있다. 또한, 햅틱 효과들은 다수의 디바이스들에서 렌더링될 수 있다.

도 5는 본 발명의 예시적인 실시예에 따라 미디어 스트림에 기초하여 렌더링되는 햅틱 효과를 제공하는 기능성의 흐름도를 도시한다. 일부 구성들에서, 도 5(및 하기 도 7)의 흐름도의 기능성은 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체에 저장되는 소프트웨어에 의해 구현될 수 있고, 프로세서에 의해 실행될 수 있다. 다른 실시예들에서, 이러한 기능성은 하드웨어(예를 들어, ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등), 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.

처음에, 기능성(500)은, 510에서, 다양한 애플리케이션들로부터 유래할 수 있는 미디어 스트림을 수신한다. 햅틱 효과들을 생성하도록 본래 설계되지 않은 애플리케이션들을 포함하는, 임의 수의 애플리케이션들로부터 미디어 스트림(500)을 수신함으로써, 햅틱 효과들의 사용은 이러한 애플리케이션들로 확장될 수 있다.

미디어 스트림을 수신하면, 520에서, 미디어 스트림에 기초하여 햅틱 구동 신호가 생성된다. 일부 구성들에서, 햅틱 구동 신호는 미디어 스트림 내에 내장될 수 있다. 대안적으로, 또는 추가적으로, 햅틱 구동 신호는 미디어 스트림의 하나 이상의 특성들(예를 들어, 진폭, 주파수 등)에 기초하여, 미디어 드라이버 모듈들에 의해, 생성될 수 있다. 또 다른 구성에서는, 효과 파일을 사용하여 미디어 스트림들을 햅틱 데이터로 변환하는 오프라인 햅틱 변환기가 사용될 수 있다. 다음으로 효과 파일은 호스트 디바이스에 저장되는 햅틱 재생 애플리케이션을 사용하여 햅틱 출력 디바이스들에서 햅틱 효과를 렌더링하는데 사용될 수 있다. 여기서, 햅틱 구동 신호들은 실시간으로 또는 실질적으로 실시간으로 생성될 수 있다. 다음으로, 530에서, 햅틱 출력 디바이스에 의해 햅틱 구동 신호가 실행되어 햅틱 효과를 최종 사용자에게 렌더링한다.

일부 구성들에서, 미디어 스트림은 수정될 수 있다. 예를 들어, 미디어 데이터 스트림은 햅틱 효과 설계자에 의해 사용되는 미디어 편집 애플리케이션에 의해 수정될 수 있다. 540에서, 수정된 미디어 스트림이 수신될 수 있다. 수정에 응답하여, 550에서, 수정된 미디어 스트림에 기초하여 수정된 햅틱 구동 신호가 생성될 수 있다. 마지막으로, 560에서, 수정된 햅틱 효과가 햅틱 출력 디바이스에서 렌더링된다.

도 6은 본 발명의 예시적인 실시예에 따른 미디어 편집 애플리케이션(600)을 도시한다.

도 6에 도시되는 바와 같이, 미디어 편집 애플리케이션(600)은 메뉴 보기(610), 미디어 스트림 보기(620), 및 햅틱 효과 보기(630)와 같은 복수의 섹션들을 포함할 수 있다. 미디어 스트림 보기(620) 내에는, 예를 들어, 오디오 스트림과 같은 미디어 스트림의 진폭 및/또는 주파수가 도시될 수 있다. 다른 예(도시되지 않음)에서, 비디오 스트림의 밝기 또한 그래픽으로 묘사될 수 있다. 하나 이상의 피크 검출 알고리즘들을 사용하여, 햅틱 효과들은 미리 결정된(예를 들어, 높은) 진폭들, 주파수들, 밝기들, 또는 다른 미디어 스트림 특성들을 갖는 시간들에 렌더링될 수 있다. 이러한 햅틱 효과들은 햅틱 효과 보기(630) 내에 추가, 삭제, 및/또는 수정될 수 있다.

도 7은 본 발명의 예시적인 실시예에 따라 예상 입력 신호들과 사용자 입력 엘리먼트의 위치들을 매핑하는 기능성(700)의 흐름도를 도시한다.

처음에, 710에서, 제어기의 사용자 입력 엘리먼트들이 초기화될 수 있다. 여기서, 기능성(700)은 사용자 입력 엘리먼트들에 대한 위치 및 범위 정보를 초기에 설정할 수 있다. 일부 경우들에서, 이러한 값들은 사용자 입력 디바이스의 최대 출력 위치로부터 접지 위치로의 이동에 기초하여 계산될 수 있다.

다음으로, 기능성(700)은, 720에서, 사용자 입력 엘리먼트들에 대한 프로파일들을 결정하고 저장한다. 결정된 프로파일들은 사용자 입력 디바이스의 각각의 위치를 ADC(analog to digital conversion) 값에 매핑할 수 있다. 예를 들어, 720의 결정된 프로파일은 사용자 입력 디바이스의 각각의 위치를 0과 255 사이의 ADC 값에 매핑할 수 있다.

결정된 프로파일들은 증가하는 프로파일 또는 감소하는 프로파일 중 하나를 이용할 수 있다. 예를 들어, 증가하는 프로파일은 사용자 입력 값의 위치가 8 비트 ADC 데이터로부터 판독될 때 값 [0,255]를 생성할 것이다. 유사하게, 감소하는 프로파일은 8 비트 ADC 데이터로부터 판독될 때 값 [255,0]을 생성할 것이다.

후속하여, 기능성(700)은, 730에서, 사용자 입력 디바이스의 각각의 위치에 대해 예상되는 입력 신호를 결정하고 저장한다. 일부 경우들에서, 사용자 입력 값들의 범위는 예상되는 입력 신호들과 관련될 수 있다.

일부 경우들에서, 사용자 입력 엘리먼트들의 정지 위치는 상이한 시간들에서 변할 수 있다. 예를 들어, 다양한 사용자 입력 디바이스들의 사용 후, 사용자 입력 디바이스 중 일부는 사용자 상호작용이 제거될 때 동일한 정지 위치로 복귀하지 않을 수 있다. 이러한 경우들에서, 기능성(700)은, 740에서, 이러한 사용자 입력 엘리먼트들에 대해 결정되는 프로파일 및 예상되는 사용자 입력 값들을 조정할 수 있다. 따라서, 변경된 정지 위치(들)는 사용자 입력 엘리먼트들의 위치를 모니터링하면서 고려될 수 있다.

도 8은 본 발명의 실시예와 함께 사용하기에 적합한 제어기(800)의 기능 블록도를 도시한다.

도 8에 도시되는 바와 같이, 제어기(800)는 하나 이상의 다양한 사용자 입력 엘리먼트들을 포함할 수 있다. 사용자 입력 엘리먼트는 호스트 컴퓨터(804)와 상호작용하도록 사용자에 의해 조작되는 임의의 인터페이스 디바이스를 지칭할 수 있다. 예시적인 사용자 입력 엘리먼트들은 아날로그 또는 디지털 조이 스틱(810), 버튼(814), 트리거(818) 등을 포함한다. 관련분야에서의 통상의 기술자에 의해 이해되는 바와 같이, 각각의 사용자 입력 엘리먼트 중 하나 이상이 제어기(800) 상에 포함될 수 있다. 예를 들어, 트리거(818)의 현재 설명이 제어기(800)를 단일 트리거에 제한하는 것은 아니다. 유사하게, 관련분야에서의 통상의 기술자는 다수의 아날로그 또는 디지털 스틱들, 버튼들, 및 다른 사용자 입력 엘리먼트들이 사용될 수 있다는 점을 이해한다.

제어기(800)는 로컬 프로세서(808)를 포함할 수 있다. 로컬 프로세서(808)는 접속(805)을 통해 호스트 컴퓨터(804)와 명령들 및 데이터를 교환할 수 있다. 접속(805)은 관련분야에서의 기술자에게 알려진 하나 이상의 통신 프로토콜들을 사용하는 유선 또는 무선 접속일 수 있다. 일부 경우들에서, 제어기(800)는 로컬 프로세서(808)을 포함하지 않도록 대안적으로 구성될 수 있다. 여기서, 제어기(800)로부터의 입력/출력 신호들은 호스트 컴퓨터(804)에 의해 직접 취급 및 처리될 수 있다. 호스트 컴퓨터(804)는 게임 디바이스 콘솔일 수 있고, 디스플레이 디바이스(806)는 이러한 게임 디바이스 콘솔에 동작 가능하게 연결되는 스크린일 수 있다. 일부 경우들에서, 호스트 컴퓨터(804) 및 디스플레이 디바이스(806)는 단일 디바이스로 조합될 수 있다.

제어기(800)는 그 사용자 입력 엘리먼트들 각각을 직접 구동하기 위해 타겟이 되는 액추에이터들(812, 816, 820)(예를 들어, 모터들)뿐만 아니라 사용자의 손이 일반적으로 위치되는 위치에서 하우징(802)에 동작 가능하게 연결되는 하나 이상의 범용 또는 럼블 액추에이터들(822, 824)을 포함할 수 있다. 보다 구체적으로, 아날로그 또는 디지털 스틱(810)은 거기에 동작 가능하게 연결되는 타겟이 되는 액추에이터 또는 모터(812)를 포함하고, 버튼(814)은 거기에 동작 가능하게 연결되는 타겟이 되는 액추에이터 또는 모터(816)를 포함하며, 트리거(818)는 거기에 동작 가능하게 연결되는 타겟이 되는 액추에이터 또는 모터(820)를 포함한다. 복수의 타겟이 되는 액추에이터들에 추가하여, 제어기(800)는 그 사용자 입력 엘리먼트들의 각각에 동작 가능하게 연결되는 위치 센서를 포함한다. 보다 구체적으로, 아날로그 또는 디지털 스틱(810)은 거기에 동작 가능하게 연결되는 위치 센서(811)를 포함하고, 버튼(814)은 거기에 동작 가능하게 연결되는 위치 센서(815)를 포함하며, 트리거(818)는 거기에 동작 가능하게 연결되는 위치 센서(819)를 포함한다. 로컬 프로세서(808)는 타겟이 되는 액추에이터들(812, 816, 820)뿐만 아니라 아날로그 또는 디지털 스틱(810), 버튼(814), 및 트리거(818)의 위치 센서들(811, 815, 819) 각각에 동작 가능하게 연결된다. 위치 센서들(811, 815, 819)로부터 수신되는 신호들에 응답하여, 로컬 프로세서(808)는 타겟이 되는 액추에이터들(812, 816, 820)에게 아날로그 또는 디지털 스틱(810), 버튼(814) 및 트리거(818)에 각각 지향되거나 또는 타겟이 되는 운동 감각 효과들을 제공할 것을 지시한다. 이러한 타겟이 되는 운동 감각 효과들은 제어기의 전체 본체를 따라서 범용 액추에이터들(822, 824)에 의해 생성되는 범용 또는 럼블 햅틱 효과들로부터 인식 가능하거나 구별 가능하다. 집합적 햅틱 효과들은 다수의 양상들이 동시에 맞물리고 있는 바와 같이 사용자에게 게임에 대한 더 큰 몰입감을 제공한다(예를 들어, 비디오, 오디오 및 햅틱들).

도 9a 및 9b는 본 발명의 실시예들과 함께 사용하기에 적합한 제어기(900)의 상이한 도면들을 도시한다. 도 9a 및 도 9b에 도시되는 바와 같이, 제어기(900)는 하우징(902), 아날로그 또는 디지털 조이 스틱(910), 버튼(들)(914), 트리거(918), 및 럼블 액추에이터들(922 및 924)과 같은 다양한 컴포넌트들을 포함할 수 있다.

하우징(902)은 제어기(900)의 사용자 파지를 용이하게 수용하도록 형성된다. 제어기(900)는 제어기의 예시적인 실시예이며, 본 발명의 실시예들은 다른 제어기 형상들에 용이하게 적용될 수 있다.

따라서, 본 발명의 실시예들은 햅틱 효과들의 사용을 다수의 애플리케이션들에 확장시킨다. 또한, 본 발명의 실시예들은 햅틱 효과 설계자들이 이러한 애플리케이션들로부터 유래하는 미디어 스트림들에 기초하여 생성되는 햅틱 효과들을 테스트 및/또는 수정하기 위한 플랫폼을 추가로 제공한다.

관련분야에서의 통상의 기술자는 위에 논의된 바와 같은 본 발명이 개시되는 것들과는 상이한 순서에 있는 단계들로 및/또는 상이한 구성들에 있는 엘리먼트들로 실시될 수 있다는 점을 용이하게 이해할 것이다. 따라서, 본 발명이 이러한 바람직한 실시예들에 기초하여 설명되었지만, 관련분야에서의 기술자들에게는, 특정 수정들, 변경들, 및 대안적 구성들이 본 발명의 사상 및 범주 내에 있으면서 명백하다는 사실이 명백할 것이다. 따라서, 본 발명의 경계를 결정하기 위하여는, 첨부 청구항들에 대한 참조가 이루어져야 한다.

Claims

미디어 데이터 스트림에 기초하여 렌더링되는 햅틱 효과를 수정하는 방법으로서,
상기 미디어 데이터 스트림을 수신하는 단계;
상기 미디어 데이터 스트림에 기초하여 햅틱 구동 신호를 생성하는 단계;
상기 햅틱 구동 신호를 적용하여 햅틱 출력 디바이스에서 상기 햅틱 효과를 렌더링하는 단계;
수정된 미디어 데이터 스트림을 수신하는 단계;
상기 수정된 미디어 데이터 스트림에 기초하여 수정된 햅틱 구동 신호를 생성하는 단계; 및
상기 수정된 햅틱 구동 신호를 적용하여 상기 햅틱 출력 디바이스에서 수정된 햅틱 효과를 렌더링하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 미디어 데이터 스트림은 오디오 데이터 스트림을 포함하는 방법.
제1항에 있어서,
상기 미디어 데이터 스트림은 오디오 및 비디오 데이터 스트림들을 포함하는 방법.
제1항에 있어서,
상기 미디어 데이터 스트림은 인터리빙된 멀티-채널 오디오 스트림을 포함하는 방법.
제1항에 있어서,
상기 햅틱 출력 디바이스는 제어기 또는 게임 패드를 포함하는 주변기기 디바이스에 배치되는 방법.
제1항에 있어서,
상기 햅틱 효과는 주변기기 디바이스의 사용자 입력 엘리먼트에서 렌더링되는 방법.
제1항에 있어서,
상기 햅틱 효과는 주변기기 디바이스의 트리거 엘리먼트에서 렌더링되는 방법.
제1항에 있어서,
상기 수정된 미디어 데이터 스트림은 미디어 편집 애플리케이션에 의해 생성되는 방법.
디바이스로서,
프로세서; 및
상기 프로세서에 의한 실행을 위한 프로그램을 저장하는 메모리를 포함하고, 상기 프로그램은,
미디어 데이터 스트림을 수신하고;
상기 미디어 데이터 스트림에 기초하여 햅틱 구동 신호를 생성하고;
상기 햅틱 구동 신호를 적용하여 햅틱 출력 디바이스에서 햅틱 효과를 렌더링하고;
수정된 미디어 데이터 스트림을 수신하고;
상기 수정된 데이터 스트림에 기초하여 수정된 햅틱 구동 신호를 생성하고;
상기 수정된 햅틱 구동 신호를 적용하여 상기 햅틱 출력 디바이스에서 수정된 햅틱 효과를 렌더링하기 위한 명령어들을 포함하는 디바이스.
제9항에 있어서,
상기 미디어 데이터 스트림은 오디오 데이터 스트림을 포함하는 디바이스.
제9항에 있어서,
상기 미디어 데이터 스트림은 오디오 및 비디오 데이터 스트림들을 포함하는 디바이스.
제9항에 있어서,
상기 미디어 데이터 스트림은 인터리빙된 멀티-채널 오디오 스트림을 포함하는 디바이스.
제9항에 있어서,
상기 햅틱 출력 디바이스는 제어기 또는 게임 패드를 포함하는 주변기기 디바이스에 배치되는 디바이스.
제9항에 있어서,
상기 햅틱 효과는 주변기기 디바이스의 사용자 입력 엘리먼트에서 렌더링되는 디바이스.
제9항에 있어서,
상기 햅틱 효과는 주변기기 디바이스의 트리거 엘리먼트에서 렌더링되는 디바이스.
제9항에 있어서,
상기 수정된 미디어 데이터 스트림은 미디어 편집 애플리케이션에 의해 생성되는 디바이스.
프로세서에 의해 실행되도록 구성되는 프로그램을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 프로그램은,
미디어 데이터 스트림을 수신하고;
상기 미디어 데이터 스트림에 기초하여 햅틱 구동 신호를 생성하고;
상기 햅틱 구동 신호를 적용하여 햅틱 출력 디바이스에서 햅틱 효과를 렌더링하고;
수정된 미디어 데이터 스트림을 수신하고;
상기 수정된 데이터 스트림에 기초하여 수정된 햅틱 구동 신호를 생성하고;
상기 수정된 햅틱 구동 신호를 적용하여 상기 햅틱 출력 디바이스에서 수정된 햅틱 효과를 렌더링하기 위한 명령어들을 포함하는 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 미디어 데이터 스트림은 오디오 데이터 스트림을 포함하는 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 미디어 데이터 스트림은 오디오 및 비디오 데이터 스트림들을 포함하는 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 미디어 데이터 스트림은 인터리빙된 멀티-채널 오디오 스트림을 포함하는 컴퓨터 판독가능 저장 매체.
제17항에 있어서, 상기 햅틱 출력 디바이스는 제어기 또는 게임 패드를 포함하는 주변기기 디바이스에 배치되는 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 햅틱 효과는 주변기기 디바이스의 사용자 입력 엘리먼트에서 렌더링되는 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 햅틱 효과는 주변기기 디바이스의 트리거 엘리먼트에서 렌더링되는 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 수정된 미디어 데이터 스트림은 미디어 편집 애플리케이션에 의해 생성되는 컴퓨터 판독가능 저장 매체.