KR20170037530A - 오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법 - Google Patents

오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법 Download PDF

Info

Publication number
KR20170037530A
KR20170037530A KR1020160120533A KR20160120533A KR20170037530A KR 20170037530 A KR20170037530 A KR 20170037530A KR 1020160120533 A KR1020160120533 A KR 1020160120533A KR 20160120533 A KR20160120533 A KR 20160120533A KR 20170037530 A KR20170037530 A KR 20170037530A
Authority
KR
South Korea
Prior art keywords
haptic
audio
output device
processor
output
Prior art date
Application number
KR1020160120533A
Other languages
English (en)
Inventor
윌리엄 린
데이비드 번바움
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170037530A publication Critical patent/KR20170037530A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)

Abstract

시스템은 프로세서, 오디오 디스플레이, 및 햅틱 출력 디바이스를 포함하는 햅틱 주변기기를 포함한다. 오디오 디스플레이는 스피커 및 헤드폰 커넥터를 포함한다. 햅틱 출력 디바이스는 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호에 응답하여 햅틱 효과를 햅틱 주변기기에 출력하도록 구성된다. 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성되고, 따라서 오디오 디스플레이가 헤드폰 커넥터를 통해 오디오를 출력하기 위해 오디오 출력 액세서리에 접속되는 경우 햅틱 출력 디바이스가 제1 햅틱 효과를 생성하고 적용하며, 오디오 디스플레이가 스피커를 통해 오디오를 출력하기 위해 오디오 출력 액세서리에 접속되지 않는 경우 햅틱 출력 디바이스가 제2 햅틱 효과를 생성하고 적용하게 된다.

Description

오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법{PROGRAMMABLE HAPTIC DEVICES AND METHODS FOR MODIFYING HAPTIC EFFECTS TO COMPENSATE FOR AUDIO-HAPTIC INTERFERENCE}
본 명세서의 실시예들은 햅틱 효과들 또는 피드백을 제공하기 위한 시스템들 및 방법들에 관한 것이다.
비디오 게임과 가상현실 시스템은 캐주얼 게이머들을 향한 마케팅과 그들의 참여 덕분에 더 많은 인기를 얻게 되었다. 통상적인 구현에서, 컴퓨터 시스템은 디스플레이 디바이스 상에서 사용자에게 시각적 또는 그래픽 환경을 표시한다. 사용자들은 제어기 또는 주변 디바이스로부터의 커맨드들 또는 데이터를 입력함으로써 표시된 환경과 상호 작용할 수 있다. 컴퓨터는 조이스틱 핸들과 같은 움직이는 조작부(moved manipulandum)의 사용자 조작에 응답하여 환경을 업데이트하고, 디스플레이 화면을 이용하여 사용자에게 시각적 피드백을 제공한다.
종래의 비디오 게임 디바이스들 또는 제어기들은 시각적 및 청각적 큐(cue)들을 이용하여 피드백을 사용자에 제공한다. 일부 제어기 또는 주변 디바이스에서는, (활성 및 저항 햅틱 피드백과 같은) 운동 감각 피드백(kinesthetic feedback) 및/또는 (진동, 질감 및 열과 같은) 촉각 피드백(tactile feedback)이 또한 사용자에 제공되며, 이것은 집합적으로 "햅틱 피드백" 또는 "햅틱 효과들"로서 더 일반적으로 알려져 있다. 햅틱 피드백은 사용자 제어기 또는 주변 디바이스를 강화하고 단순화하는 큐들을 제공할 수 있다. 예를 들어, 진동 효과들 또는 진동 촉각 햅틱 효과들은 특정 이벤트들을 사용자에게 경고하기 위해 큐들을 전자 디바이스들의 사용자들에 제공하는 데 유용할 수 있거나, 시뮬레이트된 또는 가상 환경 내에서 더 큰 감각 몰입을 일으키도록 실제적인 피드백을 제공할 수 있다. 게이밍 및 다른 디바이스에 대한 종래의 햅틱 피드백 시스템들은 일반적으로 제어기/주변기기의 하우징에 부착되어 햅틱 피드백을 생성하는 액추에이터를 포함한다. 보다 구체적으로, 제어기 또는 주변 디바이스의 모터들 또는 다른 액추에이터들은 제어기 내에 하우징되고, 제어 컴퓨터 시스템에 접속된다. 컴퓨터 시스템은 제어기 또는 주변 디바이스로부터 센서 신호들을 수신하고, 적절한 햅틱 피드백 제어 신호들을 액추에이터들에 송신한다. 그 후, 액추에이터들은 햅틱 피드백을 제어기에 제공한다. 따라서, 컴퓨터 시스템은 다른 시각 및 청각 피드백과 함께 물리적 감각을 사용자에 전달할 수 있다.
사용자에 대해 더 몰입적이고 즐거운 경험을 제공하기 위해 이전에 이용 가능하지 않았던 햅틱 효과들의 변형을 제공하는 햅틱 피드백 시스템들이 필요하게 되었다.
본 명세서의 실시예들은 프로세서, 오디오 디스플레이, 및 햅틱 주변기기를 포함하는 시스템에 관한 것이다. 오디오 디스플레이는 오디오 출력 디바이스를 포함한다. 햅틱 주변기기는 햅틱 출력 디바이스를 포함하며, 햅틱 출력 디바이스는 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호에 응답하여 햅틱 효과를 햅틱 주변기기에 출력하도록 구성된다. 프로세서는 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭과 연관된 검출된 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성되고, 따라서 검출된 상태가 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭 없음 또는 최소 간섭을 나타내는 제1 상태를 나타내는 경우 햅틱 출력 디바이스가 제1 햅틱 효과를 생성하고 적용하며, 검출된 상태가 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭을 나타내는 제2 상태를 나타내는 경우 햅틱 출력 디바이스가 제2 햅틱 효과를 생성하고 적용하게 된다. 제1 햅틱 효과는 제2 햅틱 효과와 상이하다.
본 명세서의 실시예들은 또한, 프로세서, 스피커 및 헤드폰 커넥터를 포함하는 오디오 디스플레이, 및 햅틱 출력 디바이스를 포함하는 햅틱 주변기기를 포함하는 시스템에 관한 것이다. 햅틱 출력 디바이스는 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호에 응답하여 햅틱 효과를 햅틱 주변기기에 출력하도록 구성된다. 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성되고, 따라서 오디오 디스플레이가 헤드폰 커넥터를 통해 오디오를 출력하기 위해 오디오 출력 액세서리에 접속되는 경우 햅틱 출력 디바이스가 제1 햅틱 효과를 생성하고 적용하며, 오디오 디스플레이가 스피커를 통해 오디오를 출력하기 위해 오디오 출력 액세서리에 접속되지 않는 경우 햅틱 출력 디바이스가 제2 햅틱 효과를 생성하고 적용하게 된다. 제1 햅틱 효과는 제2 햅틱 효과와 상이하다.
또한, 본 명세서의 실시예들은 프로세서, 오디오 디스플레이, 및 햅틱 출력 디바이스를 포함하는 햅틱 주변기기를 포함하는 시스템에 관한 것이다. 오디오 디스플레이는 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호에 응답하여 오디오를 출력하도록 구성된다. 햅틱 출력 디바이스는 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호에 응답하여 햅틱 효과를 햅틱 주변기기에 출력하도록 구성된다. 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호 또는 오디오 디스플레이를 위한 제어 신호를 변경하도록 구성된다.
본 발명의 전술한 특징 및 다른 특징과 이점들은 첨부된 도면에 예시된 실시예의 다음의 설명으로부터 명백해질 것이다. 본 명세서에 포함되며 본 명세서의 일부를 형성하는 첨부 도면들은 또한, 본 발명의 원리들을 설명하는 역할을 할 것이며, 관련 기술 분야의 통상의 기술자들이 본 발명을 만들고 사용할 수 있게 해 준다. 도면들은 축척대로 그려진 것은 아니다.
도 1은 본 명세서의 일 실시예에 따른 햅틱 피드백을 햅틱 주변기기에 제공하기 위한 시스템의 블록도이다.
도 2는 도 1의 시스템의 개략도로서, 햅틱 주변기기는 햅틱 조이스틱이다.
도 3 및 도 4는 본 명세서의 일 실시예에 따른 햅틱 주변기기의 사시도로서, 햅틱 주변기기는 핸드헬드 게이밍 제어기이다.
도 5는 도 3 및 도 4의 게이밍 제어기의 블록도를 도시한다.
도 6은 본 명세서의 일 실시예에 따른 햅틱 피드백을 햅틱 주변기기에 제공하기 위한 시스템의 사시도로서, 햅틱 주변기기는 태블릿 컴퓨터와 함께 사용될 수 있는 게이밍 태블릿 제어기이다.
도 7은 도 6의 시스템의 블록도를 도시한다.
도 8은 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도로서, 렌더링된 햅틱 효과들은 오디오 출력 액세서리 접속성 상태에 따라 달라진다.
도 9는 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도로서, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 오디오 디스플레이의 검출된 세팅에 따라 달라지고, 검출된 세팅은 볼륨 레벨이다.
도 10은 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도로서, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 오디오 디스플레이의 검출된 세팅에 따라 달라지고, 검출된 세팅은 전력 상태이다.
도 11은 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도로서, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 햅틱 주변기기의 미리 결정된 속성에 따라 달라지고, 미리 결정된 속성은 햅틱 출력과 오디오 출력 간의 간섭과 관련된다.
도 12는 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도로서, 렌더링된 햅틱 효과들은 햅틱 출력과 오디오 출력 간의 간섭과 연관된 검출된 상태에 따라 달라진다.
이하에서는 본 발명의 특정 실시예들이 도면을 참조하여 설명되고, 동일 참조 번호들은 동일하거나 또는 기능적으로 유사한 요소들을 나타낸다. 이하의 상세한 설명은 사실상 단지 예일 뿐이며, 본 발명 또는 본 발명의 애플리케이션 및 이용들을 제한하려는 것은 아니다. 또한, 상기 기술 분야, 발명의 배경이 되는 기술, 발명의 내용 또는 이하의 상세한 설명에서 제시된 임의의 표현된 또는 암시된 이론에 의해서도 한정되게 하려는 의도는 없다. 또한, 다음의 설명은 주로 게이밍 디바이스들 및 게이밍 디바이스들을 위한 제어기에 관한 것이지만, 본 기술 분야의 통상의 기술자는 그 설명이 다른 가상현실 시스템들 및 가상현실 시스템들을 위한 주변기기에 동등하게 적용된다는 것을 인식할 것이다.
본 명세서의 실시예들은 프로세서, 오디오 디스플레이, 및 햅틱 출력 디바이스를 포함하는 햅틱 주변기기를 포함하는 시스템에 관한 것이다. 햅틱 주변기기는 햅틱 햅틱 출력 디바이스를 포함하고, 햅틱 출력 디바이스는 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호에 응답하여 햅틱 효과를 햅틱 주변기기에 출력하도록 구성된다. 도면들과 관련하여 본 명세서에 더 상세히 설명되는 본 명세서의 일 실시예에 따르면, 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다. 일부 경우에, 오디오 및 햅틱 출력들 또는 효과들은 서로 간섭할 수 있으며, 따라서 이들 경우에 그런 간섭을 최소화하거나 방지하기 위해 오디오 및/또는 햅틱 출력들을 변경하거나 수정하는 것이 바람직하다. 예를 들어, 오디오-햅틱 간섭은 소정의 햅틱 효과들이 오디오 디스플레이의 일체형 스피커(들)를 통해 출력될 때 문제가 될 수 있다. 본 명세서의 일 실시예에서, 헤드폰 또는 블루투스 디바이스가 시스템의 오디오 디스플레이에 접속되고, 그래서 오디오가 접속된 오디오 출력 액세서리 디바이스를 통해 출력될 것이면, 햅틱 출력 디바이스는 제1 햅틱 효과를 생성하고 적용한다. 그러나 오디오 출력 액세서리 디바이스들이 시스템의 오디오 디스플레이에 접속되지 않고, 그래서 오디오가 오디오 디스플레이의 일체형 스피커(들)를 통해 출력될 것이면, 햅틱 출력 디바이스는 제1 햅틱 효과와 상이한 제2 햅틱 효과를 생성하고 적용한다. 일 실시예에서, 제1 햅틱 효과는 제2 햅틱 효과(오디오 출력 액세서리 디바이스들이 오디오 디스플레이에 접속되지 않은 경우 렌더링됨)보다 더 강하고(헤드폰 또는 블루투스 디바이스가 오디오 디스플레이에 접속되는 경우 렌더링됨), 따라서 오디오가 오디오 디스플레이의 일체형 스피커를 통해 출력될 때에는 더 약한 효과들이 제공되는 반면, 오디오가 헤드폰 또는 블루투스 디바이스와 같은 접속된 출력 액세서리 디바이스를 통해 출력될 때에는 더 강한 효과들이 제공되게 된다.
본 명세서에 사용되는 바와 같이, 용어 "오디오 디스플레이"는 오디오 또는 제어 신호를 출력함으로써 사운드를 생성할 수 있는 시스템의 하나 이상의 컴포넌트를 포함한다. 달리 말하자면, 오디오 디스플레이는 시스템의 프로세서로부터 제어 신호를 수신하고 프로세서로부터의 제어 신호를 응답하여 오디오를 출력하도록 구성된다. 오디오 디스플레이는, 예를 들어 스피커, 헤드폰, 트랜스튜서 등과 같으나 이에 제한되지 않는 하나 이상의 오디오 출력 디바이스 또는 액세서리를 포함할 수 있다. 오디오 출력 디바이스 또는 액세서리는 시스템에 통합될 수 있거나, 오디오 출력 디바이스 또는 액세서리는 시스템에 선택적으로 접속되거나 달리 결합되는 별도의 컴포넌트일 수 있다. 예를 들어, 오디오 디스플레이의 오디오 출력 디바이스는 하나 이상의 일체형 또는 빌트-인 디바이스(즉, 모바일 폰 또는 태블릿 컴퓨터의 일체형 스피커와 같은 시스템의 일체형 또는 빌트-인 스피커)일 수 있고/있거나, 오디오 디스플레이의 출력 또는 헤드폰 커넥터를 통해 시스템에 선택적으로 결합되는 하나 이상의 액세서리 디바이스(즉, 오디오 디스플레이의 출력 또는 헤드폰 커넥터를 통해 모바일 폰 또는 태블릿 컴퓨터에 결합되는 스피커 또는 헤드폰 세트)일 수 있다.
오디오 출력 액세서리 접속성 상태에 따라 햅틱 효과들을 변경하거나 수정하는 것은, 예를 들어 도 1-7에 도시된 것들과 같은 여러 유형의 햅틱 주변기기에 의해 활용될 수 있다. 더 구체적으로, 도 1은 본 명세서의 일 실시예에 따른 햅틱 피드백을 햅틱 주변기기(102)에 제공하기 위한 시스템(100)의 블록도이고, 도 2는 도 1의 시스템의 개략도이다. 도 1-2의 실시예에서, 햅틱 주변기기(102)는 단일 조작부(manipulandum)(122)만을 갖는 햅틱 조이스틱이다. 그러나 본 기술 분야의 통상의 기술자라면, 햅틱 조이스틱은 햅틱 주변기기의 예시적 실시예일 뿐이고, 다른 구성들, 형상들, 및 크기들을 갖는 햅틱 주변기기들이 사용될 수 있다는 것을 인식할 것이다. 예를 들어, 본 명세서에 더 상세히 설명되는 바와 같이, 햅틱 주변기기는 비디오 게임 콘솔 시스템에 현재 이용 가능한 수많은 "게임패드"와 유사한 형상 및 크기를 갖는 도 3-5에 도시된 바와 같은 게이밍 시스템용 휴대용 게이밍 제어기(302), 도 6-7에 도시된 바와 같은 태블릿 컴퓨터(604)와 함께 사용될 수 있는 햅틱 주변기기(602), 또는 모바일 폰들, 개인 휴대 단말기(PDA)(personal digital assistant)들, 태블릿들, 컴퓨터들, 게이밍 주변기기들 및 본 분야의 통상의 기술자에게 알려진 가상현실 시스템용 다른 제어기들과 같은 사용자 입력(UI)(user input) 요소들을 구비하지만 이에 제한되지 않는 다른 제어기들일 수 있다.
도 1-2의 실시예와 관련하여, 햅틱 주변기기(102)는 비디오 또는 시각적 디스플레이(106) 상에서 사용자를 위한 가상 환경을 생성하도록 구성되는 호스트 컴퓨터 또는 컴퓨터 시스템(104)과 통신한다. 호스트 컴퓨터(104)는 비디오 게임 콘솔, 모바일 디바이스, 또는 디스플레이상에서 사용자를 위한 가상 환경을 생성하도록 구성되는 프로세서를 포함하는 임의의 다른 유형의 컴퓨터 시스템을 포함할 수 있다. 도 2의 블록도에 도시된 바와 같이, 호스트 컴퓨터(104)는 호스트 프로세서(108), 메모리(110) 및 시각적 디스플레이(106)를 포함한다. 호스트 컴퓨터(104)는 메모리(110)에 저장되어 있고 호스트 프로세서(108)에 의해 실행되는 소프트웨어 애플리케이션을 실행한다. 호스트 프로세서(108)는 임의의 유형의 범용 프로세서일 수 있거나 또는 햅틱 효과 신호들을 제공하도록 특별히 설계된 프로세서일 수 있다. 호스트 프로세서(108)는 전체 호스트 컴퓨터(104)를 작동시키는 프로세서와 동일하거나 별도의 프로세서일 수 있다. 호스트 프로세서(108)는 어떤 햅틱 효과들을 햅틱 주변기기(102)로 보낼지와 햅틱 효과들을 어떤 순서로 보낼지 결정할 수 있다. 메모리(110)는 임의의 유형의 저장 디바이스 또는 컴퓨터 판독가능 매체일 수 있으며, 이는 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM)이지만 이에 제한되지는 않는다. 메모리(110)는 또한 호스트 프로세서 또는 내부 및 외부 메모리의 임의의 조합의 내부에 위치할 수 있다.
호스트 컴퓨터(104)는 유선 또는 무선 수단을 통해 시각적 디스플레이(106)에 결합된다. 시각적 디스플레이(106)는 그래픽 정보를 사용자에 제공하는 임의의 유형의 매체일 수 있으며, 이는 모니터, 텔레비전 스크린, 플라스마, LCD, 프로젝터, 또는 임의의 다른 디스플레이 디바이스를 포함하지만 이에 제한되지 않는다. 일 실시예에서, 본 기술 분야에서 공지된 바와 같이, 호스트 컴퓨터(104)는 게이밍 디바이스 콘솔이고, 시각적 디스플레이(106)는 게이밍 디바이스 콘솔에 결합되는 모니터이다. 다른 실시예에서, 본 기술 분야의 통상의 기술자에게 공지된 바와 같이, 호스트 컴퓨터(104)와 시각적 디스플레이(106)는 단일 디바이스로 결합될 수 있다.
호스트 컴퓨터(104)는 또한 오디오 디스플레이(105)를 포함한다. 이 실시예에서, 오디오 디스플레이(105)는 호스트 컴퓨터(104)에 통합된다. 오디오 디스플레이(105)는 적어도 하나의 빌트-인 또는 일체형 스피커(105A), 및 그 내에 헤드폰을 수용하도록 구성된 헤드폰 또는 출력 커넥터(105B)를 포함한다. 따라서, 사용자는 오디오 출력을 듣기 위해 헤드폰 커넥터(105B)를 통해 헤드폰을 호스트 컴퓨터(104)에 꽂을 수 있고, 또는 오디오는 일체형 스피커(105A)를 통해 출력될 수 있다. 본 명세서에 사용되는 바와 같이, "헤드폰 커넥터"는 전통적인 헤드폰 잭들뿐만 아니라, 예를 들어 한 쌍의 헤드폰을 시스템에 무선으로 접속하도록 구성되는 블루투스 등과 같으나 이에 제한되지 않는 무선 헤드폰 커넥터들 또는 어댑터들을 포함한다. 일체형으로 설명될지라도, 본 기술 분야의 통상의 기술자에게는 스피커(105A)가 호스트 컴퓨터(104)에 결합되는 별도의 컴포넌트일 수 있으며/있거나 스피커(105A)가 시스템(100)의 상이한 컴포넌트들에 결합될 수 있음이 자명할 것이다. 또한, 본 명세서에 더 자세히 설명되는 바와 같이, 본 명세서의 실시예들에서, 오디오 디스플레이는 시스템의 다양한 컴포넌트들, 예를 들어 호스트 컴퓨터, 햅틱 주변기기, 또는 시각적 디스플레이와 같은 2차 주변기기에 통합될 수 있다.
도 1-2에 도시된 실시예에서, 호스트 컴퓨터(104)는 유선 또는 USB 접속(103)을 통해 햅틱 주변기기(102)와 통신한다. 그러나 다른 실시예에서, 햅틱 주변기기(102)는 본 기술 분야의 통상의 기술자에게 알려진 다른 유선 통신 또는 무선 통신 수단을 이용하여 호스트 컴퓨터(104)와 통신할 수 있다. 이것은 직렬(serial) 또는 블루투스 접속을 포함할 수 있지만 이에 제한되지는 않는다. 또한, 호스트 컴퓨터(104)는 클라우드 내에 있을 수 있고, 그래서 로컬 형태로 유선 또는 무선으로 접속되는 것이 요구되지 않는다.
도 2에 가장 잘 도시된 바와 같이, 햅틱 주변기기(102)는 하나 이상의 자유도(degree of freedom)로 움직일 수 있는 조작부 혹은 사용자 입력 디바이스(122), 및 하우징 혹은 베이스(120)를 포함한다. 조작부(122)는 하우징(120)으로부터 연장된다. 도 2가 햅틱 주변기기의 조작부로서 조이스틱을 예시하지만, 본 개시 내용이 조이스틱 조작부로 한정되지 않고, 또한 전체적으로 또는 부분적으로 하나 이상의 자유도로 움직일 수 있는 임의의 디바이스들을 포함한다는 것이 본 기술 분야의 통상의 기술자에게는 이해될 수 있다. 본 기술 분야의 통상의 기술자라면, 조이스틱은 제어기의 조작부에 대한 예시적 실시예일 뿐이며, 본 명세서에 더 자세히 설명되는 바와 같이, 트리거들, 버튼들, 또는 다른 사용자 입력 요소들과 같은 다른 구성들을 갖는 조작부가 사용될 수 있음을 인식할 것이다.
도 1을 추가로 참조하면, 햅틱 주변기기(102)는 로컬 프로세서(112), 로컬 메모리(114), 조작부 센서(123) 및 적어도 하나의 햅틱 출력 디바이스(118)를 포함한다. 햅틱 주변기기(102)는 또한 접속성 센서(116) 및 추가 파라미터 센서(117)들을 포함할 수 있지만, 그런 센서들은 본 명세서에 더 자세히 설명되는 바와 같이 모든 실시예에 요구되지는 않는다. 햅틱 주변기기(102)는 대안적으로 로컬 프로세서(112)를 포함하지 않도록 구성될 수 있고, 이로써 햅틱 주변기기(102)로부터의 모든 입/출력 신호들은 호스트 컴퓨터(104)에 의해 직접 취급되고 처리된다. 본 명세서에 더 자세히 설명되는 바와 같이, 로컬 프로세서(112)는 햅틱 출력 디바이스(118)에 결합되어, 호스트 컴퓨터(104)로부터의 하이 레벨 관리(supervisory) 또는 스트리밍 커맨드들에 기초하여 햅틱 효과들을 제공한다. 호스트 프로세서(108)와 유사하게, 로컬 프로세서(112)는 또한 어떤 햅틱 효과들을 보낼지와 햅틱 효과들을 어떤 순서로 보낼지를 결정할 수 있다. 게다가, 햅틱 주변기기(102)가 2 이상의 햅틱 출력 디바이스를 포함하는 경우, 로컬 프로세서(112)는 어느 햅틱 출력 디바이스가 햅틱 효과 신호를 수신할 것인지를 결정할 수 있다. 게다가, 호스트 컴퓨터(104)의 메모리(110)와 유사하게, 로컬 메모리(114)는, 예를 들어 렌덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM) 등과 같지만 이에 제한되지 않는 임의의 유형의 컴퓨터 판독 가능 매체 또는 저장 디바이스일 수 있다. 로컬 메모리(114)는 또한, 로컬 프로세서, 또는 내부 및 외부 메모리의 임의의 조합의 내부에 위치할 수 있다.
앞서 논의한 바와 같이, 햅틱 주변기기(102)의 조작부(122)는 하나 이상의 자유도 내에서 물리적으로 움직일 수 있다. 예를 들어, 사용자는 조작부(122)를 전방, 후방, 좌측, 또는 우측으로 움직일 수 있다. 사용자가 조작부(122)를 움직일 때, 조작부 센서(123)는 조작부의 움직임 및/또는 위치를 검출하고, 센서 신호를 로컬 프로세서(112)로 전송한다. 그 다음, 로컬 프로세서(112)는 센서 신호를 호스트 컴퓨터(104)에 통신하거나 전송한다. 수신된 센서 신호에 기초하여, 호스트 컴퓨터(104)는 비디오 게임 내에서 액션들을 수행하고, 가상 환경을 업데이트한다. 달리 말하면, 햅틱 주변기기(102)의 조작부(122)의 움직임은 사용자가 호스트 컴퓨터(104) 상에서 실행하는 소프트웨어 애플리케이션과 상호 작용하도록 허용하는 사용자로부터의 입력을 나타내며, 이는 1인칭 슈팅 게임(first person shooter), 3인칭 캐릭터 상호 작용에 관한 비디오 게임들, 차량 관련 게임들 또는 컴퓨터 시뮬레이션들을 포함하지만 이에 제한되지는 않는다. 조작부(122)의 움직임은 커서 또는 다른 이미지와 같은 컴퓨터 생성 그래픽 객체, 또는 시각적 디스플레이(106)를 통해 호스트 컴퓨터(104)에 의해 표시되는 일부 다른 그래픽 객체의 움직임, 또는 사람, 차량, 또는 게임 또는 컴퓨터 시뮬레이션에서 발견될 수 있는 일부 다른 개체와 같은 가상 캐릭터 또는 게임 아바타를 제어하는 것에 대응하는 입력을 호스트 컴퓨터(104)에 제공할 수 있다.
조작부 센서(123)로부터 센서 신호들을 수신하는 것 외에, 로컬 프로세서(112)는 또한, 햅틱 출력 디바이스(118)로부터 출력될 햅틱 효과들과 관련된 호스트 컴퓨터(104)로부터의 하이 레벨 관리 또는 스트리밍 커맨드들을 수신한다. 로컬 프로세서(112)는 그 후 호스트 컴퓨터(104)로부터의 하이 레벨 관리 또는 스트리밍 커맨드들에 기초하여 제어 또는 구동 신호들을 햅틱 출력 디바이스(118)에 제공한다. 예를 들어, 작동 중일 때, 호스트 컴퓨터(104)로부터 햅틱 주변기기(102)로 전압 크기 및 지속 기간이 스트리밍되고, 이 경우 로컬 프로세서(112)를 통해 햅틱 출력 디바이스(118)로 정보가 제공된다. 호스트 컴퓨터(104)는 햅틱 출력 디바이스(118)에 의해 출력될 햅틱 효과의 유형(예컨대, 진동, 충격(jolt), 디텐트(detent), 팝(pop) 등)과 같은 하이 레벨 커맨드들을 로컬 프로세서(112)에 제공할 수 있고, 이로써, 로컬 프로세서(112)는 출력하게 될 햅틱 효과의 특정한 특성(예컨대, 크기, 주파수, 지속 기간 등)에 관한 지시를 햅틱 출력 디바이스(118)에게 한다. 로컬 프로세서(112)는 이에 결합되는 로컬 메모리(114)로부터 햅틱 효과의 유형, 크기, 주파수, 지속 기간 또는 다른 특성들을 검색할 수 있다. 호스트 컴퓨터(104)로부터 수신되는 게임 액션들 및 제어 신호들에 따라, 로컬 프로세서(112)는 제어 또는 구동 신호를 햅틱 출력 디바이스(118)에 보내, 진동들, 디텐트들, 질감들, 충격들, 또는 팝(pop)들을 포함하는, 매우 다양한 햅틱 효과들 또는 느낌들 중 하나를 출력할 수 있다.
햅틱 출력 디바이스(118)는 가상현실 시스템들의 기술 분야에서 통상의 기술자에게 공지된 바와 같은 관성적(inertial) 또는 운동 감각적(kinesthetic) 액추에이터일 수 있다. 가능한 액추에이터들은, 모터에 의해 편심 질량이 이동되는 편심 회전 질량(ERM)(eccentric rotating mass) 액추에이터들, 스프링에 부착된 질량체가 앞뒤로 구동되는 선형 공진 액추에어터(LRA)(linear resonant actuator)들, 압전 액추에이터들, 모터에 의해 편심 질량이 이동되는 전자기 모터들, 진동촉각 액추에이터들, 관성 액추에이터들, 형상 기억 합금들, 신호들에 응답하여 변형되는 전기 활성 고분자들, 스티프니스(stiffness)를 변경하기 위한 메카니즘들, 정전기 마찰(ESF)(electrostatic friction), 초음파 표면 마찰(USF)(ultrasonic surface friction) 또는 상술한 액추에이터들의 임의의 조합을 포함할 수 있지만, 이에 제한되지는 않는다. 다른 실시예에서, 액추에이터는 예를 들어, 조작부(122) 및/또는 하우징(120)의 스티프니스/댐핑(damping)을 변경하기 위한 솔레노이드들, 조작부(122) 및/또는 하우징(120)의 크기를 변경하는 소형 에어백, 또는 형상 변경 재료들을 포함하는 운동 감각 햅틱 피드백을 이용할 수 있다.
앞서 논의한 바와 같이, 햅틱 주변기기(102)는 햅틱 주변기기의 예시적 실시예일 뿐이며, 다른 구성들, 형상들, 및 크기들을 갖는 햅틱 주변기기들이 사용될 수 있다. 예를 들어, 도 3-5는 본 명세서의 실시예들에서 활용될 수 있는 햅틱 주변기기(302)의 다른 실시예를 도시한다. 도 3 및 4는 햅틱 주변기기(302)의 상이한 사시도들로서, 햅틱 주변기기가 핸드헬드 게이밍 제어기인 반면, 도 5는 호스트 컴퓨터(104), 오디오 디스플레이(105) 및 시각적 디스플레이(106)를 더 포함하는 게이밍 시스템(300)에 사용되는 햅틱 주변기기(302)의 블록도를 도시한다. 햅틱 주변기기(302)의 하우징(324)은 왼손잡이 사용자 또는 오른손잡이 사용자 중 어느 하나가 디바이스를 잡는 양손을 쉽게 수용하기 위한 형상이다. 본 기술 분야에서의 통상의 기술자라면, 햅틱 주변기기(302)는 비디오 게임 콘솔 시스템에 현재 이용 가능한 많은 "게임 패드들"과 유사한 형상 및 크기의 제어기의 예시적 실시예일 뿐이고, WiiTM 리모트 또는 WiiTM U 제어기, Sony? SixAxisTM 제어기 또는 Sony? Wand 제어기, XboxTM 제어기 또는 유사한 제어기와 같은 제어기들뿐만 아니라, 실생활 객체들(예를 들어, 테니스 라켓들, 골프 클럽들, 야구 배트들 등과 같은)과 같은 형상 및 다른 형상들의 제어기들을 포함하지만 이에 제한되지 않는 사용자 입력 요소들의 다른 구성들, 형상들, 및 크기들을 갖는 제어기들이 사용될 수 있다는 것을 인식할 것이다.
햅틱 주변기기(302)는 조이스틱(322), 버튼(330) 및 트리거(332)를 포함하는 여러 사용자 입력 요소들 또는 조작부들을 포함한다. 본 명세서에 사용되는 바와 같이, 사용자 입력 요소는 호스트 컴퓨터(104)와 상호작용하기 위해 사용자에 의해 조작되는 트리거, 버튼, 조이스틱 등과 같은 인터페이스 디바이스를 칭한다. 도 3-4에서 보여지고 본 기술 분야의 통상의 기술자에게 알려진 바와 같이, 각각의 사용자 입력 요소와 추가 사용자 입력 요소들 중 2 이상은 햅틱 주변기기(302)에 포함될 수 있다. 따라서, 트리거(332)에 대한 본 설명은, 예를 들어 햅틱 주변기기(302)를 단일 트리거로 제한하지 않는다. 또한, 도 5의 블록도는 각각의 조이스틱(322), 버튼(330) 및 트리거(332)의 하나(1)만을 도시한다. 그러나 본 기술 분야의 통상의 기술자는 전술한 바와 같이, 복수의 조이스틱, 버튼, 및 트리거뿐만 아니라 다른 사용자 입력 요소들이 사용될 수 있음을 이해할 것이다.
도 5의 블록도에서 알 수 있는 바와 같이, 햅틱 주변기기(302)는 이것의 사용자 입력 요소들 각각을 직접 구동하기 위한 표적 햅틱 출력 디바이스 또는 모터뿐만 아니라, 사용자의 손이 일반적으로 위치하는 위치(location)에서 하우징(324)에 결합되는 하나 이상의 일반 또는 럼블(rumble) 햅틱 출력 디바이스들(326, 328)을 포함한다. 보다 구체적으로, 조이스틱(322)은 이것과 결합되는 표적 햅틱 출력 디바이스 또는 모터(318A)를 포함하고, 버튼(330)은 이것과 결합되는 표적 햅틱 출력 디바이스 또는 모터(318B)를 포함하고, 트리거(332)는 이것과 결합되는 표적 햅틱 출력 디바이스 또는 모터(318C)를 포함한다. 복수의 표적 햅틱 출력 디바이스뿐만 아니라, 햅틱 주변기기(302)는 이것의 사용자 입력 요소들 각각에 결합되는 위치 센서를 포함한다. 보다 구체적으로, 조이스틱(322)은 이것에 결합되는 위치 센서(323)를 포함하고, 버튼(330)은 이것에 결합되는 위치 센서(331)를 포함하고, 트리거(332)는 이것에 결합되는 위치 센서(333)를 포함한다. 로컬 프로세서(312)는 표적 햅틱 출력 디바이스들(318A, 318B, 318C)뿐만 아니라 조이스틱(322), 버튼(330), 및 트리거(332)의 위치 센서들(323, 331, 333) 각각에 결합된다. 위치 센서들(323, 331, 333)로부터 수신되는 신호들에 응답하여, 로컬 프로세서(312)는 표적 햅틱 출력 디바이스들(318A, 318B, 318C)에게, 지시된 또는 표적 효과들을 조이스틱(322), 버튼(330), 및 트리거(332)에 각각 직접 제공하도록 지시한다. 그러한 표적 효과들은 제어기의 바디 전체를 따라 일반 햅틱 출력 디바이스들(326, 328)에 의해 생성되는 일반 또는 럼블 햅틱 효과들과 식별될 수 있거나 구별될 수 있다. 예를 들어, 비디오, 오디오 및 햅틱들과 같은 복수의 양태가 동시에 연관되어 있을 때, 집단적인 햅틱 효과들은 사용자에게 게임에 대한 더 큰 몰임감을 제공한다. 햅틱 주변기기(102) 및 호스트 컴퓨터(104)와 유사하게, 햅틱 주변기기(302)는 오디오 디스플레이(105) 및 시각적 디스플레이(106)를 갖는 호스트 컴퓨터(104)에 결합되고 이와 통신한다. 햅틱 주변기기(302)의 로컬 프로세서(312)는 호스트 컴퓨터(104)로부터의 하이 레벨 관리 또는 스트리밍 커맨드들에 기초하여 햅틱 효과를 제공하기 위해 각각의 햅틱 출력 디바이스에 결합된다. 햅틱 주변기기(302)의 햅틱 출력 디바이스들은 햅틱 주변기기(102)의 햅틱 출력 디바이스(118)를 위해 본 명세서에 나열된 임의의 유형의 햅틱 출력 디바이스일 수 있다. 햅틱 주변기기(302)는 또한, 접속성 센서(116)와 유사한 접속성 센서(도시 생략) 및/또는 추가 파라미터 센서(117)와 유사한 추가 파라미터 센서(도시 생략)를 포함할 수 있지만, 본 명세서에 더 자세히 설명되는 바와 같이, 이 센서들은 모든 실시예에서 요구되지는 않는다.
도 6-7은 햅틱 주변기기(602)가 태블릿 컴퓨터(604)와 함께 사용될 수 있는 게이밍 태블릿 제어기인 본 명세서의 다른 실시예에 따른 햅틱 주변기기(602)를 예시하고, 태블릿 컴퓨터는 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이 통합된 시각적 및 오디오 디스플레이들을 포함한다. 태블릿 컴퓨터(604)는, 예를 들어 레이저(사)(Razer Inc.)로부터 입수 가능한 게이밍 액티비티(gaming activity)들을 위해 특별히 설계될 수 있거나, Apple? Ipad?, Kindle? Fire?, 및 Samsung? Galaxy Tab?와 같은, 공지되어 있고 시장에서 입수 가능한 태블릿 컴퓨터일 수 있다. 햅틱 주변기기(602)는 태블릿 컴퓨터(604)를 수용하도록 구성된 도킹 부(640) 및 사용자가 태블릿 컴퓨터(604) 상에서 게임을 제어하도록 그 위에 배치되는 조작부들을 갖는 핸들(642, 644)을 포함한다. 도킹 부(640)는 햅틱 주변기기(602)를 태블릿 컴퓨터(604)에 접속하여, 버튼을 누르기, 조이스틱을 움직이기, 트리거를 누르기 등과 같은 핸들(642, 644) 상의 사용자에 의한 액션이 태블릿 컴퓨터(604) 상에서 재생되고 있는 게임상의 액션을 유발하게 한다.
핸들(642, 644)은 제어기들 상에서 볼 수 있는 통상의 조작부들 또는 사용자 입력 요소들을 포함한다. 조작부들은 핸들(644)과 관련하여 설명될 것이다. 그러나 본 기술분야의 통상의 기술자는 동일하거나 유사한 조작부들이 핸들(642) 상에서 사용될 수 있음을 인식할 것이다. 특히, 핸들(644)은 조이스틱(622), 버튼(630), 및 트리거(632)를 포함한다. 도 6에서 볼 수 있고 본 기술분야의 통상의 기술자에게 알려진 바와 같이, 각각의 이들 사용자 입력 요소 중 둘 이상은 각각의 핸들(642, 644) 상에 포함될 수 있다. 또한, 핸들(642, 644)은, 일반 또는 럼블 햅틱 출력 디바이스들(626, 628)과 관련하여 전술한 바와 같이, 사용자의 손이 일반적으로 위치하는 위치에서, 핸들(642, 644)에 일반 또는 럼블 햅틱 효과들을 제공하도록 그에 부착되어 있는 일반 또는 럼블 햅틱 출력 디바이스들(326, 328)을 포함한다.
도 7의 블록도에 도시된 바와 같이, 햅틱 주변기기(602)는 도킹 부(640)를 통해 태블릿 컴퓨터(604)와 통신하는 로컬 프로세서(612)를 포함한다. 도 7의 블록도는 각각의 조이스틱(622), 버튼(630) 및 트리거(632) 중 하나(1)만을 도시한다. 그러나 본 기술분야의 통상의 기술자는 전술한 바와 같이, 복수의 조이스틱, 버튼, 및 트리거뿐만 아니라 다른 사용자 입력 요소들이 사용될 수 있음을 이해할 것이다. 로컬 프로세서(612)는 표적 햅틱 출력 디바이스들(618A, 618B, 618C)뿐만 아니라 조이스틱(622), 버튼(630) 및 트리거(632)의 위치 센서들(623, 631, 633) 각각에 결합된다. 위치 센서들(623, 631, 633)로부터 수신된 신호들에 응답하여, 로컬 프로세서(612)는 표적 햅틱 출력 디바이스들(618A, 618B, 618C)에게, 지시된 또는 표적 햅틱 효과들을 조이스틱(622), 버튼(630) 및 트리거(632) 각각에 직접 제공하도록 지시한다. 햅틱 주변기기(602)의 로컬 프로세서(612)는 각각의 햅틱 출력 디바이스에 결합되어, 호스트 컴퓨터(604)로부터 하이 레벨 관리 또는 스트리밍 커맨드에 기초하여 햅틱 효과들을 제공한다. 햅틱 주변기기(602)의 햅틱 출력 디바이스들은 햅틱 주변기기(102)의 햅틱 출력 디바이스(118)를 위해 본 명세서에 나열된 임의의 유형의 햅틱 출력 디바이스일 수 있다. 햅틱 주변기기(602)는 또한, 접속성 센서(116)와 유사한 접속성 센서(도시 생략) 및/또는 추가 파라미터 센서(117)와 유사한 추가 파라미터 센서(도시 생략)를 포함할 수 있지만, 본 명세서에 더 자세히 설명되는 바와 같이, 이 센서들이 모든 실시예에서 요구되지는 않는다.
도 6-7이 태블릿 컴퓨터(604)와 함께 사용될 수 있는 게이밍 태블릿 제어기로서 햅틱 주변기기(602)를 예시할지라도, 본 기술분야의 통상의 기술자는 햅틱 주변기기 및 호스트 또는 태블릿 컴퓨터가 동일한 디바이스 또는 하우징 내에 있을 수 있음을 이해할 것이다. 달리 말하자면, 게이밍 태블릿 제어기는 연관된 주변기기를 갖는 것이 아니라 햅틱 출력 디바이스 및 오디오 디스플레이가 단일 디바이스로서 게이밍 태블릿 자체에 통합되는 게이밍 태블릿일 수 있다.
어느 햅틱 주변기기 구성 또는 실시예가 활용되는지에 상관없이, 시스템의 호스트 프로세서 및/또는 로컬 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다. 달리 말하자면, 시스템의 호스트 프로세서 및/또는 로컬 프로세서는 시스템의 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스와 같은 오디오 출력 액세서리에 접속되는지에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하거나 수정하도록 구성된다. 예를 들어, 약한 햅틱 효과들은 오디오 출력 액세서리 디바이스들이 오디오 디스플레이에 접속되지 않고 오디오가 오디오 디스플레이의 일체형 스피커를 통해 출력될 때 재생되거나 출력되며, 반면에 강한 햅틱 효과들은 오디오 출력 액세서리 디바이스가 오디오 디스플레이에 접속되고 오디오가 접속된 오디오 출력 액세서리 디바이스를 통해 출력될 때 재생되거나 출력된다. 본 명세서에서 이전에 언급한 바와 같이, 일부 경우에, 오디오 및 햅틱 출력들 또는 효과들은 서로 간섭할 수 있고, 그래서 이러한 경우에는 그런 간섭을 최소화하거나 방지하기 위해 오디오 및/또는 햅틱 출력을 변경하거나 수정하는 것이 바람직하다. 다른 예에서, 모바일 폰 스피커들을 통해 들어오지 않는 소정의 사운드 또는 오디오 효과들은 헤드폰에서 들을 수 있고, 그래서 이러한 경우에는 모바일 폰 스피커를 통해 사운드가 출력 중일 때 시청자에게 들리지 않는 사운드들을 갖는 햅틱 효과들을 회피하는 것이 바람직하다. 접속된 헤드폰의 존재 또는 이것의 부재를 검출하는 것은 이러한 상황들을 고려한 촉각 트랙 또는 햅틱 효과들의 선택을 가능하게 한다. 본 명세서에 더 자세히 설명되는 바와 같이, 본 명세서의 실시예들은 헤드폰을 갖거나 갖지 않고 비디오를 시청할 때 콘텐츠 미관에서의 차이를 보상하고, 스피커 햅틱 간섭을 보상하고, 상이한 하드웨어 또는 디바이스 특정 문제들 또는 능력들을 고려한다.
본 명세서의 임의의 실시예에서, 오디오 출력 액세서리 디바이스는 시스템의 임의의 컴포넌트에 접속될 수 있다. 보다 상세하게, 오디오 출력 액세서리 디바이스는 오디오 디스플레이에 접속되고, 본 명세서에서 설명된 바와 같이 오디오 디스플레이는 호스트 컴퓨터, 햅틱 주변기기, 시각적 디스플레이와 같은 2차 주변기기 등에 통합될 수 있다. 따라서, 오디오 출력 액세서리 디바이스의 접속은 오디오 디스플레이가 어느 시스템 컴포넌트에 통합되는지에 따라 달라진다. 예를 들어, 일 실시예에서, 오디오 출력 액세서리 디바이스는 호스트 컴퓨터에 접속된다. 보다 상세하게, 본 예에서, 오디오 디스플레이는 PC 등과 같지만 이에 제한되지 않는 호스트 컴퓨터의 일부이거나 이에 통합된다. 따라서, 사용자는 오디오 출력을 듣기 위해 헤드폰을 호스트 컴퓨터에 꽂을 수 있고, 또한 사용자는 게임의 제어를 위해서도 햅틱 주변기기를 호스트 컴퓨터에 꽂을 수 있다. 다른 실시예에서, 오디오 출력 액세서리 디바이스는 햅틱 주변기기에 접속된다. 보다 상세하게, 본 예에서, 오디오 디스플레이는 햅틱 디스플레이와 동일한 주변기기, 예를 들어 오디오 잭 및 통합된 또는 빌트-인 스피커(들)을 갖는 게임 제어기의 일부이거나 이에 통합된다. 다른 실시예에서, 오디오 출력 액세서리 디바이스는 오디오 접속성을 또한 제공하는 시각적 디스플레이 디바이스와 같은 주변기기 디스플레이 디바이스 또는 인터페이스에 접속된다. 보다 상세하게, 본 예에서, 오디오 디스플레이는 오디오 피처들 또는 외부 증폭기를 가진 컴퓨터 모니터와 같은 2차 주변기기의 일부이거나 이에 통합된다. 따라서, 사용자는 오디오 출력을 듣기 위해 헤드폰을 2차 주변기기에 꽂을 수 있고, 또한 사용자는 게임의 제어를 위해서도 햅틱 주변기기를 호스트 컴퓨터에 꽂을 수 있다. 본 명세서의 임의의 실시예에서, 햅틱 주변기기에 의해 출력된 햅틱 효과들은 사용자가 헤드폰에서 또는 스피커를 통해 듣고 있는 것에 기초하여 수정된다.
보다 상세하게, 도 8은 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도이다. 단계 850은 방법의 시작 또는 개시를 나타낸다. 도 8의 실시예에서, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 달라진다. 일 실시예에서, 도 8의 흐름도의 기능성은 호스트 컴포넌트의 호스트 메모리에 저장되고 호스트 프로세서에 의해 실행되며/되거나, 햅틱 주변기기의 로컬 메모리에 저장되고 로컬 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 이 기능성은 주문형 집적회로(ASIC)(application specific integrated circuit), 프로그램 가능 게이트 어레이(PGA)(programmable gate array), 필드 프로그램 가능 게이트 어레이(FPGA)(field programmable gate array), 또는 하드웨어 및 소프트웨어의 임의의 조합의 사용을 통해 하드웨어에 의해 수행될 수 있다. 이 실시예에서, 시스템의 오디오 디스플레이는 일체형 스피커 및 헤드폰이 그 안에 수용되도록 구성된 헤드폰 커넥터를 적어도 포함한다. 오디오 디스플레이는 호스트 컴퓨터, 햅틱 주변기기 또는 시각적 디스플레이와 같은 2차 주변기기에 통합될 수 있다. 본 기술분야의 통상의 기술자는 도 8의 방법이 햅틱 주변기기(102), 햅틱 주변기기(302), 햅틱 주변기기(602), 또는 비디오 게이밍 기술분야에 알려진 바와 같은 다른 구성을 갖는 햅틱 주변기기에 의해 수행될 수 있다는 것을 이해할 것이다.
단계 852에서, 오디오 출력 액세서리 접속성 상태가 검출된다. 본 명세서에 사용되는 바와 같이, 오디오 출력 액세서리는 헤드폰, 헤드폰 또는 외부 스피커와 같은 블루투스 디바이스, 또는 오디오 또는 사운드를 출력하기 위해 오디오 디스플레이에 접속될 수 있는 다른 액세서리 디바이스를 포함한다. 본 명세서에 사용되는 접속성 상태는 오디오 출력 액세서리가 오디오 또는 사운드를 출력하기 위해 오디오 디스플레이에 접속되는지를 지칭한다. 오디오 출력 액세서리가 오디오 디스플레이에 접속되지 않으면, 오디오 디스플레이의 일체형 스피커는 오디오 또는 사운드를 출력하기 위해 이용된다. 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는 여러 방식 중 하나로 검출될 수 있다. 본 명세서의 소정 실시예에서, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는 접속성 센서(116)를 통해 검출될 수 있다(도 1 참조). 본 실시예에서 접속성 센서(116)의 예들은 광 의존 저항기(LDR)(light dependent resistor)들, 기계적 스위치들 및 정전 용량 센서들과 같은 하드웨어 센서들을 포함하지만 이에 제한되지 않고, 시스템이 전기 접속이 이루어졌는지를 결정하는 소프트웨어 센서들을 또한 포함한다. 본 명세서의 다른 실시예들에서, 호스트 프로세서 및/또는 로컬 프로세서는 접속성 센서(116)의 사용 없이 오디오 출력 액세서리 접속성 상태를 검출하도록 구성된다(따라서, 본 실시예에서는 추가 접속성 센서(116)가 요구되지 않는다). 예를 들어, 태블릿 컴퓨터 또는 모바일 폰과 같은 햅틱 주변기기의 프로세서는 오디오 출력 액세서리가 여기에 접속되었는지를 검출하거나 결정하도록 프로그래밍되거나 구성될 수 있다.
오디오 디스플레이가 오디오 출력 액세서리에 접속되었는지가 결정되면, 호스트 프로세서 및/또는 로컬 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다. 단계 854에 나타낸 바와 같이, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되면, 햅틱 출력 디바이스는 단계 856에 나타낸 바와 같이, 헤드폰 또는 블루투스 디바이스에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 단계 858에 나타낸 바와 같이, 오디오 디스플레이가 오디오 출력 액세서리에 접속되지 않으면(즉, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되지 않으면), 햅틱 출력 디바이스는 단계 860에 나타낸 바와 같이, 디바이스 스피커들에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 달리 말하자면, 헤드폰 또는 블루투스 디바이스가 오디오 디스플레이에 접속되면(그래서, 오디오가 접속된 오디오 액세서리 디바이스를 통해 출력될 것이면), 햅틱 출력 디바이스는 단계 856에서 제1 햅틱 효과를 생성하고 적용한다. 그러나 오디오 액세서리 디바이스들이 오디오 디스플레이에 접속되지 않으면(그래서, 오디오가 오디오 디스플레이의 일체형 스피커를 통해 출력될 것이면), 햅틱 출력 디바이스는 단계 860에서 제2 햅틱 효과를 생성하고 적용한다. 일 실시예에서, 제1 햅틱 효과는 제2 햅틱 효과보다 더 강하고, 따라서 오디오가 오디오 디스플레이의 일체형 스피커를 통해 출력될 때에는 더 약한 효과들이 제공되는데 반해, 오디오가 헤드폰 또는 블루투스 디바이스와 같은 접속된 오디오 액세서리 디바이스를 통해 출력될 때에는 더 강한 효과들이 제공되게 된다.
본 명세서에 사용되는 바와 같이, 햅틱 출력 디바이스를 위한 제어 신호를 변경하는 것은 오디오 디스플레이의 검출된 오디오 출력 액세서리 접속성 상태에 따라 햅틱 효과들의 트랙을 출력하거나 선택하는 것을 포함할 수 있거나, 또는 오디오 디스플레이의 검출된 오디오 출력 액세서리 접속성 상태에 따라 트랙의 햅틱 효과들을 수정하거나 변경하는 것을 포함할 수 있다. 다시 말하자면, 검출된 오디오 출력 액세서리 접속성 상태에 따라, 호스트 프로세서 및/또는 로컬 프로세서는 미리 결정된 햅틱 트랙의 햅틱 효과들을 조절하도록 구성될 수 있거나, 또는 어느 햅틱 트랙이 재생될 것인지 출력될 것인지를 선택하도록 구성될 수 있다.
더 구체적으로, 일 실시예에서, 호스트 프로세서 및/또는 로컬 프로세서는 헤드폰 또는 블루투스 스피커에 대해 더 강하거나 추가적인 효과들을 가진 햅틱 트랙을 가능하게 하거나 선택하도록 구성될 수 있거나, 또는 오디오 디스플레이의 일체형 스피커에서 재생될 때 더 약하거나 더 적은 효과를 가진 트랙을 가능하게 하거나 선택하도록 구성될 수 있다. 예를 들어, 호스트 프로세서는 상태 및 햅틱 효과들의 변화의 사전 정의된 매핑에 액세스할 수 있다. 호스트 프로세서는 상태의 변화가 존재한다고(즉, 오디오 출력 액세서리가 헤드폰 커넥터에 꽂아지거나 오디오 디스플레이에 달리 접속된다고) 결정하고, 연관된 햅틱 효과가 햅틱 효과들을 강화하고/하거나 추가 햅틱 효과들을 제공하는 것이라고 결정할 수 있다. 이러한 상태의 변화에 대한 연관된 햅틱 효과들은 호스트 프로세서 및/또는 로컬 프로세서에 의해 사용되는 사전에 정의된 매핑 시스템에 따라 결정될 수 있다. 예를 들어, 사전에 정의된 매핑 시스템은 오디오 출력 액세서리가 오디오 디스플레이에 접속되었다고 검출할 때 저작된 햅틱 효과들의 특정 콘텐츠 트랙 또는 시퀀스가 재생되도록 지시할 수 있다.
다른 실시예에서, 호스트 프로세서 및/또는 로컬 프로세서는 오디오 출력 액세서리가 검출되지 않고 그래서 오디오 효과 및 햅틱 효과 양자가 오디오 디스플레이의 일체형 스피커로부터 출력되고 있을 때 그것의 특정한 햅틱 효과를 삭제하거나 남겨두기 위해 미리 결정된 햅틱 트랙을 수정하도록 구성될 수 있다. 예를 들어, 사전에 정의된 매핑 시스템은 저작된 햅틱 효과들의 현재 재생중인 콘텐츠 트랙 또는 시퀀스가 접속성 상태에 따라 수정되거나 변경되도록 지시할 수 있다. 현재 재생 중인 콘텐츠 트랙에 따라 출력되고 있는 햅틱 효과들은 오디오 출력 액세서리가 오디오 디스플레이에 접속되었다고 검출될 때 미리 결정된 시간량만큼 미리 결정된 레벨로 강화되거나 점진적으로 강화될 수 있다. 이와 같이, 오디오 디스플레이가 오디오 출력 액세서리에 접속될 때, 햅틱 볼륨 또는 강도가 증가되거나 또는 질감과 같은 햅틱 효과들이 추가될 수 있다. 본 기술분야의 통상의 기술자에게는, 사전에 정의된 매핑 시스템들의 전술한 예들이 사실상 예시적이며 임의의 사전에 정의된 매핑 시스템이 가상 환경의 개발자에 의해 원하는 대로 이용될 수 있다는 점이 명백할 것이다.
햅틱 출력 디바이스에 의해 출력되는 햅틱 효과들은 다양한 수준의 진동, 다양한 수준의 디텐트 또는 다른 유형의 햅틱 효과들을 포함할 수 있지만, 이에 제한되지 않는다. 예시적인 예로서, 사용자가 캐릭터 또는 일부 다른 그래픽 객체를 제어하고 있고, 이후 가상 환경에서 폭발을 마주치면, 연관되는 햅틱 효과는 진동일 것이다. 이러한 경우에, 로컬 프로세서는 햅틱 주변기기가 오디오 디스플레이의 검출된 오디오 출력 액세서리 접속성 상태에 따라 달라지는 강도로 진동해야 하는 것을 나타내는 신호를 수신한다. 그 결과, 로컬 프로세서는 적절한 햅틱 효과를 제공하기 위해 신호를 햅틱 출력 디바이스에 송신하고, 이것은 본 예에서 오디오 디스플레이가 오디오 출력 액세서리에 접속되는지에 따라 달라지는 특별한 강도를 가진 진동이다. 실행되고 사용자에게 제공될 햅틱 효과들의 유형을 결정할 때, 하이 레벨 햅틱 파라미터 또는 스트리밍 값들이 소프트웨어 코드에서 생성되고, 이들이 처리되고 햅틱 출력 디바이스를 위한 적절한 전압 레벨이 생성되는 햅틱 엔진(도시 안됨)에 송신된다. 이것은 햅틱 주변기기가 적절한 햅틱 피드백을 사용자에 제공하고 햅틱 출력 디바이스를 위해 생성되는 상이한 전압 레벨을 통해 햅틱 피드백의 유형 또는 양을 변경시키는 것을 허용한다. 또한, 게이밍 소프트웨어와 햅틱 소프트웨어는 동일한 프로세서 내에 상주하거나 또는 복수의 프로세서에 상주할 수 있다.
도 8이 최적화된 햅틱 효과들에 대한 단지 2개의 옵션(즉, 오디오 출력 액세서리가 오디오 디스플레이에 접속되는지의 여부)을 예시할지라도, 그와 같은 최적화된 햅틱 효과들이 오디오 출력 액세서리의 유형에 따라 더 달라질 수 있다는 것은 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 다시 말해서, 햅틱 효과들은 어느 유형의 오디오 출력 액세서리가 오디오 디스플레이에 접속되는지에 따라 달라질 수 있다. 예를 들어, 제1 최적화된 트랙 또는 햅틱 효과는 오디오 디스플레이가 이어버드(earbud) 헤드폰에 접속되면 재생될 수 있고, 다른 최적화된 트랙 또는 햅틱 효과는 오디오 디스플레이가 귀를 덮는(over-the-ear) 헤드폰에 접속되면 재생될 수 있고, 또 다른 상이한 최적화된 트랙 또는 햅틱 효과는 오디오 디스플레이가 외부 스피커에 접속되면 재생될 수 있다. 따라서, 상이한 햅틱 효과들은 어떤 오디오 출력 컴포넌트 또는 액세서리가 이용되고 있는지를 감지한 것에 기초하여 제공될 수 있다.
본 명세서의 다른 실시예에서, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태뿐만 아니라 검출된 디바이스 세팅에 따라 달라질 수 있다. 디바이스 세팅은 도 9에 관해 설명된 볼륨 레벨 또는 도 10에 관해 설명된 전력 상태를 포함할 수 있으나 이에 제한되지 않는다. 따라서, 상이한 햅틱 효과들은 어떤 오디오 출력 컴포넌트 또는 액세서리가 이용되고 있는지와 이것이 어떻게 이용되는지를 감지한 것에 기초하여 제공될 수 있다.
보다 상세하게, 도 9는 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도이며, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 오디오 디스플레이의 검출된 세팅에 따라 달라지고, 검출된 세팅은 볼륨 레벨이다. 단계 950은 방법의 시작 또는 개시를 나타낸다. 일 실시예에서, 도 9의 흐름도의 기능성은 호스트 컴포넌트의 호스트 메모리에 저장되고 호스트 프로세서에 의해 실행되고/되거나 햅틱 주변기기의 로컬 메모리에 저장되고 로컬 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 기능성은 주문형 집적회로(ASIC), 프로그램 가능 게이트 어레이(PGA), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 하드웨어 및 소프트웨어의 임의의 조합의 사용을 통해 하드웨어에 의해 수행될 수 있다. 이 실시예에서, 시스템의 오디오 디스플레이는 일체형 스피커 및 이들에 헤드폰을 수용하도록 구성된 헤드폰 커넥터를 적어도 포함한다. 오디오 디스플레이는 호스트 컴퓨터, 햅틱 주변기기, 또는 시각적 디스플레이와 같은 2차 주변기기에 통합될 수 있다. 그러나 도 9의 방법이 햅틱 주변기기(102), 햅틱 주변기기(302), 햅틱 주변기기(602), 또는 비디오 게이밍 기술분야에 알려진 바와 같은 다른 구성을 갖는 햅틱 주변기기에 의해 수행될 수 있다는 것은 본 기술분야의 통상의 기술자에 의해 이해될 것이다.
단계 952에서, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태가 검출된다. 오디오 출력 액세서리가 오디오 디스플레이에 접속되지 않으면, 오디오 디스플레이의 일체형 스피커는 오디오 또는 사운드를 출력하기 위해 이용된다. 도 8과 관련하여 전술한 바와 같이, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는, 예를 들어 접속성 센서(116)를 통해 여러 방식 중 하나에서 검출될 수 있고, 또는 호스트 프로세서 및/또는 로컬 프로세서는 접속성 센서(116)를 이용함이 없이 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태를 검출하도록 구성된다.
오디오 디스플레이가 오디오 출력 액세서리에 접속되었는지가 결정되면, 호스트 프로세서 및/또는 로컬 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 오디오 디스플레이의 볼륨 레벨에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다. 단계 954에 나타낸 바와 같이, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되면, 햅틱 출력 디바이스는 단계 956에 나타낸 바와 같이 헤드폰 또는 블루투스 디바이스에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 단계 958에 나타낸 바와 같이, 오디오 디스플레이가 오디오 출력 액세서리에 접속되지 않으면(즉, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되지 않으면), 햅틱 주변기기의 볼륨 레벨은 단계 962에서 검출된다. 본 명세서의 일 실시예에서, 호스트 프로세서 및/또는 로컬 프로세서는 햅틱 주변기기의 볼륨 레벨을 검출하도록 구성된다. 미리 결정된 임계값 아래의 상대적으로 낮은 볼륨이 검출되면, 햅틱 출력 디바이스는 단계 964에 나타낸 바와 같이 낮은 볼륨 오디오 출력을 가진 디바이스 스피커들에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 미리 결정된 임계값보다 상대적으로 높은 볼륨이 검출되면, 햅틱 출력 디바이스는 단계 966에 나타낸 바와 같이 높은 볼륨 오디오 출력을 가진 디바이스 스피커들에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 다시 말해서, 헤드폰, 또는 블루투스 디바이스가 오디오 디스플레이에 접속되면(그래서, 오디오가 접속된 오디오 액세서리 디바이스를 통해 출력될 것이면), 햅틱 출력 디바이스는 단계 956에서 제1 햅틱 효과를 생성하고 적용한다. 그러나 오디오 액세서리 디바이스가 오디오 디스플레이에 접속되지 않으면(그래서, 오디오가 오디오 디스플레이의 일체형 스피커를 통해 출력될 것이면), 햅틱 출력 디바이스는 오디오 출력의 검출된 볼륨 레벨에 따라서, 단계 964에서 제2 햅틱 효과를 생성하고 적용하거나 단계 966에서 제3 햅틱 효과를 생성하고 적용한다.
도 10은 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도이며, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 햅틱 주변기기의 검출된 전력 상태에 따라 달라진다. 이 실시예에서, 시스템의 오디오 디스플레이는 일체형 스피커, 및 이에 헤드폰을 수용하도록 구성된 헤드폰 커넥터를 적어도 포함한다. 오디오 디스플레이는 호스트 컴퓨터, 햅틱 주변기기, 또는 시각적 디스플레이와 같은 2차 주변기기에 통합될 수 있다. 본 명세서의 일 실시예에서, 도 10의 방법은 햅틱 출력 디바이스를 갖는 게이밍 태블릿, 및 게이밍 태블릿에 단일 디바이스로서 통합된 오디오 디스플레이에 의해 수행된다. 본 명세서의 다른 실시예에서, 도 10의 방법은 모바일 셀 폰 디바이스와 같은 그러나 이에 제한되지 않는 오디오 디스플레이가 통합된 햅틱 주변기기에 의해 수행된다. 그러나 도 10의 방법이 햅틱 주변기기(102), 햅틱 주변기기(302), 햅틱 주변기기(602) 또는 비디오 게이밍 기술분야에 알려진 바와 같은 다른 구성을 갖는 햅틱 주변기기에 의해 수행될 수 있다는 것은 통상의 기술자에 의해 이해될 것이다. 단계 1050은 방법의 시작 또는 개시를 보여준다. 일 실시예에서, 도 10의 흐름도의 기능성은 호스트 컴포넌트의 호스트 메모리에 저장되고 호스트 프로세서에 의해 실행되고/되거나 햅틱 주변기기의 로컬 메모리에 저장되고 로컬 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 이 기능성은 주문형 집적회로(ASIC), 프로그램 가능 게이트 어레이(PGA), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 하드웨어 및 소프트웨어의 임의의 조합의 사용을 통해 하드웨어에 의해 수행될 수 있다.
단계 1052에서, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태가 검출된다. 오디오 출력 액세서리가 오디오 디스플레이에 접속되지 않으면, 오디오 디스플레이의 일체형 스피커는 오디오 또는 사운드를 출력하기 위해 이용된다. 도 8과 관련하여 전술한 바와 같이, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는, 예를 들어 접속성 센서(116)를 통해 여러 방식 중 하나에서 검출될 수 있고, 또는 호스트 프로세서 및/또는 로컬 프로세서는 접속성 센서(116)를 이용함이 없이 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태를 검출하도록 구성된다.
오디오 디스플레이가 오디오 출력 액세서리에 접속되었는지가 결정되면, 호스트 프로세서 및/또는 로컬 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 햅틱 주변기기의 전력 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다. 단계 1054에 나타낸 바와 같이, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되면, 햅틱 주변기기의 전력 상태는 단계 1055에서 검출된다. 본 명세서의 일 실시예에서, 호스트 프로세서 및/또는 로컬 프로세서는 햅틱 주변기기의 전력 상태를 검출하도록 구성된다. 미리 결정된 임계값 아래의 상대적으로 낮은 배터리 레벨이 검출되면, 햅틱 출력 디바이스는 단계 1056A에 나타낸 바와 같이, 헤드폰 또는 블루투스 디바이스 및 낮은 배터리 상태에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 미리 결정된 임계값보다 상대적으로 높은 배터리 상태 또는 플러그-인(plugged-in) 상태가 검출되면, 햅틱 출력 디바이스는 단계 1056B에 나타낸 바와 같이 헤드폰 또는 블루투스 디바이스에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다.
단계 1058에 나타낸 바와 같이 오디오 디스플레이가 오디오 출력 액세서리에 접속되지 않으면(즉, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되지 않으면), 햅틱 주변기기의 전력 상태는 단계 1059에서 검출된다. 본 명세서의 일 실시예에서, 호스트 프로세서 및/또는 로컬 프로세서는 햅틱 주변기기의 전력 상태를 검출하도록 구성된다. 미리 결정된 임계값 아래의 상대적으로 낮은 배터리 레벨이 검출되면, 햅틱 출력 디바이스는 단계 1060A에 나타낸 바와 같이, 디바이스 스피커들 및 낮은 배터리 상태에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 미리 결정된 임계값보다 상대적으로 높은 배터리 상태 또는 플러그-인 상태가 검출되면, 햅틱 출력 디바이스는 단계 1060B에 나타낸 바와 같이 디바이스 스피커들에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다.
도 8과 관련하여 전술한 바와 같이, 햅틱 출력 디바이스를 위한 제어 신호를 변경하는 것은 오디오 디스플레이의 검출된 오디오 출력 액세서리 접속성 상태 및 검출된 디바이스 세팅에 따라 햅틱 효과들의 트랙을 출력하거나 선택하는 것을 포함할 수 있거나, 또는 오디오 디스플레이의 검출된 접속성 상태 및 검출된 디바이스 세팅에 따라 트랙의 햅틱 효과를 수정하거나 변경하는 것을 포함할 수 있다. 다시 말하자면, 오디오 디스플레이의 검출된 접속성 상태 및 검출된 디바이스 세팅에 따라, 호스트 프로세서 및/또는 로컬 프로세서는 미리 결정된 햅틱 트랙의 햅틱 효과들을 조절하도록 구성될 수 있거나, 또는 어느 햅틱 트랙이 재생되거나 출력되는지를 선택하도록 구성될 수 있다.
본 명세서의 다른 실시예에서, 렌더링된 햅틱 효과는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태뿐만 아니라 햅틱 주변기기의 미리 결정된 속성에 따라 달라질 수 있다. 본 명세서의 일 실시예에서, 미리 결정된 속성은 햅틱 주변기기의 햅틱 출력과 오디오 출력 간의 간섭과 관련된다. 예를 들어, 미리 결정된 속성은 일체형 디바이스 스피커의 특성들 또는 능력들(즉, 특정한 모델 또는 햅틱 주변기기와의 오디오 간섭에 의해 제시되는 알려진 문제들) 또는 일체형 디바이스 스피커의 물질성(materiality) 및/또는 위치와 같은 햅틱 주변 디바이스의 특성들과 관련될 수 있다. 일례로서, 특정한 햅틱 주변기기는 오디오가 일체형 디바이스 스피커를 통해 출력될 때 햅틱 출력과 오디오 출력 사이에서 많은 간섭을 일으킨다고 알려졌을 수 있다. 게다가, 햅틱 주변기기의 미리 결정된 속성은 소정의 햅틱 효과들 또는 트랙들의 특성들과 관련될 수 있다. 다른 예로서, 햅틱 주변기기의 미리 결정된 속성은 오디오 디스플레이의 일체형 스피커의 주파수 범위와 비교되는 햅틱 액추에이터의 주파수 범위일 수 있다. 예를 들어, 서브우퍼와 같은 일체형 스피커는 상대적으로 낮은 주파수만을 방출할 수 있다. 상대적으로 낮은 주파수가 오디오-햅틱 간섭의 유일한 부분 또는 소스인 경우, 호스트 프로세서 및/또는 로컬 프로세서는 특정한 상대적으로 낮은 주파수에서 햅틱 효과들을 감소시키고/시키거나 제거하는 동안 오디오의 볼륨을 높이도록 구성될 수 있다.
도 11은 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도이며, 렌더링된 햅틱 효과들은 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태, 및 햅틱 주변기기의 미리 결정된 속성에 따라 달라지며, 미리 결정된 속성은 햅틱 주변기기의 햅틱 출력과 오디오 출력 간의 간섭과 관련된다. 보다 상세하게, 도 11의 실시예에서, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는 햅틱 주변기기의 미리 결정된 속성이 알려진 오디오 간섭 문제와 연관되는 경우에만 검출된다. 단계 1150은 방법의 시작 또는 개시를 보여준다. 일 실시예에서, 도 11의 흐름도의 기능성은 호스트 컴포넌트의 호스트 메모리에 저장되고 호스트 프로세서에 의해 실행되고/되거나 햅틱 주변기기의 로컬 메모리에 저장되고 로컬 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 이 기능성은 주문형 집적회로(ASIC), 프로그램 가능 게이트 어레이(PGA), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 하드웨어 및 소프트웨어의 임의의 조합의 사용을 통해 하드웨어에 의해 수행될 수 있다. 이 실시예에서, 시스템의 오디오 디스플레이는 일체형 스피커, 및 이에 헤드폰을 수용하도록 구성된 헤드폰 커넥터를 적어도 포함한다. 오디오 디스플레이는 호스트 컴퓨터, 햅틱 주변기기, 또는 시각적 디스플레이와 같은 2차 주변기기에 통합될 수 있다. 도 11의 방법이 햅틱 주변기기(102), 햅틱 주변기기(302), 햅틱 주변기기(602), 또는 비디오 게이밍 기술분야에 알려진 바와 같은 다른 구성을 갖는 햅틱 주변기기에 의해 수행될 수 있다는 것은 본 기술분야의 통상의 기술자에 의해 이해될 것이다.
단계 1170에서, 햅틱 주변기기의 미리 결정된 속성이 검출된다. 전술한 바와 같이, 본 명세서의 일 실시예에서, 미리 결정된 속성은 햅틱 주변기기의 햅틱 출력과 오디오 출력 간의 간섭과 관련된다. 예를 들어, 특정한 햅틱 주변기기는 햅틱 출력과 오디오 출력 사이에서 많은 간섭을 일으킨다고 알려졌을 수 있고, 따라서 미리 결정된 속성의 검출은 햅틱 주변기기의 유형(메이커 또는 제조업자) 및/또는 모델의 검출을 포함한다. 단계 1172에서, 호스트 프로세서 및/또는 로컬 프로세서는 검출된 미리 결정된 속성이 알려진 오디오-햅틱 간섭 문제와 연관되는지를 결정한다. 예를 들어, 호스트 프로세서는 미리 결정된 속성과 연관된 오디오-햅틱 간섭 문제들의 사전에 정의된 매핑에 액세스한다.
검출된 미리 결정된 속성이 알려진 오디오-햅틱 간섭 문제와 연관되면, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는 단계 1152에서 검출된다. 오디오 출력 액세서리가 오디오 디스플레이에 접속되지 않으면, 오디오 디스플레이의 일체형 스피커는 오디오 또는 사운드를 출력하기 위해 이용된다. 도 8과 관련하여 전술한 바와 같이, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태는, 예를 들어 접속성 센서(116)를 통해 여러 방식 중 하나에서 검출될 수 있고, 또는 호스트 프로세서 및/또는 로컬 프로세서는 접속성 센서(116)를 이용함이 없이 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태를 검출하도록 구성된다.
오디오 디스플레이가 오디오 출력 액세서리에 접속되었는지가 결정되면, 호스트 프로세서 및/또는 로컬 프로세서는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태 및 검출된 미리 결정된 속성에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다. 단계 1154에 나타낸 바와 같이, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되면, 햅틱 출력 디바이스는 단계 1156에 나타낸 바와 같이 헤드폰 또는 블루투스 디바이스에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 단계 1158에 나타낸 바와 같이 오디오 디스플레이가 오디오 출력 액세서리에 접속되지 않으면(즉, 오디오 디스플레이가 헤드폰 또는 블루투스 디바이스에 접속되지 않으면), 햅틱 출력 디바이스는 단계 1160에 나타낸 바와 같이 디바이스 스피커들에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 달리 말하자면, 헤드폰 또는 블루투스 디바이스가 오디오 디스플레이에 접속되면(그래서, 오디오가 접속된 오디오 액세서리 디바이스를 통해 출력될 것이면), 햅틱 출력 디바이스는 단계 1156에서 제1 햅틱 효과를 생성하고 적용한다. 그러나 오디오 액세서리 디바이스가 오디오 디스플레이에 접속되지 않으면(그래서 오디오가 오디오 디스플레이의 일체형 스피커를 통해 출력될 것이면), 햅틱 출력 디바이스는 단계 1160에서 제2 햅틱 효과를 생성하고 적용한다.
전술한 실시예들은 가능한 오디오 햅틱 간섭과 연관된 상태 지시자로서 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태의 검출을 포함한다. 그러나 접속성 상태의 대안으로서 또는 그에 덧붙여, 다른 파라미터들은 가능한 오디오-햅틱 간섭과 연관된 상태 지시자로서 검출되거나 감지될 수 있다. 예를 들어, 일 실시예에서, 생체인식 센서는 가능한 오디오-햅틱 간섭과 연관된 상태 지시자로서 활용되고, 햅틱 효과들은 아드레날린의 검출시에 따라 달라질 수 있다. 사용자가 결렬한 운동을 하고 있을 때, 호스트 프로세서 및/또는 로컬 프로세서는 생체인식 센서로부터의 감지된 신호에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다(즉, 햅틱 효과들은 아드레날린이 감지될 때 강화되거나 추가된다). 유사하게, 일 실시예에서, 움직임 센서는 가능한 오디오-햅틱 간섭과 연관된 상태 지시자로서 활용되고, 햅틱 효과들은 사용자 움직임의 검출시에 따라 달라질 수 있다. 사용자가 증가된 활동 또는 움직임을 하고 있거나 운동하고 있을 때, 호스트 프로세서 및/또는 로컬 프로세서는 움직임 센서로부터의 감지된 신호에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다(즉, 햅틱 효과들은 사용자가 움직이고 있거나 사용자의 움직임이 미리 결정된 임계값보다 크게 증가할 때 강화되거나 추가될 수 있다). 본 실시예의 움직임 센서들에 대한 예들은 비디오 카메라 디바이스들, 웹캠 디바이스들, 임의의 물리적 접촉 없이 인접한 객체들의 존재를 검출하는 센서들, 움직임 센서들, 사용자의 움직임을 결정하기 위해 근육 움직임을 검출하는 사용자의 피부에 적용되는 센서들, 적외선 센서들, 초음파 센서들, 근거리 송신, 스테레오 삼각 측량, 코딩된 어퍼처(coded aperture), 간섭측량(interferometry), 또는 XBOX Kinect와 유사한 디바이스들과 같은 임의의 다른 레인지 이미징 센서(range imaging sensor)를 포함하지만, 이에 제한되지는 않는다. 단일 움직임 센서로서 설명하였지만, 본 기술분야의 통상의 기술자라면, 복수의 센서가 사용자의 움직임들을 결정하기 위해 동시에 또는 결합하여 활용될 수 있다는 것을 이해할 것이다. 예를 들어, 센서 시스템은 복수의 센서를 사용하여 공간에서 사용자의 실시간 3D 이미지를 캡처하기 위해 텔레비전, 모니터, 또는 Kinect 액세서리 내에 위치할 수 있다. 센서 시스템은 또한 웹캠을 사용하여 얼굴을 식별하는 것은 물론, 사용자의 손과 같은 사용자와의 상호작용 포인트 및 햅틱 주변기기와 같은 다른 객체와의 상호작용 포인트를 식별하도록 구성된다. 센서 시스템은 이 정보를 이용하여 시스템 및/또는 주변기기들과 관련한 사용자 위치를 결정하고 사용자 및/또는 시스템과 관련한 주변기기들의 위치를 결정한다. 객체들 내에 위치한 지능형 센서들은 주변기기(예를 들어, 자이로스코프, 가속도계 등) 내의 센서들이 방향 및 위치를 이들 주변기기들에 추가로 알리도록 서로 인식할 수 있다.
또 다른 실시예에서, 주위온도 또는 노이즈 센서는 가능한 오디오-햅틱 간섭과 연관된 상태 지시자로서 활용될 수 있고, 햅틱 효과들은 햅틱 도메인 및 오디오 도메인 양자 또는 이들 중 어느 하나에서 주위 온도 및/또는 주위 노이즈의 검출시에 따라 달라질 수 있다. 주위 온도 및/또는 주위 노이즈가 검출될 때, 호스트 프로세서 및/또는 로컬 프로세서는 주위 센서로부터의 감지된 신호에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다(즉, 햅틱 효과들은 주위 온도 및/또는 주위 노이즈의 증가가 감지될 때 강화되거나 추가될 수 있다).
다른 실시예에서, 물리적 위치 센서 또는 센서 시스템은 가능한 오디오-햅틱 간섭과 연관된 상태 지시자로서 활용될 수 있고, 햅틱 효과들은 사용자와 관련된 햅틱 주변기기의 물리적 위치의 검출시에 따라 달라질 수 있다. 보다 상세하게, 햅틱 효과들은 햅틱 주변기기가 사용자와 관련하여 물리적으로 위치하는 장소, 즉, 사용자의 주머니 속이거나, 손에 들고 있거나, 사용자의 신체 또는 사람에 부착되는 장소에 따라 달라질 수 있다. 센서들의 조합, 즉 센서 시스템은 폰의 위치를 검출할 수 있고 햅틱 효과들을 변경하기 위해 이용될 수 있다. 예를 들어, 일부 모바일 폰은 항상 폰의 위치를 알 수 있다(즉, Google 폰 또는 Lynx 모바일 폰의 프로젝트 탱고(Project Tango)). 호스트 프로세서 및/또는 로컬 프로세서는 물리적 위치 센서로부터의 감지된 신호에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성된다(즉, 햅틱 효과들은 사용자가 햅틱 주변기기를 잡거나 접촉하고 있을 때 강화되거나 추가될 수 있다). 유사하게, 또 다른 실시예에서, 햅틱 주변기기는 다수의 주변 디바이스가 서로 접속되는 메시 또는 퍼스널/바디 네트워크(personal/body network) 내의 주변기기일 수 있다. 메시 네트워크 일부인 경우, 햅틱 효과들은 사용자가 어느 주변기기와 상호 작용하는지에 따라 달라질 수 있다. 예를 들어, 2개의 햅틱 가능 디바이스 또는 주변기기가 서로 접촉하도록 충분히 함께 근접하게 된다면, 시스템은 하나의 햅틱 가능 디바이스 또는 주변기기가 다른 하나의 햅틱 가능 디바이스 또는 주변기기보다 햅틱 효과들이 우선시되도록 구성될 수 있다.
도 12는 본 명세서의 일 실시예에 따른 햅틱 효과들을 햅틱 주변기기의 사용자에 제공하는 방법을 예시하는 흐름도이며, 렌더링된 햅틱 효과들은 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭과 연관된 검출된 상태에 따라 달라진다. 전술한 바와 같이, 다양한 파라미터는 가능한 오디오-햅틱 간섭과 연관된 상태 지시자로서 홀로 또는 임의의 조합으로 검출 또는 감지될 수 있다. 예를 들어, 검출된 상태는 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태, 볼륨 레벨, 전력 상태, 사용자 생체인식, 사용자 움직임, 주위 온도, 주위 노이즈, 사용자와 관련된 햅틱 주변기기의 물리적 위치, 및/또는 접속된 주변기기의 메시 네트워크 내의 참여와 관련될 수 있다. 단계 1250은 방법의 시작 또는 개시를 보여준다. 일 실시예에서, 도 12의 흐름도의 기능성은 호스트 컴포넌트의 호스트 메모리에 저장되고 호스트 프로세서에 의해 실행되고/되거나 햅틱 주변기기의 로컬 메모리에 저장되고 로컬 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 이 기능성은 주문형 집적회로(ASIC), 프로그램 가능 게이트 어레이(PGA), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 하드웨어 및 소프트웨어의 임의의 조합의 사용을 통해 하드웨어에 의해 수행될 수 있다. 이 실시예에서, 시스템의 오디오 디스플레이는 일체형 스피커, 및 이에 헤드폰을 수용하도록 구성된 헤드폰 커넥터를 적어도 포함한다. 오디오 디스플레이는 호스트 컴퓨터, 햅틱 주변기기, 또는 시각적 디스플레이와 같은 2차 주변기기에 통합될 수 있다. 도 12의 방법이 햅틱 주변기기(102), 햅틱 주변기기(302), 햅틱 주변기기(602), 또는 비디오 게이밍 기술분야에 알려진 바와 같은 다른 구성을 갖는 햅틱 주변기기에 의해 수행될 수 있다는 것은 본 기술분야의 통상의 기술자에 의해 이해될 것이다.
단계 1252에서, 햅틱 주변기기의 오디오-햅틱 간섭과 연관된 상태가 검출된다. 본 명세서의 소정 실시예에서, 햅틱 주변기기의 오디오-햅틱 간섭과 연관된 상태는 추가 파라미터 센서(117)를 통해 검출될 수 있다(도 1 참조). 본 실시예에서 추가 파라미터 센서(117)에 대한 예들은, 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태, 볼륨 레벨, 전력 상태, 사용자 생체인식, 사용자 움직임, 주위 온도, 주위 노이즈, 사용자와 관련된 햅틱 주변기기의 물리적 위치, 및/또는 접속된 주변기기의 메시 네트워크 내의 참여 등과 같지만 이에 제한되지 않는, 가능한 오디오-햅틱 간섭과 연관된 상태 지시자를 검출하기 위한 하나 이상의 센서를 포함하지만 이에 제한되지 않는다. 본 명세서의 다른 실시예들에서, 호스트 프로세서 및/또는 로컬 프로세서는 추가 파라미터 센서(117)의 사용 없이 햅틱 주변기기의 오디오-햅틱 간섭과 연관된 상태를 검출하도록 구성된다(따라서 본 실시예에서는 추가 파라미터 센서(117)가 요구되지 않는다).
검출된 상태가 단계 1254에 나타낸 바와 같이, 오디오-햅틱 간섭 없음 또는 최소 오디오-햅틱 간섭 또는 "상태 1"을 나타내면, 햅틱 출력 디바이스는 단계 1256에 나타낸 바와 같이 오디오-햅틱 간섭 없음 또는 최소 오디오-햅틱 간섭에 최적화되는 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 검출된 상태가 단계 1258에 나타낸 바와 같이, 오디오-햅틱 간섭의 존재 또는 가능성 또는 "상태 2"를 나타내면, 햅틱 출력 디바이스는 단계 1260에 나타낸 바와 같이 오디오-햅틱 간섭에 최적화된 햅틱 트랙 또는 효과들을 재생 또는 출력하도록 지시받는다. 다시 말해서, 호스트 프로세서 및/또는 로컬 프로세서는 햅틱 출력과 오디오 출력 간의 간섭과 연관된 햅틱 주변기기의 검출된 상태에 따라 햅틱 출력 디바이스를 위한 제어 신호를 변경하도록 구성되고, 따라서 햅틱 출력 디바이스는 검출된 상태가 햅틱 출력과 오디오 출력 간의 간섭 없음 또는 최소 간섭을 나타내는 제1 상태를 나타내는 경우 제1 햅틱 효과를 생성하고 적용하며, 햅틱 출력 디바이스는 검출된 상태가 햅틱 출력과 오디오 출력 간의 간섭을 나타내는 제2 상태를 나타내는 경우 제2 햅틱 효과를 생성하고 적용하게 된다. 일 실시예에서, 제2 햅틱 효과(검출된 상태가 햅틱 출력과 오디오 출력 간의 간섭을 나타내는 제2 상태를 나타내는 경우 렌더링됨)는 제1 햅틱 효과(검출된 상태가 햅틱 출력과 오디오 출력 간의 간섭 없음 또는 최소 간섭을 나타내는 제1 상태를 나타내는 경우 렌더링됨)보다 강하고, 따라서 햅틱 주변기기의 햅틱 출력과 오디오 출력 간에 간섭이 존재할 때 더 강한 효과들이 제공된다.
본 명세서의 일 실시예에서, 햅틱 주변기기의 오디오-햅틱 간섭과 연관된 상태는 햅틱 액추에이터의 가청 레벨이다. 보다 상세하게, 일부 디바이스에서, 햅틱 액추에이터는 햅틱 액추에이터가 결합될 때 가청 버즈(audible buzz) 또는 노이즈를 만들거나 초래할 수 있다. 예를 들어, 사용자는 햅틱 주변기기(즉, 모바일 폰 디바이스)가 진동할 때 가청 버즈를 들을 수 있다. 고강도에서, 이런 가청 버즈 또는 노이즈는 사용자가 햅틱 주변기기상에서 콘텐츠를 보거나 듣는 것을 방해할 수 있다. 따라서, 일 실시예에서, 시스템은 햅틱 액추에이터의 가청 레벨을 검출하도록 구성되며, 가청 레벨이 미리 결정된 임계값보다 큰 경우, 호스트 프로세서 및/또는 로컬 프로세서는 가청 버즈 또는 노이즈를 감소시키기 위해 렌더링된 햅틱 효과들의 강도, 주파수, 패턴, 또는 질감을 조절하도록 구성되고, 따라서 사용자의 전반적인 경험을 개선한다. 반대로, 검출된 가청 레벨이 미리 결정된 임계값보다 아래에 있다면, 렌더링된 햅틱 효과는 호스트 프로세서 및/또는 로컬 프로세서에 의해 강화될 수 있다. 햅틱 주변기기가, 다수의 주변 디바이스가 서로 접속되는 메시 또는 퍼스널/바디 네트워크 내에 주변기기인, 본 명세서의 일 실시예에서, 햅틱 및/또는 오디오 출력들은 햅틱 액추에이터의 가청 레벨이 미리 결정된 임계값보다 큰 경우 햅틱 액추에이터의 노이즈를 감소시키도록 조절될 수 있다. 예를 들어, 다수의 햅틱 주변기기의 맥락에서, 콘텐츠는 주요 햅틱 주변기기 및 웨어러블 햅틱 주변기기상에서 동시에 재생될 수 있고, 웨어러블 햅틱 주변기기상에서 햅틱 액추에이터 노이즈의 검출은 오디오의 볼륨 및/또는 햅틱 강도를 조절하는 결과를 초래하여, 주요 햅틱 주변기기상에서 재생 중인 콘텐츠와의 간섭을 회피하기 위해 웨어러블 햅틱 주변기기의 노이즈를 감소시킬 것이다.
본 명세서의 임의의 실시예에서, 호스트 프로세서 및/또는 로컬 프로세서는 햅틱 출력 대신에 또는 이에 덧붙여 오디오 출력을 변경하거나 수정하도록 대안적으로 또는 추가적으로 구성될 수 있다. 보다 상세하게, 본 명세서의 실시예들의 오디오 디스플레이는 호스트 프로세서 및/또는 로컬 프로세서로부터 제어 신호를 수신하고 호스트 프로세서 및/또는 로컬 프로세서로부터의 제어 신호에 응답하여 오디오를 햅틱 주변기기에 출력하도록 구성된다. 호스트 프로세서 및/또는 로컬 프로세서는, 예를 들어 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태, 볼륨 레벨, 전력 상태, 사용자 생체인식, 사용자 움직임, 주위 온도, 주위 노이즈, 사용자와 관련된 햅틱 주변기기의 물리적 위치, 및/또는 접속된 주변기기의 메시 네트워크 내의 참여 등과 같지만 이에 제한되지 않는, 가능한 오디오-햅틱 간섭과 연관된 상태 지시자에 따라, 햅틱 출력 디바이스를 위한 제어 신호 및/또는 오디오 디스플레이를 위한 제어 신호를 변경하도록 구성될 수 있다. 예를 들어, 스피커에 의해 출력된 진동을 보상하기 위해 햅틱 효과들에 대한 크기를 변경하거나 조절(또는 특별히 저작된 트랙을 선택)하는 대신에 또는 이에 덧붙여, 오디오 트랙은 검출된 상태가 햅틱 출력과 오디오 출력 간의 간섭을 나타내는 상태를 나타낼 때 렌더링된 햅틱 효과를 향상시키도록 수정될 수 있다. 예를 들어, 스피커 강도 또는 볼륨은 검출된 상태가 햅틱 출력과 오디오 출력 간의 간섭을 나타내는 상태를 나타낼 때 햅틱 효과들을 향상시키도록 변조될 수 있다. 다른 예로서, 특정한 햅틱 효과 또는 시퀀스가 일부 알려진 오디오 간섭의 양을 유발하는 경우, 오디오 효과의 볼륨은 사용자가 오디오 피드백을 들을 수 있는 것과 설계자가 의도한 대로 햅틱 피드백을 느낄 수 있는 것 양자를 보장하기 위해 햅틱 효과 또는 시퀀스의 지속시간 동안 조절된다.
본 발명에 따른 다양한 실시예를 상술하였지만, 이들은 예로서 제시된 것이며 제한적이지 않다. 본 발명의 사상 및 범위로부터 벗어나지 않고도 여러 가지 형태 및 상세 내용의 변화가 이루어질 수 있다는 것이 관련 기술분야의 통상의 기술자에게 자명할 것이다. 따라서, 본 발명의 폭 및 범위는 상술된 예시적 실시예들 중 임의의 것에 의해 제한되어서는 안 되며, 첨부된 특허청구범위 및 그 등가물에 따라서만 제한되어야 한다. 본 명세서에 논의되는 각 실시예의 각 특징, 본 명세서에 인용되는 각 참조문헌의 특징은 임의의 기타 실시예의 특징들과 조합하여 사용될 수 있다는 점도 이해될 것이다. 달리 말하자면, 햅틱 효과를 렌더링하는 상기 방법의 양태들은 본 명세서에서 기술되는 다른 방법과의 임의의 조합에 사용될 수 있거나, 그 방법들이 별도로 사용될 수 있다. 본 명세서에 논의되는 모든 특허 및 공보는 그 전체가 본 명세서에 참고로 포함된다.

Claims (20)

  1. 시스템으로서,
    프로세서;
    오디오 출력 디바이스를 포함하는 오디오 디스플레이; 및
    햅틱 출력 디바이스를 포함하는 햅틱 주변기기
    를 포함하고, 상기 햅틱 출력 디바이스는 상기 프로세서로부터 제어 신호를 수신하고 상기 프로세서로부터의 상기 제어 신호에 응답하여 햅틱 효과를 상기 햅틱 주변기기에 출력하도록 구성되고,
    상기 프로세서는 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭과 연관된 검출된 상태에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호를 변경하도록 구성되고, 따라서 상기 검출된 상태가 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭 없음 또는 최소 간섭을 나타내는 제1 상태를 나타내는 경우 상기 햅틱 출력 디바이스가 제1 햅틱 효과를 생성하고 적용하며, 상기 검출된 상태가 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭을 나타내는 제2 상태를 나타내는 경우 상기 햅틱 출력 디바이스가 제2 햅틱 효과를 생성하고 적용하게 되며, 상기 제1 햅틱 효과는 상기 제2 햅틱 효과와 상이한, 시스템.
  2. 제1항에 있어서, 상기 프로세서는 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭과 연관된 상기 검출된 상태를 검출하도록 구성되는 시스템.
  3. 제1항에 있어서, 상기 제1 햅틱 효과는 상기 제2 햅틱 효과보다 더 강한, 시스템.
  4. 제1항에 있어서, 상기 검출된 상태는, 상기 오디오 출력 디바이스가 헤드폰 커넥터를 통해 상기 오디오 디스플레이에 접속되는 경우 상기 햅틱 출력 디바이스가 상기 제1 햅틱 효과를 생성하고 적용하며, 상기 오디오 출력 디바이스가 상기 시스템의 일체형 스피커인 경우 상기 햅틱 출력 디바이스가 상기 제2 햅틱 효과를 생성하고 적용하도록 하는 오디오 출력 액세서리 접속성 상태(audio output accessory connectivity status)인, 시스템.
  5. 제4항에 있어서, 상기 프로세서는 상기 오디오 디스플레이의 볼륨 레벨을 검출하도록 구성되고, 또한 상기 검출된 볼륨 레벨에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호를 변경하도록 구성되는 시스템.
  6. 제4항에 있어서, 상기 프로세서는 상기 오디오 디스플레이의 전력 상태를 검출하도록 구성되고, 또한 상기 검출된 전력 상태에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호를 변경하도록 구성되는 시스템.
  7. 제4항에 있어서, 상기 프로세서는 상기 햅틱 주변기기의 미리 결정된 속성을 검출하도록 구성되고, 또한 상기 검출된 미리 결정된 속성에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호를 변경하도록 구성되고, 상기 미리 결정된 속성은 햅틱 출력 디바이스와 오디오 출력 디바이스 간의 간섭과 관련되는 시스템.
  8. 제1항에 있어서, 상기 시스템은 생체인식 센서를 더 포함하고, 상기 검출된 상태는 상기 생체인식 센서로부터의 감지된 신호인, 시스템.
  9. 제1항에 있어서, 상기 시스템은 움직임 센서를 더 포함하고, 상기 검출된 상태는 상기 움직임 센서로부터의 감지된 신호인, 시스템.
  10. 제1항에 있어서, 상기 시스템은 주위 햅틱 노이즈 센서를 더 포함하고, 상기 검출된 상태는 상기 주위 햅틱 노이즈 센서로부터의 감지된 신호인, 시스템.
  11. 제1항에 있어서, 상기 시스템은 물리적 위치 센서를 더 포함하고, 상기 검출된 상태는 상기 물리적 위치 센서로부터의 감지된 신호인, 시스템.
  12. 제1항에 있어서, 상기 프로세서는 상기 검출된 상태에 따라 상기 오디오 디스플레이를 위한 제어 신호를 변경하도록 구성되는 시스템.
  13. 제1항에 있어서, 상기 시스템은 호스트 컴퓨터를 더 포함하고, 상기 프로세서는 상기 호스트 컴퓨터에 배치되는, 시스템.
  14. 제1항에 있어서, 상기 프로세서는 상기 햅틱 주변기기에 배치되는, 시스템.
  15. 시스템으로서,
    프로세서;
    스피커 및 헤드폰 커넥터를 포함하는 오디오 디스플레이; 및
    햅틱 출력 디바이스를 포함하는 햅틱 주변기기
    를 포함하고, 상기 햅틱 출력 디바이스는 상기 프로세서로부터 제어 신호를 수신하고 상기 프로세서로부터의 상기 제어 신호에 응답하여 햅틱 효과를 상기 햅틱 주변기기에 출력하도록 구성되고,
    상기 프로세서는 상기 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호를 변경하도록 구성되고, 따라서 상기 오디오 디스플레이가 상기 헤드폰 커넥터를 통해 오디오를 출력하기 위해 오디오 출력 액세서리에 접속되는 경우 상기 햅틱 출력 디바이스가 제1 햅틱 효과를 생성하고 적용하며, 상기 오디오 디스플레이가 상기 스피커를 통해 오디오를 출력하기 위해 오디오 출력 액세서리에 접속되지 않는 경우 상기 햅틱 출력 디바이스가 제2 햅틱 효과를 생성하고 적용하게 되며, 상기 제1 햅틱 효과는 상기 제2 햅틱 효과와 상이한, 시스템.
  16. 제15항에 있어서, 상기 프로세서는 상기 오디오 디스플레이의 상기 오디오 출력 액세서리 접속성 상태를 검출하도록 구성되는 시스템.
  17. 제15항에 있어서, 상기 제1 햅틱 효과는 상기 제2 햅틱 효과보다 더 강한, 시스템.
  18. 제15항에 있어서, 상기 프로세서는 상기 오디오 디스플레이의 볼륨 레벨을 검출하도록 구성되고, 또한 상기 검출된 볼륨 레벨에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호를 변경하도록 구성되는 시스템.
  19. 시스템으로서,
    프로세서;
    오디오 디스플레이로서, 상기 오디오 디스플레이는 상기 프로세서로부터 제어 신호를 수신하고 상기 프로세서로부터의 상기 제어 신호에 응답하여 오디오를 출력하도록 구성되는 오디오 디스플레이; 및
    햅틱 출력 디바이스를 포함하는 햅틱 주변기기
    를 포함하고, 상기 햅틱 출력 디바이스는 상기 프로세서로부터 제어 신호를 수신하고 상기 프로세서로부터의 상기 제어 신호에 응답하여 햅틱 효과를 상기 햅틱 주변기기에 출력하도록 구성되고,
    상기 프로세서는 상기 오디오 디스플레이의 오디오 출력 액세서리 접속성 상태에 따라 상기 햅틱 출력 디바이스를 위한 상기 제어 신호 또는 상기 오디오 디스플레이를 위한 상기 제어 신호를 변경하도록 구성되는 시스템.
  20. 제19항에 있어서, 상기 햅틱 출력 디바이스는 상기 오디오 디스플레이가 오디오 출력 액세서리에 접속되는 경우 제1 햅틱 효과를 생성하고 적용하며, 상기 햅틱 출력 디바이스는 상기 오디오 디스플레이가 오디오 출력 액세서리에 접속되지 않는 경우 제2 햅틱 효과를 생성하고 적용하며, 상기 제1 햅틱 효과는 상기 제2 햅틱 효과와 상이한, 시스템.
KR1020160120533A 2015-09-25 2016-09-21 오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법 KR20170037530A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/864,926 2015-09-25
US14/864,926 US9842476B2 (en) 2015-09-25 2015-09-25 Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference

Publications (1)

Publication Number Publication Date
KR20170037530A true KR20170037530A (ko) 2017-04-04

Family

ID=56920630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160120533A KR20170037530A (ko) 2015-09-25 2016-09-21 오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법

Country Status (5)

Country Link
US (2) US9842476B2 (ko)
EP (1) EP3147757B1 (ko)
JP (1) JP2017062788A (ko)
KR (1) KR20170037530A (ko)
CN (1) CN106997238A (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
US10438583B2 (en) * 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
WO2018110434A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
JP6833018B2 (ja) 2017-04-18 2021-02-24 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193514A1 (ja) * 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018198229A1 (ja) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
WO2018216480A1 (ja) * 2017-05-22 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
WO2019043781A1 (ja) 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
JP7042061B2 (ja) * 2017-11-10 2022-03-25 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11653146B2 (en) * 2018-07-04 2023-05-16 Sony Corporation Information processing device, information processing method, and program
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
JP6875484B2 (ja) * 2019-10-24 2021-05-26 株式会社Ｃｙｇａｍｅｓ コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
CN113132545B (zh) * 2020-01-10 2022-11-15 北京小米移动软件有限公司 电子设备
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN113491876B (zh) * 2021-04-28 2024-02-06 荣成歌尔科技有限公司 一种模拟摇杆的控制方法及模拟摇杆
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11763646B2 (en) * 2021-07-12 2023-09-19 Zepp, Inc. Neck evaluation method and device
TWI785865B (zh) * 2021-10-28 2022-12-01 華碩電腦股份有限公司 具有振動功能的電子裝置以及振動驅動方法
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
EP4246290A4 (en) * 2022-02-07 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR PROVIDING A HAPTIC FUNCTION AND METHOD THEREFOR
JP2023150609A (ja) * 2022-03-31 2023-10-16 株式会社栗本鐵工所 出力制御装置、出力制御プログラム及び出力制御方法
US20240042308A1 (en) * 2022-08-03 2024-02-08 Sony Interactive Entertainment Inc. Fidelity of motion sensor signal by filtering voice and haptic components

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357052B2 (en) 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US8306238B2 (en) * 2009-06-17 2012-11-06 Sony Ericsson Mobile Communications Ab Method and circuit for controlling an output of an audio signal of a battery-powered device
JP5464658B2 (ja) * 2010-01-19 2014-04-09 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及び無接点型電子機器並びにプログラム
JP5605841B2 (ja) * 2010-11-24 2014-10-15 埼玉日本電気株式会社 通信端末装置、バイブレータ制御方法、及び、プログラム
EP2690546A4 (en) * 2011-03-25 2014-09-10 Lg Electronics Inc IMAGE PROCESSING DEVICE AND METHOD FOR CONTROLLING IMAGE PROCESSING DEVICE
CA2832091C (en) * 2011-05-02 2016-09-06 Graphic Packaging International, Inc. Carton with opening feature
WO2013018310A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 電子機器
KR101589421B1 (ko) * 2012-08-16 2016-01-27 가부시키가이샤 액션 리서치 진동 처리 장치 및 방법
JP2014082667A (ja) * 2012-10-17 2014-05-08 Sony Corp 端末装置およびプログラム
US9319150B2 (en) 2012-10-29 2016-04-19 Dell Products, Lp Reduction of haptic noise feedback in system
US9202351B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Systems and methods for haptics in vibrating environments and devices
EP3211511A1 (en) * 2013-03-15 2017-08-30 Immersion Corporation Programmable haptic peripheral
US20140329589A1 (en) * 2013-05-03 2014-11-06 Steelseries Aps Method and apparatus for configuring a gaming environment
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9107011B2 (en) * 2013-07-03 2015-08-11 Sonetics Holdings, Inc. Headset with fit detection system
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
JP6350544B2 (ja) * 2013-12-02 2018-07-04 株式会社ニコン 電子機器、および振動情報生成装置
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9665198B2 (en) * 2014-05-06 2017-05-30 Qualcomm Incorporated System and method for optimizing haptic feedback
JP6322830B2 (ja) * 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6327417B2 (ja) * 2014-05-30 2018-05-23 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9392368B2 (en) * 2014-08-25 2016-07-12 Comcast Cable Communications, Llc Dynamic positional audio

Also Published As

Publication number Publication date
US9842476B2 (en) 2017-12-12
EP3147757A1 (en) 2017-03-29
EP3147757B1 (en) 2020-03-04
US10347093B2 (en) 2019-07-09
US20170092084A1 (en) 2017-03-30
US20180061195A1 (en) 2018-03-01
CN106997238A (zh) 2017-08-01
JP2017062788A (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
US10347093B2 (en) Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
JP6576697B2 (ja) 視野および／または近接度に基づいて触覚強度を変更するためのプログラマブル触覚デバイスおよび方法
US10974138B2 (en) Haptic surround functionality
US10146311B2 (en) Haptic devices and methods for providing haptic effects via audio tracks
JP2020072962A (ja) プログラマブル触覚周辺装置
JP6834962B2 (ja) 情報処理装置、方法およびコンピュータプログラム
JP6675824B2 (ja) ユーザー入力素子に隔離された触覚効果を有するゲーミングデバイス
US20180093178A1 (en) Systems and Methods for Performing Haptic Conversion
EP2921212A1 (en) Systems and methods for a shared haptic experience
JP2016015140A (ja) 静電触覚効果を提供する表面要素のためのシステム及び方法
JP2016095625A (ja) ハプティックトリガ修正システム
JP6801838B2 (ja) スローモーションのためのハプティック効果の修正
WO2024118290A1 (en) User-customized flat computer simulation controller field