KR20180048629A - 햅틱 효과 설계 시스템 - Google Patents

햅틱 효과 설계 시스템 Download PDF

Info

Publication number
KR20180048629A
KR20180048629A KR1020187005204A KR20187005204A KR20180048629A KR 20180048629 A KR20180048629 A KR 20180048629A KR 1020187005204 A KR1020187005204 A KR 1020187005204A KR 20187005204 A KR20187005204 A KR 20187005204A KR 20180048629 A KR20180048629 A KR 20180048629A
Authority
KR
South Korea
Prior art keywords
haptic
drive signal
haptic effect
parameters
effect
Prior art date
Application number
KR1020187005204A
Other languages
English (en)
Inventor
윌리엄 에스. 린
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180048629A publication Critical patent/KR20180048629A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B06B1/045—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism using vibrating magnet, armature or coil system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서에 개시된 시스템들 및 방법들은 실시간으로 햅틱 효과들을 편집하는데 이용된다. 처음에, 애니메이션 오브젝트가 수신된다. 대응하는 햅틱 구동 신호를 갖는 햅틱 효과가 애니메이션 오브젝트와 연관된다. 이어서, 보간 포인트들이 타임라인을 따라 햅틱 구동 신호와 연관된다. 햅틱 구동 신호의 하나 이상의 파라미터가 연속적인 보간 포인트들 간에 조절되어 수정된 햅틱 효과를 생성한다. 파라미터들을 조절하면서, 애니메이션 오브젝트 및 수정된 햅틱 효과가 렌더링될 수 있다.

Description

햅틱 효과 설계 시스템
관련 출원들에 대한 상호 참조
본 출원은 2015년 9월 25일에 출원되어 전체적으로 본 명세서에 참조로서 포함되는 미국 가특허 출원 제62/233,120호의 이득을 주장한다.
본 발명의 실시예들은 일반적으로 전자 디바이스들에 관한 것이며, 보다 구체적으로는 햅틱 효과들(haptic effects)을 생성 및 편집하는 전자 디바이스들에 관한 것이다.
햅틱은 힘, 진동 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 적용함으로써 사용자의 터치 감각을 활용하는 촉각 및 힘 피드백 기술에 관한 것이다. 모바일 디바이스들, 터치스크린 디바이스들 및 개인용 컴퓨터들과 같은 디바이스들은 햅틱 효과들을 발생시키도록 구성될 수 있다. 예를 들어, 사용자가 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 몇몇 다른 제어 요소를 이용하는 디바이스와 상호 작용할 때, 그 디바이스의 운영 시스템은 제어 회로를 통해 커맨드를 보내어 적합한 햅틱 효과를 발생시킬 수 있다.
디바이스들은 햅틱 효과들의 출력을 오디오와 같은, 다른 콘텐츠의 출력과 조화시키도록 구성될 수 있으며, 햅틱 효과들은 다른 콘텐츠에 통합된다. 예를 들어, 오디오 효과 개발자는 기관총 소리, 폭발 또는 자동차 충돌과 같은, 디바이스에 의해 출력될 수 있는 오디오 효과들을 개발할 수 있다. 또한, 비디오 효과들과 같은, 다른 타입의 콘텐츠가 개발된 후 디바이스에 의해 출력될 수 있다.
햅틱 효과 개발자는 디바이스용의 햅틱 효과를 오더링(author)할 수 있으며, 그 디바이스는 다른 콘텐츠와 함께 햅틱 효과를 출력하도록 구성될 수 있다. 그러나, 이러한 프로세스는 오디오 효과 또는 다른 타입의 콘텐츠를 정확히 보조(compliment)하는 햅틱 효과를 오더링하기 위해 햅틱 효과 개발자의 개별적인 판단을 일반적으로 필요로 한다. 오디오 효과 또는 다른 타입의 콘텐츠를 보조하지 않는 빈약하게 오더링된 햅틱 효과는 전체적으로 조화되지 않는 효과를 발생시킬 수 있으며, 햅틱 효과는 오디오 효과 또는 다른 콘텐츠와 "맞물리지(mesh)" 않는다. 사용자의 이러한 유형의 경험은 일반적으로 바람직하지 않다.
본 발명의 실시예들은 종래 기술을 실질적으로 개선시키는 햅틱 효과들을 생성 및 편집하도록 구성된 전자 디바이스들에 관한 것이다.
본 실시예들의 특징들 및 이점들은 후속하는 기재에 개시되거나, 그 기재로부터 명백하거나, 또는 발명의 실시에 의해 학습될 수 있다.
일 예에서, 햅틱 효과들을 편집하기 위한 시스템들 및 방법들이 제공된다. 예를 들어, 이러한 시스템들 및 방법들은 애니메이션 오브젝트를 검색하고, 대응하는 햅틱 구동 신호를 갖는 햅틱 효과를 애니메이션 오브젝트와 연관시키고, 햅틱 구동 신호의 타임라인을 따라 복수의 보간 포인트를 햅틱 구동 신호와 연관시키고, 연속적인 보간 포인트들 간에 햅틱 구동 신호의 하나 이상의 파라미터를 조절하여 수정된 햅틱 효과를 생성하며, 애니메이션 오브젝트 및 수정된 햅틱 효과를 렌더링하도록 구성될 수 있다.
따라서, 본 발명의 실시예들은 햅틱 효과들의 생성 및 편집을 개선시킨다.
추가 실시예들, 상세 내용들, 이점들 및 변형들은 첨부의 도면들과 함께 기술되는 다음과 같은 바람직한 실시예들의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 예시적인 실시예에 따른 햅틱-인에이블형(haptically-enabled) 시스템/디바이스의 블록도이다.
도 2는 본 발명의 예시적인 실시예에 따른 햅틱 편집 애플리케이션을 도시한다.
도 3은 본 발명의 예시적인 실시예에 따라 햅틱 효과들을 편집하기 위한 기능의 흐름도이다.
도 4는 본 발명의 예시적인 실시예에 따른 햅틱 구동 신호를 도시한다.
도 5a 내지 도 5c는 본 발명의 다른 예시적인 실시예들에 따른 햅틱 구동 신호들을 도시한다.
도 6a 및 도 6b는 본 발명의 또 다른 예시적인 실시예들에 따른 햅틱 구동 신호들을 도시한다.
도 7a 및 도 7b는 본 발명의 또 다른 예시적인 실시예들에 따른 햅틱 구동 신호들을 도시한다.
도 8은 본 발명의 다른 예시적인 실시예에 따른 복수의 햅틱 구동 신호를 도시한다.
도 9는 본 발명의 예시적인 실시예에 따른 햅틱 프리셋 라이브러리를 도시한다.
이하, 그 예들이 첨부 도면들에 도시된 실시예들을 상세히 참조할 것이다. 이하의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 구체적인 상세가 기술되어 있다. 그렇지만, 본 발명이 이들 구체적인 상세 없이도 실시될 수 있다는 것이 관련 기술 분야의 통상의 기술자에게는 명백할 것이다. 다른 경우들에서, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해, 잘 알려진 방법들, 절차들, 컴포넌트들, 및 회로들은 상세히 설명되지 않았다. 가능한 어디에서든, 유사한 참조 번호들이 유사한 엘리먼트들에 대해 사용될 것이다.
예시적인 실시예들은 일반적으로 게임 엔진 또는 다른 비선형 엔진에서의 햅틱 효과들을 설계 및/또는 편집하기 위한 시스템들 및 방법들에 관한 것이며, 애니메이션 오브젝트들 및 이에 수반한 미디어 효과들(예를 들면, 오디오 및/또는 비디오)이 햅틱 효과와 동기하여 렌더링됨으로써 애플리케이션 맥락(예를 들면, 게임 맥락)에서 햅틱 효과들의 실시간 프리뷰 및 모니터링을 가능하게 한다. 고품질의 햅틱 출력 디바이스들에 의해 렌더링되는 햅틱 효과들의 범위를 향상시키고, 또한 햅틱 효과들을 설계 또는 조작하는 햅틱 개발자의 능력을 높이는 개선된 햅틱 편집 애플리케이션이 제공된다. 다양한 실시예들에 따르면, 햅틱 효과들은 실시간으로 또는 애니메이션 오브젝트 또는 다른 입력의 재생 중에 렌더링될 수 있다.
도 1은 본 발명의 예시적인 실시예에 따른 햅틱-인에이블형 시스템/디바이스(10)의 블록도이다.
다양한 예시적인 실시예들에서, 시스템(10)은 모바일 디바이스(예를 들면, 스마트폰) 또는 비-모바일 디바이스(예를 들면, 데스크탑 컴퓨터)의 일부이며, 시스템(10)은 디바이스에게 햅틱 기능을 제공한다. 다른 예시적인 실시예에서, 시스템(10)은 어떤 방식으로든 사용자와 접촉하는 오브젝트에 포함되어 있는 디바이스의 일부이고, 시스템(10)은 이러한 디바이스에 햅틱 기능을 제공한다. 예를 들어, 일 실시예에서, 시스템(10)은 웨어러블 디바이스를 포함할 수 있으며, 시스템(10)은 웨어러블 디바이스에 햅틱 기능을 제공한다. 웨어러블 디바이스들의 예들은 손목 밴드, 헤드 밴드, 안경, 반지, 발목 밴드, 의복에 통합되어 있는 어레이, 또는 사용자가 신체에 착용할 수 있거나 사용자에 의해 소지될 수 있는 임의의 다른 타입의 디바이스를 포함한다. 몇몇 웨어러블 디바이스들은 "햅틱-인에이블형"일 수 있으며, 이는 이들이 햅틱 효과들을 생성하기 위한 메커니즘들을 포함한다는 것을 의미한다. 다른 예시적인 실시예에서, 시스템(10)은 디바이스(예를 들어, 모바일 디바이스 또는 웨어러블 디바이스)로부터 별도이며, 디바이스에 햅틱 기능을 원격으로 제공한다.
단일 시스템으로 도시되어 있지만, 시스템(10)의 기능은 분산형 시스템으로 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보 처리를 위해 버스(12)에 결합된 프로세서(22)를 포함한다. 프로세서(22)는 임의 타입의 범용 프로세서일 수 있거나, 주문형 집적 회로("ASIC")와 같은 햅틱 효과들을 제공하도록 특별히 설계된 프로세서일 수 있다. 프로세서(22)는 전체 시스템(10)을 작동시키는 동일한 프로세서일 수 있거나, 개별 프로세서일 수 있다. 프로세서(22)는 어떠한 햅틱 효과들이 렌더링되는지 그리고 그 효과들이 하이 레벨 파라미터들에 기반하여 렌더링되는 순서를 결정할 수 있다. 일반적으로, 특정한 햅틱 효과를 정의하는 하이 레벨 파라미터들은 크기, 주파수 및 지속 시간을 포함한다. 스트리밍 모터 명령들과 같은 로우 레벨 파라미터들이 특정한 햅틱 효과를 결정하는데 또한 이용될 수도 있다. 햅틱 효과는 햅틱 효과가 발생될 때 이 파라미터들의 어떤 변동을 포함하거나 또는 사용자의 상호작용에 기반한 이 파라미터들의 변동을 포함한다면 "동적"이라고 간주될 수 있다.
프로세서(22)는 액추에이터(26)에 필요한 전류 및 전압(즉, "모터 신호들")을 공급하여 원하는 햅틱 효과들을 야기하는데 이용되는 전자 컴포넌트들 및 회로를 포함하는 햅틱 구동 회로(도시되지 않음)에 제어 신호들을 출력한다. 도 1에 도시된 예시적인 실시예에서, 액추에이터(26)는 시스템(10)에 결합된다. 대안적으로, 시스템(10)은 둘 이상의 액추에이터(26)를 포함할 수 있고, 각각의 액추에이터는 개별 구동 회로를 포함할 수 있으며, 이들 모두는 공통 프로세서(22)에 결합된다.
프로세서(22) 및 햅틱 구동 회로는 다양한 실시예들에 따라 액추에이터(26)의 햅틱 구동 신호를 제어하도록 구성된다. 햅틱 구동 신호에 대한 다양한 파라미터들이 수정될 수 있다. 예를 들어, 파라미터들은 시작 시간, 지속 시간, 루프 카운트(즉, 햅틱 효과가 반복되는 회수), 클립 길이(즉, 반복되는 햅틱 효과의 단일 인스턴스 지속 시간), 신호 타입(즉, 양방향 액추에이터에 렌더링되는 경우 푸시 또는 풀과 같은 햅틱 효과의 방향), 강도 타입(즉, 양방향 액추에이터들에 있어서 신호 타입에 대한 강도 곡선), 신호 갭(즉, 펄싱 효과에 있어서, 펄스들 간의 햅틱 침묵 주기), 신호 폭(즉, 펄싱 효과에 있어서, 각각의 펄스의 지속 시간), 갭 퍼스트(gap first)(즉, 펄싱 효과에 있어서, 햅틱 효과가 펄스 또는 갭으로 시작하여야 하는지를 지정), 링크 갭 대 폭(즉, 폭과 갭 파라미터들 간의 비율), 신호 형상(예를 들면, 사인, 직사각형, 삼각형, 톱니 모양 등), 및 그 밖의 다른 파라미터들을 포함할 수 있다. 이러한 파라미터들을 이용함으로써, 애플리케이션의 햅틱 효과들이 실시간으로 편집 및 렌더링될 수 있다.
비일시적 메모리(14)는 프로세서(22)에 의해 액세스될 수 있는 다양한 컴퓨터 판독가능 매체들을 포함할 수 있다. 다양한 실시예들에서, 메모리(14) 및 본 명세서에 기술되는 다른 메모리 디바이스들은 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 예를 들어, 메모리(14)는 "RAM", "DRAM", "SRAM", "ROM", 플래시 메모리, 캐시 메모리, 및/또는 임의의 다른 타입의 비일시적 컴퓨터 판독가능 매체의 임의의 조합을 포함할 수 있다. 메모리(14)는 프로세서(22)에 의해 실행되는 명령어들을 저장한다. 메모리(14)는 명령어들 중에서 햅틱 효과 설계 모듈(16)용의 명령어들을 포함한다. 햅틱 효과 설계 모듈(16)은 이하에 더 상세히 개시된 바와 같이 프로세서(22)에 의해 실행될 때 햅틱 편집 애플리케이션을 가능하게 하고 또한 액추에이터들(26)을 이용하여 햅틱 효과들을 렌더링하는 명령어들을 포함한다. 메모리(14)는 또한 프로세서(22) 내부에 배치되거나 또는 내부 및 외부 메모리의 임의의 조합일 수 있다.
액추에이터(26)는 햅틱 효과를 생성할 수 있는 임의 타입의 액추에이터 또는 햅틱 출력 디바이스일 수 있다. 일반적으로, 액추에이터는 햅틱 출력 디바이스의 예이며, 햅틱 출력 디바이스는 구동 신호에 응답하여, 햅틱 효과들, 예컨대 진동촉각 햅틱 효과들, 정전기 마찰 햅틱 효과들, 온도 변동, 및/또는 변형 햅틱 효과들을 출력하도록 구성되는 디바이스이다. 액추에이터라는 용어가 상세한 설명 전반에 걸쳐 사용될 수 있지만, 본 발명의 실시예들은 다양한 햅틱 출력 디바이스들에 용이하게 적용될 수 있다. 액추에이터(26)는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터("ERM"), 하모닉 ERM 모터("HERM"), 선형 공진 액추에이터("LRA"), 솔레노이드 공진 액추에이터("SRA"), 압전 액추에이터, 매크로 섬유 복합("MFC") 액추에이터, 고대역폭 액추에이터, 전기활성 폴리머("EAP") 액추에이터, 정전기 마찰 디스플레이, 초음파 진동 생성기 등일 수 있다. 경우에 따라, 액추에이터 자체가 햅틱 구동 회로를 포함할 수 있다.
추가적으로 또는 대안적으로, 시스템(10)은, 비기계 또는 비진동 디바이스들일 수 있는 다른 타입의 햅틱 출력 디바이스들(도시되지 않음), 예컨대 정전 마찰(electrostatic friction)("ESF"), 초음파 표면 마찰(ultrasonic surface friction)("USF")을 이용하는 디바이스들, 초음파 햅틱 변환기로 음향 방사 압력을 유도하는 디바이스들, 햅틱 기판 및 가요성 또는 변형가능한 표면 또는 형상 변경 디바이스들을 사용하고 사용자의 신체에 부착될 수 있는 디바이스들, 에어 제트를 이용한 공기의 퍼프(puff)와 같은 프로젝트된 햅틱 출력을 제공하는 디바이스들 등을 포함하거나 이들에 결합될 수 있다.
일반적으로, 액추에이터는 단일 주파수에서 진동 햅틱 효과들을 생성하는 표준 해상도("SD") 액추에이터로서 특성화될 수 있다. SD 액추에이터의 예들은 ERM 및 LRA를 포함한다. SD 액추에이터에 비해, 압전 액추에이터 또는 EAP 액추에이터와 같은 HD 액추에이터 또는 고 충실도 액추에이터는 복수의 주파수에서 고대역폭/해상도 햅틱 효과들을 생성할 수 있다. HD 액추에이터들은 가변 진폭, 및 과도 구동 신호들에 대한 빠른 응답을 가지고 넓은 대역폭 촉각 효과들을 생성하는 능력을 특징으로 한다. 본 발명의 실시예들이 (예를 들어, ActiveFORCE 게임 컨트롤러 트리거 엘리먼트에 대해) 푸시/풀 효과들을 제공하는 양방향 액추에이터들 또는 주파수 변경가능 액추에이터들과 같은 더 고품질의 액추에이터들에 의해 안내(prompt)되었지만, 이러한 실시예들은 그와 같이 국한되지 않으며 임의의 햅틱 출력 디바이스에도 용이하게 적용될 수 있다.
시스템(10)은, 원격 소스들로부터 데이터를 전송 및/또는 수신하는 실시예들에서, 적외선, 라디오, Wi-Fi, 셀룰러 네트워크 통신 등과 같은 모바일 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 디바이스(20)를 또한 포함한다. 다른 실시예들에서, 통신 디바이스(20)는 이더넷 접속, 모뎀 등과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 또한 사용자에게 그래픽 표현이나 사용자 인터페이스를 디스플레이하기 위한 액정 디스플레이("LCD")와 같은 디스플레이(24)에 버스(12)를 통해 결합된다. 디스플레이(24)는 터치 스크린과 같이 프로세서(22)로부터 신호들을 전송 및 수신하도록 구성된 터치-감지 입력 디바이스일 수 있으며, 또한 멀티-터치 터치 스크린일 수 있다.
다양한 실시예들에서, 시스템(10)은 스피커(28)를 포함하거나 스피커(28)에 결합된다. 프로세서(22)는 오디오 신호를 스피커(28)에 전송할 수 있고, 이어서 스피커는 오디오 효과들을 출력한다. 스피커(28)는, 예를 들어, 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자왜식 라우드스피커, 정전 라우드스피커, 리본 또는 평면 자기 라우드스피커, 굴곡파(bending wave) 라우드스피커, 평판 라우드스피커, 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 디지털 라우드스피커 등일 수 있다. 대안적인 실시예들에서, 시스템(10)은 스피커(28)에 추가하여 하나 이상의 추가적인 스피커(도 1에 도시되지 않음)를 포함할 수 있다. 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스가 오디오 효과들을 출력하는 스피커를 포함할 수 있으며, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스에 오디오 신호들을 보낸다.
시스템(10)은 또한 센서(30)를 포함하거나 센서(30)에 결합될 수 있다. 센서(30)는 사운드, 움직임, 가속도, 생체 신호들, 거리, 흐름, 힘/압력/변형/구부림, 습도, 선형 위치, 배향/경사, 라디오 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 가시광 강도 등과 같은, 그러나 이에 국한되지 않는, 에너지의 형태 또는 다른 물리적 특성을 검출하도록 구성될 수 있다. 센서(30)는 또한 검출된 에너지 또는 다른 물리적 특성을 전기 신호, 또는 가상 센서 정보를 나타내는 임의의 신호로 전환하도록 구성될 수 있다. 센서(30)는 가속도계, 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 굽힘 센서), 힘 감응 저항기, 로드 셀(load cell), LuSense CPS2 155, 소형 압력 변환기, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 RFID(radio frequency identification tag)), 회전식 인코더, 회전식 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예를 들어, 온도계, 열전쌍, 저항 온도 검출기, 써미스터, 온도 변환 집적 회로 등), 마이크로폰, 광도계, 고도계, 생물학적 모니터, 카메라, 광 의존 저항기 등과 같지만 이들로 국한되지 않는 임의의 디바이스, 또는 심전도, 뇌파도, 근전도, 안전위도, 전기구개도, 또는 임의의 다른 전기 생리학적 출력을 출력하는 임의의 디바이스일 수 있다.
대안적인 실시예들에서, 시스템(10)은 센서(30)에 추가하여 하나 이상의 추가적인 센서(도 1에 도시되지 않음)를 포함하거나 이에 결합될 수 있다. 이러한 실시예들 중 일부에서, 센서(30) 및 하나 이상의 추가적인 센서는 센서 어레이의 일부, 또는 센서들의 일부 다른 타입의 집합/배열일 수 있다. 또한, 다른 대안적인 실시예들에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스가 에너지의 형태, 또는 다른 물리적 특성을 검출하는 센서를 포함하고, 검출된 에너지 또는 다른 물리적 특성을 전기 신호, 또는 가상 센서 정보를 나타내는 다른 타입의 신호로 전환시킨다. 디바이스는 이후, 통신 디바이스(20)를 통해 시스템(10)에 전환된 신호를 보낼 수 있다.
도 2는 본 발명의 예시적인 실시예에 따른 햅틱 편집 애플리케이션(200)을 도시한다. 애플리케이션(예를 들면, 게임 애플리케이션)에 대한 하나 이상의 햅틱 효과의 편집 기능 수행시, 미디어 편집 애플리케이션(200)은 비주얼 프리뷰(210), 파라미터 모듈(220), 타임라인 편집기(230) 및 보간기 모듈(240)을 포함하는 (도 2에 도시된 예시적인 인터페이스들과 같은) 하나 이상의 사용자-인터페이스를 렌더링한다. 도시되어 있지는 않지만, 햅틱 효과들을 편집하는 동안에 애플리케이션이 이용될 수 있도록 애플리케이션 자체를 렌더링하는 추가적인 사용자-인터페이스가 디스플레이될 수 있다.
도 2에 도시된 바와 같이, 햅틱 편집 애플리케이션(200)은 2차원 또는 3차원 애니메이션 오브젝트와 같은 비주얼 프리뷰(210)에 대한 하나 이상의 햅틱 효과를 편집하는 기능을 수행하도록 구성된다. 비주얼 프리뷰(210)는 하나 이상의 입력된(imported) 2차원 또는 3차원 애니메이션 오브젝트(예를 들면, 사용자의 신체, 신체 부분을 나타내는 오브젝트, 물리적 오브젝트 또는 이들의 조합)를 포함할 수 있다. 애니메이션 오브젝트들은 임의의 물리적 오브젝트 또는 게임 캐릭터 등을 그래픽으로 묘사할 수 있다. 또한, 파티클 효과들과 같은 추가적인 애니메이션들이 이용될 수 있다. 이러한 3차원 오브젝트들의 애니메이션은 미리 결정되거나, 또는 대안적으로 사용자의 움직임들 또는 입력들에 기반하여 실시간으로 렌더링될 수 있다.
복수의 애니메이션이 이용될 때, 하나 이상의 혼합 애니메이션, 합성 애니메이션 또는 몽타주 애니메이션이 생성될 수 있다. 예컨대, 3차원 애니메이션들이 임의의 비주얼 프로그래밍 언어("VPL")를 이용하여 혼합되거나 수정될 수 있다. 대안적으로 또는 추가적으로, 사용자는 비주얼 프리뷰(210)의 하나 이상의 부분 또는 전체 비주얼 프리뷰를 수정하도록 선택할 수 있다. 복수의 애니메이션이 순차적으로 결합되는 경우, 타임라인 편집기(230)에서와 같이 이들의 조합이 단일의 타임라인에 적용될 수 있다. 여기서, 하나 이상의 햅틱 파일들(예를 들면, HAPT 또는 햅틱 파일들)이 이용될 수 있다.
도시된 실시예에서, 비주얼 프리뷰(210)는 애플리케이션과의 사용자의 상호 작용에 기반하여 렌더링될 수 있는 3차원 애니메이션이다. 따라서, 비주얼 프리뷰(210)는 또한 가속 신호들, 배향 신호들, 및 센서, 자이로스코프, 가속도계 또는 다른 모션 감지 디바이스에 의해 포착되는 다른 데이터를 포함할 수 있다.
몇몇 경우에, 비주얼 프리뷰(210)는 또한 미디어 신호 및/또는 다른 신호들을 포함하거나 이들 신호들과 연관될 수 있다. 예컨대, 오디오 신호는 햅틱 효과들과 동시에 사운드 효과들을 렌더링하는데 이용될 수 있다. 다른 예에서는, 하나 이상의 추가적인 신호가 이용되어 파티클 효과들과 같은 다른 효과들을 렌더링할 수 있다.
햅틱 편집 애플리케이션(200)은 또한 파라미터 모듈들(220)을 포함한다. 파라미터 모듈들(220) 내에서는, 햅틱 구동 신호(235)에 대한 다양한 파라미터들(즉, 도 1의 액추에이터에 인가되는 햅틱 구동 신호의 시각화)이 수정될 수 있다. 예컨대, 이러한 파라미터들은 시작 시간, 지속 시간, 루프 카운트, 클립 길이, 신호 타입, 강도 타입, 신호 갭, 신호 폭, 갭 퍼스트, 링크 갭 대 폭, 신호 모양 등을 포함할 수 있다. 이러한 파라미터들을 이용함으로써, 애플리케이션의 햅틱 효과들이 실시간으로 편집 및 렌더링될 수 있다.
파라미터 모듈들(220)을 변경함으로써, 단일-주파수 햅틱 출력 디바이스를 이용하더라도 하나 이상의 다중-주파수 햅틱 효과가 렌더링 및 시뮬레이팅될 수 있다. 예컨대, 신호 폭 및 신호 갭 파라미터들을 변경함으로써, 하나 이상의 다중-주파수 햅틱 효과가 햅틱 구동 신호(235)의 엔벨로프를 변경하지 않고서 시뮬레이팅될 수 있다. 다른 예에서는, 반복되거나 루핑된 햅틱 클립 또는 구동 신호의 신호 폭 및 신호 갭 파라미터들을 좁힘으로써 상이한 텍스처들이 렌더링될 수 있다.
더욱이, 타임라인 편집기(230)를 이용하여 햅틱 효과들을 시각적으로 묘사하고 수정할 수 있다. 타임라인 편집기(230) 내에서는, 햅틱 구동 신호(235)의 파라미터들 및 엔벨로프가 시각적으로 렌더링된다. 햅틱 구동 신호(235)를 따른 임의의 주어진 포인트에서, 엔벨로프의 크기는 대응하는 햅틱 효과의 강도를 나타낸다. 하나의 햅틱 구동 신호(235)가 도시되어 있지만, 추가적인 햅틱 구동 신호들이 더해지거나, 제거되거나, 수정될 수 있다. 각각의 햅틱 구동 신호는 하나 이상의 햅틱 채널 또는 햅틱 출력 디바이스(예를 들면, 좌측 게임 컨트롤러 트리거)에 대응할 수 있다. 대안적으로, 복수의 햅틱 구동 신호가 단일의 햅틱 출력 디바이스에 동시에 또는 순차적으로 인가될 수 있다.
햅틱 구동 신호(235)를 수정하기 위해, 하나 이상의 제어 포인트(238) 또는 보간 포인트(248)가 이용될 수 있다. 각각의 제어 포인트(238) 및 보간 포인트(248)는 햅틱 구동 신호(235)의 후속 파라미터들을 정의하는데 이용될 수 있다. 그러나, 제어 포인트들(238)은 또한 햅틱 구동 신호(235)의 엔벨로프를 정의하거나 수정하는데 이용될 수 있다. 연속적인 제어 포인트들(238) 간에는, 햅틱 구동 신호(235)의 엔벨로프의 부분들이 선형이거나 곡선일 수 있다. 예컨대, 로그, 지수, 포물 곡선들과 같은 미리 정의되거나 또는 맞춤형의 곡선들이 이용될 수 있다. 몇몇 경우에는, 추가적인 곡선을 이용하여 보간 레이트를 결정할 수 있다. 대안적으로, 햅틱 구동 신호(235)의 엔벨로프는 사인파, 구형파, 삼각파, 톱니파 등에 맞춰질 수 있다. 햅틱 구동 신호의 엔벨로프가 (예를 들어, 곡선을 이용하여) 변경되는 경우에, 햅틱 구동 신호의 크기가 변경되거나 방향을 변경할 수 있다(예를 들면, 풀 신호가 푸시 신호가 될 수 있거나 또는 그 반대로 될 수 있다).
몇몇 경우들에서, 연속적인 보간 포인트들(248)은 하나 이상의 파라미터 값을 수정하기 위한 하나 이상의 시간 주기(예를 들면, 1초)를 정의하는데 이용될 수 있다. 대안적으로, 제어 포인트들(238) 및 보간 포인트들(248)은 그 애플리케이션의 이벤트들(예를 들면, 충돌, 폭발 등)에 대응할 수 있다. 다른 대안적인 구성에서, 연속적인 제어 포인트들(238) 또는 연속적인 보간 포인트들(248) 간의 파라미터 값들은 그 애플리케이션의 이벤트들(예를 들면, 자동차의 가속도 또는 속력, 또는 폭발 강도)에 기반하여 결정될 수 있다.
예시적인 구동 신호(235)는 푸시/풀 햅틱 효과이다. 양방향 햅틱 출력 디바이스가 푸시/풀 햅틱 효과를 생성하는데 이용될 수 있다. 섹션(236) 내에서, 햅틱 구동 신호(235)는 양의 값들을 가지며 푸시 신호이다. 역으로, 햅틱 구동 신호(235)는 섹션(237) 내에서 음의 값들을 가지며 풀 신호이다. 예시적인 푸시/풀 햅틱 구동 신호가 묘사되었지만, 무수한 햅틱 구동 신호들(235)이 실현 가능하며, 본 발명의 실시예들은 이에 국한되지 않는다.
몇몇 경우들에서, 비주얼 프리뷰(210)는 햅틱 효과들을 렌더링하기 위한 포인트들 또는 프레임들을 식별하는 하나 이상의 태그(도시되지 않음)를 포함할 수 있다. 애플리케이션 프로그래밍 인터페이스("API")는 태그들 및 그 위치들을 생성 및/또는 수정하는데 이용될 수 있다. 태그들은 또한 "효과 콜들(effect calls)" 또는 "통지들(notifies)"로도 불릴 수 있다. 이러한 태그들은 햅틱 구동 신호(235)에 의해 생성될 수 있거나 또는 햅틱 구동 신호(235) 이전에 수동으로 생성될 수 있다. 예컨대, 태그들은 햅틱 구동 신호(235)의 특성들에 기반하여 동적으로 생성될 수 있다. 이러한 태그들을 이용함으로써, 애니메이션 및 대응하는 햅틱 효과들이 가변 속력(예를 들면, 느린 움직임 또는 더 빠른 움직임)으로 렌더링될 수 있다. 또한, 태그들은 애니메이션을 햅틱 구동 신호(235)에 동기화하는데 이용될 수 있다.
도시되어 있지는 않지만, 햅틱 구동 신호들(235)의 그룹이 편집을 위해 선택될 수 있다. 햅틱 구동 신호들의 그룹 선택시, 각각의 햅틱 구동 신호의 하나 이상의 파라미터 또는 다른 특성(예를 들면, 엔벨로프)에 대한 변경들이 동시에 수정되고 렌더링될 수 있다. 다른 특성들은 주파수 또는 강도의 동적 변경, 랜덤화 등을 포함할 수 있다.
따라서, 햅틱 편집 애플리케이션(200) 이용시, 애니메이션 오브젝트들 및 이에 수반한 미디어가 햅틱 효과들과 동기하여 렌더링됨으로써 애플리케이션 내에서 햅틱 효과들의 실시간 프리뷰 및 편집을 가능하게 할 수 있다. 본 발명의 실시예들은, 알려진 햅틱 편집 애플리케이션들에 비해, 햅틱 효과들을 더 쉽게 조작할 수 있는 능력을 제공한다. 예컨대, 이미 알려진 햅틱 편집 애플리케이션들은 선형(즉, 비파라미터화 또는 비곡선화) 수정들에 국한되어졌다. 더욱이, 신호 갭, 신호 폭, 링크 갭 대 폭 등과 같은 추가적인 파라미터들이 더 쉽게 제어될 수 있다. 그 결과, 다중-주파수 효과들이 더 쉽게 설계되고 렌더링될 수 있다. 또한, 파라미터화 접근법을 이용함으로써, 새로운 햅틱 출력 디바이스들이 더 쉽게 적용될 수 있다. 햅틱 구동 신호들은 새로운 햅틱 출력 디바이스들이 나타남에 따라 그 파라미터 범위들을 이용하도록 더 쉽게 재구성될 수 있다. 또한, 본 발명의 실시예들은 사전 생성된 오디오 파일들의 이용에만 국한되는 오디오 편집 애플리케이션들에 유사하지도 않다.
도 3은 본 발명의 예시적인 실시예에 따라 햅틱 효과들을 편집하기 위한 기능(300)의 흐름도를 도시한다. 몇몇 경우들에서, 도 3의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독가능한 또는 유형적 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 경우들에서, 이러한 기능은 하드웨어에 의해(예를 들어, 주문형 집적 회로(application specific integrated circuit)("ASIC"), 프로그래머블 게이트 어레이(programmable gate array)("PGA"), 필드 프로그래머블 게이트 어레이(field programmable gate array)("FPGA") 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
단계(310)에서, 기능(300)은 애니메이션 오브젝트를 입력으로서 수신한다. 이 애니메이션 오브젝트는 사용자의 움직임들에 기반하여 실시간으로 렌더링되거나 미리 결정된 하나 이상의 2차원 또는 3차원 애니메이션 오브젝트를 포함할 수 있다. 애니메이션 오브젝트들은 예를 들어 임의의 물리적 오브젝트 또는 게임 캐릭터를 그래픽으로 묘사할 수 있다. 몇몇 경우들에서, 애니메이션 오브젝트는 또한 미디어 신호를 포함할 수 있다.
다음으로, 단계(320)에서, 기능(300)은 하나 이상의 햅틱 효과를 애니메이션 오브젝트와 연관시킨다. 이러한 햅틱 효과들 각각은 대응하는 햅틱 구동 신호를 가질 수 있다. 이어서, 기능(300)은 단계(330)에서 햅틱 구동 신호의 타임라인을 따라 복수의 보간 포인트를 햅틱 구동 신호와 연관시킨다. 단계(340)에서, 햅틱 구동 신호의 하나 이상의 파라미터는 연속적인 보간 포인트들 간에 조절되어 수정된 햅틱 효과를 생성할 수 있다.
예컨대, 햅틱 구동 신호의 엔벨로프의 부분들은 연속적인 보간 포인트들 간에 선형이거나 곡선일 수 있다. 미리 정의된 또는 맞춤형의 곡선들을 적용하여 햅틱 구동 신호의 엔벨로프를 수정할 수 있다. 몇몇 경우들에서, 보간 포인트들은 속력과 같은 애플리케이션의 속성들 및/또는 이벤트들(예를 들면, 느릴 때 더 약한 햅틱 효과들, 빠를 때 더 강한 햅틱 효과들)에 기반할 수 있다. 이러한 보간 포인트들은 또한 그 애플리케이션의 이벤트들(예를 들면, 충돌, 폭발 등)에 대응할 수 있다. 다른 예에서는, 신호 폭 및/또는 신호 갭과 같은 다른 파라미터들이 변경되어 다중-주파수 햅틱 효과들 또는 상이한 텍스처들을 시뮬레이팅할 수 있다.
끝으로, 단계(350)에서 애니메이션 오브젝트 및 대응하는 수정된 햅틱 효과들이 렌더링될 수 있다. 파라미터들을 조절하면서, 애니메이션 오브젝트 및 수정된 햅틱 효과들이 렌더링될 수 있다. 이 애니메이션 오브젝트는 애플리케이션에서 렌더링될 수 있으며, 햅틱 효과들은 도 1의 액추에이터와 같은 햅틱 출력 디바이스에 의해 렌더링될 수 있다.
도 4는 본 발명의 예시적인 실시예에 따른 햅틱 구동 신호(435)를 도시한다. 도 4에 도시된 바와 같이, 햅틱 구동 신호(435)는 본 명세서에 전체적으로 참조 결합되어 있는 "Systems and Methods for Using Multiple Actuators to Realize Textures"라는 명칭의 미국 특허 출원 제12/697,042호에 개시된 바와 같이 텍스처 햅틱 효과들을 렌더링하는데 이용될 수 있다. 특히, 신호 폭 및 신호 갭 파라미터들을 좁힘으로써 다양한 텍스처들을 시뮬레이팅할 수 있다. 또한, 텍스처 햅틱 효과들은 루프들 간의 더 긴 갭과 결합하여 하나 이상의 클립 신호를 루핑할 수 있다. 몇몇 실시예들에서, 루프에서의 각각의 클립의 길이는 키 프레임들을 이용하여 시간의 경과에 따라 수정될 수 있다.
도 5a 내지 도 5c는 본 발명의 다른 예시적인 실시예에 따른 햅틱 구동 신호들(535A, 535B, 535C)을 도시한다. 다양한 햅틱 파라미터들을 수정하는 것에 추가하여, 햅틱 설계자들은 시간의 경과에 따라 파라미터들을 수정할 수 있다. 도 5a에서, 베이스 햅틱 구동 신호(535A)의 파라미터들은 시간의 경과에 따라 변경되지 않는다. 그러나, 햅틱 편집 애플리케이션은 하나 이상의 파라미터가 키 프레임들 간의 보간을 따르게 할 수 있다. 예컨대, 루프 갭, 신호 폭, 신호 갭, 클립 길이 및 그 밖의 파라미터들은 키 프레임들을 이용하여 시간의 경과에 따라 수정될 수 있다. 이러한 키 프레임들은 햅틱 효과의 베이스 값들을 무시(override)하는데 이용될 수 있다. 예컨대, 베이스 주파수가 100㎐이면, 키 프레임은 100㎐로 디폴트되어 있는 시작에 위치할 수 있다. 추가적인 키 프레임은 햅틱 효과의 끝에 위치하여 사용자에 의해 200㎐로 설정되어 있는 주파수를 무시할 수 있다. 이러한 키 프레임들 간에는, 하나 이상의 보간 기법이 적용될 수 있다(예를 들면, 사용자가 선형 보간을 선택하면 햅틱 효과의 중간에서의 주파수가 150㎐일 수 있다). 여기서, 키 프레임들은 키 프레임 버튼(550)을 이용하여 추가될 수 있다.
도 5b 및 도 5c 각각은 시간의 경과에 따른 햅틱 파라미터들의 변경을 도시한다. 도 5b에서, 햅틱 구동 신호(535B)의 루프 갭 파라미터는 영역(560)에서 증가되거나 또는 영역(570)에서 감소될 수 있다. 도 5c에서, 햅틱 구동 신호(535C)의 신호 갭 파라미터는 시간의 경과에 따라 증가한다. 또한, 햅틱 구동 신호(535C)의 신호 폭 파라미터는 시간의 경과에 따라 감소한다.
도 6a 및 도 6b는 본 발명의 다른 예시적인 실시예들에 따른 햅틱 구동 신호들(635A, 635B)을 도시한다. 도 6a는 베이스 햅틱 구동 신호(635A)를 도시한다. 햅틱 구동 신호(635A)는 랜덤화되거나 필터링되지 않았다. 그러나, 도 6b에 도시된 바와 같이, 햅틱 구동 신호(635B)의 하나 이상의 부분이 랜덤화되었다. 햅틱 구동 신호(635B)의 랜덤화는 하나 이상의 랜덤화 알고리즘 또는 필터를 이용하여 달성될 수 있다. 랜덤화는 울퉁불퉁한 도로들을 시뮬레이팅하고, 텍스처들을 과장하고, "감전(electrified)"된 것으로 느끼게 하는 등에 이용될 수 있다. 일반적으로, 랜덤화는 다이내믹스(dynamics) 및 이멀젼(immersion)의 추가적인 지각을 더한다.
도 7a 및 도 7b는 본 발명의 다른 예시적인 실시예들에 따른 햅틱 구동 신호들(735A, 735B)을 도시한다. 도 7a는 강도 타입 파라미터가 "절대값"으로 설정된 햅틱 구동 신호(735A)를 도시한다. 여기서, 푸시/풀 햅틱 구동 신호는 푸시만의 신호로 렌더링될 수 있으며, 풀 부분들은 절대값 알고리즘을 이용하여 푸시 부분들로 전환된다. 도 7b는 강도 타입 파라미터가 "0을 1로 클램핑(clamp zero to one)"하도록 설정된 햅틱 구동 신호(735B)를 도시한다. 여기서, 푸시/풀 햅틱 구동 신호는 푸시만의 신호로 렌더링될 수 있으며, 풀 부분들은 햅틱 구동 신호(735B)로부터 제거된다. 강도 타입 파라미터는 이용되는 액추에이터의 특성들에 따라 조절될 수 있다. 예컨대, "절대값" 또는 "0을 1로 클램핑" 설정들은 단방향 액추에이터(즉, 양방향 액추에이터가 아님)가 이용될 때 선택될 수 있다.
도 8은 본 발명의 또 다른 예시적인 실시예에 따른 복수의 햅틱 구동 신호(835A, 835B)를 도시한다. 각각의 햅틱 구동 신호(835A, 835B)는 하나 이상의 햅틱 채널 또는 햅틱 출력 디바이스(예를 들면, 좌측 트리거, 우측 트리거 등)에 대응할 수 있다. 대안적으로, 햅틱 구동 신호(835A, 835B)와 같은 복수의 햅틱 구동 신호는 단일의 햅틱 출력 디바이스에 동시에 또는 순차적으로 적용될 수 있다.
도 9는 본 발명의 예시적인 실시예에 따른 햅틱 프리셋 라이브러리(900)를 도시한다. 도 9에 도시된 바와 같이, 햅틱 프리셋 라이브러리(900)는 하나 이상의 햅틱 페이드 프리셋(980D) 및 하나 이상의 곡선 프리셋(980E) 뿐만 아니라 다양한 클립 프리셋들(980A-980C)을 포함할 수 있다. 햅틱 프리셋들(980A-980E) 중에서, 어떤 햅틱 프리셋들은 애플리케이션의 특정한 이벤트 타입들과 관련하여 이용될 수 있다. 예컨대, 폭발 애니메이션 오브젝트는 처음에 최대 햅틱 강도를 갖고 폭발이 끝나감에 따라 희미해지는 페이드 프리셋들(980D) 중 하나를 활용할 수 있다. 여기서, (페이드-인 뿐만 아니라) 페이드-아웃 특성들은 햅틱 출력 디바이스의 특성들(예를 들면, 그 최대 강도 또는 그 비율)에 기반하여 결정될 수 있다.
따라서, 본 명세서에 기술된 예시적인 실시예들은 햅틱 효과들을 설계 및/또는 편집하기 위한 시스템들 및 방법들을 제공한다. 애니메이션 오브젝트들 및 이에 수반한 미디어 효과들은 햅틱 효과들과 동기하여 렌더링됨으로써 애플리케이션 맥락에서 햅틱 효과들의 실시간 프리뷰 및 편집을 가능하게 한다. 개선된 햅틱 편집 애플리케이션은 고품질의 햅틱 출력 디바이스들에 의해 렌더링되는 햅틱 효과들의 범위, 및 햅틱 효과들을 설계하거나 조작하는 햅틱 개발자의 능력을 향상시킨다. 햅틱 효과들은 실시간으로 또는 애니메이션 오브젝트 또는 다른 입력의 재생 중에 렌더링될 수 있다.
몇몇 실시예들이 구체적으로 예시되고/되거나 기술되었다. 그러나, 개시된 실시예들의 수정들 및 변동들은 본 발명의 사상 및 의도된 범위를 벗어나지 않고 상술한 교시들에 의해 그리고 첨부된 청구항들의 범위 내에 든다는 것을 알 것이다. 본 명세서에 기술된 실시예들은 많은 가능한 구현예들 중 단지 일부이다. 또한, 본 실시예들은 다양한 액추에이터 타입들 및 다른 햅틱 출력 디바이스들에 용이하게 적용될 수 있다.

Claims (20)

  1. 햅틱 효과들을 편집하기 위한 방법으로서,
    애니메이션 오브젝트를 검색하는 단계;
    햅틱 효과를 상기 애니메이션 오브젝트와 연관시키는 단계 - 상기 햅틱 효과는 대응하는 햅틱 구동 신호를 가짐 -;
    타임라인을 따라 보간 포인트들을 상기 햅틱 구동 신호와 연관시키는 단계;
    연속적인 보간 포인트들 간에 상기 햅틱 구동 신호의 하나 이상의 파라미터를 조절하여 수정된 햅틱 효과를 생성하는 단계; 및
    상기 애니메이션 오브젝트 및 상기 수정된 햅틱 효과를 렌더링하는 단계
    를 포함하는 햅틱 효과 편집 방법.
  2. 제1항에 있어서,
    상기 애니메이션 오브젝트는 사용자의 움직임들(motions)에 기반하는 햅틱 효과 편집 방법.
  3. 제1항에 있어서,
    상기 햅틱 효과는 단일 주파수 햅틱 출력 디바이스를 이용하여 렌더링되는 다중 주파수 햅틱 효과인 햅틱 효과 편집 방법.
  4. 제1항에 있어서,
    상기 햅틱 효과는 상기 햅틱 구동 신호의 복수의 파라미터를 수정함으로써 렌더링되는 텍스처 햅틱 효과인 햅틱 효과 편집 방법.
  5. 제1항에 있어서,
    상기 햅틱 구동 신호의 엔벨로프는 상기 햅틱 구동 신호의 연속적인 제어 포인트들 간에 수정되는 햅틱 효과 편집 방법.
  6. 제1항에 있어서,
    상기 햅틱 구동 신호의 파라미터들은 햅틱 라이브러리를 이용하여 조절되는 햅틱 효과 편집 방법.
  7. 제1항에 있어서,
    상기 햅틱 구동 신호의 파라미터들은 애플리케이션 내에서 발생하는 이벤트에 따라 조절되는 햅틱 효과 편집 방법.
  8. 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램은,
    애니메이션 오브젝트를 검색하고,
    햅틱 효과를 상기 애니메이션 오브젝트와 연관시키고 - 상기 햅틱 효과는 대응하는 햅틱 구동 신호를 가짐 -,
    타임라인을 따라 보간 포인트들을 상기 햅틱 구동 신호와 연관시키고,
    연속적인 보간 포인트들 간에 상기 햅틱 구동 신호의 하나 이상의 파라미터를 조절하여 수정된 햅틱 효과를 생성하며,
    상기 애니메이션 오브젝트 및 상기 수정된 햅틱 효과를 렌더링하기 위한 명령어들을 포함하는
    비일시적 컴퓨터 판독가능 저장 매체.
  9. 제8항에 있어서,
    상기 애니메이션 오브젝트는 사용자의 움직임들에 기반하는 비일시적 컴퓨터 판독가능 저장 매체.
  10. 제8항에 있어서,
    상기 햅틱 효과는 단일-주파수 햅틱 출력 디바이스를 이용하여 렌더링되는 다중-주파수 햅틱 효과인 비일시적 컴퓨터 판독가능 저장 매체.
  11. 제8항에 있어서,
    상기 햅틱 효과는 상기 햅틱 구동 신호의 복수의 파라미터를 수정함으로써 렌더링되는 텍스처 햅틱 효과인 비일시적 컴퓨터 판독가능 저장 매체.
  12. 제8항에 있어서,
    상기 햅틱 구동 신호의 엔벨로프는 상기 햅틱 구동 신호의 연속적인 제어 포인트들 간에 수정되는 비일시적 컴퓨터 판독가능 저장 매체.
  13. 제8항에 있어서,
    상기 햅틱 구동 신호의 파라미터들은 햅틱 라이브러리를 이용하여 조절되는 비일시적 컴퓨터 판독가능 저장 매체.
  14. 제8항에 있어서,
    상기 햅틱 구동 신호의 파라미터들은 애플리케이션 내에서 발생하는 이벤트에 따라 조절되는 비일시적 컴퓨터 판독가능 저장 매체.
  15. 디바이스로서,
    프로세서; 및
    상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리
    를 포함하며,
    상기 하나 이상의 프로그램은,
    애니메이션 오브젝트를 검색하고,
    햅틱 효과를 상기 애니메이션 오브젝트와 연관시키고 - 상기 햅틱 효과는 대응하는 햅틱 구동 신호를 가짐 -,
    타임라인을 따라 보간 포인트들을 상기 햅틱 구동 신호와 연관시키고,
    연속적인 보간 포인트들 간에 상기 햅틱 구동 신호의 하나 이상의 파라미터를 조절하여 수정된 햅틱 효과를 생성하며,
    상기 애니메이션 오브젝트 및 상기 수정된 햅틱 효과를 렌더링하기 위한 명령어들을 포함하는
    디바이스.
  16. 제15항에 있어서,
    상기 애니메이션 오브젝트는 사용자의 움직임들에 기반하는 디바이스.
  17. 제15항에 있어서,
    상기 햅틱 효과는 단일-주파수 햅틱 출력 디바이스를 이용하여 렌더링되는 다중-주파수 햅틱 효과인 디바이스.
  18. 제15항에 있어서,
    상기 햅틱 효과는 상기 햅틱 구동 신호의 복수의 파라미터를 수정함으로써 렌더링되는 텍스처 햅틱 효과인 디바이스.
  19. 제15항에 있어서,
    상기 햅틱 구동 신호의 엔벨로프는 상기 햅틱 구동 신호의 연속적인 제어 포인트들 간에 수정되는 디바이스.
  20. 제15항에 있어서,
    상기 햅틱 구동 신호의 파라미터들은 햅틱 라이브러리를 이용하여 조절되는 디바이스.
KR1020187005204A 2015-09-25 2016-09-23 햅틱 효과 설계 시스템 KR20180048629A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562233120P 2015-09-25 2015-09-25
US62/233,120 2015-09-25
PCT/US2016/053385 WO2017053761A1 (en) 2015-09-25 2016-09-23 Haptic effects design system

Publications (1)

Publication Number Publication Date
KR20180048629A true KR20180048629A (ko) 2018-05-10

Family

ID=58387323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005204A KR20180048629A (ko) 2015-09-25 2016-09-23 햅틱 효과 설계 시스템

Country Status (6)

Country Link
US (1) US20170090577A1 (ko)
EP (1) EP3329350A4 (ko)
JP (1) JP2018528534A (ko)
KR (1) KR20180048629A (ko)
CN (1) CN107924235A (ko)
WO (1) WO2017053761A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755117B2 (en) 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928700B1 (en) * 2017-01-25 2018-03-27 Immersion Corporation Method and apparatus for controlling generation of electrostatic friction effects for a plurality of electrodes
JP6383048B1 (ja) * 2017-05-18 2018-08-29 レノボ・シンガポール・プライベート・リミテッド 触覚フィードバック・システム、電子機器および振動強度の調整方法
US20190103004A1 (en) * 2017-10-02 2019-04-04 Immersion Corporation Haptic pitch control
EP3757721A4 (en) * 2018-02-20 2021-04-21 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
CN110045814B (zh) * 2018-12-30 2022-06-14 瑞声科技(新加坡)有限公司 一种激励信号的产生方法、装置、终端及存储介质
WO2020241170A1 (ja) * 2019-05-28 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7377093B2 (ja) * 2019-12-16 2023-11-09 日本放送協会 プログラム、情報処理装置、及び情報処理方法
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US20230135709A1 (en) * 2020-04-14 2023-05-04 Sony Group Corporation Information processing device and information processing method
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
WO2022074929A1 (ja) * 2020-10-07 2022-04-14 株式会社村田製作所 力覚波決定装置、力覚波決定方法及び力覚波決定プログラム
CN115576611B (zh) * 2021-07-05 2024-05-10 腾讯科技（深圳）有限公司 业务处理方法、装置、计算机设备及存储介质
US11816772B2 (en) * 2021-12-13 2023-11-14 Electronic Arts Inc. System for customizing in-game character animations by players
WO2023217677A1 (en) * 2022-05-12 2023-11-16 Interdigital Ce Patent Holdings, Sas Signal coding based on interpolation between keyframes
CN117095092A (zh) * 2023-09-01 2023-11-21 安徽圣紫技术有限公司 一种用于视觉艺术的动画制作系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292170B1 (en) * 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6243078B1 (en) * 1998-06-23 2001-06-05 Immersion Corporation Pointing device with forced feedback button
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
KR20190045395A (ko) * 2009-03-12 2019-05-02 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
US10564721B2 (en) * 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US20120249461A1 (en) * 2011-04-01 2012-10-04 Analog Devices, Inc. Dedicated user interface controller for feedback responses
WO2013041152A1 (en) * 2011-09-19 2013-03-28 Thomson Licensing Methods to command a haptic renderer from real motion data
US9898084B2 (en) * 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
WO2014209405A1 (en) * 2013-06-29 2014-12-31 Intel Corporation System and method for adaptive haptic effects
EP2854120A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and device for controlling a haptic device
JP6664069B2 (ja) * 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755117B2 (en) 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device

Also Published As

Publication number Publication date
JP2018528534A (ja) 2018-09-27
US20170090577A1 (en) 2017-03-30
EP3329350A1 (en) 2018-06-06
EP3329350A4 (en) 2019-01-23
WO2017053761A1 (en) 2017-03-30
CN107924235A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
KR20180048629A (ko) 햅틱 효과 설계 시스템
US10613636B2 (en) Haptic playback adjustment system
JP6639602B2 (ja) オフラインハプティック変換システム
JP6549751B2 (ja) グラニュラーシンセシスを用いたハプティック変換システム
US9158379B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) Haptic warping system
EP3040810B1 (en) Audio enhanced simulation of high bandwidth haptic effects
JP6567809B2 (ja) 分割および合成を用いたハプティック変換システム
US10162416B2 (en) Dynamic haptic conversion system
US8711118B2 (en) Interactivity model for shared feedback on mobile devices
JP7278037B2 (ja) ハプティックエフェクトの符号化およびレンダリングシステム
WO2018005590A1 (en) Real-time haptics generation
EP3462285A1 (en) Haptic pitch control
WO2023189406A1 (ja) 出力制御装置、出力制御プログラム及び出力制御方法
US20230341941A1 (en) Using a Haptic Effects Library to Determine Whether to Provide Predefined or Parametrically-Defined Haptic Responses, and Systems and Methods of Use Thereof