KR102417688B1 - 선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트 - Google Patents

선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트 Download PDF

Info

Publication number
KR102417688B1
KR102417688B1 KR1020170179398A KR20170179398A KR102417688B1 KR 102417688 B1 KR102417688 B1 KR 102417688B1 KR 1020170179398 A KR1020170179398 A KR 1020170179398A KR 20170179398 A KR20170179398 A KR 20170179398A KR 102417688 B1 KR102417688 B1 KR 102417688B1
Authority
KR
South Korea
Prior art keywords
haptic
metadata
original
enabled device
broadcast
Prior art date
Application number
KR1020170179398A
Other languages
English (en)
Other versions
KR20180092268A (ko
Inventor
로버트 더블유. 휴벨
페이지 레인즈
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180092268A publication Critical patent/KR20180092268A/ko
Application granted granted Critical
Publication of KR102417688B1 publication Critical patent/KR102417688B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick

Abstract

선택 햅틱 메타데이터를 브로드캐스트하는 것은 햅틱-인에이블형 디바이스들에 브로드캐스트 신호를 브로드캐스트하는 것을 포함한다. 그 응답으로, 브로드캐스트 신호 내의 오리지널 햅틱 메타데이터가 햅틱 재생 능력 정보와 호환불가능한 햅틱 정보를 인코딩할 때 햅틱 재생 능력 정보가 햅틱-인에이블형 디바이스로부터 호스트 소스에서 수신된다. 햅틱 재생 능력 정보에 대해 커스터마이즈되는 선택 햅틱 메타데이터가 생성되어 호스트 소스로부터 햅틱-인에이블형 디바이스로 송신된다.

Description

선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트{HAPTIC BROADCAST WITH SELECT HAPTIC METADATA}
예시적인 실시예들은 햅틱 효과들의 브로드캐스트에 관한 것이고, 더 구체적으로는 선택 햅틱 메타데이터를 가지는 햅틱 효과들을 브로드캐스트하는 것에 관한 것이다.
햅틱은 최종 사용자의 터치 감각을 사용하여 최종-사용자에 대해, 힘, 진동, 및 모션과 같은, 햅틱 피드백 효과들(또한 "햅틱 피드백" 또는 "햅틱 효과들"로 알려짐)을 생성하는 촉각 및 힘 피드백 기술이다. 디바이스들(예를 들어, 모바일 디바이스들, 터치스크린 디바이스들, 개인용 컴퓨터들, 및 웨어러블 디바이스들)은 햅틱 효과들을 생성하도록 구성되는 내장된 하드웨어(예를 들어, 액추에이터 또는 다른 출력 메커니즘들)를 포함할 수 있다. 내장된 하드웨어는, 일반적으로, 햅틱 효과들의 특정 세트를 생성하도록 프로그래밍된다. 어느 햅틱 효과를 재생할지를 특정하는 호출이 디바이스에 의해 수신될 때, 디바이스는 특정된 햅틱 효과를 생성시킨다(또는 생산한다). 예를 들어, 사용자가, 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 일부 다른 제어를 사용하여 디바이스와 상호작용할 때, 디바이스는 내장된 하드웨어에 제어 회로를 통해 플레이 커맨드를 송신할 수 있다. 내장된 하드웨어는 이후 적절한 햅틱 효과를 생성한다.
햅틱 효과가 햅틱 작성기(creator)/편집기(editor)/설계기(designer)에 의해 생성될 때, 햅틱 효과는 햅틱 효과의 재생이, 예를 들어, 특정 재생 속도, 레이트 및/또는 볼륨에서 발생한다는 가정 하에 만들어질 수 있다(authored). 다양한 타입들의 내장된 하드웨어가 상이한 디바이스들에 대해 사용되기 때문에, 햅틱 효과의 재생은 특정 디바이스 내의 내장된 하드웨어의 타입에 따라 햅틱 작성기에 의해 의도된 것과는 달라질 수 있다. 예를 들어, 최종 사용자의 디바이스 내의 내장된 하드웨어가 특정된 속도, 레이트 또는 볼륨에서 햅틱 효과를 재생하도록 구성되지 않는 경우, 햅틱 효과의 재생은 왜곡된다(예를 들어, 상이한 재생 레이트에서 또는 바람직하지 않은 볼륨에서 발생함으로써). 상이한 재생 레이트에서 또는 바람직하지 않은 볼륨에서의 햅틱 효과의 재생은 햅틱 효과의 최종 사용자의 경험을 왜곡시킬 수 있다.
일 실시예는 햅틱-인에이블형 디바이스에 브로드캐스트 신호를 브로드캐스트함으로써 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 브로드캐스트한다. 브로드캐스트 신호는 호스트 소스로부터 수신되는 오리지널 햅틱 메타데이터를 포함한다. 오리지널 햅틱 메타데이터가 햅틱 재생 능력 정보와 호환불가능한 햅틱 정보를 인코딩할 때 햅틱 재생 능력 정보가 햅틱-인에이블형 디바이스들 중의 햅틱-인에이블형 디바이스로부터 호스트 소스에서 수신된다. 햅틱 재생 능력 정보에 대해 커스터마이즈되는 선택 햅틱 메타데이터가 생성되어 호스트 소스로부터 햅틱-인에이블형 디바이스로 송신된다.
예시적인 실시예들은 첨부 도면들과 함께 취해지는 후속하는 상세한 설명으로부터 보다 명확하게 이해될 것이다. 도 1-7은 본원에 기술된 바와 같은, 비-제한적인 예시적인 실시예들을 나타낸다.
도 1은 예시적인 실시예에 따라 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 송신하는 것의 흐름도이다.
도 2는 예시적인 실시예에 따라 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 송신하는 것의 흐름도이다.
도 3은 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내로 통합하는 것의 흐름도이다.
도 4는 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내로 통합하는 것의 흐름도이다.
도 5는 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내로 통합하는 것의 흐름도이다.
도 6은 예시적인 실시예에 따른 햅틱 브로드캐스트 시스템의 블록도이다.
도 7은 예시적인 실시예에 따른 최종-사용자 디바이스 내의 시스템의 블록도이다.
예시적인 실시예들은 호스트 소스에 최종-사용자 햅틱 디바이스의 햅틱 재생 능력들을 나타내는 피드백을 제공함으로써 최종-사용자 햅틱 디바이스에 대해 커스터마이즈된 선택 햅틱 메타데이터를 브로드캐스트하는 것에 관한 것이다.
예시적인 실시예들은, 최종-사용자 햅틱-인에이블형 디바이스들 상에서 재생되는 선택 햅틱 데이터 내에 모든 가능한 햅틱 재생 능력들을 인코딩해야할 필요 없이 최종-사용자 햅틱-인에이블형 디바이스(들)(예를 들어, 태블릿, 모바일 전화, 텔레비전, 게임 콘솔, 가상 현실 시스템 등)에 브로드캐스트 신호를 통해 햅틱 데이터의 신뢰가능한 전송, 및 지속적이고 커스터마이즈된 재생을 제공한다. 예를 들어, 스포츠 브로드캐스트에서, 힘(들) 또는 이벤트(들)(예를 들어, 히트(hit), 폴(fall), 드롭(drop), 점프(jump), 스코어(score) 등)를 검출하는 센서들은 스포츠 게임에서 사용되는 플레이어 또는 장비(예를 들어, 볼(ball), 골(goal), 스틱(stick), 헬멧(helmet) 등) 상에 배치될 수 있다. 대안적으로, 햅틱 작성기는 플레이어 또는 장비에 의해 경험되는 힘(들) 또는 이벤트(들)를 시뮬레이트하기 위한 효과를 지정할 수 있다. 센서들로부터 수십되는 정보, 및/또는 햅틱 작성기에 의해 지정되는 효과는 햅틱 데이터이다. 햅틱 데이터는 수집되고, 햅틱 메타데이터로 변환될 수 있다.
햅틱 메타데이터는 햅틱 데이터에 관한 정보를 제공하는 데이터 정보일 수 있다. 햅틱 메타데이터는 최종-사용자 햅틱-인에이블형 디바이스들의 최종-사용자들에 대한 햅틱 데이터(예를 들어, 히트, 폴, 드롭, 점프, 스코어 등)에 대응하는 햅틱 효과(들)(예를 들어, 힘들, 진동들, 및 모션들)를 생성하기 위해 필요한 햅틱 파라미터들의 타입(예를 들어, 규모(magnitude), 빈도(frequency), 지속기간(duration) 등)에 관한 정보를 인코딩할 수 있다. 햅틱 메타데이터는 햅틱-인에이블형 디바이스에 브로드캐스트 스트림(예를 들어, 인터넷)을 통해 브로드캐스트 신호를 경유하여 전송될 수 있다. 햅틱-인에이블형 디바이스들에 내장된 하드웨어(예를 들어, 액추에이터들 등)는 햅틱 메타데이터에 기초하여 최종-사용자들에 대한 햅틱 효과(들)를 생성한다. 따라서, 최종-사용자들은 대응하는 햅틱 감각들을 수신함으로써 이벤트를 경험하거나 또는 미리-기록된(pre-recorded) 이벤트를 볼 수 있다.
햅틱-인에이블형 디바이스들에서 사용되는 내장된 하드웨어의 타입은 디바이스마다 달라진다. 예를 들어, 셀룰러 폰에서 통상적으로 사용되는 액추에이터들은 게임 시스템의 핸드헬드 제어기들에서 통상적으로 사용되는 액추에이터들과는 상이할 수 있다. 따라서, 셀룰러 폰 및 게임 시스템은 다양한 햅틱-인에이블형 디바이스들의 모든 가능한 햅틱 재생 능력들에 대한 코딩을 포함하는 햅틱 메타데이터 내에 인코딩되는 햅틱 정보의 선택 부분을 일반적으로 요구한다.
도 1은 예시적인 실시예에 따라 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 송신하는 것의 흐름도이다.
도 1을 참조하면, 예시적인 실시예에 따라 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 송신하는 것은 110에서, 오리지널 햅틱 메타데이터를 생성하는 것을 포함한다. 오리지널 햅틱 메타데이터는 하나 이상의 햅틱-인에이블형 디바이스들 상에서 재생될 햅틱 파라미터(들)의 타입을 특정하는 햅틱 정보를 인코딩할수 있다.
오리지널 햅틱 메타데이터는, 이후, 하기에 더 상세히 기술되는 프로세스들 중 임의의 것에 의해 브로드캐스트 신호 내에 통합된다.
130에서, 오리지널 햅틱 메타데이터를 포함하는 브로드캐스트 신호는 호스트 소스로부터 햅틱-인에이블형 디바이스들로 브로드캐스트된다(또는 전송된다). 브로드캐스트 신호는 서로 상이할 수 있는 전송 모드들을 통해 햅틱-인에이블형 디바이스들에 브로드캐스트 신호를 송신함으로써 전송된다. 예를 들어, 전송 모드들은 케이블, 직접 브로드캐스트 위성, 광섬유 통신 네트워크, OTA(over-the-air) 프로그래밍, 무선 통신 네트워크, 및 라디오 파들로부터 선택될 수 있다.
예시적인 실시예에 따르면, 브로드캐스트 신호는 햅틱-인에이블형 디바이스들에 오리지널 햅틱 메타데이터를 동기적으로(즉, 햅틱-인에이블형 디바이스들 모두에 대해 동일한 햅틱 효과), 또는 비동기적으로(즉, 위치에 따라 상이한 햅틱-인에이블형 디바이스들에 대해 상이한 햅틱 효과들) 전송할 수 있다. 예를 들어, 브로드캐스트 신호는 경기장 중앙에서 공연하는 밴드에 대한 햅틱-인에이블형 디바이스들 각각의 근접도에 따라 경기장 내 상이한 위치들에서 햅틱-인에이블형 디바이스들의 그룹에 오리지널 햅틱 메타데이터를 비동기적으로 전송할 수 있다.
140에서, 햅틱 재생 능력 정보는 햅틱-인에이블형 디바이스들 각각에 대해 생성된다. 햅틱 재생 능력 정보는 오리지널 햅틱 메타데이터에 대한 햅틱-인에이블형 디바이스들 각각의 햅틱 재생 능력을 결정함으로써 생성된다.
햅틱-인에이블형 디바이스들 각각의 햅틱 재생 능력은, 햅틱-인에이블형 디바이스들 각각에서 각자 소프트웨어를 사용하여 햅틱-인에이블형 디바이스들 각각에 대해, 디바이스 타입, 및/또는 햅틱 효과들을 생성하도록 구성되는 내장된 하드웨어를 식별함으로써 결정될 수 있다. 예를 들어, 하나의 햅틱-인에이블형 디바이스는 작은 그리고 큰 액추에이터를 가지는 게임패드로서 식별될 수 있고, 또다른 햅틱-인에이블형 디바이스는 모바일 액추에이터의 특정 타입을 가지는 모바일 핸드셋으로서 식별될 수 있다. 햅틱 재생 능력은 오리지널 햅틱 메타데이터에 대응하는 햅틱 트랙의 재생에 앞서 결정될 수 있다.
예시적인 실시예에 따르면, 햅틱 재생 능력(예를 들어, 디바이스 타입, 및/또는 햅틱 효과들을 생성하도록 구성되는 하드웨어)은 유효화 디바이스(예를 들어, 제2 TV 또는 TV 박스)를 사용하여 결정될 수 있다. 유효화 디바이스는 각자의 햅틱-인에이블형 디바이스에 대해 외부에 있을 수 있거나, 또는 각자의 햅틱-인에이블형 디바이스 내의 햅틱 시스템과는 별도일 수 있다(도 7의 햅틱 시스템(716) 참조).
150에서, 오리지널 햅틱 메타데이터가 햅틱-인에이블형 디바이스들 중 하나 이상의 각자의 햅틱 재생 능력 정보와 호환불가능한 햅틱 정보를 인코딩하는 경우, 각자의 햅틱 재생 능력 정보는 각자의 햅틱-인에이블형 디바이스에 의해 호스트 소스로 송신된다.
호스트 소스는 이후, 선택 햅틱 메타데이터가 각자의 햅틱 재생 능력 정보에 대해 커스터마이즈되는(또는 이와 호환가능한) 선택 햅틱 정보를 인코딩하도록, 오리지널 햅틱 메타데이터를 수정함으로써 선택 햅틱 메타데이터를 생성할 수 있다. 오리지널 햅틱 메타데이터는 오리지널 햅틱 메타데이터에 추가적인 햅틱 메타데이터를 더하는 것, 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경하는 것(또는 편집하는 것)에 의해 수정될 수 있다.
대안적으로, 호스트 소스는 지정된 데이터베이스로부터 선택 햅틱 메타데이터에 대한 햅틱 효과들을 선택할 수 있다.
170에서, 호스트 소스는 각자의 햅틱-인에이블형 디바이스들에 선택 햅틱 메타데이터를 송신한다. 햅틱-인에이블형 디바이스들에 대한 선택 햅틱 메타데이터를 생성함으로써, 예시적인 실시예들은 브로드캐스트 신호를 브로드캐스트/전송할 때 사용되는 것보다 더 적은 대역폭, 또는 더 작은 파일 크기를 사용하여 선택 햅틱 메타데이터를 송신하는 것을 포함할 수 있다.
예시적인 실시예에 따르면, 브로드캐스트 신호, 햅틱 재생 능력 정보, 및 선택 햅틱 메타데이터는 각자의 햅틱-인에이블형 디바이스의 동일한 미디어 브로드캐스트 스트림을 통해 각각 송신(또는 전송)될 수 있다.
도 2는 예시적인 실시예에 따라 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 송신하는 것의 흐름도이다.
도 2를 참조하면, 예시적인 실시예에 따라 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 송신하는 것은 (유사한 번호들의 사용에 의해 표시되는 바와 같이) 도 1에 도시된 기능성과 함께 기술된 것과 유사한 단계들을 포함한다. 유사한 단계들의 기재는 간략함을 위해 생략된다.
220에서, 기능성은 오리지널 햅틱 메타데이터와 오리지널 오디오 및/또는 비디오 메타데이터를 멀티플렉싱하여(또는 더하여) 복합 브로드캐스트 신호를 생성하는 것을 더 포함한다. 예를 들어, 사용자가 이벤트의 오디오/비디오("A/V") 데이터를 생성할 때 및/또는 공유하도록 의도할 때, 사용자는 A/V 데이터와 연관시킬 햅틱 효과들에 대한 추천들/제안들을 제공할 수 있다. 예시적인 실시예에 따르면, 사용자는 데이터베이스 내의 미리-설계된 햅틱 효과들의 세트로부터 햅틱 효과를 선택하고, 선택된 햅틱 효과를 A/V 데이터와, 또는 A/V 데이터의 하나 이상의 부분들과 연관시킬 수 있다.
230에서, 복합 브로드캐스트 신호는 이후 도 1과 함께 기술된 바와 같이 130에서의 브로드캐스트 신호와 동일한 방식으로 햅틱-인에이블형 디바이스들에 브로드캐스트(또는 전송)된다.
예시적인 실시예에 따르면, 오리지널 오디오 및/또는 비디오 메타데이터는 햅틱 편집기(메타데이터에 대한 편집을 수행하는 사람)에 의해 수정되거나, 또는 햅틱-인에이블형 디바이스들의 오디오/비디오 능력들로 인해 수정될 수 있다. 260에서, 오리지널 오디오 및/또는 비디오 메타데이터가 수정되는 경우, 호스트 소스는, 선택 햅틱 메타데이터가 (i) 각자의 햅틱 재생 능력 정보와 호환가능한 선택 햅틱 정보를 인코딩하고, (ii) 수정된 오디오 및/또는 비디오 메타데이터에 의해 인코딩되는 오디오/비디오 데이터에 대응하도록, 오리지널 햅틱 메타데이터를 수정함으로써 선택 햅틱 메타데이터를 생성할 수 있다.
대안적으로, 호스트 소스는 지정된 데이터베이스로부터 선택 햅틱 메타데이터에 대한 햅틱 효과들을 선택할 수 있다.
270에서, 호스트 소스는 각자의 햅틱-인에이블형 디바이스에 선택 햅틱 메타데이터를 송신한다.
도 3은 예시적인 실시예에 따라 브로드캐스트 신호 내로 오리지널 햅틱 메타데이터를 통합하는 것의 흐름도이다.
도 3을 참조하면, 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내에 통합시키는 것은, 310에서, 장비 상의 센서들 및/또는 사람들로부터 햅틱 데이터를 수집하는 것을 포함한다. 320에서, 오리지널 햅틱 메타데이터는 수집된 햅틱 데이터로부터 생성된다.
330에서, 햅틱 편집기(햅틱 메타데이터에 대한 편집을 수행하는 사람)는, 선택적으로, 추가적인 햅틱 메타데이터를 더하는 것, 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경시키는 것(또는 편집하는 것)에 의해 오리지널 햅틱 메타데이터를 수정할 수 있다. 예를 들어, 필드 상의 풋볼 플레이어들은 오리지널 햅틱 메타데이터를 생성하기 위해 사용되는 데이터를 수집하는 힘 센서들을 이들의 헬멧들 내에 내장할 수 있다. 그러나, 햅틱 편집기는 최종-사용자들이 플레이어들 모두로부터의 모든 충격들을 느끼기를 원하지 않을 수 있다. 따라서, 햅틱 편집기는 햅틱 메타데이터를 제거함으로써 특정 시간들에서 특정 플레이어들로부터의 충격들을 포함하도록 오리지널 햅틱 메타데이터를 수정하거나 또는 최종-사용자들이 더 강한 또는 더 약한 힘을 느끼도록 파라미터를 변경시킬 수 있다.
340에서, 오리지널 햅틱 메타데이터(또는 대안적으로, 오리지널 햅틱 메타데이터의 수정된 버전)가 햅틱 메타데이터 패킷으로서 브로드캐스트 신호 내에 통합된다. 오리지널 햅틱 메타데이터(또는 대안적으로, 오리지널 햅틱 메타데이터의 수정된 버전)는 브로드캐스트 신호 내에 자동으로 통합될 수 있다.
도 4는 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내에 통합하는 것의 흐름도이다.
도 4를 참조하면, 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내로 통합하는 것은, 410에서, 이벤트 동안 발생하는 특정 오디오 및/또는 시각적 큐들에 기초하여, 실시간으로, 미리-설계된 햅틱 효과 데이터베이스로부터 미리-설계된 햅틱 효과들을 선택하는 것을 포함한다. 미리-설계된 햅틱 효과들의 상이한 "타입들"은 이벤트들의 상이한 타입들에 대응할 수 있다. 미리-설계된 햅틱 효과들의 예시적인 타입들은 진동, 졸트(jolt), 디텐트(detent), 팝(pop) 등을 포함한다. 예시적인 실시예에 따르면, 햅틱 효과의 제1 타입은 플레이어에 관련된 이벤트(예를 들어, 히트하는 것(hitting), 히트되는 것(being hit), 폴링(falling), 점핑(jumping) 등)를 나타낼 수 있는 반면, 햅틱 효과의 제2 타입은 게임플레이에 관련된 이벤트(예를 들어, 스코어, 타임아웃 등)를 나타낼 수 있다.
420에서, 오리지널 햅틱 메타데이터는 선택된 미리-설계된 햅틱 효과들로부터 생성된다.
430에서, 햅틱 편집기(햅틱 메타데이터에 대한 편집을 수행하는 사람)는, 선택적으로, 추가적인 햅틱 메타데이터를 더하는 것, 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경(또는 편집)하는 것에 의해 이벤트를 보다 구체적으로 매치시키도록 오리지널 햅틱 메타데이터를 수정하거나 조정(tune)할 수 있다. 예를 들어, 햅틱 편집기는 선택된 미리-설계된 햅틱 효과의 강도 레벨을 강조하거나(즉, 더 큰 강도가 제공됨) 또는 감소시키도록(즉, 더 적은 강도가 제공됨) 오리지널 햅틱 메타데이터를 수정할 수 있다. 따라서, 예를 들어, 최종-사용자는 풋볼 플레이어가 태클 당하는 것에 응답하여 강한 진동을, 그리고 풋볼 플레이어가 필드 상의 경계 밖으로 나가는 것에 응답하여 약한 진동을 느낄 수 있다.
예시적인 실시예에 따르면, 특정한 햅틱 효과를 정의하는 하이 레벨 파라미터들은 규모, 빈도, 및 지속기간을 포함한다. 스트리밍 모터 커맨드들과 같은 로우 레벨 파라미터들 역시 특정한 햅틱 효과를 렌더링하도록 사용될 수 있다. 이러한 파라미터들의 일부 변형은 햅틱 효과의 느낌을 변경할 수 있고, 그리고/또는 추가로 햅틱 효과가 "동적"으로 간주되도록 할 수 있다.
440에서, 오리지널 햅틱 메타데이터(또는 대안적으로, 오리지널 햅틱 메타데이터의 수정된 버전)는 햅틱 메타데이터 패킷으로서 브로드캐스트 신호 내에 통합된다. 오리지널 햅틱 메타데이터(또는 대안적으로, 오리지널 햅틱 메타데이터의 수정된 버전)는 브로드캐스트 신호 내에 자동으로 통합될 수 있다.
도 5는 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내에 통합시키는 것의 흐름도이다.
도 5를 참조하면, 예시적인 실시예에 따라 오리지널 햅틱 메타데이터를 브로드캐스트 신호 내에 통합하는 것은, 510에서, 이벤트가 발생할 때 햅틱 작성 툴들을 사용하여, 실시간으로, 제1 햅틱 효과를 생성하는 것을 포함한다. 제1 햅틱 효과는 햅틱 작성기(haptic creator) 또는 햅틱 합성기(haptic synthesizer)에 의해 생성될 수 있다. 제1 햅틱 효과는 브로드캐스트 신호가 생성됨에 따라 동시에 생성된다. 예를 들어, 제1 햅틱 효과는 오디오/비디오 신호가 브로드캐스트 신호 내에 내장됨에 따라 동시에 생성될 수 있다.
예를 들어, 햅틱 작성기는, 플레이어에게 패스하는 쿼터백의 느낌을 표현하기 위한 제1 효과를 생성하고, 제1 효과가 단지 럼블 패드의 좌측 액추에이터 상에서만 재생되도록 지정할 수 있다. 햅틱 작성기는, 수신자가 풋볼 패스를 잡는 느낌에 대해 표현하는 제2 효과를 생성하고, 제2 효과가 단지 럼블 패드의 우측 액추에이터 상에서만 재생되도록 지정할 수 있다.
또 다른 예시적인 실시예들에 따르면, 햅틱 작성기는 특정 디바이스들(예를 들어, 모바일 폰들 또는 럼블 패드들 또는 편심 회전 질량 모터("ERM") 또는 선형 공진 액추에이터("LRA") 액추에이터들) 상에만 재생될 특정 효과들을 지정할 수 있다.
520에서, 제1 오리지널 햅틱 메타데이터 패킷은 제1 햅틱 효과로부터 생성된다.
530에서, 제1 오리지널 햅틱 메타데이터 패킷은 브로드캐스트 신호 내에 통합된다.
540에서, 제1 오리지널 햅틱 메타데이터 패킷은 브로드캐스트 신호를 통해 최종-사용자 디바이스들에 실시간으로 브로드캐스트/전송된다. 예를 들어, 이벤트가 최종-사용자들에 의해 라이브로 시청됨에 따라, 제1 햅틱 효과가 생성되고, 변환되고, 브로드캐스트 신호 내에 통합되고, 최종-사용자들에게 전송된다.
550에서, 제2 햅틱 효과가, 이벤트가 발생함에 따라 햅틱 작성 툴들을 사용하여, 실시간으로 생성된다.
560에서, 제2 오리지널 햅틱 메타데이터 패킷이 제2 햅틱 효과로부터 생성된다.
570에서, 제2 오리지널 햅틱 메타데이터 패킷은, 제1 햅틱 메타데이터 패킷의 전송 이후에 또는 전송 동안, 브로드캐스트 신호의 브로드캐스트 스트림 내에 통합된다.
580에서, 제2 오리지널 햅틱 메타데이터 패킷은 브로드캐스트 스트림을 통해 최종-사용자 디바이스들에 실시간으로 브로드캐스트/전송된다.
대안적인 예시적인 실시예에 따르면, 이벤트는 추후 시간에 시청될 수 있고, 햅틱 효과들은 추후 시간에 변환되어 최종-사용자들에게 제공되기 위해 저장될 수 있다.
도 6은 예시적인 실시예에 따른 햅틱 브로드캐스트 시스템(600)의 블록도이다.
도 6을 참조하면, 예시적인 실시예들에 따른 햅틱 브로드캐스트 시스템(600)은 호스트 소스(602)를 포함한다. 호스트 소스(602)는 햅틱 센서 모듈(650), 햅틱 데이터 합성기(655) 및/또는 미리-설계된 햅틱 효과 데이터베이스(660)로부터 햅틱 데이터를 획득하고, 햅틱 데이터를 햅틱 데이터 컨버터(610)에 전송한다.
예시적인 실시예에 따르면, 햅틱 센서 모듈(650)은 하나 이상의 센서들(미도시됨)로부터 햅틱 센서 정보를 표현하는 신호(예를 들어, 전기적 신호)를 수신한다. 센서들은 에너지의 형태 또는 다른 물리적 특징을 검출하고, 검출된 에너지 또는 다른 물리적 특징을 신호로 변환한다. 센서들은 신호를 통신 디바이스(미도시됨)를 통해 햅틱 센서 모듈(650)에 송신한다. 센서들은 에너지의 형태, 또는 사운드, 움직임, 가속도, 생리적 신호들, 거리, 흐름, 힘/압력/변형/휨, 습도, 선형 위치, 배향/경사, 라디오 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도와 같은, 그러나 이에 제한되지 않는, 다른 물리적 특징을 검출하도록 구성될 수 있다.
하나 이상의 센서들은 모션 센서, 가속계, 심전도, 뇌전도, 근전계, 안전도, 전자구개운동도(electropalatograph), 갈바닉 피부 전기 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 구부림 센서(또는 휨 센서), 힘-감응식 저항기, 로드 셀, LuSense CPS2 155, 소형 압력 트랜스듀서, 피에조 센서, 스트레인 게이지, 습도계, 선형 포지션 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 라디오 주파수 식별 태그), 회전 인코더, 회전 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예를 들어, 온도계, 서모커플, 저항 온도 검출기, 서미스터, 또는 온도-트랜스듀싱 집적 회로), 마이크로폰, 광도계, 고도계, 생체 모니터, 카메라, 또는 광-종속형 저항기와 같은, 그러나 이에 제한되지 않는, 임의의 디바이스일 수 있다.
하나 이상의 센서들은 센서 어레이의 일부, 또는 일부 다른 타입의 센서들의 집합일 수 있다.
예시적인 실시예에 따르면, 햅틱 효과들은 이벤트가 발생할 때 햅틱 데이터 합성기(655) 내의 햅틱 작성 툴들을 사용하여 생성될 수 있다. 햅틱 데이터 합성기(655)는 햅틱 작성기에 의해 제어될 수 있다. 햅틱 효과들은 (대응하는 오리지널 햅틱 메타데이터가 통합될) 브로드캐스트 신호가 생성됨에 따라 실시간으로(또는 동시에) 생성될 수 있다.
예시적인 실시예에 따르면, 이벤트 동안 발생하는 오디오 및/또는 시각적 큐들은 (예를 들어, 미리-설계된 햅틱 효과 데이터베이스(660)에 저장된 미리-설계된 효과들의 룩업 테이블에 기초하여) 미리-설계된 햅틱 효과 데이터베이스(660)에 저장된 미리-설계된 햅틱 효과들을 선택함으로써 햅틱화될 수 있다. 선택시, 미리-설계된 햅틱 효과들은 추가적인 햅틱 메타데이터를 더하는 것, 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경하는 것(또는 편집하는 것)에 의해 이벤트를 더 구체적으로 매치시키도록 수정되거나 조정될 수 있다. 수정 또는 조정은 햅틱 편집기(햅틱 메타데이터에 대해 편집을 수행하는 사람), 햅틱 수정 툴들 등에 의해 수행될 수 있다.
이벤트와 연관된 오디오(또는 시각적) 큐들은 오디오(또는 시각적) 대 햅틱 변환 알고리즘을 사용함으로써 햅틱화될 수 있다. 예를 들어, 미국 특허 제9,368,005호에 개시된 바와 같은 오디오 대 햅틱 변환 알고리즘이 사용될 수 있다.
예시적인 실시예에 따르면, 전체 큐(들)보다는 오디오 및/또는 시각적 큐들의 특정 부분들만이 햅틱화될 수 있다. 따라서, 예시적인 실시예들은 오디오 및/또는 시각적 큐들의 해당 부분들이 향상된 햅틱 메타데이터를 제공하도록 구성되는 햅틱 변환 알고리즘들을 사용할 수 있다.
대안적인 예시적인 실시예에 따르면, 햅틱 센서 모듈(650), 햅틱 데이터 합성기(655) 및/또는 미리-설계된 햅틱 효과 데이터베이스(660)는 각각 호스트 소스(602)와는 상이한 디바이스 내에 있을 수 있다. 햅틱 센서 모듈(650), 햅틱 데이터 합성기(655) 및/또는 미리-설계된 햅틱 효과 데이터베이스(660)가 호스트 소스(602)와는 상이한 디바이스들 내에 있을 때, 햅틱 데이터는 각각의 디바이스로부터 햅틱 데이터 컨버터(610)로 전송될 수 있다.
햅틱 데이터 컨버터(610)는 햅틱 센서 모듈(650), 햅틱 데이터 합성기(655) 및/또는 미리-설계된 햅틱 효과 데이터베이스(660)로부터 수신되는 햅틱 데이터를 변환시킴으로써 오리지널 햅틱 메타데이터를 생성한다. 오리지널 햅틱 메타데이터는 햅틱 정보를 수신할 복수의 햅틱-인에이블형 디바이스들(733) 상에서 재생될 햅틱 파라미터(들)의 타입을 특정하는 햅틱 정보를 인코딩할 수 있다.
햅틱 데이터 컨버터(610)는 브로드캐스트 네트워크를 통한 전송을 위한 햅틱 메타데이터 패킷을 생성하는 제1 인코더(617)에 오리지널 햅틱 메타데이터를 전송한다. 제1 인코더(617)는 오리지널 햅틱 메타데이터를, 예를 들어, 디지털 신호로서, 제1 브로드캐스트 신호 내로의 통합에 적합한 햅틱 메타데이터 패킷으로 인코딩한다. 예를 들어, 오리지널 햅틱 메타데이터는 미국 특허 출원 제14/286,591호에 개시된 바와 같이 인코딩되고 스트리밍될 수 있다.
제1 인코더(617)는 이후 햅틱 메타데이터 패킷을 멀티플렉서(620)에 전송할 수 있다. 멀티플렉서(620)는 햅틱 메타데이터 패킷을, 오리지널 햅틱 메타데이터와 연관된 오디오 및/또는 시각적 메타데이터 패킷과 결합시켜 복합 신호를 생성하고, 복합 신호를 브로드캐스트 네트워크(625)에 전송한다.
대안적인 예시적인 실시예에 따르면, 제1 인코더(617)에 의해 생성되는 햅틱 메타데이터 패킷을 오디오 및/또는 시각적 메타데이터 패킷과 결합시키는 것이 필요하거나 바람직하지 않을 수도 있다. 따라서, 제1 인코더(617)는 햅틱 메타데이터 패킷을 브로드캐스트 네트워크(625)에 직접 전송할 수 있다.
브로드캐스트 네트워크(625)는 복합 신호(또는, 대안적으로, 햅틱 메타데이터 신호만)를 제1 브로드캐스트 신호 내에 통합하고, 이후 햅틱 메타데이터 패킷을 포함하는 제1 브로드캐스트 신호를 하나 이상의 햅틱-인에이블형 디바이스들(733)에 브로드캐스트(또는 전송)한다. 따라서, 브로드캐스트 네트워크(625)에 의해 햅틱-인에이블형 디바이스들(733)에 송신되는 제1 브로드캐스트 신호는 점-대-다점 브로드캐스트 신호일 수 있다. 제1 브로드캐스트 신호는 서로 상이할 수 있는 전송 모드들(627, 629, 631)를 통해 햅틱-인에이블형 디바이스들(733)에 브로드캐스트 신호를 송신함으로써 브로드캐스트(또는 전송)될 수 있다. 예를 들어, 전송 모드들(627, 629, 631)은 케이블, 직접 브로드캐스트 위성, 광섬유 통신 네트워크, OTA(over-the-air) 프로그래밍, 무선 통신 네트워크, 및 라디오 파들로부터 선택될 수 있다.
햅틱-인에이블형 디바이스들(733)은 각각 본 기술분야에 공지된 임의의 햅틱 재생 미디어를 포함할 수 있다. 예를 들어, 햅틱-인에이블형 디바이스들(733)은 모바일 디바이스들(예를 들어, 태블릿들, 스마트폰들 등), 웨어러블 디바이스들(예를 들어, 글러브, 손목밴드, 스마트 의복 등), 액추에이터 장착형 가구, 텔레비전들, 게임 제어기들, 햅틱-인에이블형 헤드 장착 디스플레이(HMD)들(예를 들어, 오큘러스 리프트(Oculus Rift) 등) 또는 유사한 디바이스들일 수 있다.
햅틱-인에이블형 디바이스들(733)은 햅틱 시스템(716)을 포함할 수 있다. 햅틱 시스템(716)은 디코더(635), 햅틱 재생 능력 생성기(640), 및 햅틱 렌더러(670), 및 미리-설계된 햅틱 효과 데이터베이스(미도시됨)를 포함할 수 있다. 햅틱 시스템(716)은 또한 본 기술분야에 공지된 다른 엘리먼트들, 예를 들어, 햅틱/ A/V 동기화기, 신호 변조기, 신호 컨버터, 필터들 등을 포함할 수 있다.
햅틱-인에이블형 디바이스들(733) 각각 내의 디코더(635)는 브로드캐스트 네트워크(625)로부터 제1 브로드캐스트 신호를 수신하고, 제1 브로드캐스트 신호로부터 오리지널 햅틱 메타데이터를 디코딩한다. 디코더(635)는 이후 오리지널 햅틱 메타데이터를 햅틱 재생 능력 생성기(640)에 송신한다.
햅틱 재생 능력 생성기(640)는 오리지널 햅틱 메타데이터에 대한 각자의 햅틱-인에이블형 디바이스(733)의 햅틱 재생 능력들을 결정하고, 각자의 햅틱-인에이블형 디바이스(733)에 대한 햅틱 재생 능력 정보를 생성한다. 햅틱 재생 능력 생성기(640)는 각자의 햅틱-인에이블형 디바이스(733)에 대한, 디바이스 타입, 및/또는 햅틱 효과들을 생성하도록 구성되는 하드웨어를 식별함으로써 햅틱 재생 능력들을 결정하는 소프트웨어를 가질 수 있다.
대안적인 예시적인 실시예에 따르면, 디바이스 타입, 및/또는 햅틱 효과들을 생성하도록 구성되는 하드웨어는, 유효화 디바이스(643)를 사용하여 식별될 수 있다. 유효화 디바이스(643)는 각자의 햅틱-인에이블형 디바이스(733)와는 상이한 디바이스 내에, 또는 햅틱 브로드캐스트 시스템(716)과는 별도의 디바이스 내에 있을 수 있다.
햅틱 재생 능력 생성기(640)가 호환가능한 미리-설계된 햅틱 효과들(즉, 오리지널 햅틱 메타데이터와 호환가능한 미리-설계된 햅틱 효과들)이 햅틱 시스템(716)의 미리-설계된 햅틱 효과 데이터베이스에 저장된다고 결정하는 경우, 오리지널 햅틱 메타데이터가 햅틱 렌더러(670)에 전송되어 오리지널 햅틱 메타데이터와 연관된 햅틱 효과들을 생성한다.
햅틱 재생 능력 생성기(640)가 호환가능한 미리-설계된 햅틱 효과들이 햅틱 시스템(716)의 미리-설계된 햅틱 효과 데이터베이스에 저장되지 않는다고 결정하는 경우, 햅틱 재생 능력 생성기(640)는 오리지널 햅틱 메타데이터가 각자의 햅틱-인에이블형 디바이스(733)의 햅틱 재생 능력 정보와 호환가능한 햅틱 정보 또는 파라미터들을 인코딩하는지를 결정한다.
햅틱 재생 능력 생성기(640)가 오리지널 햅틱 메타데이터가 각자의 햅틱-인에이블형 디바이스(733)의 햅틱 재생 능력 정보와 호환가능한 햅틱 정보 또는 파라미터들을 인코딩한다고 결정하는 경우, 오리지널 햅틱 메타데이터가 햅틱 렌더러(670)에 전송되어 오리지널 햅틱 메타데이터와 연관된 햅틱 효과들을 생성한다.
햅틱 재생 능력 생성기(640)가 오리지널 햅틱 메타데이터가 각자의 햅틱-인에이블형 디바이스(733)의 햅틱 재생 능력 정보와 호환불가능한 햅틱 정보 또는 파라미터들을 인코딩한다고 결정하는 경우, 각자의 햅틱 재생 능력 정보는 제2 인코더(645)에 전송된다.
제2 인코더(645)는 햅틱 재생 능력 정보를, 제2 브로드캐스트 신호로의 통합에 적합한, 예를 들어, 디지털 신호로서, 햅틱 재생 메타데이터 패킷으로 인코딩한다. 제2 인코더(645)는 이후 햅틱 재생 메타데이터 패킷을 브로드캐스트 네트워크(625)에 전송한다.
브로드캐스트 네트워크(625)는 제2 인코더(645)로부터 수신된 햅틱 재생 메타데이터 패킷을 제2 브로드캐스트 신호로 통합하고, 이후 햅틱 재생 메타데이터 패킷을 포함하는 제2 브로드캐스트 신호를 호스트 소스(602)에 브로드캐스트(또는 전송)한다. 따라서, 브로드캐스트 네트워크(625)에 의해 호스트 소스(602)에 송신되는 제2 브로드캐스트 신호는 점-대-점 브로드캐스트 신호일 수 있다. 제2 브로드캐스트 신호는 제1 브로드캐스트 신호와 동일한 또는 상이한 전송 모드에 의해 브로드캐스트(또는 전송)될 수 있다.
호스트 소스(602) 내의 디코더(647)는 브로드캐스트 네트워크(625)로부터 제2 브로드캐스트 신호를 수신하고, 제2 브로드캐스트 신호 내에 수신되는 햅틱 재생 메타데이터 패킷으로부터 각자의 햅틱 재생 능력 정보를 디코딩한다. 디코더(647)는 이후 햅틱 재생 능력 정보를 선택 햅틱 재생 생성기(649)에 전송할 수 있다.
선택 햅틱 재생 생성기(649)는, 선택 햅틱 메타데이터가 각자의 햅틱 재생 능력 정보와 호환가능한(또는 이에 대해 커스터마이즈되는) 선택 햅틱 정보 또는 파라미터들을 인코딩하도록, 오리지널 햅틱 메타데이터를 수정함으로써 선택 햅틱 메타데이터를 생성한다. 오리지널 햅틱 메타데이터는 추가적인 햅틱 메타데이터를 오리지널 햅틱 메타데이터에 더하는 것, 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경하는 것(또는 편집하는 것)에 의해 수정될 수 있다.
예시적인 실시예에 따르면, 선택 햅틱 재생 생성기(649)는 지정된 데이터베이스로부터 선택 햅틱 메타데이터에 대한 선택 햅틱 효과들을 선택할 수 있다.
대안적인 예시적인 실시예에 따르면, 디코더(647)는 햅틱 재생 능력 정보를 햅틱 데이터 합성기(655)에 전송할 수 있고, 여기서 각자의 햅틱 재생 능력 정보와 호환가능한(또는 이에 대해 커스터마이즈되는) 햅틱 효과들이 재생성되고, 재생성된 햅틱 효과들이 사용되어 각자의 햅틱 재생 능력 정보와 호환가능한(또는 이에 대해 커스터마이즈되는) 선택 햅틱 정보 또는 파라미터들을 생성한다.
또다른 대안적인 예시적인 실시예에 따르면, 디코더(647)는 햅틱 재생 능력 정보를 미리-설계된 햅틱 효과 데이터베이스(660)에 전송할 수 있고, 여기서 (i) 각자의 햅틱 재생 능력 정보와 호환가능한(또는 이에 대해 커스터마이즈되는) 그리고 (ii) 미리-설계된 햅틱 효과 데이터베이스(660)에 저장되는, 추가적인 또는 다른 미리-설계된 햅틱 효과들이 선택된다. 선택된 햅틱 효과들이 이후 사용되어 각자의 햅틱 재생 능력 정보와 호환가능한(또는 이에 대해 커스터마이즈되는) 선택 햅틱 정보 또는 파라미터들을 생성한다.
햅틱 데이터 합성기(655) 또는 미리-설계된 햅틱 효과 데이터베이스(660)에 의해 제공되는 햅틱 효과들로부터 생성되는 선택 햅틱 정보 또는 파라미터들은 햅틱 데이터 컨버터(610)에 전송된다. 햅틱 데이터 컨버터(610)는 이후 햅틱 데이터 합성기(655) 또는 미리-설계된 햅틱 효과 데이터베이스(660)로부터 수신되는 선택 햅틱 정보 또는 파라미터들을 변환시킴으로써 선택 햅틱 메타데이터를 생성한다.
예시적인 실시예에 따르면, 최종-사용자는 각자의 햅틱 재생 능력 정보 내에 사용자 선호도(들)를 제공함으로써 햅틱-인에이블형 디바이스에 의해 생성되는 햅틱 효과들을 커스터마이즈할 수 있다. 예를 들어, 특정 이벤트를 무시하는 사용자 선호도에 기초하여, 선택 햅틱 메타데이터는 특정 이벤트가 발생할 때의 햅틱 효과에 대한 햅틱 정보를 인코딩하지 않을 수 있다. 다시 말해, 대응하는 햅틱 메타데이터는 선택 햅틱 메타데이터 내에 전송되지 않을 수 있다.
호스트 소스(602)의 선택 햅틱 재생 생성기(649), 또는 햅틱 데이터 컨버터(610)는 이후 인코더(617)(및, 선택적으로 멀티플렉서(620)) 및 브로드캐스트 네트워크(625)를 통해 각자의 햅틱-인에이블형 디바이스(733)에 제3 브로드캐스트 신호 내의 선택 햅틱 메타데이터를 송신한다. 선택 햅틱 메타데이터는 인코더(617)에 의해 선택 햅틱 메타데이터 패킷으로 인코딩되고, 이후 브로드캐스트 네트워크(625)에 의해 제3 브로드캐스트 신호 내에 통합될 수 있다. 따라서, 브로드캐스트 네트워크(625)에 의해 각자의 햅틱-인에이블형 디바이스(733)에 송신되는 제3 브로드캐스트 신호는 점-대-점 브로드캐스트 신호일 수 있다.
예시적인 실시예에 따르면, 브로드캐스트 신호, 햅틱 재생 능력 정보, 및 선택 햅틱 메타데이터 패킷은 각각 각자의 햅틱-인에이블형 디바이스의 동일한 미디어 브로드캐스트 스트림을 통해 송신(또는 전송)될 수 있다.
예시적인 실시예들에 따르면, 햅틱-인에이블형 디바이스(들)에 대한 선택 햅틱 메타데이터를 생성함으로써, 예시적인 실시예들은 제1 브로드캐스트 신호를 브로드캐스트(또는 전송)할 때 사용되는 것보다 더 작은 대역폭 또는 더 작은 파일 크기를 가지는 제3 브로드캐스트 신호 내에 선택 햅틱 메타데이터를 송신하는 것을 포함할 수 있다.
도 7은 예시적인 실시예에 따른 최종-사용자 디바이스 내의 시스템(700)의 블록도이다. 도 7의 컴포넌트들 중 일부 또는 전부가 또한 도 6의 엘리먼트들 중 임의의 것을 구현하기 위해 사용될 수 있다.
도 7을 참조하면, 예시적인 실시예에 따른 최종-사용자 디바이스 내의 시스템(700)은 햅틱 재생 능력을 결정하고 최종-사용자 디바이스에 대한 햅틱 재생 기능성을 제공한다. 대안적으로, 시스템(700)은 최종-사용자 디바이스에 대해 외부에 있을 수 있고, 최종-사용자 디바이스에 대한 햅틱 재생 기능성을 원격으로 제공한다.
단일 시스템으로서 도시되지만, 시스템(700)의 기능성은 분산 시스템으로서 구현될 수 있다. 시스템(700)은 버스(712) 또는 정보를 통신하기 위한 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스(712)에 커플링되는 프로세서(722)를 포함한다. 프로세서(722)는 임의의 타입의 범용 또는 특수 목적 프로세서일 수 있다. 시스템(700)은 프로세서(722)에 의해 실행될 명령어들 및 정보를 저장하기 위한 메모리(714)를 더 포함한다. 메모리(714)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광학 디스크와 같은 정적 저장소, 또는 임의의 다른 타입의 컴퓨터-판독가능한 매체로 구성될 수 있다.
컴퓨터-판독가능한 매체는 프로세서(722)에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 제거가능 및 제거불가능한 매체, 통신 매체, 및 저장 매체를 포함할 수 있다. 통신 매체는 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 반송파와 같은 변조된 데이터 신호 또는 다른 전송 메커니즘 내의 다른 데이터를 포함할 수 있고, 본 기술분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능한 프로그래밍가능 판독-전용 메모리("EPROM"), 전기적 소거가능한 프로그래밍가능 판독-전용 메모리("EEPROM"), 레지스터들, 하드 디스크, 제거가능 디스크, 컴팩트 디스크 판독-전용 메모리("CD-ROM"), 또는 본 기술분야에 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.
예시적인 실시예에 따르면, 메모리(714)는 프로세서(722)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장한다. 소프트웨어 모듈들은 시스템(700), 뿐만 아니라 최종-사용자 디바이스의 나머지에 대한 운영 체제 기능성을 제공하는 운영 체제(715)를 포함한다. 소프트웨어 모듈들은 햅틱 재생 능력을 (전술된 바와 같이) 결정하고 햅틱 재생 기능성을 제공하는 햅틱 시스템(716)을 더 포함한다.
시스템(700)은 적외선, 라디오, Wi-Fi, 또는 셀룰러 네트워크 통신들을 위한 무선 네트워크 통신을 제공하는 통신 디바이스(720)(예를 들어, 네트워크 인터페이스 카드)를 더 포함할 수 있다. 대안적으로, 통신 디바이스(720)는 유선 네트워크 접속(예를 들어, 케이블/이더넷/광섬유 접속, 또는 모뎀)을 제공할 수 있다.
프로세서(722)는 최종-사용자에게 그래픽 표현 또는 사용자 인터페이스를 디스플레이하기 위해 디스플레이(724)(예를 들어, 발광 디스플레이(LED) 또는 액정 디스플레이(LCD))에 버스(712)를 통해 추가로 커플링된다. 디스플레이(724)는 프로세서(722)로부터 신호들을 송신하고 수신하도록 구성되는 터치-감지형 입력 디바이스(즉, 터치 스크린)일 수 있고, 멀티-터치 터치스크린일 수 있다.
시스템(700)은 적어도 하나의 액추에이터(726)를 더 포함한다. 프로세서(722)는 액추에이터(726)에 햅틱 효과와 연관된 햅틱 신호를 전송할 수 있고, 이는 결국 햅틱 효과들(예를 들어, 진동촉각 햅틱 효과들, 정전기 마찰 햅틱 효과들, 또는 변형 햅틱 효과들)을 출력한다. 액추에이터(726)는 액추에이터 구동 회로를 포함한다. 액추에이터(726)는 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터("ERM"), 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 또는 전기활성 폴리머("EAP") 액추에이터일 수 있다.
액추에이터(726)는 햅틱 출력 디바이스의 예이며, 여기서 햅틱 출력 디바이스는, 구동 신호에 응답하여, 진동촉각 햅틱 효과들, 정전기 마찰 햅틱 효과들, 변형 햅틱 효과들 등과 같은 임의의 형태의 햅틱 효과들을 출력하도록 구성되는 메커니즘들을 포함하는 디바이스이다. 따라서, 대안적인 예시적인 실시예에서, 액추에이터(726)는 비-기계식 또는 비-진동식 디바이스일 수 있는 일부 다른 타입의 햅틱 출력 디바이스(미도시됨)로 대체될 수 있다. 비-기계식 또는 비-진동식 디바이스들의 예들은 정전기 마찰("ESF") 또는 초음파 표면 마찰("USF")을 사용하는 디바이스, 초음파 햅틱 트랜스듀서를 이용하여 음향 복사 압력을 유도하는 디바이스, 햅틱 기판 및 유연한 또는 변형가능한 표면 또는 형상 변경 디바이스를 사용하며 사용자의 몸에 부착될 수 있는 디바이스, 에어 제트를 사용한 공기 분출, 레이저-기반 발사체, 사운드-기반 발사체 등과 같은 프로젝트 햅틱 출력을 제공하는 디바이스를 포함한다.
예시적인 실시예에 따르면, 레이저-기반 발사체는 레이저 에너지를 사용하여, 플라즈마(양의 입자와 음의 입자의 집중된 혼합물)를 제공하기 위해 공기 중 집중된 영역 내의 공기 분자들을 이온화시킨다. 레이저는 매우 빠른 그리고 매우 강렬한 페이스(pace)로 펄스들을 방출하는 펨토초 레이저일 수 있다. 레이저가 더 빠를수록, 사람이 터치하기에 더 안전하다. 레이저-기반 발사체는 햅틱 및 상호작용적인 홀로그램으로서 나타날 수 있다. 플라즈마가 사용자의 피부에 접촉하게 될 때, 사용자는 집중된 영역 내의 활성화된 공기 분자들의 진동들을 감지할 수 있다. 사용자 피부 상의 감각들은 사용자가 공기-중 플라즈마와 상호작용할 때 생성되는 파들에 의해 야기된다. 따라서, 햅틱 효과들은 사용자가 플라즈마 집중 영역을 지남으로써 사용자에게 제공될 수 있다. 대안적으로, 또는 추가로, 햅틱 효과들은 사용자가 지향된 사운드 에너지에 의해 생성되는 진동들을 받음으로써 사용자에게 제공될 수 있다.
대안적인 예시적인 실시예에 따르면, 시스템(700)과는 별도의 디바이스가 햅틱 효과들을 생성하는 액추에이터 또는 또다른 햅틱 출력 디바이스를 포함하고, 시스템(700)은 통신 디바이스(720)를 통해 별도의 디바이스에 생성된 햅틱 신호들을 송신한다.
시스템(710)은 오디오 효과들을 출력하기 위한 적어도 하나의 스피커(728)를 포함할 수 있다. 프로세서(722)는 스피커(728)에 오디오 신호를 전송할 수 있고, 이는 결국 오디오 효과들을 출력한다. 스피커(728)는, 예를 들어, 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자왜식 라우드스피커, 정전기 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡파 라우드스피커, 평판 라우드스피커, 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
대안적인 실시예에 따르면, 시스템(700)과는 별도의 디바이스는 스피커(728)를 포함하고, 시스템(700)은 통신 디바이스(720)를 통해 별도의 디바이스에 오디오 신호들을 송신한다.
예시적인 실시예들은 최종-사용자 햅틱-인에이블형 디바이스들 상에서 재생되는 햅틱 데이터에서 모든 가능한 햅틱 재생 능력들을 인코딩해야할 필요 없이, 최종-사용자 햅틱-인에이블형 디바이스들(예를 들어, 태블릿, 모바일 전화, 텔레비전, 게임 콘솔, 가상 현실 시스템 등)에 브로드캐스트 신호를 통해 선택(또는 커스터마이즈된) 햅틱 데이터의 신뢰가능한 전송 및 지속적인 재생을 제공한다. 예시적인 실시예들에 따르면, 선택 햅틱 데이터가 최종-사용자 햅틱-인에이블형 디바이스의 햅틱 재생 능력들에 대해 커스터마이즈되기 때문에, 선택 햅틱 데이터로부터의 햅틱 효과들의 전송 및 재생은 햅틱 효과의 최종 사용자 경험을 개선시킨다.
이전내용은 다양한 예시적인 실시예들을 예시하며, 이들의 제한으로서 해석되지 않아야 한다. 따라서, 모든 이러한 수정들은 청구항들에서 정의되는 바와 같은 개시내용의 범위 내에 포함되는 것으로 의도된다.

Claims (20)

  1. 브로드캐스트 신호를 사용하여 선택 햅틱 메타데이터를 브로드캐스트하는 방법으로서,
    호스트 소스로부터 복수의 햅틱-인에이블형 디바이스들에 브로드캐스트 신호를 브로드캐스트하는 단계 ― 상기 브로드캐스트 신호는 오리지널 햅틱 메타데이터를 포함함 ― ;
    상기 오리지널 햅틱 메타데이터가 제1 햅틱 재생 능력 정보와는 호환불가능한 햅틱 정보를 인코딩할 때 상기 복수의 햅틱-인에이블형 디바이스들 중 제1 햅틱-인에이블형 디바이스로부터 상기 호스트 소스에서 제1 햅틱 재생 능력 정보를 수신하는 단계;
    상기 제1 햅틱 재생 능력 정보에 대해 커스터마이즈되는 선택 햅틱 메타데이터를 생성하는 단계; 및
    상기 호스트 소스로부터 상기 제1 햅틱-인에이블형 디바이스로 상기 선택 햅틱 메타데이터를 송신하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 선택 햅틱 메타데이터를 생성하는 것은 지정된 데이터베이스로부터 상기 선택 햅틱 메타데이터를 선택하는 것을 포함하는 방법.
  3. 제1항에 있어서,
    상기 선택 햅틱 메타데이터를 생성하는 것은 상기 오리지널 햅틱 메타데이터를 수정하는 것을 포함하고,
    상기 수정하는 것은 상기 오리지널 햅틱 메타데이터에 추가적인 햅틱 메타데이터를 더하는 것, 상기 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 상기 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경하는 것을 포함하는 방법.
  4. 제1항에 있어서,
    상기 제1 햅틱 재생 능력 정보는 상기 오리지널 햅틱 메타데이터에 대한 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정함으로써 생성되고,
    상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정하는 것은, 상기 오리지널 햅틱 메타데이터에 대응하는 햅틱 트랙의 재생 이전에, 상기 제1 햅틱-인에이블형 디바이스 내에 각자 내장된 소프트웨어를 사용하여 상기 제1 햅틱-인에이블형 디바이스에 대한, (i) 디바이스 타입, 및 (ii) 햅틱 효과들을 생성하도록 구성되는 하드웨어로부터 선택된 적어도 하나를 식별하는 것을 포함하는 방법.
  5. 제1항에 있어서,
    상기 제1 햅틱 재생 능력 정보는 상기 오리지널 햅틱 메타데이터에 대한 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정함으로써 생성되고,
    상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정하는 것은, 상기 오리지널 햅틱 메타데이터에 대응하는 햅틱 트랙의 재생 이전에, 유효화 디바이스를 사용하여 상기 제1 햅틱-인에이블형 디바이스에 대한 (i) 디바이스 타입, 및 (ii) 햅틱 효과들을 생성하도록 구성되는 하드웨어로부터 선택된 적어도 하나를 식별하는 것을 포함하고,
    상기 유효화 디바이스는 상기 제1 햅틱-인에이블형 디바이스에 대해 외부에 있는 방법.
  6. 제1항에 있어서,
    상기 브로드캐스트 신호를 브로드캐스트 하는 것은 서로 상이한 전송 모드들을 통해 상기 복수의 햅틱-인에이블형 디바이스들에 상기 브로드캐스트 신호를 송신하는 것을 포함하고,
    상기 전송 모드들은 케이블, 직접 브로드캐스트 위성, 광섬유 통신 네트워크, OTA(over-the-air) 프로그래밍, 무선 통신 네트워크, 및 라디오 파들로부터 선택되는 방법.
  7. 제1항에 있어서,
    상기 브로드캐스트 신호를 브로드캐스트 하는 것은 제1 미디어 브로드캐스트 스트림을 통해 상기 호스트 소스로부터 상기 복수의 햅틱-인에이블형 디바이스들로 상기 브로드캐스트 신호를 송신하는 것을 포함하고,
    상기 제1 햅틱 재생 능력 정보를 수신하는 것은 상기 제1 미디어 브로드캐스트 스트림을 통해 상기 제1 햅틱 재생 능력 정보를 수신하는 것을 포함하고,
    상기 선택 햅틱 메타데이터를 송신하는 것은 상기 제1 미디어 브로드캐스트 스트림을 통해 상기 제1 햅틱-인에이블형 디바이스에 상기 선택 햅틱 메타데이터를 송신하는 것을 포함하는 방법.
  8. 제1항에 있어서,
    상기 오리지널 햅틱 메타데이터에 의해 인코딩되는 상기 햅틱 정보는 상기 복수의 햅틱-인에이블형 디바이스들 상에서 재생될 햅틱 파라미터(들)의 타입을 특정하는 방법.
  9. 햅틱 브로드캐스트 시스템으로서,
    복수의 햅틱-인에이블형 디바이스들에 브로드캐스트 신호를 브로드캐스트하는 브로드캐스트 네트워크 ― 상기 브로드캐스트 신호는 오리지널 햅틱 메타데이터를 포함함 ― ;
    상기 브로드캐스트 네트워크가 그로부터 상기 오리지널 햅틱 메타데이터를 수신하는 호스트 소스
    를 포함하고, 상기 호스트 소스는
    (i) 상기 오리지널 햅틱 메타데이터가 제1 햅틱 재생 능력 정보와는 호환불가능한 햅틱 정보를 인코딩할 때 상기 복수의 햅틱-인에이블형 디바이스들 중 제1 햅틱-인에이블형 디바이스로부터 제1 햅틱 재생 능력 정보를 수신하고,
    (ii) 상기 제1 햅틱 재생 능력 정보에 대해 커스터마이즈되는 선택 햅틱 메타데이터를 생성하고,
    (iii) 상기 호스트 소스로부터 상기 제1 햅틱-인에이블형 디바이스로 상기 선택 햅틱 메타데이터를 송신하는 햅틱 브로드캐스트 시스템.
  10. 제9항에 있어서,
    상기 선택 햅틱 메타데이터가 그로부터 선택되는 지정된 데이터베이스를 더 포함하는 햅틱 브로드캐스트 시스템.
  11. 제9항에 있어서,
    상기 호스트 소스는 상기 오리지널 햅틱 메타데이터를 수정함으로써 상기 선택 햅틱 메타데이터를 생성하는 선택 햅틱 메타데이터 생성기를 포함하고,
    상기 선택 햅틱 메타데이터 생성기는 상기 오리지널 햅틱 메타데이터에 추가적인 햅틱 메타데이터를 더하는 것, 상기 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 상기 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경하는 것에 의해 상기 오리지널 햅틱 메타데이터를 수정하는 햅틱 브로드캐스트 시스템.
  12. 제9항에 있어서,
    상기 제1 햅틱-인에이블형 디바이스는 (i) 내장된 소프트웨어, 및 (ii) 상기 오리지널 햅틱 메타데이터에 대한 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정함으로써 상기 제1 햅틱 재생 능력 정보를 생성하는 햅틱 재생 능력 생성기를 포함하고,
    상기 햅틱 재생 능력 생성기는, 상기 오리지널 햅틱 메타데이터에 대응하는 햅틱 트랙의 재생 이전에, 상기 제1 햅틱-인에이블형 디바이스 내의 상기 내장된 소프트웨어를 사용하여 상기 제1 햅틱-인에이블형 디바이스에 대한, (i) 디바이스 타입, 및 (ii) 햅틱 효과들을 생성하도록 구성된 하드웨어로부터 선택되는 적어도 하나를 식별함으로써 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정하는 햅틱 브로드캐스트 시스템.
  13. 제9항에 있어서,
    상기 제1 햅틱-인에이블형 디바이스에 외부적으로 접속되는 유효화 디바이스
    를 더 포함하고, 상기 제1 햅틱-인에이블형 디바이스는 상기 오리지널 햅틱 메타데이터에 대한 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정함으로써 상기 제1 햅틱 재생 능력 정보를 생성하는 햅틱 재생 능력 생성기를 포함하고,
    상기 햅틱 재생 능력 생성기는, 상기 오리지널 햅틱 메타데이터에 대응하는 햅틱 트랙의 재생 이전에, 상기 유효화 디바이스를 사용하여 상기 제1 햅틱-인에이블형 디바이스에 대한, (i) 디바이스 타입, 및 (ii) 햅틱 효과들을 생성하도록 구성되는 하드웨어로부터 선택된 적어도 하나를 식별함으로써 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정하는 햅틱 브로드캐스트 시스템.
  14. 제9항에 있어서,
    상기 복수의 햅틱-인에이블형 디바이스는 서로 상이한 전송 모드들을 통해 상기 브로드캐스트 신호를 수신하고,
    상기 전송 모드들은 케이블, 직접 브로드캐스트 위성, 광섬유 통신 네트워크, OTA(over-the-air) 프로그래밍, 무선 통신 네트워크, 및 라디오 파들로부터 선택되는 햅틱 브로드캐스트 시스템.
  15. 제9항에 있어서,
    상기 브로드캐스트 네트워크는 제1 미디어 브로드캐스트 스트림을 통해 상기 복수의 햅틱-인에이블형 디바이스들에 상기 브로드캐스트 신호를 송신함으로써 상기 브로드캐스트 신호를 브로드캐스트하고,
    상기 호스트 소스는 상기 제1 미디어 브로드캐스트 스트림을 통해 상기 제1 햅틱 재생 능력 정보를 수신하고, 상기 제1 미디어 브로드캐스트 스트림을 통해 상기 제1 햅틱-인에이블형 디바이스에 상기 선택 햅틱 메타데이터를 송신하는 햅틱 브로드캐스트 시스템.
  16. 제9항에 있어서,
    상기 오리지널 햅틱 메타데이터에 의해 인코딩되는 상기 햅틱 정보는 상기 복수의 햅틱-인에이블형 디바이스들 상에서 재생될 햅틱 파라미터(들)의 타입을 특정하는 햅틱 브로드캐스트 시스템.
  17. 명령어들을 저장한 비-일시적 컴퓨터-판독가능한 기록 매체로서,
    상기 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서가:
    브로드캐스트 네트워크를 사용하여, 복수의 햅틱-인에이블형 디바이스들에 브로드캐스트 신호를 브로드캐스트하고 ― 상기 브로드캐스트 신호는 호스트 소스로부터 수신되는 오리지널 햅틱 메타데이터를 포함함 ― ;
    호스트 소스에서, 상기 오리지널 햅틱 메타데이터가 제1 햅틱 재생 능력 정보와는 호환불가능한 햅틱 정보를 인코딩할 때 상기 복수의 햅틱-인에이블형 디바이스들 중 제1 햅틱-인에이블형 디바이스로부터 제1 햅틱 재생 능력 정보를 수신하고;
    상기 호스트 소스에서, 상기 제1 햅틱 재생 능력 정보에 대해 커스터마이즈되는 선택 햅틱 메타데이터를 생성하고;
    상기 호스트 소스로부터 상기 제1 햅틱-인에이블형 디바이스로 상기 선택 햅틱 메타데이터를 송신하게 하는 비-일시적 컴퓨터-판독가능한 기록 매체.
  18. 제17항에 있어서,
    상기 선택 햅틱 메타데이터를 생성하는 것은 상기 호스트 소스에서 선택 햅틱 메타데이터 생성기를 사용하여 상기 오리지널 햅틱 메타데이터를 수정하는 것을 포함하고,
    상기 수정하는 것은 상기 오리지널 햅틱 메타데이터에 추가적인 햅틱 메타데이터를 더하는 것, 상기 오리지널 햅틱 메타데이터로부터 사용불가능한 햅틱 메타데이터를 제거하는 것, 또는 상기 오리지널 햅틱 메타데이터의 적어도 하나의 파라미터를 변경하는 것을 포함하는 비-일시적 컴퓨터-판독가능한 기록 매체.
  19. 제17항에 있어서,
    상기 명령어들은 추가로 상기 프로세서가, 상기 제1 햅틱-인에이블형 디바이스 내의 햅틱 재생 능력 생성기를 사용하여 상기 오리지널 햅틱 메타데이터에 대한 상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정함으로써 상기 제1 햅틱 재생 능력 정보를 생성하게 하고,
    상기 제1 햅틱-인에이블형 디바이스의 햅틱 재생 능력을 결정하는 것은, 상기 오리지널 햅틱 메타데이터에 대응하는 햅틱 트랙의 재생 이전에, 상기 제1 햅틱-인에이블형 디바이스 내에 내장된 소프트웨어 또는 상기 제1 햅틱-인에이블형 디바이스에 대해 외부에 있는 유효화 디바이스를 사용하여 상기 제1 햅틱-인에이블형 디바이스에 대한, (i) 디바이스 타입, 및 (ii) 햅틱 효과들을 생성하도록 구성되는 하드웨어로부터 선택된 적어도 하나를 식별하는 것을 포함하는 비-일시적 컴퓨터-판독가능한 기록 매체.
  20. 제17항에 있어서,
    상기 브로드캐스트 네트워크를 사용하여 상기 브로드캐스트 신호를 브로드캐스트 하는 것은 서로 상이한 전송 모드들을 통해 상기 복수의 햅틱-인에이블형 디바이스들에 상기 브로드캐스트 신호를 송신하는 것을 포함하고,
    상기 전송 모드들은 케이블, 직접 브로드캐스트 위성, 광섬유 통신 네트워크, OTA(over-the-air) 프로그래밍, 무선 통신 네트워크, 및 라디오 파들로부터 선택되는 비-일시적 컴퓨터-판독가능한 기록 매체.
KR1020170179398A 2017-02-08 2017-12-26 선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트 KR102417688B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/427,240 US10075251B2 (en) 2017-02-08 2017-02-08 Haptic broadcast with select haptic metadata based on haptic playback capability
US15/427,240 2017-02-08

Publications (2)

Publication Number Publication Date
KR20180092268A KR20180092268A (ko) 2018-08-17
KR102417688B1 true KR102417688B1 (ko) 2022-07-05

Family

ID=61132331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170179398A KR102417688B1 (ko) 2017-02-08 2017-12-26 선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트

Country Status (5)

Country Link
US (3) US10075251B2 (ko)
EP (1) EP3361356A1 (ko)
JP (1) JP2018129035A (ko)
KR (1) KR102417688B1 (ko)
CN (1) CN108399003B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US20200076866A1 (en) * 2018-08-30 2020-03-05 Immersion Corporation Systems, devices, and methods for streaming haptic effects
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
KR102273804B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
KR20210114059A (ko) * 2020-06-30 2021-09-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 비디오 처리 방법, 장치, 전자 기기 및 저장 매체
KR102575318B1 (ko) * 2021-05-07 2023-09-07 포항공과대학교 산학협력단 모션효과제공장치 및 방법
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096327A1 (en) 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411276B1 (en) 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
JP2000035927A (ja) * 1998-07-21 2000-02-02 Murata Mach Ltd 電子メール通信機能付き通信端末装置
JP3385320B2 (ja) * 2001-03-06 2003-03-10 シャープ株式会社 アニメーション再生端末、アニメーションの再生方法、および、そのプログラム
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US9183753B2 (en) * 2007-02-26 2015-11-10 Sony Computer Entertainment America Llc Variation and control of sensory work playback
EP2825934B1 (en) * 2012-03-15 2021-06-30 Nokia Technologies Oy A tactile apparatus link
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9466187B2 (en) 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP3399763A1 (en) 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US9401079B2 (en) * 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096327A1 (en) 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Also Published As

Publication number Publication date
CN108399003B (zh) 2021-11-16
CN108399003A (zh) 2018-08-14
US10075251B2 (en) 2018-09-11
JP2018129035A (ja) 2018-08-16
US20180343075A1 (en) 2018-11-29
US20190319726A1 (en) 2019-10-17
EP3361356A1 (en) 2018-08-15
KR20180092268A (ko) 2018-08-17
US10320501B2 (en) 2019-06-11
US20180227063A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
KR102417688B1 (ko) 선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트
JP6449946B2 (ja) ハプティックトリガ制御システム
US10620706B2 (en) Haptic trigger modification system
US9891710B2 (en) Haptic spatialization system
EP3217255B1 (en) Peripheral device with haptic diminishment prevention component
JP6801838B2 (ja) スローモーションのためのハプティック効果の修正

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant