KR20160146551A - 방송 햅틱 아키텍처 - Google Patents
방송 햅틱 아키텍처 Download PDFInfo
- Publication number
- KR20160146551A KR20160146551A KR1020160071022A KR20160071022A KR20160146551A KR 20160146551 A KR20160146551 A KR 20160146551A KR 1020160071022 A KR1020160071022 A KR 1020160071022A KR 20160071022 A KR20160071022 A KR 20160071022A KR 20160146551 A KR20160146551 A KR 20160146551A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- haptic
- sensor
- end user
- live event
- Prior art date
Links
- 230000000694 effects Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 11
- 239000002131 composite material Substances 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/756—Media network packet handling adapting media to device capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하기 위한 시스템이 개시된다. 레코더는 라이브 이벤트의 비디오 데이터를 레코딩하도록 구성된다. 센서는 라이브 이벤트와 연관된 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로서 출력하도록 구성된다. 변환기는 센서로부터 센서 데이터를 수신하고, 센서 데이터를 라이브 이벤트와 연관된 햅틱 데이터를 포함하는 신호로 변환하도록 구성된다. 최종 사용자 디바이스는 변환기로부터 햅틱 데이터를 수신하도록 구성되고 라이브 이벤트의 비디오 데이터를 수신하도록 구성된다. 최종 사용자 디바이스는 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함하고, 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함한다.
Description
본원의 실시예들은 일반적으로 멀티미디어 콘텐츠 프로세싱 및 프리젠테이션에 관한 것이며, 특히, 햅틱 효과들을 이용한 오디오-비디오 콘텐츠의 향상에 관한 것이다.
일반적으로 비디오 게임 산업에서 사용되는 햅틱 효과들은 사용자 경험을 향상시키고 사용자들에게 가상 환경을 더욱 매력적이게 만드는 촉각적 큐(tactile cue)들을 제공할 수 있다. 예를 들어, 진동 효과들, 또는 진동촉각 햅틱 효과들은 큐들을 전자 디바이스들의 사용자들에게 제공하여 사용자에게 특정 이벤트들을 경고하거나, 또는 실감나는 피드백을 제공하여 시뮬레이트된 환경 또는 가상 환경 내에서 더 큰 감각적 몰입을 생성하는데 유용할 수 있다. 스포츠 이벤트와 같은 라이브 이벤트를 시청하는 데 있어서의 사용자 경험은 라이브 이벤트의 오디오 및 비디오 컴포넌트들에 햅틱 효과들을 더함으로써 향상될 수 있다. 본원의 실시예들은 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하기 위한 아키텍처들에 관한 것이다.
본원의 실시예들은 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하기 위한 시스템에 관한 것이다. 시스템은 레코더, 센서, 변환기 및 최종 사용자 디바이스를 포함한다. 레코더는 라이브 이벤트의 비디오 데이터를 레코딩하도록 구성된다. 센서는 라이브 이벤트와 연관된 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로서 출력하도록 구성된다. 변환기는 센서로부터의 센서 데이터를 수신하고, 센서 데이터를 라이브 이벤트와 연관된 햅틱 데이터를 포함하는 신호로 변환하도록 구성된다. 최종 사용자 디바이스는 변환기로부터 햅틱 데이터를 수신하도록 구성되고, 라이브 이벤트의 비디오 데이터를 수신하도록 구성된다. 최종 사용자 디바이스는 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함하고, 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함한다.
본원의 실시예들은 레코더, 센서, 온사이트 전송국(onsite transmission station), 변환기, 및 최종 사용자 디바이스를 포함하는 시스템에 관한 것이다. 레코더는 라이브 이벤트의 비디오 데이터를 레코딩하도록 구성된다. 센서는 라이브 이벤트와 연관된 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로서 출력하도록 구성된다. 온사이트 전송국은 라이브 이벤트와 온사이트에 위치된다. 온사이트 전송국은 라이브 이벤트의 비디오 데이터를 수신하도록 구성되고, 라이브 이벤트의 비디오 데이터를 프로세싱하기 위한 프로세서를 포함한다. 변환기는 센서로부터 센서 데이터를 수신하고, 센서 데이터를 라이브 이벤트와 연관된 햅틱 데이터를 포함하는 신호로 변환하도록 구성된다. 최종 사용자 디바이스는 변환기로부터 햅틱 데이터를 수신하도록 구성되고, 온사이트 전송국의 프로세서로부터 프로세싱된 비디오 데이터를 수신하도록 구성된다. 최종 사용자 디바이스는 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함하고 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함한다.
본원의 실시예들은 또한 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하는 방법에 관한 것이다. 라이브 이벤트의 비디오 데이터가 레코딩된다. 라이브 이벤트와 연관된 파라미터가 감지되고, 감지된 파라미터는 센서 데이터로서 출력된다. 센서로부터의 센서 데이터가 수신되고, 센서 데이터는 라이브 이벤트와 연관된 햅틱 데이터를 포함하는 신호로 변환된다. 햅틱 데이터는 최종 사용자 디바이스에서 수신된다. 최종 사용자 디바이스는 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함한다. 라이브 이벤트의 비디오 데이터는 최종 사용자 디바이스에서 수신된다. 최종 사용자 디바이스는 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함한다. 적어도 하나의 햅틱 효과가 햅틱 데이터에 기초하여 햅틱 출력 디바이스를 이용하여 생성되고, 비디오 데이터가 디스플레이 상에 디스플레이된다.
발명의 이전 및 다른 특징들은 첨부 도면들에 예시된 바와 같이 본원의 실시예들의 후속하는 기재로부터 명백할 것이다. 본원에 포함되며 명세서의 일부를 형성하는 첨부 도면들은 추가로 발명의 원리들을 설명하며, 관련 기술분야의 통상의 기술자가 발명을 제작하고 사용할 수 있게 하는 역할을 한다. 도면들은 축척에 맞지 않는다.
도 1은 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스로 전달하기 위한 간략화된 흐름도를 예시한다.
도 2는 라이브 이벤트로부터의 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달할 때 이용되는 중요 컴포넌트들(essential component)을 포함하는 더 상세화된 흐름도를 예시하며, 여기서, 프로세싱된 오디오 및/또는 비디오 데이터 및 햅틱 데이터는 별도의 또는 별개의 신호들로서 최종 사용자 디바이스들에 전송된다.
도 3은 본원의 또다른 실시예에 따라 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달할 때 이용되는 필수 컴포넌트들을 포함하는 더 상세화된 흐름도를 예시하며, 여기서, 프로세싱된 오디오 및/또는 비디오 데이터 및 햅틱 데이터는 복합 신호로서 최종 사용자 디바이스들에 전송된다.
도 4는 본원의 실시예에 따른 최종 사용자 디바이스의 블록도이다.
도 5는 본원의 실시예들에서 최종 사용자 디바이스로서 사용될 수 있는 멀티-디바이스 시스템의 블록도이며, 여기서, 멀티-디바이스 시스템은 프라이머리 최종 사용자 디바이스 및 세컨더리 최종 사용자 디바이스를 포함한다.
도 6은 본원의 실시예에 따른 방송 햅틱 아키텍처의 예시이며, 여기서, 햅틱 데이터의 변환은 햅틱 이벤트들의 수동적 삽입을 통해 온사이트 프로세싱 또는 전송국에서 발생한다.
도 7은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이며, 여기서 미가공 센서 데이터(raw sensor data)의 햅틱 데이터로의 변환은 온사이트 프로세싱 또는 전송국 다음에, 그러나 최종 사용자 디바이스들에의 도착 이전에 발생한다.
도 8은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이며, 여기서, 미가공 센서 데이터의 햅틱 데이터로의 변환은 온사이트 프로세싱 또는 전송국 앞에서 또는 온사이트 프로세싱 또는 전송국에서 발생하며, 최종 사용자 디바이스들로의 분배는 중앙 처리 서버를 이용한다.
도 9는 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이고, 여기서, 미가공 센서 데이터의 햅틱 데이터로의 변환은 온사이트 프로세싱 또는 전송국 앞에서 또는 온사이트 프로세싱 또는 전송국에서 발생하며, 최종 사용자 디바이스들로의 분배는 중앙 처리 서버를 이용하지 않는다.
도 10은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이고, 여기서, 미가공 센서 데이터의 햅틱 데이터로의 변환은 센서 자체에서 발생한다.
도 11은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이고, 미가공 센서 데이터의 햅틱 데이터로의 변환은 최종 사용자 디바이스에서 발생한다.
도 1은 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스로 전달하기 위한 간략화된 흐름도를 예시한다.
도 2는 라이브 이벤트로부터의 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달할 때 이용되는 중요 컴포넌트들(essential component)을 포함하는 더 상세화된 흐름도를 예시하며, 여기서, 프로세싱된 오디오 및/또는 비디오 데이터 및 햅틱 데이터는 별도의 또는 별개의 신호들로서 최종 사용자 디바이스들에 전송된다.
도 3은 본원의 또다른 실시예에 따라 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달할 때 이용되는 필수 컴포넌트들을 포함하는 더 상세화된 흐름도를 예시하며, 여기서, 프로세싱된 오디오 및/또는 비디오 데이터 및 햅틱 데이터는 복합 신호로서 최종 사용자 디바이스들에 전송된다.
도 4는 본원의 실시예에 따른 최종 사용자 디바이스의 블록도이다.
도 5는 본원의 실시예들에서 최종 사용자 디바이스로서 사용될 수 있는 멀티-디바이스 시스템의 블록도이며, 여기서, 멀티-디바이스 시스템은 프라이머리 최종 사용자 디바이스 및 세컨더리 최종 사용자 디바이스를 포함한다.
도 6은 본원의 실시예에 따른 방송 햅틱 아키텍처의 예시이며, 여기서, 햅틱 데이터의 변환은 햅틱 이벤트들의 수동적 삽입을 통해 온사이트 프로세싱 또는 전송국에서 발생한다.
도 7은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이며, 여기서 미가공 센서 데이터(raw sensor data)의 햅틱 데이터로의 변환은 온사이트 프로세싱 또는 전송국 다음에, 그러나 최종 사용자 디바이스들에의 도착 이전에 발생한다.
도 8은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이며, 여기서, 미가공 센서 데이터의 햅틱 데이터로의 변환은 온사이트 프로세싱 또는 전송국 앞에서 또는 온사이트 프로세싱 또는 전송국에서 발생하며, 최종 사용자 디바이스들로의 분배는 중앙 처리 서버를 이용한다.
도 9는 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이고, 여기서, 미가공 센서 데이터의 햅틱 데이터로의 변환은 온사이트 프로세싱 또는 전송국 앞에서 또는 온사이트 프로세싱 또는 전송국에서 발생하며, 최종 사용자 디바이스들로의 분배는 중앙 처리 서버를 이용하지 않는다.
도 10은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이고, 여기서, 미가공 센서 데이터의 햅틱 데이터로의 변환은 센서 자체에서 발생한다.
도 11은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처의 예시이고, 미가공 센서 데이터의 햅틱 데이터로의 변환은 최종 사용자 디바이스에서 발생한다.
본 발명의 특정 실시예들이 이제 도면들에 관련하여 기술되며, 여기서 동일한 참조 번호들은 동일한 또는 기능적으로 유사한 엘리먼트들을 나타낸다. 후속하는 상세한 설명은 속성상 단지 예시적이며, 발명 또는 출원 및 발명의 사용들을 제한하도록 의도되지 않는다. 또한, 이전의 기술분야, 배경기술, 발명의 내용, 또는 후속하는 상세한 설명에서 제시되는 임의의 명시된 또는 내포된 이론에 의해 한정되려는(to be bound) 의도가 존재하지 않는다.
본원의 실시예들은 라이브 햅틱 효과들과 함께 라이브 비디오의 시청을 가능하게 하기 위해 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하기 위한 아키텍처들에 관한 것이다. 또다른 방식으로 언급하자면, 본원에 기술된 아키텍처들은 사용자의 경험을 향상시키기 위해 라이브 비디오 및/또는 오디오 방송과 함께 햅틱 데이터를 내장하거나 포함하기에 적합하다. 라이브 이벤트의 비디오를 레코딩하고 동시에 라이브 이벤트의 실시간 양태들을 레코딩하여, 따라서 이벤트의 실시간 양태들이 라이브 비디오와 함께 햅틱 효과들 또는 감각들로서 재생되어, 라이브 비디오를 시청하는 사용자에게 훨씬 더 실감나고 몰입되는 경험을 제공할 수 있는 것이 바람직하다. 장면 내의 오브젝트로부터의 실시간 데이터의 레코딩, 및 그것의 경험을 햅틱방식으로(haptically) 재생하는 것은, 햅틱 효과들을 비디오와 동기화시키려 시도하기 위한 기록 동기화 코드 및 프로그래밍 툴을 이용한 오프라인 상의 예술적 편집과 비교할 때, 경험을 캡처하거나(capture) 재생성하는 더욱 직관적인 방식이다. 또한, 실제 센서 데이터를 레코딩하고 변환하여 햅틱 출력을 생성하는 것은, 햅틱 신호들의 수기 합성(hand-authored synthesis)과 비교할 때 햅틱 콘텐츠를 생성하기 위한 보다 비용-효율적인 방식이다.
더욱 구체적으로는, 도 1의 흐름도(100)와 관련하여, 원격 사용자들에게 방송될 스포츠 이벤트와 같은, 그러나 이에 제한되지 않는, 라이브 이벤트는 단계(102)에서 도시된 바와 같이 오디오, 비디오 및/또는 센서 데이터와 같은 다양한 형태들의 미가공 데이터를 생성한다. 본원에 더 상세하게 기술될 바와 같이, 센서 데이터를 출력하도록 구성되는 센서는 라이브 이벤트에서 이용되는 장비와 연관되거나, 또는 라이브 이벤트에 참여하는 한 명 이상의 선수들과 연관된다. 미가공 데이터, 즉, 미가공 오디오, 비디오 및/또는 센서 데이터는 단계(104)에 도시된 바와 같이 하나 이상의 처리들 또는 프로세싱을 거치고, 따라서, 하나 이상의 최종 디바이스들은 단계(106)에 도시된 바와 같이 센서 데이터로부터 유도된 오디오, 비디오 및/또는 햅틱 데이터를 사용자에게 출력할 수 있다. 본원에서의 실시예들은 라이브 이벤트로부터 최종 사용자 디바이스로 하나 이상의 센서들로부터 유도된 햅틱 데이터를 판독하고, 분석하고 그리고/또는 변환하기 위한 아키텍처에 관한 것이다. 본원에 사용된 바와 같은 햅틱 데이터는 햅틱 정보를 전달하는 데이터를 생성하기 위해 사용되는 또는 햅틱 정보를 전달하는 데이터로 전환되는 센서 데이터를 포함하고, 따라서 햅틱 데이터는 라이브 이벤트에 관한 것이거나 또는 라이브 이벤트와 연관된다. 더욱 특별하게는, 햅틱 데이터는 햅틱 정보를 전달하는 데이터를 생성하기 위해 수동으로 사용되는 센서 데이터(즉, 휴먼 설계자 또는 오퍼레이터에 의해)뿐만 아니라 햅틱 정보를 전달하는 데이터로 자동으로 전환되는 센서 데이터(즉, 하나 이상의 프로세서들을 통한 자동 전환에 의해)를 포함한다. 햅틱 데이터는 햅틱 효과들을 재생하거나 출력하는 햅틱 주변기기의 액추에이터 또는 햅틱 출력 디바이스에 공급되거나 제공되는 제어 신호이다. 햅틱 데이터는 오디오 및/또는 비디오 전송 채널로부터 분리된 또는 독립적인, 독립 채널에서 전송된다. 햅틱 데이터에 대한 독립 채널의 생성은 이식에 있어서 다용성을 제공하고, 필수적으로 오디오 또는 비디오 데이터에 의해서만은 식별될 수 없는 다양한 이벤트들을 구별하며(즉, 햅틱이 오디오 또는 비디오 데이터로부터 직접 생성될 때), 이에 의해 이러한 이벤트들이 햅틱 효과로 전환되거나, 미검출 상태가 되지 않음을 보장한다.
도 2는 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달할 때 이용되는 중요 컴포넌트들을 포함하는 더 상세화된 흐름도(200)를 예시한다. 오디오 및/또는 비디오 레코더(108)는 미가공 오디오 및/또는 비디오 데이터를 캡처하기 위해 라이브 이벤트에 위치되는 반면, 센서(110)는 라이브 이벤트에 위치되며 미가공 센서 데이터를 캡처하기 위해 라이브 이벤트에서 이용되는 장비와 연관된다. 미가공 오디오 및/또는 비디오 데이터를 포함하는 신호(112)는 오디오 및/또는 비디오 레코더(108)로부터 프로세서 또는 인코더(116)로 전송되고, 미가공 센서 데이터를 포함하는 신호(114)는 센서(110)로부터 프로세서 또는 변환기(118)로 전송된다. 프로세서 또는 인코더(116)는 미가공 오디오 및/또는 비디오 데이터를 포함하는 신호(112)를 처리하거나 프로세싱하고, 처리된 또는 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(120)는 각자 프로세서 또는 인코더(116)로부터, 처리된 오디오 및/또는 비디오 데이터를 출력하기 위한 스피커 및/또는 디스플레이(124)를 가지는 최종 사용자 디바이스에 전송되거나 방송된다. 더욱 구체적으로는, 미가공 오디오 및/또는 비디오 데이터의 처리는 자동으로 또는 예를 들어, 피드(feed)의 품질 또는 지연을 제어할 수 있는 그리고/또는 어느 오디오 피드 또는 시청 각도를 방송할지를 선택할 수 있는 휴먼 오퍼레이터를 통해 수동으로 수행될 수 있다. 변환기(118)는 미가공 센서 데이터를 포함하는 신호(114)를 햅틱 데이터로 처리하거나 프로세싱하고, 햅틱 데이터를 포함하는 신호(122)는 변환기(118)로부터 햅틱 데이터를 출력하기 위한 햅틱 출력 디바이스(126)를 가지는 최종 사용자 디바이스로 전송되거나 방송된다. 단계(104)에서, 미가공 오디오 및/또는 비디오 데이터를 포함하는 신호(112)의 처리는 미가공 센서 데이터를 포함하는 신호(114)의 처리와 동시에 또는 동일한 장소에서 수행되도록 요구되지 않는다. 도 6-11의 실시예들과 관련하여 본원에 개시되는 아키텍처들은 미가공 센서 데이터를 포함하는 신호(114)의 처리에 대한 상이한 시간들 및 장소들을 기술한다.
도 2의 실시예에서, 처리된 또는 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(120) 및 햅틱 데이터를 포함하는 신호(122)는 하나 이상의 최종 디바이스들에 전달되는 별도의 또는 별개의 신호들로서 예시된다. 그러나, 도 3에 도시된 본원의 또다른 실시예에서, 프로세싱된 또는 처리된 오디오 및/또는 비디오 데이터뿐만 아니라 햅틱 데이터(즉, 변환기(118)에 의해 처리되거나 프로세싱된 센서 데이터)를 포함하는 복합 신호(328)가 하나 이상의 최종 디바이스들에 전달된다. 복합 신호(328)는 비디오 콘텐츠 또는 데이터, 오디오 콘텐츠 또는 데이터, 및 햅틱 콘텐츠 또는 데이터를 포함하고, 이러한 부분들은 시간적 순서로 인터리빙되어 전달되거나, 또는 이러한 부분들은 무작위로 전달될 수 있지만, 최종 디바이스에 의해 사용자들에게 제시하기 위한 정확한 시간적 순서로의 재-조립을 위해 해석될 수 있는 시퀀싱 정보를 포함한다. 인코더(도시되지 않음)는 햅틱 데이터를 포함하는 신호(122)를 취하여 그것을 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(120)로 인코딩할 수 있다. 인코딩하기 위한 적절한 인코더들 및 방법들은, 참조로 본원에 포함되는, Phan 등에 의한, 미국 특허 출원 공보 제2014/0347177호(출원인 관리 번호 IMM489)에 기술된다. 인코딩은 동영상 전문가 그룹("MPEG")(Moving Picture Experts Group) 컨테이너(container) 내에 전용 트랙의 형태로 또는 기존의 오디오 또는 비디오 스트림들 내의 미사용된/이용되지 않은 스펙트럼 컴포넌트들로서 존재할 수 있다. 인코딩된 스트림은 오버 디 에어("OTA")(over the air) 아날로그 방송, 위성, 인터넷 프로토콜("IP")(Internet Protocol) 네트워크들, 또는 다른 기존의 스포츠 전송 방법들을 통해 원격 뷰어들에게 분배될 수 있다. 처리된 또는 프로세싱된 오디오 및/또는 비디오 데이터 및 햅틱 데이터는, 본원에 기술된 아키텍처 실시예들의 프로세싱 또는 변환 단계들 중 임의의 것의 앞에서 그리고/또는 뒤에서 임의의 형태, 즉, 별도의 또는 별개의 신호들 또는 복합 신호를 취할 수 있다. 다른 방식으로 언급하자면, 햅틱 데이터 및 처리된 또는 프로세싱된 오디오 및/또는 비디오 데이터는 본원에 기술된 임의의 실시예에서 동일한 컨테이너 내에서 함께 인코딩되거나 또는 별도의 피드들로서 피드 또는 전송될 수 있다. 또한, 디코더는 복합 신호로부터 피드들 중 임의의 것(즉, 오디오, 비디오 및 햅틱)을 추출하고, 이후 추출된 피드를 프로세싱하거나 변환하기 위해 본원에 기술된 아키텍처 실시예들의 변환 또는 프로세싱 스테이지들 중 임의의 것에 존재할 수 있다. 프로세싱 또는 변환 이후, 변환된 피드는 별도의 피드로서 방송되거나 또는 인코더의 보조로 복합 신호로 재-인코딩될 수 있다. 추가로, 본원의 임의의 실시예에서, 본원에 기술된 신호들(신호들(112, 114, 120, 122, 및/또는 328)을 포함함)은 메타데이터를 포함할 수 있다. 실시예에서, 메타데이터는 Lacroix 등에 의한 미국 특허 공보 제2008/0223627호(출원인 관리 번호 IMM250)에 기술된 바와 같이 햅틱 효과 및 오디오 및/또는 비디오 데이터의 동기화를 위해 이용될 수 있고, 그리고/또는 Birmbaum 등에 의한 미국 특허 공보 제2013/0311811호(출원인 관리 번호 IMM392)에 기술된 바와 같이 햅틱 효과, 이벤트, 및/또는 햅틱 효과와 이벤트 사이의 연관을 적어도 부분적으로 결정하기 위해 이용될 수 있고, 그리고/또는 Lacroix 등에 의한 미국 공보 제2014/0340209호(출원인 관리 번호 IMM459)에 다른 방식으로 기술된 바와 같이 이용될 수 있으며, 이들 각각은 그 전체가 참조로 본원에 포함된다.
도 2 또는 도 3의 단계(106)에서, 하나 이상의 최종 사용자 디바이스들은 프로세싱된 오디오 및/또는 비디오 데이터 및 햅틱 데이터를 출력하기 위해 이용된다. 다른 방식으로 언급하자면, 하나 이상의 최종 사용자 디바이스들은 방송 스트림, 즉 신호들(120, 122)을 비디오, 오디오 및 햅틱 컴포넌트들로 디코딩하고, 각각의 컴포넌트가 동일한 물리적 최종 사용자 디바이스 또는 상이한 물리적 최종 사용자 디바이스(즉, 비디오를 위한 컴퓨터 또는 텔레비전, 오디오를 위한 스피커 또는 헤드폰, 및 햅틱을 위한 웨어러블 햅틱 주변기기 또는 모바일 디바이스)에 의해 디스플레이되거나 또는 출력될 수 있다.
더욱 구체적으로는, 실시예에서, 단일의 최종 사용자 디바이스는 스피커 및/또는 디스플레이(124)뿐만 아니라 햅틱 출력 디바이스(126)를 포함할 수 있고, 프로세싱된 오디오 및/또는 비디오 데이터뿐만 아니라 햅틱 데이터를 출력하기 위해 이용될 수 있다. 예를 들어, 원격 사용자는 전화 또는 태블릿과 같은 모바일 디바이스 상에서 스포츠 이벤트를 시청하고 있을 수 있다. 이 실시예에서, 셀룰러 또는 Wi-Fi 기술들이 전송을 위해 사용될 수 있고, 시각적, 오디오 및 햅틱 콘텐츠가 동일한 디바이스를 통해 출력될 것이다. 또다른 실시예에서, 사용자는 스타디움 또는 경기장에서 스포츠 이벤트를 라이브로 시청하고 있을 수 있다. 이 실시예에서, 모바일 디바이스는 동일한 위치에서 추가적인 몰입을 제공할 것이며, 게임의 일반적인 분위기 및 설정을 향상시킬 것이다. 모바일 디바이스가 사용자의 손에 쥐어지거나, 또는 사용자의 포켓에 담겨 있는 동안 여전히 햅틱 콘텐츠를 출력할 수 있다.
더욱 구체적으로는, 도 4는 사운드 콘텐츠 또는 데이터를 출력하기 위한 스피커(424A), 비디오 콘텐츠 또는 데이터를 출력하기 위한 디스플레이 스크린(424B) 및 햅틱 콘텐츠 또는 데이터를 출력하기 위한 햅틱 출력 디바이스(426)를 포함하는 단일의 최종 사용자 디바이스(430)의 블록도를 예시한다. 햅틱 효과들을 인지하거나 느끼기 위해, 최종 사용자 디바이스(430)는 사용자에 의해 쥐어지거나, 사용자에게 부착 또는 커플링되거나, 또는 다른 방식으로, 햅틱 또는 촉각 효과들을 사용자에게 전달할 수 있는 표면을 가지는 디바이스이다. 실시예에서, 최종 사용자 디바이스(430)는 모바일 전화, 태블릿 컴퓨터, 게임 디바이스, 개인용 디지털 보조 단말("PDA") 등과 같은 햅틱 효과 렌더링 능력을 포함하는 전자 핸드헬드 디바이스이다. 예를 들어, 최종 사용자 디바이스(430)는 Apple® Ipad®, Kindle® Fire®, 및 Samsung® Galaxy Tab®과 같은, 시장에 널리 공지되어 있으며 이용가능한 태블릿 컴퓨터일 수 있다. 최종 사용자 디바이스(430)에 대한 다른 적절한 디바이스들은 개인용 디지털 보조 단말(PDA), 컴퓨터, 게임 주변기기 및 본 기술분야의 통상의 기술자에게 공지된 다른 디바이스들을 포함하지만, 이에 제한되지 않는다.
도 4의 블록도에 도시된 바와 같이, 최종 사용자 디바이스(430)는 수신기(434), 프로세서(432), 메모리(436), 햅틱 출력 디바이스(426), 디스플레이 스크린(424B), 및 스피커(424A)를 포함한다. 최종 사용자 디바이스(430)는 메모리(436)에 저장되고 프로세서(432)에 의해 실행되는 소프트웨어 애플리케이션을 실행한다. 프로세서(432)는 임의의 타입의 범용 프로세서일 수 있거나, 또는 햅틱 효과 신호들을 제공하기 위해 구체적으로 설계된 프로세서일 수 있다. 메모리(436)는 랜덤 액세스 메모리(RAM) 또는 판독-전용 메모리(ROM)와 같은, 그러나 이에 제한되지 않는, 임의의 타입의 저장 디바이스 또는 컴퓨터-판독가능한 매체일 수 있다. 메모리(436)는 또한 프로세서에 대해 내부에 위치되거나, 또는 내부 및 외부 메모리의 임의의 조합으로 위치될 수 있다. 스피커(424A)는 예를 들어, 최종 사용자 디바이스(430)가 스피커(424A)를 통해 오디오를 출력하는 능력을 가지도록 최종 사용자 디바이스(430) 내에 내장되거나 커플링되는 스피커들일 수 있다. 최종 사용자 디바이스(430)는 또한 디스플레이 스크린(424B)을 통해 비디오를 출력하는 능력을 가진다. 디스플레이 스크린(424B)은 최종 사용자 디바이스(430)에 커플링되거나 또는 본 기술분야의 통상의 기술자에게 공지된 바와 같이, 최종 사용자 디바이스(430) 및 디스플레이 스크린(424B)은 단일 디바이스 내로 결합될 수 있다. 추가로, 이용되는 방송 신호의 타입에 따라, 최종 사용자 디바이스(430)는 인터넷으로부터 스트리밍 신호들을 수신하기 위한 내장형 유선 또는 무선 모뎀(도시되지 않음)을 포함할 수 있다.
동작 시, 최종 사용자 디바이스(430)의 수신기(434)는 햅틱 데이터를 포함하는 신호(122)를 수신하거나 또는 복합 신호(328)를 수신하고 그것의 햅틱 컴포넌트를 인지한다. 복합 신호(328)의 햅틱 컴포넌트 또는 햅틱 데이터를 포함하는 신호(122)는 이후 프로세서(432)에 라우팅되거나 전송된다. 복합 신호(328)의 햅틱 컴포넌트 또는 햅틱 데이터를 포함하는 신호(122)는 예를 들어, 어느 햅틱 효과들이 수행되어야 하는지를 나타내는 커맨드들의 세트 또는 직접 햅틱 효과 스트림을 포함할 수 있다. 복합 신호(328)의 햅틱 컴포넌트 또는 햅틱 데이터를 포함하는 신호(122)를 수신하는 것에 응답하여, 프로세서(432)는 사용자에게 하나 이상의 햅틱 효과들을 제공하거나 출력하도록 햅틱 출력 디바이스(426)에 명령한다. 프로세서(432)는 어느 햅틱 효과들을 햅틱 출력 디바이스(426)에 송신할지 그리고 어떤 순서로 햅틱 효과들을 송신할지를 결정할 수 있다. 예를 들어, 복합 신호(328)의 햅틱 컴포넌트 또는 햅틱 데이터를 포함하는 신호(122)는 전압 크기들 또는 듀레이션(duration)들을 포함할 수 있다. 또다른 예에서, 복합 신호(328)의 햅틱 컴포넌트 또는 햅틱 데이터를 포함하는 신호(122)는 햅틱 출력 디바이스(426)에 의해 출력될 햅틱 효과의 타입(예를 들어, 진동, 덜컹거림(jolt), 디텐트(detent), 팝(pop) 등)과 같은 하이 레벨 커맨드들을 프로세서(432)에 제공할 수 있고, 이에 의해, 프로세서(432)는 출력될 햅틱 효과의 특정한 특성들(예를 들어, 크기, 주파수, 듀레이션 등)에 대해 햅틱 출력 디바이스(426)에 명령한다. 프로세서(432)는 이에 커플링된 메모리(436)로부터 햅틱 효과의 타입, 크기, 주파수, 듀레이션 또는 다른 특성들을 검색할 수 있다. 또다른 실시예에서, 복합 신호(328)의 햅틱 컴포넌트 또는 햅틱 데이터를 포함하는 신호(122)는, 프로세서(432)의 메모리에 이전에 저장된 햅틱 효과에 대응하는 코드 또는 식별 번호를 프로세서(432)에 제공할 수 있다.
햅틱 피드백은 사용자 경험을 향상시킨다. 본원에 사용되는 바와 같이, 운동감각 효과들(예컨대 활성 또는 저항성 햅틱 피드백) 및/또는 촉각 효과들(예컨대, 진동, 질감 및 열)은 집합적으로 "햅틱 피드백" 또는 "햅틱 효과들"로서 공지되어 있다. 다수의 양상(modality)들, 예를 들어, 비디오, 오디오 및 햅틱이 동시에 관여됨에 따라, 집합적 햅틱 효과들(collective haptic effects)은 사용자에게 오디오-비디오 콘텐츠에 대한 더 큰 몰입감(sense of immersion)을 제공한다. 예를 들어, 진동 효과, 또는 진동촉각 햅틱 효과들은 사용자에게 특정 이벤트들을 경고하기 위한 큐들을 사용자들에게 제공하거나, 또는 시뮬레이트된 또는 가상 환경 내에서 더 큰 감각적 몰입도를 생성하기 위한 실감나는 피드백을 제공하는 데 있어서 유용할 수 있다. 최종 사용자 디바이스(430)의 프로세서(432)는 햅틱 데이터를 렌더링하는 최종 사용자 디바이스(430)의 특정 타입에 대해 최적화하도록 햅틱 데이터를 추가로 조정하거나 동조시키는 소프트웨어 알고리즘을 실행하고 있을 수 있다.
햅틱 출력 디바이스(426)에 의해 제공되는 햅틱 효과들은 디텐트 또는 진동과 같은 과도 효과들을 포함할 수 있지만 이에 제한되지 않는다. 햅틱 출력 디바이스(426)는 물리적 및/또는 비-물리적 액추에이터일 수 있다. 가능한 물리적 액추에이터들은 이심 질량이 모터에 의해 움직이는 이심 회전 질량("ERM")(eccentric rotating mass) 액추에이터들, 스프링에 부착되는 질량이 앞뒤로 구동되는 선형 공진 액추에이터("LRA")(linear resonant actuator)들, 압전 액추에이터들, 이심 질량이 모터에 의해 움직이는 전자기 모터들, 진동촉각 액추에이터들, 관성 액추에이터들, 또는 다른 적절한 타입들의 액추에이팅 디바이스들을 포함하지만 이에 제한되지 않는다. 가능한 비-물리적 액추에이터들은 정전기 마찰(ESF), 초음파 표면 마찰(USF) 및 다른 비-물리적 액추에이터들을 포함하지만 이에 제한되지 않는다. 또다른 실시예에서, 햅틱 출력 디바이스(들)(426)는 예를 들어, 최종 사용자 디바이스(430)의 경도(stiffness)/댐핑을 변경시키기 위한 솔레노이드, 하우징의 크기를 변경하는 소형 에어백들, 또는 형상 변경 물질들을 포함하는 운동감각 햅틱 피드백을 사용할 수 있다.
햅틱 출력 디바이스(426)에 의해 출력되는 햅틱 효과는 가변 진동 정도, 가변 디텐트 정도, 또는 다른 타입들의 햅틱 효과들을 포함할 수 있지만 이에 제한되지 않는다. 최종 사용자 디바이스가 다수의 햅틱 액추에이터들을 포함하는 경우, 프로세서(432)는 어느 햅틱 액추에이터에서 각각의 햅틱 효과가 실행되어 사용자에게 제공될지를 결정할 수 있다. 이러한 실시예에서, 하이 레벨 햅틱 파라미터들 또는 스트리밍 값들이 최종 사용자 디바이스의 메모리에 저장되는 소프트웨어 코드에서 생성된다. 파라미터들 또는 값들은 프로세서에 의해 프로세싱되고 각각의 햅틱 액추에이터에 대한 적절한 전압 레벨이 이에 의해 생성된다. 이는 최종 사용자 디바이스가 적절한 햅틱 효과들을 사용자에게 제공하여, 각각의 햅틱 출력 디바이스(426)에 대해 생성되는 상이한 전압 레벨들을 통해 햅틱 효과들의 양 또는 타입을 변경하도록 한다.
또다른 실시예에서, 최종 사용자 디바이스(430)는 사용자에게 커플링되거나 인접하게 위치되도록 구성되는 웨어러블 햅틱 주변 기기일 수 있다. 예를 들어, 최종 사용자 디바이스(430)는 스피커(424A) 또는 디스플레이 스크린(424B)을 포함하도록 요구되는 것이 아니라, 오히려, 사용자의 신체에 부착되거나 또는 사용자에게 인접하게 위치된 옷 또는 가구에 부착되어, 웨어러블 햅틱 주변기기의 햅틱 출력 디바이스(들)가 사용자의 관련된 신체 부분(즉, 펀치가 가해지는 신체 부분)에 햅틱 효과들을 전달할 수 있도록 구성될 수 있다.
도 5에 도시된 또다른 실시예에서, 멀티-디바이스 시스템(538)은 프로세싱된 오디오 및/또는 비디오 데이터를 출력하기 위한 텔레비전과 같은 프라이머리 최종 사용자 디바이스(540) 및 햅틱 데이터를 출력하기 위한 세컨더리 최종 사용자 디바이스(530)를 포함한다. 예를 들어, 사용자는 또한 대형 스크린 텔레비전 또는 프라이머리 최종 사용자 디바이스(540) 상에서 스포츠 이벤트를 시청하지만, 전화기, 태블릿, 또는 리모컨(remote control)과 같은 세컨더리 최종 사용자 디바이스(530)를 "제2 스크린"으로서 사용할 수도 있다. 스포츠 이벤트 동안, 제2 스크린 디바이스들이 점점 더 많이 사용되어 스포츠 통계 또는 광고와 같은, 이벤트에 관한 메타데이터 또는 확장된 정보를 본다. 이 실시예에서, 비디오 및/또는 오디오 데이터 또는 콘텐츠가 프라이머리 최종 사용자 디바이스(540)의 대형 스크린 상에서 주로 소모되지만, 햅틱 데이터 또는 콘텐츠는 세컨더리 최종 사용자 디바이스(530)를 이용하여 경험될 수 있다. 세컨더리 최종 사용자 디바이스(530)는 사용자의 손에 쥐어지거나 사용자의 포켓에 담겨 있는 동안 여전히 햅틱 콘텐츠를 출력할 수 있다. 멀티-디바이스 시스템들에 대한 다양한 아키텍처들은 Lacroix 등에 의한, Second Screen Haptics라는 명칭으로 그 전체가 참조로 본원에 포함되는, 미국 특허 가특허 출원 제62/021,663호(출원인 관리 번호 IMM533P)에 기술된다.
프라이머리 최종 사용자 디바이스(540)는 프로세싱된 오디오 및/또는 비디오 데이터 또는 복합 신호(328)의 오디오 및/또는 비디오 컴포넌트들을 포함하는 신호(120)를 출력하도록 구성되는 텔레비전 또는 TV와 같은 오디오-비디오 디스플레이 디바이스이다. 도 5의 블록도 상에 도시된 바와 같이, 프라이머리 최종 사용자 디바이스(540)는 수신기(542), 스피커(524D) 및 디스플레이 스크린(524C)을 포함한다. 수신기(542)는 프로세싱된 오디오 및/또는 비디오 데이터 또는 복합 신호(328)의 오디오 및/또는 비디오 컴포넌트들을 포함하는 신호(120)를 수신하여, 그 신호를 이미지 및 사운드로 프로세싱될 수 있는 전기 신호들로 바꾼다. 스피커(524D)는 예를 들어, 프라이머리 최종 사용자 디바이스(540)에 내장되거나 커플링되어 전기 신호들을 음파들로 바꾸어 오디오를 비디오 이미지들과 함께 재생할 수 있다. 따라서 프라이머리 최종 사용자 디바이스(540)는 스피커(524D)를 통해 오디오를 출력한다. 디스플레이 스크린(524C)은 전기 신호들을 가시광으로 바꾸도록 구성되고, 사용자에게 비디오를 출력하는 임의의 타입의 매체일 수 있으며; 이는 모니터, 텔레비전 스크린, 플라즈마, LCD, 프로젝터, 또는 임의의 다른 디스플레이 디바이스들을 포함하지만 이에 제한되지 않는다. 따라서, 프라이머리 최종 사용자 디바이스(540)는 디스플레이 스크린(524C)을 통해 비디오를 출력한다. TV가 아닌 오디오-비디오 디스플레이 디바이스들은 스마트폰, 게임 콘솔, 개인 디지털 전자수첩, 노트북 컴퓨터 및 그것에 커플링된 디스플레이 스크린을 가지는 다른 타입들의 컴퓨터를 포함하지만 이에 제한되지 않는, 프라이머리 최종 사용자 디바이스(540)로서 사용될 수 있다. 이용되는 방송 신호의 타입에 따라, 프라이머리 최종 사용자 디바이스(540)는 인터넷으로부터 스트리밍 신호들을 수신하기 위한 내장형 유선 또는 무선 모뎀(도시되지 않음)을 포함할 수 있다. 전술된 프라이머리 최종 사용자 디바이스(540)가 각자 오디오 및 비디오 콘텐츠를 출력하기 위한 디스플레이 스크린 및 사운드 디바이스를 포함하지만, 프라이머리 최종 사용자 디바이스는 대안적으로 오디오 콘텐츠(예를 들어, 비디오 콘텐츠가 없는 음악)만을 출력할 수 있거나, 또는 대안적으로 비디오 콘텐츠(예를 들어, 오디오 콘텐츠가 없는 무성 영화)만을 출력할 수 있다.
도 5의 블록도 상에 도시된 바와 같이, 세컨더리 최종 사용자 디바이스(530)는 최종 사용자 디바이스(430)와 유사하며, 수신기(534), 프로세서(532), 메모리(536), 햅틱 출력 디바이스(526), 디스플레이 스크린(524B) 및 스피커(524A)를 포함한다. 세컨더리 최종 사용자 디바이스(530)는 메모리(536)에 저장되며 프로세서(532)에 의해 실행되는 소프트웨어 애플리케이션을 실행한다. 프로세서(532)는 임의의 타입의 범용 프로세서일 수 있거나, 또는 햅틱 효과 신호들을 제공하도록 구체적으로 설계된 프로세서일 수 있다. 메모리(536)는 랜덤 액세스 메모리(RAM) 또는 판독-전용 메모리(ROM)와 같은, 그러나 이에 제한되지 않는, 임의의 타입의 저장 디바이스 또는 컴퓨터-판독가능한 매체일 수 있다. 메모리(536)는 또한 프로세서에 대해 내부에 위치되거나, 또는 내부 및 외부 메모리의 임의의 조합으로 위치될 수 있다. 스피커(524A)는, 예를 들어, 세컨더리 최종 사용자 디바이스(530)에 내장되거나 이에 커플링되는 스피커 또는 헤드폰일 수 있으며, 따라서, 세컨더리 최종 사용자 디바이스(530)는 스피커(524A)를 통해 오디오를 출력하는 능력을 가진다. 세컨더리 최종 사용자 디바이스(530)는 또한 디스플레이 스크린(524B)을 통해 비디오를 출력하는 능력을 가진다. 추가로, 이용되는 방송 신호의 타입에 따라, 세컨더리 최종 사용자 디바이스(530)는 인터넷으로부터 스트리밍 신호들을 수신하기 위한 내장형 유선 또는 무선 모뎀(도시되지 않음)을 포함할 수 있다. 본원에 기술된 세컨더리 최종 사용자 디바이스(530)가 오디오 및/또는 비디오 콘텐츠를 선택적으로 출력하기 위한 디스플레이 스크린 및/또는 사운드 디바이스를 포함할 수 있지만, 세컨더리 최종 사용자 디바이스는 이러한 컴포넌트들 및 기능성들을 가지도록 요구되지 않는다. 예를 들어, 햅틱 출력에 더하여, 세컨더리 디바이스는 비디오 출력을 가질 수 있고, 오디오 출력을 가질 수 있고, 비디오 및 오디오 출력 모두를 가질 수 있거나, 또는 비디오 또는 오디오 출력 어느 것도 가지지 않을 수 있다.
멀티-디바이스 시스템(538)은 세컨더리 최종 사용자 디바이스(530) 상에 출력되는 햅틱 콘텐츠 및 프라이머리 최종 사용자 디바이스(540) 상에 출력되는 오디오-비디오 콘텐츠의 동기화를 보장하기 위한 수단을 포함할 수 있다. 예를 들어, 프라이머리 최종 사용자 디바이스(540) 및 세컨더리 최종 사용자 디바이스(530)는 각자의 디바이스들 상에 출력되는 콘텐츠의 동기화를 보장하기 위해 서로 직접 통신할 수 있다. 재생 로케이터 신호(548)는 프라이머리 최종 사용자 디바이스(540)와 세컨더리 최종 사용자 디바이스(530) 사이에 통신되고, 신호들(120, 122) 또는 복합 신호(328)에 대한 시간적 기준점을 결정하도록 기능할 수 있다. 시간적 기준점은 예를 들어, 시간-코드, 카운터, 소모되는 미디어 재생의 초 수, 미디어 파일에서의 현재 시간적 재생 위치, 또는 재생 위치의 임의의 다른 표시일 수 있다. 프라이머리 최종 사용자 디바이스(540)의 재생 로케이터(546)는 세컨더리 최종 사용자 디바이스(530)의 재생 로케이터(544)에 가끔 재생 위치를 통신하거나, 또는 그 역으로 수행하여, 프라이머리 최종 사용자 디바이스(540) 상에서 출력되는 신호(328)의 오디오 및/또는 비디오 컴포넌트 또는 신호(120)가, 세컨더리 최종 사용자 디바이스(530) 상에서 출력되는 신호(328)의 햅틱 컴포넌트 또는 신호(122)와 충분히 동기화된 방식으로 렌더링된다.
이전에 언급된 바와 같이, 도 6-11의 실시예들에 관해 본원에 개시되는 아키텍처들은 미가공 센서 데이터를 포함하는 신호(114)의 햅틱 데이터로의 처리를 위한 상이한 시간들 및 장소들을 기술한다. 또다른 방식으로 언급하자면, 도 6-11의 실시예들에 관해 본원에 개시되는 아키텍처들은, 라이브 이벤트 위치로부터 최종 사용자 디바이스까지 발생하는 분배 체인을 따르는 스테이지에서, 미가공 센서 데이터를 가지는 신호(114)의, 햅틱 데이터를 가지는 신호(122)로의 또는 복합 신호(328)의 햅틱 컴포넌트로의 변환을 기술한다.
도 6은 본원의 실시예에 따른 방송 햅틱 아키텍처(650)를 예시한다. 이 실시예에서, 햅틱 데이터로의 처리 또는 변환, 즉, 도 2 또는 도 3의 변환기(118)는, 온사이트 프로세싱 또는 전송국(652)에서 발생한다. 본원에서 사용되는 바와 같은 "프로세싱 또는 전송국"은 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호들을 프로세싱하기 위한 라이브 이벤트들에서 온사이트에 위치되거나 존재하는 프로세싱 설비를 지칭한다.
방송 햅틱 아키텍처(650)에서, 오디오-비디오 레코더(608)는 라이브 이벤트에서 라이브 오디오 및 비디오 데이터를 레코딩한다. 더욱 구체적으로는, 오디오-비디오 레코더(608)는 비디오 캠코더, 스마트폰 등과 같은, 그러나 이에 제한되지 않는, 비디오 데이터로서 이미지들을 레코딩하거나 캡처하고 오디오 데이터로서 사운드를 레코딩하거나 캡처하도록 구성되는 레코딩 디바이스이다. 본원에 기술되는 임의의 아키텍처 실시예에서, 장면 또는 이벤트의 비디오 및 오디오는 별도로 캡처되거나 레코딩될 수 있고(즉, 오디오 및 비디오 능력들은 별도의 또는 상이한 디바이스들 상에 존재할 수 있음), 또는 비디오만이 캡처되거나 레코딩될 수 있고, 또는 오디오만이 캡처되거나 레코딩될 수 있다. 또한, 본원에 기술되는 임의의 아키텍처 실시예에서, 오디오-비디오 레코더는 다수의 비디오 및/또는 오디오 피드들에 대해 다수의 비디오 및/또는 오디오 레코딩 디바이스들의 시스템을 포함할 수 있다. 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(612)가 온사이트 프로세싱 또는 전송국(652)에 전송된다. 미가공 오디오 및/또는 비디오 데이터를 검토 또는 프로세싱하여 그것의 콘텐츠가 방송을 위해 적합한지 또는 적절한지를 결정하기 위해, 라이브 신호(612)가 온사이트 프로세싱 또는 전송국(652)으로부터 방송되기 이전에, 버퍼링 기간, 예를 들어, 7초가 존재한다. 이 실시예에서, 휴먼 오퍼레이터는 온사이트 프로세싱 또는 전송국(652)에서 라이브 신호(612)를 보고, 삽입(654)에 의해 표현된 바와 같이 버퍼 기간 내에 수동으로 햅틱 효과들을 삽입한다. 또다른 방식으로 언급하자면, 휴먼 오퍼레이터는 버퍼 기간 또는 규정된(mandated) 방송 지연 동안 공지된 햅틱 효과 저작 툴들을 이용하여 햅틱 효과들을 만들어낸다(author). 햅틱 효과의 수동적 삽입에 의해, 라이브 이벤트에서 스마트 장비 또는 센서들에 대한 필요가 없다. 오히려, 휴먼 오퍼레이터는 대응하는 이벤트들을 가지는 미리 결정된 또는 연관된 햅틱 효과들을 삽입하거나 포함시킨다. 예로서, 라이브 이벤트는 복싱 경기일 수 있고, 오퍼레이터는 온사이트 프로세싱 또는 전송국(652)으로부터 경기를 시청한다. 오퍼레이터가 헤드 펀치를 목격할 때, 그 사람은 전송 스트림에서 미리 결정된 또는 연관된 헤드 펀치 햅틱 효과들을 삽입한다. 또다른 예로서, 라이브 이벤트는 테니스 경기일 수 있고, 오퍼레이터는 온사이트 프로세싱 또는 전송국(652)으로부터 경기를 시청한다. 오퍼레이터가 선수가 공을 치는 것을 목격할 때, 그 사람은 전송 스트림에 미리 결정된 또는 연관된 공 접촉 햅틱 효과들을 삽입한다.
미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(612)가 온사이트 프로세싱 또는 전송국(652)에서 프로세싱되거나 검토되고, 그리고 삽입(654)이 발생하여 햅틱 효과들이 전송 스트림 내에 내장된 이후, 프로세싱된 오디오 및/또는 비디오 데이터 및 내장된 햅틱 데이터 모두를 가지는 복합 신호(628)가 방송국(656)에 전송된다. 방송국(656)은 이후 프로세싱된 오디오 및/또는 비디오 데이터 및 내장된 햅틱 데이터 모두를 가지는 복합 신호(628)를 하나 이상의 최종 사용자 디바이스들(430)로 전송한다. 도 6에 도시된 바와 같이, 복합 신호(628)는 다수의 디바이스들에 전송될 수 있고, 최종 사용자 디바이스들 및 따라서 최종 사용자 디바이스들(430)은 최종 사용자 디바이스(4301), 최종 사용자 디바이스(4302), 및 최종 사용자 디바이스(430N)로서 도시된다. 단일의 물리적 최종 사용자 디바이스(430)에 그것의 비디오, 오디오 및 햅틱 컴포넌트들의 출력을 위해 전송되는 것으로서 도시되지만, 복합 신호(628)는 대안적으로 본원에 도시되는 멀티-디바이스 시스템(538)과 같은 멀티-디바이스 시스템에 전송될 수 있다. 그것의 또다른 실시예에서, 수동적으로 삽입된 햅틱 효과들은 별개의 또는 별도의 신호로서 최종 사용자 디바이스들(430)에 전송된다.
전술된 바와 같이, 방송 햅틱 아키텍처(650)는 햅틱 효과의 수동 삽입으로 인해 라이브 이벤트에서 스마트 장비 또는 센서들을 요구하지 않는다. 그러나, 본원의 또다른 실시예에서, 하나 이상의 센서들(도시되지 않음)은 라이브 이벤트에서 센서 데이터를 레코딩하고, 휴먼 오퍼레이터는 온사이트 프로세싱 또는 전송국(652)에서 센서 데이터를 수신한다. 삽입(654)에 의해 표현된 바와 같이 수동으로 삽입된 햅틱 효과들은 미가공 오디오 및/또는 비디오 데이터를 포함하는 센서 데이터 및/또는 라이브 신호(612)에 기초할 수 있다. 따라서, 이 실시예에서, 센서 데이터가 캡처되어, 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(612)와 함께 온사이트 프로세싱 또는 전송국(652)에 전송된다. 이 실시예에서 이용될 예시적인 센서들 및 감지된 데이터는 방송 햅틱 아키텍처(750) 및 센서(710)에 관련하여 본원에 기술된다.
도 7은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처(750)를 예시한다. 이 실시예에서, 햅틱 데이터로의 처리 또는 변환, 즉, 도 2 또는 도 3의 변환기(118)는 온사이트 프로세싱 또는 전송국(752)에서 오디오 및/또는 비디오 데이터의 프로세싱 이후에, 그러나 최종 사용자 디바이스들(430)에서의 도착 이전에 발생한다. 또다른 방식으로 언급하자면, 햅틱 데이터로의 처리 또는 변환은 라이브 이벤트로부터 그리고 최종 사용자 디바이스로부터 원격에 위치된 오프사이트 프로세서 상에서 수행된다.
방송 햅틱 아키텍처(750)에서, 오디오-비디오 레코더(708)는 라이브 이벤트에서 라이브 오디오 및 비디오 데이터를 레코딩하고, 센서(710)는 라이브 이벤트에서 센서 데이터를 레코딩한다. 본원에 기술된 임의의 아키텍처 실시예에서, 센서는 다수의 센서 피드들에 대한 다수의 센서들의 시스템일 수 있다(즉, 단일 센서로서 기술되지만, 다수의 센서들이 이용될 수 있다). 넓게 언급하자면, 센서(710)는 라이브 이벤트와 연관된 오브젝트, 장비, 또는 사람을 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되는 센서이다. 실시예에서, 센서(710)는 복싱 글러브, 축구공, 테니스 라켓, 헬멧, 또는 다른 타입의 스포츠 이벤트 관련 항목들과 같은, 라이브 이벤트에서 이용되는 장비(760)의 일부에 커플링되거나 부착되며, 센서(710)는 오브젝트의 움직임 또는 속도를 감지하고 감지된 움직임을 센서 데이터로 전환하도록 구성된다. 센서(710)는 가속도계, 자이로스코프, 접촉 압력 센서, 글로벌 포지셔닝 시스템("GPS")(Global Positioning System) 센서, 회전 속도 센서, 또는 가속도, 경사, 관성, 움직임, 또는 위치에서의 변경들을 검출하도록 구성되는 일부 다른 타입의 센서일 수 있다. 본원의 또다른 실시예에서, 센서(710)는 라이브 이벤트에 참가하는 한 명 이상의 선수들과 연관되며, 생리학적 신호(즉, 혈량) 센서일 수 있다. 본원에서 사용되는 바와 같은 생리학적 신호들은 또한 선수의 감정 상태로 바뀔 수 있는(translate) 선수의 물리적 또는 생물학적 상태를 기술하는 임의의 신호들을 포함한다. 예를 들어, 생리학적 신호들은 피층 전도 반응, 혈압, 체온에 관련된 신호들, ECG 신호들, EMG 신호들 및/또는 EEG 신호들을 포함하지만, 이에 제한되지 않는다. 또다른 실시예에서, 센서(710)는 라이브 이벤트와 연관된 오브젝트 또는 장비의 또다른 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되지만, 오브젝트 또는 장비에 커플링되도록 요구되지 않는다. 예를 들어, 센서(710)는 햅틱 효과들로 전환될 특정 오디오 및/또는 비디오 신호 또는 피드를 레코딩하도록 구성될 수 있다. 예를 들어, 센서(710)는 햅틱 효과들로 바뀔 수 있는 특정 잡음(즉, 엔진 잡음)을 캡처하기 위한 전용 마이크로폰일 수 있다. 오디오-비디오 레코더(708)로부터의 신호들과는 달리, 센서(710)로부터 오디오 및/또는 비디오 신호들이 방송되지 않으며, 시각적 및 청각적 피드백을 전달하기 위해 사용되는 것이 아니라, 햅틱 목적으로만 사용된다.
이 실시예에서, 미가공 데이터(즉, 미가공 비디오, 오디오 및 센서 데이터) 모두는 그것의 프로세싱 또는 변환을 위해 한번에 모두 원격 또는 오프사이트 위치에 동시에 전달된다. 더욱 구체적으로는, 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(712)는 온사이트 프로세싱 또는 전송국(752)에 전송되고, 미가공 센서 데이터를 포함하는 라이브 신호(712)는 또한 온사이트 프로세싱 또는 전송국(752)에 전송된다. 임의의 프로세싱을 수행하지 않고, 온사이트 프로세싱 또는 전송국(752)은 각자, 미가공 오디오 및/또는 비디오 데이터 및 미가공 센서 데이터를 가지는 라이브 신호들(712 및 714)을, 방송국(756)에 전송한다. 방송국(756)은 이후, 각자, 미가공 오디오 및/또는 비디오 데이터 및 미가공 센서 데이터를 가지는 라이브 신호들(712 및 714)을 로컬 또는 지역 처리국(local or regional treatment station)(758)에 전송한다. 로컬 또는 지역 처리국(758)은 미가공 오디오 및/또는 비디오 데이터를 리뷰하거나 프로세싱하여 그것의 콘텐츠가 방송을 위해 적합하거나 적절함을 결정하기 위한 프로세서, 즉, 도 2 또는 도 3의 프로세서 또는 인코더(116)를 포함하고, 센서(710)로부터의 미가공 데이터를 햅틱 데이터로 변환하기 위한 프로세서 또는 변환기, 즉, 도 2 또는 3의 변환기(118)를 또한 포함한다. 로컬 또는 지역 처리국(758)은 라이브 이벤트로부터 그리고 최종 사용자 디바이스로부터 원격이다. 본원의 또다른 실시예에서, 온사이트 프로세싱 또는 전송국(752)은, 미가공 센서 데이터를 포함하는 라이브 신호(714)가 전술된 바와 같이 로컬 또는 지역 처리국(758)에서 프로세싱되거나 처리되는 동안, 라이브 신호(712)의 미가공 오디오 및/또는 비디오 데이터를 검토 또는 프로세싱하여 그것의 콘텐츠가 방송을 위해 적절하거나 또는 적합함을 결정하기 위한 프로세서, 즉, 도 2 또는 3의 프로세서 또는 인코더(116)를 포함한다.
실시예에서, 센서(710)로부터의 미가공 데이터는, 이벤트의 타입 및 힘 또는 강도와 같은 수반하는 센서 정보에 따라, 햅틱 이벤트 검출 또는 식별을 포함하는 햅틱 데이터로 변환된다. 센서(710)로부터의 미가공 데이터는, 그 전체가 참조로 본원에 포함되는, Saboune 등에 의한 미국 특허 출원 공보 제2015/0054727호(출원인 관리 번호 IMM450)에서 더 상세하게 기술되는 바와 같이, n(입력들)으로부터 m(출력들)으로 표현되는 햅틱 이벤트 검출들 또는 식별들로 전환된다. 재생될 햅틱 효과의 위치, 강도 및 속성은 햅틱 이벤트 식별들의 특성들에 대해 상대적일 수 있다. 예를 들어, 녹아웃 히트(knockout hit)는 강한 범프로 바뀔 수 있는 반면, 잘못된 킥은 약한 진동에 의해 표현될 수 있다. 미가공 센서 데이터를 햅틱 데이터 또는 커맨드들로서 전환시키거나 변환시키기 위한 다른 프로세싱 기법들이 이용될 수 있는데, 이는 진동, 표면 마찰 변조, 피부 꼬집기, 피부 짜기 등을 포함하지만 이에 제한되지 않는다. 예를 들어, Lacroix 등에 의한 미국 특허 출원 공보 제2014/0205260호(출원인 관리 번호 IMM439) 및 Saboune 등에 의한 미국 특허 가특허 출원 제61/968,799호(출원인 관리 번호 IMM520P)는, 각각이 그 전체가 참조로 본원에 포함되며, 감지 데이터를 햅틱 효과들로 전환시키기 위한 시스템들 및 방법들을 기술한다.
로컬 또는 지역 처리국(758)이 신호들(712, 714)로부터 미가공 데이터 모두를 검토하거나 프로세싱한 이후, 로컬 또는 지역 처리국(758)은 최종 사용자 디바이스들(430)을 가지는 그것의 로컬 가입자들에게 햅틱화된(haptified) 라이브 이벤트들을 전송한다. 도 7에 도시된 바와 같이, 로컬 또는 지역 처리국(758)은 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(720) 및 햅틱 데이터를 가지는 신호(722)를 포함하는 2개의 별도의 또는 별개의 신호들을 동시에 전송할 수 있다. 또다른 실시예에서, 로컬 또는 지역 처리국(758)은 햅틱 데이터를 포함하는 신호(722)를 취하여 그것을 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(720)로 인코딩하여, 도 3에 대해 전술된 바와 같이 프로세싱된 오디오 및/또는 비디오 데이터뿐만 아니라 하나 이상의 최종 디바이스들에 전달되는 햅틱 데이터를 포함하는 복합 신호를 형성하기 위한 인코더(도시되지 않음)를 더 포함할 수 있다. 도 7에 도시된 바와 같이, 신호들(720, 722)은 다수의 디바이스들에 전송될 수 있고, 최종 사용자 디바이스들 및 따라서 최종 사용자 디바이스들(430)은 최종 사용자 디바이스(4301), 최종 사용자 디바이스(4302), 및 최종 사용자 디바이스(430N)로서 도시된다. 그것의 비디오, 오디오 및 햅틱 컴포넌트들의 출력을 위해 단일의 물리적 최종 사용자 디바이스(430)에 전송되는 것으로서 도시되지만, 신호들(720, 722)은 대안적으로 본원에 기술된 멀티-디바이스 시스템(538)과 같은 멀티-디바이스 시스템에 전송될 수 있다.
방송 햅틱 아키텍처(750)의 예로서, 라이브 이벤트는 미가공 센서 데이터를 포함하는 신호들을 증폭기들(도시되지 않음)을 통해 온사이트 프로세싱 또는 전송국(752)에 전송하는 센서들(710)이 구비된 축구공을 이용하는 축구 게임이다. 온사이트 프로세싱 또는 전송국(752)은 미가공 오디오/비디오/센서 신호들을 다수의 로컬 또는 지역 처리국들(758)에 전송한다. 로컬 또는 지역 처리국들(758)은 모든 정보를 프로세싱하고, 햅틱화된 라이브 이벤트를 최종 사용자 디바이스들(430)에 전송한다.
도 8은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처(850)를 예시한다. 이 실시예에서, 햅틱 데이터로의 처리 또는 변환, 즉, 도 2 또는 도 3의 변환기(118)는 온사이트 프로세싱 또는 전송국(852)에서 오디오 및/또는 비디오 데이터의 프로세싱 이전에 또는 오디오 및/또는 비디오 데이터의 프로세싱과 동시에 발생한다.
방송 햅틱 아키텍처(850)에서, 오디오-비디오 레코더(808)는 라이브 이벤트에서 라이브 오디오 및 비디오 데이터를 레코딩하고, 센서(810)는 라이브 이벤트에서 센서 데이터를 레코딩한다. 센서(710)와 유사하게, 센서(810)는 라이브 이벤트와 연관된 오브젝트, 장비, 또는 사람의 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되는 센서이다. 실시예에서, 센서(810)는 복싱 글러브, 축구공, 테니스 라켓, 헬멧, 또는 다른 타입의 스포츠 이벤트 관련 항목들과 같은, 라이브 이벤트에서 이용되는 장비(860)의 일부에 커플링되거나 부착되며, 센서(810)는 오브젝트의 움직임 또는 속도를 감지하고, 감지된 움직임을 센서 데이터로 전환하도록 구성된다. 센서(810)는 가속도계, 자이로스코프, 접촉 압력 센서, 글로벌 포지셔닝 시스템("GPS")(Global Positioning System) 센서, 회전 속도 센서, 또는 가속도, 경사, 관성, 움직임 또는 위치에서의 변경들을 검출하도록 구성되는 일부 다른 타입의 센서일 수 있다. 본원의 또다른 실시예에서, 센서(810)는 라이브 이벤트에 참가하는 한 명 이상의 선수들과 연관되며, 생리학적 신호(즉, 혈량) 센서일 수 있다. 또다른 실시예에서, 센서(810)는 라이브 이벤트와 연관된 오브젝트 또는 장비의 또다른 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되지만, 센서(710)에 대해 전술된 바와 같이 오브젝트 또는 장비에 커플링되도록 요구되지 않는다.
이 실시예에서, 센서(810)로부터의 미가공 데이터를 가지는 신호(814)는 먼저 온사이트 프로세싱 또는 전송국(852) 앞에서 또는 온사이트 프로세싱 또는 전송국(852)에서 국부적으로(locally) 처리되고, 이후, 온사이트 프로세싱 또는 전송국(852)을 통해 상이한 최종 사용자 디바이스들로의 분배를 담당하는 중앙 처리 서버(864)에 전송된다. 더욱 구체적으로는, 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(812)는 온사이트 프로세싱 또는 전송국(852)에 전송되고, 미가공 센서 데이터를 포함하는 라이브 신호(814)는 온사이트 변환기 또는 프로세서(862)에 전송된다. 온사이트 변환기 또는 프로세서(862), 즉, 도 2 또는 도 3의 변환기(118)는, 센서(810)로부터의 미가공 데이터를 햅틱 데이터로 변환시키고, 이후, 햅틱 데이터를 포함하는 신호(822)를 온사이트 프로세싱 또는 전송국(852)에 전송한다. 방송 햅틱 아키텍처(750)에 관해 설명된 바와 같이, 센서(810)로부터의 미가공 데이터는 이벤트의 타입 및 힘 또는 강도와 같은 수반하는 센서 정보에 따라 햅틱 이벤트 검출들 및 식별들을 포함하는 햅틱 데이터로 변환될 수 있거나, 또는 미가공 센서 데이터를 햅틱 데이터 또는 커맨드들로 전환 또는 변환시키기 위한 다른 프로세싱 기법들이 이용될 수 있다. 온사이트 변환기 또는 프로세서(862)는 라이브 이벤트와 동일한 빌딩 또는 온사이트에 물리적으로 위치될 수 있거나, 또는 온사이트 프로세싱 또는 전송국(852) 내에 위치될 수 있다.
온사이트 프로세싱 또는 전송국(852)은 미가공 오디오 및/또는 비디오 데이터를 검토하거나 프로세싱하여 그것의 콘텐츠가 방송을 위해 적절하거나 적합함을 결정하기 위한 프로세서, 즉, 도 2 또는 도 3의 프로세서 또는 인코더(116)를 포함한다. 온사이트 프로세싱 또는 전송국(852)은 이후 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(820) 및 햅틱 데이터를 가지는 신호(822)를 포함하는 2개의 별도의 또는 별개의 신호들은 방송국(856)에 동시에 전송한다. 방송국(856)은 상이한 최종 사용자 디바이스들(430)로의 분배를 담당하는 중앙 처리 서버(864)에 신호들(820, 822)을 전송한다. 도 8에 도시된 바와 같이, 신호들(820, 822)은 다수의 디바이스들에 전송될 수 있고, 최종 사용자 디바이스들 및 따라서 최종 사용자 디바이스들(430)은 최종 사용자 디바이스(4301), 최종 사용자 디바이스(4302), 및 최종 사용자 디바이스(430N)로서 도시된다. 단일의 물리적 최종 사용자 디바이스(430)에 그것의 비디오, 오디오 및 햅틱 컴포넌트들의 출력을 위해 전송되는 것으로서 도시되지만, 신호들(820, 822)은 대안적으로 본원에 기술된 멀티-디바이스 시스템(538)과 같은 멀티-디바이스 시스템에 전송될 수 있다. 또다른 실시예에서, 온사이트 프로세싱 또는 전송국(852) 또는 중앙 처리 서버(864)는 햅틱 데이터를 포함하는 신호(822)를 취하여 그것을 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(820)로 인코딩하여, 프로세싱된 또는 처리된 오디오 및/또는 비디오 데이터뿐만 아니라 도 3에 관해 전술된 바와 같이 하나 이상의 최종 디바이스들에 전달되는 햅틱 데이터를 포함하는 복합 신호를 형성하기 위한 인코더(도시되지 않음)를 더 포함할 수 있다.
도 9는 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처(950)를 예시한다. 이 실시예에서, 햅틱 데이터로의 처리 또는 변환, 즉, 도 2 또는 도 3의 변환기(118)는, 온사이트 프로세싱 또는 전송국(852)에서의 오디오 및/또는 비디오 데이터의 프로세싱 이전에 또는 오디오 및/또는 비디오 데이터의 프로세싱과 동시에 발생한다.
방송 햅틱 아키텍처(950)에서, 오디오-비디오 레코더(908)는 라이브 이벤트에서 라이브 오디오 및 비디오 데이터를 레코딩하고, 센서(910)는 라이브 이벤트에서 센서 데이터를 레코딩한다. 센서(710)와 유사하게, 센서(910)는 라이브 이벤트와 연관된 오브젝트, 장비, 또는 사람의 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되는 센서이다. 실시예에서, 센서(910)는 복싱 글러브, 축구공, 테니스 라켓, 헬멧, 또는 다른 타입의 스포츠 이벤트 관련 항목들과 같은, 라이브 이벤트에서 이용되는 장비(960)의 일부에 커플링되거나 부착되고, 센서(910)는 오브젝트의 움직임 또는 속도를 감지하고, 감지된 움직임을 센서 데이터로 전환시키도록 구성된다. 센서(910)는 가속도계, 자이로스코프, 접촉 압력 센서, 글로벌 포지셔닝 시스템("GPS")(Global Positioning System) 센서, 회전 속도 센서, 또는 가속도, 경사, 관성, 움직임 또는 위치에서의 변경들을 검출하도록 구성되는 일부 다른 타입의 센서일 수 있다. 본원의 또다른 실시예에서, 센서(910)는 라이브 이벤트에 참가하는 한명 이상의 선수들과 연관되며, 생리학적 신호(즉, 혈량) 센서일 수 있다. 또다른 실시예에서, 센서(910)는 라이브 이벤트와 연관된 오브젝트 또는 장비의 또다른 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되지만, 센서(710)에 대해 전술된 바와 같이 오브젝트 또는 장비에 커플링되도록 요구되지 않는다.
이 실시예에서, 센서(910)로부터의 미가공 데이터를 가지는 신호(914)는 먼저, 온사이트 프로세싱 또는 전송국(952) 앞에서 또는 온사이트 프로세싱 또는 전송국(952)에서 국부적으로 처리되고, 이후 도 8의 실시예에서 기술된 바와 같은 중앙 처리 서버 없이 온사이트 프로세싱 또는 전송국(952)을 통해 상이한 최종 사용자 디바이스들에 직접 전송된다. 각각의 최종 사용자 디바이스(430)는, 신호(920)를 통해 스트리밍 중인 프로세싱된 오디오 및/또는 비디오 데이터를 그리고 신호(922)를 통해 햅틱 데이터를 재생함으로써, 그것의 고유한 서버로서 작용한다. 방송 햅틱 아키텍처(850)를 통한 방송 햅틱 아키텍처(950)의 장점은, 이것이 바람직한 경우, 국부적인 근처의 최종 사용자 디바이스들에 대한 전송이다. 예로서, 라이브 이벤트는 가속도 또는 자이로스코프 정보를 전송하는 센서들(910)이 구비된 라켓들을 이용하는 테니스 경기이다. 미가공 센서 데이터 또는 신호(914)는 스타디움에서 온사이트 변환기 또는 프로세서(962)에서 처리되고, 이후 신호(922)를 통한 햅틱 데이터는 신호(920)를 통해 프로세싱된 오디오 및/또는 비디오 데이터를 가지고 온사이트 프로세싱 또는 전송국(952)을 통해, 라이브 이벤트에 대한 티켓들이 매진되었기 때문에 스타디움에 입장할 수 없는, 스타디움 주위에서 최종 사용자 디바이스들을 가지고 있는 사람들에게 전송된다. 근처의 사람들은 그들의 전화기 또는 태블릿들 상에서 경기를 시청하고, 햅틱 데이터를 가지는 신호(922)에 따라 햅틱 효과들을 느낀다.
더욱 구체적으로는, 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(912)는 온사이트 프로세싱 또는 전송국(952)에 전송되고, 미가공 센서 데이터를 포함하는 라이브 신호(914)는 온사이트 변환기 또는 프로세서(962)에 전송된다. 온사이트 변환기 또는 프로세서(962), 즉, 도 2 또는 도 3의 변환기(118)는 센서(910)로부터의 미가공 데이터를 햅틱 데이터로 변환하고, 이후 햅틱 데이터를 포함하는 신호(922)를 온사이트 프로세싱 또는 전송국(952)에 전송한다. 방송 햅틱 아키텍처(750)에 관해 기술된 바와 같이, 센서(910)로부터의 미가공 데이터는 이벤트의 타입 및 힘 또는 강도와 같은 수반하는 센서 정보에 따라 햅틱 이벤트 검출들 및 식별들을 포함하는 햅틱 데이터로 변환될 수 있거나, 또는 미가공 센서 데이터를 햅틱 데이터 또는 커맨드들로 전환 또는 변환시키기 위한 다른 프로세싱 기법들이 이용될 수 있다. 온사이트 변환기 또는 프로세서(962)는 라이브 이벤트와 동일한 빌딩 또는 온사이트에 물리적으로 위치될 수 있거나, 또는 온사이트 프로세싱 또는 전송국(952) 내에 위치될 수 있다.
온사이트 프로세싱 또는 전송국(952)은, 미가공 오디오 및/또는 비디오 데이터를 검토하거나 프로세싱하여 그것의 콘텐츠가 방송을 위해 적절하거나 적합함을 결정하기 위한 프로세서, 즉, 도 2 또는 도 3의 프로세서 또는 인코더(116)를 포함한다. 온사이트 프로세싱 또는 전송국(952)은 이후 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(920) 및 햅틱 데이터를 가지는 신호(922)를 포함하는 2개의 별도의 또는 별개의 신호들을 상이한 최종 사용자 디바이스들(430)에 동시에 직접 분배한다. 도 9에 도시된 바와 같이, 신호들(920, 922)은 다수의 디바이스들에 전송될 수 있고, 최종 사용자 디바이스들 및 따라서 최종 사용자 디바이스들(430)은 최종 사용자 디바이스(4301), 최종 사용자 디바이스(4302), 및 최종 사용자 디바이스(430N)로서 도시된다. 단일의 물리적 최종 사용자 디바이스(430)에 그것의 비디오, 오디오 및 햅틱 컴포넌트들의 출력을 위해 전송되는 것으로서 도시되지만, 신호들(920, 922)은 대안적으로 본원에 기술된 멀티-디바이스 시스템(538)과 같은 멀티-디바이스 시스템에 전송될 수 있다. 또다른 실시예에서, 온사이트 프로세싱 또는 전송국(952)은 햅틱 데이터를 포함하는 신호(922)를 취하여 그것을 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(920)로 인코딩하여, 프로세싱된 또는 처리된 오디오 및/또는 비디오 데이터뿐만 아니라 도 3에 관해 전술된 바와 같이 하나 이상의 최종 디바이스들에 전달되는 햅틱 데이터를 포함하는 복합 신호를 형성하기 위한 인코더(도시되지 않음)를 더 포함할 수 있다.
도 10은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처(1050)를 예시한다. 이 실시예에서, 햅틱 데이터로의 처리 또는 변환, 즉, 도 2 또는 도 3의 변환기(118)는 온사이트 프로세싱 또는 전송국(1052)에서 오디오 및/또는 비디오 데이터의 프로세싱 이전에 발생한다.
방송 햅틱 아키텍처(1050)에서, 오디오-비디오 레코더(1008)는 라이브 이벤트에서 라이브 오디오 및 비디오 데이터를 레코딩하고, 센서(1010A)는 라이브 이벤트에서 센서 데이터를 레코딩한다. 하기에 더 상세하게 기술될 바와 같이, 센서(1010A)는, 센서(1010A)가 센서(1010A)로부터의 미가공 데이터를 햅틱 데이터로 변환하도록 구성되는 마이크로프로세서 또는 마이크로컨트롤러, 즉 도 2 또는 도 3의 변환기(118)를 포함한다는 것을 제외하고는 센서(710)와 유사하다. 센서(1010A)는 라이브 이벤트와 연관된 오브젝트, 장비 또는 사람의 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 변환시키도록 구성되는 센서이다. 실시예에서, 센서(1010A)는 복싱 글러브, 축구공, 테니스 라켓, 헬멧, 또는 다른 타입의 스포츠 이벤트 관련 항목들과 같은, 라이브 이벤트에서 이용되는 장비(1060)의 일부에 커플링되거나 부착되고, 센서(1010A)는 오브젝트의 움직임 또는 속도를 감지하고, 감지된 움직임을 센서 데이터로 전환하도록 구성된다. 센서(1010A)는 가속도계, 자이로스코프, 접촉 압력 센서, 글로벌 포지셔닝 시스템("GPS")(Global Positioning System) 센서, 회전 속도 센서, 또는 가속도, 경사, 관성, 움직임 또는 위치에서의 변경들을 검출하도록 구성되는 일부 다른 타입의 센서일 수 있다. 본원의 또다른 실시예에서, 센서(1010A)는 라이브 이벤트에 참가하는 한명 이상의 선수들과 연관되며, 생리학적 신호(즉, 혈량) 센서일 수 있다. 또다른 실시예에서, 센서(1010A)는 라이브 이벤트와 연관된 오브젝트 또는 장비의 또다른 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환시키도록 구성되지만, 오브젝트 또는 장비에 커플링되도록 요구되지 않는다. 예를 들어, 센서(1010A)는 센서(710)에 대해 전술된 바와 같이 햅틱 효과들로 전환될 특정 오디오 및/또는 비디오 신호 또는 피드를 레코딩하도록 구성될 수 있다.
이 실시예에서, 센서 신호들의 변환은 센서 자체 내에서 발생한다. 센서(1010A)는 미가공 센서 데이터를 프로세싱하고, 미가공 센서 데이터를 햅틱 데이터로 변환하도록 구성되는 마이크로프로세서 또는 마이크로컨트롤러를 포함한다. 방송 햅틱 아키텍처(1050)의 장점은 로컬 센서 프로세싱이 국부적인 더 높은 루프 레이트로 인해 개선된 또는 더 양호한 햅틱 이벤트 검출들 또는 식별들을 초래할 수 있다는 것이다. 방송 햅틱 아키텍처(750)에 대해 기술되는 바와 같이, 센서(1010A)로부터의 미가공 데이터는 이벤트의 타입 및 힘 또는 강도와 같은 수반하는 센서 정보에 따라 햅틱 이벤트 검출들 및 식별들을 포함하는 햅틱 데이터로 변환될 수 있거나, 또는 미가공 센서 데이터를 햅틱 데이터 또는 커맨드들로 전환 또는 변환시키기 위한 다른 프로세싱 기법들이 이용될 수 있다.
더욱 구체적으로는, 미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(1012)는 온사이트 프로세싱 또는 전송국(1052)에 전송되고, 햅틱 데이터를 포함하는 신호(1022)는 온사이트 프로세싱 또는 전송국(1052)에 전송된다. 온사이트 프로세싱 또는 전송국(1052)은 미가공 오디오 및/또는 비디오 데이터를 검토하거나 프로세싱하여 그것의 콘텐츠가 방송을 위해 적절하거나 적합함을 결정하기 위한 프로세서, 즉, 도 2 또는 도 3의 프로세서 또는 인코더(116)를 포함한다. 온사이트 프로세싱 또는 전송국(1052)은 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(1020) 및 햅틱 데이터를 가지는 신호(1022)를 포함하는 2개의 별도의 또는 별개의 신호들을 상이한 최종 사용자 디바이스들(430)에 동시에 전송한다. 도 10에 도시된 바와 같이, 신호들(1020, 1022)은 다수의 디바이스들에 전송되고, 최종 사용자 디바이스들 및 따라서 최종 사용자 디바이스들(430)은 최종 사용자 디바이스(4301), 최종 사용자 디바이스(4302), 및 최종 사용자 디바이스(430N)로서 도시된다. 단일의 물리적 최종 사용자 디바이스(430)에 그것의 비디오, 오디오 및 햅틱 컴포넌트들의 출력을 위해 전송되는 것으로서 도시되지만, 신호들(1020, 1022)은 대안적으로 본원에 기술된 멀티-디바이스 시스템(538)과 같은 멀티-디바이스 시스템에 전송될 수 있다. 또다른 실시예에서, 온사이트 프로세싱 또는 전송국(1052)은 햅틱 데이터를 포함하는 신호(1022)를 취하여 그것을 프로세싱된 오디오 및/또는 비디오 데이터를 포함하는 신호(1020)로 인코딩하여, 프로세싱된 또는 처리된 오디오 및/또는 비디오 데이터뿐만 아니라 도 3에 관해 전술된 바와 같이 하나 이상의 최종 디바이스들에 전달되는 햅틱 데이터를 포함하는 복합 신호를 형성하기 위한 인코더(도시되지 않음)를 더 포함할 수 있다.
도시되지 않았지만, 방송 햅틱 아키텍처(1050)는 최종 사용자 디바이스들로의 분배를 위한 방송국 및/또는 중앙 처리 서버를 더 포함할 수 있다. 더욱 구체적으로는, 온사이트 프로세싱 또는 전송국(1052)은 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(1020) 및 햅틱 데이터를 가지는 신호(1022)를 포함하는 2개의 별도의 또는 별개의 신호들을 방송국에 동시에 전송할 수 있고, 이후 방송국은 상이한 최종 사용자 디바이스들(430)로의 분배를 담당하는 중앙 처리 서버에 신호들(1020, 1022)을 전송할 수 있다. 다른 방식으로 언급하자면, 상이한 최종 사용자 디바이스들(430)로의 신호들(1020, 1022)의 전달 방법은 이전 실시예들 중 임의의 것에서 기술된 바와 같이, 즉, 도 8의 방송 햅틱 아키텍처(850) 또는 도 9의 방송 햅틱 아키텍처(950)에 대해 기술된 바와 같이 달성될 수 있다.
도 11은 본원의 또다른 실시예에 따른 방송 햅틱 아키텍처(1150)를 예시한다. 이 실시예에서, 햅틱 데이터로의 처리 또는 변환, 즉, 도 2 또는 도 3의 변환기(118)는 최종 사용자 디바이스들(430)의 프로세서들에서 발생한다. 미가공 센서 데이터를 가지는 신호(1114)가 최종 사용자 디바이스들(430)에 내내 완전히 전송된 이후 대역폭 관점으로부터 가장 덜 효율적이지만, 방송 햅틱 아키텍처(1150)는 센서 데이터의 변환/프로세싱 모두가 종단점에 대해 없어짐(offload)에 따라 프로세싱 관점으로부터 가장 효율적이다.
방송 햅틱 아키텍처(1150)에서, 오디오-비디오 레코더(1108)는 라이브 이벤트에서 라이브 오디오 및 비디오 데이터를 레코딩하고, 센서(1110)는 라이브 이벤트에서 센서 데이터를 레코딩한다. 센서(1110)는 센서(710)와 유사하고, 센서(1110)는 라이브 이벤트와 연관된 오브젝트, 장비 또는 사람의 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환시키도록 구성되는 센서이다. 실시예에서, 센서(1110)는 복싱 글러브, 축구공, 테니스 라켓, 헬멧, 또는 다른 타입의 스포츠 이벤트 관련 항목들과 같은, 라이브 이벤트에서 이용되는 장비(1160)의 일부에 커플링되거나 부착되고, 센서(1110)는 오브젝트의 움직임 또는 속도를 감지하고, 감지된 움직임을 센서 데이터로 전환시키도록 구성된다. 센서(1110)는 가속도계, 자이로스코프, 접촉 압력 센서, 글로벌 포지셔닝 시스템("GPS")(Global Positioning System) 센서, 회전 속도 센서, 또는 가속도, 경사, 관성, 움직임 또는 위치에서의 변경들을 검출하도록 구성되는 일부 다른 타입의 센서일 수 있다. 본원의 또다른 실시예에서, 센서(1110)는 라이브 이벤트에 참가하는 한 명 이상의 선수들과 연관되며, 생리학적 신호(즉, 혈량) 센서일 수 있다. 또다른 실시예에서, 센서(1110)는 라이브 이벤트와 연관된 오브젝트 또는 장비의 또다른 파라미터를 감지하고, 감지된 파라미터를 센서 데이터로 전환하도록 구성되지만, 센서(710)에 관해 전술된 바와 같이 오브젝트 또는 장비에 커플링되도록 요구되지 않는다.
미가공 오디오 및/또는 비디오 데이터를 포함하는 라이브 신호(1112)는 온사이트 프로세싱 또는 전송국(1152)에 전송되고, 센서(들)(1160)로부터의 미가공 데이터를 포함하는 신호(1114)는 또한 온사이트 프로세싱 또는 전송국(1152)에 전송된다. 온사이트 프로세싱 또는 전송국(1152)은 미가공 오디오 및/또는 비디오 데이터를 검토하거나 프로세싱하여 그것의 콘텐츠가 방송을 위해 적절하거나 적합함을 결정하기 위한 프로세서, 즉, 도 2 또는 도 3의 프로세서 또는 인코더(116)를 포함한다. 온사이트 프로세싱 또는 전송국(1152)은 이후 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(1120) 및 센서(들)(1160)로부터의 미가공 데이터를 포함하는 신호(1114)를 포함하는 2개의 별도의 또는 별개의 신호들을 상이한 최종 사용자 디바이스들(430)에 동시에 전송한다. 도 11에 도시된 바와 같이, 신호들(1120, 1114)은 다수의 디바이스들에 전송될 수 있고, 최종 사용자 디바이스들 및 따라서 최종 사용자 디바이스들(430)은 최종 사용자 디바이스(4301), 최종 사용자 디바이스(4302), 및 최종 사용자 디바이스(430N)로서 도시된다. 단일의 물리적 최종 사용자 디바이스(430)에 그것의 비디오, 오디오 및 햅틱 컴포넌트들의 출력을 위해 전송되는 것으로서 도시되지만, 신호들(1120, 1114)은 대안적으로 본원에 기술된 멀티-디바이스 시스템(538)과 같은 멀티-디바이스 시스템에 전송될 수 있다.
도시되지 않았지만, 방송 햅틱 아키텍처(1150)는 최종 사용자 디바이스들로의 분배를 위한 방송국 및/또는 중앙 처리 서버를 더 포함할 수 있다. 더욱 구체적으로는, 온사이트 프로세싱 또는 전송국(1152)은 프로세싱된 오디오 및/또는 비디오 데이터를 가지는 신호(1120) 및 센서(들)(1160)로부터의 미가공 데이터를 포함하는 신호(1114)를 포함하는 2개의 별도의 또는 별개의 신호들을 방송국에 동시에 전송할 수 있고, 이후 방송국은 상이한 최종 사용자 디바이스들(430)로의 분배를 담당하는 중앙 처리 서버에 신호들(1120, 1114)을 전송할 수 있다. 또다른 방식으로 언급하자면, 신호들(1120, 1122)의 상이한 최종 사용자 디바이스들(430)로의 전달 방법은 이전 실시예들 중 임의의 것에 기술된 바와 같이, 즉, 도 8의 방송 햅틱 아키텍처(850) 또는 도 9의 방송 햅틱 아키텍처(950)에 관해 기술된 바와 같이 달성될 수 있다. 신호들(1120, 1122)은 라이브 이벤트의 참여자들에게 국부적으로 분배될 수 있거나, 또는 또다른 실시예에서, 원격 최종 사용자 디바이스들에 도착하기 전에 방송국 및/또는 중앙 처리를 통해 전송될 수 있다.
본 발명에 따른 다양한 실시예들이 전술되었지만, 이들이 제한이 아니라, 단지 예시 및 예에 의해 제시되었다는 점이 이해되어야 한다. 형태 및 상세항목에서의 다양한 변경들이 발명의 사상 및 범위로부터 벗어나지 않고 그 내에서 이루어질 수 있다는 것이 관련 기술분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 본원에 기술된 아키텍처들이 라이브 이벤트에 대한 햅틱 데이터와 함께 비디오 및/또는 오디오 데이터를 전송 또는 방송하는 것을 포함하지만, 본원에 기술된 아키텍처들은 라디오들이 오디오 데이터만을 방송하는 방식과 유사하게 라이브 이벤트로부터의 햅틱 데이터만을 방송하도록 수정될 수 있다. 예를 들어, 햅틱 데이터 단독 방송은 그 스코어가 매분마다 또는 다른 미리 결정된 시간마다 햅틱방식으로 방송되거나, 또는 스코어가 변할때마다 그 스코어가 햅틱 방식으로 방송되는 스포츠 게임에서 이용될 수 있다. 따라서, 본 발명의 폭 및 범위는 전술된 예시적인 실시예들 중 임의의 것에 의해 제한되지 않아야 하지만, 오직 첨부되는 청구항들 및 그 등가물들에 따라 정의되어야 한다. 본원에서 논의되는 각각의 실시예의, 그리고 본원에 인용되는 각각의 레퍼런스의 각각의 특징이 임의의 다른 실시예의 특징들과 결합하여 사용될 수 있다는 것이 또한 이해될 것이다. 본원에 논의되는 모든 특허들 및 공보들은 그 전체가 본원에 참조로 포함된다.
Claims (20)
- 라이브 이벤트(live event)로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하기 위한 시스템으로서,
라이브 이벤트의 비디오 데이터를 레코딩하도록 구성되는 레코더;
상기 라이브 이벤트와 연관된 파라미터를 감지하고 상기 감지된 파라미터를 센서 데이터로서 출력하도록 구성되는 센서;
상기 센서로부터 상기 센서 데이터를 수신하고, 상기 센서 데이터를 상기 라이브 이벤트와 연관된 햅틱 데이터를 포함하는 신호로 변환하도록 구성되는 변환기; 및
상기 변환기로부터 상기 햅틱 데이터를 수신하도록 구성되고 상기 라이브 이벤트의 상기 비디오 데이터를 수신하도록 구성되는 최종 사용자 디바이스
를 포함하고, 상기 최종 사용자 디바이스는 상기 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함하고, 상기 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함하는 시스템. - 제1항에 있어서, 상기 변환기는 상기 센서 상에 위치되는 마이크로컨트롤러인 시스템.
- 제1항에 있어서, 상기 변환기는 상기 최종 사용자 디바이스 내에 위치되는 프로세서인 시스템.
- 제1항에 있어서,
상기 라이브 이벤트와 온사이트(onsite)에 위치되는 온사이트 전송국(onsite transmission station)을 더 포함하고, 상기 온사이트 전송국은 상기 라이브 이벤트의 상기 비디오 데이터를 프로세싱하기 위한 프로세서를 포함하는 시스템. - 제4항에 있어서, 상기 변환기는 상기 라이브 이벤트와 온사이트에 또는 상기 온사이트 전송국 내에 위치되는 온사이트 프로세서(onsite processor)이고, 상기 온사이트 전송국에 상기 햅틱 데이터를 전송하도록 구성되는 시스템.
- 제5항에 있어서,
상기 온사이트 전송국으로부터 상기 프로세싱된 비디오 데이터 및 상기 햅틱 데이터를 수신하도록 구성되는 방송국(broadcasting station)을 더 포함하는 시스템. - 제6항에 있어서, 중앙 처리 서버가 상기 방송국으로부터 상기 프로세싱된 비디오 데이터 및 상기 햅틱 데이터를 수신하도록 구성되고, 상기 프로세싱된 비디오 데이터 및 상기 햅틱 데이터를 상기 최종 사용자 디바이스에 전송하도록 구성되는 시스템.
- 제5항에 있어서, 상기 온사이트 전송국은 상기 프로세싱된 비디오 데이터 및 상기 햅틱 데이터를 상기 최종 사용자 디바이스에 전송하도록 구성되는 시스템.
- 제1항에 있어서,
상기 라이브 이벤트와 온사이트에 위치되는 온사이트 전송국 ― 상기 온사이트 전송국은 상기 센서로부터 상기 라이브 이벤트의 상기 비디오 데이터 및 상기 센서 데이터를 수신하도록 구성됨 ― ;
상기 온사이트 전송국으로부터 상기 라이브 이벤트의 상기 비디오 데이터 및 상기 센서 데이터를 수신하도록 구성되는 방송국; 및
상기 방송국으로부터 상기 비디오 데이터 및 상기 센서 데이터를 수신하도록 구성되는 지역 처리국(regional treatment station)
을 더 포함하고, 상기 변환기는 상기 지역 처리국에 위치되는 프로세서이고, 상기 지역 처리국은 상기 최종 사용자 디바이스에 상기 햅틱 데이터를 전송하도록 구성되는 시스템. - 제9항에 있어서, 상기 지역 처리국은 상기 라이브 이벤트의 상기 비디오 데이터를 프로세싱하도록 구성되는 제2 프로세서를 또한 포함하고, 상기 지역 처리국은 상기 최종 사용자 디바이스에 상기 프로세싱된 비디오 데이터 및 상기 햅틱 데이터를 전송하도록 구성되는 시스템.
- 제1항에 있어서, 상기 햅틱 출력 디바이스 및 상기 디스플레이는 동일한 전자 디바이스의 일부분인 시스템.
- 제1항에 있어서, 상기 최종 사용자 디바이스는 상기 디스플레이를 포함하는 프라이머리 최종 사용자 디바이스 및 상기 햅틱 출력 디바이스를 포함하는 세컨더리 사용자 디바이스를 포함하는 시스템.
- 제1항에 있어서, 상기 레코더는 또한 상기 비디오 데이터와 함께 상기 라이브 이벤트의 오디오 데이터를 레코딩하도록 구성되고, 상기 최종 사용자 디바이스는 상기 오디오 데이터를 출력하도록 구성되는 스피커를 포함하는 시스템.
- 제1항에 있어서, 상기 센서는 상기 라이브 이벤트에서 이용되는 장비의 일부 또는 상기 라이브 이벤트의 참가자에 커플링되는 시스템.
- 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하기 위한 시스템으로서,
라이브 이벤트의 비디오 데이터를 레코딩하도록 구성되는 레코더;
상기 라이브 이벤트와 연관된 파라미터를 감지하고 상기 감지된 파라미터를 센서 데이터로서 출력하도록 구성되는 센서;
상기 라이브 이벤트와 온사이트에 위치되는 온사이트 전송국 ― 상기 온사이트 전송국은 상기 라이브 이벤트의 상기 비디오 데이터를 수신하도록 구성되고, 상기 온사이트 전송국은 상기 라이브 이벤트의 상기 비디오 데이터를 프로세싱하기 위한 프로세서를 포함함 ― ;
상기 센서로부터 상기 센서 데이터를 수신하고, 상기 센서 데이터를 상기 라이브 이벤트와 연관된 햅틱 데이터를 포함하는 신호로 변환하도록 구성되는 변환기; 및
상기 변환기로부터 상기 햅틱 데이터를 수신하도록 구성되고, 상기 온사이트 전송국의 프로세서로부터 상기 프로세싱된 비디오 데이터를 수신하도록 구성되는 최종 사용자 디바이스
를 포함하고, 상기 최종 사용자 디바이스는 상기 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함하고, 상기 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함하는 시스템. - 라이브 이벤트로부터의 햅틱 데이터를 최종 사용자 디바이스에 전달하는 방법으로서,
라이브 이벤트의 비디오 데이터를 레코딩하는 단계;
상기 라이브 이벤트와 연관된 파라미터를 감지하고 상기 감지된 파라미터를 센서 데이터로서 출력하는 단계;
센서로부터 상기 센서 데이터를 수신하고, 상기 센서 데이터를 상기 라이브 이벤트와 연관되는 햅틱 데이터를 포함하는 신호로 변환하는 단계; 및
상기 최종 사용자 디바이스에서 상기 햅틱 데이터를 수신하는 단계 ― 상기 최종 사용자 디바이스는 상기 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 포함함 ― ;
상기 최종 사용자 디바이스에서 상기 라이브 이벤트의 상기 비디오 데이터를 수신하는 단계 ― 상기 최종 사용자 디바이스는 상기 햅틱 데이터에 기초하여 사용자에게 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스를 포함함 ― ;
상기 햅틱 데이터에 기초하여 상기 햅틱 출력 디바이스를 이용하여 적어도 하나의 햅틱 효과를 생성하는 단계; 및
상기 디스플레이 상에 상기 비디오 데이터를 디스플레이하는 단계
를 포함하는 방법. - 제16항에 있어서, 상기 센서로부터 센서 데이터를 수신하고 상기 센서 데이터를 햅틱 데이터를 포함하는 신호로 변환하는 단계는 상기 센서에 위치되는 마이크로컨트롤러 상에서 수행되는 방법.
- 제16항에 있어서, 상기 센서로부터 센서 데이터를 수신하고 상기 센서 데이터를 햅틱 데이터를 포함하는 신호로 변환하는 단계는 상기 최종 사용자 디바이스 내에 위치되는 프로세서 상에서 수행되는 방법.
- 제16항에 있어서, 상기 센서로부터 센서 데이터를 수신하고 상기 센서 데이터를 햅틱 데이터를 포함하는 신호로 변환하는 단계는 상기 라이브 이벤트와 온사이트에 위치된 온사이트 프로세서 상에서 또는 상기 라이브 이벤트와 온사이트에 위치된 온사이트 전송국 내에서 수행되는 방법.
- 제16항에 있어서, 상기 센서로부터 센서 데이터를 수신하고 상기 센서 데이터를 햅틱 데이터를 포함하는 신호로 변환하는 단계는 상기 라이브 이벤트로부터 및 상기 최종 사용자 디바이스로부터 원격에 위치되는 오프사이트 프로세서(offsite processor) 상에서 수행되는 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/738,707 | 2015-06-12 | ||
| US14/738,707 US20160366450A1 (en) | 2015-06-12 | 2015-06-12 | Broadcast haptics architectures |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160146551A true KR20160146551A (ko) | 2016-12-21 |
Family
ID=56134121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160071022A KR20160146551A (ko) | 2015-06-12 | 2016-06-08 | 방송 햅틱 아키텍처 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20160366450A1 (ko) |
| EP (1) | EP3104258A1 (ko) |
| JP (1) | JP2017005709A (ko) |
| KR (1) | KR20160146551A (ko) |
| CN (1) | CN106249868A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019054549A1 (ko) * | 2017-09-18 | 2019-03-21 | 주식회사 씨케이머티리얼즈랩 | 햅틱 장치를 위한 무선 제어 장치 및 방법 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9635440B2 (en) * | 2014-07-07 | 2017-04-25 | Immersion Corporation | Second screen haptics |
| CN106534142B (zh) * | 2016-11-22 | 2018-04-20 | 包磊 | 多媒体数据的实时传输方法及装置 |
| US10297120B2 (en) * | 2016-12-13 | 2019-05-21 | Disney Enterprises, Inc. | Haptic effect generation system |
| KR101766892B1 (ko) | 2017-01-16 | 2017-08-23 | 안병문 | 연동장치, 이를 포함하는 전동장치 시스템 및 그 제어방법 |
| US10075251B2 (en) * | 2017-02-08 | 2018-09-11 | Immersion Corporation | Haptic broadcast with select haptic metadata based on haptic playback capability |
| US10477298B2 (en) | 2017-09-08 | 2019-11-12 | Immersion Corporation | Rendering haptics on headphones with non-audio data |
| KR102208810B1 (ko) * | 2017-10-20 | 2021-01-28 | 주식회사 씨케이머티리얼즈랩 | 촉각 정보 제공 시스템 |
| WO2020059758A1 (ja) * | 2018-09-20 | 2020-03-26 | 日本電産株式会社 | コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置 |
| WO2021035362A1 (en) * | 2019-08-30 | 2021-03-04 | Vrx Ventures Ltd. | Systems and methods for mapping motion-related parameters of remote moving objects |
| US20210110841A1 (en) * | 2019-10-14 | 2021-04-15 | Lofelt Gmbh | System and method for transforming authored haptic data to fit into haptic bandwidth |
| WO2021172040A1 (ja) * | 2020-02-28 | 2021-09-02 | ソニーグループ株式会社 | 情報処理装置および方法 |
| EP3955585A4 (en) * | 2020-06-30 | 2023-01-04 | Baidu Online Network Technology (Beijing) Co., Ltd | VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA |
| WO2022087091A1 (en) * | 2020-10-21 | 2022-04-28 | Interactive Cyber Experience Holdings, Llc | System for communicating sensations from a first person perspective |
| WO2023204289A1 (ja) * | 2022-04-22 | 2023-10-26 | ソニーグループ株式会社 | 情報処理装置および方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6357042B2 (en) * | 1998-09-16 | 2002-03-12 | Anand Srinivasan | Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream |
| KR101384434B1 (ko) * | 2006-04-06 | 2014-04-10 | 임머숀 코퍼레이션 | 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체 |
| US8098234B2 (en) * | 2007-02-20 | 2012-01-17 | Immersion Corporation | Haptic feedback system with stored effects |
| US7911328B2 (en) * | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
| WO2010011765A2 (en) * | 2008-07-22 | 2010-01-28 | Entrex, Inc. | Perpetual revenue participation interests and methods related thereto |
| US20120221148A1 (en) * | 2011-02-28 | 2012-08-30 | D-Box Technologies Inc. | Real-time performance enabled by a motion platform |
| US20140063259A1 (en) * | 2012-08-31 | 2014-03-06 | Ihigh.Com, Inc. | Method and system for video production |
| US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
| US20150054727A1 (en) * | 2013-08-23 | 2015-02-26 | Immersion Corporation | Haptically enabled viewing of sporting events |
-
2015
- 2015-06-12 US US14/738,707 patent/US20160366450A1/en not_active Abandoned
-
2016
- 2016-06-07 EP EP16173327.4A patent/EP3104258A1/en not_active Ceased
- 2016-06-07 CN CN201610402546.9A patent/CN106249868A/zh active Pending
- 2016-06-08 KR KR1020160071022A patent/KR20160146551A/ko unknown
- 2016-06-09 JP JP2016114961A patent/JP2017005709A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019054549A1 (ko) * | 2017-09-18 | 2019-03-21 | 주식회사 씨케이머티리얼즈랩 | 햅틱 장치를 위한 무선 제어 장치 및 방법 |
| US11382199B2 (en) | 2017-09-18 | 2022-07-05 | Ck Materials Lab Co., Ltd. | Wireless control apparatus and method for haptic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017005709A (ja) | 2017-01-05 |
| US20160366450A1 (en) | 2016-12-15 |
| CN106249868A (zh) | 2016-12-21 |
| EP3104258A1 (en) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160146551A (ko) | 방송 햅틱 아키텍처 | |
| US20200245038A1 (en) | Second screen haptics | |
| JP6664071B2 (ja) | マルチメディアデータで使用する触覚データを記録するシステムおよび方法 | |
| US10375424B2 (en) | Point of view multimedia platform | |
| US8990842B2 (en) | Presenting content and augmenting a broadcast | |
| EP2840463A1 (en) | Haptically enabled viewing of sporting events | |
| JP2017033536A (ja) | 観衆ベースのハプティック | |
| CN105915849A (zh) | 一种虚拟现实体育赛事播放方法及系统 | |
| JP2015130169A (ja) | 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法 | |
| KR20140125760A (ko) | 원격 참여 시스템 | |
| JP2016149121A (ja) | 触覚効果の自動付随 | |
| US20230039530A1 (en) | Automated generation of haptic effects based on haptics data | |
| WO2017002642A1 (ja) | 情報機器及び表示処理方法 | |
| JP6523038B2 (ja) | 感覚提示装置 | |
| EP4080907A1 (en) | Information processing device and information processing method | |
| JP6254852B2 (ja) | 放送通信連携触覚提示システム、サービスサーバおよびプログラム、並びに、携帯端末 | |
| Ariyasu et al. | Tactile sensibility presentation service for Smart TV |