KR101984645B1 - 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용 - Google Patents

향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용 Download PDF

Info

Publication number
KR101984645B1
KR101984645B1 KR1020147020202A KR20147020202A KR101984645B1 KR 101984645 B1 KR101984645 B1 KR 101984645B1 KR 1020147020202 A KR1020147020202 A KR 1020147020202A KR 20147020202 A KR20147020202 A KR 20147020202A KR 101984645 B1 KR101984645 B1 KR 101984645B1
Authority
KR
South Korea
Prior art keywords
delete delete
content receiver
user device
user
content
Prior art date
Application number
KR1020147020202A
Other languages
English (en)
Other versions
KR20140105024A (ko
Inventor
비나이 스리드하라
사우미트라 모한 다스
레오니드 쉐인블라트
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140105024A publication Critical patent/KR20140105024A/ko
Application granted granted Critical
Publication of KR101984645B1 publication Critical patent/KR101984645B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Abstract

향상된 미디어 경험들을 제공하기 위해 햅틱 기술들을 사용하기 위한 방법들, 장치들, 시스템들, 및 컴퓨터-판독가능한 매체가 제시된다. 개시내용의 하나 이상의 양상들에 따르면, 스마트폰, 태블릿 컴퓨터, 또는 휴대용 미디어 플레이어와 같은 컴퓨팅 디바이스는 로컬 컨텐츠 수신기와의 접속을 설정할 수 있다. 후속적으로, 컴퓨팅 디바이스는, 로컬 컨텐츠 수신기로부터, 로컬 컨텐츠 수신기에 의해 수신된 미디어 컨텐츠 항목의 재생에 대해 특정 시간에 제공될 하나 이상의 햅틱 효과들을 특정하는 감각 데이터 신호를 수신할 수 있다. 이후, 컴퓨팅 디바이스는 하나 이상의 햅틱 효과들을 제공할 수 있다.

Description

향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용{USING HAPTIC TECHNOLOGIES TO PROVIDE ENHANCED MEDIA EXPERIENCES}
35 U.S.C.§119조항 하에서의 우선권의 청구
이 출원은, 그 전체가 본원에 모든 목적으로 인용에 의해 통합된, "Using Haptic Technologies to Provide Enhanced Media Experiences"라는 명칭의 2011년 12월 21일에 출원된 미국 가출원 일련번호 제61/578,685호를 우선권으로 주장한다.
개시내용의 양상들은 컴퓨팅 기술들에 관한 것이다. 특히, 개시내용의 양상들은 향상된 미디어 경험들을 제공하기 위한 시스템들, 방법들, 장치들 및 컴퓨터-판독가능한 매체와 같은 모바일 컴퓨팅 디바이스 기술들에 관한 것이다.
현재, 사람이 영화, 텔레비전 쇼 또는 다른 미디어 컨텐츠를 시청할 때, 그 사람의 텔레비전, 컴퓨터 또는 다른 컨텐츠 수신기는 시청을 위해 2차원 및/또는 3차원 비디오 컨텐츠를 재생할 수 있다. 그러나, 현재의 시스템들은, 그 시스템들이 햅틱 피드백에 대한 임의의 지원을 제공한다 하더라도, 햅틱 피드백을 미디어 재생으로 통합하는 제한된 방식들만을 제공할 수 있다. 개시내용의 양상들은 미디어 경험들을 더 향상시키기 위해 더 정교한 햅틱 기술들을 사용하기 위한 다양한 기법들을 제공한다.
향상된 미디어 경험들을 제공하기 위해 햅틱 기술들을 사용하기 위한 시스템들, 방법들, 장치들, 및 컴퓨터-판독가능한 매체가 제시된다. 하나 이상의 양상들에 따르면, 햅틱 피드백은 스마트폰 또는 태블릿 컴퓨터와 같이, 미디어 컨텐츠(예를 들어, 오디오 컨텐츠, 비디오 컨텐츠, 시청각 컨텐츠, 인터넷 컨텐츠, 비디오 게임 컨텐츠 등)의 재생 동안 사용자의 손에 쥐여진 디바이스를 통해서 그 재생과 함께 제공될 수 있다.
본원에서 사용된 바와 같이, 햅틱 피드백은 다양한 질감 감각(sensation)들, 압력 감각들, 습윤 감각들, 밀착 감각들, 열적 감각들, 진동 감각들, 및/또는 자신의 촉감을 사용하는 사람에 의해 감지될 수 있는 임의의 다른 효과들과 같은 임의의 종류의 촉각 및/또는 터치-기반 피드백을 포함할 수 있다. 스마트폰, 개인 디지털 보조 단말, 태블릿 컴퓨터, 및/또는 임의의 다른 종류의 모바일 컴퓨팅 디바이스와 같은 전자 디바이스는 하나 이상의 전자적으로 액츄에이팅된 기계적, 전기적, 및/또는 전자기계적 컴포넌트들을 사용하여 이러한 햅틱 피드백을 제공할 수 있다. 일 예에서, 예를 들어, 압전 트랜스듀서들이 핀칭(pinching), 돌출, 천공, 질감, 및/또는 다른 촉각 감각들을 시뮬레이팅하기 위해 사용될 수 있다. 하나 이상의 배열들에서, 햅틱 피드백은 미디어 컨텐츠의 특징들과 동기화될 수 있다. 이러한 방식으로, 향상된 사용자 경험이 제공될 수 있고, 컨텐츠의 "5 차원"이 햅틱 피드백의 형태로 사용자 경험에 추가될 수 있다.
유리하게는, 본원에 설명된 이들 및 다른 특징들은 모바일 디바이스들의 사용자들에게 향상된 기능성, 유연성 및 편의성을 제공할 수 있다.
개시내용의 하나 이상의 양상들에 따르면, 스마트폰, 태블릿 컴퓨터, 또는 휴대용 미디어 플레이어와 같은 컴퓨팅 디바이스는 로컬 컨텐츠 수신기와의 접속을 설정할 수 있다. 후속적으로, 컴퓨팅 디바이스는, 로컬 컨텐츠 수신기로부터, 로컬 컨텐츠 수신기에 의해 수신된 미디어 컨텐츠 항목의 재생에 대해 특정 시간에 제공될 하나 이상의 햅틱 효과들을 특정하는 감각 데이터 신호를 수신할 수 있다. 이후, 컴퓨팅 디바이스는 하나 이상의 햅틱 효과들을 제공할 수 있다.
적어도 하나의 배열에서, 로컬 컨텐츠 수신기와의 접속을 설정하는 것은 무선 영역 네트워크 상에서 로컬 컨텐츠 수신기를 검출하는 것, 및 로컬 컨텐츠 수신기에 등록 정보를 송신하는 것을 더 포함할 수 있다. 적어도 하나의 추가적인 배열에서, 등록 정보는 디바이스 능력 정보를 포함할 수 있다. 예를 들어, 등록 정보는 컴퓨팅 디바이스가 어떤 타입의 햅틱 피드백을 재생할 수 있는지를 특정할 수 있는데, 왜냐면 이것이 컴퓨팅 디바이스에 포함되고 그리고/또는 컴퓨팅 디바이스에 통신상으로 커플링된 센서들 및/또는 액츄에이터들의 특정 조합에 의존할 수 있기 때문이다.
적어도 하나의 추가적인 배열에서, 감각 데이터 신호를 수신하기 이전에, 컴퓨팅 디바이스는 먼저 가까운 컨텐츠 스트림을 검출할 수 있고, 가까운 컨텐츠 스트림을 로컬 컨텐츠 수신기에 통지할 수 있다. 적어도 하나의 추가적인 배열에서, 가까운 컨텐츠 스트림을 검출하는 것은 가까운 컨텐츠 스트림의 재생에 대응하는 오디오를 캡쳐하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 가까운 스트림을 로컬 컨텐츠 수신기에 통지하는 것은 로컬 컨텐츠 수신기에 캡쳐된 오디오의 적어도 일부분을 송신하는 것을 포함할 수 있다. 하기에 논의된 바와 같이, 이것은, 예를 들어, 컴퓨팅 디바이스의 사용자가 다수의 텔레비전들을 포함하는 하우스와 같이 다수의 미디어 재생 디바이스들을 가지는 위치에서 돌아다니면서 동시에 미디어 컨텐츠가 시청되기에 물리적으로 가장 가깝고 그리고/또는 시청될 확률이 가장 높은 미디어 재생 디바이스에 의해 제공되는 그 미디어 컨텐츠와 동기화되는 햅틱 피드백을 수신하게 할 수 있다.
적어도 하나의 추가적인 배열에서, 하나 이상의 햅틱 효과들을 제공하기 전에, 컴퓨팅 디바이스는 액티비티가 검출되는지의 여부를 결정할 수 있다. 일부 배열들에서, 액티비티가 검출되는지의 여부를 결정하는 것은 컴퓨팅 디바이스가 움직이고 있는지 또는 움직이지 않는지의 여부를 표시하는 특정 타입의 액티비티가 검출되는지의 여부를 결정하는 것을 포함할 수 있다. 다른 배열들에서, 액티비티가 검출되는지의 여부를 결정하는 것은 컴퓨팅 디바이스가 사용자에 의해 쥐여져 있는지의 여부를 결정하는 것을 포함할 수 있다. 이들 방식으로, 컴퓨팅 디바이스는, 예를 들어, 디바이스가 사용자 손에 쥐여져 있는 것이 아니라 테이블 위에 놓인 경우, 또는 그렇지 않다면 사용자가 디바이스에 의해 다른 방식으로 재생될 햅틱 효과들을 느끼지 못할 수 있는 방식으로 위치되는 경우, 불필요한 햅틱 피드백을 제공하는 것을 회피할 수 있다.
적어도 하나의 추가적인 배열에서, 하나의 미디어 컨텐츠 항목과 연관된 햅틱 피드백을 제공한 이후, 컴퓨팅 디바이스는 후속적으로, 제2 미디어 컨텐츠 항목과 연관된 새로운 컨텐츠 스트림을 검출할 수 있다. 컴퓨팅 디바이스는 이후 새로운 컨텐츠 스트림을 로컬 컨텐츠 수신기에 통지할 수 있다. 이후, 컴퓨팅 디바이스는 로컬 컨텐츠 수신기로부터 수신된 데이터에 기초하여 하나 이상의 추가적인 햅틱 효과들을 제공할 수 있다. 적어도 하나의 추가적인 배열에서, 하나 이상의 추가적인 햅틱 효과들을 제공하기 이전에, 컴퓨팅 디바이스는 미리 결정된 시간량동안 대기할 수 있다. 이들 방식으로, 컴퓨팅 디바이스는, 예를 들어, 하나의 프로그램이 종료하고 또다른 프로그램이 시작하는 상황, 또는 사용자가 채널들/프로그램들을 변경하는 동시에, 어느 프로그램이든 현재 재생될 수 있는 프로그램과 관련하여 햅틱 피드백을 제공하기 위해 필요한 사용자 입력 또는 다른 구성의 양을 최소화하는 상황에 대해 적응할 수 있다.
개시내용의 양상들이 예로서 예시되어 있다. 첨부 도면들에서, 동일한 참조 번호들은 유사한 엘리먼트들을 표시한다.
도 1은 개시내용의 하나 이상의 예시적인 양상들을 구현할 수 있는 예시적인 시스템을 예시한다.
도 2는 개시내용의 하나 이상의 예시적인 양상들에 따른 향상된 미디어 경험들을 제공하는 예시적인 방법을 예시한다.
도 3은 개시내용의 하나 이상의 예시적인 양상들에 따른 감각 데이터 신호를 수신하고 프로세싱하는 예시적인 방법을 예시한다.
도 4는 개시내용의 하나 이상의 예시적인 양상들에 따른 감각 시간선의 예를 예시한다.
도 5는 개시내용의 하나 이상의 예시적인 양상들에 따른 컨텐츠 수신기에 등록하는 예시적인 방법을 예시한다.
도 6 및 7은 개시내용의 하나 이상의 예시적인 양상들에 따른 컨텐츠 수신기에 등록할 시에 디스플레이될 수 있는 예시적인 사용자 인터페이스들을 예시한다.
도 8은 개시내용의 하나 이상의 예시적인 양상들에 따른 대응하는 감각 데이터를 가지는 로컬 컨텐츠 스트림을 발견하는 예시적인 방법을 예시한다.
도 9는 개시내용의 하나 이상의 예시적인 양상들에 따른 대응하는 감각 데이터를 가지는 로컬 컨텐츠 스트림을 발견하는 디바이스의 예를 예시한다.
도 10은 개시내용의 하나 이상의 예시적인 양상들에 따른 검출된 액티비티에 기초하여 햅틱 피드백을 제공하는 예시적인 방법을 예시한다.
도 11은 개시내용의 하나 이상의 예시적인 양상들에 따라 디바이스가 사용자에 의해 쥐여진 예를 예시한다.
도 12는 개시내용의 하나 이상의 예시적인 양상들에 따른 감각 데이터를 포함하는 새로운 컨텐츠 스트림을 검출하는 예시적인 방법을 예시한다.
도 13은 개시내용의 하나 이상의 예시적인 양상들에 따른 감각 데이터를 포함하는 새로운 컨텐츠 스트림을 검출할 시에 디스플레이될 수 있는 예시적인 사용자 인터페이스를 예시한다.
도 14는 개시내용의 하나 이상의 양상들이 구현될 수 있는 예시적인 컴퓨팅 시스템을 예시한다.
몇몇 예시적인 실시예들이 이제, 그 일부를 형성하는 첨부 도면들에 대해 설명될 것이다. 개시내용의 하나 이상의 양상들이 구현될 수 있는 특정 실시예들이 하기에 설명되지만, 다른 실시예들이 사용될 수 있으며, 첨부된 청구항들의 사상 또는 개시내용의 범위로부터의 이탈 없이 다양한 수정들이 이루어질 수 있다.
도 1은 개시내용의 하나 이상의 예시적인 양상들을 구현할 수 있는 예시적인 시스템(100)을 예시한다. 하나 이상의 배열들에서, 시스템(100)은 컨텐츠 분배 서버(105)와 같은 하나 이상의 컨텐츠 분배 서버들, 컨텐츠 수신기(110)와 같은 하나 이상의 컨텐츠 수신기들, 및 사용자 디바이스(115)와 같은 하나 이상의 사용자 디바이스들을 포함할 수 있다. 적어도 하나의 배열에서, 컨텐츠 분배 서버(105)는 컨텐츠 분배 네트워크의 중앙국 또는 헤드-엔드에 위치될 수 있다. 일부 배열들에서, 컨텐츠 분배 네트워크는 가입자 네트워크일 수 있고, 컨텐츠 분배 서버(105)는, 예를 들어, 하나 이상의 위성, 광섬유, 및/또는 동축 접속들을 통해, 컨텐츠 수신기(110)와 같은 하나 이상의 컨텐츠 수신기들과 통신하도록 구성될 수 있다.
적어도 하나의 실시예에서, 컨텐츠 수신기(110)는 사용자의 홈 또는 사무실과 같은 사용자 위치에 위치될 수 있다. 추가로, 컨텐츠 수신기(110)는 컨텐츠 분배 서버(105)에 의해 전송된 신호들을 수신하도록 구성될 수 있고, 추가로, 수신된 신호들에 저장된 미디어 컨텐츠 및/또는 다른 컨텐츠(예를 들어, 햅틱 컨텐츠)를 디코딩, 디스플레이, 재생 및/또는 다른 방식으로 제공하도록 구성될 수 있다.
적어도 하나의 배열에서, 컨텐츠 수신기(110)는 사용자 디바이스(115)와 같은 하나 이상의 사용자 디바이스들과 통신하도록 구성될 수 있다. 사용자 디바이스(115)는, 예를 들어, 사용자 위치에 위치된 그리고/또는 그렇지 않다면 컨텐츠 수신기(110)의 근처에 위치된 모바일 디바이스(예를 들어, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 핸드-헬드 디바이스, 및/또는 임의의 다른 타입의 컴퓨팅 디바이스)일 수 있다. 일부 배열들에서, 사용자 디바이스(115)는 추가로 컨텐츠 수신기(110)가 또한 접속되는 로컬 영역 네트워크(LAN)에 통신상으로 커플링될 수 있다. 다른 배열들에서, 사용자 디바이스(115)는 컨텐츠 수신기(110)와의 직접 접속(예를 들어, 무선 데이터 접속)을 설정하도록 구성될 수 있다. 추가로, 사용자 디바이스(115)는 사용자 디바이스(115)의 사용자에게 햅틱 피드백을 제공하기 위해 전자적으로 액츄에이팅될 수 있는 하나 이상의 햅틱 컴포넌트들을 포함할 수 있다.
하나 이상의 배열들에서, 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 컴포넌트들은 동일한 타입의 컴포넌트일 수 있고 그리고/또는 동일한 형태의 햅틱 피드백(예를 들어, 질감 감각들, 습윤 감각들, 열적 감각들 등)을 생성할 수 있는 반면, 다른 배열들에서, 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 컴포넌트들은 상이한 타입들의 컴포넌트들일 수 있고, 그리고/또는 상이한 형태의 햅틱 피드백을 생성할 수 있다. 추가적으로 또는 대안적으로, 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 컴포넌트들은 복수의 상이한 촉각 효과들을 생성하기 위해 개별적으로 그리고/또는 결합하여 동작할 수 있다. 이들 햅틱 컴포넌트들이 사용자 디바이스(115) "에 포함되는" 것으로서 설명되지만, 이들 햅틱 컴포넌트들이 반드시 사용자 디바이스(115)의 내부에 존재하지 않을 수도 있다는 점이 이해되어야 한다. 예를 들어, 일부 배열들에서는, 이들 햅틱 컴포넌트들 중 하나 이상은 사용자 디바이스(115)의 외부 표면들을 따라 배치될 수 있다는 것이 고려된다. 추가적으로 또는 대안적으로, 이들 햅틱 컴포넌트들 중 임의의 것 및/또는 전부는, 이를테면 (예를 들어, 하나 이상의 무선 및/또는 유선 접속들을 통해) 사용자 디바이스(115)에 통신상으로 커플링될 수 있는 하나 이상의 주변 액세서리들에 포함되고 그리고/또는 주변 액세서리들의 일부분으로서 제공될 수 있다.
도 1에 보여진 바와 같이, 사용자 디바이스(115)는 사용자 디바이스(115)가 본원에 논의되는 다양한 특징들 및 기능성들을 제공하게 하는 하나 이상의 서브시스템들을 제공할 수 있다. 예를 들어, 사용자 디바이스(115)는 접속 설정 서브시스템(120), 감각 데이터 수신 서브시스템(125), 및 햅틱 효과 제공 서브시스템(130)을 포함할 수 있다. 하나 이상의 통신 경로들은 하나 이상의 서브시스템들이 서로 통신하여 데이터를 교환하게 하도록 제공될 수 있다. 추가로, 도 1에 예시된 다양한 서브시스템들은 소프트웨어, 하드웨어, 또는 이들의 결합들에서 구현될 수 있다. 적어도 하나의 배열에서, 도 1에 예시된 서브시스템들 각각은 사용자 디바이스(115)에 포함된 하나 이상의 프로세서들 및/또는 메모리 유닛들에 의해 제공될 수 있다. 사용자 디바이스(115)에 포함된 단일 프로세서는, 예를 들어, 일부 경우들에서 이들 서브시스템들 모두를 제공할 수 있지만, 다른 경우들에서, 각각의 서브시스템이 사용자 디바이스(115) 내의 별도의 프로세서로서 그리고/또는 별도의 프로세서에 의해 제공될 수 있다. 일부 경우들에서, 사용자 디바이스(115)는 도 1에 도시된 것과는 다른 서브시스템들을 포함할 수 있다. 추가로, 도 1에 도시된 실시예는 일부 실시예들을 통합할 수 있는 시스템의 단지 일 예이다. 다른 실시예들에서, 시스템(100) 및/또는 사용자 디바이스(115)는 도 1에 예시된 것보다 더 많거나 더 적은 서브시스템들을 가질 수 있거나, 둘 이상의 서브시스템들을 결합할 수 있거나, 또는 서브시스템들의 상이한 구성 또는 배열을 가질 수 있다.
일부 실시예들에서, 접속 설정 서브시스템(120)은 사용자 디바이스(115)가 로컬 컨텐츠 수신기와의 접속을 설정하게 할 수 있다. 예를 들어, 접속 설정 서브시스템(120)은, 일부 경우들에서, 사용자 디바이스(115)가 무선 영역 네트워크 상에서 로컬 컨텐츠 수신기(예를 들어, 컨텐츠 수신기(110))를 검출하고 등록 정보를 로컬 컨텐츠 수신기에 송신하게 할 수 있다(예를 들어, 이에 의해, 사용자 디바이스(115)를 컨텐츠 수신기에 등록한다).
일부 실시예들에서, 감각 데이터 수신 서브시스템(125)은 사용자 디바이스(115)가 로컬 컨텐츠 수신기(예를 들어, 컨텐츠 수신기(110))로부터 감각 데이터 신호를 수신하게 할 수 있다. 예를 들어, 감각 데이터 수신 서브시스템(125)은 사용자 디바이스(115)가 접속 설정 서브시스템(120)을 사용하여 접속이 설정된 컨텐츠 수신기로부터 감각 데이터 신호를 수신하게 할 수 있다. 일부 경우들에서, 감각 데이터 신호는, 예를 들어, 로컬 컨텐츠 수신기에 의해 수신된 미디어 컨텐츠 항목의 재생에 관련해 특정 시간에 제공될 하나 이상의 햅틱 효과들을 특정할 수 있다.
일부 실시예들에서, 햅틱 효과 제공 서브시스템(130)은 사용자 디바이스(115)가 하나 이상의 햅틱 효과들을 제공하게 할 수 있다. 예를 들어, 햅틱 효과 제공 서브시스템(130)은 사용자 디바이스(115)가 감각 데이터 수신 서브시스템(125)에 의해 수신된 감각 데이터 신호에서 특정된 하나 이상의 햅틱 효과들을 제공하게 할 수 있다. 일부 경우들에서, 햅틱 효과 제공 서브시스템(130)은 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 컴포넌트들을 액츄에이팅 및/또는 다른 방식으로 제어함으로써 햅틱 피드백이 (예를 들어, 사용자 디바이스(115)의 사용자에게) 제공되게 할 수 있다.
도 1에 도시된 실시예 및 위에서 논의된 예들이 사용자 디바이스(115)에 포함된 것으로서 다양한 서브시스템들을 예시하지만, 일부 추가적인 그리고/또는 대안적인 실시예들에서, 이들 서브시스템들 중 임의의 것 및/또는 전부가 사용자 디바이스(115)에 통신상으로 커플링된 하나 이상의 주변 디바이스들과 같은 하나 이상의 다른 디바이스들 및/또는 컴포넌트들에 통합되고 그리고/또는 다른 방식으로 제공될 수 있다. 추가적으로 또는 대안적으로, 이러한 주변 디바이스들은 이들 서브시스템들 중 임의의 것 및/또는 전부를 구현하기 위해 다양한 하드웨어 및/또는 소프트웨어를 포함할 수 있다.
예시적인 시스템(100)(또는 유사한 시스템)을 구현함으로써, 향상된 미디어 경험은 컨텐츠 수신기(110) 및 사용자 디바이스(115)의 사용자에게 제공될 수 있다. 예를 들어, 이러한 사용자는 텔레비전 쇼 또는 영화와 같이 컨텐츠 수신기(110)에 의해 수신되고 그리고/또는 디스플레이되는 미디어 컨텐츠를 시청할 수도 있고, 사용자는 사용자 디바이스(115)에 의해 제공되는 햅틱 피드백을 동시에 경험할 수도 있으며, 여기서, 이러한 햅틱 피드백은 텔레비전 쇼 또는 영화와 같이 컨텐츠 수신기(110)에 의해 수신되고 그리고/또는 디스플레이되는 미디어 컨텐츠의 다양한 양상들과 동기화될 수 있다. 시스템(100)의 디바이스들이 이러한 사용자 경험을 제공하기 위해 어떻게 동작할 수 있는지에 대한 예시적인 방법이 이제 도 2에 관련하여 설명될 것이다.
특히, 도 2는 개시내용의 하나 이상의 예시적인 양상들에 따른 향상된 미디어 경험들을 제공하는 예시적인 방법을 예시한다. 단계 205에서, 컨텐츠 분배 서버(105)는 신호를 생성하고 인코딩할 수 있다. 신호는 미디어 컨텐츠(예를 들어, 오디오 데이터, 비디오 데이터 등) 및 햅틱 데이터(예를 들어, 미디어 컨텐츠와 관련하여 제공될 하나 이상의 햅틱 감각들을 정의하는 정보)를 포함할 수 있다. 하나 이상의 배열들에서, 햅틱 데이터에 의해 정의된 햅틱 감각들은 미디어 컨텐츠의 특징들과 동기화될 수 있다. 예를 들어, 영화에서 일어나는 폭발은 영화를 시청할 수 있는 사용자에게 날카로운 진동, 디바이스 온도의 상승, 및/또는 다른 햅틱 효과들을 제공하는 것을 포함하는 햅틱 피드백과 동기화될 수 있다. 적어도 하나의 배열에서, 신호는 오디오 신호(예를 들어, 미디어 컨텐츠와 연관된 오디오 신호)일 수 있고, 햅틱 데이터는 하나 이상의 신호 변조 기법들을 사용하여 오디오 신호 상으로 인코딩될 수 있다(예를 들어, 햅틱 데이터는 오디오 신호의 특정 채널 상으로 인코딩될 수 있다).
후속적으로, 단계 210에서, 컨텐츠 분배 서버(105)는, 예를 들어, 컨텐츠 분배 네트워크를 통해, 컨텐츠 수신기(110)를 포함하는 하나 이상의 컨텐츠 수신기에 인코딩된 신호를 전송할 수 있다. 단계 215에서, 컨텐츠 수신기(110)는 컨텐츠 분배 서버로부터 인코딩된 신호를 수신할 수 있고, 단계 220에서, 컨텐츠 수신기(110)는 수신된 신호를 디코딩할 수 있다.
단계 225에서, 컨텐츠 수신기(110)는 디코딩된 신호로부터 햅틱 정보를 획득할 수 있다. 예를 들어, 단계 225에서, 컨텐츠 수신기(110)는 신호에 포함된 미디어 컨텐츠의 시청자 및/또는 청취자에게 제공될 하나 이상의 햅틱 감각들을 정의하는 햅틱 데이터를 추출할 수 있다. 적어도 하나의 배열에서, 햅틱 데이터는 하나 이상의 마커들을 포함할 수 있고, 하나 이상의 마커들 각각은 미디어 컨텐츠에 포함된 특정 특징들, 이벤트들 및/또는 다른 사건들과 동시에 그리고/또는 그렇지 않으면 그와 공동으로 제공될 하나 이상의 특정 햅틱 감각들을 정의할 수 있다. 예를 들어, 하나의 마커는 특정 진동 효과들 및/또는 열적 효과들이 영화에서 발생하는 폭발과 동시에 제공될 것을 특정할 수 있는 반면, 또다른 마커는 특정 압력 효과들 및/또는 습윤 효과들이 영화에서 발생한 수중 장면과 동시에 제공될 것을 특정할 수 있다.
후속적으로, 단계 230에서, 컨텐츠 수신기(110)는 신호로부터 획득된 햅틱 정보를 사용자 디바이스(115)와 같은 하나 이상의 사용자 디바이스들에 전송할 수 있다. 예를 들어, 컨텐츠 수신기(110)는 로컬 영역 네트워크(LAN) 접속, 직접 접속(예를 들어, 블루투스 접속), 및/또는 임의의 다른 유선 및/또는 무선 데이터 접속을 통해 사용자 디바이스(115)에 햅틱 데이터를 전송할 수 있다.
단계 235에서, 사용자 디바이스(115)는 컨텐츠 수신기(110)로부터 햅틱 정보를 수신할 수 있다. 후속적으로, 단계 240에서, 사용자 디바이스(115)는 수신된 햅틱 정보에 기초하여 하나 이상의 햅틱 효과들을 제공할 수 있다. 예를 들어, 단계 240에서, 사용자 디바이스(115)는 컨텐츠 수신기(110)로부터 수신된 햅틱 정보에 의해 정의된 하나 이상의 햅틱 감각들을 사용자 디바이스(115)의 사용자에게 제공하기 위해 사용자 디바이스(115)에 포함되고 그리고/또는 그렇지 않으면 사용자 디바이스(115)에 통신상으로 커플링된 하나 이상의 햅틱 컴포넌트들을 액츄에이팅할 수 있다. 이러한 방식으로, 사용자 디바이스(115)는 사용자에 의해 동시에 시청되고 그리고/또는 다른 방식으로 경험되는 미디어 컨텐츠와 동기화될 수 있는 햅틱 피드백을 사용자에게 제공할 수 있다.
컨텐츠 분배 서버로부터 수신된 신호로부터 획득된 햅틱 정보를 하나 이상의 사용자 디바이스들에 전송하는 것에 더하여, 컨텐츠 수신기는, 일부 경우들에서는, 컨텐츠 분배 서버로부터 수신된 오디오 데이터 및/또는 비디오 데이터에 기초하여 햅틱 데이터를 동적으로 생성할 수 있고, 후속적으로 이러한 동적으로 생성된 햅틱 데이터를 하나 이상의 사용자 디바이스들에 전송할 수 있다. 이러한 햅틱 데이터를 동적으로 생성할 시에, 컨텐츠 수신기는, 예를 들어, 컨텐츠 분배 서버로부터 수신된 오디오 데이터 및/또는 비디오 데이터를 분석하고, 오디오 데이터 및/또는 비디오 데이터의 하나 이상의 결정된 특징들에 매치하는 하나 이상의 미리 정의된 햅틱 피드백 효과들을 선택할 수 있다. 예를 들어, 컨텐츠 수신기는 특정 오디오 데이터 및 비디오 데이터를 분석할 수 있고, 폭발의 이미지들을 포함하는 비디오 프레임들 및 사운드 볼륨에서의 큰 스파이크를 식별한 이후, 하나 이상의 사용자 디바이스들에 전송될 미리 정의된 진동 및/또는 열적 햅틱 피드백 효과들(예를 들어, 폭발에 대응하는 것으로서 미리 정의된)을 선택할 수 있다. 다른 경우들에서, 비-진동 햅틱 피드백 효과들과 같은 다른 미리 정의된 햅틱 피드백 효과들은 추가적으로 그리고/또는 대안적으로 분석된 오디오 데이터 및/또는 분석된 비디오 데이터에 기초하여 컨텐츠 수신기에 의해 선택될 수 있다.
도 3은 개시내용의 하나 이상의 예시적인 양상들에 따라 감각 데이터 신호를 수신하고 프로세싱하는 예시적인 방법을 예시한다. 개시내용의 하나 이상의 양상들에 따르면, 도 3에 예시된 예시적인 방법은, 사용자에게 햅틱 피드백을 제공하기 위해, 사용자 디바이스(115)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있으며, 여기서 햅틱 피드백은 (예를 들어, 컨텐츠 수신기(110)와 같은 또다른 디바이스 상에서) 사용자에 의해 시청되고 그리고/또는 재생되는 미디어 컨텐츠와 동기화된다. 일부 경우들에서, 도 3의 예시적인 방법을 수행하는 컴퓨팅 디바이스는 예를 들어, 텔레비전 또는 홈시어터 시스템 상의 다른 미디어 컨텐츠를 시청하는 동안, 사용자의 홈에서 사용되는 모바일 디바이스일 수 있다. 다른 경우들에서, 도 3의 예시적인 방법을 수행하는 컴퓨팅 디바이스는, 이를테면 영화관에서 영화 또는 다른 미디어 컨텐츠를 시청하는 동안 영화관에서 사용되는 모바일 디바이스일 수 있다. 추가적으로 또는 대안적으로, 특수화된 디바이스가 홈시어터 또는 영화관 설정 중 어느 하나에서 사용하기 위해 사용되고, 배치되고 그리고/또는 다른 방식으로 제공될 수 있지만, 일부 경우들에서, 사용자의 통상적인 모바일 디바이스(예를 들어, 사용자의 셀 폰, 스마트폰, 태블릿 컴퓨터 등)는 도 3의 예시적인 방법을 실행하고 그리고/또는 (예를 들어, 개시내용의 하나 이상의 양상들을 구현하는 컴퓨터-판독가능한 명령들을 저장하고 그리고/또는 실행함으로써) 본원에 설명된 것과 유사한 기능성들을 다른 방식으로 제공하도록 구성될 수 있다는 것이 고려된다.
단계 305에서, 컨텐츠 수신기와의 접속이 설정될 수 있다. 예를 들어, 단계 305에서, 컴퓨팅 디바이스(예를 들어, 사용자 디바이스(115))는 컨텐츠 수신기 컴퓨터와의 데이터 접속을 설정할 수 있다. 일부 경우들에서, 컨텐츠 수신기 컴퓨터는, 셋톱 박스, 텔레비전, 홈 컴퓨터 등과 같은 홈 엔터테인먼트 시스템의 일부분일 수 있다. 다른 경우들에서, 컨텐츠 수신기 컴퓨터는 영화관에서 위치되고 그리고/또는 그에 의해 동작될 수 있는 상업적 프로젝션 시스템(예를 들어, 디지털 프로젝터)과 같은 상업적 엔터테인먼트 시스템의 일부분일 수 있다.
단계(310)에서, 사용자 인터페이스 통지가 디스플레이될 수 있다. 예를 들어, 단계 310에서, 컨텐츠 수신기로의 접속을 설정했다면, 컴퓨팅 디바이스는 접속이 설정되었고 그리고/또는 (예를 들어, 컨텐츠 수신기 및/또는 하나 이상의 추가적인 연관된 시스템들을 통해) 디코딩되고, 디스플레이되고, 재생되고 그리고/또는 다른 방식으로 사용자에게 제공되는 미디어 컨텐츠와 동기화되는 햅틱 피드백과 같은 햅틱 피드백이 접속을 통해 제공될 수 있음을 사용자에게 통지하기 위해 사용자 인터페이스 통지를 디스플레이할 수 있다.
단계 315에서, 타이밍/감각 데이터 신호가 수신될 수 있다. 예를 들어, 단계 315에서, 컴퓨팅 디바이스는 컨텐츠 수신기에 의해 현재 디코딩되고, 디스플레이되고, 재생되고 그리고/또는 다른 방식으로 제공되는 미디어 컨텐츠와 연관된 타이밍 및/또는 감각 정보를 포함하는 데이터 신호를 컨텐츠 수신기로부터 수신할 수 있다. 하나 이상의 배열들에서, 타이밍/감각 데이터 신호는 하나 이상의 햅틱 감각들이 하나 이상의 특정 시간들에서 제공될 것임을 특정하는 정보를 포함할 수 있다. 추가적으로 또는 대안적으로, 햅틱 피드백이 제공될 하나 이상의 특정 시간들은 미디어 컨텐츠의 경과된 시간에 대해 특정될 수 있다. 적어도 하나의 배열에서, 타이밍/감각 데이터 신호는 도 4에 예시되고 하기에 그에 대해 더욱더 상세하게 설명되는 예시적인 감각 시간선의 하나 이상의 양상들을 구현할 수 있다.
다시 도 3을 참조하면, 단계 320에서, 수신된 타이밍/감각 데이터 신호가 프로세싱될 수 있다. 예를 들어, 단계 320에서, 컴퓨팅 디바이스가 데이터 신호를 형성할 수 있는 데이터 패킷들로부터 타이밍 정보 및/또는 감각 정보를 (예를 들어, 이산 데이터 구조들로서) 추출하기 위해 수신된 데이터 신호를 프로세싱할 수 있다.
단계 325에서, 임의의 햅틱 피드백이 특정되는지의 여부가 결정될 수 있다. 예를 들어, 단계 325에서, 컴퓨팅 디바이스는 타이밍/감각 데이터 신호가 (예를 들어, 현재 시간에서 그리고/또는 향후 시간에서) 제공될 임의의 햅틱 피드백을 특정하는지의 여부를 결정할 수 있다. 적어도 하나의 배열에서, 컴퓨팅 디바이스는, 데이터 신호에 포함된 감각 마커(예를 들어, 하기에 설명된 바와 같은 데이터 구조)가 특정 햅틱 피드백이 현재 및/또는 향후 시간과 같은 특정 시간에 제공될 것임을 특정하는 경우 햅틱 피드백이 제공될 것임을 타이밍/감각 데이터 신호가 특정한다고 결정할 수 있다.
단계 325에서, 햅틱 피드백이 특정된다고 결정되는 경우, 단계 330에서, 특정된 햅틱 피드백이 제공될 수 있다. 예를 들어, 단계 330에서, 컴퓨팅 디바이스는 사용자에게 특정된 햅틱 피드백을 제공하기 위해 컴퓨팅 디바이스에 포함되고, 컴퓨팅 디바이스에 커플링되고 그리고/또는 컴퓨팅 디바이스에 의해 제어될 수 있는 하나 이상의 전자적으로 액츄에이팅된 컴포넌트들을 활성화, 액츄에이팅 및/또는 다른 방식으로 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스는 다양한 질감 감각들, 압력 감각들, 습윤 감각들, 밀착 감각들, 열적 감각들, 진동 감각들, 및/또는 자신의 촉감을 사용하는 사람에 의해 감지될 수 있는 임의의 다른 효과들과 같은 임의의 종류의 촉각 및/또는 터치-기반 피드백을 제공하도록 구성되는 하나 이상의 햅틱 컴포넌트들을 포함하고, 햅틱 컴포넌트들에 커플링되고 그리고/또는 햅틱 컴포넌트들을 제어할 수 있고, 데이터 신호는 이들 컴포넌트들 중 임의의 것 및/또는 모두를 액츄에이팅하는 것을 포함하는 햅틱 감각들을 특정할 수 있다.
반면, 단계 325에서, 햅틱 피드백이 특정되지 않는다고 결정되는 경우, 단계 335에서, 프로세싱이 계속될 수 있고, 컴퓨팅 디바이스는, 예를 들어, 단계 315의 실행으로 되돌아갈 수 있고, 여기서, 타이밍/감각 데이터 신호는 계속 수신될 수 있다(그리고, 후속적으로, 예를 들어, 위에서 설명된 바와 같이 프로세싱됨). 이후, 예시적인 방법의 단계들 315 내지 335는, 영화 또는 다른 프로그램이 종료할 때까지, 사용자가 실행의 중지를 요청할 때까지, 그리고/또는 루프의 실행이 다른 방식으로 단절될 때까지, 루프 내에서 계속될 수 있다.
도 3에 관련하여 감각 데이터 신호를 수신하고 프로세싱하는 예시적인 방법을 설명했으므로, 신호 그 자체가 이제 도 4에 관련하여 더욱 상세하게 설명될 것이다.
특히, 도 4는 개시내용의 하나 이상의 예시적인 양상들에 따른 감각 마커를 포함하는 감각 시간선의 예를 예시한다. 하나 이상의 양상들에 따르면, 감각 시간선(400)은 위에서 설명된 타이밍/감각 데이터 신호를 나타낼 수 있다. 또한, 감각 시간선(400)은 하나 이상의 특정 시간들(예를 들어 영화 또는 텔레비전 쇼와 같은 특정 미디어 컨텐츠 항목과 연관된 하나 이상의 특정 시간들)에서 사용자에게 햅틱 피드백으로서 제공될 하나 이상의 햅틱 감각들을 특정할 수 있는 감각 마커(405)와 같은 하나 이상의 감각 마커들을 포함할 수 있다.
도 4에 예시된 예에서, 예를 들어, 감각 마커(405)는 미디어 컨텐츠 항목(예를 들어, 감각 시간선(400)이 대응하는 미디어 컨텐츠 항목)이 1시간 22분 20초 동안 경과한 이후 제공될 폭발 감각에 대응할 수 있다. 폭발 감각은 열적 효과들 및 진동 효과들을 포함하도록 (예를 들어, 감각 마커(405)에 의해 표현된 데이터 구조에서) 정의될 수 있고, 폭발 감각과 연관된 열적 효과들 및 진동 효과들이 사용자(예를 들어, 미디어 컨텐츠 항목을 시청하고 있는 사용자)에게 제공되는 방법을 특정하는 하나 이상의 기능들, 값들 및/또는 다른 변수들을 포함할 수 있다. 대안적으로 또는 추가적으로, 감각 시간선(400) 및/또는 감각 마커(405)는 폭발 감각이 미디어 컨텐츠에서의(예를 들어, 미디어 컨텐츠에 대응하는 비디오 및/또는 오디오 데이터에서의) 폭발과 동기화되고 그리고/또는 폭발에 다른 방식으로 대응하도록 구성될 수 있다. 위에서 설명된 바와 같이, 사용자의 컴퓨팅 디바이스(예를 들어, 사용자 디바이스(115))는 감각 시간선(400)에 대응하는 데이터 신호를 수신하고, 미디어 컨텐츠 항목의 재생 동안 특정된 시간에서 감각 마커(405)에 의해 특정된 햅틱 피드백을 제공하도록 구성될 수 있다. 이러한 방식으로, 햅틱 피드백은 모바일 디바이스(예를 들어, 사용자 디바이스(115))의 사용자에게 제공될 수 있고, 여기서 햅틱 피드백은 미디어 컨텐츠의 재생과 동기화된다.
감각 데이터 신호가 수신되고 프로세싱될 수 있는 방법의 다수의 예들이 설명되었으므로, 사용자 디바이스가 컨텐츠 수신기에 초기에 등록하고, 대응하는 감각 데이터를 가지는 로컬 컨텐츠 스트림을 발견하고, 그리고 특정 종류의 디바이스 액티비티를 검출하는 것에 기초하여 햅틱 피드백을 제공할 수 있는 방법을 예시하는 몇몇 예들이 이제 더욱 상세하게 논의될 것이다.
도 5는 개시내용의 하나 이상의 예시적인 양상들에 따라 컨텐츠 수신기에 등록하는 예시적인 방법을 예시한다. 개시내용의 하나 이상의 양상들에 따르면, 도 5에 예시된 예시적인 방법은 컨텐츠 수신기(예를 들어, 컨텐츠 수신기(110))와의 접속을 초기에 설정하고 컨텐츠 수신기와 등록 정보를 교환하기 위해, 사용자 디바이스(115)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있다. 이러한 등록은, 예를 들어, 사용자 디바이스(115)가, 자신이 온라인 상태이며 햅틱 피드백을 제공하기에 이용가능함을 컨텐츠 수신기(110)에 통지하게 할 수 있고, 추가로, 사용자 디바이스(115)로 하여금, 사용자 디바이스(115)가 제공할 수 있는 특정 타입 또는 타입들의 햅틱 피드백을 컨텐츠 수신기(110)에 통지하게 할 수 있다. 따라서, 사용자 디바이스(115)는, 감각 데이터 신호가 컨텐츠 수신기(110)로부터 수신되기 이전에 그리고/또는 햅틱 피드백이 제공되기 이전에 도 5에 예시된 등록 방법을 수행할 수 있는데, 왜냐하면 컨텐츠 수신기(110)가 사용자 디바이스(115)가 컨텐츠 수신기(110)에 등록한 이후에만 사용자 디바이스(115)에 감각 데이터 신호를 송신하도록 구성될 수 있기 때문이다. 도 5의 예시적인 방법에 예시된 구성들 대신 그리고/또는 도 5의 예시적인 방법에 예시된 구성들에 추가하여 다른 등록 단계들을 수반할 수 있는 다른 구성들이 또한 사용될 수 있다.
단계 505에서, 사용자 디바이스(115)는 로컬 네트워크에 합류할 수 있다. 하나 이상의 배열들에서, 로컬 네트워크는 컨텐츠 수신기(110)와 같은 하나 이상의 컨텐츠 수신기들이 또한 접속되는 네트워크일 수 있다. 로컬 네트워크는 하나 이상의 유선 접속들(예를 들어, 하나 이상의 이더넷 접속들), 하나 이상의 무선 접속들(예를 들어, 하나 이상의 IEEE 802.11 접속들, 하나 이상의 블루투스 접속들 등), 및/또는 이들의 결합들을 포함할 수 있다. 적어도 하나의 배열에서, 로컬 네트워크에 합류하는 것은 컨텐츠 수신기에 의해 제공되는 네트워크에 합류하는 것을 포함할 수 있다. 예를 들어, 컨텐츠 수신기(110)는 무선 액세스 포인트로서 동작하도록 구성될 수 있고, 무선 로컬 영역 네트워크를 제공할 수 있고, 사용자 디바이스(115)는 컨텐츠 수신기(110)에 의해 제공되는 무선 로컬 영역 네트워크에 접속할 수 있다.
단계 510에서, 사용자 디바이스(115)는 로컬 네트워크 상의 컨텐츠 수신기(110)를 검출할 수 있다. 예를 들어, 단계 510에서, 사용자 디바이스(115)는 네트워크에 접속된 하나 이상의 다른 디바이스들에서 정보를 얻을 수 있고(interrogate), 후속적으로 컨텐츠 수신기(110)(및/또는 하나 이상의 다른 컨텐츠 수신기들)가 동일한 로컬 네트워크에 접속된다고 결정할 수 있다.
단계(515)에서, 사용자 디바이스는 사용자 디바이스가 검출된 컨텐츠 수신기에 이미 등록되었는지의 여부를 결정할 수 있다. 예를 들어, 단계 515에서, 사용자 디바이스(115)는, 사용자 디바이스(115)에 의해 저장된 등록 이력 정보에 기초하여, 예를 들어, 사용자 디바이스(115)가 컨텐츠 수신기(110)에 이전에 등록했는지의 여부를 결정할 수 있다.
사용자 디바이스가, 단계 515에서, 자신이 검출된 컨텐츠 수신기를 이미 등록했다고 결정하는 경우, 단계 520에서, 사용자 디바이스는 자신의 네트워크 존재를 컨텐츠 수신기에 통지할 수 있다. 예를 들어, 사용자 디바이스(115)가 자신이 컨텐츠 수신기(110)에 이전에 등록했다고 결정하는 경우, 단계 520에서, 사용자 디바이스(115)는 사용자 디바이스(115)가 네트워크에 접속되었음을 컨텐츠 수신기(110)에 통지할 수 있다. 하나 이상의 배열들에서, 사용자 디바이스의 네트워크 존재를 컨텐츠 수신기에 통지하는 것은, 사용자 디바이스에 의해, 사용자 디바이스를 식별하는 정보(예를 들어, 디바이스 제조, 디바이스 모델, 고유 디바이스 식별자 등) 및/또는 사용자 디바이스와 연관된 네트워킹 정보(예를 들어, 로컬 네트워크 상의 하나 이상의 라우팅 디바이스들에 의해 사용자 디바이스에 할당된, IP 어드레스와 같은 로컬 네트워크 어드레스)를 포함하는 하나 이상의 메시지들을 컨텐츠 수신기에 송신하는 것을 포함할 수 있다.
컨텐츠 수신기에, 사용자 디바이스를 식별하는 정보 및/또는 사용자 디바이스와 연관된 네트워킹 정보를 송신하는 것에 더하여, 사용자 디바이스는 추가로, 다른 정보를 검출된 컨텐츠 수신기에 송신할 수 있다. 예를 들어, 일부 배열들에서, 사용자 디바이스는 사용자 디바이스의 사용자에 의해 설정된 하나 이상의 설정들 및/또는 다른 선호도들을 특정하는 정보를 송신할 수 있다. 이러한 설정들은 햅틱 피드백에 관련될 수 있고, 예를 들어, 사용자 디바이스의 사용자에게 제공되고 그리고/또는 제공되지 않는 특정 햅틱 효과들을 특정할 수 있다. 추가적으로 또는 대안적으로, 이러한 설정들은, 햅틱 피드백에 관련된 특정 설정들을 사용자 디바이스의 상이한 사용자들에 대해 상이한 것으로서 특정할 수 있는, 하나 이상의 사용자 아이덴티티(identity)들 및/또는 다른 사용자 프로파일 정보를 포함할 수 있다. 이것은, 예를 들어, 부모 제어가 사용자 디바이스 상의 햅틱 피드백에 대해 제공되도록 할 수 있다. 예를 들어, 사용자 프로파일 정보에서 정의될 수 있는 바와 같이, 사용자 디바이스는 하나 이상의 성인 사용자들에게 모든 이용가능한 햅틱 피드백 효과들을 제공하도록 구성될 수 있지만, 사용자 디바이스는 하나 이상의 어린이 사용자들에게 오직 선택된 햅틱 피드백 효과들만을 제공하도록 구성될 수 있다.
하나 이상의 추가적인 그리고/또는 대안적인 배열들에서, 사용자 디바이스의 네트워크 존재를 컨텐츠 수신기에 통지하는 것은, 컨텐츠 수신기로부터 확인응답 메시지를 수신하는 것에 기초하여 (예를 들어, 컨텐츠 수신기가 사용자 디바이스의 네트워크 존재를 통지받았음을 사용자 디바이스의 사용자에게 통지하기 위해) 통지를 디스플레이하는 것을 포함할 수 있다. 이러한 통지를 포함하는 사용자 인터페이스의 예가 도 6에 예시되어 있다.
특히, 도 6은 통지(605)를 포함하는 예시적인 사용자 인터페이스(600)를 예시한다. 하나 이상의 배열들에서, 예시적인 사용자 인터페이스(600)는 사용자 디바이스(115)에 포함되고 그리고/또는 그렇지 않으면 사용자 디바이스(115)에 통신상으로 커플링된 터치-감지 디스플레이 스크린 상에, 사용자 디바이스(115)와 같은 사용자 디바이스에 의해 디스플레이될 수 있다.
도 6에 보여진 바와 같이, 사용자 인터페이스(600)의 통지(605)는 컨텐츠 수신기가 검출되었고 그리고/또는 햅틱 피드백이 (예를 들어, 컨텐츠 수신기로부터 수신된 하나 이상의 신호들에 기초하여) 인에이블되었음을 사용자 디바이스(예를 들어, 사용자 디바이스(115))의 사용자에게 통지하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 통지(605)는 사용자 디바이스가 사용자의 디바이스의 네트워크 존재를 컨텐츠 수신기에 통지했음을 사용자에게 알리도록 추가로 구성될 수 있다.
도 5로 다시 돌아가면, 사용자 디바이스가, 단계 515에서, 자신이 검출된 컨텐츠 수신기에 아직 등록하지 않았다고 결정하는 경우, 단계 525에서, 사용자 디바이스는 사용자 디바이스의 사용자가 검출된 컨텐츠 수신기에 등록하도록 조장할 수 있다. 하나 이상의 배열들에서, 사용자 디바이스의 사용자가 검출된 컨텐츠 수신기에 등록하도록 조장하는 것은 예를 들어, 컨텐츠 수신기에 의해 수신되고, 디코딩되고, 그리고/또는 그렇지 않으면 재생되게 하는 컨텐츠에 기초하여 사용자 디바이스가 햅틱 피드백을 제공하게 하기 위해, 사용자가 검출된 컨텐츠 수신기에 사용자 디바이스를 등록하기를 원하는지의 여부를 표시하는 선택을 수행하도록 사용자에게 요청하는 메뉴, 대화상자, 또는 다른 프롬프트를 사용자 디스플레이에 의해 디스플레이하는 것을 포함할 수 있다. 이러한 프롬프트를 포함하는 사용자 인터페이스의 예가 도 7에 예시되어 있다.
특히, 도 7은 통지(705)를 포함하는 예시적인 사용자 인터페이스(700)를 예시한다. 하나 이상의 배열들에서, 예시적인 사용자 인터페이스(700)는, 사용자 디바이스(115)에 포함되고 그리고/또는 그렇지 않으면 사용자 디바이스(115)에 통신상으로 커플링된 터치-감응 디스플레이 스크린 상에, 사용자 디바이스(115)와 같은 사용자 디바이스에 의해 디스플레이될 수 있다.
도 7에 보여진 바와 같이, 사용자 인터페이스(700)의 통지(705)는, 예를 들어, 사용자 디바이스가 햅틱 피드백을 제공하게 하기 위해, 사용자가 검출된 컨텐츠 수신기에 사용자 디바이스를 등록하기를 원하는지의 여부를 표시하는 선택을 수행하도록 사용자 디바이스(예를 들어, 사용자 디바이스(115))의 사용자에게 요청하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 통지(705)는 검출된 컨텐츠 수신기에 관한 추가적인 상세항목들을 사용자에게 통지하도록 추가로 구성될 수 있는데, 왜냐면 이것이 사용자가 자신들이 그 컨텐츠 수신기에 등록하기를 원하는지의 여부를 결정하게 할 수 있기 때문이다.
다시 도 5를 참조하면, 단계 530에서, 사용자 디바이스는 등록 요청이 수신되었는지의 여부를 결정할 수 있다. 하나 이상의 배열들에서, 등록 요청이 수신되었는지의 여부를 결정하는 것은, 단계 525에서 디스플레이된 프롬프트에 응답하여 사용자 디바이스에 의해 수신된 선택과 같은, 사용자 디바이스에 의해 수신된 사용자 입력에 기초할 수 있다.
사용자 디바이스가, 단계 530에서, 등록 요청이 수신되었다고 결정하는 경우, 단계 535에서, 사용자 디바이스는 검출된 컨텐츠 수신기에 등록 정보를 송신할 수 있다. 하나 이상의 배열들에서, 등록 정보를 컨텐츠 수신기에 송신하는 것은, 사용자 디바이스를 식별하는 정보(예를 들어, 사용자 디바이스의 제조자 및/또는 모델을 식별하는 정보) 및/또는 사용자 디바이스의 능력들을 설명하는 정보와 같은 사용자 디바이스에 관한 정보를 포함하는 하나 이상의 메시지들 및/또는 다른 전자 통신들을 사용자 디바이스에 의해 송신하는 것을 포함할 수 있다.
예를 들어, 컨텐츠 수신기(110)에 등록 정보를 송신할 시에, 사용자 디바이스(115)는 사용자 디바이스(115)를 식별하는 정보 및/또는 사용자 디바이스(115)의 능력들을 설명하는 정보를 포함하는 하나 이상의 메시지들을 컨텐츠 수신기(110)에 로컬 네트워크를 통해 송신할 수 있다. 사용자 디바이스(115)를 식별하는 정보는 사용자 디바이스(115)의 제조자 명, 사용자 디바이스(115)의 모델명, 사용자 디바이스(115)의 모델 번호, 사용자 디바이스(115)에 포함되고 그리고/또는 사용자 디바이스(115)에서 실행되는 하드웨어 및/또는 소프트웨어의 버전 번호(들), 및/또는 다른 정보를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 디바이스(115)의 능력들을 설명하는 정보는 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 입력 센서들 및/또는 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 출력 컴포넌트들을 식별하는 디바이스 능력 정보를 포함할 수 있다.
예를 들어, 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 입력 센서들 각각에 대해, 디바이스 능력 정보는 특정 센서가 캡쳐할 수 있는 햅틱 입력의 타입 또는 타입들(예를 들어, 돌출 및/또는 변형 햅틱 입력, 열적 햅틱 입력, 진동 햅틱 입력, 질감 햅틱 입력 등), 특정 센서의 포지션(예를 들어, 사용자 디바이스(115)의 하나 이상의 표면들 상의 하나 이상의 기준 포인트들에 관한 그리고/또는 사용자 디바이스(115)에 포함된 하나 이상의 다른 센서들에 관한 특정 센서의 포지션을 특정하는 좌표), 및/또는 특정 센서를 식별하는 다른 정보(예를 들어, 센서의 제조자, 센서의 모델명 및/또는 모델 번호, 센서의 버전 번호 등)를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 디바이스(115)에 포함된 하나 이상의 햅틱 출력 컨포넌트들 각각에 대해, 디바이스 능력 정보는 특정 컴포넌트가 재생할 수 있는 햅틱 출력의 타입 또는 타입들(예를 들어, 돌출 및/또는 변형 햅틱 효과들, 열적 햅틱 효과들, 진동 햅틱 효과들, 질감 햅틱 효과들 등), 특정 컴포넌트의 포지션(예를 들어, 사용자 디바이스(115)의 하나 이상의 표면들 상의 하나 이상의 기준 포인트들에 관한 그리고/또는 사용자 디바이스(115)에 포함된 하나 이상의 다른 컴포넌트들에 관한 특정 컴포넌트의 포지션을 특정하는 좌표들), 및/또는 특정 컴포넌트를 식별하는 다른 정보(예를 들어, 컴포넌트의 제조자, 컴포넌트의 모델명 및/또는 모델 번호, 컴포넌트의 버전 번호 등)를 포함할 수 있다.
일부 경우들에서, 특정 센서를 식별하고 그리고/또는 사용자 디바이스(115)에 포함된 특정 컴포넌트를 식별하는 정보는 컨텐츠 수신기(110)가 특정 센서 및/또는 특정 컴포넌트의 능력들을 검색하고 그리고/또는 그렇지 않으면 결정하게 할 수 있는데, 왜냐하면, 컨텐츠 수신기(110)는 이러한 정보가 등록 동안 사용자 디바이스(115)에 의해 제공되지 않는 경우들에서 특정 센서 및/또는 특정 컴포넌트에 대한 능력 정보를 (예를 들어, 인터넷 접속을 사용하여) 검색하고 그리고/또는 사용하도록 구성될 수 있기 때문이다. 추가적으로 또는 대안적으로, 컨텐츠 수신기(110)는 이러한 정보가 등록 동안 사용자 디바이스(115)에 의해 제공되는 경우들에서조차 특정 센서 및/또는 특정 컴포넌트에 대한 능력 정보를 (예를 들어, 인터넷 접속을 사용하여) 검색하고 그리고/또는 검증하도록 구성될 수 있다.
다시 도 5를 참조하면, 단계 540에서, 사용자 디바이스는 컨텐츠 수신기로부터 확인응답 메시지를 수신할 수 있다. 하나 이상의 배열들에서, 컨텐츠 수신기로부터 확인응답 메시지를 수신하는 것은 단계 535에서 컨텐츠 수신기에 제공된 등록 정보가 수신되었고 그리고/또는 하나 이상의 타이밍/감각 데이터 신호들이 하나 이상의 컨텐츠 항목들과 관련하여 사용자 디바이스에 제공될 것임을 확인하는 정보를 컨텐츠 수신기로부터 수신하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 컨텐츠 수신기로부터 확인응답 메시지를 수신하는 것은, 사용자 디바이스에서, 컨텐츠 수신기로부터 하나 이상의 타이밍/감각 데이터 신호들을 초기에 수신하는 것을 포함할 수 있다. 예를 들어, 일부 배열들에서, 사용자 디바이스(115)는 단계 540에서 컨텐츠 수신기(110)로부터 하나 이상의 타이밍/감각 데이터 신호들을 수신하기 시작할 수 있다.
일단 사용자 디바이스가 컨텐츠 수신기에 등록하면, 사용자 디바이스는 하나 이상의 사용자들에 햅틱 피드백을 제공할 수도 있고, 여기서 햅틱 피드백은 컨텐츠 수신기에 의해 수신되고, 디코딩되고, 디스플레이되고, 그리고/또는 다른 방식으로 재생되는 미디어 컨텐츠와 동기화된다. 일부 상황들에서, 사용자 디바이스는 오직 한번만 컨텐츠 수신기에 등록할 필요가 있으며, 따라서, 사용자 디바이스가 컨텐츠 수신기 근처에(또는 그렇지 않으면, 사용자 디바이스가 햅틱 피드백을 제공하기에 바람직할 포지션에) 있을 추후 경우들에서, 사용자 디바이스는 단순히 컨텐츠 수신기에 통지하고, 사용자에게 햅틱 피드백을 제공하기 시작하기 위해 컨텐츠 수신기로부터 햅틱 데이터를 수신하기 시작할 수 있다. 사용자 디바이스가 자신이 컨텐츠 디바이스 근처에 있거나 또는 그렇지 않으면 햅틱 피드백이 특정 미디어 컨텐츠와 관련하여 제공될 수 있는 장소에 위치된다고 결정할 수 있는 방법을 예시하는 몇몇 예들이 이제 설명될 것이다.
도 8은 개시내용의 하나 이상의 예시적인 양상들에 따른 대응하는 감각 데이터를 가지는 로컬 컨텐츠 스트림을 발견하는 예시적인 방법을 예시한다. 하나 이상의 양상들에 따르면, 도 8에 예시된 예시적인 방법은, 컴퓨팅 디바이스의 근처에서 특정 컨텐츠 스트림을 식별하고, 특정 컨텐츠 스트림이 식별되었음을 컨텐츠 수신기에 통지하기 위해, 사용자 디바이스(115)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있다. 하기에 논의된 바와 같이, 이것은 컨텐츠 수신기가 특정 컨텐츠 스트림과 동기화된 감각 데이터 신호를 디바이스에 제공하게 할 수 있다.
단계 805에서, 사용자 디바이스(115)와 같은 사용자 디바이스는 가까운 컨텐츠 스트림을 검출할 수 있다. 일부 실시예들에서, 디바이스는, 하나 이상의 센서들에 의해 캡쳐된 데이터에 기초하여, 특정 컨텐츠 스트림이 디바이스 근처 내에서 재생될 수 있음을 결정함으로써 근접한 컨텐츠 스트림을 검출할 수 있다. 이 데이터는 디바이스에 포함된 하나 이상의 마이크로폰들에 의해 캡쳐된 오디오 데이터, 디바이스에 포함된 하나 이상의 카메라들에 의해 캡쳐된 이미지 및/또는 비디오 데이터, 및/또는 다른 데이터를 포함할 수 있다.
예를 들어, 단계(805)에서, 사용자 디바이스(115)는 디바이스의 지역(local) 환경으로부터 오디오 및/또는 비디오 데이터를 (예를 들어, 하나 이상의 마이크로폰들 및/또는 카메라들을 사용하여) 캡쳐할 수 있다. 캡쳐된 오디오 및/또는 비디오 데이터를 분석함으로써, 사용자 디바이스(115)는 이후 (예를 들어, 사용자 디바이스(115)가 위치된 구내에서의 로컬 컨텐츠 수신기에 의해 수신되고 그리고/또는 디코딩된 하나 이상의 컨텐츠 스트림들 중) 특정 컨텐츠 스트림이 사용자 디바이스(115)의 현재 포지션에 대해 가까운 컨텐츠 스트림이라고 결정할 수 있다. 예를 들어, 사용자 디바이스(115)는 사용자 디바이스(115)에 의해 캡쳐된 오디오 데이터 및/또는 비디오 데이터가 특정 컨텐츠 스트림의 일부이고 그리고/또는 그렇지 않으면 특정 컨텐츠 스트림과 연관된 오디오 데이터 및/또는 비디오 데이터를 포함하고 그리고/또는 그렇지 않으면 이에 대응한다고 결정하는 것에 기초하여 특정 컨텐츠 스트림을 재생하고 있는 특정 디스플레이 스크린 및/또는 사운드 시스템에 사용자 디바이스(115)가 물리적으로 가깝다고 결정할 수 있다.
후속적으로, 단계 810에서, 사용자 디바이스는 사용자 디바이스가 컨텐츠 스트림을 검출했음을 컨텐츠 수신기에 통지할 수 있다. 일부 실시예들에서, 디바이스는 현재 재생중인 프로그램의 제목, 컨텐츠 스트림과 연관된 고유한 식별자와 같은 검출된 컨텐츠 스트림을 식별하는 정보, 및/또는 다른 정보를 포함하는 하나 이상의 메시지들을 (예를 들어, 무선 데이터 접속을 통해) 컨텐츠 수신기에 송신함으로써 이러한 방식으로 컨텐츠 수신기에 통지할 수 있다. 추가적으로 또는 대안적으로, 디바이스는 컨텐츠 수신기에 캡쳐된 오디오 및/또는 비디오 데이터의 샘플들을 송신함으로써 컨텐츠 수신기에 통지할 수 있고, 이에 의해 컨텐츠 수신기가 검출된 컨텐츠 스트림을 인지하기 위해 캡쳐된 오디오 및/또는 비디오 데이터를 분석하게 할 수 있다. 예를 들어, 단계 810에서, 사용자 디바이스(115)는 사용자 디바이스(115)가 검출되었으며 단계 805에서 검출된 컨텐츠 스트림에 가까움을 컨텐츠 수신기에 통지하는 하나 이상의 메시지들을 로컬 컨텐츠 수신기에 송신할 수 있다. 이러한 통지는 로컬 컨텐츠 수신기가 검출된 컨텐츠 스트림에 대응하는 감각 데이터 신호를 사용자 디바이스(115)에 제공할 수 있게 그리고/또는 제공하게 할 수 있다.
단계 815에서, 사용자 디바이스는 로컬 컨텐츠 수신기로부터 감각 데이터 신호를 수신할 수 있다. 위에서 표시된 바와 같이, 다양한 실시예들에서, 로컬 컨텐츠 수신기로부터 사용자 디바이스에 의해 수신된 감각 데이터 신호는 사용자 디바이스에 의해 검출된 가까운 컨텐츠 스트림에 대응할 수 있다. 더 구체적으로, 이 감각 데이터 신호는 햅틱 피드백으로서 사용자 디바이스(예를 들어, 사용자 디바이스(115))의 사용자에게 제공될 하나 이상의 햅틱 감각들을 정의하는 정보를 포함할 수 있다. 또한, 감각 데이터 신호는 사용자 디바이스가 특정 시간들에서 이들 햅틱 감각들을 제공하게 하도록 구성될 수 있고, 따라서, 사용자 디바이스에 의해 제공된 햅틱 감각들은 컨텐츠 스트림 내의 특정 이벤트들과 동시에 제공된다. 햅틱 피드백이 제공될 수 있는 이벤트들의 예들은, 폭발, 벼락, 지진, 우천, 발자국 등을 포함한다. 이들 이벤트들이 예들로서 본원에 열거되어 있지만, 햅틱 피드백은 원하는 경우, 본원에 열거된 그러한 이벤트들 대신 그리고/또는 이벤트들에 추가하여, 임의의 다른 이벤트들과 관련하여 제공될 수 있다.
도 8에 관련하여 위에서 논의된 예시적인 방법을 수행함으로써, 사용자 디바이스는 디바이스에 가까운 것으로서 특정 컨텐츠 스트림을 식별하고, 컨텐츠 스트림과 연관된 감각 데이터 신호를 수신하기 위해 컨텐츠 수신기에 통지할 수도 있다. 이것은 사용자 디바이스가, 심지어 다수의 로컬 미디어 디바이스들이 동시에 다수의 상이한 컨텐츠 스트림들을 재생하는 환경에서조차도, 스스로를 특정 컨텐츠 스트림 및 대응하는 감각 데이터 신호와 자동으로 동기화하게 할 수도 있다. 이러한 환경의 예가 도 9에 예시되어 있다.
도 9는 개시내용의 하나 이상의 예시적인 양상들에 따라 대응하는 감각 데이터를 가지는 로컬 컨텐츠 스트림을 발견하는 디바이스의 예를 예시한다. 도 9에서 보여지는 바와 같이, 하우스, 아파트, 또는 다른 구내를 나타낼 수 있는 로컬 환경(900)은 텔레비전(905) 및 텔레비전(910)과 같은 다수의 미디어 재생 디바이스들을 포함할 수 있다. 추가로, 다양한 미디어 재생 디바이스들은 로컬 환경(900)의 상이한 룸들 또는 다른 별개의 영역들에 위치될 수 있다. 예를 들어, 도 9에 예시된 예에서, 텔레비전(905)은 로컬 환경(900)의 주방 영역에 위치될 수 있는 반면, 텔레비전(910)은 로컬 환경(900)의 서재 영역에 위치될 수 있다.
또한 도 9에 예시된 바와 같이, 사용자 디바이스(915)와 같은 사용자 디바이스는 사용자가 로컬 환경(900)의 상이한 영역들 사이에서 휴대할 수 있는 모바일 디바이스일 수 있다. 사용자 디바이스(915)가 로컬 환경(900)의 상이한 영역들을 통해 이동함에 따라, 사용자 디바이스(915)는 상이한 미디어 디바이스들 및, 대응적으로, 상이한 미디어 디바이스들에 의해 재생되는 상이한 컨텐츠 스트림들에 가까울 수 있다.
도 8에 관련하여 위에서 논의된 방법의 하나 이상의 단계들을 수행함으로써, 도 9의 사용자 디바이스(915)는, 감각 데이터 신호를 수신하고, 사용자 디바이스(915)의 사용자에 의해 시청되고, 청취되고, 그리고/또는 다른 방식으로 경험될 가능성이 가장 높은 컨텐츠 스트림에 대응하는 햅틱 피드백을 제공하기 위해, 가까운 컨텐츠 스트림으로서 특정 컨텐츠 스트림을 식별할 수도 있다. 예를 들어, 사용자 디바이스(915)의 지역 환경으로부터 오디오 데이터 및/또는 비디오 데이터를 캡쳐함으로써, 사용자 디바이스(915)는 자신이, 예를 들어, 텔레비전(905)에 의해 재생되는 제2 컨텐츠 스트림보다는, 텔레비전(910)에 의해 재생되는 제1 컨텐츠 스트림 근처에 있다고 결정할 수 있다.
(예를 들어, 도 8에 관련하여 위에서 논의된 예들 중 일부에서와 같이) 가까운 컨텐츠 스트림을 검출하기 위해 캡쳐된 오디오 및/또는 캡쳐된 비디오를 사용하는 것에 더하여, 사용자 디바이스(115)와 같은 사용자 디바이스는, 추가적으로 또는 대안적으로, 사용자 디바이스에 의해 제공되고 그리고/또는 그렇지 않으면 사용자 디바이스에 이용가능한 위치확인(location) 서비스들을 사용하여 가까운 컨텐츠 스트림을 검출할 수 있다. 예를 들어, 일부 배열들에서, 사용자 디바이스(115)는 자신의 포지션을 결정하고 후속적으로 가까운 컨텐츠 스트림을 검출하기 위해, 실내 및/또는 실외 내비게이션 기술들(예를 들어, WiFi 스캐닝, 위성 포지셔닝 등)을 사용할 수 있다. 일부 추가적인 그리고/또는 대안적인 배열들에서, 컨텐츠 수신기 및/또는 미디어 재생 디바이스는 디바이스 발견 및/또는 컨텐츠 스트림 검출 시에 포지션 기준으로서 사용자 디바이스에 의해 사용될 수 있는 로컬 무선 신호를 전송할 수 있다.
일부 실시예들에서, 사용자 디바이스가 자신이 특정 컨텐츠 스트림에 가깝다고 결정하고, 그 특정 컨텐츠 스트림과 연관된 감각 데이터 신호를 수신하기 시작하면, 사용자 디바이스는 이후 자신이 자신의 하나 이상의 사용자들에게 햅틱 피드백을 제공하기에 적합한 포지션에 있는지의 여부를 결정할 수 있다. 사용자의 손 또는 손들에 쥐어지도록 설계된 사용자 디바이스들에 대해, 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있는지의 여부를 결정하는 것은, 예를 들어, 하기에 더 상세하게 논의되는 바와 같이, 디바이스가 사용자에 의해 현재 쥐여져 있는지의 여부를 결정하는 것을 포함할 수 있다.
도 10은 개시내용의 하나 이상의 예시적인 양상들에 따른 검출된 액티비티에 기초하여 햅틱 피드백을 제공하는 예시적인 방법을 예시한다. 하나 이상의 양상들에 따르면, 도 10에 예시된 예시적인 방법은, 사용자 디바이스(115)와 같은 컴퓨팅 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있음을 표시하는 특정 타입들의 액티비티가 검출되는지의 여부를 결정하기 위해, 그 디바이스에 의해 수행될 수 있다. 하기에 논의된 바와 같이, 이러한 결정은 사용자가 이러한 햅틱 피드백을 경험할 가능성이 가장 높을 때 디바이스가 햅틱 피드백을 선택적으로 제공하게 할 수도 있다.
단계 1005에서, 사용자 디바이스(115)와 같은 사용자 디바이스는 디바이스의 하나 이상의 사용자들에 제공될 하나 이상의 햅틱 감각들을 특정하는 신호를 수신할 수 있다. 이러한 신호는, 예를 들어, 위에서 논의된 바와 같은 감각 데이터 신호일 수 있고, 사용자 디바이스의 사용자에게 제공될 적어도 하나의 햅틱 감각을 특정할 수 있다. 그러나, 이러한 햅틱 감각(들)을 제공하기 이전에, 사용자 디바이스는 사용자 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있는지의 여부를 결정할 수 있다.
특히, 단계 1010에서, 사용자 디바이스는 사용자 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있음을 표시하는 특정 타입들의 액티비티가 검출되는지의 여부를 결정할 수 있다. 일부 실시예들에서, 이들 특정 타입들의 액티비티가 검출되는지의 여부를 결정하는 것은 디바이스가 사용자에 의해 현재 쥐여져 있는지 그리고/또는 사용자와 다른 방식으로 접촉 중인지를 결정하는 것을 포함할 수 있다.
이들 실시예들에서, 사용자 디바이스(예를 들어, 사용자 디바이스(115))는 하나 이상의 모션 센서들(예를 들어, 가속계들, 자이로스코프들, 자력계들 등), 하나 이상의 카메라들, 하나 이상의 마이크로폰들, 하나 이상의 압력 센서들(예를 들어, 그립 센서들), 및/또는 하나 이상의 다른 센서들(예를 들어, 센서가 사용자의 피부와 접촉 중인지의 여부를 결정하도록 구성되는 센서와 같은 하나 이상의 생체측정 센서들)로부터 센서 입력을 캡쳐할 수 있다. 후속적으로, 이들 실시예들에서, 사용자 디바이스는, 예를 들어, 센서 입력이 디바이스가 현재 사용자에 의해 쥐여져 있거나 또는 사용자와 다른 방식으로 접촉 중임을 표시하는지를 결정하기 위해 캡쳐된 센서 입력을 분석할 수 있다. 예를 들어, 하나 이상의 가속계들을 통해 캡쳐된 센서 입력이 디바이스가 완전히 고정되어 있지 않음을 표시하는 경우, 사용자 디바이스는 사용자 디바이스가 사용자에 의해 쥐여져 있는지 또는 사용자와 다른 방식으로 접촉 중인지를 결정할 수 있다. 다른 경우들에서, 다른 타입들의 센서 입력이 액티비티가 검출되는지 그리고 그에 따라 사용자 디바이스가 하나 이상의 사용자들에 햅틱 피드백을 제공하기에 적합한 포지션에 있는지의 여부를 결정하기 위해 가속계 입력에 추가하여 또는 가속계 입력 대신 사용될 수 있다.
단계 1010에서, 사용자 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있음을 표시하는 하나 이상의 타입들의 액티비티가 검출된다고 결정되는 경우, 단계 1015에서, 사용자 디바이스는 감각 데이터 신호에서 특정된 햅틱 피드백을 제공할 수 있다. 대안적으로, (예를 들어, 하나 이상의 특정 타입들의 액티비티가 검출되지 않기 때문에) 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있지 않다고 결정되는 경우, 단계 1020에서, 사용자 디바이스는 액티비티가 검출되지 않고 그리고/또는 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있지 않다고 컨텐츠 수신기에 통지할 수 있다.
도 11은 개시내용의 하나 이상의 예시적인 양상들에 따라 디바이스가 사용자에 의해 쥐여져 있는 예를 예시한다. 도 11에 보여진 바와 같이, 일부 실시예들에서, 사용자 디바이스(1100)는 사용자의 손(1105)에 쥐여지도록 구성될 수 있다. 또한, 사용자 디바이스는 사용자에게 햅틱 피드백을 제공하기 위해 외부 표면을 따라 하나 이상의 햅틱 컴포넌트들을 포함할 수 있다. 예를 들어, 사용자 디바이스(1100)는 사용자의 손(1105)의 표면에 접촉하기 위해, 디바이스의 후방 표면을 따라 하나 이상의 햅틱 컴포넌트들을 포함할 수 있다.
위에서 논의된 바와 같이, 일부 실시예들에서, 사용자 디바이스는 자신이 사용자에게 햅틱 피드백을 제공하기에 적합한 포지션에 있는지의 여부를 결정할 수 있다. 이러한 결정은, 예를 들어, 사용자 디바이스에 의해 캡쳐된 센서 입력에 기초할 수 있다. 도 11은 디바이스가 이러한 결정을 수행할 수 있는 방법의 한가지 예를 예시한다. 예를 들어, 도 11에 보여진 바와 같이, 사용자 디바이스(1100)는 사용자 디바이스(1100)의 다양한 에지들을 따라 포지셔닝된 하나 이상의 그립 센서들(1110)을 포함할 수 있다. 하나 이상의 그립 센서들(1110)은 사용자가 사용자 디바이스(1100)를 쥐고 있는지를 검출하도록 구성될 수 있고, 따라서, 사용자 디바이스(1100)가 자신이 사용자에 의해 현재 쥐여져 있는지를 결정하게 할 수도 있다. 하나 이상의 그립 센서들로부터의 입력이 디바이스가 햅틱 피드백을 제공하기에 적합한 포지션에 있는지를 결정하는데 사용될 수 있는 센서 입력의 예로서 본원에서 논의되었지만, 다른 타입들의 센서들로부터의 다른 입력이 유사한 방식들로 그립 센서들로부터의 입력에 추가하여 또는 그립 센서들로부터의 입력 대신에 사용될 수 있다.
도 12는 개시내용의 하나 이상의 예시적인 양상들에 따른 감각 데이터를 포함하는 새로운 컨텐츠 스트림을 검출하는 예시적인 방법을 예시한다. 하나 이상의 양상들에 따르면, 도 12에 예시된 예시적인 방법은 컨텐츠 스트림에서의 트랜지션들을 핸들링 할 시에, 사용자 디바이스(115)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 컨텐츠 수신기에 의해 수신되고 그리고/또는 디코딩되는 컨텐츠가 변경함에 따라, 사용자 디바이스는 컨텐츠 스트림에서의 변경을 검출할 수 있고, 새롭게 검출된 컨텐츠 스트림에 대응하는 감각 데이터 신호를 수신하기 시작하기 위해 도 12에 예시된 예시적인 방법의 하나 이상의 단계들을 수행할 수 있다.
단계 1205에서, 사용자 디바이스(예를 들어, 사용자 디바이스(115))는 새로운 컨텐츠 스트림을 검출할 수 있다. 예를 들어, 단계 1205에서, 위에서 논의된 바와 같이, 사용자 디바이스는 새로운 컨텐츠 스트림이 사용자 디바이스에 의해 캡쳐된 오디오 데이터 및/또는 비디오 데이터에 기초하여 검출됨을 결정할 수 있다. 일부 경우들에서, 이전 프로그램이 종료하였거나 또는 사용자가 재생을 위한 새로운 상이한 프로그램을 선택했기 때문에 새로운 컨텐츠 스트림이 검출될 수 있다. 다른 경우들에서, 사용자 디바이스가 하나의 미디어 재생 디바이스 근처의 하나의 위치로부터 상이한 미디어 재생 디바이스 근처의 또다른 위치로 이동되었기 때문에 새로운 컨텐츠 스트림이 검출될 수 있다.
후속적으로, 단계 1210에서, 사용자 디바이스는 새로운 컨텐츠 스트림이 검출되었음을 컨텐츠 수신기에 통지할 수 있다. 예를 들어, 단계 1210에서, 사용자 디바이스는 프로그램의 제목, 컨텐츠 스트림과 연관된 고유한 식별자와 같은 새로운 컨텐츠 스트림을 식별하는 정보, 및/또는 다른 정보를 포함하는 하나 이상의 메시지들을 로컬 컨텐츠 수신기에 송신할 수 있다. 이것은, 로컬 컨텐츠 수신기가 위에서 논의된 예들에서 감각 데이터 신호를 사용자 디바이스에 제공할 수 있는 방법과 유사하게, 로컬 컨텐츠 수신기가 새로운 컨텐츠 스트림에 대응하는 감각 데이터 신호를 사용자 디바이스에 제공하게 할 수 있다.
단계 1215에서, 사용자 디바이스는 단계 1220으로 진행하기 이전에 미리 결정된 시간량(예를 들어, 10초, 30초 등)만큼 대기할 수 있고, 여기서, 사용자 디바이스는 햅틱 피드백을 인에이블시키고 감각 데이터 신호에 기초하여 햅틱 피드백을 제공하기 시작할 수 있다. 새로운 컨텐츠 스트림과 연관하여 햅틱 피드백을 제공하기 시작하기 이전에 미리 결정된 시간량동안 대기함으로써, 사용자 디바이스는 예를 들어, 사용자가 햅틱 피드백을 수신하기에 최적의 포지션에 디바이스를 포지셔닝할 기회를 제공할 수 있다. 추가적으로 또는 대안적으로, 사용자 디바이스는, 예를 들어, 사용자가 컨텐츠 스트림을 디스플레이하는 미디어 디바이스 상에서 다수의 프로그램들 또는 채널들을 넘기는(flip) 상황에서 햅틱 피드백을 제공하는 것을 회피할 수 있다.
일부 실시예들에서, 햅틱 피드백을 인에이블하기 이전에 시간량이 경과하도록 대기할 시에, 사용자 디바이스는 또한 새로운 컨텐츠 스트림이 검출되었고 햅틱 피드백이 곧 인에이블될 것임을 사용자 디바이스의 하나 이상의 사용자들에게 통지하는 사용자 인터페이스를 디스플레이할 수 있다. 도 13은 이러한 사용자 인터페이스의 예를 예시한다.
특히, 도 13은 개시내용의 하나 이상의 예시적인 양상에 따른 감각 데이터를 포함하는 새로운 컨텐츠 스트림을 검출할 시에 디스플레이될 수 있는 예시적인 사용자 인터페이스(1300)를 예시한다. 도 13에 보여진 바와 같이, 사용자 인터페이스(1300)는 새로운 컨텐츠 스트림이 검출되었고 그리고/또는 햅틱 피드백이 곧 새로운 컨텐츠 스트림과 관련하여 제공될 것임을 사용자에게 통지하도록 구성되는 통지(1305)를 포함할 수 있다. 위에서 주지된 바와 같이, 이것은 예를 들어, 햅틱 피드백을 수신하기에 최적의 포지션에 디바이스를 포지셔닝할 기회를 사용자에게 제공할 수 있고, 그리고/또는 햅틱 피드백을 제공하는 것이 바람직하지 않을 수 있는 상황들, 예컨대, 사용자가 다양한 프로그램들 및/또는 채널들을 넘기는 경우에, 디바이스가 햅틱 피드백을 제공하는 것을 방지할 수 있다.
3차원(3D) 영화들이 매우 인기 있어지고 있으며, 모션 및 후각과 같은 더 새로운 차원들을 공급하려고 시도할 수 있는 영화들 및 극장들이 존재한다. 현재, 일부 극장들은 큰 스케일의 진동(예를 들어, 진동 극장 의자를 통해)을 포함하는 모션을 구현할 수 있지만, 국부적인(localized) 햅틱들의 배치는 존재하지 않는다. 이러한 햅틱 피드백을 포함시킴으로써, 엔터테인먼트 및 통신에서의 새로운 차원이 제공될 수 있다. 햅틱 피드백은 압력, 질감, 핀칭, 열, 미끄러움, 형상, 코너 등과 같은, 사람이 (예를 들어, 자신의 손 또는 손들을 이용하여) 느낄 수 있는 것들을 포함할 수 있다.
개시내용의 양상들은 디지털 영화에 통합된 시간-관련 햅틱 정보를 전송함으로써 촉각 감각들을 모바일 디바이스 내에 통합시키는 것에 관련된다. 햅틱/촉각 감각 피드백의 모바일 디바이스로의 전송은 영화관, 홈시어터에서, 영화 재생, 영화 스트리밍 등이 가능한 임의의 디바이스에 의해 이루어질 수 있다. 이것은 개인화될 수 있는 더 새로운 차원들을 통합시킴으로써 영화 시청 경험을 향상시킬 수 있다.
하나 이상의 양상들에 따르면, 새로운 차원은 촉각 피드백을 통합시킴으로써 영화 엔터테인먼트에 추가될 수 있다. 영화 엔터테인먼트는 냄새, 진동, 모션 등과 같은 3D 그래픽 및 새로운 차원의 도입으로 더욱더 상호작용적으로 될 수 있다. 2007년에서 2009년까지, 3D 영화의 수에 있어서 7배의 증가가 있었다. 그러나, 촉각 피드백은 사용자 상호작용의 중요한 컴포넌트일 수 있고, 영화 엔터테인먼트에서 현재 빠져 있다. 극장은 진동 의자 등을 제공할 수 있지만 이들은 이 차원에서 (예를 들어, 촉각 피드백의 차원에서) 생성될 수 있는 모든 효과들을 사용하지 않을 수 있다. 터치(예를 들어, 스크래치, 포크(poke) 등), 온도, 국부적/공간적 및 시변적 진동 시퀀스들 등과 같은 촉각 피드백이 제공될 수 있다.
추가적으로 또는 대안적으로, 제3 차원을 넘어, 사용자들은 자신의 요구들에 맞춤화된 다른 차원들을 가지기를 기대할 수 있다. 예를 들어, 모든 사람이 진동 의자에서 주위로 내던져지거나 생선 냄새를 맡기를 좋아하지 않을 수 있다. 하나 이상의 배열들에서, 이러한 종류의 맞춤화는 촉각 피드백을 제공하고 그리고/또는 그렇지 않으면 촉각 피드백을 사용할 수 있는 모바일 디바이스를 사용하여 제공될 수 있다.
적어도 하나의 배열에서, 디바이스는 예를 들어, 사용자에 의해 시청되는 영화(또는 다른 프로그램 컨텐츠)의 제목, 이러한 컨텐츠에 대응하는 식별자를 포함할 수 있는 상황 정보, 및/또는 다른 정보에 기초하여 햅틱 피드백 정보를 다운로드할 수 있다. 일부 배열들에서, 상황 정보는 또한 실내 위치(InNav) 정보를 사용함으로써 자동으로 획득될 수 있고, 영화(또는 다른 프로그램 컨텐츠)는 Listen과 같은 오디오 인터페이스를 사용하여 식별될 수 있다. 추가적으로 또는 대안적으로, 햅틱 정보는 또한 무선으로 전송될 수 있고, 햅틱 정보는 (예를 들어, 영화 또는 다른 프로그램 컨텐츠의) 오디오 신호에 대한 전용 채널로서 추가되거나 또는 오디오 신호의 최상부 상에서 변조될 수 있다.
하나 이상의 배열들에서, 상황 정보는: 타이밍 정보(이것이 다운로드된 햅틱 정보가 적시적인 방식으로 재생될 수 있음을 보장할 수 있음에 따라, 예를 들어, 영화 또는 다른 프로그램 컨텐츠의 시작 시간, 영화 또는 다른 프로그램 컨텐츠의 경과 시간 등); 사용자 연령 그룹(예를 들어, 노인은 오직 소프트 햅틱만이 자신의 디바이스 상에서 인에이블되도록 보장하기를 원할 수 있음); 및/또는 다른 정보를 포함할 수 있다. 적어도 하나의 구현예에서, 햅틱-인에이블 모바일 디바이스는 영화 경험에 첨부되고 그리고/또는 영화 경험 이전에 분배되는 모바일 전화 또는 다른 모바일 디바이스일 수 있다.
따라서, 개시내용의 양상들은 영화 시청 경험을 향상시키기 위한 햅틱 감각들을 인에이블시킬 수 있는 복수의 디바이스들을 사용하는 것을 인에이블시키고 포함한다. 예를 들어, 개시내용의 양상들은 햅틱 피드백(및/또는 수신될 때 하나 이상의 디바이스들이 햅틱 피드백을 제공하게 하는 정보)의 점-대-다점 브로드캐스트를 전송하는 방법을 제공한다. 하나 이상의 배열들에서, 복수의 주변 디바이스들은 특정 영화에 관련된 상황적 및 일시적 햅틱 정보를 다운로드할 수 있다. 추가적으로 또는 대안적으로, 복수의 주변 디바이스들은 모바일 디바이스에 의해 4차원(4D) 영화를 시청하고, 보고 그리고/또는 디스플레이하는 동안 햅틱 피드백 정보를 수신할 수 있다. 일부 배열들에서, 제4 차원은 공간적 및 시변 햅틱 피드백을 통합할 수 있다. 추가적으로 또는 대안적으로, 햅틱 정보는 오디오 신호에 인코딩되고, 오디오 신호에서 변조되고, 그리고/또는 전용 오디오 채널에 추가될 수 있다.
하나 이상의 추가적인 그리고/또는 대안적인 배열들에서, 햅틱 감각들을 제공할 수 있는 복수의 디바이스들은 모바일 디바이스를 포함할 수 있다. 또한, 복수의 디바이스들은 예를 들어, 사용자의 좌석에 부착되고 그리고/또는 영화 시작 이전에 분배되는 디바이스를 포함할 수 있다. 추가적으로 또는 대안적으로, 맞춤화가능한 촉각 감각이 사용자 선호도들 및/또는, (예를 들어, 사용자의) 연령 및/또는 영화(또는 다른 프로그램 컨텐츠)의 장르와 같은 다른 팩터들에 기초하여 제공될 수 있다.
향상된 미디어 경험들을 제공하기 위해 햅틱 기술들을 사용하는 다수의 양상들을 설명했지만, 개시내용의 다양한 양상들이 구현될 수 있는 컴퓨팅 시스템의 예가 이제 도 14에 관련하여 설명될 것이다. 하나 이상의 양상들에 따르면, 도 14에 예시된 바와 같은 컴퓨터 시스템은 본원에 설명된 특징들, 방법들 및/또는 방법 단계들 중 임의의 것 및/또는 전부를 구현하고, 수행하고 그리고/또는 실행할 수 있는 컴퓨팅 디바이스의 일부분으로서 통합될 수 있다. 예를 들어, 컴퓨터 시스템(1400)은 핸드-헬드 디바이스의 컴포넌트들 중 일부를 나타낼 수 있다. 핸드-헬드 디바이스는 카메라 및/또는 디스플레이 유닛과 같은 입력 감지 유닛을 가지는 임의의 컴퓨팅 디바이스일 수 있다. 핸드-헬드 디바이스의 예들은 비디오 게임 콘솔들, 태블릿들, 스마트폰들, 및 모바일 디바이스들을 포함하지만 이에 제한되지 않는다. 일 실시예에서, 컴퓨터 시스템(1400)은 위에 설명된 사용자 디바이스(115)를 구현하도록 구성된다. 도 14는 본원에 설명된 바와 같이, 다양한 다른 실시예들에 의해 제공되는 방법들을 수행할 수 있고, 그리고/또는 호스트 컴퓨터 시스템, 원격 키오스크/단말, 판매점 디바이스, 모바일 디바이스, 셋톱 박스, 및/또는 컴퓨터 시스템으로서 기능할 수 있는, 컴퓨터 시스템(1400)의 일 실시예의 개략적 예시를 제공한다. 도 14는 단지 다양한 컴포넌트들의 일반화된 예시를 제공하도록 의도되며, 그 중 임의의 것 및/또는 모두는 적합한 경우 활용될 수 있다. 따라서, 도 14는 개별 시스템 엘리먼트들이 상대적으로 분산된 또는 상대적으로 더 집적된 방식으로 구현될 수 있는 방법을 광범위하게 예시한다.
버스(1405)를 통해 전기적으로 커플링될 수 있는(또는 적합한 경우 다른 방식으로 통신 중일 수 있는) 하드웨어 엘리먼트들을 포함하는 컴퓨터 시스템(1400)이 도시되어 있다. 하드웨어 엘리먼트들은 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수-목적 프로세서들(예컨대, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등)을 제한 없이 포함하는 하나 이상의 프로세서들(1410); 카메라, 마우스, 키보드 등을 제한 없이 포함할 수 있는 하나 이상의 입력 디바이스들(1415); 및 디스플레이 유닛, 프린터 등을 제한 없이 포함할 수 있는 하나 이상의 출력 디바이스들(1420)을 포함할 수 있다.
컴퓨터 시스템(1400)은 하나 이상의 비일시적 저장 디바이스들(1425)을 더 포함할 수 있으며 (그리고/또는 이와 통신할 수 있음), 이 비일시적 저장 디바이스들은 로컬 및/또는 네트워크 액세스 가능한 저장 디바이스(이것으로 제한되지 않음)를 포함할 수 있고, 그리고/또는 디스크 드라이브, 디스크 어레이, 광학 저장 디바이스, 고체-상태 저장 디바이스, 이를 테면, 랜덤 액세스 메모리("RAM") 및/또는 판독-전용 메모리("ROM")를 포함할 수 있으며(이것으로 제한되지 않음), 이들은 프로그래밍 가능하고, 플래시-업데이트 가능한 식일 수 있다. 이러한 저장 디바이스들은, 제한 없이 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함해서, 임의의 적합한 데이터 저장 디바이스를 구현하도록 구성될 수 있다.
컴퓨터 시스템(1400)은 또한, 제한 없이 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋(예컨대, Bluetooth® 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등) 등을 포함할 수 있는 통신 서브시스템(1430)을 포함할 수 있다. 통신 서브시스템(1430)은 데이터가 네트워크(예컨대, 한가지 예를 들자면, 하기에 설명된 네트워크), 다른 컴퓨터 시스템들, 및/또는 본원에 설명된 임의의 다른 디바이스들과 교환되는 것을 허용할 수 있다. 많은 실시예들에서, 컴퓨터 시스템(1400)은, 전술된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 비-일시적 작용 메모리(1435)를 더 포함할 것이다.
컴퓨터 시스템(1400)은 또한 운영 체제(1440), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다른 코드, 이를테면 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고 그리고/또는 본원에 설명된 바와 같은 다른 실시예들에 의해 제공되는 방법들을 구현하고 그리고/또는 시스템들을 구성하도록 설계될 수 있는 하나 이상의 응용 프로그램들(1445)을 포함해서, 작용 메모리(1435) 내에 현재 위치된 것으로 도시되어 있는 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예시에 의해, 위에서 논의된 방법(들)에 관련하여 설명된 하나 이상의 프로시져들은, 예를 들어, 도 2, 3, 5, 8, 10, 및 12에 관해 설명된 바와 같이, 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고; 일 양상에서, 이후 이러한 코드 및/또는 명령들은 기술된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성하고 그리고/또는 적응시키기 위해 사용될 수 있다.
이들 명령들 및/또는 코드의 세트는 전술된 저장 디바이스(들)(1425)와 같은 컴퓨터-판독가능한 저장 매체에 저장될 수 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템(1400)과 같은 컴퓨터 시스템 내에 통합될 수 있다. 다른 실시예들에서, 저장 매체는 컴퓨터 시스템(예를 들어, 컴팩트 디스크와 같은 제거가능한 매체)와는 별개이고, 그리고/또는 설치 패키지 내에 제공될 수 있으며, 따라서, 저장 매체는 저장된 명령들/코드를 이용하여 범용 컴퓨터를 프로그래밍하고, 구성하고, 그리고/또는 적응시키기 위해 사용될 수 있다. 이들 명령들은, 컴퓨터 시스템(1400)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고, 그리고/또는 (예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등 중 임의의 것을 사용하여) 컴퓨터 시스템(1400) 상에서 컴파일 및/또는 설치 시에 이후 실행가능 코드의 형태를 취하는, 소스 및/또는 설치가능 코드의 형태를 취할 수 있다.
특정 요건들에 따라 실질적인 변경들이 이루어질 수 있다. 예를 들어, 맞춤화된 하드웨어가 또한 사용될 수 있고, 그리고/또는 특정 엘리먼트들이 하드웨어, 소프트웨어(애플릿 등과 같은 휴대용 소프트웨어를 포함하는), 또는 둘 모두에서 구현될 수 있다. 또한, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 접속이 사용될 수 있다.
일부 실시예들은 개시내용에 따른 방법들을 수행하기 위해 컴퓨터 시스템(컴퓨터 시스템(1400)과 같은)을 사용할 수 있다. 예를 들어, 설명된 방법들의 프로시져들 중 일부 또는 전부는 프로세서(1410)가 작용 메모리(1435)에 포함된 (운영 체제(1440) 및/또는 응용 프로그램(1445)과 같은 다른 코드에 통합될 수 있는) 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여 컴퓨터 시스템(1400)에 의해 수행될 수 있다. 이러한 명령들은 저장 디바이스(들)(1425) 중 하나 이상과 같은 또다른 컴퓨터-판독가능한 매체로부터 작용 메모리(1435)로 판독될 수 있다. 단지 예시에 의해, 작용 메모리(1435)에 포함된 명령들의 시퀀스들의 실행은 프로세서(들)(1410)가 본원에 설명된 방법들, 예를 들어, 도 2, 3, 5, 8, 10 및 12에 대해 설명된 방법의 하나 이상의 프로시져들을 수행하게 할 수 있다.
용어들 "기계-판독가능한 매체" 및 "컴퓨터-판독가능한 매체"는, 본원에서 사용된 바와 같이, 기계가 특정 방식으로 동작하게 하는 데이터를 제공하는 것에 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템(1400)을 사용하여 구현된 실시예에서, 다양한 컴퓨터-판독가능한 매체는 실행을 위해 프로세서(들)(1410)에 명령들/코드를 제공하는 것에 수반될 수 있고 그리고/또는 이러한 명령들/코드를 (예를 들어, 신호들로서) 저장하고 그리고/또는 반송하기 위해 사용될 수 있다. 많은 구현예들에서, 컴퓨터-판독가능한 매체는 물리적 및/또는 유형적 저장 매체이다. 이러한 매체는, 비휘발성 매체, 휘발성 매체, 및 전송 매체를 포함하지만 이에 제한되지 않는 많은 형태들을 취할 수 있다. 비-휘발성 매체는, 예를 들어, 저장 디바이스(들)(1425)와 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체는, 제한 없이, 작용 메모리(1435)와 같은 동적 메모리를 포함한다. 전송 매체는, 제한 없이, 버스(1405)를 포함하는 와이어들을 포함해서, 동축 케이블, 구리 와이어 및 광섬유들 뿐만 아니라, 통신 서브시스템(1430)의 다양한 컴포넌트들(및/또는 통신 서브시스템(1430)이 다른 디바이스들과의 통신을 제공하게 하는 매체)을 포함한다. 따라서, 전송 매체는 또한 (제한 없이, 라디오-파 및 적외선 데이터 통신 동안 생성된 것과 같은, 라디오, 음향 및/또는 광 파를 포함하는) 파들의 형태를 취할 수 있다.
물리적 및/또는 유형적 컴퓨터-판독가능한 매체의 공통적 형태들은, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들, 종이테이프, 홀의 패턴을 가지는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 하기에 설명되는 바와 같은 반송파, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터-판독가능한 매체는 실행을 위해 프로세서(들)(1410)에 하나 이상의 명령들의 하나 이상의 시퀀스를 반송하는 것에 수반될 수 있다. 단지 예시에 의해, 명령들은 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 초기에 반송될 수 있다. 원격 컴퓨터는 명령들을 자신의 동적 메모리 내로 로딩하고, 컴퓨터 시스템(1400)에 의해 수신되고 그리고/또는 실행될 명령들을 신호들로서 전송 매체를 통해 송신할 수 있다. 전자기 신호들, 음향 신호들, 광학 신호들 등의 형태일 수 있는 이들 신호들은, 발명의 다양한 실시예에 따라, 명령들이 인코딩될 수 있는 반송파들의 모든 예들이다.
통신 서브시스템(1430)(및/또는 통신 서브시스템(1430)의 컴포넌트들)은 일반적으로 신호들을 수신할 것이고, 버스(1405)는 이후 신호들(및/또는 신호들에 의해 반송되는 데이터, 명령들 등)을 작용 메모리(1435)에 반송할 수 있고, 작용 메모리(1435)로부터 프로세서(들)(1410)가 명령들을 리트리브(retrieve)하고 실행한다. 작용 메모리(1435)에 의해 수신된 명령들은 선택적으로, 프로세서(들)(1410)에 의한 실행 이전 또는 이후 중 어느 하나에서, 비-일시적 저장 디바이스(1425) 상에 저장될 수 있다.
위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시예들이, 적합한 경우, 다양한 프로시져들 또는 컴포넌트들을 생략하거나, 대체하거나, 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고 그리고/또는 다양한 스테이지들이 추가되고, 생략되고 그리도/또는 결합될 수 있다. 또한, 특정 실시예들에 대해 설명된 특징들이 다양한 다른 실시예들에서 결합될 수 있다. 실시예들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 결합될 수 있다. 또한, 기술은 진화하고, 따라서 엘리먼트들 중 다수는, 개시내용의 범위를 그러한 특정 예들로 제한하지 않는 예들이다.
특정 상세항목들은 실시예들의 철저한 이해를 제공하기 위해 설명에 주어져 있다. 그러나, 엘리먼트들은 이들 특정 상세항목들 없이도 구현될 수 있다. 예를 들어, 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 실시예를 모호하게 하는 것을 회피하기 위해 불필요한 상세항목 없이 도시되었다. 이러한 설명은 오직 예시적인 실시예들을 제공하며, 발명의 범위, 응용가능성, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 실시예들의 이전 설명은 본 발명의 실시예들을 구현할 수 있게 하는 설명을 당업자에게 제공할 것이다. 다양한 변경들은 발명의 사상 및 범위로부터의 이탈 없이 엘리먼트들의 기능 및 배열에서 이루어질 수 있다.
또한, 일부 실시예들은 흐름도들 또는 블록도들로서 도시된 프로세스들로서 설명되었다. 각각이 순차적인 프로세스로서 동작들을 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 또한, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 결합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에서 구현될 때, 연관된 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터-판독가능한 매체에 저장될 수 있다. 프로세서들은 연관된 작업들을 수행할 수 있다.
몇몇 실시예들을 기술하였지만, 다양한 수정들, 대안적인 구성들 및 등가물들이 개시 내용의 사상으로부터의 이탈 없이 사용될 수 있다. 예를 들어, 위의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수 있고, 다른 규칙들이 발명의 응용보다 우선순위를 취할 수 있거나, 또는 다른 방식으로 발명의 응용을 수정할 수 있다. 또한, 다수의 단계들은 위의 엘리먼트들이 고려되기 이전에, 고려되는 동안, 또는 고려된 이후 착수될 수 있다. 따라서, 위의 설명은 개시내용의 범위를 제한하지 않는다.

Claims (40)

  1. 방법으로서,
    가까운 컨텐츠 스트림(proximate content stream)을 검출하는 단계;
    컴퓨팅 디바이스에 의해, 로컬 컨텐츠 수신기와의 접속을 설정하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 가까운 컨텐츠 스트림을 상기 로컬 컨텐츠 수신기에 통지하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 로컬 컨텐츠 수신기로부터, 상기 로컬 컨텐츠 수신기에 의해 수신된 미디어 컨텐츠 항목의 재생에 대해 특정 시간에 제공될 하나 이상의 햅틱 효과들을 특정하는 감각 데이터 신호를 수신하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 하나 이상의 햅틱 효과들을 제공하는 단계를 포함하고,
    상기 가까운 컨텐츠 스트림을 검출하는 단계는, 상기 가까운 컨텐츠 스트림의 재생에 대응하는 오디오 또는 비디오 데이터 중 하나 이상을 캡쳐하는 단계를 포함하고,
    상기 가까운 컨텐츠 스트림을 상기 로컬 컨텐츠 수신기에 통지하는 단계는, 상기 캡쳐된 오디오 또는 비디오 데이터의 적어도 일부분을 상기 로컬 컨텐츠 수신기에 송신하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 로컬 컨텐츠 수신기와의 접속을 설정하는 단계는:
    무선 영역 네트워크 상에서 상기 로컬 컨텐츠 수신기를 검출하는 단계; 및
    상기 로컬 컨텐츠 수신기에 등록 정보를 송신하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 등록 정보는 디바이스 능력 정보를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 가까운 컨텐츠 스트림은 상기 컴퓨팅 디바이스의 현재 포지션에 대해 물리적으로 가장 가까운 컨텐츠 스트림인, 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 햅틱 효과들을 제공하기 이전에, 액티비티가 검출되는지 여부를 결정하는 단계를 더 포함하고,
    상기 액티비티가 검출되는지 여부를 결정하는 단계는, 상기 컴퓨팅 디바이스가 움직이고 있는지, 움직이지 않는지(at rest), 아니면 사용자에 의해 쥐여져 있는지 여부를 결정하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    제2 미디어 컨텐츠 항목과 연관된 새로운 컨텐츠 스트림을 검출하는 단계;
    상기 새로운 컨텐츠 스트림을 상기 로컬 컨텐츠 수신기에 통지하는 단계; 및
    상기 로컬 컨텐츠 수신기로부터 수신된 데이터에 기초하여 하나 이상의 추가적인 햅틱 효과들을 제공하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서,
    상기 하나 이상의 추가적인 햅틱 효과들을 제공하기 이전에, 미리 결정된 시간량 동안 대기하는 단계를 더 포함하는, 방법.
  8. 컴퓨터-실행가능한 명령들이 저장된 컴퓨터-판독가능한 저장 매체로서,
    상기 명령들은, 실행될 때, 컴퓨팅 디바이스로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터-판독가능한 저장 매체.
  9. 시스템으로서,
    가까운 컨텐츠 스트림을 검출하기 위한 수단;
    로컬 컨텐츠 수신기와의 접속을 설정하기 위한 수단;
    상기 가까운 컨텐츠 스트림을 상기 로컬 컨텐츠 수신기에 통지하기 위한 수단;
    상기 로컬 컨텐츠 수신기로부터, 상기 로컬 컨텐츠 수신기에 의해 수신된 미디어 컨텐츠 항목의 재생에 대해 특정 시간에 제공될 하나 이상의 햅틱 효과들을 특정하는 감각 데이터 신호를 수신하기 위한 수단; 및
    상기 하나 이상의 햅틱 효과들을 제공하기 위한 수단을 포함하고,
    상기 가까운 컨텐츠 스트림을 검출하기 위한 수단은, 상기 가까운 컨텐츠 스트림의 재생에 대응하는 오디오 또는 비디오 데이터 중 하나 이상을 캡쳐하기 위한 수단을 포함하고,
    상기 가까운 컨텐츠 스트림을 상기 로컬 컨텐츠 수신기에 통지하기 위한 수단은, 상기 캡쳐된 오디오 또는 비디오 데이터의 적어도 일부분을 상기 로컬 컨텐츠 수신기에 송신하기 위한 수단을 포함하는, 시스템.
  10. 제9항에 있어서,
    상기 로컬 컨텐츠 수신기와의 접속을 설정하기 위한 수단은:
    무선 영역 네트워크 상에서 상기 로컬 컨텐츠 수신기를 검출하기 위한 수단; 및
    상기 로컬 컨텐츠 수신기에 등록 정보를 송신하기 위한 수단을 더 포함하고,
    상기 등록 정보는 디바이스 능력 정보를 포함하는, 시스템.
  11. 제9항에 있어서,
    상기 가까운 컨텐츠 스트림은 사용자 디바이스의 현재 포지션에 대해 물리적으로 가장 가까운 컨텐츠 스트림인, 시스템.
  12. 제9항에 있어서,
    상기 하나 이상의 햅틱 효과들을 제공하기 이전에, 액티비티가 검출되는지 여부를 결정하기 위한 수단을 더 포함하고,
    상기 액티비티가 검출되는지 여부를 결정하기 위한 수단은, 상기 시스템이 움직이고 있는지, 움직이지 않는지, 아니면 사용자에 의해 쥐여져 있는지 여부를 결정하기 위한 수단을 포함하는, 시스템.
  13. 제9항에 있어서,
    제2 미디어 컨텐츠 항목과 연관된 새로운 컨텐츠 스트림을 검출하기 위한 수단;
    상기 새로운 컨텐츠 스트림을 상기 로컬 컨텐츠 수신기에 통지하기 위한 수단; 및
    미리 결정된 시간량을 대기한 이후에 상기 로컬 컨텐츠 수신기로부터 수신된 데이터에 기초하여 하나 이상의 추가적인 햅틱 효과들을 제공하기 위한 수단을 더 포함하는, 시스템.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
KR1020147020202A 2011-12-21 2012-12-18 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용 KR101984645B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161578685P 2011-12-21 2011-12-21
US61/578,685 2011-12-21
US13/594,502 US10013857B2 (en) 2011-12-21 2012-08-24 Using haptic technologies to provide enhanced media experiences
US13/594,502 2012-08-24
PCT/US2012/070382 WO2013096327A1 (en) 2011-12-21 2012-12-18 Using haptic technologies to provide enhanced media experiences

Publications (2)

Publication Number Publication Date
KR20140105024A KR20140105024A (ko) 2014-08-29
KR101984645B1 true KR101984645B1 (ko) 2019-05-31

Family

ID=47501508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147020202A KR101984645B1 (ko) 2011-12-21 2012-12-18 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용

Country Status (8)

Country Link
US (1) US10013857B2 (ko)
EP (1) EP2795909B1 (ko)
JP (1) JP6219842B2 (ko)
KR (1) KR101984645B1 (ko)
CN (1) CN104012098B (ko)
HU (1) HUE047086T2 (ko)
IN (1) IN2014CN03994A (ko)
WO (1) WO2013096327A1 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US20140108602A1 (en) * 2012-10-13 2014-04-17 Thomas Walter Barnes Method and system for delivering time-sensitive, event-relevant interactive digital content to a user during a separate event being experienced by the user
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
WO2014131733A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9703379B2 (en) * 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US10248206B2 (en) 2013-08-20 2019-04-02 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9520036B1 (en) 2013-09-18 2016-12-13 Amazon Technologies, Inc. Haptic output generation with dynamic feedback control
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
US20150205352A1 (en) * 2013-12-29 2015-07-23 Immersion Corporation Distributed control architecture for haptic devices
CN106164990B (zh) * 2014-01-29 2020-07-31 吉特马尔公司 触觉、动作或运动信号转换系统及组件
US20150310831A1 (en) * 2014-04-29 2015-10-29 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using camera
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9606624B2 (en) 2014-07-02 2017-03-28 Immersion Corporation Systems and methods for surface elements that provide electrostatic haptic effects
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US10613628B2 (en) 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
CA2977740C (en) * 2015-02-26 2023-10-03 Second Screen Ventures Ltd. System and method for associating messages with media during playing thereof
CN104796738A (zh) * 2015-04-01 2015-07-22 乐视致新电子科技（天津）有限公司 信息联动方法、装置、服务端和系统
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
CN105871664A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 可穿戴设备的控制方法及装置
WO2017102026A1 (en) 2015-12-18 2017-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Immersive video with haptic feedback
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
US10198072B2 (en) * 2016-06-08 2019-02-05 Immersion Corporation Haptic feedback for opportunistic displays
US10671186B2 (en) 2016-06-15 2020-06-02 Microsoft Technology Licensing, Llc Autonomous haptic stylus
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
KR101972043B1 (ko) * 2016-10-31 2019-04-24 씨제이포디플렉스 주식회사 사물인터넷 기술을 접목한 4d 상영관 시스템
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US10541005B2 (en) * 2017-05-17 2020-01-21 Cypress Semiconductor Corporation Distributed and synchronized control system for environmental signals in multimedia playback
CN107507629B (zh) * 2017-08-16 2020-08-25 重庆科技学院 热触觉音乐感知系统及其控制方法
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
US10657779B2 (en) * 2018-06-07 2020-05-19 Lofelt Gmbh Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
EP3833039A4 (en) * 2018-08-30 2021-06-09 Sony Corporation SENDING DEVICE, SENDING METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
US11197074B2 (en) * 2018-09-24 2021-12-07 Brian Sloan Synchronized video annotation and control system for sexual stimulation devices
US10638174B2 (en) * 2018-09-24 2020-04-28 Brian Sloan Synchronized video control system for sexual stimulation devices
CN113196790B (zh) * 2018-12-26 2024-04-09 索尼集团公司 发送设备、发送方法、接收设备和接收方法
US20230044961A1 (en) * 2021-08-09 2023-02-09 Disney Enterprises, Inc. Automated haptics generation and distribution

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939623B1 (ko) * 2005-10-19 2010-01-29 임머숀 코퍼레이션 미디어 전송 스트림에서 햅틱 효과 데이터의 동기화

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388992A (en) * 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6470378B1 (en) * 1999-03-31 2002-10-22 Intel Corporation Dynamic content customization in a clientserver environment
AUPR061800A0 (en) * 2000-10-09 2000-11-02 Lake Technology Limited Authoring system
US6963762B2 (en) * 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
WO2003041046A1 (en) 2001-09-24 2003-05-15 Immersion Corporation Data filter for haptic feedback devices having low-bandwidth communication links
US8033907B2 (en) * 2001-10-02 2011-10-11 Universal Entertainment Corporation Slot machine and control method of game
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7634795B2 (en) 2002-01-11 2009-12-15 Opentv, Inc. Next generation television receiver
JP4052556B2 (ja) 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
US20050062841A1 (en) * 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US20050226601A1 (en) * 2004-04-08 2005-10-13 Alon Cohen Device, system and method for synchronizing an effect to a media presentation
JP2005333365A (ja) 2004-05-19 2005-12-02 Dowango:Kk 携帯電話端末、および同端末を用いた放送番組連動型演出システム、ならびに端末プログラム、同プログラムを記録した記録媒体
JP4745737B2 (ja) 2004-08-06 2011-08-10 キヤノン株式会社 撮像装置、通信システム、伝送方法、撮像装置の制御方法、及びコンピュータプログラム
CA2581982C (en) * 2004-09-27 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus for using location information to manage spillover in an audience monitoring system
CN101866475B (zh) 2005-08-04 2012-11-21 日本电信电话株式会社 电子水印检测方法及装置
JP4676852B2 (ja) 2005-09-22 2011-04-27 日本放送協会 コンテンツ送信装置
US8257177B1 (en) * 2005-10-04 2012-09-04 PICO Mobile Networks, Inc Proximity based games for mobile communication devices
US20070083895A1 (en) * 2005-10-12 2007-04-12 Sbc Knowledge Ventures, L.P. System and method of managing television information
JP2009521170A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 透かしによるスクリプト同期化方法
US8358976B2 (en) * 2006-03-24 2013-01-22 The Invention Science Fund I, Llc Wireless device with an aggregate user interface for controlling other devices
WO2007117649A2 (en) * 2006-04-06 2007-10-18 Immersion Corporation Systems and methods for enhanced haptic effects
WO2008023346A1 (en) * 2006-08-24 2008-02-28 Koninklijke Philips Electronics N.V. Device for and method of processing an audio signal and/or a video signal to generate haptic excitation
US8286493B2 (en) * 2006-09-01 2012-10-16 Audiozoom Ltd. Sound sources separation and monitoring using directional coherent electromagnetic waves
KR100906974B1 (ko) * 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
GB2445765A (en) * 2006-12-14 2008-07-23 Media Instr Sa Movable audience measurement system
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8472874B2 (en) * 2007-03-14 2013-06-25 Apple Inc. Method and system for pairing of wireless devices using physical presence
US8594338B2 (en) * 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US8095646B2 (en) 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US10091345B2 (en) * 2007-09-04 2018-10-02 Apple Inc. Media out interface
US20090096573A1 (en) * 2007-10-10 2009-04-16 Apple Inc. Activation of Cryptographically Paired Device
WO2009051428A1 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
KR100914418B1 (ko) * 2007-12-17 2009-08-31 한국전자통신연구원 실감형 멀티미디어 재생 시스템 및 방법
US8138896B2 (en) 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US7884734B2 (en) * 2008-01-31 2011-02-08 Microsoft Corporation Unique identification of devices using color detection
US8180296B2 (en) 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
KR101474963B1 (ko) * 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR101078641B1 (ko) * 2008-07-14 2011-11-01 명지대학교 산학협력단 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
EP2330827A4 (en) * 2008-09-22 2013-07-10 Korea Electronics Telecomm METHOD AND DEVICE FOR REALIZING SENSORY EFFECTS
US8378794B2 (en) * 2008-10-10 2013-02-19 Internet Services, Llc System and method for transmitting haptic data in conjunction with media data
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US8850532B2 (en) * 2008-10-31 2014-09-30 At&T Intellectual Property I, L.P. Systems and methods to control access to multimedia content
US20100153995A1 (en) * 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Resuming a selected viewing channel
KR20100069736A (ko) 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
JP2010187363A (ja) * 2009-01-16 2010-08-26 Sanyo Electric Co Ltd 音響信号処理装置及び再生装置
EP2406702B1 (en) * 2009-03-12 2019-03-06 Immersion Corporation System and method for interfaces featuring surface-based haptic effects
US8767774B2 (en) 2009-03-16 2014-07-01 Kabushiki Kaisha Toshiba Content provision system, content generation apparatus, content reproduction apparatus, and content generation method
EP2237577A1 (en) 2009-03-31 2010-10-06 BRITISH TELECOMMUNICATIONS public limited company Location-based messaging system
US8239277B2 (en) * 2009-03-31 2012-08-07 The Nielsen Company (Us), Llc Method, medium, and system to monitor shoppers in a retail or commercial establishment
EP2908540B1 (en) * 2009-04-01 2016-09-21 Oticon A/s A method of pairing wireless devices
US8190095B1 (en) * 2009-05-15 2012-05-29 Crestron Electronics Inc. RF audio distribution system including IR presence detection
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
KR101041104B1 (ko) * 2009-07-28 2011-06-13 (주)티엠테크 소리발생위치 감지에 따른 물체추적장치
US9264151B1 (en) * 2009-07-29 2016-02-16 Shopkick, Inc. Method and system for presence detection
US8489112B2 (en) * 2009-07-29 2013-07-16 Shopkick, Inc. Method and system for location-triggered rewards
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US20110054890A1 (en) * 2009-08-25 2011-03-03 Nokia Corporation Apparatus and method for audio mapping
US20110183654A1 (en) * 2010-01-25 2011-07-28 Brian Lanier Concurrent Use of Multiple User Interface Devices
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US8675010B2 (en) * 2010-04-02 2014-03-18 Electronics And Telecommunications Research Institute Method and apparatus for providing metadata for sensory effect, computer readable record medium on which metadata for sensory effect is recorded, method and apparatus for representating sensory effect
US9880621B2 (en) 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
CN102906667B (zh) * 2010-04-23 2016-11-23 意美森公司 用于提供触觉效果的系统和方法
JP5672759B2 (ja) 2010-04-30 2015-02-18 カシオ計算機株式会社 テレビジョンシステム及びテレビジョン受像機
KR101636723B1 (ko) * 2010-06-28 2016-07-06 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR101719653B1 (ko) * 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120203620A1 (en) * 2010-11-08 2012-08-09 Douglas Howard Dobyns Techniques For Wireless Communication Of Proximity Based Marketing
US9456289B2 (en) * 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US8655345B2 (en) * 2011-01-08 2014-02-18 Steven K. Gold Proximity-enabled remote control
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US8660581B2 (en) * 2011-02-23 2014-02-25 Digimarc Corporation Mobile device indoor navigation
US20120221687A1 (en) * 2011-02-27 2012-08-30 Broadcastr, Inc. Systems, Methods and Apparatus for Providing a Geotagged Media Experience
US8710966B2 (en) * 2011-02-28 2014-04-29 Blackberry Limited Methods and apparatus to provide haptic feedback
US20120290689A1 (en) * 2011-05-15 2012-11-15 Adam Beguelin Network Interface Auto Configuration of Wireless Devices
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20120319825A1 (en) * 2011-06-14 2012-12-20 United Video Properties, Inc. Methods, systems, and means for restricting control of a home entertainment device by a mobile device
US9041562B2 (en) * 2011-08-02 2015-05-26 International Business Machines Corporation Controlling a voice site using non-standard haptic commands
US9148280B2 (en) * 2011-09-29 2015-09-29 Verizon Patent And Licensing Inc. Method and system for providing secure, modular multimedia interaction
US9285452B2 (en) * 2011-11-17 2016-03-15 Nokia Technologies Oy Spatial visual effect creation and display such as for a screensaver
WO2013100886A1 (en) * 2011-12-27 2013-07-04 Intel Corporation Device, system and method of estimating a relative location of a mobile device
US9491237B1 (en) * 2014-03-03 2016-11-08 Amazon Technologies, Inc. Proximity based sharing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939623B1 (ko) * 2005-10-19 2010-01-29 임머숀 코퍼레이션 미디어 전송 스트림에서 햅틱 효과 데이터의 동기화

Also Published As

Publication number Publication date
KR20140105024A (ko) 2014-08-29
US20130227410A1 (en) 2013-08-29
CN104012098B (zh) 2019-03-29
IN2014CN03994A (ko) 2015-09-04
US10013857B2 (en) 2018-07-03
HUE047086T2 (hu) 2020-04-28
CN104012098A (zh) 2014-08-27
EP2795909B1 (en) 2019-11-20
WO2013096327A1 (en) 2013-06-27
JP6219842B2 (ja) 2017-10-25
JP2015509308A (ja) 2015-03-26
EP2795909A1 (en) 2014-10-29

Similar Documents

Publication Publication Date Title
KR101984645B1 (ko) 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용
KR101511881B1 (ko) 원격 장치 상에서의 적응성 미디어 콘텐츠 스크러빙
CN103748609B (zh) 用于传送来自不同设备的媒体回放的方法
US20180374268A1 (en) Interactive mixed reality system for a real-world event
JP6423445B2 (ja) マルチメディアデータ再生方法、装置およびシステム
EP3146445B1 (en) Continuation of playback of media content by different output devices
JP6503557B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019516420A (ja) ゲームセッションへの参加を容易にするための方法およびシステム
WO2014094573A1 (zh) 多终端同步播放控制方法及装置
US20150067726A1 (en) Interaction of user devices and servers in an environment
KR20150145616A (ko) 디스플레이 장치 및 그의 동작 방법
JP6124998B2 (ja) 日常デバイスを介した没入インタラクションを提供する方法及び装置
CN104903844A (zh) 用于呈现网络和相关联的移动设备中的数据的方法
KR20170032864A (ko) 전자 장치 및 전자 장치의 동작 방법
CN111770373B (zh) 基于直播的内容同步方法、装置、设备及存储介质
KR20150068587A (ko) 콘텐츠 재생 방법 및 그 장치
KR20170105884A (ko) 무선 전력 전송 장치 및 무선 전력 전송 장치의 동작 방법
KR101915129B1 (ko) 디지털 기기 및 그 제어 방법
AU2015221545B2 (en) Adaptive media content scrubbing on a remote device
KR20130065780A (ko) 획득할 컨텐트의 선택과정에서 제시된 정보를 저장하고 그 저장된 정보를 획득 컨텐트에 연관하여 제공하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant