KR101283520B1 - 시청자가 미디어 영상과 실시간으로 인터랙션하는 방법 및 장치 - Google Patents

시청자가 미디어 영상과 실시간으로 인터랙션하는 방법 및 장치 Download PDF

Info

Publication number
KR101283520B1
KR101283520B1 KR1020107026345A KR20107026345A KR101283520B1 KR 101283520 B1 KR101283520 B1 KR 101283520B1 KR 1020107026345 A KR1020107026345 A KR 1020107026345A KR 20107026345 A KR20107026345 A KR 20107026345A KR 101283520 B1 KR101283520 B1 KR 101283520B1
Authority
KR
South Korea
Prior art keywords
participant
media image
overlay
interactive
game
Prior art date
Application number
KR1020107026345A
Other languages
English (en)
Other versions
KR20110002102A (ko
Inventor
게리 엠. 젤루스키
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Publication of KR20110002102A publication Critical patent/KR20110002102A/ko
Application granted granted Critical
Publication of KR101283520B1 publication Critical patent/KR101283520B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/338—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using television networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/409—Data transfer via television network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Abstract

미디어 영상 속에서 실시간으로 참여하는 과정이 서술된다. 참가자 오버레이는 미디어 영상을 미리 처리함으로써 생성되어서, 미디어 영상에서 도시되는 하나 이상의 인터랙티브 영역들과 연관된 시변 메타데이터 스트림을 추출할 수 있다. 참가자 오버레이는 시뮬레이션 되는 물리적 현상들을 포함하는데, 이러한 물리적 현상들은 미디어 영상 속의 콘텐츠에 따라 지정되는 인터랙티브 영역들의 경계들을 포함할 수 있다. 인터랙티브 영역들을 통한, 미디어 영상과의 참가자 인터랙션은 포착되고, 표시부에 보여지기 위해 미디어 영상과 결합될 수 있다. 인터랙션은 미디어 영상 속에 있는 하나 이상의 엘리먼트들에 대한 사용자 액션과, 아바타를 통해 미디어 영상에서 표현되는 사용자 액션과, 게임 엘리먼트와 연결된, 미디어 영상 속의 사용자 액션을 포함할 수 있다.

Description

시청자가 미디어 영상과 실시간으로 인터랙션하는 방법 및 장치{Method and apparatus for real-time viewer interaction with a media presentation}
본 발명의 실시예들은 미디어 영상(media presentation)을 합동적으로 시청(collaborative viewing)하는 방법에 관한 것이며, 특히 텔레비전 쇼나 영화와 같은 미디어 영상을 인터랙트브(interactive)한 게임 경험으로 변환하는 방법에 관한 것이다.
본 출원은 2008년 4월 24일 출원되고, 젤루스키 게리 엠.(Zalewski, Gary M)이 발명자이고, "텔레비전 쇼나 영화를 인터랙티브 게임 경험으로 변화하는 시스템 및 방법 (System and method for converting a TV show or movie into an interactive game experience)"의 제목을 가진 미국 특허 가출원 61/047,737을 기초로 우선권 주장을 하는 출원이다. 이 우선권 주장 기초 출원의 기재 내용 전부는 본 명세서에 참조로서 기재되어 있는 것으로 한다.
본 출원은 2009년 4월 6일 출원 되고, 젤루스키 게리 엠.(Zalewski, Gary M)이 발명자이고, "실시간 시청자가 미디어 영상과 인터랙션하는 방법 및 장치(Method and apparatus for real-time viewer interaction with a media presentation)"의 제목을 가진 미국 특허 출원 12/419,248을 기초로 우선권 주장을 하는 출원이다. 이 우선권 주장 기초 출원의 기재 내용 전부는 본 명세서에 참조로서 기재되어 있는 것으로 한다.
영화관에서 영화 관람 시 불편한 점은 영화 상영 중 관객들 사이의 대화로 인한 방해이다. 이는 대화 자체에 문제가 있는 것이 아니라, 다른 사람의 대화이기 때문에 방해가 된다. 그러나 집에서 영화를 보는 동안 친구나 가족들과 함께 주목할 만한 장면, 관찰한 점들 및 농담을 주고 받는 것은 즐길만한 것이다. 이를 위해, 유명한 텔레비전 시리즈 인, 미스터리 공상극장 3000(Mystery Science Theater 3000)은 정말 별로인 영화를 시청하는 사람들 사이 대화에 기초하였다. 미스터리 공상극장 3000에서, 두 개의 로봇들과 인간 우주 비행사는 영화가 상영되는 동안에 비평하거나 농담을 하였다. 마치 영화관에 있는 것 같이 영상용 스크린에 영화가 보여졌고, 영화관에 앉아서 영화를 보는 것 같이 로봇들과 인간 코멘테이터들은 실루엣으로 비춰졌다.
네트워크를 통해 비디오 게임을 하는 동안 플레이어들 끼리 얘기를 주고 받을 수 있는 것은 공지된 사실이다. 사실 이러한 목적을 위해 헤드셋이 사용될 수 있다. 이미 알려진 바와 같이, 플레이어들은 이러한 게임들 속에서 플레이어를 대표하는 페르소나(persona)나 아바타(avatar)를 가진다. 그러므로, 플레이어가 게임에 참여할 수 있고, 게임 중에 다른 플레이어들과 이야기를 나눌 수 있다.
영화와 같은 미디어 영상을 수동적으로 시청하는 하나 이상의 개개인들의 경우, 영화 공간 속에서 영화와 인터랙트할 수 있는 방법이 없다. 이는, 영화를 시청하는 개개인들이 그들의 거실이나 영화관에서 코멘트를 제시하는 것 이외에는 영화 영상의 일부가 될 수 없다는 것이다. 단순하게 설명하자면, 그들은 스크린상의 액션의 일부가 되지 않는 다는 것이다. 그러한 이유는 영화와 같은 미디어 영상 속에는 관객에게 보여주기 전에 시작, 중간 그리고 끝이 정해졌으므로, 미디어 영상이 정적(static)이기 때문이다.
비디오 게임의 경우, 플레이어들은 게임의 전개(unfolding)되는 드라마에 있는 참여자이며, 방관자가 될 수 없다. 이는 부분적으로 플레이어들이 게임과 인터랙트 하면서 실시간으로 비디오 게임 스토리가 생성되므로, 비디오 게임이 동적(dynamic)이기 때문이다.
정보 및 소프트웨어 테크놀로지의 제 36번째 볼륨 중 제36권의 213 내지 223 페이지에 1994년에 실린 비. 부릴 (B. Burrill), 티. 컬스테(T. Kirste), 제이. 와이스(J. Weiss) 저, 동적 멀티미디어 객체들에 있는 시간 가변성 감지 영역들: 비디오로부터의 콘텐츠 기반 추출 방법에 대한 실용적 접근법(Time-varying Sensitive Regions in Dynamic Multi-Media Objects: a pragmatic approach to content-based retrieval from video, Information and Software Technology)은 두 개의 관점들, 즉 하이퍼 미디어(hyper-media) 및 정보 추출의 관점에서 동적인 미디어 콘텐츠에 접근하는 일반적인 개념을 서술한다. 부릴 등은 구축된 기술들로부터의 기술을 역설계(reverse engineering)하여, 감지 영역들(또는 핫 스팟(hot spot))의 일반적인 개념을 소개한다. 부릴 등은 또한 감지 영역들과 연관된 다양한 양상들을 탐험하는 현재 개발 중인 세 개의 어플리케이션들을 서술한다. 세 개의 어플리케이션들은 이러한 데이터를 관리하는 하이퍼 픽처(HyperPicture) 시스템, 영화 중심의 문맥(cinematically oriented context) 상에서 감지 영역들을 편집하는 방법의 생성 과정을 실험하는 무비 익스페리먼트(MOVie experiments) 및 멀티미디어 어플리케이션들과 인터페이스 하는 감지 영역들의 사용과 연관된 이슈들을 조사하는 쉐어 엠이(Share ME)이다.
1998년 1월 13일에 출원되고, 디. 위스텐달(D. Wistendahl), 엘. 숀(L. Chon)이 발명자이고, 인터랙티브 디지털 미디어 프로그램을 위한 미디어 콘텐트에 있는 핫 스팟들을 매핑하는 시스템(System for mapping hot-spots in media content for interactive digital media programs)의 제목을 가진 미국 등록 특허 5,708,845는 사용될 미디어 콘텐츠가 인터랙티브 디지털 미디어 프로그램에서 사용되도록 하는 시스템을 개시한다. 이러한 시스템은 미디어 콘텐츠에 나타나는 사물들의 프레임 주소들과 표시부에서의 위치 좌표를 대표하는, 오브젝트 매핑 데이터(N Data)에 있는 미디어 콘텐츠로부터의 프레임 데이터를 포함한다. N 데이터는 미디어 콘텐츠를 위한 프레임 데이터로부터 분리되도록 유지된다. 이에 따라 미디어 콘텐츠가 임베드된(embedded) 코드들 없이 그대로 유지되고, 어떠한 시스템에서도 재생될 수 있다. 시스템은 N 데이터에 의해 매핑된 객체(object)와 미디어 콘텐츠를 표시하는 기능과 함께 실행될 다른 기능들을 연결하는 연결부들(linkages)을 성립한다. 포인터(pointer)로 미디어 콘텐츠에 보이는 객체를 선택하는 것은 인터랙티브한 기능이 시작되도록 한다. 이에 따라, 영화, 비디오, 광고 및 텔레비전 프로그래밍과 같이 현재 인터랙티브 하지 않은 미디어 콘텐츠의 넓은 기반은 인터랙티브 디지털 미디어로 사용되기 위해 변환될 수 있다.
현재 기술은 다양한 매핑 기술들을 통해 미디어와의 인터랙션을 위한 기본적 개요를 제공하지만, 현실적인 방법으로 인터랙션이 콘텐츠와 조화될 수 있게끔 이러한 인터랙션의 효과들을 처리하는 시도는 현재 행해진 적이 없다.
미리 영상 자체의 일부가 되지 않고도, 하나 이상의 개인들이 미디어 영상과 인터랙트 할 수 있는 경험을 제공하는 것은 이점을 가져다 줄 것이다.
종래 기술과 관련된 문제점들은 미디어 영상과 실시간 사용자 인터랙션을 허용하는 방법과 장치에 관한 본 발명의 실시예들에 의해 극복된다.
본 발명의 실시예에 있어서, 영화들이나 텔레비전 쇼들에 게임 오버레이(game overlay)를 추가하는 방법에 기초하여, 사용자들은 텔레비전 쇼나 영화들의 향상된 인터랙티브한 작품과 인터랙트 할 수 있다. 그러므로 게임이나 가상 세계에 있는 물리적 현상들은 텔레비전 쇼나 영화 세트에 규정된 경계와 만난다. 예를 들면, 게임 컨트롤러나 다른 이와 같은 물체의 조작에 응한, 현실 세계에 있는 사용자의 제스처(gestures)에 의하여 사용자에게 표시되는 아바타들은 배우의 얼굴에 달라붙거나 배우의 얼굴을 때리는 토마토를 던지고, 영화나 텔레비전 쇼에서 보이는 탁자를 따라 구를 수(roll along) 있다.
한 실시예에 있어서, 영화나 텔레비전 쇼는 동영상(moving picture) 속 영역들과 연관된 시변(time variant) 메타데이터(metadata) 스트림을 추출하기 위해 미리 처리될 수 있다. 활성화 영역(active region)들과 애니메이션과 같이 추가된 콘텐츠 모두를 가지는 오버레이는 영화나 텔레비전 쇼와 합성된다. 이렇게 미리 처리 하는 과정은 영화나 텔레비전 쇼의 비주얼 및/또는 청각적 구성요소들을 포함할 수 있다.
게임 컨트롤러 등과 같은 것들을 통한, 향상된 영화나 텔레비전 쇼와의 사용자 인터랙션은 오버레이를 통해 영화나 텔레비전 쇼에 매핑될 수 있고, 오버레이의 게임이나 다른 활성적인 특징들은 영화나 텔레비전 쇼가 상영되는 동안 반응한다.
따라서 시청자들은 영화나 텔레비전 쇼에서 도시되는 퍼포먼스(performance) 속으로 몰입되거나 함께 인터랙트 할 수 있다. 이러한 인터랙션은 예를 들어 사용자 개인이나 그룹의 상술된 바와 같이 토마토를 던지는 것과 같은 액션과 그리고/또는 배우의 등(back)을 기어가고 있는 거미를 쏘는 것과 같은 경쟁적 액션이 될 수 있다.
본 발명의 설명은 하기 상세한 설명과 첨부된 도면들을 참조해서 고려함으로 빠르게 이해될 수 있다. 첨부된 도면들 중:
도 1a 내지 1c는 본 발명의 실시예에 따라 영상 스페이스 내에 있는 물체를 조작함으로써, 미디어 영상과의 사용자 인터랙션의 예를 시리즈로 도시하는 개략적 도면들;
도 2는 본 발명에 따른 미디어 영상과의 실시간 시청자 인터랙션을 위한 시스템의 예를 도시하는 개략적 블록도;
도 3a 내지 3c는 본 발명의 다른 실시예에 따른 영상 공간 내에 있는 사용자 아바타의 액션을 통한, 미디어 영상과의 사용자 인터랙션의 예를 시리즈로 도시하는 개략적 도면들;
도 4a 내지 4c는 본 발명의 실시예에 따라 영상 공간 내에 있는, 미디어 영상에 첨부된 게임의 일부로 미디어 영상과의 사용자 인터랙션의 예를 시리즈로 도시하는 개략적 도면; 및
도 5는 본 발명의 실시예에 따른 미디어 영상 내에서 실시간으로 참여하는 방법의 예를 도시하는 흐름도이다.
하기 상세한 설명은 도시적 목적으로 특정 요소들을 포함하고 있지만, 당업자라면 하기 설명의 많은 변경물과 변형물들이 본 발명의 범위 내에서 존재할 수 있음을 인지할 것이다. 이에 따라 하술된 본 발명의 실시예들은 어떠한 일반성을 잃지 않고, 청구된 발명을 한정시키지 않으며 개진된다.
종래 기술과 연관된 문제점들은 미디어 영상과 실시간 사용자 인터랙션을 허용하는 방법과 장치에 관한 본 발명의 실시예들에 의해 극복된다.
본 발명의 실시예에 있어서, 영화들이나 텔레비전 쇼들에 게임 오버레이(game overlay)를 추가하는 방법에 기초하여, 사용자들은 텔레비전 쇼나 영화들의 향상된 인터랙티브한 작품과 인터랙트 할 수 있다. 그러므로 게임이나 가상 세계에 있는 물리적 현상들(physics)은 텔레비전 쇼나 영화 세트에 규정된 경계와 만난다. 예를 들면, 게임 컨트롤러나 다른 이와 같은 물체의 조작에 응한, 현실 세계에 있는 사용자의 제스처(gestures)에 의하여 사용자에게 표시되는 아바타들은 배우의 얼굴에 달라붙거나 배우의 얼굴을 때리는 토마토를 던지고, 영화나 텔레비전 쇼에서 보이는 탁자를 따라 구를 수(roll along) 있다.
한 실시예에 있어서, 영화나 텔레비전 쇼는 동영상(moving picture) 속 영역들과 연관된 시변(time variant) 메타데이터(metadata) 스트림을 추출하기 위해 미리 처리될 수 있다. 활성화 영역(active region)들과 애니메이션과 같이 추가된 콘텐츠 모두를 가지는 오버레이는 영화나 텔레비전 쇼와 합성된다. 이렇게 미리 처리 하는 과정은 영화나 텔레비전 쇼의 비주얼 및/또는 청각적 구성요소들을 포함할 수 있다.
예를 들면, 시변 메타데이터 스트림은 미국 등록 특허 5,708,845에 서술된 방식으로 미디어 콘텐츠와 연관될 수 있다. 특히 비디오나 콘텐츠 같은 미디어의 디지털화된 버전을 위한 프레임 데이터는 프레임 주소들과 미디어 콘텐츠에 나타나는 물체들의 표시부 위치 좌표들을 대표하는 물체 매핑 데이터(N 데이터)와 연관될 수 있다. 인터랙티브 디지털 미디어(interactive digital media; IDM) 프로그램은 N 데이터에 의해 매핑된 물체들과 미디어 콘텐츠의 표시 기능과 함께 수행될 인터랙티브한 기능들과 연결하는 연결부(linkage)들을 수립하는데 사용될 수 있다.
게임 컨트롤러나 그와 같은 것들을 통해 향상된 미디어 콘텐츠와의 사용자 인터랙션은 메타데이터 오버레이를 통해 미디어 콘텐츠에 매핑되고, 오버레이의 게임이나 다른 활성적인 특징들은 영화나 텔레비전 쇼가 상영되는 동안 반응한다.
따라서 시청자들은 영화나 텔레비전 쇼에서 도시되는 퍼포먼스(performance) 속으로 몰입되거나 함께 인터랙트 할 수 있다. 이러한 인터랙션은 예를 들어 사용자 개인이나 그룹의 상술된 바와 같이 토마토를 던지는 것과 같은 액션과 그리고/또는 배우의 등(back)을 기어가고 있는 거미를 쏘는 것과 같은 경쟁적 액션이 될 수 있다.
도 5는 미디어 영상 내에서 실시간으로 참여하는 방법(100)의 예를 일반적으로 도시하는 흐름도이다. 이러한 방법(100)은 하드 디스크, 플래쉬 메모리, CD-ROM 또는 랜덤 액세스 메모리(RAM)과 같은 컴퓨터 판독가능한 저장 매체에 내장될 수 있는 컴퓨터 프로세서 실행가능한 인스트럭션들의 세트의 형태로 구현될 수 있다. 참가자 오버레이(overlay)는 102 과정에 표시된 바와 같이 생성된다. 예를 들면, 참가자 오버레이는 미디어 영상에 도시되는 하나 이상의 인터랙티브 영역들과 연관된 시변 메타데이터 스트림을 추출하기 위해 미디어 영상을 미리 처리함으로써, 생성될 수 있다. 참가자 오버레이는 시뮬레이션 된 물리적 현상들을 포함할 수 있다. 시뮬레이션 된 물리적 현상들은 미디어 영상 속 콘텐츠에 따라 정의된 하나 이상의 인터랙티브 영역들의 경계를 포함할 수 있다.
하나 이상의 활성화된 영역들을 통해 미디어 영상과의 참가자의 인터랙션은 104 과정에 표시된 바와 같이 포착된다. 인터랙션은 예를 들어 미디어 영상 속 하나 이상의 콘텐츠 구성요소 상의 사용자 액션, 아바타를 통한 미디어 영상 속에서 표현되는 사용자 액션 또는 게임 엘리먼트와 같은 가상 물체와 연결된 미디어 영상 속의 사용자 액션을 포함할 수 있다. 참가자의 인터랙션은 게임 컨트롤러와 같이 미디어 영상과 참가자 오버레이를 표시하는데 사용되는 시스템과 함께 사용되는 컨트롤러의 방식으로 포착될 수 있다. 참가자의 인터랙션들을 포함하는 오버레이는 106 과정에 표시된 바와 같이 표시부 상으로 참가자에게 보여주기 위해 미디어 영상과 결합된다. 그런 다음 미디어 영상과 오버레이는 108 과정에 표시된 바와 같이 표시부에 동시에 표시될 수 있다.
도 1a 내지 1c는 본 발명의 실시예에 따라 영상 스페이스 내에 있는 물체를 조작함으로써, 미디어 영상과의 사용자 인터랙션의 예를 시리즈로 도시하는 개략적 도면들이다. 도 1a 내지 1c는 공통의 관객(10a, 10b)을 가지는데, 이번 예에서는 공통된 위치에 있는 두 명의 관객 멤버들을 포함하고, 관객들 각각은 게임 컨트롤러를 통해 영화나 텔레비전 쇼의 영상과 인터렉트하는 능력을 가진다. 당업자는 몇 개의 위치에 있는 몇 명의 개인이든지, 예를 들어 한 곳에 있는 한 사람에서부터 여러 군데에 있는 많은 사람들까지의 관람객을 포함할 수 있다는 점을 인지할 것이다. 이에 더하여, 사용자 인터랙션은 게임 컨트롤러, 모션 감지 장치들 등이나 이들의 어떠한 조합으로도 구현 가능하다.
나아가, 도 1a 내지 도 1c는 관객이 아바타들(15a, 15b)로 나타나는 표시부(11)와, 본 발명의 실시예들 중 경기를 포함하는 실시예들에서 적어도 주기적으로 표시되는 점수판(score panel)(13)과, 물체 트랙킹 모듈(object tracking module)(12)을 공통적으로 포함한다. 이 실시예에 있어서, 물체 트랙킹 모듈(12)은 데이터를 모션 센서(14)에 제공하고, 이에 현실 세계에 있는 관객의 액션들이 영상 속에 일시적이고 물리적으로 정확한(correct) 방식으로 나타날 수 있도록 한다. 예를 들어 이로 한정되지 않지만, 물체 트랙킹 모듈(12)은 미디어 영상 속에 있는 엘리먼트들(예. 물체들이나 캐릭터들)을 트랙킹하는 방법을 추가적으로 구현할 수 있다. 일례로, 물체 트랙킹 모듈(12)은 미디어 영상에 나타나는 하나 이상의 얼굴들을 트랙킹하는 방법을 구현하여서, 트랙킹 된 얼굴들과 연관된 메타데이터(예. N 데이터)를 생성할 수 있다.
한 실시예로, 영화나 텔레비전 쇼는 동영상(moving picture) 속에 있는 영역들과 연관된 시변 메타데이터 스트림을 추출하도록 미리 처리될 수 있다. 예를 들어 메사추세츠(Massachusetts) 주의 테크스베리(Tewksbury)의 아비드 테크놀로지 사(Avid Tecnology Inc.)의 ELASTIC REALITY 3TM 프로그램과 같은, 비디오 편집 소프트웨어에 있는 윤곽 처리 도구(outlining tool)를 사용하여 본 명세서에서 작가로 지칭되는, 메타데이터 스트림의 생성 프로그램은 특정 프레임의 디지털 미디어 콘텐츠(또는 디지털화 된 다른 미디어 콘텐츠)에 있는 하나 이상의 엘리먼트들을 식별할 수 있다. 만약 다수의 연속되는 프레임들 동안 엘리먼트가 움직이지 않으면, 작가는 이러한 엘리먼트를 프레임 각각에서 따로 식별할 필요 없다. 그 대신에 만약 프레임에 대하여 상대적으로 엘리먼트가 움직인다면, 모션 트랙킹 또는 머신비전(machine vision) 도구가 연속적인 프레임들 안에 있는 물체를 자동 식별하는데 사용될 수 있다. 이러한 모션 트랙킹 도구의 예로는 영국 서리(Surrey)의 처트시(Chertsey)에 있는 영국 국방 연구 아카데미 기관(U.K. Defense Research Agency)의 스티븐 엠. 스미스(Stephone M. Smith)에 의해 개발된 ASHET-2로 알려진 도구가 있다. 이러한 프로그램은 특징 세그먼테이션(feature segmentation) 및 클러스터링(clustering) 기법을 사용하여, 일련의 비디오 화면의 연속적 프레임들에 있는 엘리먼트들의 추상적인 표현을 만들어 낸다. 통계 비교함으로써, 일련의 프레임들에서 하나의 경로에 있는 다른 위치들에서 나타나는 특징들의 유사한 세트에 의해 특징지어지는 클러스터는 움직이고 있는 엘리먼트로 인식될 수 있다.
관객 맴버들(15a, 15b)과 미디어 콘텐츠의 엘리먼트들 사이의 인터랙션을 용이하게 하기 위해, 표시부(11)는 컴퓨터나 비디오 게임 콘솔 장치와 같은 인터랙티브 장치(interactive device)와 함께 동작한다. 맴버들(15a, 15b) 각각은 인터랙티브 장치에 제어 신호들을 제공하기 위해 기존의 게임 컨트롤러를 작동시킬 수 있다. 인터랙티브 장치는 예를 들어 어플리케이션 특정 용도의 하드웨어나 소프트웨어 프로그래밍을 통해, 표시부(11)에 나타나는 인터랙티브 물체들과의 인터랙션이 가능하게 하도록 구성될 수 있다. 인터랙티브 물체들은 연관된 메타데이터를 가진 미디어 콘텐츠 속에서 보이는 엘리먼트들(예. 물체들 또는 캐릭터들)을 포함할 수 있다. 이러한 엘리먼트들은 본 명세서에서 '콘텐츠' 엘리먼트들로 지칭하기로 한다. 추가적으로, 인터랙티브 물체들은 콘텐츠 엘리먼트들과 인터랙트하는 특정 목적을 위한 인터랙티브 장치에 의해 생성된 물체들을 포함할 수 있다. 이러한 물체들은 본 명세서에서 '가상' 물체들로 지칭하기로 한다.
본 발명의 실시예들에 있어서, 메타데이터 및/또는 인터랙티브 장치는 메타데이터에 의해 정의되는 가상 물체들과 콘텐츠 엘리먼트들 사이의 인터랙션을 조절(govern)하는 시뮬레이션 되는 물리적 현상들의 하나 이상의 파라미터들을 지정하도록 설정될 수 있다. 예를 들어 이로 국한되지 않지만, 이러한 물리적 현상의 파라미터들은 인터랙션의 대상이 되는, 표시부(11)에 보이는 장면의 하나 이상의 영역들을 지정하는 물리적 경계들을 포함할 수 있다. 이러한 물리적 경계들은 벽과 같은 수직 경계면들이나 바닥, 천장, 테이블 표면 등과 같은 수평 경계면들을 포함할 수 있다. 이러한 물리적 경계들은 표시부(11)에 도시되는 장면 내에 표시되는, 대응 콘텐츠 엘리먼트들과 연관될 수 있다. 이로 한정되지는 않지만 예를 들면, 물리적 경계들은 미디어 영상 속에서 도시되는 캐릭터의 윤곽을 따라 정의될 수 있다. 물리적 파라미터들은 가상 물체들과 경계들 사이의 인터랙션들의 본질을 지정할 수 있다. 예를 들어 물리적 파라미터들은 가상 물체들과 경계들 사이의 충돌 정도가 탄성 또는 비탄성일지 지정할 수 있다.
또한 물리적 파라미터들은 가상 물체들을 조절하는, 연관된 물리적 질량을 지정할 수도 있다. 특히, 물리적 파라미터들은 가상 물체들의 움직임을 조절하는 중력 벡터(vector)의 방향 및 크기를 판단할 수 있다. 중력 벡터는 어떠한 적합한 방식으로 방향을 정할 수 있다. 예를 들면, 중력 벡터는 프레임의 수직 모서리들과 평행하거나 프레임 속에서 표시되는 장면과 정렬되는 방향으로 향하도록 지정될 수 있다. 나아가, 물리적 파라미터들은 투명도, 반사율, 굴절률 등과 같은, 가상 물체들의 광학적 파라미터들을 지정할 수 있다. 고체의 가상 물체들의 경우, 물리적 파라미터들은 탄력성, 가소성(plasticity), 항복점(yield point), 파괴 강도(breaking strength) 등을 포함할 수 있다. 액체를 시뮬레이션하는 가상 물체들의 경우, 물리적 파라미터들로는 밀도, 점도, 표면 장력 등이 될 수 있다.
또한 물리적 파라미터들은 사용자가 언제 그리고 어떻게 표시부에 보이는 콘텐츠 엘리먼트나 인터랙티브 영역과 인터랙트 할 지 정할 수 있다. 예를 들면, 물리적 파라미터들은 장면이나 프레임의 하나 이상의 영역들을 본 명세서에서 '블랙아웃(blackout)' 영역들로 지칭하는, 인터랙션이 금지된 영역들로 정할 수 있다. 또한 파라미터들은 본 명세서에서 '타겟(target)' 영역들로 지칭하는, 인터랙션 가능함을 명시적으로 나타내는 하나 이상의 영역들을 지정할 수 있다. 이에 더하여, 물리적 파라미터들은 본 명세서에서 '프리(free)' 영역들로 지칭하는, 가상 물체들이 나타나고 움직이는 영역들을 장면 속에서 지정할 수 있다.
콘텐츠 엘리먼트와 가상 물체 사이의 인터랙션의 예로는, 관객 맴버(10b)가 아바타(15b)의 형태로 미디어 영상과 함께 표시부에 표시되는 대응하는 대표물(representation)을 소유할 수 있다. 관객 맴버(10b)가 영상 속에서 아바타가 팔을 들도록 지시하기 위해 게임 컨트롤러를 작동시켜서, 아바타(15b)가 그에 따라 반응하도록 할 수 있다. 도 1a에서 관객 멤버(10b)가 게임 컨트롤러를 작동시켜 가상 토마토(16)를 영화나 텔레비전 쇼에 있는 배우에게 던지도록 할 수 있다. 배우 얼굴은 가상 토마토와의 인터랙션을 허용하는, 연관된 메타데이터 스트림을 가진 콘텐츠 엘리먼트가 될 수 있다. 도 1b에 도시된 바와 같이 관객 멤버(10b)는 가상 토마토(16)를 배우의 얼굴로 던질 수 있고, 토마토는 영상 속에서 도시될 수 있으며, 관객 맴버(10b) 아바타(15b)의 던지는 제스처까지 도시될 수 있다.
도 1c에 보이는 바와 같이, 토마토는 배우의 얼굴에 적중하고, 배우의 셔츠와 자켓으로 흘러내릴 수 있다. 가상 토마토(16)와 연관된 메타데이터 및/또는 배우는 토마토의 번짐과 흘러내림의 물리적 현상을 조절할 수 있다. 예를 들어 관객 멤버(10b)가 정확하게 던지면, 점수가 올라갈 수 있다. 그러므로 게리의 점수가 111 점으로 올라갈 수 있다.
도 1a 내지 도 1c에 예시적 목적을 위해 도시된 이러한 실시예는 영상 공간 속 물체의 조작을 통해 미디어 영상과의 사용자 인터랙션을 제공한다. 어떠한 물체든지 영상의 어떠한 부분에서도 조작될 수 있다. 사용자가 토마토를 배우 얼굴에 던지는 예는 수많은 옵션들 중의 한 가지 가능예 일 뿐이다. 예를 들어 사용자는 의자를 들어서 창문을 깬다거나 낭떠러지로 차를 몰고 갈 수도 있다.
어떠한 실시예들에서는 인터랙션의 본질이 미디어 영상 속 콘텐츠 엘리먼트의 본질에 기초할 수 있다. 예를 들어 만약 가상 토마토가 미디어 영상의 '스타'인 캐릭터를 적중한다면, 더 많은 점수를 취득할 수 있다.
나아가 가상 물체들은 미디어 영상과의 인터랙션에 부수적인 목적을 채울 수 있다. 예를 들면, 가상 물체는 표시부에 표시될 수 있는 광고 정보를 포함할 수 있다. 이러한 가상 물체들은 본 명세서에서 종종 '브랜드 이름(brand name)' 물체들로 지칭된다.
도 2는 본 발명에 따른 미디어 영상과의 실시간 시청자 인터랙션을 위한 시스템의 예를 도시하는 개략적 블록도이다. 도 2는 인터넷과 같은 네트워크(24)를 통해 참가자들 각각이 서로 연결된 실시예를 제공한다. 다른 실시예들은 네트워크 연결을 필요로 하지 않고, 후술된 바와 같이 완전히 국부적일 수 있다. 도 2에서 사용자들(22 및 21a 내지 21n) 각각의 시설(facility)들을 제공하는 여러 참가자 위치들(20 및 20a 내지 20n)이 도시된다. 예를 들면 이로 한정되지 않지만, 참가자 위치(20)는 텔레비전이나 다른 종류의 표시부(33)를 포함할 수 있다. 이러한 위치(20)에 있는 참가자는 시스템과 게임 컨트롤러(28), 마이크(29) 및 비디오 카메라(30)를 사용하여 인터랙트 할 수 있다. 본 발명의 실시예들은 영화관에서 영화 관람객 중 핸드폰을 사용하는 것과 같은 다른 형태의 사용자 인터랙션 또한 고려한다. 참가자의 인터랙션은 일반용 컴퓨터나 컴퓨터 프로세서를 구비한 다른 장치에 의해 구현될 수 있는 로컬 프로세서(27)에서 포착된다. 예를 들어 로컬 프로세서(27)는 소니 플레이스테이션 3(Sony PlayStation 3)과 같은 게임 콘솔(console)에서 구현될 수 있다.
참가자 위치 각각은 네트워크(24)를 통해 게임 서버(32) 및 합성 서버(31)와 연결될 수 있다. 게임 서버(32)는 하술 되는 게임 실행 기능(feature)들을 제공하는 실시예들에서 제공될 수 있다. 합성 서버(31)는 미디어 영상들에 추가되는 인터랙티브 기능(feature)들을 허용하는 오버레이(OL)를 미디어 영상(MP)에 제공할 수 있다. 어떠한 구현예들에서는 게임 서버(32) 및 합성 서버(31)의 기능들이 단일의 서버 장치로 결합될 수 있다. 또한, 게임 서버 및/또는 합성 서버 기능들은 참가자의 위치, 예를 들어 로컬 프로세서(27)에서 구현될 수 도 있다. 이러한 실시예에서는 네트워크가 불필요하다. 그러나 네트워크를 포함하는 구성은 복수의 원격 위치들에 있는 복수의 참가자들로부터의 인터랙션을 동시에 실시간으로 제공한다.
미디어 서버(26)는 미디어 영상에 대응하는 콘텐츠(25)를 합성 서버(31)에 제공할 수 있다. 그렇지 않으면, 콘텐츠(25)는 다른 수단을 통해 제공될 수 있다. 예를 들어 콘텐츠(25)는 디지털 비디오 디스크(DVD), CD-ROM, 유니버설 시리얼 버스(USB) 플래쉬 드라이 등과 같은 컴퓨터 판독가능한 매체에 내장되고, DVD 플레이어, CD-ROM 드라이브나 USB 포트와 같은 적합한 인터페이스를 통해 로컬 프로세서(27)에 의해 접속될 수 있다. 합성 서버(31)는 참가자 인터랙션들과 콘텐츠(25)에 실시간으로 대응하는 미디어 영상을 결합한다. 타임 코드들(time codes)과 다른 공지된 동기화 기법들은 사용자 인터랙션들의 미디어 영상과 정확하게 등록되도록 하는데 사용되고, 또한 매 프레임 마다 또는 장면에 따라 미디어 영상을 매핑하여, 미디어 영상에 엘리먼트들을 추가하고, 미디어 영상 속 위치들에 따라 사용자 인터랙션들을 추적하는데 사용될 수 있다. 예를 들어 매핑 하는 과정은 바탕이 되는(underlying) 미디어 영상(MP)과 정확하게 등록된 오버레이에서 물체를 옮기는 사용자의 움직임, 사격, 아바타 등을 추적하는데 사용될 수 있다. 충돌 감지 등과 같은 이러한 기술들은 동일 기술 분야에서 통상적인 기술을 가진 게임 개발자들에게 알려져 있으며, 상술된 기능(feature)들을 구현하는데 적용될 수 있다.
도 2에 도시된 바와 같이, 미디어 영상(25)은 비디오 영상으로 참가자의 표시부(33)에 나타날 수 있다. 이와 같이 여러 참가자들(21, 22)의 아바타들 또한 스크린 상에 아바타들(21a, 22a)로 도시된다. 참가자들의 액션들이 유사하게 도시된다. 또한 도 2가 미디어 영상을 상부에 도시하고, 참가자들을 스크린의 하부에 표시하는 나누어진 스크린을 도시하고 있는 점을 주목해야 한다. 이러한 방식을 유지할 필요는 없으며, 오버레이는 원하는 바에 따라 예를 들어 스크린 전체에 표시되도록 생성될 수 있다.
따라서 본 발명의 실시예는 실시간으로 즉 미디어 영상이 재생되는 동안 인터랙티브 엘리먼트를 미디어 영상 위에 덮어씌운다(overlay). 한 실시예에서는 장면이나 다른 내러티브(narrative) 엘리먼트가 미디어 영상의 일부로 상영될 수 있다. 장면이나 내러티브 엘리먼트는 영화, 텔레비전 쇼, 뮤직 비디오, 스포츠 이벤트 등과 같은 기존 콘텐츠의 장면이 될 수 있다. 장면이나 내러티브 엘리먼트는 본 명세서에 서술된 인터랙티브 시스템과 연결되어 사용되기 위한 준비된 콘텐츠이거나, 비디오 게임이나 예를 들어 비디오 게임의 관람객들이 관객으로서 게임 실행과 인터랙트할 수 있는 다른 인터랙티브 활동이 될 수 있다. 하술되는 예들이 장면이 표시된다는 언급을 하지만, 본 발명의 실시예들은 영화 전체가 표시되는 것 또한 고려한다. 예를 들어 이에 한정되지 않지만, 미디어 영상은 표준 케이블이나 위성 방송, 공중 디지털 또는 아날로그 지상파 방송, 스트리밍 되는 미디어, DVD 또는 블루 레이 영상을 콘텐츠 소스(source)로 포함할 수 있다.
도 3a 내지 3c는 본 발명의 다른 실시예에 따른 영상 공간 내에 있는 사용자 아바타의 액션을 통한, 미디어 영상과의 사용자 인터랙션의 예를 시리즈로 도시하는 개략적 도면들이다. 도 3a 내지 도 3c의 예에서 배우(37)가 인도를 따라 걷는 장면이 표시부(33)에 도시된다. 인터랙티브 레이어(interactive layer)는 이러한 장면과 합성되어, 인터랙티브 하고 실시간으로 시청하는 세션에 참여하는 모든 개인들에게 보이는, 배우 뒤에 타겟(38)을 이중 인화(印晝)(superimpose)한다. 일례로 표시부(33)는 콘텐츠 장면과 타겟, 그리고 영상과 인터랙트 하는 멤버들(35a, 35b)을 포함하여, 예를 들어 영화관에서 장면을 관람하는 관객들 모두를 표시한다. 이번 예에서 관객 중 하나의 멤버(31)는 수동적으로 영상을 시청할 수 있다. 타겟은 관객이 어떠한 액션을 취하도록 하는 게임 엘리먼트와 큐(cue)를 제공한다. 예를 들면, 관객 중 인터랙트 하는 멤버 각각은 다른 참가자들이 볼 수 있도록 스크린에다가 가상 스핏볼(spitball)을 던질 수 있다(도 1a 내지 도 1c와 연계되어 상술된 예 참조).
관객 중 인터랙트 하는 멤버들(35a, 35b) 각각은 영상과 함께 표시부(33)에 도시되는, 대응하는 아바타(39a, 39b)를 소유할 수 있다. 도 3a에 도시된 바와 같이, 관객 중 인터랙트 하는 맴버 각각은 그들 각각의 대응하는, 앉아있는 아바타와 함께 도시될 수 있다. 도 3b에 보이는 바와 같이, 관객 멤버(35a)는 게임 컨트롤러나 다른 이러한 기구를 사용해서 그의 아바타(39a)를 영상 속 좌석에서 일으키고, 타겟을 향해 아바타가 걸어가도록 한다. 도 3c에 도시된 예에서 관객 멤버(39a)의 아바타는 좌석을 떠나 장면 속 배우에게로 다가가서, 타겟이 계속 표시되고 있는 동안 뒤에서 배우를 걷어찬다. 이러한 동작을 하는 첫 번째 참가자에게 득점이 주어질 수 있다. 총 득점은 플레이어들(40)들 사이 순위대로 표시된다. 이번 예에서는 게리가 이러한 동작을 성공적으로 완성했고, 따라서 그의 점수는 111 점으로 올라갔다. 선택적으로 플레이어에게 다른 상이 주어질 수 있거나, 아니면 순전히 엔터테인먼트 차원에서 이러한 동작을 수행할 수 있다.
본 발명의 이러한 실시예의 특징은 관객 멤버의 대표물, 예를 들어 아바타의 형태로 영상에 추가하는 것이다. 영화나 텔레비전 쇼들의 향상된 기술적 특징들은 오버레이 되고, 영상 내에 있는 액션에 일시적으로 그리고 물리적으로 연결될 수 있다. 도 3a 내지 3b에 도시된 예에서 타겟은 배우의 움직임을 추적한다. 이에 따라 이번 예에서 타겟은 배우의 좌표계에 대하여는 정적(static)인 것으로 보이며, 영상 공간 속 아바타는 현실적으로 움직여서 배우의 걸음 거리와 일치하거나 배우가 움직일 때 달려가서 타겟을 걷어차도록 조작될 수 있다.
한 실시예에 있어서, 텔레비전이나 컴퓨터 표시부와 같은 어느 표시부 상의 기준 위치들(referential locations)에 있는 특정 인터랙티브 물체들과 연결된 액션들이 가능하게 하는 시스템이 제공된다. 인터랙티브 물체들의 위치들과 특정 미디어 영상 중에 그들이 표시되는 시간은 미리 정해질 수 있어서, 특정 미디어 영상에 맞추어 물체들이 표시되도록 한다. 예를 들면 물체들은 사용자 인터랙션이 미디어 영상의 엔터테인먼트 가치를 향상하는 동안에 표시될 수 있다. 이러한 타이밍은 추격 장면, 러브신, 비행 장면 또는 관객 투표에 의해 관객이 지루해하는 미디어 영상의 따분한 부분 동안이 될 수 있다. 예를 들어 이로 한정되지 않지만, 참가자들은 표시부 상에 팝콘 박스를 나타내는 아이콘을 포스트 함으로써 그들의 무관심을 알릴 수 있다. 이는 영화관에서 로비로 나오는 것과 유사한 것이다. 만약 미리 정해진 수의 팝콘 박스들이 표시되면, 인터랙티브 기능들이 턴온 된다.
선택적으로, 미디어 영상은 관람객의 오버레이 인터랙션을 위해 자동 실행되거나 액션 팔레트(pallete of actions)가 지속적으로 표시되거나 사용자 호출 시 표시될 수 있다. 이러한 액션 팔레트를 사용하여 관람객은 미디어 영상에 인터렉티브 엘리먼트들을 추가할 수 있다. 후자의 경우, 사용자는 말풍선으로 코멘트를 남기거나, 물체를 던지는 것과 같은 액션을 취하거나, 아바타를 움직이거나, 좋음과 싫음 등의 반응을 표시할 수 있다.
상술된 바와 같이 경계들은 관객에게 사용자 인터랙션 영역을 제한하기 위해 적용될 수 있다. 또한 관객 멤버들 각각은 아바타와 같은 개인적인 엘리먼트를 소유할 수 있어서, 관객 중 다른 맴버들에 의해 인식될 수 있다. 다른 실시예에서 물체의 기준 모서리(referential corner)들을 지정하는 메타데이터가 제공된다. 예를 들어 메타데이터는 타겟이 나타날 수 있는 영상 속 등장인물의 뒷모습과 같은 영역들을 식별할 수 있다 (도 3 참조).
본 발명의 실시예는 영화 제작사가 영화 속 게임을 만들 수 있도록 한다. 영화 속 특정 시점에서 프레임 내의 특정 위치에 테이블이 있거나 등장인물이 허리를 굽히고 있는 것을 게임 엘리먼트는 인지할 수 있다. 메타데이터는 이러한 엘리먼트의 경계 지점들을 시스템에게 알린다. 영화를 보급받는 참가자 각각은 프레임에 있는 물체의 좌표에 근거하여 어떠한 스크린 엘리먼트들이 활성화된 것인지 안다. 물체와의 사용자 인터랙션은 사용자의 텔레비전에 연결되고 또한 선택적으로 네트워크에 연결된 비디오 게임을 사용하여 국부적으로 추적될 수 있다. 참가자들의 인터랙션은 미디어 영상과 실시간으로 합성될 수 있고, 프레임 속에 있는 물체의 좌표에 근거할 수 있다. 참가자의 액션은 이러한 프레임으로 합쳐지고, 대체적으로, 참가자가 타겟을 맞히거나 다른 참가자들 보다 먼저 반응하는 것과 같이 어떠한 임무를 성공적으로 수행하면, 점수를 생성하는데 사용될 수 있다. 이러한 후자의 경우는 '월리를 찾아라(Where's Waldo)'와 같은 게임 내에 적용될 수 있다. 따라서 캐릭터의 출연에 먼저 반응하는 참가자에게 포인트가 주어질 수 있다.
나아가 사용자 인터랙션은 포착되어서, 미디어 영상의 분석을 준비하는데 사용될 수 있다. 예를 들면, 관객들이 가장 많이 참여하는 장면들이 판별될 수 있다.
도 4a 내지 4c는 본 발명의 실시예에 따라 영상 공간 내에 있는, 미디어 영상에 첨부된 게임의 일부로 미디어 영상과의 사용자 인터랙션의 예를 시리즈로 도시하는 개략적 도면이다. 본 실시예의 일례는 사격 게임을 제공하는 게임 구현 방법이다. 예를 들어, 메타데이터 스트림은 공상 과학 영화나 공포 영화의 줄거리에 가상 거미(48)를 추가할 수 있다. 가상 거미는 때때로 장면 속에 있는 배우한테로 점프할 수 있다. 가상 거미가 나타날 때, 가상 거미는 뛰어내린 배우의 등을 기어오를 수 있다. 메타데이터 스트림은 배우의 움직임과 거미의 움직임이 현실성 있게 일치하도록 설정될 수 있다. 장면 속에 있는 사람, 테이블 위의 책, 컵 등과 같은 다른 물체의 존재로 인해 거미가 넘어갈 수 없는 경계들이 수립될 수 있다. 메타데이터 스트림은 미디어 영상과 함께 오버레이 되고 혼합되는 게임 엘리먼트들이 있는 일련의 이미지들의 시간에 따라 제한 사항들을 성립하는, 프레임 내에 기준(reference)을 지정할 수 있다. 이러한 예에서 참가자들은 가상 거미를 총으로 쏠 수 있다.
어떠한 실시예들에 있어서, 메타데이터 스트림은 미디어 영상 속에서 발생하는 액션의 시간 기준이 되는 오디오 가사를 포함할 수 있어서, 가상 물체들과의 인터랙션들이 미디어 영상 속에서 일어나는 이벤트들에 의해 유발될 수 있다. 예를 들어 가상 거미는 미디어 영상 속 캐릭터가 '점프'라고 말하면 점프하도록 설정될 수 있다.
도 4a에 도시된 예에 있어서, 하나의 관객 멤버(35a)는 거미를 쏘는데 사용되는 게임 컨트롤러나 다른 그러한 장치를 가지고 있다. 다른 관객 멤버들(41)은 수동적으로 영상을 관람할 수 있다. 미디어 영상 속 장면에서 배우(37)가 걸어갈 때, 가상 거미(48)는 배우와 함께 움직이고, 또한 배우의 목을 깨물기 위해 배우의 등을 타고 올라간다. 이러한 거미의 행동은 도 4b에서 도시된다. 도 4c에 도시된 예에서 관객 멤버(35a)는 거미를 쏴 맞춘다. 이번 실시예에서, 이는 터지는 거미(49)로 표시된다. 거미가 적중되었기(그리고 배우의 목이 물리지 않았다) 때문에, 관객 멤버의 점수(40)가 인상된다. 그리하여 게리의 점수는 111 점으로 증가한다.
미디어 영상은 많은 곳에서 많은 사람들에 의해 동시에 관람될 수 있다. 동시에 참가자들은 게임도 실행한다. 각각의 참가자들은 인터넷과 같은 네트워크를 통해 오버레이 생성 프로그램에 연결될 수 있다. 다른 실시예에서는 외계인의 오버레이가 표시되고, 오버레이 생성 프로그램은 게임 또는 필름 제작자가 특정 미니 인터랙티브 이벤트를 오버레이하는 조건들과 환경을 성립할 수 있다. 이러한 미니 인터랙티브 이벤트는 외계인들이 탁자 위에서 위아래로 점프하는 이벤트가 될 수 있다. 참가자들이 외계인들을 쏘으려고 할 때, 게임 서버는 사용자 액션들을 추적할 수 있고, 참가자 각각의 텔레비전에 표시되고 최득점을 가진 참가자들의 순위 리스트로 표시될 수 있는 참가자 점수들을 기록한다. 외계인들을 쏘는 효과를 도시하기 위해 오버레이에 애니메이션이 추가될 수 있다.
다른 실시예에 따르면, 기존의 콘텐츠를 다른 목적에 맞게 만듦(repurpose)으로써, 인터랙티브 한 부분이 미디어 영상에 추가될 수 있다. 예를 들면, 인터랙티브 레이어는 전쟁 영화와 같은 기존의 영화에 추가될 수 있다. 인터랙티브 레이어는 사격 가능한 영화속 캐릭터들이나 상술된 외계인의 예와 같이 사격 가능한(가상) 캐릭터들이 영화에 추가될 수 있도록 지정할 수 있다.
한 실시예는 참가자의 인터랙션이 유지되는 인터랙티브 참가자 점수 기록을 제공한다. 참가자의 점수 및/또는 이전의 인터랙션이 이어지는 다음 부분에 영향을 줄 수 있다. 예를 들어 참가자가 외계인을 성공적으로 죽이면, 다음 외계인으로 더 죽이기 힘든 더 큰 크기의 괴물이 나타날 수 있다.
다른 실시예는 상술된 바와 같이 영화관 오버레이 내에 참가자들 아바타들의 윤곽을 제공할 수 있다. 한편 이러한 실시예에 있어서, 인터랙티브한 기능들은 스폰서 받을 수 있다. 예를 들면 오버레이 생성 프로그램은 진짜 코카콜라 캔들과 같은 스폰서하는 회사 제품의 이미지들을 함성한다. 참가자들은 미디어 영상 중 인터랙티브 한 부분들이 진행될 때 이러한 캔들을 가지고 던질 수 있다. 참가자 인터랙션과 제스처들은 적합한 형태의 입력에 기초할 수 있다. 이러한 입력의 예로는 이로 한정되지 않지만, 게임 컨트롤러, 참가자를 관찰하는 카메라에 의해 포착된 참가자의 움직임과 제스처들이나 마이크에 의해 포착되는 참가자들의 소리가 될 수 있다. 이러한 실시예에서, 오버레이는 스크린의 하부에 표시되고, 관객들이 도시되는 프레임을 포함할 수 있다. 참가자들 각각은 프레임에서 도시되는 관객 중 하나의 멤버로 아바타를 통해 표시될 수 있다.
미디어 영상과 인터랙트 하기 원하는 참가자들은 게임 컨트롤러나 예를 들어 미디어 영상 중 일부에서 가상 물체를 던지는 행동을 유발하는, 인식되는 제스처를 취할 수 있다. 참가자의 아바타는 스크린에 표시되는 미디어 영상으로 가상 물체를 던지는 아바타로 스크린에 표시될 수 있다. 이러한 예에 있어서, 모든 참가자들의 아바타가 프레임 속에 도시되기 때문에, 참가자들 각각은 예를 들어 스크린으로 물체를 던지고 관람하는 동안 타겟을 맞추려하는 다른 모든 참가자들의 장면과의 인터랙션을 구경할 수 있다. 예를 들면 참가자들은 특정 장면을 정말 싫어해서 가상 토마토들을 던질 수 있다. 이러한 예에서 토마토 개수가 각각의 장면들마다 카운트될 수 있어서, 이러한 정보는 쇼의 제작자에게 리포트로 제공될 수 있다. 이러한 정보는 특정 장면이 인기가 없거나, 반대로 인기가 많거나 호감도가 높았는지 보여준다. 따라서 이러한 실시예는 관람객에 대한 통계 정보를 얻는데 유용할 수 있다.
상술된 바와 같이 본 발명의 특정 실시예들의 기술적 특징은 프레임 레벨의 물리적 현상에 기초한 사용자와 미디어 영상에 있는 하나 이상의 물체들과의 인터랙션이다. 이는 사용자들에게 게임 오버레이와 같은 오버레이가 표시되고, 사용자들은 물리 법칙(또는 물리적 현상의 시뮬레이션)을 따르는 방식으로 바탕되는 미디어 영상과 인터랙트할 수 있다. 그러므로 이전의 예에서처럼 미디어 영상에 도시되는 사람의 얼굴에 부딪치는 가상 토마토는 가상 토마토가 자연스럽게 변형되고 터지는 효과를 만들어 낼 수 있다. 나아가 가상 토마토는 도시된 자연스럽고 진짜 같이 사람의 얼굴에서 흘러내릴 수 있다.
본 발명의 다른 실시예는 미디어 영상의 엘리먼트와 게임 엘리먼트와의 인터랙션 또한 고려할 수 있다. 가상 토마토의 이러한 예에 있어서, 토마토는 도시된 사람의 얼굴을 맞히지만, 그 사람의 얼굴이 가상 토마토로 인해 일그러질 필요는 없다. 그러나 본 발명의 이러한 실시예에서는, 개인의 얼굴이 일그러질 수 있다.
이러한 인터랙션을 용이하게 하기 위해서, 본 발명의 실시예들은 바탕이 되는 미디어 영상의 엘리먼트를 추출하고 애니메이션이 추가된 엘리먼트를 장면에 다시 매핑하는 기구를 포함할 수 있다. 이점에 있어서, 바탕되는 미디어 영상이 1920년 대에 제작된, 찰리 채플린이 장면 내내 촬영 세트(set)를 걸어 다니면서 물을 담고 있을 수 있는 투명한 컵을 마시는 찰리 채플린 필름을 참작할 수 있다. 이러한 실시예에서, 조이스틱이나 다른 게임 컨트롤러를 사용해서 애니메이션이 추가된 고무 오리 인형들을 컵 안으로 던질 수 있는 능력이 개개인들에게 주어질 수 있다. 개인의 점수가 인상될 뿐만 아니라, 오리 인형이 컵 안에 착지하면, 착지한 높이까지 컵 안에 물이 차오를 수 있다. 나아가 컵에서 물이 튈 수 있고, 컵 속에 있지만 컵 모서리에 착지한 오리 인형은 컵에서 물속으로 뛰어들어서 적당량의 물이 빠질 수 있다. 이를 완수하기 위해서는 찰리 채플린 영화 속에서 원래 도시되는 컵의 물이 와이어 프레임(wire frame)이나 다른 애니메이션 기법들을 사용해서 렌더링 될 수 있다. 렌더링된 물체는 오버레이의 일부로 영상 속 원래의 물체를 대체한다. 오버레이는 바탕이 되는 미디어 영상 속 프레임마다 움직이는 원래의 물체를 추적할 수 있다. 그러므로 찰리 채플린은 물 컵을 가지고 걸어 다닐 수 있는데, 이때 컵속의 물은 원래의 영상과 똑같이 보일 수 있다. 이는 애니메이션 효과를 보이도록 변경되었지만, 바탕이 되는 이미지에 기초한 물의 렌더링이기 때문이다. 따라서 물체는 게임 오버레이의 일부로 미디어 영상에 소개되고, 이러한 물체는 바탕이 되는 미디어 영상의 일부인 다른 물체와 인터랙트 할 수 있다. 미디어 영상의 원래 일부이지만,인터랙티브 한 모양으로 다시 렌더링 된 물체는 이 물체와의 사용자 인터랙션이 있기 전 까지는 원래의 영상과 다를 것 없이 표시된다. 그러므로 물 컵과 연결해서 상술된 바와 같이, 물속에 착지한 고무 오리 인형은 컵 속 물 높이를 상승시키고 또한 컵에서부터 물이 튀게끔 할 수 있다.
당업자는 이러한 기술이 다른 많은 방법으로 사용될 수 있음을 인지할 것이다. 예를 들어 어떤 사람에게 토마토를 던지는 예와 연결지어 상술된 바와 같이 토마토가 개인의 얼굴을 빗나가면 그에 따라 얼굴이 변형되도록 할 수 있다. 영상 속 캐릭터를 걷어차는 예에 있어서, 걷어차인 인물의 위치가 옮겨지거나 차인 몸의 부분이 반응할 수 있다. 본 발명의 이러한 국면의 특징은 물리적 현상과 영향을 주는 물체(예. 오리 인형)와 바탕이되는 물체(예. 물) 사이의 인터랙션을 진짜와 같이 모델링하는 것이다. 이러한 모델링을 이루기 위해 공지된 게임 기술 기법들이 사용될 수 있다.
본 발명의 특정 실시예들의 특징은 기존 미디어 콘텐츠 위에 인터랙티브 게임 레이어를 합성하고, 본 발명의 이러한 면에서 미디어 영상의 몇몇 엘리먼트들은 인터랙션의 물리적 현상들에 기초하여 애니메이션 되고 실제 상황과 같이 인터렉트 할 수 있는 버전으로 교체된다. 본 발명의 한 실시예에 있어서, 편집기는 바탕이 되는 콘텐츠의 선택된 부분들을 다른 목적에 맞게 만듦으로써 프레임 레벨에 메타데이터를 추가한다. 이러한 프레임 레벨은 물리 법칙들에 기초하여 움직이도록 설정된 부분들을 다시 렌더링 한다. 넓은 의미로는 본 발명의 이러한 점이 콘텐츠 영상에 메타데이터를 적용해서 비디오 스트림 속 물체들의 경계를 물체들 각자의 물리적 현상에 기초하여 지정한다. 따라서 다른 실시예에서는 광고 수입이 게임 오버레이의 일부로 오버레이 된 물체들이나 바탕이 되는 콘텐츠 영상에 있는 물체들의 대체물에 추가될 수 있다. 예를 들어 가족들이 아침을 먹는 장면에 나타나는 시리얼 박스(box of cereal)는 물리적으로 동일하지만 시리얼 제조업자의 광고 로고를 포함하는 시리얼 박스로 대체될 수 있다. 이와 유사하게 나이키(Nike) 로고와 같은 로고도 신발에 추가될 수 있다. 본 명세서는 장면 속에서 개인이 걷거나 뛰는 움직임을 추적하고, 나이키 로고를 진짜 로고와 같이 적용할 수 있다.
상기의 상세한 설명은 본 발명의 바람직한 실시예의 온전한 설명이지만, 다른 균등물과 변형물들이 사용될 수 있다. 그러므로, 본 발명의 범위는 상기 설명을 참조하여 판단되지 말아야 하며, 대신, 첨부된 청구항들과 그 균등물들의 모든 범위를 함께 참조해서 판단되어야한다. 본 명세서에 서술된 어떠한 기술적 특징도, 본 명세서에 서술된 다른 어떠한 기술적 특징과 바람직하게든 아니든 결합될 수 있다. 첨부된 청구항들은 "~을 위한 수단(means for)"의 기재가 명시적으로 사용되지 않은 이상, 기능적 기재 형태(means-plus-function limitations)로 해석되어서는 안 된다.
상세한 설명 중 도시된 실시예들 및 일례들은 개시되거나 청구되는 장치 및 방법들에 대한 한정으로 보다는 견본으로 고려되어야 한다. 본 명세서에 기재된 많은 예들이 과정들이나 시스템 엘리먼트들의 특정 조합을 포함하지만, 이러한 과정들이나 엘리먼트들은 동일한 목적을 달성하기 위하여 다른 방법으로도 조합될 수 있는 것으로 이해해야 한다. 흐름도에 대하여는 추가적이거나 보다 적은 과정들이 실행될 수 있고, 도시된 과정들은 본 명세서에 서술된 방법들을 달성하기 위해 조합되거나 더 세밀하게 구분될 수 있다. 하나의 실시예에만 관련하여 서술된 과정들, 엘리먼트들 및 특징들은 비슷한 역할을 가진 다른 실시예들로부터 제외시키는 것으로 의도되지 않았다.
청구항들에서 기능적 기재 형태로 기재된 한정 사항들의 수단은 본 명세서에 기재된 기능을 수행하기 위한 수단으로 한정하는 것으로 의도되지 않고, 기재된 기능을 수행하기 위한 현재 공지되거나 나중에 개발될 어떠한 수단의 범위도 포함하도록 의도되었다.
본 명세서에서 사용된 바와 같이, 상세한 설명이나 청구항들에서 '구비하는', '포함하는', '가지는', '장착하는' 등의 기재는 개방형, 즉 이로 한정되지 않는 의미로 받아들여야 한다. '~을 구성하는(consisting of)'과 '~을 필수로 구성하는(consisting essentially of)'의 전이구(transition phrase)들만 청구항들에 대하여 각각 패쇄형과 준 패쇄형 각각을 의미한다.
본 명세서에서 '복수'라는 용어의 의미는 두 개 이상을 뜻한다.
본 명세서에서 '및/또는'이라는 용어의 의미는 나열된 아이템들은 양자택일 가능하지만, 나열된 아이템들의 어떠한 조합도 가능한 것을 뜻한다.

Claims (52)

  1. 프로그램 된 프로세서를 포함하는, 미디어 영상(media representation) 속 실시간 참여를 위한 시스템으로,
    상기 프로세서는,
    a) 상기 미디어 영상을 미리 처리(preprocess)하여, 상기 미디어 영상에서 도시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 시변 메타데이터(time-variant metadata) 스트림을 추출함으로써, 참가자 오버레이를 생성하고,
    b) 상기 오버레이의 상기 하나 이상의 인터랙티브 영역들을 통해 상기 미디어 영상과 참가자와의 인터랙션을 포착하고,
    c) 표시부 상으로 상기 참가자에게 보여주기 위해, 상기 오버레이와 상기 미디어 영상을 결합하도록 프로그램 되고,
    상기 참가자 오버레이는,
    시뮬레이션 되는 물리적 현상들(physics)을 포함하고,
    상기 시뮬레이션 되는 물리적 현상들은,
    상기 미디어 영상 속의 하나 이상의 콘텐츠 엘리먼트들(content elements)에 따라 지정된 상기 하나 이상의 인터랙티브 영역들의 경계(boundary)들을 포함하는 것을 특징으로 하는 시스템.
  2. 제 1항에 있어서,
    상기 참가자의 상기 인터랙션은,
    상기 미디어 영상 속 상기 하나 이상의 콘텐츠 엘리먼트들에 대한(upon) 사용자 액션, 아바타(avatar)를 통해 상기 미디어 영상 속에서 표현되는 사용자 액션 및 게임 엘리먼트와 연결된, 상기 미디어 영상 속 사용자 액션 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 시스템.
  3. 제 1항에 있어서,
    상기 미디어 영상과 상기 참가자 오버레이를 동시에 표시하기 위한 표시부를 더 포함하는 것을 특징으로 하는 시스템.
  4. 제 3항에 있어서,
    상기 미디어 영상 속의 실시간 사용자 인터랙션을 용이하게 하도록 설정된 컨트롤러를 더 포함하는 것을 특징으로 하는 시스템.
  5. 제 4항에 있어서,
    상기 컨트롤러는,
    게임 컨트롤러, 조이스틱(joystick), 마우스, 터치패드, 초음파 모션 탐지기(ultrasonic motion detector), 마이크 및 비디오 카메라 중 어느 하나를 포함하는 것을 특징으로 하는 시스템.
  6. 제 1항에 있어서,
    복수의 참가자 위치들 및
    상기 참가자 위치들 각각을 연결하는 네트워크를 더 포함하고,
    상기 참가자 위치들 각각은,
    적어도 하나의 참가자를 지원하고,
    상기 프로세서는,
    상기 복수의 참가자 위치들 각각에 있는 참가자들 각각의 인터랙션을 동시 포착하도록 설정되고, 상기 참가자 위치들 각각에 있는 표시부에서 표시되기 위해 참가자들 각각의 상기 인터랙션을 실시간으로 상기 오버레이에 추가하도록 설정된 것을 특징으로 하는 시스템.
  7. 제 1항에 있어서,
    복수의 참가자들을 지원하고, 상기 미디어 영상과 상기 참가자 오버레이를 상기 복수의 참가자들 각각에게 동시에 표시하도록 설정된 표시부를 지원하는 시설을 포함하는 참가자 위치를 더 포함하는 것을 특징으로 하는 시스템.
  8. 제 7항에 있어서,
    상기 복수의 참가자들 각각이 실시간으로 상기 미디어 영상과 인터랙트 하기 위한 수단을 더 포함하는 것을 특징으로 하는 시스템.
  9. 제 1항에 있어서,
    상기 프로세서는,
    상기 참가자 위치에 있는 로컬 프로세서를 포함하는 것을 특징으로 하는 시스템.
  10. 제 1항에 있어서,
    상기 참가자 오버레이를 통해 상기 미디어 영상에게 적어도 하나의 게임 플레이 엘리먼트를 제공하도록 프로그램 된 게임 프로세서를 더 포함하는 것을 특징으로 하는 시스템.
  11. 제 10항에 있어서,
    상기 게임 프로세서와 상기 프로세서는,
    상기 참가자 위치에 있는 하나 이상의 로컬 프로세서를 포함하는 것을 특징으로 하는 시스템.
  12. 제 1항에 있어서,
    상기 미디어 영상을 상기 프로세서에게 제공하도록 프로그램 된 미디어 프로세서를 더 포함하는 것을 특징으로 하는 시스템.
  13. 제 1항에 있어서,
    상기 프로세서는,
    포착된 참가자 인터랙션과 상기 미디어 영상을 동기화(synchronize)하도록 더 프로그램 된 것을 특징으로 하는 시스템.
  14. 제 1항에 있어서,
    상기 프로세서는,
    미리 정해진 기준에 따라 상기 미디어 영상을 매핑하고, 상기 매핑에 따라 인터랙티브 엘리먼트들을 상기 미디어 영상에 추가하고, 상기 매핑에 기초하여 상기 인터랙티브 엘리먼트들과의 참가자 인터랙션을 추적하도록 더 프로그램 된 것을 특징으로 하는 시스템.
  15. 제 14항에 있어서,
    상기 프로세서는,
    상기 인터랙션의 참가자 움직임을 추적하는데 상기 매핑을 사용하고, 상기 참가자 오버레이 및 상기 미디어 영상 사이의 정확한 등록(registration)을 유지하도록 프로그램 된 것을 특징으로 하는 시스템.
  16. 제 1항에 있어서,
    상기 미디어 영상은,
    상기 표시부에 비디오로 표시되는 것을 특징으로 하는 시스템.
  17. 제 1항에 있어서,
    상기 참가자 오버레이는,
    상기 참가자를 대표하는 아바타를 포함하는 것을 특징으로 하는 시스템.
  18. 제 1항에 있어서,
    상기 참가자 오버레이는,
    상기 미디어 영상 및 상기 참가자 오버레이 내에 있는 인터랙티브 엘리먼트들 중 적어도 어느 하나와 상기 참가자의 인터랙션들을 포함하는 것을 특징으로 하는 시스템.
  19. 제 1항에 있어서,
    상기 미디어 영상의 적어도 하나의 엘리먼트는,
    상기 미디어 영상에서 추출되고, 인터랙티브한 기능(feature)으로 다시 렌더링(re-render)되는 것을 특징으로 하는 시스템.
  20. 미디어 영상 속 실시간 참여를 위한 방법으로,
    a) 상기 미디어 영상을 미리 처리(preprocess)하여, 상기 미디어 영상에서 도시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 시변 메타데이터(time-variant metadata) 스트림을 추출함으로써 참가자 오버레이를 생성하는 과정과,
    b) 상기 오버레이의 상기 하나 이상의 인터랙티브 영역들을 통해 상기 미디어 영상과 참가자와의 인터랙션을 포착하는 과정과,
    c) 표시부 상으로 상기 참가자에게 보여주기 위해, 상기 오버레이와 상기 미디어 영상을 결합하는 과정과,
    d) 상기 미디어 영상과 상기 오버레이를 상기 표시부에 동시에 표시하는 과정을 포함하며,
    상기 참가자 오버레이는,
    시뮬레이션 되는 물리적 현상들(physics)을 포함하고,
    상기 시뮬레이션 되는 물리적 현상들은,
    상기 미디어 영상 속의 하나 이상의 콘텐츠 엘리먼트들(content elements)에 따라 지정된 상기 하나 이상의 인터랙티브 영역들의 경계(boundary)들을 포함하고,
    상기 인터랙션은 상기 미디어 영상 속 상기 하나 이상의 콘텐츠 엘리먼트들에 대한(upon) 사용자 액션, 아바타(avatar)를 통해 상기 미디어 영상 속에서 표현되는 사용자 액션 및 게임 엘리먼트와 연결된, 상기 미디어 영상 속 사용자 액션 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 방법.
  21. 제 20항에 있어서,
    상기 참가자의 상기 인터랙션은,
    상기 미디어 영상 속 상기 하나 이상의 콘텐츠 엘리먼트들에 대한(upon) 사용자 액션, 아바타(avatar)를 통해 상기 미디어 영상 속에서 표현되는 사용자 액션 및 게임 엘리먼트와 연결된, 상기 미디어 영상 속 사용자 액션 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 방법.
  22. 제 20항에 있어서,
    상기 미디어 영상은,
    기존의 콘텐츠로부터의 장면이나 다른 내러티브(narrative) 엘리먼트, 상기 참가자 오버레이와 연결하여 사용하기 위한 준비된 콘텐츠 부분 및 인터랙티브 한 활동 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 방법.
  23. 제 20항에 있어서,
    상기 미디어는 표준 케이블 방송, 위성 방송, 스트리밍 되는 미디어, DVD 영상 및 블루 레이(Blu-ray) 영상 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 방법.
  24. 제 20항에 있어서,
    복수의 참가자 위치들을 위해 프로세서는,
    참가자 레이어와 상기 미디어 영상을 조합하여, 인터랙티브 또는 게임 플레이 엘리먼트를 상기 미디어 영상 위에 이중 인화(印晝)(superimpose)하고,
    상기 참가자 위치 각각에 있는 각각의 참가자에게 상기 미디어 영상과 상기 인터랙티브 또는 게임 플레이 엘리먼트를 표시하고,
    상기 인터랙티브 또는 게임 플레이 엘리먼트에게 큐(cue)를 제공하여, 각각의 참가자가 미리 정해진 액션을 취하도록 프로그램 된 것을 특징으로 하는 방법.
  25. 제 24 항에 있어서,
    상기 미리 정해진 액션을 성공적으로 취하도록 첫 번째 참가자에게 상급을 부여하는 과정과,
    상기 참가자 위치 각각에 있는 상기 참가자들의 순위를 하나 이상의 참가자 액션들에 기초하여 표시하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  26. 제 20 항에 있어서,
    상기 참가자 오버레이를 생성하는 과정은,
    상기 표시부 상의 기준 위치들(referential locations)에 있는 특정 콘텐츠 엘리먼트들과 연결되어 게임 상태를 가능하게 하는, 시간에 기반하여 유발되는 액션의 공통 엘리먼트를 제공하는 과정을 포함하는 것을 특징으로 하는 방법.
  27. 제 20 항에 있어서,
    상기 미디어 영상 속에서 미리 정해진 수만큼과, 참가자 인터랙션의 어떠한 레벨 또는 재질(quality)에 의해 실시간으로 결정될 때, 하나 이상의 가상 물체들을 상기 참가자 오버레이를 통해 표시하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  28. 제 24 항에 있어서,
    아이콘을 포스트하기 위한 기구를 상기 참가자 각각에게 제공하는 과정을 더 포함하며,
    만약 미리 정해진 수의 아이콘들이 포스트 되면, 상기 프로세서는 상기 참가자 각각에게 인터랙티브 기능들을 접속할 수 있도록 하는 것을 특징으로 하는 방법.
  29. 제 20항에 있어서,
    지속적으로 표시되거나 사용자 호출 시 표시되는 액션 팔레트(pallette of actions)를 제공하는 과정을 더 포함하며,
    상기 참가자는 상기 액션 팔레트를 사용하여 상기 미디어 영상에 상기 참가자 오버레이를 통해 인터랙티브 한 가상 물체들을 추가할 수 있는 것을 특징으로 하는 방법.
  30. 제 29 항에 있어서,
    상기 액션 팔레트에 있는 상기 액션들은,
    상기 참가자 오버레이에 말풍선(voice bubble)을 통해 상기 표시부에 참가자 코멘트(comments)를 포스트 하거나, 상기 참가자 오버레이에 있는 가상 물체를 배치시키고 움직이는 과정 중 적어도 하나를 수행하거나, 상기 참가자 오버레이에 리액션(reaction) 및 오피니언(opinion) 중 적어도 하나를 표시하는 아이콘이나 심볼을 포스트 하는 것을 특징으로 하는 방법.
  31. 제 20 항에 있어서
    상기 경계들은,
    상기 표시부 상의 사용자 인터랙션 영역을 제한하는, 상기 참가자 오버레이 속 하나 이상의 뚜렷한 경계들을 포함하는 것을 특징으로 하는 방법.
  32. 제 20항에 있어서,
    상기 경계들은,
    상기 미디어 영상의 콘텐츠 엘리먼트의 윤곽에 대응하는, 상기 참가자 오버레이 속 하나 이상의 뚜렷한 경계들을 포함하는 것을 특징으로 하는 방법.
  33. 제 24 항에 있어서,
    상기 참가자 각각에게 상기 참가자 오버레이 속의 개인용 아바타를 제공하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  34. 제 20 항에 있어서,
    상기 경계들은,
    상기 참가자 오버레이 속 가상 물체의 하나 이상의 기준 모서리들(referential corners)을 포함하는 것을 특징으로 하는 방법.
  35. 제 20 항에 있어서,
    상기 참가자 오버레이와 연관되는, 상기 미디어 영상 속 하나 이상의 특정 영역들을 정의하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  36. 제 20 항에 있어서,
    상기 미디어 영상 중 미리 정해지거나 상기 참가자에 의해 정해진 시점에서 상기 참가자 오버레이에 게임 및 게임 엘리먼트 중 적어도 하나를 제공하는 과정과,
    미디어 영상 프레임 속 특정 위치에 있는 상기 게임 및 게임 엘리먼트 중 적어도 하나의 경계들을 정의하는 과정과,
    상기 참가자 각각에게 어떤 게임 및 게임 엘리먼트들 중 적어도 하나가 활성화된 것인지 식별하는 과정과,
    상기 게임 및 게임 엘리먼트 중 적어도 하나와의 사용자 인터랙션을 추적하는 과정과,
    상기 미디어 영상이 표시되는 중에 상기 게임 및 게임 엘리먼트 중 적어도 하나와 상기 참가자 각각의 인터랙션을 실시간으로 결합하고, 상기 게임 및 게임 엘리먼트 중 적어도 하나의 좌표에 기초하여 상기 참가자 각각의 인터랙션을 상기 프레임으로 합치(merge)고, 선택적으로, 참가자가 상기 게임 및 게임 엘리먼트 중 적어도 하나와 연결된 임무를 성공적으로 수행하면, 점수를 생성하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  37. 제 20 항에 있어서,
    포착된 참가자 인터랙션들에 기초하여 상기 미디어 영상의 분석을 준비하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  38. 제 20 항에 있어서,
    상기 a), b) 및 c) 과정은,
    사격 게임을 제공하는 과정을 포함하는 것을 특징으로 하는 방법.
  39. 제 38 항에 있어서,
    복수의 상기 참가자 위치들에서 복수의 상기 참가자들에게 보이는, 대응하고 독립적인 미디어 영상 중, 상기 복수의 참가자들에 의한 게임 동시 실행을 위하여 상기 사격 게임을 제공하는 과정과,
    상기 참가자 오버레이가 표시될 때 특정 인터랙티브 이벤트가 오버레이 되게 하는 조건들 및 환경을 성립하는 과정과,
    상기 참가자들이 상기 인터랙티브 엘리먼트를 사격하려 할 때 참가자 액션들을 추적하고, 참가자 점수들을 기록하는 과정과,
    상기 인터랙티브 엘리먼트를 사격하는 상기 참가자 각각의 효과를 나타내기 위해 애니메이션을 상기 참가자 오버레이에 추가하는 과정과,
    상기 참가자 오버레이를 통해 상기 참가자 각각에게 상기 애니메이션을 표시하는 과정을 더 포함하며,
    상기 참가자 각각은 네트워크를 통해 상기 오버레이 프로세서와 통신하고 있는 것을 특징으로 하는 방법.
  40. 제 39항에 있어서,
    상기 참가자 오버레이를 통해 각각의 참가자에게 최득점 참가자들의 순위 리스트를 표시하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  41. 제 20 항에 있어서,
    미디어 영상 프레임 안에 있는 콘텐츠 엘리먼트와의 충돌 가능성 때문에, 상기 참가자 오버레이 속의 경계를 상기 미디어 영상과 상대적으로 성립하는 과정과,
    상기 미디어 영상과 오버레이 되고, 혼합되는 상기 인터랙티브 엘리먼트들이 있는 일련의 이미지들의 시간에 따라 제한 사항(constraint)들을 성립하는, 프레임 내에 기준(reference)들을 지정하는 과정을 더 포함하며,
    상기 경계 너머로는 참가자 인터랙션이 가능하지 않은 것을 특징으로 하는 방법.
  42. 제 20 항에 있어서,
    미디어 영상에 인터렉티브 한 부분을 추가하여, 기존 콘텐츠를 다른 목적에 맞게 만드(repurpose)는 과정을 더 포함하는 것을 특징으로 하는 방법.
  43. 제 20 항에 있어서,
    참가자 인터랙션들이 저장되는 인터랙티브 참가자 점수 기록(register)를 제공하는 과정과,
    상기 참가자 레이어와의 참가자 인터랙션이나 참가자 점수에 의한 반응으로 상기 참가자의 다음 실행(play) 부분을 판단하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  44. 제 20 항에 있어서,
    스크린의 하부(bottom)에 관람객을 도시하는 프레임을 포함하는 영화관 오버레이 속에 참가자 아바타의 윤곽을 제공하는 과정과,
    스폰서 받은 인터랙티브 엘리먼트를 제공하는 과정과,
    게임 컨트롤러 작동이나 상기 참가자를 관찰하는 카메라에 의해 포착된 사용자 움직임들 및 제스처들에 기초하여, 상기 스폰서 받은 인터랙티브 엘리먼트들과 연결된 사용자 인터랙션 및 제스처들을 포착하는 과정과,
    상기 관람객의 멤버를 포함하는 아바타로 상기 관람객 중 복수의 참가자들 각각을 표시하는 과정과
    상기 스폰서 받은 인터랙티브 엘리먼트와 연결되고 포착된 참가자 인터랙션 및 제스쳐들을 인식하고, 상기 스크린에 있는 상기 참가자의 아바타에 의한 대응하는 액션을 도시하는 과정을 더 포함하며,
    모든 참가자들을 다른 참가자들의 인터랙션과 제스처들을 볼 수 있는 것을 특징으로 하는 방법.
  45. 제 44 항에 있어서,
    인터랙티브 엘리먼트 각각에 대한 참가자 인터랙션 및 제스처의 수를 판단하는 과정과,
    특정 참가자 인터랙션 및 제스처 중 적어도 하나와 연관된 상기 미디어 영상의 일부분의 엔터테인먼트 가치를 표시하는 리포트를 생성하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  46. 제 20 항에 있어서,
    하나 이상의 참가자들에 대하여 통계 정보(demographic information)를 포착하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  47. 제 20 항에 있어서,
    상기 미디어 영상의 적어도 하나의 엘리먼트를 추출하는 과정과,
    상기 적어도 하나의 추출된 엘리먼트를 인터랙티브 기능(feature)으로 다시 렌더링 하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  48. 표시부와,
    상기 표시부에 연결된 프로세서를 포함하며,
    상기 프로세서는,
    기존의 비디오 콘텐츠를 상기 기존의 비디오 콘텐츠의 장면에 오버레이 된 하나 이상의 가상 물체들과의 사용자 인터랙션을 허용하는 인터랙티브 오버레이와 결합하고,
    상기 오버레이는,
    시뮬레이션 되는 물리적 현상들을 포함하고,
    상기 시뮬레이션 되는 물리적 현상들은,
    상기 비디오 콘텐츠에 있는 하나 이상의 콘텐츠 엘리먼트들에 따라 정의된 경계들을 포함하는 것을 특징으로 하는 게임 시스템.
  49. 제 48 항에 있어서,
    상기 인터랙티브 오버레이는,
    인터랙션이 허용되거나 금지된 장면의 하나 이상의 영역들을 정의하는 정보를 포함하는 것을 특징으로 하는 게임 시스템.
  50. 제 48 항에 있어서,
    상기 인터랙티브 오버레이는,
    하나 이상의 가상 물체들을 정의하는 정보를 포함하는 것을 특징으로 하는 게임 시스템.
  51. 제 48 항에 있어서,
    상기 하나 이상의 가상 물체들은,
    광고 콘텐츠를 가지는 하나 이상의 브랜드 이름 물건들을 포함하는 하나 이상의 가상 물체들을 포함하는 것을 특징으로 하는 게임 시스템.
  52. 제 48항에 있어서,
    상기 인터랙션은,
    상기 기존의 비디오 콘텐츠의 하나 이상의 콘텐츠 엘리먼트들의 본질(nature)에 기초하는 것을 특징으로 하는 게임 시스템.
KR1020107026345A 2008-04-24 2009-04-09 시청자가 미디어 영상과 실시간으로 인터랙션하는 방법 및 장치 KR101283520B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US4773708P 2008-04-24 2008-04-24
US61/047,737 2008-04-24
US12/419,248 2009-04-06
US12/419,248 US8904430B2 (en) 2008-04-24 2009-04-06 Method and apparatus for real-time viewer interaction with a media presentation
PCT/US2009/040076 WO2009131846A2 (en) 2008-04-24 2009-04-09 Method and apparatus for real-time viewer interaction with a media presentation

Publications (2)

Publication Number Publication Date
KR20110002102A KR20110002102A (ko) 2011-01-06
KR101283520B1 true KR101283520B1 (ko) 2013-07-15

Family

ID=41216279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026345A KR101283520B1 (ko) 2008-04-24 2009-04-09 시청자가 미디어 영상과 실시간으로 인터랙션하는 방법 및 장치

Country Status (6)

Country Link
US (4) US8904430B2 (ko)
EP (1) EP2281245B1 (ko)
JP (2) JP6336704B2 (ko)
KR (1) KR101283520B1 (ko)
AU (1) AU2009238476B2 (ko)
WO (1) WO2009131846A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180084465A (ko) 2017-01-17 2018-07-25 한국전자통신연구원 영상 컨텐츠를 재사용하여 사용자 인터랙션을 인지할 수 있는 인터랙티브 미디어 제작 시스템 및 그 운용방법

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358320B2 (en) * 2007-11-02 2013-01-22 National University Of Singapore Interactive transcription system and method
WO2009081273A2 (en) * 2007-12-22 2009-07-02 John Andrew Vasilakos Method and system for awarding user points in response to user interest
US8646017B2 (en) * 2008-01-14 2014-02-04 At&T Intellectual Property I, L.P. Method and apparatus for providing collaborative viewing of a media stream
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
TW201005583A (en) 2008-07-01 2010-02-01 Yoostar Entertainment Group Inc Interactive systems and methods for video compositing
US8225348B2 (en) 2008-09-12 2012-07-17 At&T Intellectual Property I, L.P. Moderated interactive media sessions
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US9266017B1 (en) 2008-12-03 2016-02-23 Electronic Arts Inc. Virtual playbook with user controls
JP5299018B2 (ja) * 2009-03-26 2013-09-25 ソニー株式会社 情報処理装置、コンテンツ処理方法及びプログラム
US9186587B2 (en) * 2012-10-04 2015-11-17 Reza Jalili Distribution of electronic game elements
US8271905B2 (en) * 2009-09-15 2012-09-18 International Business Machines Corporation Information presentation in virtual 3D
US20110113458A1 (en) * 2009-11-09 2011-05-12 At&T Intellectual Property I, L.P. Apparatus and method for product tutorials
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8996974B2 (en) 2010-10-04 2015-03-31 Hewlett-Packard Development Company, L.P. Enhancing video presentation systems
WO2012047229A1 (en) 2010-10-08 2012-04-12 Hewlett-Packard Development Company, L.P. Combining multiple video streams
US20120194736A1 (en) * 2011-01-31 2012-08-02 Charles Dasher Methods and Apparatus for Interactive Media
KR101221540B1 (ko) * 2011-02-25 2013-01-11 주식회사 틴로봇 인터랙티브 미디어 매핑 시스템 및 그 방법
WO2012145317A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
US9259643B2 (en) * 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8702507B2 (en) * 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
CN103875033B (zh) 2011-08-05 2017-06-30 福克斯体育产品公司 本地图像部分的选择性拍摄和呈现
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US20130229578A1 (en) * 2012-03-05 2013-09-05 Russell Benton Myers On-screen Additions to Movie Presentations
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JP6412001B2 (ja) * 2012-08-31 2018-10-24 フォックス スポーツ プロダクションズ，インコーポレイティッド 放送内で対象を追跡及びタグ付けするシステム及び方法
WO2014068806A1 (ja) * 2012-11-05 2014-05-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
WO2014102785A1 (en) * 2012-12-26 2014-07-03 Livingrid Ltd. A method and system for providing and managing a social platform that visualizes virtual crowd
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
WO2014182508A1 (en) 2013-05-06 2014-11-13 Yoostar Entertainment Group, Inc. Audio-video compositing and effects
JP6183047B2 (ja) * 2013-08-12 2017-08-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9514558B2 (en) * 2013-09-06 2016-12-06 Imatte, Inc. Method for preventing selected pixels in a background image from showing through corresponding pixels in a transparency layer
NO20140637A1 (no) * 2014-05-21 2015-11-23 The Future Group As Virtuell protokoll
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
US10334300B2 (en) * 2014-12-04 2019-06-25 Cynny Spa Systems and methods to present content
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
US9503682B2 (en) * 2014-12-17 2016-11-22 Fuji Xerox Co., Ltd. Systems and methods for conveying physical state of a remote device
US20160259488A1 (en) 2015-03-06 2016-09-08 Alibaba Group Holding Limited Navigation user interface for compact mobile devices
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US10623525B2 (en) * 2016-06-23 2020-04-14 DISH Technologies L.L.C. Methods, systems, and apparatus for presenting participant information associated with a media stream
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10795560B2 (en) * 2016-09-30 2020-10-06 Disney Enterprises, Inc. System and method for detection and visualization of anomalous media events
US10471360B2 (en) 2017-03-06 2019-11-12 Sony Interactive Entertainment LLC User-driven spectator channel for live game play in multi-player games
US10672190B2 (en) * 2017-10-05 2020-06-02 Microsoft Technology Licensing, Llc Customizing appearance in mixed reality
US10417500B2 (en) 2017-12-28 2019-09-17 Disney Enterprises, Inc. System and method for automatic generation of sports media highlights
WO2019164361A1 (ko) * 2018-02-23 2019-08-29 스타십벤딩머신 주식회사 스트리밍 장치 및 스트리밍 방법
US10818142B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Creation of winner tournaments with fandom influence
US10953335B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment Inc. Online tournament integration
US10765957B2 (en) * 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC Integrating commentary content and gameplay content over a multi-user platform
US10953322B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment LLC Scaled VR engagement and views in an e-sports event
US10814228B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Statistically defined game channels
US10792577B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Discovery and detection of events in interactive content
US10765938B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC De-interleaving gameplay data
US10792576B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls
US10751623B2 (en) 2018-02-28 2020-08-25 Sony Interactive Entertainment LLC Incentivizing players to engage in competitive gameplay
GB2571956B (en) * 2018-03-14 2022-04-27 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
KR102077394B1 (ko) * 2018-06-28 2020-02-13 한국과학기술원 도면 중첩식 가상 공간 설계 방법 및 시스템
JP7172190B2 (ja) * 2018-06-29 2022-11-16 株式会社アドヴィックス ブレーキ制御装置
JP6869215B2 (ja) * 2018-09-19 2021-05-12 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理システム
JP7181148B2 (ja) * 2019-04-11 2022-11-30 株式会社コロプラ システム、プログラム、方法、および情報処理装置
JP7256870B2 (ja) * 2019-04-17 2023-04-12 マクセル株式会社 映像表示装置及びその表示制御方法
JP7360112B2 (ja) * 2019-09-27 2023-10-12 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7369674B2 (ja) 2019-09-30 2023-10-26 株式会社コロプラ プログラム、方法、および視聴端末
JP6737941B1 (ja) * 2019-09-30 2020-08-12 株式会社コロプラ プログラム、方法、および視聴端末
CN113055611B (zh) * 2019-12-26 2022-09-02 北京字节跳动网络技术有限公司 图像处理方法及装置
US11394799B2 (en) 2020-05-07 2022-07-19 Freeman Augustus Jackson Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data
US20220132200A1 (en) * 2020-10-13 2022-04-28 Andrew Flessas Method and system for displaying overlay graphics on television programs in response to viewer input and tracking and analyzing viewer inputs
US20220176251A1 (en) * 2020-12-09 2022-06-09 Activision Publishing, Inc. Methods and Systems for Dynamically Selecting and Modifying Digital Assets Within Game Elements of a Multiplayer Video Game
JP7167388B1 (ja) 2021-12-24 2022-11-09 正啓 榊原 動画作成システム、動画作成装置、及び動画作成用プログラム
US11875471B1 (en) * 2022-03-16 2024-01-16 Build a Rocket Boy Games Lid. Three-dimensional environment linear content viewing and transition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028873A1 (en) 2001-08-02 2003-02-06 Thomas Lemmons Post production visual alterations

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708845A (en) 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
JP3104638B2 (ja) * 1996-03-25 2000-10-30 株式会社日立製作所 ３次元画像作成装置
US6080063A (en) * 1997-01-06 2000-06-27 Khosla; Vinod Simulated real time game play with live event
IL121178A (en) * 1997-06-27 2003-11-23 Nds Ltd Interactive game system
KR20010000785A (ko) 2000-10-19 2001-01-05 김진수 맞춤 동영상데이터 제공시스템 및 그것을 이용한 맞춤동영상데이터 제공방법
EP1428108B1 (en) * 2001-05-14 2013-02-13 Koninklijke Philips Electronics N.V. Device for interacting with real-time streams of content
US7631327B2 (en) * 2001-08-08 2009-12-08 Accenture Global Services Gmbh Enhanced custom content television
US20030101450A1 (en) 2001-11-23 2003-05-29 Marcus Davidsson Television chat rooms
US20030219708A1 (en) * 2002-05-23 2003-11-27 Koninklijke Philips Electronics N.V. Presentation synthesizer
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7782297B2 (en) 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
USD630211S1 (en) 2006-05-08 2011-01-04 Sony Computer Entertainment Inc. Video game controller front face
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
USD571367S1 (en) 2006-05-08 2008-06-17 Sony Computer Entertainment Inc. Video game controller
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
AU2003257956A1 (en) * 2002-07-31 2004-02-16 Bluestreak Technology Inc. System and method for providing real-time ticker information
US20040189701A1 (en) 2003-03-25 2004-09-30 Badt Sig Harold System and method for facilitating interaction between an individual present at a physical location and a telecommuter
EP2594322A3 (en) 2003-06-02 2013-12-04 Disney Enterprises, Inc. System and method of interactive video playback
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP2005100053A (ja) 2003-09-24 2005-04-14 Nomura Research Institute Ltd アバター情報送受信方法、プログラム及び装置
KR100611370B1 (ko) * 2004-04-07 2006-08-11 주식회사 알티캐스트 아바타를 통한 방송프로그램 참여 및 이를 위한 지원 시스템
JP4005060B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法
JP2006277076A (ja) 2005-03-28 2006-10-12 Fuji Electric Device Technology Co Ltd 画像インターフェイス装置
US8888593B2 (en) 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
JP4734138B2 (ja) 2006-02-23 2011-07-27 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP4880324B2 (ja) 2006-02-28 2012-02-22 株式会社バンダイナムコゲームス サーバシステム、プログラム及び情報記憶媒体
US8566865B2 (en) 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
US8549554B2 (en) 2006-03-07 2013-10-01 Sony Computer Entertainment America Llc Dynamic replacement of cinematic stage props in program content
US20070265075A1 (en) 2006-05-10 2007-11-15 Sony Computer Entertainment America Inc. Attachable structure for use with hand-held controller having tracking ability
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US20110014981A1 (en) 2006-05-08 2011-01-20 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
JP4425890B2 (ja) 2006-08-07 2010-03-03 株式会社コナミデジタルエンタテインメント シミュレーション装置、シミュレーション方法、ならびに、プログラム
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US20080098448A1 (en) 2006-10-19 2008-04-24 Sony Computer Entertainment America Inc. Controller configured to track user's level of anxiety and other mental and physical attributes
US20080096654A1 (en) 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Game control using three-dimensional motions of controller
US20080096657A1 (en) 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Method for aiming and shooting using motion sensing controller
US9015772B2 (en) * 2006-12-12 2015-04-21 The Directv Group, Inc. Interactive gaming channel video stream with nested features
JP2008183053A (ja) 2007-01-26 2008-08-14 Taito Corp ゲームシステム及びゲームプログラム
US20080307473A1 (en) * 2007-06-06 2008-12-11 Virtual Worlds Ppv, Llc Virtual worlds pay-per-view
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
CN102918476B (zh) 2010-02-05 2017-03-08 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
US8882597B2 (en) 2011-05-25 2014-11-11 Sony Computer Entertainment America Llc Hybrid separable motion controller
RU2503050C1 (ru) 2012-05-30 2013-12-27 Игорь Николаевич Компанец Видеопроектор

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028873A1 (en) 2001-08-02 2003-02-06 Thomas Lemmons Post production visual alterations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180084465A (ko) 2017-01-17 2018-07-25 한국전자통신연구원 영상 컨텐츠를 재사용하여 사용자 인터랙션을 인지할 수 있는 인터랙티브 미디어 제작 시스템 및 그 운용방법

Also Published As

Publication number Publication date
US20090271821A1 (en) 2009-10-29
WO2009131846A3 (en) 2010-01-07
EP2281245A2 (en) 2011-02-09
US8904430B2 (en) 2014-12-02
AU2009238476A1 (en) 2009-10-29
AU2009238476B2 (en) 2012-07-12
US20200077152A1 (en) 2020-03-05
EP2281245B1 (en) 2019-06-12
US20170171625A1 (en) 2017-06-15
WO2009131846A2 (en) 2009-10-29
EP2281245A4 (en) 2016-02-24
KR20110002102A (ko) 2011-01-06
US10412456B2 (en) 2019-09-10
JP6336704B2 (ja) 2018-06-06
JP2016025876A (ja) 2016-02-12
US9584862B2 (en) 2017-02-28
JP6823915B2 (ja) 2021-02-03
US20150143417A1 (en) 2015-05-21
JP2011518612A (ja) 2011-06-30

Similar Documents

Publication Publication Date Title
KR101283520B1 (ko) 시청자가 미디어 영상과 실시간으로 인터랙션하는 방법 및 장치
US8177611B2 (en) Scheme for inserting a mimicked performance into a scene and providing an evaluation of same
US9292163B2 (en) Personalized 3D avatars in a virtual social venue
US9652046B2 (en) Augmented reality system
US20110225519A1 (en) Social media platform for simulating a live experience
US20110244954A1 (en) Online social media game
US8667402B2 (en) Visualizing communications within a social setting
US20110239136A1 (en) Instantiating widgets into a virtual social venue
US20110225515A1 (en) Sharing emotional reactions to social media
US20110225039A1 (en) Virtual social venue feeding multiple video streams
US20110225498A1 (en) Personalized avatars in a virtual social venue
US20110225516A1 (en) Instantiating browser media into a virtual social venue
JP2017504457A (ja) ユーザ選択可能アイコンを含むポータルサイトを大型ディスプレイシステム上に表示する方法およびシステム
US20110225518A1 (en) Friends toolbar for a virtual social venue
US20110225517A1 (en) Pointer tools for a virtual social venue
Bouville et al. Virtual reality rehearsals for acting with visual effects
Warren Virtual perspective: the aesthetic lineages of immersive experience
Sirer Reading the Television Broadcasts on Sports
Jørgensen The Qualified Medium of Computer Games: Form and Matter, Technology, and Use
Wells Playing on the animation spectrum: Sport and visualisation
Nnadi et al. Effect of dynamic camera control on spatial reasoning in 3D spaces
Kim et al. Magic Mirror: A new VR platform design and its applications
CN117065323A (zh) 一种游戏副本的展示方法
Hammad et al. The View from MARS: Empowering Game Stream Viewers with Metadata Augmented Real-time Streaming
Hanna A Survey of The Staged Cyborg

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160623

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 7