KR20060030036A - 인터랙티브 비디오 재생 시스템 및 방법 - Google Patents

인터랙티브 비디오 재생 시스템 및 방법 Download PDF

Info

Publication number
KR20060030036A
KR20060030036A KR1020057023152A KR20057023152A KR20060030036A KR 20060030036 A KR20060030036 A KR 20060030036A KR 1020057023152 A KR1020057023152 A KR 1020057023152A KR 20057023152 A KR20057023152 A KR 20057023152A KR 20060030036 A KR20060030036 A KR 20060030036A
Authority
KR
South Korea
Prior art keywords
media
video
game
segments
user
Prior art date
Application number
KR1020057023152A
Other languages
English (en)
Other versions
KR101032073B1 (ko
Inventor
조나단 애클리
크리스토퍼 티 캐리
벤 카
캐티 풀
Original Assignee
디즈니엔터프라이지즈,인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디즈니엔터프라이지즈,인크. filed Critical 디즈니엔터프라이지즈,인크.
Publication of KR20060030036A publication Critical patent/KR20060030036A/ko
Application granted granted Critical
Publication of KR101032073B1 publication Critical patent/KR101032073B1/ko

Links

Images

Classifications

    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/202Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the game platform being a DVD player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • A63F2300/207Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards for accessing game resources from local storage, e.g. streaming content from DVD
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407Data transfer via internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/63Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/632Methods for processing data by generating or executing the game program for controlling the execution of the game in time by branching, e.g. choosing one of several possible story developments at a given point in time

Abstract

비디오 플레이어(20)는 미디어(10)를 이용하여 비디오(30)를 실행한다. 이는 메뉴가 디스플레이되도록 하고(40), 트리거들을 인식하며(50), 사용자(15) 입력에 기초하여 비디오의 세그먼트들(60)을 건너 뛰고, 그래픽을 삽입하며(70) 게임을 실행한다.

Description

인터랙티브 비디오 재생 시스템 및 방법{SYSTEM AND METHOD OF INTERACTIVE VIDEO PLAYBACK}
본 발명은 디지털 비디오 제어에 관한 것이다. 보다 구체적으로, 본 발명은 인터랙티브 게임 또는 교육 체험을 제공하는 신규한 시스템 및 방법에 관한 것이다.
인터랙티브 멀티미디어는 사용자가, 이용 가능한 변화되는 멀티미디어 자원을 체험함으로써 대상을 보다 완전히 인식할 수 있도록 한다. 인터랙티브 멀티미디어는 텍스트, 오디오, 그래픽, 정지 화상 및 동화상을 단일의 컴퓨터에 의해 제어되는 멀티미디어 제품으로의 통합을 포함한다. 인터랙티브 멀티미디어에 대한 요구는 이러한 프로그램을 위한 증가하는 데이터 스토리지에 대한 요구와 함께 커져가고 있다.
DVD 및, 고선명 비디오 플레이어 및 소프트웨어 DVD-ROM과 같은 다른 디지털 미디어 플레이어는 증가된 데이터 스토리지 양을 제공하고, 따라서, 미디어 통합을 향한 더 많은 방법을 제공한다. 증가된 스토리지 용량은 단일 디스크 또는 드라이브 상에 더 많은 정보를 유지하는 능력으로 변화된다. 증가된 스토리지 용량 이외에, 디지털 미디어는 고품질의 비디오 및 오디오를 제공할 수 있다.
고품질의 오디오 및 비디오 제품들을 위한 다수의 용도가 있지만, 엔터테인먼트 산업은 (특히, 비디오 게임 산업에서) 더욱 고품질의 오디오 및 비디오를 요구한다. 비디오 게임 산업은 저가의 고품질을 원한다. 영화에 기초하여 비디오 게임을 제작하기 위해, 오디오 및 비디오의 품질은 비용 문제로 어려움을 겪는다. 다른 상황으로, 품질 제품은 품질 제품 이익을 창출하기에는 너무 고가로 생산되었다.
수년 동안, 엔터테인먼트 산업은 영화로부터의 비디오를 비디오 게임에서의 용도에 부가하려고 시도하고 있다. 그 개념은 헐리우드 프로덕션 등급을 갖는 게임을 제작하는 것이었지만, 분기 줄거리(branching storyline) 및 스프라이트 오버레이(sprite overlay)를 통해 인터랙티비티(interactivity)를 부가하는 것이었다. 스프라이트(sprite)는 픽셀 패턴으로 구성되어 컴퓨터 프로그래머에 의해 정의되는 그래픽 객체이다. 그 객체는 생동감 있는 게임 또는 그래픽 스크린 디스플레이를 생성하도록 조종 및 결합될 수 있다. 이러한 기술을 이용하여, 이러한 "인터랙티브 영화"는 비디오 게임 산업의 미래인 것으로 생각되었다. 개인용 컴퓨터 및 콘솔 게임 제작사들은 영화 제작이 재정 자원을 빨리 소모한다는 것을 알았다.
비디오 게임 산업에서, 애니메이션 또는 컴퓨터 그래픽에 의존하기 보다는 비디오 게임에 비디오를 삽입하려는 시도가 있어 왔다. 비디오 게임은 스토리지에 다수의 비디오 클립을 유지한다. 사용자의 액션에 따라, 비디오 게임은 대응한 비디오 클립을 실행한다. 이러한 시스템에 대해서는 적어도 두가지의 명백한 단점이 있다. 첫째, 비디오는 게임 내내 계속하여 실행되지 않는다. 둘째, 비디오는 영화 로부터 용이하게 입수되지 못할 수 있다. 대신, 클립들은 다시 영화화(refilm)되어 적절한 미디어 상에 저장되어야 한다. 개인용 컴퓨터 및 게임 콘솔 산업에서 비디오 클립들 상에 게임을 오버레이하려는 많은 시도가 있었다.
비디오를 통해 인터랙티브 게임을 실행하고자 하는 한가지 종래의 시도는 "Dragon's Lair"이다. Dragon's Lair는 비디오 경로 분기(branching)를 이용하여 아케이드 경험(arcade experience)을 생성하였다. 그러나, 이러한 게임은 디지털 비디오가 아니라 아날로그 레이저디스크에 기초하였다. 디지털 비디오는 품질면에서 아날로그에 비해 우월하다. 또한, 아날로그 비디오 경로 분기에 이용되는 기술은 디지털 기술로 변환되지 않는다.
디지털 비디오를 이용한 첫 게임은 "Sherlock Holmes: Consulting Detective"이었다. 예산이 극도로 높았고 실제 세트 상에서 전문 배우들과 노련한 영화 제작자에 의해 영화화되었다. 개별 장면을 영화화하기 위한 높은 비용 및 요건으로 인하여 이러한 기술은 인터랙티브 영화에 바람직하지 않다.
첫번째 FMV(full motion video; 풀 모션 비디오)는 Digital Pictures의 "Night Trap"이었으며 레이저디스크 및 CD 플랫폼 상에서 생산되었다. FMV는 연속적인 움직임을 디스플레이할 수 있는 비디오 시스템이다. 몇몇 저속의 CD-ROM 드라이브 및 저대역폭 네트워크는 풀-모션 비디오에 필요한 방대한 데이터를 처리할 수 없어, 비디오 재생은 불균일하게 더듬거리는 경향이 있다. 또한, 비디오는 종종 선명하지 않고 약간 흐리게 된다. Night Trap은 또한 실제 배우들의 푸티지(footage)로 구성된 첫번째 인터랙티브 게임 중 하나이었다. Digital Pictures는 후에 SegaCD 플랫폼을 위한 "Sewer Chark"를 배포한다. 해상도 및 컬러 팔렛트와 같은 속성들이 비디오에 결여되어 있었다. 전체적으로, FMV는 인터랙티브 영화에 대한 해법을 제공하지 않았다.
다른 게임들은 컴퓨터 그래픽 및 배우들의 추가적인 푸티지의 혼합에 주로 의존한다. LucasArts Entertainment Company의 "Star Wars: Rebel Assault" 및 "Rebel Assault II"은 전문 배우들을 이용하여 스테이지 상에서 레코딩되는 비디오를 이용하였다. 사실성을 부가하기 위해, 비디오 게임 샷을 위해 원래 소품 및 의상들을 실제 영화 프로덕션으로부터 입수하였다. 배우들과 함께 이용될 어떠한 배, 건물, 또는 다른 세트도 만들어지지 않았다. 대신에, 배우들은 파란 스크린 스테이지 - 이는 특수한 파란색조로 모두 칠하여진 큰 방임 - 상에서 녹화되었다. 푸티지가 레코딩되고 디지털화된 후, 특수 효과 기술자들은 컴퓨터를 이용하여 이미지의 모든 파란 부분들을 컴퓨터에 의해 생성된 적절한 위치의 이미지로 대체할 수 있다. 이러한 제품을 위해서는 예산이 많이 소요되고 필요한 컴퓨터 그래픽을 제공하기 위해 상당한 시간이 요구되었다.
인터랙티브 영화에서의 또다른 종래의 시도에 있어서, Trilobyte의 "The 7th Guest"는 퍼즐을 해결하는 것에 대한 보상으로 비디오 클립들을 실행하였다. 그 비디오는 배우들이 파란 스크린 스테이지 상에서 영화화되었기 때문에 품질이 낮았다. 명확한 해법 없이, 결과로서 생긴 영화는 배우들 주위에 파란 헤일로(halo)의 외관을 갖는다. 또한, 게임 실행은 비디오의 순서에 관련없다.
다른 종래의 시도는, 게임이 그 사용자의 동작과 관련된 비디오 클립을 로딩 할 것을 요구한다. 어드벤쳐 게임인 Electronic Arts의 "The Psychic Detective"은 비디오 분기(branch) 및 스프라이트 오버레이를 이용하여 사용자 인터랙션을 제공하였다. 게임이 "Run Away" 또는 "Knock on the Door"와 같은 옵션들로 사용자를 프롬프트할 때, 사용자의 선택에 기초하여 투시도가 변한다. 이러한 선택을 통해, 게임은 사용자를 다수의 상이한 결말 중 하나로 이끌 수 있다.
The Psychic Detective은 게임 내내 일정한 전개(movement)를 제공한다. 잘못된 선택에 의하더라도 비디오는 계속된다. 그러나, 게임은 연속적인 비디오를 실행하고 있지 않고, 사용자의 선택에 기초하여 비디오 클립들을 순차적으로 실행하고 있다. 사실, The Psychic Detective은 비디오 클립 및 프로그래밍 모두를 제공하기 위해 3장의 CD 셋을 요구한다.
The Psychic Detective는 동화상 및 비디오 게임의 혼합의 원하는 제품과 거리가 있다. 인터랙티브 영화를 제공하려는 이러한 종래의 시도는 영화 제작자 및 게임 개발자의 제품을 완전히 통합하지는 않는다. 인터랙티브 영화는 종래의 인터랙티브 미디어에 통합되지 않은 특징을 요구한다. 미디어는 사용자가 영화에 "참여"하도록 하지 않는다. 사용자는 캐릭터 역할을 할 수도 없고 액션의 일련의 장면에 도움을 줄 수도 없다. 종래의 시도들은 개인용 컴퓨터 및 VCR과 같은 비디오 재생 장치 모두를 이용하였다. 그러나, 개인용 컴퓨터는 이상적인 비디오 재생 장치가 아니며 비디오 재생 장치는 개인용 컴퓨터의 연산력도 갖지 못한다.
비디오 게임을 위한 원래의 비디오 컨텐츠를 생성하는 것은 종종 헐리오드 영화의 프로덕션 품질을 갖지 않는 값비싼 프로세스이다. 발생되는 수입을 고려할 때 주문형 비디오 컨텐츠를 이용하는 것이 매우 비싸기 때문에, 종래의 시도들은 진정한 인터랙티브 영화를 생성하는데 있어 성공적이지 않다. 요구되는 것은 사용자가 영화 스튜디오의 고품질 푸티지와 인터랙트하도록 변경될 수 있는 영화이다.
DVD 또는 고선명 비디오 재생기와 같은 고객 재생 장치 상에서 인터랙티브 게임 체험을 제공하는 인터랙티브 비디오 재생 시스템 및 방법이 개시된다. 이전에 존재하는 미디어는 사용자에게 인터랙티브 게임 체험을 제공한다. 미디어 재생 장치는 이전에 존재하는 미디어를 그 원래의 형태에서 게임 실행과 같이 인터랙티비티에 더 도움이 되는 형태로 동적으로 편집 또는 압축한다. 그래픽, 텍스트, 또는 다른 비디오가 인터랙티브 체험을 생성하기 위해 미디어 상에 중첩된다.
인터랙티브 미디어 플레이어는, 예를 들면, DVD 플레이어, 개인용 컴퓨터, 고선명 또는 소프트웨어 비디오 플레이어일 수 있다. 일실시예에서, 이전에 존재하는 미디어는 텔레비젼 쇼 또는 영화와 같은 비디오이다.
예를 들면, 영화를 담고 있는 DVD는 인터랙티브 게임이 생성되기 이전에 존재하는 데이터로 이용될 수 있다. 일반적으로, 영화는 편집된 다수의 장면들을 함께 포함하며, 이러한 장면들 중 일부는 클로즈-업일 수 있다. 그러나, 인터랙티브 게임에 있어서, 클로즈-업과 같은 장면은 요구되지 않는다. 그러므로, 비디오는 더 느린 장면 및 클로즈-업과 같이 요구되지 않는 부분들을 제거하도록 편집되며, 단지 액션의 일련의 화면만을 잔존 비디오로서 남긴다.
일실시예에서, 언제 중단하고 개시하며, 또는 얼마나 오랫동안 그 비디오를 컷할 것인지를 정하는 시간 또는 트리거의 테이블 또는 리스트를 이용함으로써 플라이(fly) 상에서 비디오를 편집한다. 세그먼트들간의 부드러운 전이를 허용하기 위해 세그먼트들을 버퍼링하기 위한 충분한 메모리와 함께, 비디오 스트림을 동적으로 편집(edit)하기 위해 미디어 플레이어 프로세서가 이용된다. 시스템은 또한 게임 실행 또는 인터랙티비티를 위해 그래픽 또는 텍스트의 오버레이를 허용한다. 또한, 시스템은 비디오 및 오디오 믹싱을 할 수 있다.
또 다른 실시예는 비디오 재생을 통해 인터랙티브 게임을 제공하는 방법을 제공하며, 그 방법은, 사용자 입력을 수신하고 비디오 재생에 더하여 그래픽 또는 텍스트를 그리며 사운드 재생을 제어하는 프로세스를 갖는 비디오 플레이어를 제공하는 단계; 게임 실행 동안 실행될 비디오 스트림의 세그먼트를 프로세서에 표시하기 위해 표준 재생을 위한 비디오 스트림을 갖는 미디어 및 복수의 세그먼트 식별자를 제공한 단계; 및 인터랙티브 게임 체험을 생성하기 위해 비디오 상에 그래픽 또는 텍스트를 중첩시키는 단계를 포함한다. 게임의 연속적인 실행을 중단하는 비디오 스트림의 세그먼트는 건너 뛰게 된다. 비디오 스트림의 세그먼트는 사용자 인터랙션에 기초하여 실행된다. 세그먼트 식별자는 트리거일 수 있다. 세그먼트 식별자는 편집 결정 리스트(edit decision list)에 제공될 수 있다. 사용자에 의한 입력은 원격 장치와 함께 제공된다. 원격 장치는 키보드, 마우스, 원격 제어, 또는 게임 콘트롤러를 포함한다. 관련 오디오는 그래픽 또는 텍스트와 함께 제공된다. 추가적인 그래픽 또는 텍스트는 사용자 입력에 응답하여 디스플레이된다.
또 다른 실시예는 인터랙티브 미디어를 위한 시스템을 제공하며, 그 시스템은, 미디어를 실행하기 위한 비디오 플레이어; 미디어 내의 복수의 세그먼트 식별자 - 비디오 플레이어는 세그먼트 식별자를 인식하고 선택 세그먼트 식별자들 사이에서 세그먼트를 실행함 - ; 및 실행되는 세그먼트를 위한 오버레이 - 오버레이는 사용자가, 실행되는 세그먼트와 인터랙트하도록 도움을 줌 - 을 포함한다. 복수의 세그먼트 식별자는 편집 결정 리스트에 있다. 편집 결정 리스트는 분기(branching) 편집 결정 리스트이고, 실행되는 세그먼트들은 사용자 입력에 대응한다. 세그먼트 식별자는 트리거일 수 있다. 오버레이는 그래픽 또는 텍스트를 포함한다. 비디오 플레이어는 DVD 플레이어, 고선명 플레이어, 또는 개인용 컴퓨터이다. 미디어는 DVD, DVD-ROM, CD, CD-ROM, 또는 LAN 스토리지, 인터넷, 서버, 또는 하드드라이브로부터의 미디어이다. 오버레이는 오디오를 포함한다.
또 다른 실시예는 미디어와 인터랙트하는 방법을 제공하며, 그 방법은 미디어 재생 장치에 미디어를 제공하는 단계; 장면의 순차적 연속 보기를 허용하기 위해 미디어의 일부분을 제거하는 단계; 및 미디어의 잔존 부분과 인터랙트함에 있어 사용자를 돕기 위해 미디어의 잔존 부분 상에 그래픽을 삽입하는 단계를 포함한다. 미디어의 일부분은 제거되도록 표시된다. 미디어의 나머지 부분들은 사용자 인터랙션에 기초하여 실행된다. 미디어로부터 장면 제거를 시작 및 종료하는 시간 리스트 또한 제공된다.
전술한 다른 목적, 특징, 및 이점들은 첨부 도면을 참조하여 본 발명의 특징 및 이점을 예시하는 이하의 실시예의 상세한 설명으로부터 명확해질 것이다.
도 1a 및 도 1b는 실시예에 따른 흐름도이다.
도 2는 실시예에 따른 대표적인 스크린샷이다.
도 3는 실시예에 따른 대표적인 스크린샷이다.
도 4는 실시예에 따른 대표적인 스크린샷이다.
도 5는 실시예에 따른 대표적인 스크린샷이다.
도 6는 실시예에 따른 대표적인 스크린샷이다.
도 7는 실시예에 따른 대표적인 스크린샷이다.
도 8는 실시예에 따른 대표적인 스크린샷이다.
도 9는 실시예에 따른 대표적인 스크린샷이다.
도 10는 실시예에 따른 대표적인 스크린샷이다.
도 11는 실시예에 따른 대표적인 스크린샷이다.
도 12는 실시예에 따른 대표적인 스크린샷이다.
도 13는 실시예에 따른 대표적인 스크린샷이다.
도 14는 실시예에 따른 대표적인 스크린샷이다.
도 15는 실시예에 따른 대표적인 스크린샷이다.
도 16는 실시예에 따른 대표적인 스크린샷이다.
도 17는 실시예에 따른 대표적인 스크린샷이다.
도 18는 실시예에 따른 대표적인 스크린샷이다.
인터랙티브 비디오 재생 시스템 및 방법은 비디오 플레이어에 인터랙티브 영 화 기능을 부가한다. 도 1을 참조하면, 인터랙티브 영화를 제공하는 프로세스가 도시된다. 종래의 애플리케이션의 미디어(10) 상에서 비디오(30)를 실행할 수 있는 비디오 플레이어(20)에 미디어(10)가 공급된다. 비디오 플레이어는 DVD 플레이어, 고선명 비디오 플레이어, 및 소프트웨어 DVD-ROM을 포함하나 이에 한정되지 않는다. 미디어는 DVD 및 다른 고용량 스토리지 장치를 포함하나 이에 한정되지 않는다. 비디오 플레이어를 위한 종래의 이용예에 있어서, DVD 플레이어는 DVD 상에 레코딩되는 영화를 실행할 수 있다.
비디오 플레이어(20)는 종래의 비디오 플레이어와 상이한 적어도 몇몇 기능을 제공한다. 첫째, 비디오 플레이어(20)는 사용자를 위한 온-스크린(on-screen) 메뉴를 제공한다. 둘째, 비디오 플레이어(20)는 DVD의 성능을 인식한다. 셋째, 비디오 플레이어(20)는 오버레이를 삽입한다. 넷째, 비디오 플레이어(20)는 바람직하지 않는 장면을 건너 뛴다.
방법 및 시스템은 사용자가, 제공되는 미디어를 이용하여 게임 또는 다른 인터랙티브 체험을 실행할 수 있도록 한다. 선택적으로 원격 장치를 통해, 원격 제어, 조이스틱, 또는 키보드 상의 버튼 누름(depression), 마우스 상의 클릭, 또는 다른 활성화시, 사용자(15)는 비디오 플레이어(20)의 CPU 또는 프로세서(24)가 메뉴(40)를 디스플레이하도록 명령한다. 이후 CPU(24)는, 스크린 상에 디스플레이되기 이전에 메뉴(40)의 그래픽 및 텍스트를 출력 버퍼(23)에 전송하는 미디어 코프로세서(22)에 명령하여 부드러운 전이를 보장하고 프레임 표류를 방지하도록 한다. 메뉴(40)는 미디어(10)의 동작 또는 재생 동안 사용자에게 디스플레이될 수 있다. 다른 대안으로, 이러한 메뉴는 미디어의 재생 이전 또는 재생 동안 제시될 수 있다. 이러한 활성화시 또는 재생 이전 또는 재생 동안 다른 수단을 통해, 시스템은 온-스크린 메뉴(50)를 디스플레이한다. 유사한 액션을 통해, 사용자는 메뉴(50)로부터 게임 또는 다른 인터랙티브 프로그램(60)을 실행하기 위한 옵션을 선택할 수 있다. 다른 대안으로, 원격 제어, 조이스틱, 또는 키보드 상의 버튼을 누르거나, 마우스 상에서 클릭하거나, 원격 장치를 통한 다른 활성화에 의해, 시스템은 메뉴의 이용 없이 게임 또는 다른 인터랙티브 프로그램을 로딩할 수 있다. 이러한 예에서, 원격 장치 상의 버튼은 "Start" 또는 "Game"으로 라벨될 수 있다.
시스템은 인터랙티비티를 위해, 종래의 선형 내러티브(narrative) 미디어를 효과적으로 재사용하기 위한 용량을 갖는다. 미디어(10)는 비디오 플레이어(20)의 미디어 인터페이스(21)로 스트림된다. 미디어(10)에서 선택 가능하게 제공되는 실행 가능한 파일은 미디어 인터페이스(21)로부터 CPU(24)로 제공된다. 비디오 스트림은 미디어 코프로세서(22)로 계속된다. 효과적인 인터랙티비티를 제공하기 위해, CPU(24)는 미디어(10) 내에서 트리거(50)를 인식한다.
시스템은 임의의 실시간 편집 결정을 갖는 인터랙티브 비디오 재생 플랫폼을 제공한다. 게임 또는 인터랙티브 프로그램의 활성화시, CPU(24)는 트리거 또는 세그먼트 식별자를 위해 미디어(10)를 탐색한다. 세그먼트 식별자는 게임으로서 미디어의 이용 동안 실행되어야 하는 세그먼트들을 위한 표시들을 제공한다. 영화의 실행된 세그먼트들은 순차적으로 또는 임의의 변화된 순서로 실행될 수 있다. 잔존 세그먼트들은 게임의 중단 특징으로 인하여 걸러진다(60). 예를 들면, 영화의 액션 의 일련의 장면에 있어서, 몇몇 장면들은 캐릭터의 얼굴의 클로즈-업을 포함한다. 이러한 푸티지에 기초하여 게임을 실행함에 있어서, 시스템은 액션의 일련의 장면이 연속적으로 진행할 수 있도록 클로즈-업 푸티지를 선택적으로 제거한다. 세그먼트 식별자들은 중단 장면의 시작 및 종료시에 놓여진다. 세그먼트 식별자들은 적어도 두개의 상이한 방향 중 하나로 나타날 수 있다. 일실시예에서, 트리거들은 미디어의 코드 내에 내장된다. 다른 실시예에서, 제어 프로그램은 일정한 세그먼트들의 타이밍에 대응하는 리스팅(listing)을 이용한다.
일실시예에서, 트리거들은 미디어 내에 내장된다. 미디어(10)가 미디어 인터페이스(21)로 스트리밍할 때, CPU(24)는 세그먼트의 시작시에 시작 트리거를 인식한다. CPU(24)는 미디어 코프로세서가 시작 트리거 및 다음 트리거 사이의 세그먼트를 건너 뛰도록 명령한다. 출력 버퍼(23)는 디스플레이를 위해 그 세그먼트를 수신하지 않는다. 결과적으로, 출력 버퍼는 세그먼트들을 부드럽게 전이하고 연속적인 비디오를 유지하기 위해 충분한 용량을 가져야 한다. 비디오 플레이어(20)는 또 다른 시작 트리거가 나타날 때까지 다음 트리거 이후 미디어를 실행한다.
세그먼트를 건너 뛰기 위한 다른 실시예에 있어서, 게임을 실행하는데 요구되는 임의의 데이터와 함께, CPU는 인터랙티비티를 위해 "편집 결정 리스트"("EDL")를 처리한다. 인터랙티브 EDL은 미디어 상에 내장되고, 비디오 스트림 자체로 인코딩되거나, 컴퓨터 네트워크로부터 로딩 및/또는 스트리밍되어 존재할 수 있다. 종래의 영화-실행 모드에 있을 때, 이러한 EDL은 무시되며, 미디어가 원래의 형태로 실행하도록 한다. 플레이어가 인터랙티브 또는 게임 모드 상태에 위치될 때 , CPU는 플레이어가, 인터랙티브 체험을 손상시키는 미디어의 부분들을 건너 뛰도록 한다. 게임 실행 동안, CPU의 로직은 EDL을 조사하고, 일정한 비디오 프레임에 도달시에 비-인터랙티브 소재(material)의 다음 몇 샷을 건너 뛰기 위해 몇 초 정도 앞서 점프해야 함을 결정한다. 또한, EDL은 비디오 스트림이 임의로 뒤로 점프하도록 하며, 게임의 지속을 증가시키기 위해 샷의 재사용을 허용한다.
일실시예에서, 비디오 플레이어는 사용자의 게임과의 인터랙션에 따라 미디어의 세그먼트들을 실행하기 위해 EDL을 이용한다. CPU는 사용자가 게임 내에서 성공적인 액션을 제공하는 경우 또 다른 세그먼트로 진행하거나 세그먼트를 재실행하기 위해 사용자의 인터랙션을 이용한다. 예를 들면, 사용자가 게임을 실행하고 있을 때, 타겟을 성공적으로 히트하면 CPU를 프롬프트하여 게임 실행의 더 진행된 레벨로 건너 뛴다. 이는 CPU가 EDL 상의 또 다른 세그먼트로 진행할 것을 요구한다. 그러나, 사용자가 타겟을 성공적으로 히트하지 못하는 경우, CPU는 EDL 상에 리스트된 일정한 세그먼트들을 재실행하여 사용자를 위해 덜 힘이 드는 게임을 제공할 것이다. 그러므로, EDL은 동적 또는 고정일 수 있으며, 게임이 사용자 성능에 기초하여 변할 수 있도록 한다.
EDL을 분기함으로써, CPU의 로직은 플레이어가 얼마나 득점을 잘 하는가 또는 다른 사용자 인터랙티비티에 기초하여 게임을 커스터마이즈(customize)한다. 도 1b를 참조하면, 사용자는 게임 실행 모드를 활성화한다(85). CPU는 EDL을 판독하고 미디어 코프로세서가 세그먼트를 실행하도록 명령한다. 사용자 인터랙션시(115), CPU는 EDL에 의해 표시된대로 세그먼트를 다시 실행하거나(90) 또는 건너 뛸 수 있 고(95), 세그먼트(100) 또는 세그먼트(110)를 실행(100)할 수 있다. 사용자 인터랙션이 더 있는 경우(115), CPU는 EDL에 의해 표시된대로 세그먼트를 실행하거나(100) 세그먼트를 건너 뛸 수 있고(105), 세그먼트를 실행할 수 있다(110). 또한, CPU는 EDL에서 정의된대로 사용자 인터랙션 또는 재생에 기초하여 세그먼트를 재실행하거나(90) 세그먼트로 건너 뛸 수 있다(110). EDL은 CPU가 영화에 나타난 사용자 인터랙션 또는 순차 재생에 기초하여 하나의 세그먼트로부터 또 다른 세그먼트로 점프할 수 있도록 한다.
비디오 스트림에서 임의의 점프를 가능하게 하기 위해, 비디오 플레이어는 비디오 재생 속도보다 더 빠르게 비디오 데이터를 메모리로 판독한다. 이러한 버퍼링 시스템은, 재생 장치가 새로운 비디오 데이터를 일시적으로 판독할 수 없을 때, 예를 들면, DVD 플레이어 상에서 비동기 판독-헤드 탐색할 때에도, 비디오가 중단 없이 실행을 계속할 수 있도록 한다. 판독-헤드는 디스크 상에서 자기 패턴을 다시 판독하는데 이용되는 작은 전자 코일 및 금속 폴(pole)이다. 탐색은 특정 데이터 트랙으로 판독/기록 헤드의 움직임이다.
예를 들면, 우주선 전투를 취하는 개념은 공상 과학 영화를 형성하고 이를 인터랙티브하게 만드는 것은 간단한 것처럼 보일 수 있다. 플레이어는 스크린 주위의 커서를 관리하여, 악당을 쏘기 위한 포인트를 얻고 선한 사람을 쏘기 위한 포인트를 벗어난다. 우주선을 쏘는 것은, 각각 비디오 및 사운드트랙 상으로 위치하는 폭발 애니메이션 및 사운드를 트리거한다. 실제로, 인터랙티브 설계자는 장면의 많은 부분이 장면 전환(cut-away), 클로즈-업, 리액션 샷, 및 인터랙티브 설계를 지 원하지 않는 다른 클립들로 구성될 것이다.
미디어 코프로세서(22)는 게임 실행 동안 미디오 세그먼트 뿐만 아니라 그래픽 및 텍스트(70)를 미디어 스트림으로 제공한다. 이러한 그래픽 및 텍스트는 게임 스코어, 원격 장치용 커서, 또는 비디오 상에서 바람직하게 오버레이되는 다른 그래픽을 포함할 수 있으나, 이에 한정되지 않는다. 그래픽 및 텍스트는 게임을 실행하기 위한 가이드 뿐만 아니라 사용자가 CPU에게 명령하여 추가적인 그래픽 또는 텍스트를 제공하도록 하는 수단을 제공한다. CPU(24)는 사용자가 게임을 실행할 수 있도록(80) 미디어 코프로세서(22)가 일정한 구성의 그래픽 및 텍스트를 포함하도록 명령한다. 게임 내내, 사용자 인터랙션, 실행될 선택된 세그먼트, 및 실행 가능한 파일로부터의 데이터에 따라, 미디어 코프로세서(22)는 재생용 버퍼(23)를 출력하기 위해 세그먼트에 그래픽 오버레이를 제공한다. 원격 장치를 통해, 사용자(15)는 오버레이 그래픽 텍스트를 이용하여 원래의 영화 컨텐츠 상에서 게임을 실행할 수 있는 한편(80), 동시에, 연속적인 선형 미디어를 중단시키는 세그먼트를 건너 뛸 수 있다.
전형적인 실시예로, 비디오 스트림은 도 2에 도시된 우주선(200)을 갖는다. 게임 컨트롤러 상의 버튼을 누름으로써, 메뉴가 활성화되고 "Activities" 을 위한 옵션(210)이 스크린 상에 나타난다.
도 3을 참조하면, 사용자가 "Activities" 을 선택할 경우, "Activities" 를 위한 옵션(310) 외에 "Rocket Zapper" 를 위한 옵션(320)이 스크린 상에 나타난다. 이전에 선택된 메뉴 옵션들은 스크린 상에 선택적으로 나타날 수 있다. 또한, 메뉴 아이템이 미디어의 재생 이전에 선택될 수 있지만, 메뉴 아이템의 이용이 비디오 스트림을 중단시키거나 정지시키지 않는다. 도 3에서, 우주선(300)은 여전히 스크린 상에서 날고 있다.
"Rocket Zapper" 을 선택하는 경우, 비디오 플레이어는 게임 실행 모드로 전환한다. 제어 프로그램 및 프로세서는 EDL을 인식하고 게임을 실행하기 위해 스크린 상에 그래픽 및 텍스트를 그린다. 도 4를 참조하면, 2인 플레이어 게임이 도시된다. 플레이어들의 명칭인 "Donald" 및 "Mickey"가 텍스트 박스(405, 410)에 나타난다. 이러한 전형적인 실시예에 있어서, 다른 우주선(425)을 조준하여 쏘기 위해 2인 플레이어를 위한 타겟들(415, 420)이 이용된다. 타겟들(415, 420)을 통해 쏘는 것은 원격 장치에 의해 제어될 수 있다. 종래의 실행 모드에서, 우주선(425)은 동일한 방식으로 스크린 상에서 날 것이다.
이러한 실시예에서, 원래의 비디오 스트림에서 나타나는 클로즈-업 및 화면 전환은 푸티지로부터 필터링된다. EDL 상의 시간에 응답하여, 프로세서는 도 5에 도시된 바와 같이, 이미지 및 장면들을 필터링한다. 이러한 장면 전환을 도시하는 것은 게임의 연속적인 실행에 혼란을 줄 것이다. 따라서, 이것은 제거되고 판독-헤드가 DVD 상에서 다음 위치를 탐색하여 게임 실행을 계속한다.
게임 실행은 사용자가, 제거된 장면이 존재함을 알지 못한 채 계속된다. 도 6에 도시된 바와 같이, 카운터(630)는 도 5의 장면 전환을 실행하는데 몇 초가 요구된다기 보다는, 단지 순간(split second)이 경과하였다는 사실로 인하여, 도 4에 도시된 것과 동일한 카운트다운인 11초를 디스플레한다. 2인 플레이어는 게임 실행 을 계속할 수 있다.
도 7을 참조하면, 플레이어 "Mickey"는 우주선(730)에서 타겟(710)을 통해 레이저(720)를 쏜다. 우주선(730)은 원래 비디오 스트림의 부분이다.
도 8을 참조하면, 레이저로부터 직접 명중된 후 우주선(830) 상의 폭발(840)이 도시된다. 우주선(830)은 여전히 미디어 상의 영화로부터의 원래의 비디오이다. 그러나, 폭발(840)은 시스템에 의해 그려지고 우주선(830)에 대응하는 스크린 상에 오버레이되어 우주선이 폭발하고 있는 것처럼 나타난다. 도 9를 참조하면, 폭발(940)은 우주선(930)이 스크린을 가로질러 날고 있는 것처럼 보일 때 우주선(930)을 계속 오버레이한다.
도 10을 참조하면, 타겟(1010, 1020)은 각 사용자가 보너스 영화 트레일러(trailer)를 실행하는 것처럼 나타난다. 사용자가 성공적으로 타겟을 명중시키는 경우, 미디어로부터의 영화 트레일러, 또는 다른 소스가, 미디어로부터 디스플레이 상으로 스트림될 것이다. 도 11을 참조하면, 하나의 플레이어가 타겟(1120)을 성공적으로 명중시켰다. 다른 플레이어는 타겟(1110)을 놓쳤으며, 따라서 "better luck next time."을 프롬프트한다.
도 12를 참조하면, 타겟을 성공적으로 명중시킨 사용자는 "Download Now"(1210) 또는 "Later"(1220)의 옵션을 갖는다. 이러한 옵션들은 상술한 메뉴 기능들과 유사한 버튼처럼 나타난다. 도 13을 참조하면, "Download"(1310)가 선택되고 그래픽 오버레이는 버튼(1310)이 빛을 내도록 하는 것 같다.
도 14를 참조하면, 버튼(1410)은 알파 투명하게(alpha transparent) 되고 트 레일러(1420)는 디스플레이 상에 나타난다. 트레일러(1420)는 인터넷으로부터 다운로드되고, 미디어로부터 스트림되며, 또는 스토리지 장치로부터 검색될 수 있다. 도 15를 참조하면, 트레일러(1520)는 디스플레이 상에서 계속 최대화한다. 도 16을 참조하면, 트레일러(1620)는 디스플레이 상에서 완전히 최대화된다. 도 17을 참조하면, 트레일러(1720)의 재생 완료시, 트레일러(1720)는 알파 투명하게 되고 희미해진다. 사용자는 계속해서 영화를 보고, 다시 게임을 실행하며, 상이한 게임을 실행하고, 또는 메뉴로 복귀할 수 있다.
시스템은 게임에 오디오 뿐만 아니라 비디오를 제공한다. 실행된 세그먼트로부터의 오디오는 선택적으로 포함될 수 있다. 또한, 실행 가능한 파일로부터의 오디오는 그래픽 오버레이에 포함되거나 사용자에 의한 액션에 응답할 수 있다.
시스템 및 방법이 상세하게 특정 실시예를 참조하여 설명되었지만, 본원의 기술적 사상을 벗어나지 않는다면 다양한 변화 및 변경이 이루어질 수 있음은 당업자에게 자명할 것이다. 그러므로, 본원은 본원 명세서에 설명된 기술적 사상의 범위 내에서 제공되는 변경 및 변화들까지도 포함하도록 의도된다.

Claims (22)

  1. 비디오 재생을 통해 인터랙티브 게임을 제공하는 방법에 있어서,
    사용자 입력을 수신하고 비디오 재생을 제어하는 프로세서를 비디오 플레이어에게 제공하는 단계와;
    게임 실행 동안 비디오 스트림의 어떠한 세그먼트들이 실행될 것인지를 상기 프로세서에 표시하기 위한 복수의 세그먼트 식별자 및 표준 재생을 위한 비디오 스트림을 미디어에 제공하는 단계와;
    인터랙티브 게임 체험을 생성하기 위해 상기 비디오 상에 그래픽 또는 텍스트를 중첩시키는(superimpose) 단계를 포함하는 인터랙티브 게임 제공 방법.
  2. 제1항에 있어서, 게임의 연속적인 실행을 중단시키는 상기 비디오 스트림의 세그먼트를 건너 뛰는 단계를 더 포함하는 인터랙티브 게임 제공 방법.
  3. 제1항에 있어서, 사용자 인터랙션에 기초하여 상기 비디오 스트림의 세그먼트를 실행하는 단계를 더 포함하는 인터랙티브 게임 제공 방법.
  4. 제1항에 있어서, 상기 세그먼트 식별자들은 트리거들인 것인 인터랙티브 게임 제공 방법.
  5. 제1항에 있어서, 상기 세그먼트 식별자들은 편집 결정 리스트(edit decision list)에서 제공되는 것인 인터랙티브 게임 제공 방법.
  6. 제1항에 있어서, 사용자가 원격 장치를 가지고 입력을 제공하는 단계를 더 포함하는 인터랙티브 게임 제공 방법.
  7. 제6항에 있어서, 상기 원격 장치는 키보드, 마우스, 원격 제어, 또는 게임 컨트롤러를 포함하는 것인 인터랙티브 게임 제공 방법.
  8. 제1항에 있어서, 관련된 오디오에 상기 그래픽 또는 텍스트를 제공하는 단계를 더 포함하는 인터랙티브 게임 제공 방법.
  9. 제1항에 있어서, 사용자 입력에 응답하여 추가적인 그래픽 또는 텍스트를 디스플레이하는 단계를 더 포함하는 인터랙티브 게임 제공 방법.
  10. 인터랙티브 미디어를 위한 시스템에 있어서,
    미디어를 실행하기 위한 비디오 플레이어와;
    상기 미디어 내의 복수의 세그먼트 식별자 - 상기 비디오 플레이어는 상기 세그먼트 식별자들을 인식하고 선택 세그먼트 식별자들간에 세그먼트들을 실행함 - 와;
    상기 실행된 세그먼트들을 위한 오버레이(overlay) - 상기 오버레이는 사용자가 상기 플레이된 세그먼트들과 인터랙트하는데 도움을 줌 - 를 포함하는 인터랙티브 미디어를 위한 시스템.
  11. 제10항에 있어서, 상기 세그먼트들의 실행 및 실행된 세그먼트들을 위한 오버레이를 관리하는 CPU를 더 포함하는 인터랙티브 미디어를 위한 시스템.
  12. 제10항에 있어서, 상기 복수의 세그먼트 식별자들은 편집 결정 리스트에 있는 것인 인터랙티브 미디어를 위한 시스템.
  13. 제12항에 있어서, 상기 편집 결정 리스트는 분기(branching) 편집 결정 리스트이고, 상기 실행된 세그먼트들은 사용자 입력에 대응하는 것인 인터랙티브 미디어를 위한 시스템.
  14. 제10항에 있어서, 상기 세그먼트 식별자들은 트리거들인 것인 인터랙티브 미디어를 위한 시스템.
  15. 제10항에 있어서, 상기 오버레이는 그래픽 또는 텍스트를 포함하는 것인 인터랙티브 미디어를 위한 시스템.
  16. 제10항에 있어서, 상기 비디오 플레이어는 DVD 플레이어, 고선명 플레이어, 또는 개인용 컴퓨터인 것인 인터랙티브 미디어를 위한 시스템.
  17. 제10항에 있어서, 상기 미디어는 DVD, DVD-ROM, CD, CD-ROM, 또는 LAN 스토리지, 인터넷, 서버, 또는 하드 드라이브로부터의 미디어인 것인 인터랙티브 미디어를 위한 시스템.
  18. 제10항에 있어서, 상기 오버레이는 오디오를 포함하는 것인 인터랙티브 미디어를 위한 시스템.
  19. 미디어와 인터랙팅하는 방법에 있어서,
    미디어 재생 장치에 상기 미디어를 제공하는 단계와;
    실질적으로 장면의 연속 보기를 허용하기 위해 상기 미디어의 부분들을 제거하는 단계와
    상기 미디어의 잔존 부분들과 인터랙팅함에 있어 상기 사용자에 도움을 주기 위해 상기 미디어의 잔존 부분들 상에 그래픽을 삽입하는 단계를 포함하는 미디어와의 인터랙팅 방법.
  20. 제19항에 있어서, 제거될 상기 미디어의 부분들을 표시하는 단계를 더 포함하는 미디어와의 인터랙팅 방법.
  21. 제19항에 있어서, 사용자 인터랙션에 기초하여 상기 미디어의 잔존 부분들을 실행하는 단계를 더 포함하는 미디어와의 인터랙팅 방법.
  22. 제20항에 있어서, 상기 미디어로부터 장면 제거를 시작 및 종료할 시간 리스트를 제공하는 단계를 더 포함하는 미디어와의 인터랙팅 방법.
KR1020057023152A 2003-06-02 2004-06-02 대화형 비디오 재생 시스템 및 방법 KR101032073B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US47533903P 2003-06-02 2003-06-02
US60/475,339 2003-06-02

Publications (2)

Publication Number Publication Date
KR20060030036A true KR20060030036A (ko) 2006-04-07
KR101032073B1 KR101032073B1 (ko) 2011-05-02

Family

ID=33511666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057023152A KR101032073B1 (ko) 2003-06-02 2004-06-02 대화형 비디오 재생 시스템 및 방법

Country Status (11)

Country Link
US (1) US8202167B2 (ko)
EP (2) EP2594322A3 (ko)
JP (2) JP4406008B2 (ko)
KR (1) KR101032073B1 (ko)
CN (1) CN1798594B (ko)
AU (1) AU2004246672B2 (ko)
CA (1) CA2527388C (ko)
GB (1) GB2417432B (ko)
HK (1) HK1083079A1 (ko)
MX (1) MXPA05013028A (ko)
WO (1) WO2004109463A2 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2527083C (en) * 2003-06-02 2011-04-26 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
JP4478678B2 (ja) * 2003-06-02 2010-06-09 ディズニー エンタープライゼス インコーポレイテッド ビデオプレーヤを用いた商取引の方法及びシステム
US20050021552A1 (en) * 2003-06-02 2005-01-27 Jonathan Ackley Video playback image processing
US7469346B2 (en) * 2003-06-27 2008-12-23 Disney Enterprises, Inc. Dual virtual machine architecture for media devices
KR100950007B1 (ko) * 2003-06-27 2010-03-29 디즈니엔터프라이지즈,인크. 차세대 미디어 플레이어층에 대한 이중 가상 머신 및 신뢰플랫폼 모듈 아키텍쳐
AU2004306754B2 (en) * 2003-10-06 2009-09-17 Disney Enterprises, Inc. System and method of playback and feature control for video players
US20100162306A1 (en) * 2005-01-07 2010-06-24 Guideworks, Llc User interface features for information manipulation and display devices
WO2007131342A1 (en) * 2006-05-12 2007-11-22 Gill Barjinderpal S Edit decision list for media product distribution
WO2008002999A2 (en) * 2006-06-27 2008-01-03 Metabeam Corporation Digital content playback
US20080022348A1 (en) * 2006-07-03 2008-01-24 Samoa Opulence Investment Inc. Interactive video display system and a method thereof
US8628414B2 (en) * 2006-07-14 2014-01-14 Valve Corporation Enhanced commentary system for 3D computer entertainment
US7729791B2 (en) * 2006-09-11 2010-06-01 Apple Inc. Portable media playback device including user interface event passthrough to non-media-playback processing
US7559017B2 (en) 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
KR101370895B1 (ko) * 2007-01-19 2014-03-10 엘지전자 주식회사 콘텐츠 표시 방법 및 이를 이용한 단말기
US20080193100A1 (en) * 2007-02-12 2008-08-14 Geoffrey King Baum Methods and apparatus for processing edits to online video
TWI423041B (zh) * 2007-07-09 2014-01-11 Cyberlink Corp 可提升多媒體互動機制之影音播放方法及其相關裝置
US20090049470A1 (en) * 2007-08-13 2009-02-19 Gal Peer Method and device for interactive operation of television
US10269388B2 (en) 2007-08-21 2019-04-23 Adobe Inc. Clip-specific asset configuration
JP5255824B2 (ja) * 2007-12-05 2013-08-07 任天堂株式会社 映像再生制御プログラム、映像再生制御装置、映像再生制御システムおよび映像再生制御方法
US8112702B2 (en) 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US8639086B2 (en) 2009-01-06 2014-01-28 Adobe Systems Incorporated Rendering of video based on overlaying of bitmapped images
US8826117B1 (en) 2009-03-25 2014-09-02 Google Inc. Web-based system for video editing
US8132200B1 (en) 2009-03-30 2012-03-06 Google Inc. Intra-video ratings
US20100267465A1 (en) * 2009-04-16 2010-10-21 Ceminchuk Barry W Reverse P Golf Club Putter Face
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
JP5351674B2 (ja) * 2009-09-10 2013-11-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
US11232458B2 (en) * 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US8589423B2 (en) 2011-01-18 2013-11-19 Red 5 Studios, Inc. Systems and methods for generating enhanced screenshots
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
US8873807B2 (en) * 2011-03-08 2014-10-28 Bank Of America Corporation Vehicle recognition
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US8819185B2 (en) * 2011-08-05 2014-08-26 John Charles McLaughlin Streaming internet video editing and composite edit playback
US8793313B2 (en) 2011-09-08 2014-07-29 Red 5 Studios, Inc. Systems, methods and media for distributing peer-to-peer communications
JP5620414B2 (ja) * 2012-01-18 2014-11-05 株式会社スクウェア・エニックス ゲーム装置
US8628424B1 (en) 2012-06-28 2014-01-14 Red 5 Studios, Inc. Interactive spectator features for gaming environments
US8632411B1 (en) 2012-06-28 2014-01-21 Red 5 Studios, Inc. Exchanging virtual rewards for computing resources
US8834268B2 (en) 2012-07-13 2014-09-16 Red 5 Studios, Inc. Peripheral device control and usage in a broadcaster mode for gaming environments
US8795086B2 (en) 2012-07-20 2014-08-05 Red 5 Studios, Inc. Referee mode within gaming environments
US20140101548A1 (en) * 2012-10-05 2014-04-10 Apple Inc. Concurrently presenting interactive invitational content and media items within a media station through the use of bumper content
JP6144926B2 (ja) * 2013-02-20 2017-06-07 株式会社スクウェア・エニックス 選択枝画面表示ゲーム装置及び選択枝画面表示ゲームプログラム
US20140258268A1 (en) * 2013-03-11 2014-09-11 United Video Properties, Inc. Systems and methods for browsing content stored in the viewer's video library
US9776075B2 (en) * 2013-03-15 2017-10-03 Electronic Arts Inc. Systems and methods for indicating events in game video
USD771642S1 (en) * 2013-10-31 2016-11-15 King.Com Ltd. Game display screen or portion thereof with graphical user interface
USD772240S1 (en) * 2013-10-31 2016-11-22 King.Com Ltd. Game display screen or portion thereof with graphical user interface
US10069730B2 (en) * 2014-06-03 2018-09-04 Disney Enterprises, Inc. Systems and methods for predictive delivery of high bit-rate content for playback
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10099133B2 (en) 2016-06-30 2018-10-16 Abrakadabra Reklam ve Yayncilik Limited Sirketi Digital multimedia platform for converting video objects to gamified multimedia objects
US10179290B2 (en) * 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system
US10595090B2 (en) * 2016-09-02 2020-03-17 Sony Corporation System and method for optimized and efficient interactive experience
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10471360B2 (en) 2017-03-06 2019-11-12 Sony Interactive Entertainment LLC User-driven spectator channel for live game play in multi-player games
US10694223B2 (en) * 2017-06-21 2020-06-23 Google Llc Dynamic custom interstitial transition videos for video streaming services
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US10792576B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls
US10818142B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Creation of winner tournaments with fandom influence
US10814228B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Statistically defined game channels
US10765938B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC De-interleaving gameplay data
US10792577B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Discovery and detection of events in interactive content
US10953335B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment Inc. Online tournament integration
US10765957B2 (en) * 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC Integrating commentary content and gameplay content over a multi-user platform
US11065548B2 (en) 2018-02-28 2021-07-20 Sony Interactive Entertainment LLC Statistical driven tournaments
US10953322B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment LLC Scaled VR engagement and views in an e-sports event
US10751623B2 (en) 2018-02-28 2020-08-25 Sony Interactive Entertainment LLC Incentivizing players to engage in competitive gameplay
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN108924632A (zh) * 2018-07-13 2018-11-30 腾讯科技(深圳)有限公司 一种交互式应用场景的处理方法和装置以及存储介质
US10569174B1 (en) 2018-09-27 2020-02-25 Microsoft Licensing Technology, LLC Implementing a graphical overlay for a streaming game based on current game scenario
US11263670B2 (en) * 2018-11-19 2022-03-01 Activision Publishing, Inc. Systems and methods for dynamically modifying video game content based on non-video gaming content being concurrently experienced by a user
CN110809175B (zh) * 2019-09-27 2021-04-09 腾讯科技(深圳)有限公司 视频推荐方法及装置
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11076192B1 (en) 2020-01-16 2021-07-27 International Business Machines Corporation Identifying and calibrating internet of things (IOT) devices to enhance content consumption experience
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
CN112190949B (zh) 2020-10-29 2022-05-17 腾讯科技(深圳)有限公司 互动剧情跳转方法、互动剧情界面显示方法、装置及设备
CA3112102A1 (en) * 2021-03-17 2022-09-17 1290761 B.C. Ltd. Cloud based gaming system displaying video content and a method
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4333152A (en) * 1979-02-05 1982-06-01 Best Robert M TV Movies that talk back
US4792895A (en) * 1984-07-30 1988-12-20 International Business Machines Corp. Instruction processing in higher level virtual machines by a real machine
US4662635A (en) * 1984-12-16 1987-05-05 Craig Enokian Video game with playback of live events
JPS62159239A (ja) * 1985-12-30 1987-07-15 インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション 仮想マシンの編集システム
US4849817A (en) 1987-02-19 1989-07-18 Isix, Inc. Video system, method and apparatus for incorporating audio or data in video scan intervals
US4776593A (en) * 1987-09-25 1988-10-11 Dipersio Marsha VCR baseball game
FR2627496B1 (fr) * 1988-02-23 1990-10-26 Etu Materiaux Org Technol Cent Resines quinazolones thermodurcissables leur preparation et leurs applications
US5522075A (en) * 1991-06-28 1996-05-28 Digital Equipment Corporation Protection ring extension for computers having distinct virtual machine monitor and virtual machine address spaces
US5462275A (en) * 1991-12-20 1995-10-31 Gordon Wilson Player interactive live action football game
US5830065A (en) * 1992-05-22 1998-11-03 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US5987211A (en) * 1993-01-11 1999-11-16 Abecassis; Max Seamless transmission of non-sequential video segments
CA2140643C (en) * 1993-05-21 2000-04-04 Atsushi Kitahara Image processing device and method
US5699123A (en) * 1993-10-20 1997-12-16 Victor Company Of Japan, Ltd. Television receiver with an adjustable frame size
US5613909A (en) * 1994-07-21 1997-03-25 Stelovsky; Jan Time-segmented multimedia game playing and authoring system
US5546518A (en) * 1995-01-06 1996-08-13 Microsoft Corporation System and method for composing a display frame of multiple layered graphic sprites
JP3472659B2 (ja) * 1995-02-20 2003-12-02 株式会社日立製作所 映像供給方法および映像供給システム
US5600726A (en) * 1995-04-07 1997-02-04 Gemini Systems, L.L.C. Method for creating specific purpose rule-based n-bit virtual machines
US5548340A (en) * 1995-05-31 1996-08-20 International Business Machines Corporation Intelligent television receivers combinations including video displays, and methods for diversion of television viewers by visual image modification
US5606374A (en) * 1995-05-31 1997-02-25 International Business Machines Corporation Video receiver display of menu overlaying video
US5880739A (en) * 1995-06-06 1999-03-09 Compaq Computer Corporation Blitting of images using instructions
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
US20020056136A1 (en) * 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US5751280A (en) * 1995-12-11 1998-05-12 Silicon Graphics, Inc. System and method for media stream synchronization with a base atom index file and an auxiliary atom index file
KR100211056B1 (ko) * 1995-12-23 1999-07-15 이계철 다수개의 비디오에 대한 윈도우 제어방법
EP0880840A4 (en) * 1996-01-11 2002-10-23 Mrj Inc DEVICE FOR CONTROLLING ACCESS AND DISTRIBUTION OF DIGITAL PROPERTY
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
US6570587B1 (en) * 1996-07-26 2003-05-27 Veon Ltd. System and method and linking information to a video
US5774666A (en) * 1996-10-18 1998-06-30 Silicon Graphics, Inc. System and method for displaying uniform network resource locators embedded in time-based medium
US20020054049A1 (en) * 1996-11-12 2002-05-09 Kenji Toyoda Image playback apparatus, image recording apparatus, and methods thereof
US20040005918A1 (en) * 2002-04-16 2004-01-08 Walker Jay S. Gaming device methods and apparatus employing audio/video programming outcome presentation
US6234896B1 (en) * 1997-04-11 2001-05-22 Walker Digital, Llc Slot driven video story
AU688231B1 (en) * 1997-03-12 1998-03-05 Nokia Telecommunications Oy Estimating CIR using correlation with line removal
US6654933B1 (en) * 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
JPH11327520A (ja) * 1998-05-13 1999-11-26 Sony Corp 表示制御方法及び表示制御装置
EP1135722A4 (en) * 1998-07-27 2005-08-10 Webtv Networks Inc ACCESS TO A REMOTE COMPUTER
JP2000059857A (ja) * 1998-08-11 2000-02-25 Casio Comput Co Ltd 画像通信装置、画像通信方法及び記憶媒体
JP2000069442A (ja) 1998-08-24 2000-03-03 Sharp Corp 動画システム
JP2000067522A (ja) * 1998-08-25 2000-03-03 Sony Corp 情報再生装置および方法、情報記録装置および方法、提供媒体、並びに記録媒体
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US7051005B1 (en) * 1999-03-27 2006-05-23 Microsoft Corporation Method for obtaining a black box for performing decryption and encryption functions in a digital rights management (DRM) system
US6407779B1 (en) * 1999-03-29 2002-06-18 Zilog, Inc. Method and apparatus for an intuitive universal remote control system
JP3695217B2 (ja) * 1999-04-30 2005-09-14 オムロン株式会社 画像処理装置及び画像入力装置
US6373500B1 (en) * 1999-08-19 2002-04-16 Micron Technology, Inc. Method for implementing picture-in-picture function for multiple computers
US6868440B1 (en) * 2000-02-04 2005-03-15 Microsoft Corporation Multi-level skimming of multimedia content using playlists
US7120924B1 (en) 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
US20020060750A1 (en) * 2000-03-29 2002-05-23 Istvan Anthony F. Single-button remote access to a synthetic channel page of specialized content
AU2001249452A1 (en) 2000-03-29 2001-10-08 Digeo Broadband, Inc. Method and apparatus for purchasing product over an interactive television network
EP1168168A3 (en) * 2000-06-20 2005-04-13 Interuniversitair Microelektronica Centrum Vzw Virtual hardware machine methods and devices
US6493038B1 (en) * 2000-06-21 2002-12-10 Koninklijke Philips Electronics N.V. Multi-window pip television with the ability to watch two sources of video while scanning an electronic program guide
JP2002044589A (ja) * 2000-07-31 2002-02-08 Sony Corp 情報再生装置および映像表示制御方法
US6791579B2 (en) 2000-08-21 2004-09-14 Intellocity Usa, Inc. Method of enhancing streaming media content
KR100380345B1 (ko) * 2000-09-20 2003-04-11 삼성전자주식회사 텔레비전의 오에스디 구성 방법 및 전자프로그램 가이드 구성방법
US20020097280A1 (en) * 2001-01-25 2002-07-25 Bertram Loper Apparatus and method of printing on a curved surface with an ink jet printer
US7308717B2 (en) * 2001-02-23 2007-12-11 International Business Machines Corporation System and method for supporting digital rights management in an enhanced Java™ 2 runtime environment
US6868449B1 (en) * 2001-03-16 2005-03-15 Veritas Operating Corporation Model for cost optimization and QoS tuning in hosted computing environments
US7043726B2 (en) * 2001-03-20 2006-05-09 Hewlett-Packard Development Company, L.P. Binding of processes in network systems
US20020138851A1 (en) * 2001-03-23 2002-09-26 Koninklijke Philips Electronics N.V. Methods and apparatus for simultaneously viewing multiple television programs
US20020141582A1 (en) * 2001-03-28 2002-10-03 Kocher Paul C. Content security layer providing long-term renewable security
US7987510B2 (en) * 2001-03-28 2011-07-26 Rovi Solutions Corporation Self-protecting digital content
JP2002369154A (ja) 2001-04-02 2002-12-20 Matsushita Electric Ind Co Ltd ディジタル映像コンテンツの映像再生装置、映像再生方法、映像再生プログラム、パッケージメディア
US20020162117A1 (en) * 2001-04-26 2002-10-31 Martin Pearson System and method for broadcast-synchronized interactive content interrelated to broadcast content
JP2002325217A (ja) * 2001-04-26 2002-11-08 Media Factory:Kk 情報再生装置
SE520531C2 (sv) * 2001-05-11 2003-07-22 Ericsson Telefon Ab L M Multimediapresentation
US6922774B2 (en) * 2001-05-14 2005-07-26 The United States Of America As Represented By The National Security Agency Device for and method of secure computing using virtual machines
US20020184520A1 (en) * 2001-05-30 2002-12-05 Bush William R. Method and apparatus for a secure virtual machine
US20030046557A1 (en) * 2001-09-06 2003-03-06 Miller Keith F. Multipurpose networked data communications system and distributed user control interface therefor
US20030170011A1 (en) * 2001-09-24 2003-09-11 Masato Otsuka System and method for seamless navigation between local and external documents in an optical disc player
CN1218574C (zh) * 2001-10-15 2005-09-07 华为技术有限公司 交互式视频设备及其字幕叠加方法
US20030079224A1 (en) 2001-10-22 2003-04-24 Anton Komar System and method to provide additional information associated with selectable display areas
US20040047588A1 (en) * 2002-03-27 2004-03-11 Tomoyuki Okada Package medium, reproduction apparatus, and reproduction method
CN100547961C (zh) * 2002-03-29 2009-10-07 松下电器产业株式会社 内容处理装置
JP3559024B2 (ja) * 2002-04-04 2004-08-25 マイクロソフト コーポレイション ゲームプログラムおよびゲーム装置
US20030196100A1 (en) * 2002-04-15 2003-10-16 Grawrock David W. Protection against memory attacks following reset
US7027101B1 (en) * 2002-05-13 2006-04-11 Microsoft Corporation Selectively overlaying a user interface atop a video signal
US7210144B2 (en) * 2002-08-02 2007-04-24 Microsoft Corporation Method for monitoring and emulating privileged instructions of programs in a virtual machine
AU2003264987B2 (en) * 2002-10-04 2009-07-30 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
US20040175218A1 (en) * 2003-03-05 2004-09-09 Katzer Lawrence John Method and apparatus for printing on flat and non-flat objects
JP4478678B2 (ja) * 2003-06-02 2010-06-09 ディズニー エンタープライゼス インコーポレイテッド ビデオプレーヤを用いた商取引の方法及びシステム
CA2527083C (en) * 2003-06-02 2011-04-26 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
US7380136B2 (en) * 2003-06-25 2008-05-27 Intel Corp. Methods and apparatus for secure collection and display of user interface information in a pre-boot environment
CN101241735B (zh) * 2003-07-07 2012-07-18 罗威所罗生股份有限公司 重放加密的视听内容的方法
US7401230B2 (en) * 2004-03-31 2008-07-15 Intel Corporation Secure virtual machine monitor to tear down a secure execution environment

Also Published As

Publication number Publication date
AU2004246672B2 (en) 2009-02-26
US20050020359A1 (en) 2005-01-27
JP2007526657A (ja) 2007-09-13
EP2594322A2 (en) 2013-05-22
GB2417432A (en) 2006-03-01
EP1628721A4 (en) 2006-10-11
MXPA05013028A (es) 2006-03-02
US8202167B2 (en) 2012-06-19
CN1798594A (zh) 2006-07-05
WO2004109463A3 (en) 2005-04-14
GB2417432B (en) 2008-03-19
CN1798594B (zh) 2011-05-11
CA2527388A1 (en) 2004-12-16
JP5315194B2 (ja) 2013-10-16
JP2010093802A (ja) 2010-04-22
EP2594322A3 (en) 2013-12-04
HK1083079A1 (en) 2006-06-23
WO2004109463A2 (en) 2004-12-16
GB2417432A8 (en) 2006-03-08
EP1628721A2 (en) 2006-03-01
GB0523979D0 (en) 2006-01-04
KR101032073B1 (ko) 2011-05-02
AU2004246672A1 (en) 2004-12-16
CA2527388C (en) 2013-09-17
JP4406008B2 (ja) 2010-01-27

Similar Documents

Publication Publication Date Title
KR101032073B1 (ko) 대화형 비디오 재생 시스템 및 방법
JP2010093802A5 (ko)
US8591332B1 (en) Video game video editor
Klevjer Cut-scenes
US9636585B2 (en) Method and apparatus for creating and playing soundtracks in a gaming system
US20060064733A1 (en) Playing an audiovisual work with dynamic choosing
US20050025465A1 (en) Enhanced functionality for audio/video content playback
US20060136979A1 (en) Apparatus and methods for encoding data for video compositing
KR101323331B1 (ko) 불연속 동영상 데이터의 재생 방법 및 장치
Nitsche Machinima as media
Cameron et al. Encoding liveness: Performance and real-time rendering in machinima
King et al. Computer Games/Cinema/Interfaces.
Nitsche Claiming its space: Machinima
Drucker et al. Spectator games: A new entertainment modality of networked multiplayer games
Arsenopoulou et al. Games as Cinematic Experiences: Discussing Filmic Modes and Ludic Elements in Video-Game Storytelling
JP2002311872A (ja) 情報表示方法、情報表示処理プログラムを情報処理装置に実行させる媒体、プログラム実行装置、情報表示処理プログラム
KR100694123B1 (ko) 동영상 데이터와 어플리케이션 프로그램이 기록된 저장매체 및 그 재생 장치 및 방법
Luckman et al. Machinima: Why think “games” when thinking “film”
Lowood et al. Screen capture and replay: Documenting gameplay as performance
JP2002306838A (ja) 情報表示方法、情報表示処理プログラムを情報処理装置に実行させる媒体、プログラム実行装置、情報表示処理プログラム
CN117282106A (zh) 游戏编辑方法、游戏编辑装置、存储介质与电子设备
Huurdeman Interactive video in serious games
Thomas Vala's Runecast-Art/Design/Hypermovie
Atari cut-scenes
JP2005312625A (ja) ゲームプログラム、ゲームプログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ゲーム装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
FPAY Annual fee payment
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 9