KR20050099997A - 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법 - Google Patents

방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법 Download PDF

Info

Publication number
KR20050099997A
KR20050099997A KR1020057014783A KR20057014783A KR20050099997A KR 20050099997 A KR20050099997 A KR 20050099997A KR 1020057014783 A KR1020057014783 A KR 1020057014783A KR 20057014783 A KR20057014783 A KR 20057014783A KR 20050099997 A KR20050099997 A KR 20050099997A
Authority
KR
South Korea
Prior art keywords
information
receiving
background video
sub
video
Prior art date
Application number
KR1020057014783A
Other languages
English (en)
Other versions
KR101018320B1 (ko
Inventor
이안 알. 셀톤
마이클 코스텔로
로니 단
니콜라스 덱스톤
니콜라스 애쉬톤 홀
제임즈 제프리 워커
스튜어트 피. 애쉬비
네일 코미칸
라훌 착카라
Original Assignee
엔디에스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB0303093A external-priority patent/GB0303093D0/en
Priority claimed from GB0402116A external-priority patent/GB0402116D0/en
Application filed by 엔디에스 리미티드 filed Critical 엔디에스 리미티드
Publication of KR20050099997A publication Critical patent/KR20050099997A/ko
Application granted granted Critical
Publication of KR101018320B1 publication Critical patent/KR101018320B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/409—Data transfer via television network
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

대화형 방법은 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 적어도 하나가 포함하는 복수의 비디오 프레임을 포함하는 배경 비디오를 디스플레이 디바이스에서 수신하는 단계, 및 상기 디스플레이 디바이스에서, 상기 복수의 서브-픽쳐의 제1 서브-픽쳐와 상기 복수의 서브-픽쳐의 제2 서브-픽쳐 사이에서 전환하는 단계를 포함한다. 또한 관련된 장치 및 방법이 개시되어 있다.

Description

방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법{APPARATUS AND METHODS FOR HANDLING INTERACTIVE APPLICATIONS IN BROADCAST NETWORKS}
본 발명은 방송망내의 대화형 애플리케이션에 관한 것이다.
오늘날 방송망내에서 작동하는 많은 셋톱 박스(STB)는 게임과 같은 대화형 애플리케이션의 사용을 제한하는 제한된 처리 능력을 가지고 있다. 풍부한 멀티미디어 콘텐트를 디스플레이하고 조작하는 능력이 많은 대화형 애플리케이션, 특히 대화형 게임에 대하여 필수적인 것으로 여겨지기 때문에, STB의 제한된 처리 능력으로 인해 오직 단순한 타입의 대화형 애플리케이션 및 특히 복잡하지 않거나 느린 변화의 배경을 가진 단순한 타입의 게임만이 사용될 수 있다.
본 발명을 이해하는데 유용할 수 있는 관련된 분야 기술의 일부 태양은 다음의 공개문헌에 기술되어 있다:
디스플레이 신호를 대화식으로 발생시키는 장치를 설명하는 PCT 특허출원공개 WO 98/57718;
하나 이상의 리모트 플레이어에 의해 수신된 라이브 TV 방송과 연결되어 사용되기 위한 대화형 예측 게임 컨트롤 시스템을 기술하는 유럽특허출원공개 EP 0873772;
각각 로컬 클록 신호 발생기를 포함하는 복수의 사용자 인터페이스를 포함하는 대화형 방송 시스템을 기술하는 유럽특허출원공개 EP 1050328;
비디오 프로그램 신호를 제공하고, 이 비디오 프로그램의 프레임내의 적어도 하나의 객체와 연관되도록 대화형 콘텐트 데이터를 발생시키는 대화형 시스템을 기술하는 PCT 특허출원공개 WO 00/45599;
프로그램의 제1 세트의 소정 부분에 액세스를 가능하게 하는 파라미터의 브로드캐스터 세트와 연관된 텔레비전 프로그램을 방송하는 단계; 프로그램을 기록할지를 결정하고 프로그램의 기록시에 프로그램의 제2 세트의 소정 부분에 액세스를 가능하게 하는 파라미터의 에이전트 세트를 상기 프로그램과 연관시키도록 에이전트를 작동시키는 단계; 주소지정가능 프로그램을 발생시키기 위해 파라미터의 브로드캐스터 세트 및 파라미터의 에이전트 세트와 함께 상기 프로그램을 저장하는 단계; 상기 주소지정가능 프로그램의 적어도 일부를 검색하는 단계; 사용자에게 상기 주소지정가능 프로그램의 적어도 일부를 디스플레이하는 단계; 사용자로부터 주소지정가능 프로그램의 제3 세트의 소정의 부분에 액세스가능하게 하는 파라미터의 세트를 수신하는 단계; 편집된 주조지정가능 프로그램을 발생시키기 위해 주소지정가능 프로그램의 제3 세트의 소정 부분에 액세스 가능하게 하는 파라미터의 사용자 세트를 포함하도록 주소지정가능 프로그램을 편집하는 단계; 및 편집된 주소지정가능 프로그램을 저장하는 단계;를 포함하는 디지털 텔레비전 레코딩 방법을 기술하는 엔디에스 리미티드에 할당된 PCT 특허출원공개 WO 00/01149;
사용자 유닛에 전송된 광고물을 디스플레이하는 방법을 기술하는 엔디에스 리미티드에 할당된 PCT 특허출원공개 WO 01/52541;
실시간으로 및/또는 타임-시프팅된 모드에서 디지털식으로 레코딩되고 시청되는 대화형 애플리케이션 및 콘텐트를 관리하고, 구현하고 그리고 사용하는 방법 및 장치를 기술하는, 엔디에스 리미티드에 할당된 PCT 특허출원공개 WO 02/01866 및 미국 특허출원공개 US 2003/0163832;
대화형 텔레비전 인프러스트럭처 Value@TV™의 월드 와이드 웹 사이트www.nds.com/interactive_tv/interactive_tv.html에 있는 엔디에스 리미티드의 공개 문헌;
1999년 7월의 ISO/IEC-13818-6, MPEG DSM-CC 명세서;
월드 와이드 웹 사이트 www.discreet.com/3dsmax에 기술된 Discreet ™'s 3ds max™ and Combustion™; 월드 와이드 웹 사이트 www.alias.com에 기술된 Alias™'s Maya™; 월드 와이드 웹 사이트 www.softimage.com에 기술된 SoftimageXSI; 월드 와이드 웹 사이트 www.pinnaclesys.com에 기술된 Pinnacle Commotion; 월드 와이드 웹 사이트 www.adobe.com에 기술된 Adobe's After Effect software; 월드 와이드 웹 사이트 www.avid.com에 기술된 Avid Technology, Inc.', Media composer and Avid Xpress; 의 소프트웨어 툴의 공개 문헌;
타임 정보와 연관된 스트림내의 타임 동기화된 데이터내의 요구되는 포인트를 액세스하는 방법으로서, 타임-동기화된 데이터 스트림내의 요구되는 포인트와 연관된 요구되는 표시 시간을 제공하는 단계, 스트림 액세스 포인트를 결정하는 단계, 스트림 액세스 포인트에서 시작하는 스트림을 디코딩하는 단계, 및 스트림 액세스 포인트와 연관된 시간을 사용 시간으로서 할당하는 단계를 포함하는 방법을 기술하는, 엔디에스 리미티드에 할당된 PCT 특허출원공개 WO 03/010970;
트랜스포트 스트림(TS)을 수신하는 단계, 복수의 TS 패킷을 포함하고 시작부를 가지고 있는 TS의 적어도 일부를 저장하는 단계, 복수의 TS 패킷로부터, 적어도 하나가 후보 액세스 포인트를 포함하는 적어도 하나의 TS 패킷을 결정하는 단계, 후보 액세스 포인트의 바이트 오프셋을 인덱스 스토어에 저장하는 단계, 및 각각이 수신된 TS 패킷의 도착 시간과 연관되어 있는 바이트 오프셋의 복수의 인디케이션을 인덱스 스코어내에 저장하는 단계를 포함하는 데이터 스트림을 처리하는 방법을 기술하는, 엔디에스 리미티드에 할당된 PCT 특허출원공개 WO 01/35669 및 미국 특허 출원공개 09/574,096;
헤드엔드 서버로부터 클라이언트 디바이스로 복수의 소스 방송으로부터의 다양한 콘텐트를 표시하는 방법 및 장치를 기술하는 미국 특허출원공개 2002/0199190;
시청자가 라이브 방송 이벤트를 경험하는데 있어 온전하고 능동적으로 참여하도록 하는 대화형 디지털 시스템을 기술하는 프리맨등의 미국 특허출원공개 2002/0188943;
텔레비전 전송 시스템내의 가입자에게 대화형 가상 오브젝트를 타겟팅하는데 사용된 방법 및 장치를 기술하는 헨드릭등의 미국 특허출원공개 2002/112249;
텔레비전 셋톱 박스에 연결된 전자 게임 콘솔을 기술하는 크리쉬난등의 미국 특허출원공개 2002/0086734;
이미지 디스플레이 방법 및 디바이스를 기술하는 코누마의 미국 특허출원공개 2002/0085122;
대화형 특징을 포함하여, 시청자의 뷰잉 경험을 향상시키고 향상된 액세스를 프로그램에 제공하는 유저 인터페이스 및 네비게이터를 기술하는 험바드등의 미국 특허출원공개 2002/0069415;
호스트 정보 처리 시스템과 연결되기 위해 제거가능 외부 메모리 유닛내에 내장되도록 설계된 완전 프로그램가능 그래픽스 마이크로프로세서를 기술하는 샌등의 미국 특허출원공개 2002/0050999;
정보의 페이지가 유저 대화를 위해 셋톱 박스에 주기적으로 제공된 텔레비전 셋톱 박스를 사용하는 대화형 엔터테인먼트 정보 시스템을 기술하는 프리에의 미국 특허출원공개 2002/0035728;
대화형 채널 버그를 사용하는 대화성을 제공하는 방법 및 시스템을 기술하는 사호타등의 미국 특허출원공개 2001/0047518;
비디오 게임 시스템등에 사용되기 위한 프로그램가능 그래픽스 프로세서를 가지고 있는 외부 메모리 시스템을 기술하는 샌등의 미국 특허출원공개 2001/0043224 및 2001/0040577;
콘텐트를 확대하는 방법을 기술하는 페로클리아등의 미국 특허출원공개 2003/0011636;
대화형 텔레비전 방송을 생성하는 방법을 기술하는 미국 특허출원공개 2003/0093786;
비디오/오디오 플레이와 탠덤 상태로 비디오, 오디오 및 그래픽 표시를 하기위한 시스템을 기술하는 체르녹 등에 허여된 미국 특허 6,314,569;
3-D 그래픽스, 비디오 및 오디오 기능을 실행하는 미디어 코프로세서를 기술하는 에제르 등에 허여된 미국 특허 6,275,239;
스프라이트 빌딩이 자동이고 스프라이트 오브젝트가 자동이고 코딩 프로세스는 물론 스프라이트 빌딩내에 집적된 인코더 및 디코더를 포함하는 스프라이트에 기초한 코딩 시스템을 기술하는 크리논 등에 허여된 미국 특허 6,259,828 및 6,205,260;
텔레비전 전송 시스템내의 헤드엔드 컴포넌트 및 셋톱 터미널을 모니터링하고 관리할 수 있는 케이블 텔레비전 시스템 헤드엔드에 사용되기 위한 네트워크 매너저를 기술하는 헨드릭 등에 허여된 미국 특허 6,201,536;
별개의 이미지 레이어에 셰이딩 모델내의 텀을 독립적으로 렌더링하는 실시간 3D 애니메이션에 대한 파이프라인을 렌더링하는 레이어된 그래픽스를 기술하는 렌기엘 등에 허여된 미국 특허 6,016,150;
비디오 데이터를 인코딩하기 위해 동적 스프라이트를 기술하는 두포에 허여된 미국 특허 5,943,445;
사용자가, 선택을 하고, 데이터를 조작하고, 그리고 그 시간에 디스플레이되는 시청각 콘텐트에 기초한 시청각 디스플레이 유닛을 통해 대화식으로 기능을 실행하도록 하기 위해 시청각 콘텐트와 실시간 데이터를 연결하는 방법 및 장치를 기술하는 게르바 등에 허여된 미국 특허 5,931,908;
시청자-선택가능 비디오 및 오디오를 가진 멀티채널 텔레비전 시스템을 기술하는 반셀레트에 허여된 미국 특허 5,894,320;
파노라믹, 신 대화형 및 입체 이미지를 포함하는 디버스 가상 비디오 신 이미지가 합성되는 3차원 비디오 모자이크를 신의 복수의 비디오 뷰로부터 발생시키기 위해 비디오 하이퍼모자이킹을 포함하는, 거대 비디오를 기술하는 모에찌 등에 허여된 미국 특허 5,850,352;
비딩 게임 시스템등에 사용되기 위해 프로그래가능 그래픽스를 가지고 있는 외부 메모리 시스템을 기술하는 샌 등에 허여된 미국 특허 5,850,230;
대화형 텔레비전내의 애플리케이션의 자동 실행을 기술하는 알립호이 등에 허여된 미국 특허 5,818,440;
그래픽스 렌더링 시스템내의 깊이 복잡도 감소에 대한 방법 및 시스템을 기술하는 켄원디 등에 허여된 미국 특허 5,808,617;
텔레비전 이미지를 수신하고 이 텔레비전 이미지를 비디오 디스플레이 디바이스상에 디스플레이하기 위해 비디오 디스플레이 디바이스 및 이 비디오 디스플레이 디바이스와 연결되어 작동하기 위해 연결된 유저 인터페이스 유닛을 포함하는 비디오 엔터테인먼트 시스템을 기술하는 카펠 등에 허여된 미국 특허 5,774,172;
방송 채널을 통해 애플리케이션 소프트웨어의 다운로딩을 기술하는 메츠 등에 허여된 미국 특허 5,768,539;
대화형 장치용 정보 처리를 기술한 실드 등에 허여된 미국 특허 5,754,770;
대화형 네트워크의 사용자가 그래피컬 유저 인터페이스를 통해 컨트롤 기능을 인식하고 선택할 수 있도록 하는 컨트롤 아이템을 발생시키고 디스플레이하는 객체 지향 시스템을 기술하는 볼크 등에 허여된 미국 특허 5,673,401;
방송 프로그래밍내의 복수의 카메라 관점의 시청자 컨트롤에 대한 대화형 텔레비전 시스템 및 방법을 기술하는 매튜에 허여된 미국 특허 5,600,368;
텔레비전 신 위에 이미지, 캡션, 타이틀 또는 다른 정보를 중첩시키는 스탠더드 텔레비전에 사용하기 위한 장치를 기술한 베르만에 허여된 미국 특허 5,523,791; 및
전화 키패드 시그널링을 사용하는 대화형 미디어 시스템 및 텔리컴퓨팅 방법을 기술하는 톰슨에 허여된 미국 특허 5,236,199.
본 발명을 이해하는데 유용할 수 있는 타이밍 정보 보호의 일태양은 "Timeline Protection"로 표제되고, 2004년 1월 26일에 출원된 엔디에스 리미티드의 영국 특허출원 및 "Timeline Protection"으로 표제되고 2004년 1월 27일에 출원된 데이비드 화이트의 상응하는 미국 특허 가출원내에 기술되어 있다.
상기 인용문헌에 언급된 모든 문헌의 개시는 물론, 본 명세서에 언급된 모든 인용문헌의 개시는 여기에 언급되어 통합되어 있다.
본 발명은 다음 도면과 함께 상세한 설명으로부터 보다 자세하게 이해될 것이다.
도 1은 본 발명의 바람직한 실시예에 따라 구성되고 동작되는, 제1 대화형 애플리케이션을 사용하는 대화형 시스템의 단순화된 부분적으로 그림인 부분 블록도,
도 2는 제2 대화형 애플리케이션을 사용하는 도 1의 대화형 시스템의 단순화된 부분적으로 그림인 부분 블록도,
도 3은 제3 대화형 애플리케이션을 사용하는 도 1의 대화형 시스템의 단순화된 부분적으로 그림인 부분 블록도,
도 4는 도 1의 대화형 시스템에 전송되는 방송 소스 및 도 1의 대화형 시스템의 바람직한 구현예의 단순화된 부분적으로 그림인 부분 블록도,
도 5는 도 3에 도시된 제3 대화형 애플리케이션내의 게임 상태의 일예의 단순 도면,
도 6은 도 1의 대화형 시스템내에 사용된 제4 대화형 애플리케이션의 일예의 단순 도면,
도 7은 도 1의 대화형 시스템내에 사용된 제5 대화형 애플리케이션의 일예의 단순 도면,
도 8은 도 1의 대화형 시스템내에 사용된 제6 대화형 애플리케이션의 일예의 단순 도면,
도 9는 도 1의 대화형 시스템내에 사용된 제7 대화형 애플리케이션의 일예의 단순 도면,
도 10은 도 1의 대화형 시스템내의 디스플레이 디바이스의 작동의 바람직한 방법의 단순 순서도, 및
도 11은 도 1의 대화형 시스템내의 디스플레이 디바이스의 작동의 다른 바람직한 방법의 단순 순서도.
본 발명은 방송망내의 대화형 애플리케이션을 처리하는 향상된 능력을 제공하고자 한다.
따라서, 본 발명의 바람직한 실시예에 따라 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 적어도 하나가 포함하는 복수의 비디오 프레임을 포함하는 배경 비디오를 디스플레이 디바이스에서 수신하는 단계; 및 상기 복수의 서브-픽쳐의 제1 서브-픽쳐와 상기 복수의 서브-픽쳐의 제2 서브-픽쳐 사이를 디스플레이 디바이스에서 전환하는 단계;를 포함하는 대화형 방법이 제공되어 있다.
또한, 본 방법은 전환하는 단계 후에, 제2 서브-픽쳐를 풀 비디오 프레임으로 업샘플링하는 단계를 더 포함한다. 상기 업샘플링하는 단계는 디스플레이상에 디스플레이되기 위해 업샘플링하는 단계를 포함하는 것이 바람직하다.
상기 전환하는 단계는 상기 제1 서브-픽쳐와 제2 서브-픽쳐 사이에서 심리스로 전환하는 단계를 포함하는 것이 바람직하다.
상기 제1 서브-픽쳐와 제2 서브-픽쳐중 적어도 하나는 3차원(3D) 신을 포함하는 것이 바람직하다.
또한, 상기 방법은 상기 전환하는 단계에 응답하여 디스플레이 효과를 디스플레이하는 단계를 더 포함한다. 상기 디스플레이 효과는 상기 전환하는 단계 전에 디스플레이되는 이미지보다 넓은 이미지의 허상; 상기 전환하는 단계 전에 디스플레이되는 이미지보다 높은 이미지의 허상; 상기 전환하는 단계 전에 디스플레이되는 이미지 보다 넓고 보다 높은 이미지의 허상; 및 상기 전환하는 단계 전에 디스플레이되는 이미지에 대하여, 수평 왜곡 상태 및 수직 왜곡 상태중 적어도 하나인 이미지의 허상중 적어도 하나를 포함하는 것이 바람직하다.
상기 전환하는 단계는 2개의 오디오 디코더의 출력 사이를 전환하는 단계를 포함하는 것이 바람직하다.
상기 전환하는 단계는 또한 타이밍 정보; 사용자 입력; 헤드엔드로부터의 명령어; 방송 소스로부터의 명령어; 및 대화형 애플리케이션으로부터의 명령어중 적어도 하나에 응답하여 제1 서브-픽쳐와 제2 서브-픽쳐 사이를 전환하는 단계를 포함하는 것이 바람직하다.
상기 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하는 것이 바람직하다. 또한, 상기 배경 비디오를 수신하는 단계는 퍼스널 비디오 레코더(PVR)의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하는 것이 바람직하다.
또한, 상기 전환하는 단계 전에, 객체를 결정하는 정보를 포함하는 객체 정보를 디스플레이 디바이스에서 수신하는 단계; 및 상기 객체를 상기 디스플레이 디바이스에서, 배경 비디오상에 오버레이하는 단계;를 더 포함하는 것이 바람직하다. 상기 전환하는 단계는 제1 서브-픽쳐의 보더에 접근하거나 들어가는 객체에 응답하여 제1 서브-픽쳐와 제2 서브-픽쳐 사이를 전환하는 단계를 포함하는 것이 바람직하다. 상기 객체는 게임 객체를 포함하는 것이 바람직하다.
상기 배경 비디오 및 객체 정보는 대화형 게임 애플리케이션과 관련되어 있는 것이 바람직하다.
배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 적어도 하나로부터 객체 정보를 수신하는 단계를 포함하는 것이 더욱 바람직하다. 배경 비디오를 수신하는 단계는 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하는 경우에, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 객체 정보를 수신하는 단계를 포함한다.
또한, 배경 비디오와 관련된 에어리어 어시스턴스 정보를 포함하는 어시스턴스 정보를 디스플레이 디바이스에서 수신하는 단계;
디스플레이 로케이션에서 디스플레이하기 위한 디스플레이 디바이스에서 그래픽스를 준비하는 단계로서, 적어도 부분적으로, 디스플레이 로케이션과 연관된 어시스턴스 정보의 적어도 일부에 기초하는 상기 그래픽스를 준비하는 단계; 및
준비된 그래픽스를 배경 비디오와 공간적으로 동기화하는 단계;를 더 포함한다.
상기 어시스턴스 정보의 적어도 일부는 논-경계 어시스턴스 정보를 포함하는 것이 바람직하다. 상기 논-경계 어시스턴스 정보는 물리 정보; 라이팅 정보; 적어도 하나의 알파 마스크; 적어도 하나의 타겟존에 대한 정보; 적어도 하나의 데드존에 대한 정보; 적어도 하나의 게임 특정 에어리어에 관한 정보; 컨트롤 정보; 및 바람직한 트랙 정보중 적어도 하나를 포함하는 것이 바람직하다.
상기 그래픽스를 준비하는 단계는 준비된 그래픽스를 배경 비디오와 임시 동기화하는 단계를 더 포함하는 것이 바람직하다.
준비된 그래픽스 및 배경 비디오를 동기화 형태로 디스플레이하는 단계를 더 포함하는 것이 바람직하다.
상기 그래픽스를 준비하는 단계는 상기 그래픽스와 연관되어 렌더링하기 위한 디스플레이 디바이스에서 오디오를 발생시키는 단계를 더 포함하는 것이 바람직하다. 상기 오디오를 발생시키는 단계는 적어도 부분적으로, 디스플레이 로케이션과 연관된 어시스턴스 정보의 적어도 일부에 기초한 그래픽스와 연관되어 렌더링하기 위한 오디오를 준비하는 단계를 포함하는 것이 바람직하다. 또한, 상기 오디오를 발생시키는 단계는 상기 준비된 오디오를 그래픽스 및 배경 비디오와 동기화하는 단계를 더 포함한다.
상기 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하는 경우에, 어시스턴스 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 어시스턴스 정보를 수신하는 단계를 포함하는 것이 바람직하다. 배경 비디오를 수신하는 단계가 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하는 경우에, 어시스턴스 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 어시스턴스 정보를 수신하는 단계를 포함하는 것이 바람직하다.
상기 배경 비디오, 어시스턴스 정보 및 그래픽스는 대화형 게임 애플리케이션과 관련되어 있는 것이 바람직하다.
제1 서브-픽쳐는 신의 제1 투시도에 상응하고 제2 서브-픽쳐는 신의 제2 투시도에 상응하는 것이 더 바람직하다. 제1 투시도는 제2 투시도와 상이한 것이 바람직하다.
또한, 상기 방법은 적어도 하나의 특성에 의해 배경 비디오의 부분을 식별하는 식별 정보를 디스플레이 디바이스에서 수신하는 단계; 및 상기 식별 정보에 기초하여 액션이 객체에 행해질 지를 디스플레이 디바이스에서 결정하는 단계;를 더 포함하는 것이 바람직하다.
상기 결정하는 단계는 객체가 배경 비디오의 제1 부분으로부터 적어도 하나의 특성에 의해 상기 배경 비디오의 제1 부분으로부터 식별된 배경 비디오의 제2 부분쪽으로 이동할 때 객체상에 액션이 실행될 지를 결정하는 단계를 포함하는 것이 바람직하다.
또한, 상기 방법은 상기 객체가 배경 비디오의 제1 부분으로부터 배경 비디오의 제2 부분으로 이동할 때 오디오 신호를 트리거링하기 위해 상기 식별 정보를 사용하는 단계를 더 포함한다.
적어도 하나의 특성은 라이팅 특성; 물리 특성; 알파 마스크 특성; 타겟 특성; 데드존 특성; 게임 특정 에어리어의 특성; 바람직한 트랙 특성; 및 트랙-컨트롤 특성중 적어도 하나를 포함하는 것이 바람직하다.
상기 식별 정보는 적어도 하나의 인-비디오 마스크; 대화형 애플리케이션 데이터중 적어도 하나를 포함하는 것이 바람직하다. 상기 적어도 하나의 인-비디오 마스크는 배경 비디오내의 경계 영역; 및 배경 비디오내의 충돌 영역중 적어도 하나 사이를 식별하는 것이 바람직하다.
상기 적어도 하나의 인-비디오 마스크는 적어도 하나의 알파 마스크; 적어도 하나의 타겟; 적어도 하나의 데드존; 트래킹 정보; 및 컨트롤 정보중 적어도 하나를 포함하는 것이 바람직하다.
배경 비디오, 객체 정보 및 식별 정보는 대화형 게임 애플리케이션과 관련되어 있고, 액션은 상기 대화형 게임 애플리케이션내의 액션을 포함하는 것이 바람직하다.
배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션으로부터 객체 정보를 수신하는 단계를 포함하는 경우에, 식별 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 식별 정보를 수신하는 단계를 포함한다.
배경 비디오를 수신하는 단계가 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 PVR의 기억장치로부터 객체 정보를 수신하는 단계를 포함하는 경우에, 식별 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 식별 정보를 수신하는 단계를 포함한다.
배경 비디오를 수신하는 단계가 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 PVR의 기억장치로부터 객체 정보를 수신하는 단계를 포함하는 경우에, 식별 정보를 수신하는 단계는 방송 트랜스미션으로부터 식별 정보를 수신하는 단계를 포함하는 것이 바람직하다.
배경 비디오를 수신하는 단계가 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션으로부터 객체 정보를 수신하는 단계를 포함하는 경우에, 식별 정보를 수신하는 단계는 PVR의 기억장치로부터 식별 정보를 수신하는 단계를 포함한다.
상기 방법은 디스플레이 디바이스에서, 객체를 결정하는 정보를 포함하는 객체 정보를 수신하는 단계; 상기 디스플레이 디바이스에서, 상기 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하는 단계; 상기 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 단계; 및 상기 디스플레이 디바이스에서, 배경 비디오의 업샘플링된 부분상에 상기 객체를 오버레이하는 단계;를 더 포함하는 것이 바람직하다.
본 발명의 바람직한 일실시예에 따라 디스플레이 디바이스에서 배경 비디오를 수신하는 단계; 상기 디스플레이 디바이스에서, 객체를 결정하는 정보를 포함하는 객체 정보를 수신하는 단계; 상기 디스플레이 디바이스에서, 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하는 단계; 상기 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 단계; 및 상기 디스플레이 디바이스에서, 배경 비디오의 업샘플링된 부분상에 상기 객체를 오버레이하는 단계;를 포함하는 대화형 방법이 또한 제공되어 있다. 상기 객체는 게임 객체를 포함하는 것이 바람직하다.
배경 비디오, 객체 정보, 및 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임은 대화형 게임 애플리케이션과 관련되어 있는 것이 바람직하다.
상기 계산하는 단계는 상기 객체를 트래킹하기 위해 상기 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함하는 것이 바람직하다. 대안으로 또는 추가적으로, 상기 계산하는 단계는 배경 비디오의 속도의 변화의 효과를 제공하기 위해 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함한다.
대안으로 또는 추가적으로, 상기 계산하는 단계는 상기 객체와 함께 디스플레이되는 배경 비디오의 일부를 변경하기 위해 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함하는 것이 바람직하다.
대안으로 또는 추가적으로, 상기 계산하는 단계는 셔더 효과를 제공하기 위해 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함한다.
배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 객체 정보를 수신하는 단계를 포함하는 것이 바람직하다.
대안으로, 배경 비디오를 수신하는 단계는 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 객체 정보를 수신하는 단계를 포함한다.
또한, 본 발명의 바람직한 실시예에 따라, 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 적어도 하나가 포함하는 복수의 비디오 프레임을 포함하는 배경 비디오를 수신하는 수신기; 및 복수의 서브-픽쳐의 제1 서브-픽쳐와 복수의 서브-픽쳐의 제2 서브-픽쳐 사이를 전환하고 디스플레이를 위해 제2 서브-픽쳐를 렌더링하는 프로세서;를 포함하는 디스플레이 디바이스가 제공되어 있다.
또한, 본 발명의 바람직한 실시예에 따라, 배경 비디오, 및 객체를 결정하는 정보를 포함하는 객체 정보를 수신하는 수신기; 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하고 상기 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 프로세서; 및 배경 비디오의 업샘플링된 부분상에 객체를 오버레이하는 OSD 유닛;을 포함하는 디스플레이 디바이스가 제공되어 있다.
이제 본 발명의 바람직한 실시예에 따라 구성되고 작동되는 대화형 시스템(10)의 단순화된 부분적으로 그림인 부분 블록도인 도 1에 대하여 설명한다. 이 대화형 시스템(10)은 제1 대화형 애플리케이션을 사용하여 도 1에 도시되어 있다.
이 대화형 시스템(10)은 사용자 유닛(20)에, 지불 및/또는 미지불 텔레비전 프로그래밍을 포함하는 텔레비전 프로그래밍; 멀티미디어 정보; 전자 프로그램 가이드(EPG); 오디오 프로그램; 데이터; 게임; 및 인터넷과 같은 컴퓨터에 기초한 네트워크로부터의 정보중 적어도 하나를 제공하는 것이 바람직하다.
설명 및 묘사를 단순히 하기 위해, 앞서의 일반성을 제한하지 않고 오직 하나의 유저 유닛(20)만이 도 1에 도시되고 아래에 설명되어 있다. 이 유저 유닛(20)은 디스플레이 디바이스(30) 및 디스플레이(40)를 포함하는 것이 바람직할 수 있다. 이 디스플레이(40)은 텔레비전 또는 컴퓨터 모니터와 같은 임의의 적합한 디스플레이를 포함할 수 있다. 이 디스플레이 디바이스(30)는 디스플레이(40)와 작동식으로 연관되어 있는 셋톱 박스(STB)내에 포함되는 것이 바람직할 수 있다. 또한, 디스플레이 디바이스(30)는 휴대 전화(도시되지 않음) 또는 비디오 리셉션 및 디스플레이가 가능한 임의의 적합한 퍼스널 디지털 디바이스(도시되지 않음)내에 포함될 수 있고, 이러한 경우에, 디스플레이(40)는 휴대 전화의 디스플레이 또는 퍼스널 디지털 디바이스의 디스플레이를 각각 포함하는 것이 바람직하다.
예를 들어, 도 1에서, 디스플레이 디바이스(30)는 디스플레이(40)의 상면에 위치되어 있는 STB(45)내에 포함된 것으로 도시되어 있다. 예를 들어, STB(45)는 방송을 처리하고 디스플레이하는 종래의 회로(도시되지 않음) 및 방송의 적어도 일부에 조건부로 액세스를 허용하는 스마트 카드(도시되지 않음)와 같은 종래의 액세스 제어 디바이스를 더 포함할 수 있다.
이 유저 유닛(20)은 예를 들어, 리모트 컨트롤(RC; 60)을 통하여 사용자(50)에 의해 작동되는 것이 바람직하다.
작동에 있어서, 사용자 유닛(20)은 디스플레이(40)상에 디스플레이하기 위한 프로그래밍 재료 및 정보를 수신할 수 있다. 이 프로그래밍 재료 및 정보는 주문형 비디오(VOD) 또는 근접 주문형 비디오(NVOD)의 형태로 다른 정기 편성된 방송으로서 유저 유닛(20)에 방송되는 것이 바람직하다. 대안으로 또는 추가적으로, 프로그래밍 재료 및 정보는 영국 티더블유 18 4이엑스 미들섹스 스테인스 원런던로드에 위치한 엔디에스 리미티드로부터 상업적으로 입수가능한 XTV™ 시스템과 같은 퍼스널 비디오 레코더(PVR)(도 1에 도시되지 않음)에 의해 공급되는 것이 바람직하다.
유저 유닛(20)에서 수신된 프로그래밍 재료 및 정보는 예를 들어 그리고 본 발명의 일반성을 제한함 없이 도 1에 도시된 단순예인 제1 게임 애플리케이션을 포함할 수 있는 제1 대화형 애플리케이션을 나타내는 것이 바람직하다. 이러한 경우에, 유저 유닛(20)에서 수신된 프로그래밍 재료 및 정보는 복수의 비디오 프레임을 포함하는 배경 비디오를 포함하는 것이 바람직하다. 상기 비디오 프레임중 적어도 하나는 각각 대체의 배경을 나타내는 복수의 서브-픽쳐를 포함하는 것이 바람직하다. 예로서, 도 1에서, 오직 하나의 비디오 프레임(70)이 각각 대체의 배경을 나타내는 3개의 서브-픽쳐(80,90,100)로써 도시되어 있다. 그러나, 복수의 비디오 프레임의 추가된 비디오 프레임은 다양하고 상이한 대체의 배경을 나타내는 다양한 수의 서브-픽쳐를 포함하는 것이 바람직하다는 것이 이해될 수 있다.
또한, 예로서, 서브-픽쳐(80,90,100)에 의해 나타낸 대체의 배경은 예를 들어, 게임 배경의 일부 또는 모두를 포함할 수 있는 인접 도미노 블록의 배열의 상이한 포지션을 가리킨다. 서브-픽쳐(80)는 모든 배경 도미노 블록이 나란히 서 있는 상태를 나타내고, 서브-픽쳐(100)는 모든 배경 도미노 블록이 넘어진 상태를 나태내고, 서브-픽쳐(90)는 배경 도미노의 일부가 서 있고 다른 배경 도미노 블록은 이미 넘어진 중간 상태를 나타내고 있다.
사용자(50)는 제1 게임 애플리케이션을 플레이하기 위해 RC(60)를 작동시키는 것이 바람직하다. 제1 게임 애플리케이션을 플레이하는 동안의 한 특정 시각에, 게임 배경은 예를 들어, 모든 배경 도미노가 나란히 서 있는 상태를 나타낼 수 있다. 이러한 경우에, 디스플레이 디바이스(30)는 서브-픽쳐(80)를 업샘플링하고, 디스플레이(40)의 전체 스크린에 업샘플링된 서브-픽쳐(80)을 디스플레이(40)상에 디스플레이하는 것이 바람직하다. 그 다음, 사용자(50)는 나란히 서 있는 도미노 블록만을 디스플레이(40)상에서 볼 수 있게 될 것이다.
문법적 형태에서 용어 "업샘플링"은 수신된 이미지의 일부가, 전형적이지만 필수는 아닌, 디스플레이의 전체 스크린을 채우는 큰 형태로 표시되는 디스플레이 작동을 가리키도록 본원 명세서 및 청구항에 사용되어 있다.
제1 게임 애플리케이션이 진행함에 따라, 게임 배경은 예를 들어, 제1 게임 애플리케이션으로부터의 명령어 또는 사용자(50)의 액션으로 인해 변화될 필요가 있을 수 있다. 이러한 경우에, 디스플레이 디바이스(30)는 복수의 서브-픽쳐의 제1 서브-픽쳐와 복수의 서브-픽쳐의 제2 서브-픽쳐 사이에서 전환되는 것이 바람직하다. 이 전환은 제1 서브-픽쳐와 제2 서브-픽쳐 상의 심리스 전환을 포함하는 것이 바람직하다.
제1 서브-픽쳐는 신의 제1 투시도에 상응할 수 있고 제2 서브-픽쳐는 신의 제2 투시도에 사응할 수 있다는 것을 이해해야 한다. 제1 투시도는 제2 투시도와 상이할 수 있다. 제1 서브-픽쳐와 제2 서브-픽쳐중 적어도 하나는 3차원(3D) 신을 포함할 수 있다는 것이 또한 이해된다.
예로서, 본 발명의 일반성을 제한함 없이, 변화가 일어나고, 제1 서브-픽쳐가 서브 팩쳐(80)가 되도록 취해지고 제2 서브-픽쳐가 제2 서브-픽쳐(90)가 되도록 취해질 때, 디스플레이 디바이스(30)에서의 전환은 서브-픽쳐(80)와 서브-픽쳐(90) 사이에서 일어난다. 디스플레이 디바이스(30)는 전환후에 서브-픽쳐(90)를 업샘플링한다. 서브-픽쳐(90)의 업샘플링은 예를 들어, 디스플레이(40)상에 디스플레이하기 위해 전체 비디오 프레임으로 서브-픽쳐(90)를 업샘플링하는 단계를 포함할 수 있다. 그후에, 디스플레이 디바이스(30)은 도 1에 도시된 바와 같이, 디스플레이(40)의 전체 스크린으로 업샘플링된 서브-픽쳐(90)를 디스플레이(40)상에 디스플레이하는 것이 바람직하다.
당업자는 일단 비디오 프레임(70)이 디코딩되면 모든 서브-픽쳐(80,90,및 100) 역시 디코딩되어 디스플레이를 위해 준비된다는 것을 이해할 것이다. 서브-픽쳐(80, 90) 사이의 전환은 서브-픽쳐(90)를 단순히 가리킴으로서 만들어질 수 있는 동작이다. 따라서, 전환 동작은 심리스 전환 가시 효과를 제공하기 위해 초고속으로 바르게 변환될 수 있다. 업샘플링 또한 보통 매우 빠르게 실행될 수 있는 동작이다. 따라서, 업샘플링과 관련된 전환은 프레임 애큐릿을 가지고 실행되는 것이 바람직한데, 즉, 아무런 글리치도 일어나지 않고 전환은 업샘플링된 서브-픽쳐(90)의 렌더링과 동기화되어 가시 장애를 방지하게 된다. 반대로, 배경 비디오가 별도의 프레임으로 제공되었다면, 프레임 사이의 전환은 시청자에게 의해 현저할 것이다.
용어 "렌더링"은 본원 명세서 및 청구범위에서 모든 문법적 형태로 사용되어 손으로 만질 수 있는 콘텐트는 하나 이상의 신으로 만드는 임의의 적합한 메커니즘 또는 방법을 가리킨다. 특히 그리고 이전의 일반성을 제한함 없이, "렌더링"은 비디오 콘텐트의 디스플레이뿐만 아니라 오디오 콘텐트의 재생 역시 가리킨다.
대화형 시스템(10)은 아래에 설명되는 대화형 애플리케이션을 처리하는 향상된 능력을 갖는 구성을 제공한다. 대화형 시스템(10)에 의해 제공된 구성은 다양한 형태의 대화형 애플리케이션의 실행에 적합하고 예를 들어, 미국의 마이크로소프트사로부터 상업적으로 유용한 XBOX™, 일본 도쿄의 소니사로부터 상업적으로 입수가능한 PlayStaion™ 2, 일본 교토의 닌텐도 가부시키가이샤로부터 상업적으로 입수가능한 GameCube™과 같은 주지된 전용 게임기의 처리 능력에 대하여 디스플레이 디바이스(30)의 처리 능력이 제한된 경우에 풍부한 멀티미디어를 채용하고 처리하는 대화형 애플리케이션의 실행을 위해 특히 유용하다. 오늘날 존재하는 수많은 종래 대화형 텔레비전 시스템에서 STB의 처리 능력은 보통 전용 게임기의 처리 능력에 대하여 제한된다는 것이 이해된다.
대화형 애플리케이션은 보통 대화형 게임, EPG 애플리케이션, 갬블링 애플리케이션, 쇼핑 애플리케이션, 대화형 텔레비전 애플리케이션등을 포함한다. 설명을 단순히 하기 위해, 보통 풍부한 멀티미디어를 채용하고 처리하는 대화형 게임 애플리케이션만이 여기에 언급되어 있고, 본 발명은 대화형 게임 애플리케이션에 제한되지 않고 임의의 다른 적합한 타입의 대화형 애플리케이션이 대화형 시스템(10)에서 대안으로 실행될 수 있다는 것을 이해할 수 있다.
이제 제2 대화형 애플리케이션을 사용하는 도 1의 대화형 시스템(10)의 단순화된 부분적으로 그림인 부분 플록도인 도 2에 대하여 설명한다. 제2 대화형 애플리케이션은 제2 게임 애플리케이션을 포함하는 것이 바람직하고 이 단순화된 예가 도 2에 도시되어 있다.
유저 유닛(20)은 방송 및/또는 PVR(도시되지 않음)의 기억장치(도시되지 않음)로부터 프로그래밍 재료 및 정보를 수신하는 것이 바람직하다. 이 프로그래밍 재료 및 정보는 제2 게임 애플리케이션용 배경 비디오를 포함하는 것이 바람직하다. 제2 게임 애플리케이션용 배경 비디오는 복수의 비디오 프레임을 포함하는 것이 바람직하고 이 비디오 프레임의 적어도 하나는 각각 대체의 배경을 나타내는 복수의 서브-픽쳐를 포함하는 것이 바람직하다. 예로서, 도 2에서 단일 비디오 프레임(200)만이 각각 대체의 배경을 나타내는 3개의 서브-픽쳐(210,220,230)를 가지고 있는 것으로 도시되어 있다. 그러나, 복수의 비디오 프레임의 추가 비디오 프레임은 다양하고 상이한 대체의 배경을 나타내는 다양한 수의 서브-픽쳐를 포함하는 것이 바람직하다는 것을 이해할 것이다.
3개의 서브-픽쳐(210,220,230)에 의해 표시된 대체의 배경은 예를 들어, 비행체(240) 및 비행체(240)의 롤, 피치, 또는 요와 같은 비행체(240)의 비행 상태는 물론, 캐넌을 따라 그리고 산 사이에서 비행하는 비행체(240)와 같은 물체의 상이한 비행 경로를 가리킬 수 있다. 서브-픽쳐(210)는 산 사이의 계곡을 따라 비행하는 비행체(240)를 나타날 수 있고, 서브-픽쳐(220)는 계곡의 끝 터닝 포인트에서 좌측으로 턴하는 비행체(240)를 나타낼 수 있고, 서브-픽쳐(230)는 계곡의 끝 터닝 포인트에서 우측으로 턴하는 비행체(240)를 나타낼 수 있다. 서브-픽쳐(210,220,230)중 적어도 하나는 3D 신을 포함할 수 있다는 것을 이해할 수 있을 것이다.
동작에서, 사용자(50)는 예를 들어, 캐넌 및 산 사이를 따라 비행체(240)의 비행경로를 결정하고 비행체(240)와 캐넌 벽 또는 산 사이의 충돌을 피함으로써 제2 게임 애플리케이션을 플레이하기 위해 RC(60)를 조작하는 것이 바람직하다. 서브-픽쳐(210)는 비행체(240)가 산 사이의 계곡을 따라 비행하는 동안에 업샘플링되어 디스플레이(40)의 전체 스크린상에 디스플레이되는 것이 바람직하다. 비행체(240)가 계곡의 끝에서 터닝 포인트에 도달하면, 사용자(50)는 예를 들어, 우측으로 턴할 것을 선택할 수 있는데, 이러한 경우에 디스플레이 디바이스(30)가 복수의 서브-픽쳐중 제1 서브-픽쳐와 복수의 서브-픽쳐중 제2 서브-픽쳐 사이에, 특히 서브-픽쳐(210)와 서브-픽쳐(230) 사이에 전환하는 것이 바람직하다. 서브-픽쳐(210)와 서브-픽쳐(230) 사이의 전환은 서브-픽쳐(210)과 서브-픽쳐(230) 사이의 심리스 전환을 포함하는 것이 바람직하다.
디스플레이 디바이스(30)는 전환후에 서브-픽쳐(230)를 업샘플링하는 것이 바람직하다. 서브-픽쳐(230)의 업샘플링은 예를 들어, 디스플레이(40)상에 디스플레이하기 위해 전체 비디오 프레임으로 서브-픽쳐(23)의 업샘플링을 포함하는 것이 바람직하다. 그후에, 디스플레이 디바이스(30)는 도 2에 도시된 바와 같이, 디스플레이(40)의 전체 스크린으로 업샘플링된 서브-픽쳐(230)를 디스플레이(40)상에 디스플레이하는 것이 바람직하다.
당업자는 일단 비디오 프레임(200)이 디코딩되면 모든 서브-픽쳐(210,220,230) 또한 디코딩되고 디스플레이를 위해 준비된다는 것을 이해할 것이다. 서브 픽처(210,230) 사이의 전환은 서브-픽쳐(230)를 단순히 지시함으로써 만들어질 수 있는 동작이다. 따라서, 전환 동작은 심리스 가상 효과를 제공하기 위해 매우 고속으로 실행될 수 있다. 업샘플링은 역시 보통 매우 고속으로 실행될 수 있는 동작이다. 따라서, 업샘플링과 관련된 전환은 프레임 애큐릿을 가지고 실행되는 것이 바람직한데, 즉, 아무런 글리치도 일어나지 않고 전환은 업샘플링된 서브-픽쳐(90)의 렌더링과 동기화되어 가시 장애를 방지하게 된다. 반대로, 배경 비디오가 별도의 프레임으로 제공되었다면, 프레임 사이의 전환은 시청자에게 의해 현저할 것이다.
제3 대화형 애플리케이션을 사용하는, 도 1의 대화형 시스템(10)의 단순화된 부분적으로 그림의 부분 블록도인 도 3에 대해 설명한다. 제3 대화형 애플리케이션은 그 단순예가 도 3에 도시된 제3 게임 애플리케이션을 포함하는 것이 바람직하다.
유저 유닛(20)은 제3 게임 애플리케이션용 배경 비디오 및 제3 게임 애플리케이션용 물체 정보를 포함하는 프로그래밍 재료 및 정보를 수신하는 것이 바람직하다. 이 물체 정보는 물체(300)를 결정하는 정보를 포함하는 것이 바람직하다. 이 물체(300)는 게임 물체를 포함하는 것이 바람직하다. 예로써, 물체(300)는 사람의 형상을 포함할 수 있다. 프로그래밍 재료 및 정보가 방송으로부터 수신되고 및/또는 PVR(도시되지 않음)의 기억장치(도시되지 않음)로부터 수신될 수 있다는 것을 이해할 수 있다.
동작에서, 사용자(50)는 예를 들어, 물체(300)를 가이딩하고 및/또는 이 물체(300)가 배경 비디오의 비디오 프레임(305)내에 표시된 풍경속을 걸으면서 액션을 취하도록 함으로써 제3 게임 애플리케이션을 플레이하도록 RC(60)를 작동시키는 것이 바람직하다.
디스플레이 디바이스(30)는 물체(300)의 둘레의 조정가능한 슬라이딩 윈도우 디스플레이 프레임(뷰포트; 310)을 계산한다. 도 3에서, 물체(300)의 둘레의 조정가능한 슬라이딩 윈도우 디스플레이 프레임(310)은 예를 들어, 2개의 나무(315,320)를 포함하는 배경 비디오의 일부를 커버하는데, 본 발명은 이에 제한되는 것은 아니다. 디스플레이 디바이스(30)는 조정가능한 슬라이딩 윈도우 디스플레이 프레임(310)내에 포함된 배경 비디오의 일부를 업샘플링하고 이 배경 비디오의 업샘플링된 부분상에 물체(300)를 오버레이하는 것이 바람직하다. 그후에, 사용자(50)는 객체(300), 즉, 2개의 나무(315,320) 사이를 걸어가는 사람을 디스플레이(40)상에서 볼 수 있게 된다.
게임이 진행함에 따라, 이 사람의 표시부도 사용자(50)로부터의 명령어에 응답하여 또는 제3 게임 애플리케이션으로부터의 명령어에 따라 이동할 수 있다. 예를 들어, 조정가능한 슬라이딩 윈도우 디스플레이 프레임(310)은 항상 이 사람을 둘러싸도록 그리고 이 사람의 표시부를 따르는 경로를 따른 배경부만을 디스플레이하여 경로를 따라 나아가고 상이한 풍경 요소를 통과하는 사람을 실감나게 시뮬레이팅하도록 계산될 수 있다.
당업자는 예를 들어, 일단 비디오 프레임(305)이 디코딩되면, 조정가능한 슬라이딩 윈도우 디스플레이 프레임(310)은 초고속으로 이동될 수 있고 조정가능한 슬라이딩 윈도우 디스플레이 프레임(310)내에 포함된 배경 비디오의 일부의 업샘플링 또한 초고속으로 만들어질 수 있어 사람의 표시부를 심리스하게 추적하는 시각 효과를 제공하기 때문에 사람의 표시부를 고속으로 추적하도록 할 수 있다는 것을 이해할 것이다. 반대로, 만약 배경 비디오가 별도의 프레임내에 제공되었다면, 사람의 표시부의 추적은 시청자에게 현저하였을 것이다.
이제 도 1의 대화형 시스템(10)의 바람직한 실시예 및 도 1의 대화형 시스템에 전송되는 방송 소스의 단순화된 부분 화상 부분 블록도인 도 4에 대해 추가적으로 설명한다.
방송 소스는 위성에 기초한 통신망; 케이블에 기초한 통신망; 종래 지상 방송 텔레비전망; 전화에 기초한 통신망; 전화에 기초한 텔레비전 방송망; 이동 전화에 기초한 텔레비전 방송망; 인터넷 프로토콜(IP) 텔레비전 방송망; 및 컴퓨터에 기초한 통신망중 적어도 하나를 포함할 수 있는 일방향 또는 양방향 통신망(410)을 통해 디스플레이 디바이스(30; 도 1)와 통신하는 헤드엔드(400)를 포함하는 것이 바람직하다. 적합한 전화 또는 IP 에 기초한 텔레비전망의 일예는 예를 들어, 영국 티더블유 18 4이엑스 미들섹스 스테인스 원런던로드에 위치한 엔디에스 리미티드로부터 상업적으로 입수가능한 Synamedia™ 시스템을 포함하고 있다.
통신망(410)은 예를 들어, 통신 케이블-전화망, 콤비네이션 위성-전화망, 콤비네이션 위성-컴퓨터에 기초한 통신망과 같은 단방향 또는 양방향 하이브리드 통신망, 또는 다른 적합한 네트워크에 의해 구현될 수 있다는 것을 이해할 수 있다.
네트워크(410)내의 물리적 링크는 광링크, 종래 전화 링크, 무선주파수(RF) 유무선 링크, 또는 임의의 다른 적합한 링크를 통해 구현될 수 있다.
헤드엔드(400)가 통신망(410)을 통해 유저 유닛(20; 도 1)의 복수의 디스플레이 디바이스(30)와 통신할 수 있다는 것을 이해할 수 있다. 대안으로 또는 추가적으로, 복수의 헤드엔드(400)는 통신망(410)을 통해 단일 디스플레이 디바이스(30)와 또는 복수의 디스플레이 디바이스(30)와 통신할 수 있다. 설명 및 도시의 단순성을 위해, 본원의 일반성을 제한함 없이, 오직 하나의 디스플레이 디바이스(30) 및 헤드엔드(400)를 포함하는 단일 방송 소스만이 도 4에 도시되어 있고 네트워크(410)를 통해 통신하는 것으로 아래에 설명되어 있다.
이 헤드엔드(400)는 다음의 요소, 즉, 배경 비디오 발생기(430); 어시스턴스 정보 발생기(440); 식별 정보 발생기(450); 객체 발생기(460); 데이터그래픽스 인서터(470); 및 애플리케이션 발생기(480)를 포함하는 것이 바람직한 콘텐트 발생기(420)를 포함하는 것이 바람직하다. 이 헤드엔드(400)는 또한 다음의 요소, 즉, 오디오/비디오(A/V) 플레이아웃 시스템(490); 보안 시스템(500); 대화형 텔레비전 인프러스트럭처(510); 및 멀티플레서(MUX; 520)를 포함하는 것이 바람직하다. 대화형 텔레비전 인프러스트럭처(510)는 예를 들어, www.nds.com/interactive_tv.html의 웹사이트에 기술되고 여기에 언급되어 통합된, 영국 티더블유 18 4이엑스 미들섹스 스테인스 원런던로드에 위치한 엔디에스 리미티드로부터 상업적으로 입수가능한 대화형 텔레비전 인프러스트럭처 Valus@TV™ 와 같은 종래 대화형 텔레비전 인프러스트럭처(510)를 포함하는 것이 바람직하다.
헤드엔드(400)의 요소가 하드웨어 및 소프트웨어의 임의의 적합한 조합으로 구현될 수 있는 것이 바람직하다는 것이 이해되어야 한다. 배경 정보 발생기(450), 어시스텐스 정보 발생기(440), 식별 정보 발생기(450), 객체 발생기(460), 및 데이터/그래픽스 인서터(470)은 소프트웨어, 또는 하드웨어 또는 소프트웨어 및 하드웨어의 임의의 조합에 의해 구현되는 것이 바람직하다. 예를 들어, 종래의 소프트웨어 툴은 배경 비디오 재료의 발생 및 편집에 사용될 수 있고, 어시스턴스 정보 및 식별 정보가 발생되고 편집된 배경 비디오 재료로부터 추출될 수 있다. 배경 비디오 재료의 발생 및 편집을 위해 소프트웨어 툴이 예를 들어, 2차원(2D) 및/또는 3D 모델링, 이미지 합성, 및 트래킹을 사용할 수 있다는 것을 이해해야 한다.
소프트웨어 툴은 예를 들어, 월드 와이드 웹 사이트 www.discreet.com/3dsmax에 기술된 Discreet™'s 3ds max™, 월드 와이드 웹 사이트 www.alias.com에 기술된 Alias™'s Maya™ 및 월드 와이드 웹 사이트 www.softimage.com에 기술된 Softimage XSI와 같은 애니메이션 툴을 포함할 수 있다. 대안으로 또는 추가적으로, 소프트웨어 툴은 예를 들어, 월드 와이드 웹 사이트 www.discreet.com에 기술된 Discreet Combustion™ , 월드 와이드 웹 사이트 www.pinnaclesys.com에 기술된 Pinnacle Commotion, 월드 와이드 웹 사이트 www.adobe.com에 기술된 Adobe After Effect 소프트웨어, 및 월드 와이드 웹 사이트 www.avid.com에 기술된 Avid Media Composer 및 Avid Xpress와 같은 합성 및 비디오 포스트 툴을 포함할 수 있다.
콘텐트 발생기(420)는 네트워크(410)를 통해 MUX(520)에 전달되기 위해 패키징된 포맷으로 비디오 및 오디오 콘텐트를 제공하는 것이 바람직한 A/V 플레이아웃 시스템(490)에 비디오 및 오디오 콘텐트를 제공하는 것이 바람직하다. 콘텐트 발생기(420)는 구체적으로, 필요한대로 A/V 플레이아웃 시스템(490)에 의해 연속 플레이아웃되기 위해 비디오 및 오디오 콘텐트내에 타이밍(T) 정보 또는 프라이빗 데이터의 삽입을 행할 수 있다.
배경 발생기(430)는 예를 들어, 데이터/그래픽스 인서터(470)를 통해 A/V 플레이아웃 시스템(490)으로 대화형 애플리케이션용 타이밍 정보는 물론 대화형 애프리케이션용 배경 비디오 및 오디오를 제공하는 것이 바람직할 수 있다. 헤드엔드(400)의 특정 구성에서 배경 발생기(430) 및 데이터/그래픽스 인서터(470)가 A/V 플레이아웃 시스템(490)내에 포함될 수 있다는 것을 이해해야 한다.
A/V 플레이아웃 시스템(490)은 비디오 서버와 같은 임의의 스탠더드 스튜디오 장비를 포함할 수 있다. 대안으로, 그리고 배경 비디오 및 오디오가 동적으로 변화하는 경우에 특별히, A/V 플레이아웃 시스템(490)은 압축기 및 MPEG 인코더(MPEG- 동화상 엑스퍼트 그룹), 또는 게임 애플리케이션(게임 엔진)을 실행하고 텔레비전(TV) 포맷으로 출력을 실시간으로 합성할 수 있는 그래픽 카드를 포함하는 퍼스널 컴퓨터(PC)와 같은 컴퓨터를 포함할 수 있다. MPEG 인코더는 MPEG2 인코더; MPEG4 인코더중 적어도 하나를 포함하는 것이 바람직하다.
압축기는 특정 프레임에 첨부된 타이밍 정보, 또는 타이밍 정보를 함유하는 프라이빗 데이터를 운반할 수 있고 디스플레이 디바이스(30)에 의해 지원되는 임의의 적합한 디지털 A/V 압축 포맷으로 배경 비디오 및 오디오를 압축하는 임의의 적합한 압축기를 포함하는 것이 바람직하다. 적합한 압축 포맷을 사용하는 적합한 압축 프로덕트의 예는 마이크로소프트사로부터 상업적으로 입수가능한 Window Media Player™ 및 RealNetworks, Inc.로부터 상업적으로 입수가능한 리얼 압축 프로덕트를 포함한다.
애플리케이션 발생기(480)는 대화형 애플리케이션 및 이 대화형 애플리케이션에 관한 동작 데이터를 인프러스트럭처(510)에 제공하는 것이 바람직하다. 이 인프러스트럭처(510)는 보안 시스템(500)으로부터 수신된 보안 정보를 대화형 애플리케이션에 인가할 수 있고 대화형 애플리케이션을 네트워크(410)를 통해 디스플레이 디바이스(30)에 전송하기에 적합한 포맷으로 대화형 애플리케이션을 준비시킬 수 있다.
다시 도 1에서, 타이밍 정보는 대화형 애플리케이션이 디스플레이 디바이스(30)에 의해 실행될 때 대화형 애플리케이션로의 배경 비디오 및 오디오의 동기화에 적합한 것이 바람직하다. 종래의 비디오 소스는 보통 당업분야에서 잘 알려진 바와 같이 동기화된 형태로 비디오 및 오디오를 제공하고 따라서 상기 비디오 소스는 대화형 애플리케이션을 배경 비디오에 동기화는데 충분하다.
디스플레이 디바이스(30)내에서 실행되는 대화형 애플리케이션으로부터의 배경 비디오의 동기화는 다양한 방법으로 실행된다. 배경 비디오는 내부 프레임과 관련된 이벤트를 트리거링하기 위해 대화형 애플리케이션에 의해 사용될 수 있는 기준으로 태깅된다. 대화형 애플리케이션이 대화형 게임 애플리케이션을 포함하고 있다면, 대화형 게임 애플리케이션은 예를 들어, 배경에 대한 경계 정보를 룩업할 수 있고 예를 들어, 대화형 애플리케이션내의 객체가 디스플레이(40; 도 1)상의 금지된 영역내로 드리프팅하였는지를 판단할 수 있어야 하는데, 즉, 모든 프레임 또는 모든 수 프레임 마다 대화형 게임 애플리케이션은 어느 비디오 프레임이 디스플레이(40)상에 디스플레이되기 위해 현재 디코딩되어 있는지 그리고 적합한 관련된 경계 데이터를 룩업하기 위해 타임 레퍼런스를 사용하는지를 판정할 수 있어야 한다.
타임 레퍼런스는 다양한 방법으로 취득될 수 있다. 예를 들어, MPEG2 코딩에 의하는 것과 같이 배경 비디오가 압축되고 MPEG 인코딩된다면, MPEG 타임코드는 당업분야에서 잘 알려진 바와 같이 보통 픽쳐의 그룹(GOP) 헤더내에 포함되어 MPEG 배경 비디오 전송부내에서 전송된다. 그후에, 이 타임코드는 현 비디오 프레임과 관련된 타임 레퍼런스를 제공하기 위해 디스플레이 디바이스(30)에서 추출될 수 있다.
MPEG2 PCR(프로그램 클록 레퍼런스) 및 PTS(프리젠테이션 타임 스탬프)가 또한 각각의 비디오 프레임을 위한 타임코드를 발생시키기 위해 사용될 수 있다는 것을 이해해야 한다. PCR는 대화형 애플리케이션용 전체 클록 레퍼런스를 보통 제공하고 PTS는 보통 각 비디오 프레임의 프리젠테이션 타임을 한정한다. 알려진 비디오 프레임의 PCR 값을 전송함으로서, PTS 오프셋은 계산될 수 있고 현 배경 비디오 프레임과 연관된 경계 데이터를 레퍼런싱하는데 사용될 수 있다. 이러한 계산은 예를 들어, 상술된 문헌 ISO/IEC-13818-6, MPEG DSM-CC 명세서내에 기술된 바와 같이 노멀 플레이 타임(NPT)의 계산에 대한 디지털 비디오 방송(DVB)의 분야에서 잘 알려져 있고, 이는 여기에 언급되어 통합되어 있다.
대화형 오디오 전용 애플리케이션에서 PCR은 오디오에 대화형 애플리케이션을 동기화하는데 사용될 수 있다는 것을 이해해야 한다.
배경 비디오가 아날로그 비디오를 포함하고 있다면, 전송된 비디오 신호의 종래 수직 블랭킹 인터벌(VBI)은 타임 레퍼런스를 전달하는데 사용되는 것이 바람직하다. VBI의 트랜스포트는 또한 보통 현 아날로그 비디오의 특징부를 지원하기 위해 디지털 텔레비전 시스템내에 제공되고, VBI 데이터가 프레임 관련되어 있기 때문에, VBI 데이터가 헤드엔드(400)로부터 디스플레이 디바이스(30)로 프레임 레퍼런스를 운반하는데 사용될 수 있다는 것을 이해할 수 있다. 임의의 VBI 라인이 사용될 수 있지만, 보통, 수직 인터벌 타임코드 또는 텔레텍스트 라인을 위해 사용되는 VBI 라인이 사용된다는 것을 이해할 수 있다. 텔레텍스트는 프라이빗 데이터 캐리지를 지원하고, 따라서 각 프레임에 대한 타임코드를 나타내는 데이터값을 전송할 수 있다.
일부 시스템에 대하여, 타임 정보는 데이터 전송의 일부로서 대역 밖에서 전송될 수 있다. 이러한 타이밍 정보는 예를 들어, 상술된 MPEG 타임코드, MPEG PCR 및 PTS, 및 VBI 데이터중 임의의 것에 의해 제공된 타이밍 정보보다 덜 정확한것으로 여겨진다. 그러나, 대역밖의 타이밍 정보 전송의 구현은 보다 용이할 수 있다. 대역 밖의 타이밍 정보 전송내의 타이밍 정보의 열등한 정확도는 사용될 수 있는 대화형 애플리케이션의 타입 또는 복잡도를 제한할 수 있다는 것을 이해할 수 있다.
본 발명이 타임 레퍼런스가 얻어지는 방법에 의해 제한되지 않고 다른 적합한 방법이 대안으로 또는 추가적으로 타임 레퍼런스를 얻기 위해 사용될 수 있다는 것을 이해할 수 있다.
다시, 도 4에서, 어시스턴스 정보 발생기(440)는 대화형 애플리케이션용 어시스턴스 정보를 발생시키고, 네트워크(410)를 통해 전달을 위해 패키징된 포맷으로 어시스턴스 정보를 처리하는 것이 바람직한 인프러스트럭처(510)에 어시스턴스 정보를 제공하는 것이 바람직하다. 또한, 어시스턴스 정보 발생기(440)는 인-비디오 마스크로서 포함하기 위해 배경 발생기(430)에 어시스턴스 정보의 적어도 일부를 제공할 수 있다.
용어 "어시스턴스 정보"는 대화형 애플리케이션이 실행될 수 있도록 하는 대화형 엘리먼트를 생성하는데 사용된 배경 비디오 및 오디오에 관련된 정보를 포함하도록 본 명세서 및 청구범위에 사용되어 있다.
용어 "인-비디오 마스크"는 디스플레이가능한 비디오를 미러링하지만, 디스플레이가능 정보를 제공하는 대신에 대화형 애플리케이션에 컨트롤 정보를 제공하도록 설정된 비디오 비트맷 시퀀스를 가리키도록 본 명세서 및 청구범위에 사용되어 있다. 인-비디오 마스크는 예를 들어, 현 디스플레이가능 프레임용 경계 정보를 전달할 수 있다. 복수의 디스플레이가능 서브-픽쳐를 포함하는 비디오 프레임내에, 인-비디오 마스크는 서브-픽쳐중 하나로서 전달된다.
어시스턴스 정보는 예를 들어, 배경 비디오와 관련된 에어리어 어시스턴스 정보; 배경 비디오와 관련된 경계 어시스턴스 정보; 논-어시스턴스 정보; 그리고 에어리어 어시스턴스 정보; 경계 어시스턴스 정보; 및 논-경계 어시스턴스 정보중 하나를 동반하는 정보중 적어도 하나를 포함할 수 있다. 용어 "에어리어 어시스턴스 정보"는 배경 비디오의 비디오 프레임내의 에어리어와 관련된 어시스턴스 정보를 포함하도록 본 명세서 및 청구범위에 사용되어 있다.
논-경계 어시스턴스 정보는 물리 정보; 라이팅 정보; 적어도 하나의 알파 마스크; 적어도 하나의 타겟존에 대한 정보; 적어도 하나의 데드존에 대한 정보; 적어도 하나의 게임 특정 에어리어에 관한 정보; 컨트롤 정보; 및 바람직한 트랙 정보중 적어도 하나를 포함하는 것이 바람직하다.
용어 "물리 정보"는 로컬 그래피컬 객체가 배경 비디오내의 또 다른 객체를 치거나 충돌하거나 대화할 때 어떻게 행동하는지에 대한 정보를 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 물리 정보의 예는 텔레비전 핀볼 게임내에 제공된 라운드 "범퍼"와의 인터랙션에 관한 정보를 포함하고 있고, 로컬 그래피컬 "볼" 객체는 보통 범퍼가 어떻게 히팅되는지에 따르는 스피드 및 방향으로 범퍼를 보통 바운스 오프한다. 방향 및 크기를 포함하는 물리력 벡터는 이러한 경우에, 물리 정보의 일부가 될 수 있다.
용어 "라이팅 정보"는 조명이 배경 비디오의 영역내에 어떻게 분포되어 있는지에 대한 정보를 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 예를 들어, 라이팅 정보는 로컬 객체가 배경 비디오내의 브라이트 객체에 접근할 때 로컬 객체의 출현을 바꾸도록 사용될 수 있다.
용어 "알파 마스크"는 화소간 디스플레이상에서 볼 수 있는 이미지 에어리어를 한정하는 비트맵을 나타내도록 본 명세서 및 청구범위내에 사용되어 있다. 이미지 에어리어는 보통 완전히 가시적인 것으로부터 부분적으로 투명한 것 전혀 가시적이지 않은 것에 이르는 범위일 수 있다. 알파 마스크는 예를 들어, 하나 이상의 비디오 객체 뒤에 가는 로컬 그래피컬 객체의 허상을 주도록 로컬 그래피컬 객체를 부분적으로 또는 완전히 차단하도록 사용될 수 있다.
논-경계 어시스턴스 정보가 적어도 하나의 알파 마스크 또는 임의의 다른 다른 타입의 인-비디오 마스크를 포함하는 경우에, 어시스턴스 정보 발생기(440)는 네트워크(410)를 통한 전달을 위해 패키징된 포맷으로 디스플레이 디바이스(30)에 전송되기 위해 배경 발생기(430)에 적어도 하나의 알파 마스크 또는 인-비디오 마스크의 다른 타입을 제공하는 것이 바람직하다.
용어 "타겟존"은 대화형 애플리케이션용 타겟인 에어리어를 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 예를 들어, 풋볼 게임을 포함하는 대화형 게임 애플리케이션에서, 타겟은 골 에어리어일 수 있다.
용어 "데드존"은 게임 객체와 같은 대화형 객체가 대화형 애플리케이션내의 라운드의 엔딩과 같은 대화형 애플리케이션의 실행상에 소정의 효과를 보통 갖는 동작을 경험하는 대화형 게임 애플리케이션내의 에어리어를 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 예를 들어, 슛팅 게임을 포함하는 대화형 애플리케이션에서, 데드존은 파이어볼이 플레잉 객체상에 막 랜딩된 에어리어일 수 있다.
용어 "게임 특정 에어리어"는 대화형 게임 애플리케이션용 특정 기능을 제공하는 대화형 게임 애플리케이션내의 에어리어를 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 예를 들어, 게임 특정 에어리어는 게임 객체가 조정될 수 있는 텔레포테이션 에어리어를 포함할 수 있다. 대화형 슛팅 게임 애플리케이션 게임에서 게임 특정 에어리어는 예를 들어, 게임 객체가 탄약을 재장전하는 에어리어이거나 게임 객체가 연료 재충전될 수 있는 에어리어를 포함할 수 있다.
용어 "컨트롤 정보"는 대화형 애플리케이션이 요구하는 컨트롤의 임의의 타입을 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 컨트롤은 비디오; 오디오; 온-스크린 디스플레이(OSD); 멀티미디어 정보; 및 대화형 애플리케이션과 관련된 데이터중 임의의 하나의 유용성을 나타낼 수 있다.
대안으로 또는 추가적으로, 컨트롤은 예를 들어, 헤드엔드(400)에 의해 대화형 애플리케이션내의 객체의 리모트 컨트롤을 나타낼 수 있다. 다시 대안으로 또는 추가적으로, 컨트롤은 타임에 기초한 상이한 데이터 세트의 유용성을 나타낼 수 있다. 예를 들어, 컨트롤은 대화형 애플리케이션의 시행 모드를 변경하거나 대화형 애플리케이션의 복잡성을 변경하는 데이터 세트의 다운로딩을 이네이블 또는 디스에이블할 수 있다.
조절가능한 슬라이딩 윈도우 디스플레이 프레임이 사용된 대화형 애플리케이션에서, 컨트롤 정보는 예를 들어, 조절가능한 슬라이딩 윈도우 디스플레이 프레임이 유용할 때를 가리키는 정보를 포함할 수 있다. 이러한 대화형 애플리케이션에서, 컨트롤 정보는 대안으로 또는 추가적으로 예를 들어, 조절가능한 슬라이딩 윈도우 디스플레이 프레임의 크기; 조절가능한 슬라이딩 윈도우 디스플레이 프레임이 계산될 수 있는 배경 비디오내의 에어리어; 조절가능한 슬라이딩 윈도우 디스플레이 프레임이 계산될 수 있는 축 오리진 포인트중 적어도 하나와 같은 조절가능한 슬라이딩 윈도우 디스플레이 프레임과 관련된 정보를 포함할 수 있다.
용어 "바람직한 트랙 정보"는 예를 들어, 미로를 통해 "최상 트랙"에 관한 정보를 나타내도록 본 명세서 및 청구범위에서 사용되어 있다.
식별 정보 발생기(450)는 대화형 애플리케이션용 식별 정보를 발생시키고, 네트워크(410)를 통한 전달을 위해 패키징된 포맷으로 식별 정보를 처리하는 것이 바람직한 인프러스트럭처(510)로 식별 정보를 제공하는 것이 바람직하다. 또한, 식별 정보 발생기(450)는 인-비디오 마스크로 포함하기 위해 배경 발생기(430)에 식별 정보의 적어도 일부를 제공할 수 있다. 용어 "식별 정보"는 예를 들어, 서브-픽쳐 및 이미지 에어리어와 같은 배경 비디오의 부분을 식별하는 정보를 적어도 하나의특성에 의해 포함하도록 본 명세서 및 청구범위에 사용되어 있다. 적어도 하나의 특성은 라이팅 특성; 물리 특성; 알파 마스크 특성; 타겟 특성; 데드존 특성; 게임 특정 에어리어의 특성; 바람직한 트랙 특성; 및 트랙-컨트롤 특성중 적어도 하나를 포함하는 것이 바람직하다.
식별 정보는 컨트롤 정보를 포함할 수 있는데, 특히 이 컨트롤 정보가 도 1 및 도 2에 대하여 상술된 바와 같이 서브-픽쳐 사이의 전환이 유용한 로케이션을 가리키는 정보 및, 실행될 서브-픽쳐 사이의 전환을 위하여 만족되어야 하는 기준을 포함하는 경우의 컨트롤 정보를 포함할 수 있다.
본 발명의 바람직한 실시예에서 식별 정보 발생기(450)는 어시스턴스 정보 발생기(440)내에 포함될 수 있고 식별 정보는 어시스턴스 정보내에 포함될 수 있다.
라이팅 특성은 예를 들어, 상술된 라이팅 정보내에 제공된 파라미터를 포함할 수 있고 물리 특성은 예를 들어, 상술된 물리 정보내에 제공된 파라미터를 포함할 수 있다. 이와 마찬가지로, 알파 마스크 특성은 예를 들어, 상술된 적어도 하나의 알파 마스크내에 제공된 파라미터를 포함할 수 있고, 타겟 특성은 예를 들어, 상술된 적어도 하나의 타겟존에 대한 정보내에 제공된 파라미터를 포함할 수 있고, 데드존은 예를 들어, 상술된 적어도 하나의 데드존에 대한 정보내에 제공된 파라미터를 포함할 수 있고, 그리고 게임 특정 에어리어의 특성은 예를 들어, 상술된 적어도 하나의 게임 특정 에어리어에 관한 정보내에 제공된 파라미터를 포함할 수 있다. 이와 마찬가지로, 바람직한 트랙 특성은 예를 들어, 상술된 바람직한 트랙 정보내에 제공된 파라미터를 포함할 수 있고, 트랙-컨트롤 특성은 예를 들어, 상술된 컨트롤 정보내에 제공된 파라미터를 포함할 수 있다. 대화형 애플리케이션이 예를 들어, 렌더링을 위하여 서브-픽쳐를 결정하도록 상술된 파라미터중 임의의 하나를 사용할 수 있다는 것을 이해할 수 있다.
식별 정보는 적어도 하나의 인-비디오 마스크; 및 대화형 애플리케이션 데이터중 적어도 하나를 포함하는 것이 바람직하다. 적어도 하나의 인-비디오 마스크는 배경 비디오내의 경계 영역; 및 배경 비디오내의 충돌 영역중 적어도 하나를 식별하는 것이 바람직하다. 적어도 하나의 인-비디오 마스크는 적어도 하나의 알파 마스크; 적어도 하나의 타겟; 적어도 하나의 데드존; 트래킹 정보; 및 컨트롤 정보중 적어도 하나를 포함하는 것이 바람직하다. 트래킹 정보는 예를 들어, 바람직한 트랙 정보를 포함하는 것이 바람직하다.
객체 발생기(460)는 대화형 애플리케이션용 객체 정보를 발생하는 것이 바람직하다. 객체 정보는 대화형 애플리케이션내에 포함되는 것이 바람직한 객체를 결정하는 정보를 포함하는 것이 바람직하다. 객체 발생기(460)는 네트워크(410)를 통한 전달을 위해 패키징된 포맷으로 객체 정보를 처리하는 것이 바람직한 인프러스트럭처(510)로 객체 정보를 제공하는 것이 바람직하다.
특정 대화형 애플리케이션에서, 객체 정보는 적어도 하나의 비디오 패치를 포함할 수 있다. 용어 "비디오 패치"는 비디오 신내에 디스플레이될 이동 객체의 비디오 표시를 나타내는 비디오 정보를 나타내도록 본 명세서 및 청구범위에 사용되어 있다.
인프러스트럭처(510) 및 A/V 플레이아웃 시스템(490)에 제공된 정보중 적어도 일부는 액세스 컨트롤을 위해 암호기(도시되지 않음)내에 암호화될 수 있고, 보안 시스템(500)에 의해 제공된 보안 정보는 예를 들어, 당업분야에서 주지된 바와 같이 대화형 애플리케이션에 조건부 액세스를 제공하기 위한 인타이틀먼트 컨트롤 메시지 및 컨트롤 워즈를 포함할 수 있다는 것을 이해할 수 있다. 인프러스트럭처(510) 및 A/V 플레이아웃 시스템(490)은 네트워크(410)를 통한 전달을 위해 패키징된 포맷으로 디스플레이 디바이스(30)로의 전송을 위한 정보를 MUX(520)에 출력하는 것이 바람직하다.
보안 시스템(500)은 또한 예를 들어, 여기에 언급되어 통합된 "Timeline Protection"으로 표제되고 2004년 1월 27일 출원된 데이비드 화이트의 상응하는 미국 특허 가출원내에, "Timeline Protection"으로 표제되고 2004년 1월 26일에 출원된 NDS Limited의 영국 특허 출원내에 기술된 바와 같이 디스플레이 디바이스(30)에 전송되기 전에 타이밍 정보의 적어도 일부를 보호하는 것이 바람직할 수 있다. 타이밍 정보의 적어도 일부의 보호는 예를 들어, 광고물이 대화형 애플리케이션과 연관되거나 그 안에 삽입되어 있는 경우에 사용자에 의해 광고물을 차단하거나 제거, 스키핑 또는 간섭하는 것이 곤란하도록 하는데 유용할 수 있다.
MUX(520)는 인프러스트럭처(510) 및 A/V 플레이아웃 시스템(490)에 의해 제공된 비디오, 오디오 및 데이터를 멀티플렉싱하고 네트워크(410)를 통해 디스플레이 디바이스(30)에 전송되기 위해, 멀티플렉싱된 프로그램 트랜스미션을 출력하는 것이 바람직하다. 프로그램 트랜스미션은 지불 및/또는 미지불 텔레비전 프로그래밍을 포함하는 텔레비전 프로그래밍; 예를 들어, 대화형 게임 및 대화형 갬블링 게임과 같은 대화형 텔레비전 프로그래밍 및 애플리케이션; 멀티미디어 정보; EPG; 오디오 프로그램; 데이터; 게임; 및 인터넷과 같은 컴퓨터에 기초한 네트워크로부터의 정보중 적어도 하나를 포함하는 것이 바람직하다.
논-A/V 프로그램 트랜스미션은 데이터 카라우젤과 같은 아웃-오브-밴드 트랜스미션으로서, 또는 인-비디오 트랜스미션과 같은 인-밴드 트랜스미션으로서 전송되는 것이 바람직하다는 것을 이해할 수 있다. 데이터 카라우젤 트랜스미션에서, 어시스턴스 정보, 식별 정보 및 객체 정보는 데이터의 패키지로서 인프러스트럭처(510)에 의해 네트워크(410)에 제공되는 것이 바람직하다. 당업분야에서 잘 알려져 있는 바와 같이, 트랜스미션 카라우젤은 네트워크(410)를 통해 연속으로 그리고 순환적으로 데이터의 패키지를 전송하는데 사용되어 대화형 애플리케이션이 디스플레이 디바이스(30)에서 실행되기 위해 유용할 때마다 데이터의 패키지가 디스플레이 디바이스(30)에 유용하게 되는 것이 바람직하다. 데이터의 패키지가 예를 들어, "Apparatus and Method for Transmitting and Handling Game Capabilities in a Broadcast Network"로 표제되고 2004년 1월 30일에 출원된 상술된 엔디에스 리미티드의 영국 특허 출원 및 "Apparatus and Method for Transmission and Handling Game Capabilities in Broadcast Network"로 표제되고 2004년 2월 2일 출원된 이안 알. 셀톤등의 상응 미국 가특허 출원에 기술된 바와 같은 임의의 적합한 방법으로 패키징될 수 있다는 것을 이해할 수 있고, 이것들은 여기에 언급되어 통합되어 있다.
인-비디오 트랜스미션에서, 어시스턴스 정보는 비디오내에 포함되어 있는 비디오 마스크의 세트와 같이 배경 발생기(430)에 의해 네트워크(410)에 제공되는 것이 바람직하다.
임의의 적합한 하이브리드 인-비디오 및 데이터 카라우젤 트랜스미션이 대안으로 사용될 수 있다는 것을 이해할 수 있다.
멀티플렉싱된 프로그램 트랜스미션은 네트워크(410)를 통해 디스플레이 디바이스(30)에 전송되고 디스플레이(30)내의 집적 수신기 및 디코더(IRD; 550)에서 수신되는 것이 바람직하다. IRD(55)는 예를 들어, 당업분야에서 잘 알려져 있는 바와 같이 제거가능 보안 요소(도시되지 않음)와 같은 조건 액세스 디바이스의 제어하에, 멀티플렉싱된 프로그램 트랜스미션을 필요한대로 수신하고, 디멀티플렉싱하고, 해독/디스크램블링하는 종래 IRD를 포함할 수 있다. 상기 제거가능 보안 요소는 예를 들어, 당업분야에서 주지된 바와 같이 스마트 카드(도시되지 않음)를포함할 수 있다.
IRD(550)에 더하여, 디스플레이 디바이스(30)는 당업분야에서 주지된 바와 같이 예를 들어, 적합한 비디오 프로세서와 같은 프로세서(560)를 포함하는 것이 바람직하다. 디스플레이 디바이스(30)는 OSD 유닛(570)를 추가로 포함할 수 있다. 또한, 디스플레이 디바이스(30)는 다음의 요소: 오디오 발생기(580); 및 입력 인터페이스(590)를 포함할 수 있다.
또한, 디스플레이 디바이스(30)는 대용량 메모리와 같은 대용량 기억장치(610)를 포함하는 것이 바람직한 PVR(600)를 포함하거나 이와 연관되어 있을 수 있다. PVR(600)은 IRD(550) 및 프로세서(560)와 작동상 연관되어 있는 것이 바람직하다.
IRD(550)는 적어도 하나의 오디오 디코더(도시되지 않음) 및 적어도 하나의 비디오 디코더(도시되지 않음)를 포함하는 것이 바람직하다. PVR(600)은 또한 적어도 하나의 오디오 디코더(도시되지 않음) 및 적어도 하나의 비디오 디코더(도시되지 않음)를 포함할 수 있거나 대안으로, IRD(550)내에 포함되어 있는 오디오 디코더 및 비디오 디코더를 사용하는 것이 바람직한데, 이러한 경우에, IRD(550)는 하나 보다 많은 오디오 디코더 및 하나보다 많은 비디오 디코더를 포함하는 것이 바람직하다는 것을 이해할 수 있다.
디스플레이 디바이스(30)는 하드웨어 및 소프트웨어의 임의의 적합한 조합으로 구현되는 것이 바람직하다. 부재(550,560,570,580,590,600)중 적어도 일부가 단일 집적 회로(IC)내에 포함될 수 있다는 것을 이해할 수 있다.
PVR(600)은 예를 들어, 여기에 언급되어 통합된, 상술된 공개된 PCT 출원 WO 00/01149, WO 01/52541 및 WO 02/01866호 및 상술된 공개된 미국 특허 출원 US 2003/0163832에 기술된 바와 같이, 사용자에 의해 한정된 파라미터 및 사용자의 선호도에 따라 및 사용자의 의해 선택된 시간에서 사용자의 결정으로, 기억장치(610)내의 IRD(550)에서 수신된 프로그램 트랜스미션중 적어도 일부를 기록하고 기록된 프로그램 트랜스미션을 디스플레이하는 것이 바람직하다. PVR(600)는 또한 예를 들어, 여기에 언급되어 통합된 상술된 공개된 PCT 출원 WO 03/010970호 및 WO 01/35669호 및 상술된 미국 특허 출원 제 09/574,096호에 기술된 바와 같이, 예를 들어, 고속 포워드 또는 고속 백워드와 같이 사용자의 뷰잉 경험을 강화시킬 수 있는 다양한 트릭 모드를 가능하게 할 수 있는 것이 바람직하다.
PVR(600)에 의해 디스플레이된 기록된 프로그램 트랜스미션이 보통 헤드엔드(400)에 의해 프로그램 트랜스미션의 방송의 시간에 대하여 지연된 프로그램 트랜스미션을 포함하고 있는 것을 이해할 수 있다. 따라서, IRD(550)에서 디코딩이 행해지고 필요하다면, 해독/디스크램블링이 행해진 프로그램 트랜스미션은 PVR(600)의 기억장치(610)로부터 또는 렌드엔드(400)에 의해 방송된 방송 트랜스미션으로부터 도착하는 것이 바람직하다. 프로그램 트랜스미션은 예를 들어, VOD 또는 NVOD 트랜스미션의 형태로 또는 정규 스케줄링된 트랜스미션과 같은 헤드엔드(400)에 의해 방송될 수 있다. IRD(550)에 의해 디코딩되고 해독/디스크램블링되는 프로그램 트랜스미션은 보통 헤드엔드(400) 또는 PVR(600) 또는 게임 콘솔 또는 휴대폰과 같은, 프로그램 트랜스미션이 기억될 수 있는 임의의 적합한 디바이스에 의해 제공되는 유사한 타입의 처리를 요구한다.
프로세서(560)는 프로그램 트랜스미션의 처리를 가능하게 하는 운영 시스템(620)을 포함하는 것이 바람직할 수 있다. 프로세서(560)는 또한 프로그램 트랜스미션내에 제공된 대화형 애플리케이션의 처리 및 디스플레이를 관리하는 대화형 애플리케이션 매니저(630)를 포함하는 것이 바람직하다.
입력 인터페이스(590)는 사용자에 의해 작동되는 RC(60; 도 1)와 같은 입력장치로부터 사용자 입력을 수용하는 것이 바람직하다. 사용자 입력은 프로그램 트랜스미션내에 제공된 대화형 애플리케이션용 대화형 입력 및 명령어로서 프로세서(560)에 제공되는 것이 바람직하다.
도 1-4의 대화형 시스템(10)의 작동에 대해 예를 들어 대화형 게임 애플리케이션을 참조하지만 본 발명의 일반성을 제한하지 않으면서 대략적으로 이제 설명한다.
게임 플레이를 가능하게 하는 대화형 게임 애플리케이션이 디스플레이 디바이스(30)에 전송되기 위해 헤드엔드(400)에서 준비되는 것이 바람직하다. 대화형 게임 애플리케이션의 준비는 대화형 게임 애플리케이션의 타입에 따르는 것이 바람직하다. 예를 들어, 대화형 게임 애플리케이션의 준비는, 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 적어도 하나의 복수의 비디오 프레임이 포함하는 복수의 비디오 프레임을 포함하는 배경 비디오; 에어리어 어시스턴스 정보를 포함하는 어시스턴스 정보; 논-경계 어시스턴스 정보; 객체를 결정하는 정보를 포함하는 객체 정보; 적어도 하나의 특성에 의해 배경 비디오의 일부를 식별하는 식별 정보; 및 배경 오디오중 적어도 하나를 포함하는 게임 정보의 준비를 포함할 수 있다.
준비된 게임 정보는 대화형 게임 애플리케이션과 연관되어 MUX(520)내에 멀티플렉싱되어 있고 디스플레이 디바이스(30)에 전송되는 것이 바람직하다. 준비된 게임 정보는 인-비디오 정보; 데이터 카라우젤 정보; 및 인-밴드 및 아웃-오브-밴드 정보의 조합중 적어도 하나로서 전송될 수 있다는 것을 이해할 수 있다. 예를 들어, 준비된 게임 정보내에 포함된 인-비디오 마스크는 인-밴드 정보로서 전송될 수 있고, 인프러스트럭처(510)에 의해 제공된 정보는 아웃-오브-밴드 정보로서 전송될 수 있다.
디스플레이 디바이스(30)에서, IRD(550)는 대화형 게임 애플리케이션이 실시간으로 실행될 것이라면, 대화형 게임 애프리케이션 및 준비된 게임 정보를 수신하고 상기 대화형 게임 애플리케이션 및 준비된 게임 정보를 프로세서(560)에 제공하는 것이 바람직하다. 대화형 게임 애플리케이션이 대화형 게임 애플리케이션의 방송 시간 후에 실행되어 저장되는 것이라면, IRD(550)은 대화형 게임 애플리케이션 및 준비된 게임 정보를 기억장치(610)내에 기억시키기 위해 PVR(600)에 제공하는 것이 바람직하다. 상기 대화형 게임 애플리케이션 및 준비된 게임 정보가 PVR(610)의 기억장치(610)내에 기억되는 경우에, 대화형 게임 애플리케이션 및 준비된 게임 정보는 사용자(50)와 같은 사용자의 입력; 헤드엔드(400)로부터의 명령어; 및 대화형 게임 애플리케이션내에 포함되어 있는 명령어;중 적어도 하나에 응답하여 프로세서(560)에 의해 처리되기 위해 PVR(600)로부터 나중에 검색될 수 있다는 것을 이해할 수 있다.
대화형 게임 애플리케이션이 디스플레이 디바이스(30)에서 실행되고자 할 때 대화형 게임 애플리케이션 및 준비된 게임 정보는 프로세서(560)에 제공되는 것이 바람직하다. 대화형 애플리케이션 매니저(630)와 연관되어 운영 시스템(620)에 의해 작동되는 프로세서(560)는 어시스턴스 정보, 식별 정보 및 객체 정보중 일부 또는 모두는 내부 메모리(도시되지 않음)내에 로드 업하여 게임을 플레이하기 위해 필요한대로 배경 비디오 및 오디오와의 연관을 위해 어시스턴스 정보, 식별 정보 및 객체 정보를 준비시키는 것이 바람직하다.
배경 비디오 및 오디오가 디스플레이 디바이스(30)에서 수신될 때, 프로세서(560)는 대화형 게임 애플리케이션과 관련된 타이밍 정보를 추출하고, 이 타이밍 정보를 대화형 게임 애플리케이션에 배경 비디오를 동기화시키기 위해 필요한 대로 어시스턴스 정보, 식별 정보 및 객체 정보로 룩업하도록 사용하는 것이 바람직하다. 그후에, 프로세서(560)는 준비된 게임 정보를 사용하여 대화형 게임 애플리케이션을 처리하고, 이 처리된 대화형 게임 애플리케이션을 디스플레이(40)상에 디스플레이하기 위해 렌더링하는 것이 바람직하다. 프로세서(560)는 렌더링될 오디오 발생을 위해 오디오 발생기(580)에 의해 어시팅될 수 있다. 대화형 게임 애플리케이션의 실행은 보통 디스플레이 디바이스(30)의 입력 인터페이스(590)를 통해 사용자(50)로부터 수신된 사용자 입력에 따라 처리된다는 것을 이해할 수 있다.
여기에 기술된 방식으로 헤드엔드(400)에서 대화형 게임 애플리케이션의 준비는 프로세서(560)의 요구되는 처리력을 감소시키는 것이 바람직하다. 따라서, 다양한 레벨의 복잡도를 가진 다양한 대화형 게임은 프로세서(560)의 처리 능력이 매우 낮을 지라도 디스플레이 디바이스(30)를 통해 플레이될 수 있다. 헤드엔드(400)로부터 수신된 정보의 양 및 복잡도 대 디스플레이 디바이스(30)에서 계산된 정보의 양 및 복잡도는 실행되는 대화형 게임 애플리케이션의 타입에 따른다.
제1 타입의 대화형 게임 애플리케이션에서, 디스플레이 디바이스(30)의 IRD(550)는 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터 또는 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터 복수의 비디오 프레임을 포함하는 배경 비디오를 수신하는 것이 바람직하다. 적어도 하나의 비디오 프레임은 대화형 배경을 각각 나타내는 복수의 서브-픽쳐를 포함하는 것이 바람직하다.
프로세서(560)는 제1 서브-픽쳐의 복수의 서브-픽쳐 및 제2 서브-픽쳐의 복수의 서브-픽쳐 사이를 전환하는 것이 바람직하다. 제1 서브-픽쳐와 제2 서브-픽쳐 사이의 전환은 IRD(550)내에 포함된 2개의 오디오 디코더의 출력 사이의 전환을 포함하는 것이 바람직하다. 제1 서브-픽쳐와 제2 서브-픽쳐중 적어도 하나는 예를 들어, 3D 신을 포함한다는 것을 이해할 수 있다.
전환하는 단계 후에, 프로세서(560)는 예를 들어, 풀 비디오 프레임으로 제2 서브-픽쳐를 업샘플링하는 것이 바람직하다. 제2 서브-픽쳐의 업샘플링은 디스플레이(40)상에 디스플레이하기 위해 실행되는 것이 바람직하다. 그후에, 프로세서(560)는 디스플레이(40)상에 디스플레이하기 위해 업샘플링된 제2 서브-픽쳐를 렌더링하는 것이 바람직하다.
제1 서브-픽쳐와 제2 서브-픽쳐 사이의 전환은 예를 들어, 제2 서브-픽쳐를 지적함으로써 심리스로 실행되는 것이 바람직하다는 것을 이해할 수 있다. 업샘플링은 보통 고속 동작이다. 따라서, 업샘플링과 조합되어 있는 전환은 프레임-애큐릿으로써 실행되고, 즉, 아무런 글리치도 일어나지 않고, 가시적인 손상을 방지하기 위해 전환이 제2 서브-픽쳐의 렌더링과 동기화되는 것이 바람직하다. 이와 대조적으로, 배경 비디오가 별개의 프레임내에서 제공되었다면, 프레임사이의 전환은 시청자에 의해 주목할 만한 것이었을 것이다.
제1 서브-픽쳐와 제2 서브-픽쳐 사이의 전환은 타이밍 정보; 사용자 입력; 헤드엔드(400)로부터의 명령어; 방송 소스로부터의 명령어; 제1 타입의 대화형 게임 애플리케이션으로부터의 명령어중 적어도 하나에 응답하여 실행되는 것이 바람직하다.
프로세서(560)는 또한 디스플레이 효과가 디스플레이(40)상에 디스플레이되도록 할 수 있다는 것을 이해할 수 있다. 디스플레이 효과는 제1 서브-픽쳐와 제2 서브-픽쳐 사이의 전환에 응답하여 디스플렐이(40)상에 디스플레이되는 것이 바람직하다. 디스플레이 효과는 전환 전에 디스플레이되는 이미지보다 넓은 이미지의 허상; 전환전에 디스플레이되는 이미지보다 높은 이미지의 허상; 전환전에 디스플레이되는 이미지보다 넓고 높은 이미지의 허상; 및 전환 전에 디스플레이되는 이미지에 대하여, 수평으로 왜곡된 것 및 수직으로 왜곡된 것중 적어도 하나인 이미지의 허상; 중 적어도 하나를 포함하는 것이 바람직하다.
제1 타입의 대화형 게임 애플리케이션은 예를 들어, 도 1에 도시되어 상술된 제1 게임 애플리케이션에 의해 또는 도 2에 도시되어 있고 상술된 제2 게임 애플리케이션에 의해 나타낼 수 있다.
제2 타입의 대화형 게임 애플리케이션에서, 디스플레이 디바이스(30)의 IRD(550)는 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터 또는 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터 제2 타입의 대화형 게임 애플리케이션용 배경 비디오를 수신하는 것이 바람직하다. IRD(550)는 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터 또는 PVR(600)의 기억징치(610)내에 기억된 프로그램물로부터 제2 타입의 대화형 게임 애플리케이션용 객체 정보를 수신하는 것이 바림직하다. 객체 정보는 객체를 결정하는 정보를 포함하는 것이 바람직하고 객체는 게임 객체를 포함하는 것이 바람직하다.
IRD(550)는 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터의 배경 비디오 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터의 객체 정보의 조합, 또는 디스플레이 디바이스(30)가 헤드엔드(400)에 의해 제공된 방송 트랜스미션 및 PVR(600)의 기억장치(610)내에 기억된 프로그램물의 동기화의 능력을 가지고 있기만 하다면 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터의 객체 정보 및 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터의 배경 비디오의 조합을 사용할 수 있다는 것을 이해할 수 있다.
프로세서(560)는 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하고 이 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 것이 바람직하다. 객체 주변의 이 조절가능 슬라이딩 윈도우 디스플레이 프레임은 예를 들어, 배경 비디오의 CIF 해상도(PAL 352×288) 부분을 포함할 수 있고, 배경 비디오의 CIF 해상도 부분은 풀 비디오 프레임으로 업샘플링될 수 있다.
OSD 유닛(570)은 배경 비디오의 업샘플링된 부분상에 객체를 오버레이하는 것이 바람직하다.
프로세서(560)는 보통 조절가능 슬라이딩 윈도우 디스플레이 프레임이 사용되고 있다는 것을 사용자(50)에 알리지 않고 조절가능 슬라이딩 윈도우 디스플레이 프레임을 배경 비디오 프레임을 가로질러 수직으로 또는 수평으로 이동시키는 것이 바람직하다는 것을 이해할 수 있지만 필수적인 것은 아니다. 프로세서(560)는 또한 보통 사용자(50)의 제어하에 배경 비디오 프레임의 부분을 주밍 인 또는 주밍 아웃하기 위해 조절가능 슬라이딩 윈도우 디스플레이를 사용할 수 있다.
객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임의 계산은 객체 트래킹 단계; 객체와 함께 디스플레이되는 배경 비디오의 일부를 변경시키는 단계; 및 배경 비디오의 속도의 변화의 효과를 제공하는 단계중 적어도 하나를 위해 사용되는 것이 바람직하다.
배경 비디오의 속도의 변화의 효과는 배경 비디오가 상하 좌우로 스크롤링하고 조정가능 슬라이딩 윈도우 디스플레이 프레임이 배경 비디오에 대하여 상이한 방향으로 또는 상이한 속도에서 상하 좌우로 스크롤링하도록 배열되어 있는 대화형 게임 애플리케이션만을 언급한다는 것을 이해할 수 있다. 이러한 경우에, 개별 비디오의 실제 속도가 불변으로 남을지라도, 사용자(50)는 배경 비디오의 속도의 변화를 감지할 것이다.
객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임의 계산은 또한 셔더 효과를 생성하는데 사용되는 것이 바람직하다. 용어 "셔더 효과"는 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임이 객체 주변에서 빨리 이동되는 효과를 나타내도록 본 명세서 및 청구범위에 사용되어 있다. 셔더 효과는 예를 들어 객체가 슈팅당하는 경우와 같은 이벤트에 응답하여 사용될 수 있다.
객체 정보가 비디오 패치를 포함하는 경우에, 객체는 이동하는 객체를 포함하는 것이 바람직하다. 이러한 경우에, 이동 객체는 프로세서(560) 또는 OSD(570)에 의해 오버레이될 수 있고 사용자(50)는 조절가능 슬라이딩 윈도우 디스플레이 프레임내의 객체를 이동하는 것으로 인식할 수 있다. 객체는 예를 들어, 객체를 단시간동안 갑자기 나타는 것으로 도시함으로써, 또는 예를 들어, 대화형 슈팅 게임 애플리케이션내에서 객체가 갑자기 나타난 후에 슈팅된 경우에 "죽는" 모습으로 나타냄으로써, 이동하는 것으로 나타낼 수 있다.
비디오 패치는 임의의 배경 형상 및 컬러를 여러번 오버레이될 수 있는 투명한 서라운드 및 객체를 포함하는 것이 바람직하다. 대안으로, 비디오 패치는 매칭 배경을 가진 객체를 포함할 수 있다. 애플리케이션 타입에 의존하여, 비디오 패치는 사용자 입력; 헤드엔드(400)로부터 전송된 제어 정보; 및 PVR(600)의 기억장치(610)내에 기억된 프로그램물에 의해 제공된 제어 정보중 하나에 의해 제어될 수 있다는 것을 이해할 수 있다.
제2 타입의 대화형 게임 애플리케이션은 예를 들어, 도 3에 도시되고 상술된 제3 게임 애플리케이션에 의해 표현될 수 있다. 도 3 및 도 4의 실시예내의 본 발명은 예를 들어, Sega™ 플랫폼에서 유용한 "Sonic the Hedgehog"와 같은 게임이 디스플레이 디바이스(30)상에 디스플레이되록 할 수 있다는 것을 이해할 수 있다.
이제 도 3을 참조하여 상술딘 제3 게임 애플리케이션내의 게임 상태의 일예의 단순화된 도면인 도 5에 대해 설명한다.
제3 게임 애플리케이션의 게임 상태는 디스플레이(700)상에 디스플레이되어 있다. 게임 상태에서, 사람(710)의 형상과 같은 객체는 배경 나무사이에 정지되어 서 있다. 배경 나무는 조절가능 슬라이딩 윈도우 디스플레이 프레임(720)내에 포함되어 있는 것이 바람직하다. 조절가능 슬라이딩 윈도우 디스플레이 프레임(720)은 예를 들어, 좌로부터 우로 임의의 방향으로 속도 V로 이동하는 배경 비디오내에 포함되어 있는 것이 바람직하다.
배경 비디오(730)가 좌로부터 우로 속도 V로 이동할 때 정지상태로 서 있는 것으로 사람(710)을 디스플레이하기 위해, 조절가능 슬라이딩 윈도우 디스플레이 프레임(720)은 또한 좌로부터 우로 동일한 속도 V로 이동되는 것이 바람직하다.
도 1의 대화형 시스템(10)내에 사용된 제4 대화형 애플리케이션의 일예의 단순 도면인 도 6에 대해 이제 설명한다. 이 설명은 도 4에 대해 추가하여 이루어진 것이다. 제4 대화형 애플리케이션은 도 6에 도시된 단순예인 제4 게임 애플리케이션을 포함하는 것이 바람직하다. 제4 게임 애플리케이션은 대화형 시스템(10)내에 플레이될 수 있는 대화형 게임 애플리케이션의 또 다른 타입을 나타낸다.
제4 게임 애플리케이션은 도 4를 참조하여 상술된 대화형 시스템(10)의 바람직한 구현예에 대하여 아래에 기술되어 있다.
제4 게임 애플리케이션에서, 서브-픽쳐 사이의 전환은 조절가능 슬라이딩 윈도우 디스플레이 프레임과 조합되어 사용되는 것이 바람직하다. 디스플레이 디바이스(30)의 IRD(550)는 제4 게임 애플리케이션용 배경 비디오를 수신하는 것이 바람직하다. 배경 비디오는 복수의 비디오 프레임을 포함하는 것이 바람직하고, 상기 복수의 비디오 프레임의 적어도 하나는 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 포함하고 있다. 본 발명을 제한하지 않는 예로서, 단일 수신된 배경 비디오 프레임(800)은 도 6에 도시되어 있다. 비디오 프레임(800)은 복수의 서브-픽쳐를 포함하는 것이 바람직하다. 본 발명을 제한하지 않는 예로서, 오직 2개의 서브-픽쳐(810,820)는 비디오 프레임(800)내에 포함되어 있는 것으로 도시되어 있다.
제4 게임 애플리케이션의 실행동안의 임의의 시간에, 게임 배경은 예를 들어, 서브-픽쳐(810)내에 포함되는 것으로 배경을 나타내는 것이 바람직하다. 이러한 경우에, 프로세서(560)는 디스플레이(830)상에 디스플레이되기 위해 풀 비디오 프레임으로 서브-픽쳐(810)를 업샘플링하는 것이 바람직하다. OSD(570)는 서브-픽쳐(810)의 업샘플링으로부터 산출된 업샘플링된 배경상에 객체(840)를 오버레이하는 것이 바람직하다. 예로서, 도 6내의 객체(840)는 말을 타고 있는 사람의 모습을 포함하고 있다.
제4 게임 애플리케이션을 진행함에 있어, 게임 배경은 예를 들어, 우측으로 이동하는 객체(840)로 인해 서브-픽쳐(820)내에 포함되는 배경으로 변화될 필요가 있다. 이러한 경우에, 프로세서(560)는 서브-픽쳐(810)와 서브-픽쳐(820) 사이에서 전환하고, 전환하는 단계 후에 풀 비디오 프레임으로 서브-픽쳐(820)를 업샘플링하는 것이 바람직하다. OSD(570)는 서브-픽쳐(820)의 업샘플링으로부터 산출된 업샘플링된 배경상에 객체(840)를 오버레이하고, 업샘플링된 배경상에 오버레이된 객체(840)를 렌더링하는것이 바람직하다.
예를 들어, 객체(840)가 서브-픽쳐(820)의 업샘플링으로부터 산출된 업샘플링된 배경에서 객체(840)가 이동할 때 트래킹되어야 하는 것이라면, 프로세서(560)는 객체(840) 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임(850)을 계산하고 조절가능 슬라이딩 윈도우 디스플레이 프레임(850)내에 포함된 배경 비디오의 일부를 업샘플링하는 것이 바람직하다. 객체(840) 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임(850)은 예를 들어, 배경 비디오의 CIF 해상도 부분을 포함하고 있고, 배경 비디오의 CIF 해상도 부분은 예를 들어, 풀 비디오 프레임으로 업샘플링될 수 있다. 그다음, OSD 유닛(570)은 조절가능 슬라이딩 윈도우 디스플레이 프레임(850)내에 포함된 배경 비디오의 업샘플링된 부분상에 객체(840)를 오버레이하는 것이 바람직하다. 그다음, OSD 유닛(570)과 결합하여 프로세서(560)는 도 6내의 디스플레이(830)상에 도시되는 것으로 배경 비디오의 업샘플링된 부분상에 오버레이된 객체(840)를 포함하는 이미지를 렌더링하는 것이 바람직하다.
객체(840)가 비디오 패치내에 렌더링되어 있는 경우에, 객체(840)는 이동 객체를 포함하는 것이 바람직하다. 이동 객체는 예를 들어, 그 머리를 상하로 움직이는 말을 포함할 수 있다.
이제 도 1의 대화형 시스템(10)내에 사용된 제5 대화형 애플리케이션의 일예의 단순도면인 도 7에 대해 설명한다. 이 설명은 도 4에 대해 추가로 이루어져 있다. 제5 대화형 애플리케이션은 제5 게임 애플리케이션을 포함하는 것이 바람직하고, 그 단순예가 도 7에 도시되어 있다. 제5 게임 애플리케이션은 대화형 시스템(10)내에 플레이될 수 있는 대화형 게임 애플리케이션의 또 다른 타입을 나타낸다.
제5 게임 애플리케이션은 도 4를 참조하여 상술된 대화형 시스템(10)의 바람직한 구현예에 대하여 아래에 설명되어 있다.
제5 게임 애플리케이션에서, 디스플레이 디바이스(30)의 IRD(550)는 헤드엔드(400)에 의해 전송된 방송 트랜스미션으로부터 또는 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터 제5 게임 애플리케이션용 배경 비디오를 수신하는 것이 바람직하다. 제5 게임 애플리케이션용 배경 비디오는 복수의 비디오 프레임을 포함하는 것이 바람직하고, 적어도 하나의 비디오 프레임은 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 포함하는 것이 바람직하다. 예로서, 도 7에서 오직 하나의 비디오 프레임(900)이 3개의 서브-픽쳐(910,920,930)로써 표시되어 있고, 각각은 대체의 배경을 나타내고 있다. 그러나, 복수이 비디오 프레임의 추가의 비디오 프레임이 다양한 그리고 상이한 대체의 배경을 나타내는 다양한 수의 서브-픽쳐를 포함하는 것이 바람직하다는 것을 이해할 수 있다. 서브-픽쳐(910,920,930)중 적어도 하나가 3D 신을 포함할 수 있다는 것을 이해할 수 있다.
또한, IRD(550)는 제5 게임 애플리케이션용 객체 정보를 수신하는 것이 바람직하다. 이 객체 정보는 객체(940)를 결정하는 정보를 포함하는 것이 바람직하다. 객체는 게임 객체를 포함하는 것이 바람직하다. 본 발명을 제한하지 않는 예로서, 도 7내의 객체(940)는 비행선의 표시를 포함한다.
IRD(550)는 헤드엔드(400)에 의해 전송된 방송 트랜스미션으로부터 또는 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터 제5 게임 애플리케이션용 객체 정보를 수신할 수 있다는 것을 이해할 수 있다. IRD(550)는 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터의 배경 비디오 및 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터의 객체 정보의 조합, 또는 헤드엔드(400)에 의해 제공된 방송 트랜스미션과 PVR(600)의 기억장치(610)내에 기억된 프로그램물의 동기화를 위한 능력을 디스플레이 디바이스(30)가 가지고 있기만 하다면 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터의 객체 정보 및 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터의 배경 비디오의 조합을 사용할 수 있다.
3개의 서브-픽쳐(910,920,930)에 의해 나타낸 대체의 배경은 예로서, 캐넌을 통하여 비행하는 비행선(940)의 상이한 비행경로를 가리킬 수 있다.
OSD 유닛(570)은 배경 비디오 상에 객체(940)를 오버레이하고, 프로세서(560)는 서브-픽쳐(930)의 보더에 접근하거나 들어가는 객체(940)에 응답하여 복수의 서브-픽쳐중 제1 서브-픽쳐, 예를 들어, 서브-픽쳐(930) 및 복수의 서브-픽쳐중 제2 서브ㅡ-픽쳐, 예를 들어, 서브-픽쳐(920) 사이를 전환하는 것이 바람직하다. 전환하는 단계 후에, 프로세서(560)는 예를 들어, 도 7에 도시된 바와 같이 디스플레이(950)상에 디스플레이되는 것이 바람직한 풀 비디오 프레임으로 서브-픽쳐(920)를 업샘플링하는 것이 바람직하다.
배경 오디오는 예를 들어, 오디오 글리치를 방지하기 위해 고속 V-페이드(fade)를 가진 상이한 MPEG 디코딩된 오디오 출력 사이의 동시 전환에 의해 유사한 방식으로 전환될 수 있다는 것을 이해할 수 있다. 용어 "V-페이드"는 그래프가 V 형상을 취하는 일 오디오 소스의 볼륨에서의 램프(ramp)-다운 및 다른 오디오 소스의 볼륨에서의 램프 업을 가리키도록 본 명세서 및 청구범위에서 사용되어 있다. 용어 "오디오 글리치"는 오디오 신호가 청취자에게 불량으로 들리도록 하는 크래클 또는 팝핑 노이즈를 나타내도록 본 명세서 및 청구범위에서 사용되어 있다.
제5 게임 애플리케이션 및 제2 게임 애플리케이션은 유사한 방식으로 플레이될 수 있다. 제5 게임 애플리케이션 및 제2 게임애플리케이션 사이의 주요 차이는 제2 게임 애플리케이션에서 비행체(240; 도 2)가 배경 비디오내에 포함되는 반면에, 제5 게임 애플리케이션은 배경 비디오 상에 오버레이되는 객체(940), 그리고, 제2 게임 애플리케이션에서 사용자 선택에 응답하여 서브-픽쳐 사이의 전환이 실행되는 반면에, 제5 게임 애플리케이션에서는, 서브-픽쳐의 보더에 접근하여 들어가는 객체(940)에 응답하여 보통 실행되는 서브-팩쳐 사이의 전환에 있다.
제5 게임 애플리케이션의 플레이 동안, 사용자는 충돌을 피하기 위해 비행선(940)를 제어하고 캐넌을 따라 경로를 선택하는 것이 바람직하다. 보통, 각각의 경로는 상이한 장애물을 포함할 수 있고 다양한 비행 작전을 필요로 할 수 있다. 비행선(940)가 캐넌 벽과 충돌하거나 적(도시되지 않음)에 의해 히팅되면, 비행선(940)는 손실을 받게 된다. 손상이 소정의 게임 레벨보다 크게 되면, 게임 종료가 결정되거나 새로운 라운드가 초기화되어야 한다.
비행선(940)와 캐넌 벽 사이의 충돌을 결정하기 위해, 제5 게임 애플리케이션과 관련된 식별 정보는 또한 IRD(550)에 제공되는 것이 바람직하다. IRD(550)는 헤드엔드(400)에 의해 전송된 방송 트랜스미션으로부터 또는 PVR(600)의 기억 장치(610)로부터의 식별 정보를 수신하는 것이 바람직하다. IRD(550)는 예를 들어, 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터의 식별 정보와 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터의 객체 정보 및 배경 비디오의 하이브리드 리셉션의 조합, 또는 디스플레이 디바이스(30)가 헤드엔드(400)에 의해 제공된 방송 트랜스미션과 PVR(600)의 기억장치(610)내에 기억된 프로그램물의 동기화의 능력을 가지고 있기만 하다면 PVR(600)의 기억장치(610) 및 헤드엔드(400) 모두로부터의 하이브리드 리셉션의 임의의 다른 적합한 조합을 사용할 수 있다는 것을 이해할 수 있다.
식별 정보는 적어도 하나의 특성에 의해 배경 비디오의 부분을 식별하는 것이 바람직하다. 적어도 하나의 특성은 예를 들어, 도 4에 대하여 상술된 바와 같은 특성을 포함할 수 있고, 이 특성은 라이팅 특성; 물리 특성;알파 마스크 특성; 타겟 특성; 데드존 특성; 게임 특정 에어리의 특성; 바람직한 트랙 특성; 및 트랙-컨트롤 특성중 적어도 하나를 포함하는 것이 바람직하다.
IRD(550)는 프로세서(560)에 식별 정보를 제공하는 것이 바람직하다. 프로세서(560)는 식별 정보에 기초하여 객체(940)상에 액션이 실행될 지를 결정하는 것이 바람직하다. 프로세서(560)는 객체가 배경 비디오의 제1 부분으로부터 적어도 하나의 특성에 의해 배경 비디오의 제1 부분과 식별되는 배경 비디오의 제2 부분으로 이동할 때 액션이 객체상에 실행될 것인지를 결정함으로써 객체(940)상에 액션이 실행될 지를 결정하는 것이 바람직하다. 액션이 보통 충돌을 피하는 비행선(940)의 작전과 같은 제5 게임 애플리케이션내의 액션을 포함한다는 것을 이해할 수 있다.
프로세서(560)는 또한 객체(940)가 배경 비디오의 제1 부분으로부터 배경 비디오의 제2 부분으로 이동할 때 오디오 신호를 트리거링하기 위해 식별 정보를 사용하는 것이 바람직하다.
이 식별 정보는 적어도 하나의 인-비디오 마스크; 대화형 애플리케이션 데이터중 적어도 하나를 포함하는 것이 바람직하다. 적어도 하나의 인-비디오 마스크는 배경 비디오내의 경계 영역;과 배경 비디오내의 충돌 영역중 적어도 하나 사이를 식별하는 것이 바람직하다. 적어도 하나의 인-비디오 마스크는 도 4에 대하여 상술된 바와 같이 인-비디오 마스크를 포함하는 것이 바람직하고, 인-비디오 마스크는 적어도 하나의 알파 마스크; 적어도 하나의 타겟; 적어도 하나의 데드존; 트래킹 정보; 및 컨트롤 정보중 적어도 하나를 포함하는 것이 바람직하다. 도 7에서, 하나의 캐넌에 대한 일부 인-비디오 마스크(960)만이 단순성을 위해 표시되어 있다. 그러나, 추가적인 인-비디오 마스크가 배경 비디오내의 다른 적합한 배경 아이템에 대하여 적용될 수 있다는 것을 이해할 수 있다. 인-비디오 마스크(960)는 심리스 게임 경험을 제공하기 위해 필요한 대로 업샘플링되는 것이 바람직하다.
도 7내의 인-비디오 마스크(960)는 캐넌을 따라 비행하는 비행선(940)으로부터 보여지는 바와 같이 우측에 캐넌 벽의 경계선을 나타낸다. 인-비디오 마스크(960)는 예를 들어, 비행선(940)이 우측으로 턴한다면 비행선(940)으로부터 보여질 우측 캐넌 벽의 경계선을 표현할 수 있다. 이러한 점에서, 인-비디오 마스크(960)는 가능한 미래의 신을 나타낸다. 미래의 신의 이러한 표시는 디스플레이 디바이스(30)내의 가능한 디스플레이 대기시간을 극복하기 위해 트랙을 따른 경계선을 변화시키는 고속 디스플레이를 가능하게 하는데 유용하다.
그러나, 인-비디오 마스크(960)는 대안으로 현 신을 나타낼 수 있다는 것을 이해할 수 있다. 또한, 디스플레이 디바이스(30)내의 처리 복잡도는 비행선(940)이 막 이동하려는 신 부분만을 처리함으로써 감소될 수 있다는 것을 이해할 수 있다.
도 4 및 도 7의 실시예에서, 본 발명은 예를 들어, Lucas Art™로부터 입수가능한 "Rebel Assault"와 같은 게임이 디스플레이 디바이스(30)상에 디스플레이될 수 있도록 한다는 것을 이해할 수 있다.
도 1의 대화형 시스템(10)내에 사용된 제6 대화형 애플리케이션의 일예의 단순도인 도 8에 대하여 이제 설명한다. 이제 도 4에 대하여 추가 설명한다. 제6 대화형 애플리케이션은 단순예가 도 8에 도시된 제6 게임 애플리케이션을 포함하는 것이 바람직하다. 제6 게임 애플리케이션은 대화형 시스템(10)에서 플레이될 수 있는 또 다른 타입의 대화형 게임 애플리케이션을 나타내고 있다.
제6 게임 애플리케이션은 도 4에서 언급된 대화형 시스템(10)의 바람직한 구현예를 참조하여 아래에 설명되어 있다.
제6 게임 애플리케이션에서, 디스플레이 디바이스(30)의 IRD(550)는 제6 게임 애플리케이션과 관련된 어시스턴스 정보 및 배경 비디오를 수신하는 것이 바람직하다. 어시스턴스 정보는 배경 비디오와 관련된 에어리어 어시스턴스 정보 및 논-경계 어시스턴스 정보를 포함하는 것이 바람직하다.
배경 비디오는 헤드엔드(400)에 의해 제공된 방송 트랜스미션으로부터 또는 PVR(600)의 기억장치(610)로부터 수신될 수 있다. 또한, 어시스턴스 정보는 PVR(600)의 기억장치(610)로부터 또는 방송 트랜스미션으로부터 수신될 수 있다. IRD(550)는 디스플레이 디바이스(30)가 헤드엔드(400)에 의해 제공된 방송 트랜스미션과 PVR(600)의 기억장치(610)내에 기억된 프로그램물이 동기화를 위한 능력을 가지고 있기만 하다면 PVR(600의 기억장치(610) 및 헤드엔드(400) 모두로부터의 배경 정보 및 어시스턴스 정보의 하이브리드 리셉션의 조합을 사용할 수 있다는 것을 이해할 수 있다.
프로세서(560)는 디스플레이 로케이션과 연관된 어시스턴스 정보의 적어도 부분적으로, 적어도 일부에 기초하여 디스플레이 로케이션에서 디스플레이되기 위해 제6 게임 애플리케이션용 그래픽스를 준비하고, 배경 비디오와 준비된 그래픽스를 공간적으로 동기화하는 것이 바람직하다. 어시스턴스 정보의 적어도 일부는 논-경계 어시스턴스 정보를 포함하는 것이 바람직하다. 이 논-경계 어시스턴스 정보는 도 4를 참조하여 상술된 바와 같이 논-경계 어시스턴스 정보를 포함하는 것이 바람직하고, 이 논-경계 어시스턴스 정보는 물리 정보; 라이팅 정보; 적어도 하나의 알파 마스크; 적어도 하나의 타겟존에 대한 정보; 적어도 하나의 데드존에 대한 정보; 적어도 하나의 게임 특정 에어리어에 대한 정보; 컨트롤 정보; 및 바람직한 트랙 정보중 적어도 하나를 포함하는 것이 바람직하다.
디스플레이용 그래픽스를 준비할 때 프로세서(560)는 배경 비디오와 준비된 그래픽스를 임시적으로 동기화시키는 것이 바람직하다는 것을 이해할 수 있다. 동기화는 보통 배경 비디오가 보통 24-30 프레임/초로 실행되고 그래픽스내에 생성된 객체가 적합한 시간에서 배경 비디오내의 객체와 정확하게 대화하여야 하기 때문에 요구된다. 임시 동기화는 여기에 언급되어 통합된 예를 들어, 상술된 미국 특허 가출원 제60/452,743호 및 영국 특허 출원 제 0303093.9호에 기술된 바와 같이 프레임 애큐릿일 수 있다는 것을 이해할 수 있다. 배경 비디오와 함께 수신된 타이밍 정보가 암호화된 형태인 경우에는, 타이밍 정보는 동기화를 위해 타이밍 정보의 사용을 가능하도록 하기 위해 IRD(550)에 의해 해독되는 것이 바람직하다.
프로세서(560)는 배경 비디오 및 그래픽스를 디스플레이를 위해 바람직하게는 동기화된 형태로 렌더링하는 것이 바람직하다.
디스플레이를 위해 그래픽스를 준비할 때, 프로세서(560)는 또한 그래픽스와 연관되어 렌더링되기 위해 오디오를 발생시키는 것이 바람직하다. 오디오의 발생은 디스플레이 로케이션과 연관된 어시스턴스 정보의 적어도 부분적으로 적어도 일부에 기초하여 그래픽스와 연관되어 렌더링되기 위한 오디오의 준비를 포함하는 것이 바람직하다. 또한, 프로세서(560)는 준비된 오디오를 그래픽스 및 배경 비디오와 동기화하는 것이 바람직하다.
제6 게임 애플리케이션은 도 8의 디스플레이(100)상에 도시되어 있다. 제6 게임 애플리케이션에서, 우주선(1010)의 표시가 장애물 및 배경 비디오 신(1030)을 통해 퍼져 있는 이동 타겟(1020)를 통해 플레이어(도 8에 도시되지 않음) 에 의해 제어되고 가이드되는 것이 바람직하다. 배경 비디오 신(1030)은 이동 비디오 이미지를 포함하는 것이 바람직하다. 장애물 및 이동 타겟(1020) 및 배경 신(1030)은 플레이어의 플레이 기술의 증가하는 레벨을 요구하는 게임의 난이도 다양한 레벨(게임 레벨)에서 제공될 수 있다. 배경 신(1030)은 각각의 게임 레벨을 통해 스크롤링 온하는 것이 바람직하다. 플레이어는 우주선(1010)을 제어하여 장애물 및 이동 타겟(1020)을 피하고, 장애물 및 이동 타겟(1020)을 슈팅하고, 우주선(1010)이 이동 타겟(1020)에 의해 슈팅되는 것을 방지하도록 하게 된다.
우주선(1010), 우주선(1010)의 발사 총(도시되지 않음), 총에 의해 발사된 탄약(1040), 및 장애물 및 이동 타겟(1030)은 모두 배경 신(1030)이 이동하는 배경 신(1030)상에 오버레이되는 오버레이로서 렌더링될 수 있다. 탑 바(1050)는 또한 필요하다면 추가 정보는 물론 우주선(1010)에 파워 및 속도를 제공하고 제6 게임 애플리케이션의 스코어를 디스플레이하는 디스플레이 필드 및 아이콘과 같은 요소를 포함하는 오버레이로서 렌더링될 수 있다.
제6 게임 애플리케이션에 제공된 어시스턴스 정보는 실링(1060), 플로어(1070), 및 실링(1060) 및/또는 플로어(1070)로부터 돌출하는 돌출부(1080)와 같은, 제6 게임 애플리케이션내의 경계에 관한 정보를 포함하는 것이 바람직하다. 경계에 관한 정보는 예를 들어, 경계의 로케이션을 결정하는 공간 경계 정보 및/또는, 임시 경계가 존재하는 경우에 임시 경계를 결정하는 임시 경계 정보를 포함할 수 있다. 경계에 관한 정보는 경계에서 한정될 수 있는 게임 로직 애트리뷰트를 대안으로 또는 추가로 포함할 수 있다.
대안으로 또는 추가적으로, 제6 게임 애플리케이션에 제공된 어시스턴스 정보는 적어도 하나의 게임 특정 에어리어에 관한 정보를 포함할 수 있는데, 여기에서 적어도 하나의 게임 특정 에어리어는 예를 들어, 우주선(1010)이 조정될 수 있는 텔리포테이션 에어리어; 우주선(1010)이 연료 재충전할 수 있는 에어리어; 및 우주선(1010)이 탄약을 재장전을 할 수 있는 에어리어중 적어도 하나를 포함할 수 있다.
도 4 및 도 8의 실시예내의 본 발명은 예를 들어, William Entertainment, Inc.로부터 상업적으로 입수가능한 "Defender"와 같은 슈팅 게임이 디스플레이 디바이스(30)상에 플레이되도록 할 수 있다는 것을 이해할 수 있다.
도 1의 대화형 시스템(10)내에 사용된 제7 대화형 애플리케이션의 일예의 단순도면인 도 9에 대해 이제 설명한다. 추가로 도 4에 대해 설명한다. 제7 대화형 애플리케이션은 단순 예가 도 9에 도시된 제7 게임 애플리케이션을 포함하는 것이 바람직하다. 이 제7 게임 애플리케이션은 대화형 시스템(10)내에 플레이될 수 있는 대화형 게임 애플리케이션의 또 다른 타입을 나타낸다.
제7 게임 애플리케이션은 도 4에 대하여 상술된 대화형 시스템(10)의 바람직한 구현예에 대하여 아래에 설명되어 있다.
제7 게임 애플리케이션에서, 디스플레이 디바이스(30)의 IRD(550)는 헤드엔드(400)에 의해 전송된 방송 트랜스미션으로부터 또는 PVR(600)의 기억장치(610)내에 기억된 프로그램물로부터 제7 게임 애플리케이션요 배경 비디오를 수신하는 것이 바람직하다. 제7 게임 애플리케이션용 배경 비디오는 복수의 비디오 프레임을 포함하는 것이 바람직하고, 적어도 하나의 비디오 프레임은 복수의 서브-픽쳐를 포함하는 것이 바람직하다. 특정 배경 비디오의 서브-픽쳐는 특정 배경 비디오 프레임내의 배경 신의 적어도 일부의 상이한 투시도를 나타내는 것을 바람직하다는 것을 이해할 수 있다.
도 9에 단지 예로서, 현 배경 비디오 프레임(1100)이 비디오 프레임(1100)의 적어도 일부의 4개의 상이한 투시도를 각각 나타내는 4개의 서브-픽쳐(1110, 1120,1130,1140)로서 도시되어 있다. 그러나, 복수 비디오 프레임의 추가 비디오 프레임이 배경 비디오의 다양하고 상이한 투시도를 나타내는 다양한 수의 서브-픽쳐를 포함하는 것이 바람직하다는 것을 이해할 수 있다.
프로세서(560)는 비디오 프레임(1100)내의 배경 신의 적어도 일부의 제1 투시도를 제공하는 4개의 서브-픽쳐의 제1 서브-픽쳐로부터 비디오 프레임(1100)내의 배경 신의 적어도 일부의 제2 투시도를 제공하는 4개의 서브-픽쳐의 제2 서브-픽쳐로 전환하기 위해 현 배경 비디오 프레임(1010)과 관련되어 있는 이벤트 정보를 사용하는 것이 바람직하다.
제2 서브-픽쳐로 전환한 후에, 프로세서(560)는 예를 들어, 풀 비디오 프레임으로 제2 서브-픽쳐를 업샘플링하는 것이 바람직하다. 제2 서브-픽쳐의 업샘플링은 디스플레이(1150)상에 디스플레이되기 위해 실행되는 것이 바람직하다. 그후에, 프로세서(560)는 디스플레이(1150)상에 디스플레이되기 위해 업샘플링된 제2 서브-픽쳐를 렌더링하는 것이 바람직하다.
이벤트 정보는 타이밍 정보; 사용자 입력; 헤드엔드(400)로부터의 명령어; 방송 소스로부터의 명령어; 및 제7 게임 애플리케이션내에 포함된 명령어중 적어도 하나를 포함하는 것이 바람직하다.
제1 투시도는 제2 투시도와 상이한 것이 바람직하다는 것을 이해할 수 있다.
제7 게임 애플리케이션에서, 플레이어(도시되지 않음)는 자동차 레이스에서 카(1160)의 운전자를 플레이한다. 카(1160)는 운전자가 뒤로부터 오는 물체를 볼 수 있도록 하는 미러(1170)를 가지고 있다. 미러(1170)는 예를 들어, 헤드엔드(400) 또는 PVR(600)로부터 제공된 배경 비디오내에 포함될 수 있다. 운전자가 물체를 치는 포인트까지 물체를 지나 운전하여 물체와 충돌한다면, 폭발이 미러(1170)내에 도시된 오버레이에서 렌더링될 수 있다.
카(1160)가 트랙을 따라 운전될 때, 카(1160)는 예를 들어, 트랙의 좌측으로 또는 우측으로 이동할 수 있다. 이러한 경우에, 플레이어의 배경 빌딩 및 다른 풍경 물체의 투시도는 변해야 한다. 즉, 플레이는 카(1160)가 트랙의 와측에서 또는 우측에서 운전되는지 및 카(1160)가 빌딩 또는 풍경 물체에 얼마나 접근하는지에 따라 보다 많거나 보다 적은 빌딩 또는 풍경 물체를 보여야 한다. 플레이어의 투시도내의 이러한 변화는 제1 서브-픽쳐, 예를 들어, 서브-픽쳐(1120)로부터 제2 서브-픽쳐, 예를 들어, 서브-픽쳐(1140)로 전환하는 프로세서(560)에 의해 얻어지는 것이 바람직하다. 그후에, 프로세서(560)는 서브-픽쳐(1140)를 업샘플링하고 업샘플링된 형태로 디스플레이(1150)상에 디스플레이하기 위해 서브-픽쳐(1140)를 렌더링하는 것이 바람직하다.
서브-픽쳐(1180)에는 대안으로 또는 추가적으로 카(1160)의 상이한 각도가 제공될 수 있다는 것을 이해할 수 있다. 카(1160)의 상이한 각도는 트랙의 좌측으로 또는 우측으로의 이동의 허상을 제공할 수 있다. 서브-픽쳐(1180)사이의 전환은 또한 배경 물체의 고정된 투시도를 가지고 있는 배경 비디오에 적용될 수 있다.
도 4 및 도 9내의 본 발명은 예를 들어, Electronic Arts™ 로부터 상업적으로 입수가능한 "The Need for Speed 2"와 같은 게임을 디스플레이 디바이스(30)상에 디스플레이할 수 있도록 한다는 것을 이해할 수 있다.
이제 도 1의 대화형 시스템(10)내의 디스플레이 디바이스(30)의 작동의 바람직한 방법의 단순 순서도인 도 10에 대해 설명한다.
복수의 비디오 프레임을 포함하는 배경 비디오는 디스플레이 디바이스에서 수신되는 것이 바람직하고(단계 1200), 적어도 하나의 복수의 비디오 프레임은 복수의 서브-픽쳐를 포함하고 있고, 복수의 서브-픽쳐의 각각은 대체의 배경을 나타내고 있다. 그다음, 디스플레이 디바이스에서, 복수의 서브-픽쳐의 제1 서브-픽쳐와 복수의 서브-픽쳐의 제2 서브-픽쳐 사이의 전환이 행해진다(단계 1210).
이제 도 1의 대화형 시스템(10)내의 디스플레이 디바이스(30)의 작동의 다른 바람직한 방법의 단순 순서도인 도 11에 대해 설명한다.
배경 비디오는 디스플레이 디바이스에서 수신되는 것이 바람직하다(단계 1300). 또한, 객체 정보는 또한 디스플레이 디바이스에서 수신된다(단계 1310). 객체 정보는 객체를 결정하는 정보를 포함하는 것이 바람직하다.
또한 디스플레이 디바이스에서, 조절가능 슬라이딩 윈도우 디스플레이 프레임은 객체 주변에서 계산되는 것이 바람직하고(단계 1320), 이 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부는 업샘플링되는 것이 바람직하다(단계 1330). 객체는 배경 비디오의 업샘플링된 부분상에 오버레이되는 것이 바람직하다(단계 1340).
명확하기 위해 별개의 실시예의 콘텍스트에서 설명된 본 발명의 다양한 특징은 또한 단일 실시예에서 조합되어 제공될 수 있다는 것을 이해할 수 있다. 반대로, 간결하도록 하기 위해 단일 실시예의 콘텍스트에서 설명된 본 발명의 다양한 특징은 별개로 또는 임의의 적합한 서브조합으로 제공될 수 있다.
본 발명이 여기에 특별히 도시되고 설명된 것에 의해 제한되지 않는다는 것을 이해할 것이다. 본 발명의 범위는 다음의 청구범위에 의해서만 한정된다.

Claims (54)

  1. 디스플레이 디바이스에서, 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 적어도 하나가 포함하는 복수의 비디오 프레임을 포함하는 배경 비디오를 수신하는 단계; 및
    상기 디스플레이 디바이스에서, 상기 복수의 서브-픽쳐의 제1 서브-픽쳐와 상기 복수의 서브-픽쳐의 제2 서브-픽쳐 사이를 전환하는 단계;를 포함하는 것을 특징으로 하는 대화형 방법.
  2. 제1항에 있어서, 상기 전환하는 단계 후에, 제2 서브-픽쳐를 풀 비디오 프레임으로 업샘플링하는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  3. 제2항에 있어서, 상기 업샘플링하는 단계는 디스플레이상에 디스플레이하기 위해 업샘플링하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  4. 제1항 내지 제3항중 어느 한항에 있어서, 상기 전환하는 단계는 상기 제1 서브-픽쳐와 제2 서브-픽쳐 사이에서 심리스 전환하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  5. 제1항 내지 제3항중 어느 한항에 있어서, 제1 서브-픽쳐와 제2 서브-픽쳐중 적어도 하나는 3차원(3D) 신을 포함하는 것을 특징으로 하는 대화형 방법.
  6. 제1항 내지 제3항중 어느 한항에 있어서, 상기 전환하는 단계에 응답하여 디스플레이 효과를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  7. 제6항에 있어서, 상기 디스플레이 효과는 상기 전환하는 단계 전에 디스플레이되는 이미지보다 넓은 이미지의 허상; 상기 전환하는 단계 전에 디스플레이되는 이미지보다 높은 이미지의 허상; 상기 전환하는 단계 전에 디스플레이되는 이미지 보다 넓고 보다 높은 이미지의 허상; 및 상기 전환하는 단계 전에 디스플레이되는 이미지에 대하여, 수평 왜곡 상태 및 수직 왜곡 상태중 적어도 하나인 이미지의 허상중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 방법.
  8. 제1항 내지 제3항중 어느 한항에 있어서, 상기 전환하는 단계는 2개의 오디오 디코더의 출력 사이를 전환하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  9. 제1항 내지 제3항중 어느 한항에 있어서, 상기 전환하는 단계는 타이밍 정보; 사용자 입력; 헤드엔드로부터의 명령어; 방송 소스로부터의 명령어; 및 대화형 애플리케이션으로부터의 명령어중 적어도 하나에 응답하여 제1 서브-픽쳐와 제2 서브-픽쳐 사이를 전환하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  10. 제1항 내지 제3항중 어느 한항에 있어서, 상기 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  11. 제1항 내지 제3항중 어느 한항에 있어서, 상기 배경 비디오를 수신하는 단계는 퍼스널 비디오 레코더(PVR)의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  12. 제1항에 있어서, 상기 전환하는 단계 전에,
    객체를 결정하는 정보를 포함하는 객체 정보를 디스플레이 디바이스에서 수신하는 단계; 및
    상기 디스플레이 디바이스에서, 상기 객체를 배경 비디오상에 오버레이하는 단계;를 더 포함하는 것을 특징으로 하는 대화형 방법.
  13. 제12항에 있어서, 상기 전환하는 단계는 제1 서브-픽쳐의 보더에 접근하거나 들어가는 객체에 응답하여 제1 서브-픽쳐와 제2 서브-픽쳐 사이를 전환하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  14. 제12항 또는 제13항에 있어서, 상기 객체는 게임 객체를 포함하는 것을 특징으로 하는 대화형 방법.
  15. 제12항 또는 제13항에 있어서, 상기 배경 비디오 및 객체 정보는 대화형 게임 애플리케이션과 관련되어 있는 것을 특징으로 하는 대화형 방법.
  16. 제12항 또는 제13항에 있어서, 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 적어도 하나로부터 객체 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  17. 제12항 또는 제13항에 있어서, 배경 비디오를 수신하는 단계는 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 객체 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  18. 제1항에 있어서,
    배경 비디오와 관련된 에어리어 어시스턴스 정보를 포함하는 어시스턴스 정보를 디스플레이 디바이스에서 수신하는 단계;
    디스플레이 디바이스에서, 디스플레이 로케이션에서 디스플레이하기 위한 그래픽스를 준비하는 단계로서, 적어도 부분적으로, 디스플레이 로케이션과 연관된 어시스턴스 정보의 적어도 일부에 기초하는 상기 그래픽스를 준비하는 단계; 및
    준비된 그래픽스를 배경 비디오와 공간적으로 동기화하는 단계;를 더 포함하는 것을 특징으로 하는 대화형 방법.
  19. 제18항에 있어서, 상기 어시스턴스 정보의 적어도 일부는 논-경계 어시스턴스 정보를 포함하는 것을 특징으로 하는 대화형 방법.
  20. 제19항에 있어서, 상기 논-경계 어시스턴스 정보는 물리 정보; 라이팅 정보; 적어도 하나의 알파 마스크; 적어도 하나의 타겟존에 대한 정보; 적어도 하나의 데드존에 대한 정보; 적어도 하나의 게임 특정 에어리어에 관한 정보; 컨트롤 정보; 및 바람직한 트랙 정보중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 방법.
  21. 제18항 내지 제20항중 어느 한항에 있어서, 상기 그래픽스를 준비하는 단계는 준비된 그래픽스를 배경 비디오와 임시 동기화하는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  22. 제18항 내지 제20항중 어느 한항에 있어서, 준비된 그래픽스 및 배경 비디오를 동기화 형태로 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  23. 제18항 내지 제20항중 어느 한항에 있어서, 상기 그래픽스를 준비하는 단계는 디스플레이 디바이스에서, 상기 그래픽스와 연관되어 렌더링하기 위한 오디오를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  24. 제23항에 있어서, 상기 오디오를 발생시키는 단계는 적어도 부분적으로, 디스플레이 로케이션과 연관된 어시스턴스 정보의 적어도 일부에 기초한 그래픽스와 연관되어 렌더링하기 위한 오디오를 준비하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  25. 제24항에 있어서, 상기 오디오를 발생시키는 단계는 상기 준비된 오디오를 그래픽스 및 배경 비디오와 동기화하는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  26. 제18항 내지 제20항중 어느 한항에 있어서, 상기 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 상기 어시스턴스 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 어시스턴스 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  27. 제18항 내지 제20항중 어느 한항에 있어서, 배경 비디오를 수신하는 단계는 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 상기 어시스턴스 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 어시스턴스 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  28. 제18항 내지 제20항중 어느 한항에 있어서, 상기 배경 비디오, 어시스턴스 정보 및 그래픽스는 대화형 게임 애플리케이션과 관련되어 있는 것을 특징으로 하는 대화형 방법.
  29. 제1항 내지 제3항, 제12항, 제13항 및 제18항 내지 제20항중 어느 한항에 있어서, 제1 서브-픽쳐는 신의 제1 투시도에 상응하고 제2 서브-픽쳐는 신의 제2 투시도에 상응하는 것을 특징으로 하는 대화형 방법.
  30. 제29항에 있어서, 제1 투시도는 제2 투시도와 상이한 것을 특징으로 하는 대화형 방법.
  31. 제12항에 있어서,
    디스플레이 디바이스에서, 적어도 하나의 특성에 의해 배경 비디오의 부분을 식별하는 식별 정보를 수신하는 단계; 및
    디스플레이 디바이스에서, 상기 식별 정보에 기초하여 액션이 객체에 행해질 지를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 대화형 방법.
  32. 제31항에 있어서, 상기 결정하는 단계는 객체가 배경 비디오의 제1 부분으로부터 적어도 하나의 특성에 의해 상기 배경 비디오의 제1 부분으로부터 식별된 배경 비디오의 제2 부분쪽으로 이동할 때 객체상에 액션이 실행될 지를 결정하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  33. 제32항에 있어서, 상기 객체가 배경 비디오의 제1 부분으로부터 배경 비디오의 제2 부분으로 이동할 때 오디오 신호를 트리거링하기 위해 상기 식별 정보를 사용하는 단계를 더 포함하는 것을 특징으로 하는 대화형 방법.
  34. 제31항 내지 제33항중 어느 한항에 있어서, 적어도 하나의 특성은 라이팅 특성; 물리 특성; 알파 마스크 특성; 타겟 특성; 데드존 특성; 게임 특정 에어리어의 특성; 바람직한 트랙 특성; 및 트랙-컨트롤 특성중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 방법.
  35. 제31항 내지 제33항중 어느 한항에 있어서, 상기 식별 정보는 적어도 하나의 인-비디오 마스크; 및 대화형 애플리케이션 데이터중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 방법.
  36. 제35항에 있어서, 상기 적어도 하나의 인-비디오 마스크는 배경 비디오내의 경계 영역; 및 배경 비디오내의 충돌 영역중 적어도 하나 사이를 식별하는 것을 특징으로 하는 대화형 방법.
  37. 제35항에 있어서, 상기 적어도 하나의 인-비디오 마스크는 적어도 하나의 알파 마스크; 적어도 하나의 타겟; 적어도 하나의 데드존; 트래킹 정보; 및 컨트롤 정보중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 방법.
  38. 제31항 내지 제33항중 어느 한항에 있어서, 배경 비디오, 객체 정보 및 식별 정보는 대화형 게임 애플리케이션과 관련되어 있고, 액션은 상기 대화형 게임 애플리케이션내의 액션을 포함하는 것을 특징으로 하는 대화형 방법.
  39. 제31항 내지 제33항중 어느 한항에 있어서, 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션으로부터 객체 정보를 수신하는 단계를 포함하고, 그리고 식별 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 식별 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  40. 제31항 내지 제33항중 어느 한항에 있어서, 배경 비디오를 수신하는 단곈ㄴ PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 PVR의 기억장치로부터 객체 정보를 수신하는 단계를 포함하고, 그리고 식별 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 식별 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  41. 제31항 내지 제33항중 어느 한항에 있어서, 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 PVR의 기억장치로부터 객체 정보를 수신하는 단계를 포함하고, 그리고 식별 정보를 수신하는 단계는 방송 트랜스미션으로부터 식별 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  42. 제31항 내지 제33항중 어느 한항에 있어서, 배경 비디오를 수신하는 단계는 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션으로부터 객체 정보를 수신하는 단계를 포함하고, 그리고 식별 정보를 수신하는 단계는 PVR의 기억장치로부터 식별 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  43. 제1항 내지 제3항중 어느한항에 있어서,
    디스플레이 디바이스에서, 객체를 결정하는 정보를 포함하는 객체 정보를 수신하는 단계;
    디스플레이 디바이스에서, 상기 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하는 단계;
    상기 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 단계; 및
    상기 디스플레이 디바이스에서, 배경 비디오의 업샘플링된 부분상에 상기 객체를 오버레이하는 단계;를 포함하는 것을 특징으로 하는 대화형 방법.
  44. 디스플레이 디바이스에서 배경 비디오를 수신하는 단계;
    상기 디스플레이 디바이스에서, 객체를 결정하는 정보를 포함하는 객체 정보를 수신하는 단계;
    상기 디스플레이 디바이스에서, 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하는 단계;
    상기 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 단계; 및
    상기 디스플레이 디바이스에서, 배경 비디오의 업샘플링된 부분상에 상기 객체를 오버레이하는 단계;를 것을 포함하는 특징으로 하는 대화형 방법.
  45. 제44항에 있어서, 상기 객체는 게임 객체를 포함하는 것을 특징으로 하는 대화형 방법.
  46. 제44항 또는 제45항에 있어서, 배경 비디오, 객체 정보, 및 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임은 대화형 게임 애플리케이션과 관련되어 있는 것을 특징으로 하는 대화헝 방법.
  47. 제44항 또는 제45항에 있어서, 상기 계산하는 단계는 상기 객체를 트래킹하기 위해 상기 객체 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  48. 제44항 또는 제45항에 있어서, 상기 계산하는 단계는 배경 비디오의 속도의 변화의 효과를 제공하기 위해 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  49. 제44항 또는 제45항에 있어서, 상기 계산하는 단계는 상기 객체와 함께 디스플레이되는 배경 비디오의 일부를 변경하기 위해 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  50. 제44항 또는 제45항에 있어서, 상기 계산하는 단계는 셔더 효과를 제공하기 위해 상기 객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 사용하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  51. 제44항 또는 제45항에 있어서, 배경 비디오를 수신하는 단계는 방송 트랜스미션으로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 객체 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  52. 제44항 또는 제45항에 있어서, 배경 비디오를 수신하는 단계는 PVR의 기억장치로부터 배경 비디오를 수신하는 단계를 포함하고, 객체 정보를 수신하는 단계는 방송 트랜스미션 및 PVR의 기억장치중 하나로부터 객체 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 대화형 방법.
  53. 각각이 대체의 배경을 나타내는 복수의 서브-픽쳐를 적어도 하나가 포함하는 복수의 비디오 프레임을 포함하는 배경 비디오를 수신하는 수신기; 및
    복수의 서브-픽쳐의 제1 서브-픽쳐와 복수의 서브-픽쳐의 제2 서브-픽쳐 사이를 전환하고 디스플레이를 위해 제2 서브-픽쳐를 렌더링하는 프로세서;를 포함하고 있는 것을 특징으로 하는 디스플레이 디바이스.
  54. 배경 비디오, 및 객체를 결정하는 정보를 포함하는 객체 정보를 수신하는 수신기;
    객체의 주변의 조절가능 슬라이딩 윈도우 디스플레이 프레임을 계산하고 상기 조절가능 슬라이딩 윈도우 디스플레이 프레임내에 포함된 배경 비디오의 일부를 업샘플링하는 프로세서; 및
    배경 비디오의 업샘플링된 부분상에 객체를 오버레이하는 OSD 유닛;을 포함하고 있는 것을 특징으로 하는 디스플레이 디바이스.
KR1020057014783A 2003-02-11 2004-02-04 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법 KR101018320B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
GB0303093A GB0303093D0 (en) 2003-02-11 2003-02-11 Apparatus and methods for transmitting and handling game capabilities in a broadcast network
GB0303093.9 2003-02-11
US45274303P 2003-03-07 2003-03-07
US60/452,743 2003-03-07
GB0402116.8 2004-01-30
GB0402116A GB0402116D0 (en) 2004-01-30 2004-01-30 Apparatus and methods for transmitting and handling game capabilities in a broadcast network
US54110504P 2004-02-02 2004-02-02
US60/541,105 2004-02-02

Publications (2)

Publication Number Publication Date
KR20050099997A true KR20050099997A (ko) 2005-10-17
KR101018320B1 KR101018320B1 (ko) 2011-03-04

Family

ID=32872850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057014783A KR101018320B1 (ko) 2003-02-11 2004-02-04 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법

Country Status (5)

Country Link
US (2) US7752648B2 (ko)
EP (1) EP1599998B1 (ko)
KR (1) KR101018320B1 (ko)
AU (1) AU2004211721B2 (ko)
WO (1) WO2004072935A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002690A2 (ko) * 2010-06-27 2012-01-05 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388451B2 (en) 2001-11-27 2022-07-12 Comcast Cable Communications Management, Llc Method and system for enabling data-rich interactive television using broadcast database
US8365230B2 (en) 2001-09-19 2013-01-29 Tvworks, Llc Interactive user interface for television applications
US8413205B2 (en) 2001-09-19 2013-04-02 Tvworks, Llc System and method for construction, delivery and display of iTV content
US8042132B2 (en) 2002-03-15 2011-10-18 Tvworks, Llc System and method for construction, delivery and display of iTV content
US7703116B1 (en) 2003-07-11 2010-04-20 Tvworks, Llc System and method for construction, delivery and display of iTV applications that blend programming information of on-demand and broadcast service offerings
US11070890B2 (en) 2002-08-06 2021-07-20 Comcast Cable Communications Management, Llc User customization of user interfaces for interactive television
US8220018B2 (en) 2002-09-19 2012-07-10 Tvworks, Llc System and method for preferred placement programming of iTV content
KR101018320B1 (ko) 2003-02-11 2011-03-04 엔디에스 리미티드 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
US10664138B2 (en) 2003-03-14 2020-05-26 Comcast Cable Communications, Llc Providing supplemental content for a second screen experience
US11381875B2 (en) 2003-03-14 2022-07-05 Comcast Cable Communications Management, Llc Causing display of user-selectable content types
US8578411B1 (en) * 2003-03-14 2013-11-05 Tvworks, Llc System and method for controlling iTV application behaviors through the use of application profile filters
US20040244057A1 (en) * 2003-04-30 2004-12-02 Wallace Michael W. System and methods for synchronizing the operation of multiple remote receivers in a broadcast environment
CA2523680C (en) * 2003-05-02 2015-06-23 Allan Robert Staker Interactive system and method for video compositing
US8819734B2 (en) 2003-09-16 2014-08-26 Tvworks, Llc Contextual navigational control for digital television
CN1998153A (zh) * 2004-05-10 2007-07-11 辉达公司 用于视频数据的处理器
JP3877077B2 (ja) 2004-08-31 2007-02-07 任天堂株式会社 ゲーム装置および画像処理プログラム
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
KR20080007451A (ko) * 2005-04-11 2008-01-21 휴먼아이즈 테크놀로지즈 리미티드 깊이 착시 디지털 이미지화
US7818667B2 (en) 2005-05-03 2010-10-19 Tv Works Llc Verification of semantic constraints in multimedia data and in its announcement, signaling and interchange
US7972210B2 (en) * 2005-07-06 2011-07-05 Gallagher Leo A Electronic slot machine
EP1911278A2 (en) 2005-08-04 2008-04-16 Nds Limited Advanced digital tv system
US8875196B2 (en) 2005-08-13 2014-10-28 Webtuner Corp. System for network and local content access
WO2007023330A1 (en) * 2005-08-25 2007-03-01 Nokia Corporation Method and device for sending and receiving game content including download thereof
US20070109324A1 (en) * 2005-11-16 2007-05-17 Qian Lin Interactive viewing of video
KR100777282B1 (ko) * 2005-12-15 2007-11-20 엘지전자 주식회사 방송 프로그램 저장방법 및 장치
EP1999952B1 (en) * 2006-03-27 2013-08-14 NDS Limited Video substitution system
US20070245019A1 (en) * 2006-04-12 2007-10-18 United Video Properties, Inc. Interactive media content delivery using a backchannel communications network
US9274807B2 (en) * 2006-04-20 2016-03-01 Qualcomm Incorporated Selective hibernation of activities in an electronic device
US8683362B2 (en) 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
GB2441365B (en) * 2006-09-04 2009-10-07 Nds Ltd Displaying video data
US8267790B2 (en) * 2006-09-29 2012-09-18 At&T Intellectual Property I, Lp Interactive games on a television via internet protocol
US8337518B2 (en) 2006-12-20 2012-12-25 Onset Medical Corporation Expandable trans-septal sheath
TW200844899A (en) * 2007-05-04 2008-11-16 Sunplus Mmobile Inc An interactive image and graphical system and method that is capable of detecting collisions of graphical objects
US8583267B2 (en) 2007-08-17 2013-11-12 The Invention Science Fund I, Llc Selective invocation of playback content supplementation
US8990400B2 (en) * 2007-08-17 2015-03-24 The Invention Science Fund I, Llc Facilitating communications among message recipients
US7915643B2 (en) * 2007-09-17 2011-03-29 Transphorm Inc. Enhancement mode gallium nitride power devices
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8302132B2 (en) 2007-09-25 2012-10-30 Nds Limited Multi-directional movement
US8798436B2 (en) * 2007-10-31 2014-08-05 Ryan Steelberg Video-related meta data engine, system and method
CN101453652B (zh) * 2007-12-05 2013-05-01 株式会社日立制作所 导视信息生成设备及电视接收装置
US20090327949A1 (en) * 2008-06-26 2009-12-31 Honeywell International Inc. Interactive overlay window for a video display
TW201005583A (en) 2008-07-01 2010-02-01 Yoostar Entertainment Group Inc Interactive systems and methods for video compositing
US20100063825A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Systems and Methods for Memory Management and Crossfading in an Electronic Device
US11832024B2 (en) 2008-11-20 2023-11-28 Comcast Cable Communications, Llc Method and apparatus for delivering video and video-related content at sub-asset level
US8600291B2 (en) * 2009-02-12 2013-12-03 Qualcomm Incorporated Multiple service management
EP2252055B1 (en) * 2009-05-13 2013-09-18 Sony Europe Limited A system for retrieval of executable applications for broadcast television
US8489774B2 (en) 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
WO2010138777A1 (en) * 2009-05-27 2010-12-02 Arsh Technologies, Llc Automatic resource retrieval and use
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US9254438B2 (en) * 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
GB2481865B (en) 2010-06-28 2013-03-13 Nds Ltd System and method for managing playback sensitive content
EP2612501B1 (en) * 2010-09-01 2018-04-25 LG Electronics Inc. Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display
CA2836462A1 (en) 2011-05-17 2012-11-22 Eduard Zaslavsky System and method for scalable, high accuracy, sensor and id based audience measurement system
CA2837198A1 (en) 2011-05-24 2012-11-29 Webtuner Corp. System and method to increase efficiency and speed of analytics report generation in audience measurement systems
EP2716038A4 (en) 2011-05-26 2014-10-22 Webtuner Corp HIGH-GRADE, SCALABLE TOUCH DETECTION SYSTEM WITH CLIENT PRE-PROCESSING OF EVENTS
GB2493498A (en) 2011-07-18 2013-02-13 Nds Ltd Fast channel change using an aggregated video service
US11115722B2 (en) 2012-11-08 2021-09-07 Comcast Cable Communications, Llc Crowdsourcing supplemental content
TWI566175B (zh) * 2012-11-22 2017-01-11 華碩電腦股份有限公司 屏幕顯示控制系統之顯示方法
US10880609B2 (en) 2013-03-14 2020-12-29 Comcast Cable Communications, Llc Content event messaging
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
US10332560B2 (en) 2013-05-06 2019-06-25 Noo Inc. Audio-video compositing and effects
US20150011311A1 (en) * 2013-07-03 2015-01-08 Iswifter, Inc. System and method for experiencing advertised interactive applications
US11783382B2 (en) 2014-10-22 2023-10-10 Comcast Cable Communications, Llc Systems and methods for curating content metadata
WO2019195037A1 (en) 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding
CN114296617B (zh) * 2022-03-11 2022-05-06 北京麟卓信息科技有限公司 一种安卓应用自动切换播放视频的方法

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4355805A (en) * 1977-09-30 1982-10-26 Sanders Associates, Inc. Manually programmable video gaming system
US4766541A (en) * 1984-10-24 1988-08-23 Williams Electronics Games, Inc. Apparatus for generating interactive video game playfield environments
US4827344A (en) 1985-02-28 1989-05-02 Intel Corporation Apparatus for inserting part of one video image into another video image
US4991011A (en) * 1988-12-23 1991-02-05 Scientific-Atlanta, Inc. Interactive television terminal with programmable background audio or video
ES2057046T3 (es) 1989-10-06 1994-10-16 Siemens Ag Disposicion de circuito para mezclar imagen-en-imagen en un aparato de television con un solo sintonizador.
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5080377A (en) * 1990-05-31 1992-01-14 Rare Coin-It, Inc. Video display system
US5236199A (en) 1991-06-13 1993-08-17 Thompson Jr John W Interactive media system and telecomputing method using telephone keypad signalling
US5264838A (en) * 1991-08-29 1993-11-23 Honeywell Inc. Apparatus for generating an anti-aliased display image halo
US7448063B2 (en) 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5388841A (en) 1992-01-30 1995-02-14 A/N Inc. External memory system having programmable graphics processor for use in a video game system or the like
US6201536B1 (en) 1992-12-09 2001-03-13 Discovery Communications, Inc. Network manager for cable television system headends
US7721307B2 (en) 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US5523791A (en) 1993-10-12 1996-06-04 Berman; John L. Method and apparatus for applying overlay images
US5768539A (en) 1994-05-27 1998-06-16 Bell Atlantic Network Services, Inc. Downloading applications software through a broadcast channel
US5600368A (en) 1994-11-09 1997-02-04 Microsoft Corporation Interactive television system and method for viewer control of multiple camera viewpoints in broadcast programming
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5892554A (en) 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US5673401A (en) 1995-07-31 1997-09-30 Microsoft Corporation Systems and methods for a customizable sprite-based graphical user interface
US6016150A (en) 1995-08-04 2000-01-18 Microsoft Corporation Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers
US5808617A (en) 1995-08-04 1998-09-15 Microsoft Corporation Method and system for depth complexity reduction in a graphics rendering system
GB9517806D0 (en) 1995-08-31 1995-11-01 Philips Electronics Uk Ltd Information handling for interactive apparatus
US5774172A (en) 1996-02-12 1998-06-30 Microsoft Corporation Interactive graphics overlay on video images for entertainment
US5894320A (en) 1996-05-29 1999-04-13 General Instrument Corporation Multi-channel television system with viewer-selectable video and audio
US5943445A (en) 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
US5931908A (en) 1996-12-23 1999-08-03 The Walt Disney Corporation Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming
WO1998029834A1 (en) 1996-12-30 1998-07-09 Sharp Kabushiki Kaisha Sprite-based video coding system
US6072537A (en) 1997-01-06 2000-06-06 U-R Star Ltd. Systems for producing personalized video clips
US6147709A (en) 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
US5818440A (en) 1997-04-15 1998-10-06 Time Warner Entertainment Co. L.P. Automatic execution of application on interactive television
GB9708061D0 (en) 1997-04-22 1997-06-11 Two Way Tv Ltd Interactive, predictive game control system
GB9712724D0 (en) 1997-06-18 1997-08-20 Holmes Steven Method and apparatus for interaction with broadcast television content
US6317885B1 (en) 1997-06-26 2001-11-13 Microsoft Corporation Interactive entertainment and information system using television set-top box
IL125141A0 (en) 1998-06-29 1999-01-26 Nds Ltd Advanced television system
US6863428B2 (en) 1997-10-24 2005-03-08 3M Innovative Properties Company Light guide illumination device appearing uniform in brightness along its length
JPH11219446A (ja) 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
US20020010019A1 (en) * 1998-03-16 2002-01-24 Kazukuni Hiraoka Game machine, and image processing method for use with the game machine
GB9813866D0 (en) 1998-06-29 1998-08-26 Williams David J Interactive television and readio system
US6207081B1 (en) 1998-07-17 2001-03-27 Murata Manufacturing Co., Ltd. Method for producing conductive composition and conductive composition
US6275239B1 (en) 1998-08-20 2001-08-14 Silicon Graphics, Inc. Media coprocessor with graphics video and audio tasks partitioned by time division multiplexing
US6314569B1 (en) 1998-11-25 2001-11-06 International Business Machines Corporation System for video, audio, and graphic presentation in tandem with video/audio play
GB9902235D0 (en) 1999-02-01 1999-03-24 Emuse Corp Interactive system
JP3133299B2 (ja) 1999-03-12 2001-02-05 株式会社スクウェア ゲーム装置、動画像表示方法及び記録媒体
AU758059B2 (en) 1999-05-04 2003-03-13 Two Way Media Limited Interactive applications
IL132859A (en) 1999-11-10 2008-07-08 Nds Ltd Data stream processing system
EP2076036A2 (en) 2000-01-14 2009-07-01 NDS Limited Advertisement in an end-user controlled playback environment
WO2001063916A1 (en) * 2000-02-25 2001-08-30 Interval Research Corporation Method and system for selecting advertisements
US8296792B2 (en) 2000-04-24 2012-10-23 Tvworks, Llc Method and system to provide interactivity using an interactive channel bug
EP1297695A2 (en) 2000-06-26 2003-04-02 NDS Limited Time shifted interactive television
JP2002016895A (ja) 2000-06-30 2002-01-18 Toshiba Corp テレビ電話装置
JP4978760B2 (ja) 2000-08-23 2012-07-18 ソニー株式会社 画像処理方法および画像処理装置
US8932136B2 (en) * 2000-08-25 2015-01-13 Opentv, Inc. Method and system for initiating an interactive game
US20020069415A1 (en) 2000-09-08 2002-06-06 Charles Humbard User interface and navigator for interactive television
FR2814630B1 (fr) 2000-09-22 2003-04-18 Eric Amsellem Procede et systeme de television interactive, et dispositif mettant en oeuvre ce procede
US20020086734A1 (en) * 2001-01-03 2002-07-04 Aditya Krishnan Set-top box storage of games for games for game console
EP1451661A1 (en) 2001-02-02 2004-09-01 Opentv, Inc. Service platform suite management system
WO2002067050A1 (en) 2001-02-16 2002-08-29 Imatte, Inc. Interactive teleconferencing display system
US20030011636A1 (en) 2001-06-14 2003-01-16 Gene Feroglia Method for magnifying images on a display screen and an interactive television guide system implementing the method
GB0117926D0 (en) 2001-07-23 2001-09-12 Nds Ltd Method for random access to encrypted content
JP2003186484A (ja) 2001-12-14 2003-07-04 Rekoode Onkyo:Kk カラオケ装置用カラースーパーインポーザー
US20030184679A1 (en) 2002-03-29 2003-10-02 Meehan Joseph Patrick Method, apparatus, and program for providing slow motion advertisements in video information
EP1416727A1 (en) 2002-10-29 2004-05-06 Accenture Global Services GmbH Moving virtual advertising
KR101018320B1 (ko) 2003-02-11 2011-03-04 엔디에스 리미티드 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
US7468735B2 (en) 2003-07-24 2008-12-23 Sony Corporation Transitioning between two high resolution images in a slideshow
DE602004018034D1 (de) 2004-01-26 2009-01-08 Nds Ltd Zeitlinienschutz
GB2412802A (en) 2004-02-05 2005-10-05 Sony Uk Ltd System and method for providing customised audio/video sequences
AU2005214571B2 (en) 2004-02-23 2009-10-01 Panasonic Corporation Display processing device
KR101374034B1 (ko) 2005-07-18 2014-03-12 톰슨 라이센싱 다중 비디오 스트림을 핸들링하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002690A2 (ko) * 2010-06-27 2012-01-05 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2012002690A3 (ko) * 2010-06-27 2012-04-26 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
US9258544B2 (en) 2010-06-27 2016-02-09 Lg Electronics Inc. Digital receiver and method for processing caption data in the digital receiver
US9578305B2 (en) 2010-06-27 2017-02-21 Lg Electronics Inc. Digital receiver and method for processing caption data in the digital receiver

Also Published As

Publication number Publication date
US20060125962A1 (en) 2006-06-15
AU2004211721B2 (en) 2009-08-20
EP1599998B1 (en) 2011-04-06
US8370892B2 (en) 2013-02-05
WO2004072935A2 (en) 2004-08-26
US7752648B2 (en) 2010-07-06
US20100225742A1 (en) 2010-09-09
KR101018320B1 (ko) 2011-03-04
WO2004072935A3 (en) 2005-09-01
EP1599998A2 (en) 2005-11-30
EP1599998A4 (en) 2009-04-15
AU2004211721A2 (en) 2004-08-26
AU2004211721A1 (en) 2004-08-26

Similar Documents

Publication Publication Date Title
KR101018320B1 (ko) 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
US6314569B1 (en) System for video, audio, and graphic presentation in tandem with video/audio play
US10791285B2 (en) Virtual flying camera system
US7782344B2 (en) Digital video zooming system
EP2080367B1 (en) Displaying video
US10063790B2 (en) Virtual flying camera system
US6452598B1 (en) System and method for authoring and testing three-dimensional (3-D) content based on broadcast triggers using a standard VRML authoring tool
US20070195097A1 (en) Interactive Video
US20070035665A1 (en) Method and system for communicating lighting effects with additional layering in a video stream
KR102273439B1 (ko) 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법
Rafey et al. Enabling custom enhancements in digital sports broadcasts
US20090209347A1 (en) Start of game delay via spectator function for use in television production
KR20070033581A (ko) 멀티 앵글 디지털 방송 시스템 및 그 방법
WO2000042773A1 (en) System and method for implementing interactive video
KR100811022B1 (ko) 방송카메라와 연동된 주문형 방송서비스방법
US9479713B2 (en) Method of video enhancement
Gibbs et al. Broadcast games and digital television
WO2013150724A1 (ja) 送信装置、再生装置及び送受信方法
JP5022542B2 (ja) テレビジョン放送方法及び放送システム
Hoch et al. Enabling Custom Enhancements in Digital Sports Broadcasts
IL191265A (en) Digital video zooming system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140210

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180208

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 10