KR20050049516A - 동적 쌍방향 콘텐츠 시스템 - Google Patents

동적 쌍방향 콘텐츠 시스템 Download PDF

Info

Publication number
KR20050049516A
KR20050049516A KR1020057005727A KR20057005727A KR20050049516A KR 20050049516 A KR20050049516 A KR 20050049516A KR 1020057005727 A KR1020057005727 A KR 1020057005727A KR 20057005727 A KR20057005727 A KR 20057005727A KR 20050049516 A KR20050049516 A KR 20050049516A
Authority
KR
South Korea
Prior art keywords
content
main
interactive
data
main content
Prior art date
Application number
KR1020057005727A
Other languages
English (en)
Other versions
KR100720785B1 (ko
Inventor
마사유키 차타니
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 인코포레이티드
Publication of KR20050049516A publication Critical patent/KR20050049516A/ko
Application granted granted Critical
Publication of KR100720785B1 publication Critical patent/KR100720785B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/409Data transfer via television network
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/552Details of game data or player data management for downloading to client devices, e.g. using OS version, hardware or software profile of the client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Liquid Crystal Substances (AREA)

Abstract

동적 쌍방향 콘텐츠 시스템에 관한 발명이 제공된다. 동적 쌍방향 콘텐츠 시스템은 오디오/비디오 데이터와 같은 주 콘텐츠 및 주 콘텐츠와 관련된 부가 콘텐츠의 수신이 가능한 수신기를 포함한다. 여기에 수신기와 통신하는 영구 저장 장치가 더 포함되며, 영구 저장 장치는 복수의 주 콘텐츠 목록 및 관련 부가 콘텐츠 목록을 저장할 수 있다. 또한 이 시스템은 쌍방향 응용 프로그램을 실행할 수 있는 처리기를 포함한다. 작동시에 쌍방향 응용 프로그램은 특정 데이터를 갖는 특정 부가 콘텐츠 목록을 찾기 위해 저장된 복수의 부가 콘텐츠 목록들을 검색한다. 그 때 쌍방향 응용 프로그램은 특정 부가 콘텐츠 목록과 관련된 주 콘텐츠 목록의 적어도 일부를 사용자에게 표시한다.

Description

동적 쌍방향 콘텐츠 시스템{DYNAMIC INTERACTIVE CONTENT SYSTEM}
본 발명은 쌍방향 콘텐츠 시스템에 관한 것으로, 보다 상세하게는 통합 개인 비디오 기록 기능을 갖는 쌍방향 콘텐츠 시스템에 관한 것이다.
오늘날 게임 콘솔(console)과 같은 쌍방향 콘텐츠 시스템이 전세계의 개개인에게 유틸리티(utility)와 오락 메커니즘을 제공하고 있다. 예를 들면, 쌍방향 콘텐츠 시스템은 사용자가 DVD(digital video disc)를 볼 수 있도록 하고, 쌍방향 오락 소프트웨어를 구동시킬 수 있도록 하며, 또한 인터넷 브라우징을 가능케 한다. 게다가, 쌍방향 콘텐츠 시스템은 교육용 쌍방향 소프트웨어를 통해 흥미로운 학습 환경을 제공한다.
도1은 전형적인 종래의 쌍방향 콘텐츠 시스템(100)을 보여주는 블럭도이다. 일반적으로 종래의 쌍방향 콘텐츠 시스템(100)은 복수의 구성 요소들을 연결하는 시스템 버스(104)에 연결된 중앙처리장치(CPU; 102)를 포함한다. 예를 들면, 시스템 버스(104)는 종종 그래픽 처리 장치(GPU; 106), 작동 요청부(108), 메모리(110), 이동 가능 매체 드라이브(112) 및 비디오/오디오 출력 회로(114)에 연결되어 있다.
작동시, CD(compact disc)나 DVD와 같은 이동 가능 매체가 이동 가능 매체 드라이브(112)에 놓이고, 이동 가능 매체 드라이브는 CD의 데이터를 읽은 후에 프로그램 정보를 메모리(110)에 전송한다. CPU(102)는, GPU와 연계하여, 메모리로부터의 프로그램 명령을 실행한다. 또한, 통상적으로 작동 요청부(108)는 게임 제어기, 원격 제어기, 키보드 등과 같이 사용자 입력 데이터를 쌍방향 콘텐츠 시스템(100)에게 보내거나 받을 수 있는 사용자 입력 장치와 통신한다. 일반적으로 CPU(102)상에서 실행되는 프로그램으로부터의 출력은 흔히 텔레비젼, 또는 다른 모니터와 스피커 시스템상에 표시하기 위해 비디오/오디오 출력 회로(114)로 제공된다.
이러한 방식으로 사용자들은 작동 요청부(108)를 통해 사용자들에게 표시된 정보와 상호작용할 수 있다. 하지만, 잘 살펴보면 알 수 있듯이, 사용자는 이동 가능 매체 드라이브를 통해서 이동 가능 매체가 제공하는 정적인 정보와의 상호작용만으로 제한된다. 예를 들면, 오락 소프트웨어를 기반으로 하는 경기를 할 때, 경기 결과가 쌍방향 콘텐츠 시스템(100)에서 제공하는 오락 환경에 포함될 수 없다. 더군다나, 교육 정보는 이동 가능 매체가 제작되었던 시기에 이용될 수 있는 정보로 제한되고, 그 결과, 종래의 쌍방향 콘텐츠 시스템(100)으로는 이동 가능 매체 제작 후 발생한 사건이나 발견들을 사용자가 이용할 수 없다.
사용자가 현재의 사건들에 접근하는 데에 개인 비디오 기록 장치(PVR;personal video recording)와 같은 시스템들이 이용될 수 있지만, 일반적으로 이러한 시스템들은 사용자에게 매력적인 쌍방향 환경을 제공하지는 않는다. 예를 들면, 현재의 방송을 기록하는 PVR 시스템은 일반적으로 기록된 사건들을 되감고, 정지시키며 되돌려 볼 수만 있다. 사용자는 표시되는 사건들을 수동적으로 볼 수만 있다. 즉, 종래의 쌍방향 콘텐츠 시스템에서는 사용자는 콘텐츠와의 상호작용이 허용되지 않는다.
상기 사항을 고려할 때, 동적인 매체가 쌍방향 콘텐츠와 함께 이용이 가능하도록 하는 쌍방향 콘텐츠 시스템이 필요하다. 그러한 시스템은 쌍방향 응용 프로그램들(applications)과 함께, 네트 p 방송 및 다른 콘텐츠 제공자로부터 제공되는 현재의 콘텐츠도 이용될 수 있도록 해야 한다.
도1은 전형적인 종래의 쌍방향 콘텐츠 시스템을 보여주는 블럭도이다.
도2는 본 발명의 실시예에 따른 동적 쌍방향 콘텐츠 환경을 나타내는 도면이다.
도3은 본 발명의 실시예에 따른 대표적인 동적 쌍방향 콘텐츠 시스템을 보여주는 블럭도이다.
도4는 시청 가능 영역과 시청 불가능 영역 VBI를 포함하는 통상적인 TV 프레임을 보여주는 예이다.
도5는 본 발명의 실시예에 따른 네트 p 기반 콘텐츠 배급 구성을 보여주는 예이다.
도6은 본 발명의 실시예에 따른 동적 쌍방향 콘텐츠 시스템의 대표적인 영구 저장 장치를 보여주는 예이다.
도7은 본 발명의 실시예에 따른 동적 쌍방향 응용 프로그램 표시 예이다.
개괄적으로, 본 발명은 미리 기록되는 영상 및 오디오 데이터를 이용하여 동적인 매체를 쌍방향 콘텐츠와 결합하는 동적 쌍방향 콘텐츠 시스템을 제공함으로써 상기의 요구사항을 충족시킨다. 이 시스템은 쌍방향 응용 프로그램들과 함께, 네트 p 방송 및 다른 콘텐츠 제공자로부터 제공되는 콘텐츠도 이용될 수 있도록 한다.
일실시예로, 동적 쌍방향 콘텐츠 시스템이 개시된다. 동적 쌍방향 콘텐츠 시스템은 오디오/비디오 데이터와 같은 주 콘텐츠(main content) 및 주 콘텐츠와 관련된 부가 콘텐츠(supplemental content)의 수신이 가능한 수신기를 포함한다. 여기에 수신기와 통신하는 영구 저장 장치가 더 포함되며, 영구 저장 장치는 복수의 주 콘텐츠 목록 및 관련 부가 콘텐츠 목록을 저장할 수 있다. 또한 이 시스템은 쌍방향 응용 프로그램을 실행할 수 있는 처리기를 포함한다. 작동시에 쌍방향 응용 프로그램은 특정 데이터를 갖는 특정 부가 콘텐츠 목록을 찾기 위해 저장된 복수의 부가 콘텐츠 목록들을 검색한다. 그 때 쌍방향 응용 프로그램은 특정 부가 콘텐츠 목록과 관련된 주 콘텐츠 목록의 적어도 일부를 사용자에게 표시한다. 일반적으로 부가 콘텐츠 목록은 관련된 주 콘텐츠 목록의 특징을 설명하는 데이터를 포함할 수 있다. 예를 들어, 데이터는 관련된 주 콘텐츠을 수신하기 위해 이용되는 채널을 정의하는 채널 정의 및 관련된 주 콘텐츠가 수신되었던 시간을 정의하는 시간 정의를 포함할 수 있다. 여기에, 데이터는 관련된 주 콘텐츠에 포함된 특정 사건에 대한 시간 코드를 더 포함할 수 있다. 이 경우에, 쌍방향 응용 프로그램은 시간 코드에 의해 특정된 주 콘텐츠 목록안의 한 위치에서 시작하는 주 콘텐츠 데이터를 표시할 수 있다.
또 다른 동적 쌍방향 콘텐츠 시스템이 본 발명의 추가 실시예로 개시된다. 위에서와 같이 동적 쌍방향 콘텐츠 시스템은 오디오/비디오 데이터와 같은 주 콘텐츠 및 주 콘텐츠와 관련된 부가 콘텐츠의 수신이 가능한 수신기를 포함한다. 여기에 수신기와 통신하는 영구 저장 장치가 더 포함되며, 영구 저장 장치는 복수의 주 콘텐츠 목록 및 관련 부가 콘텐츠 목록을 저장할 수 있다. 여기에 사용자 입력 장치와 통신하는 작동 요청부가 더 포함된다. 작동 요청부는 사용자 입력장치를 통해 사용자 요구를 수신할 수 있다. 이 시스템은 또한 영구 저장장치와 작동 요청부와 통신하는 처리기를 포함한다. 작동시에 처리기는 수신된 사용자 요구와 관련된 특정 데이터를 갖는 특정 부가 콘텐츠 목록을 찾기 위해 저장된 복수의 부가 콘텐츠 목록들을 검색한다. 그 때 처리기는 특정 부가 콘텐츠 목록과 관련된 주 콘텐츠 목록 일부를 사용자에게 표시할 수 있다. 게다가, 처리기는 앞에서 설명한 바와 같이 쌍방향 응용 프로그램을 실행할 수 있다.
동적 쌍방향 콘텐츠를 제공하는 방법이 본 발명의 추가 실시예에서 개시된다. 이 방법은 복수의 주 콘텐츠와 주 콘텐츠와 관련된 부가 콘텐츠를 수신하는 단계를 포함한다. 복수의 주 콘텐츠와 관련 부가 콘텐츠가 저장된다. 그 다음에 특정 데이터를 갖는 특정 콘텐츠를 찾기 위해 복수의 부가 콘텐츠가 검색된다. 그 때 사용자 입력 데이터에 응답할 수 있는 쌍방향 응용 프로그램을 이용해서, 특정 부가 콘텐츠와 관련된 주 콘텐츠가 사용자에게 표시된다. 부가 콘텐츠가 인터넷상의 웹사이트를 통해 수신될 수도 있다. 예를 들면, 웹사이트는 부가 콘텐츠 데이터베이스와 관련된 색인(index)를 포함할 수 있다. 이 경우에 부가 콘텐츠 데이터베이스는 부가 콘텐츠 목록을 얻기 위해 색인을 이용해서 검색될 수 있다. 앞에서와 같이 부가 콘텐츠에 포함된 데이터는 관련된 주 콘텐츠을 수신하기 위해 이용되는 채널을 정의하는 채널 정의 및 관련된 주 콘텐츠가 수신되었던 시간을 정의하는 시간 정의를 포함할 수 있다. 본 발명의 장점들과 다른 형태들은 아래의 상세한 설명 및 도면으로부터 분명해질 것이다.
본 발명은 사전에 기록된 비디오 및 오디오 데이터를 이용해서 동적 매체와 쌍방향 콘텐츠를 결합하는 동적 쌍방향 콘텐츠 시스템에 관한 것이다. 이 시스템은 네트 p 방송 및 다른 콘텐츠 제공자로부터 제공되는 콘텐츠가 쌍방향 응용 프로그램과 연계해서 이용될 수 있도록 한다. 개괄적으로, 본 발명의 실시예는 네트 p이나 위성 방송과 같은 콘텐츠 제공자가 제공하는 오디오/비디오 데이터 등의 주 콘텐츠를 하드 드라이브 등을 이용해서 영구 저장 형태로 기록한다. 주 콘텐츠와 함께 주 콘텐츠를 설명하는 부가 데이터가 기록된다. 예를 들면, 부가 데이터는 주 콘텐츠가 기록된 시간, 수신된 채널, 기록된 자료 유형(예를 들어 영화인지 스포츠인지)과 같은 정보를 포함할 수 있다. 부가 데이터를 검색함으로써 쌍방향 응용 프로그램이 응용 프로그램내에서의 사용을 위해 특정 주 콘텐츠를 검색할 수 있다. 이러한 방법으로 쌍방향 응용 프로그램이 사용자 표시에 현재의 방송과 다른 자료를 이용할 수 있다.
이하에서 본 발명에 대한 충분한 이해를 돕기 위해 여러 상세한 내용을 소개하고자 한다. 하지만 이러한 상세한 내용이 없이도 당업자에 의해 본 발명이 실시될 수 있음은 자명한 일일 것이다. 본 발명을 필요없이 불명확하게 되지 않기 위해 잘 알려진 처리 절차들은 자세히 기술되지 않을 것이다. 또한 아래의 설명에서 "주 콘텐츠" 용어는 쌍방향 응용 프로그램에서 이용될 수 있는 데이터를 지시하기 위해 사용될 것이다. 예를 들면, 주 콘텐츠는 텔레비젼이나 케이블 텔레비젼 프로그램에서와 같은 오디오/비디오 데이터일 수 있다. 주 콘텐츠는 상업용 라디오 방송망에서의 오디오를 기록한 오디오 데이터일 수도 있다. 주 콘텐츠의 다른 예들은 인터넷과 같은 광역망(wide area network)으로부터 기록된 MPEG 데이터나 다른 류의 영상 데이터 및 쌍방향 응용 프로그램에 이용될 수 있는 어떠한 형태의 다른 데이터를 포함할 수 있다. 또한 "표시" 및 "표시 데이터" 용어는 사용자에게 표시되는 임의의 데이터를 나타낸다. 표시 데이터는 텔레비젼, 모니터 및 스피커를 이용해 사용자에게 표시되는 비디오, 영상 또는 오디오 데이터 등이다.
도2는 본 발명의 실시예에 따른 동적 쌍방향 콘텐츠 환경(200)을 나타내는 도면이다. 동적 쌍방향 콘텐츠 환경(200)은 방송망과 같은 주 콘텐츠 공급원(204)과 통신하는 동적 쌍방향 콘텐츠 시스템(202)을 포함한다. 주 콘텐츠 공급원(204)은 방송망, 케이블 방송국, 위성 제공자, 라디오 방송국과 같은 주 콘텐츠를 제공할 수 있는 임의의 네트 p, 또는 주 콘텐츠를 제공할 수 있는 임의의 다른 제공자일 수 있다. 게다가, 동적 쌍방향 콘텐츠 시스템(202)은 인터넷이나 다른 광역망(206)과 같은 부가 콘텐츠 제공자(206)와 통신할 수 있다. 부가 콘텐츠를 주콘텐츠 신호에 삽입함으로써, 부가 콘텐츠 제공자(206)는 주 콘텐츠 제공자(204)와 같은 공급원일 수 도 있다. 위에서 언급된 바와 같이, 본 발명에 따른 실시예는 주 콘텐츠 공급원(204)에서 제공하는 오디오/영상 비디오 데이터와 같은 주 콘텐츠가 쌍방향 응용 프로그램과 연계해 이용될 수 있도록 한다. 영구 저장 장치에 주 콘텐츠를 저장하고 부가 콘텐츠를 이용해서 주 콘텐츠 설명을 제공함으로써, 본 발명에 따른 실시예는 사용자에게 표시를 제공할 시에 쌍방향 응용 프로그램이 기록된 주 콘텐츠를 이용할 수 있도록 한다.
예를 들면, 본 발명에 따른 실시예는 방송망과 같은 주 콘텐츠 공급원(204)으로부터의 스포츠 이벤트를 기록할 수 있다. 그 때, 동적 쌍방향 콘텐츠 시스템(202)상에서 실행되는 쌍방향 응용 프로그램은 실행시에 스포츠 이벤트의 특정 요소를 이용할 수 있다. 예를 들어, 쌍방향 미식축구 게임 응용 프로그램은 사용자에게 표시하기 위해 사전에 기록된 미식축구 게임의 일부를 이용할 수 있고, 따라서 쌍방향 경험의 현실감을 높일 수 있다.
특히, 본 발명에 따른 실시예는 방송망과 같은 주 콘텐츠 공급원(204)으로부터 주 콘텐츠를 수신하고, 인터넷과 같은 부가 콘텐츠 공급원(206)으로부터 부가 콘텐츠를 수신한다. 그 다음에, 수신된 주 콘텐츠는 동적 쌍방향 콘텐츠 시스템(202)내에 있는 하드 드라이브나 다른 영구 저장 장치에 저장된다. 동적 쌍방향 콘텐츠 시스템(202)은 부가 콘텐츠 공급원(206) 또는/및 주 콘텐츠 공급원(204)로부터 주 콘텐츠와 관련된 부가 콘텐츠를 수신한다.
부가 콘텐츠는 주 콘텐츠를 설명하는 정보를 포함한다. 예를 들면, 부가 데이터는 주 콘텐츠가 기록된 시간과 주 콘텐츠를 제공하는 채널(또는 URL)을 포함할 수 있다. 부가 콘텐츠는 주 콘텐츠 유형과 주 콘텐츠에 있는 특정 장면에 대한 시간 코드를 더 포함할 수 있다. 예를 들면, 부가 콘텐츠는 특정 프로그램이 영화이고, 추격 장면과 같은 특정 장면이 특정 시간 코드(예: 영화속 30분 10초)에 위치하고 있다는 것을 표시할 수 있다. 위에서 언급된 바와 같이, 부가 콘텐츠는 주 콘텐츠 신호에 삽입될 수 있고, 웹사이트와 같은 별개의 부가 콘텐츠 공급원(206)에 있을 수도 있다.
개괄적으로, 동적 쌍방향 콘텐츠 시스템(202)은 부가 콘텐츠를 주 콘텐츠에 결합한다. 이런 방법으로, 응용 프로그램은 특정 특성을 갖는 주 콘텐츠를 찾기 위해 영구 저장 장치에 저장되어 있는 부가 콘텐츠를 검색할 수 있다. 예를 들면, 쌍방향 응용 프로그램은 경주 게임의 영상 경험을 높이기 위해 차량 추격 장면을 필요로 할 수도 있다. 이 경우에, 응용 프로그램은 차량 추격 장면들에 대해 영구 저장된 부가 데이터를 검색할 수 있다. 일단 발견되면, 응용 프로그램은 차량 추격 시간 코드를 결정하고, 추격 장면 특정 시간 코드에 출발하는 사용자에게 관련되는 주 콘텐츠를 표시하기 위해서 선택된 부가 데이터를 읽을 수 있다.
도3은 본 발명의 실시예에 따른 대표적인 동적 쌍방향 콘텐츠 시스템(202)을 보여주는 블럭도이다. 도3에서와 같이 동적 쌍방향 콘텐츠 시스템(202)은 여러 시스템 구성 요소들을 연결하는 시스템 버스(302)에 연결된 CPU(300)를 포함한다. 예를 들면, 시스템 버스(302)는 GPU(304), 메모리(306) 및 망 인터페이스 카드(308)와 튜너(310)을 갖는 수신기(322)에 연결되어 있다. 또한, 시스템 버스(302)는 암호/복호 신호 처리기(312), 작동 요청부(314), 영구 저장 장치(316), 비디오/오디오 출력 회로(318) 및 이동 가능 매체 드라이브(320)에 연결될 수 있다.
위에서 언급된 바와 같이, 동적 쌍방향 콘텐츠 시스템(202)은 쌍방향 응용 프로그램에서 사용하기 위해 주 콘텐츠를 기록한다.특히, 수신기(322)는 수신하고 주 콘텐츠와 부가 콘텐츠 신호를 동적 쌍방향 콘텐츠 시스템(202)의 적절한 모듈(module)에 라우팅(routing)하기 위해 이용된다. 도3에 보인 바와 같이, 전형적인 수신기(322)는 망 인터페이스 카드(NIC)와 같은 망 어댑터(308) 및 튜너(310)를 포함할 수 있다.
튜너(310)는 텔레비젼 방송국이나 라디오 채널의 반송 주파수 (carrier frequency)를 찾아 맞추고, 증폭과 표시를 위해 오디오 및 비디오 신호들을 필터링 하기 위해 이용될 수 있다. 그와 같이 튜너(310)는 안테나, 위성 접시(satellite dish), 케이블 또는 주 콘텐츠 공급원으로부터 튜너(310)에 신호를 전송할 수 있는 수신단과 연계하여 이용될 수 있다. 일단 수신되면 주 콘텐츠는 하드 드라이브(316) 같은 영구 저장 장치를 이용해 저장된다.
종종 수신된 데이터는 하드 드라이브(316)에 데이터를 기록하기 전에 MPEG과 같은 특별한 파일 형식으로 암호화 된다. 이것은 전형적으로 데이터를 특별한 파일 형식으로 암호화하거나 표시를 위해 데이터 파일을 복호화하는 암호/복호 장치(312)를 이용해 이루어진다. 일실시예로, 튜너(310)을 이용해 수신된 주 콘텐츠가 암호/복호 장치(312)에 제공되고, 암호/복호 장치(312)는 주 콘텐츠를 암호화해서 하드 드라이브(316)에 전송한다. 또한, 튜너(310)은 주 콘텐츠를 비디오/오디오 출력 회로(318)에 제공하면, 비디오/오디오 출력 회로(318)는 사용자에게 주 콘텐츠를 표시한다. CPU(300)는 하드 드라이브(316)로부터 암호화된 주 콘텐츠를 읽도록 요청하는 명령을 암호/복호 장치(312)에 전송할 수 있다. 그 때 암호/복호 장치(312)는 전에 암호화된 데이터를 복호화하고 사용자에게 표시하기 위해 비디오/오디오 출력 회로(318)로 복호화된 데이터를 제공할 수 있다.
주 콘텐츠는 또한 NIC(308)를 이용해 수신될 수 있다. 예를 들어, MPEG 비디오 또는 WAV 오디오 파일이 인터넷 웹 페이지와 같은 주 콘텐츠 공급원으로부터 내려 받아질 수 있다. 이 경우에, 수신된 주 콘텐츠는 하드 드라이브(316)에 기록되기 전에 암호화가 필요하지 않을 수도 있다. 예를 들면, 주 콘텐츠가 MPEG 비디오일 때, MPEG 데이터가 일반적으로 하드 드라이브(316)에 직접 저장될 수 있다. 검색시에, 동적 쌍방향 콘텐츠 시스템(202)은 주 콘텐츠를 비디오/오디오 출력 회로(318)로 제공하기 전에 저장된 데이터를 복호화하기 위해 암호/복호 장치(312)를 다시 이용할 수 있다. 이러한 방법으로 주 콘텐츠는 필요에 따라 하드 드라이브(316)에 저장되기도 하고 검색될 수도 있다.
이전에 언급된 바와 같이, 본 발명에 따른 실시예는 주 콘텐츠 외에 부가 콘텐츠를 수신한다. 부가 콘텐츠는 특정 주 콘텐츠 파일의 양상, 속성 및 특징을 설명하는 정보를 제공한다. 예를 들면, 부가 콘텐츠는 주 콘텐츠가 수신된 채널이나 수신된 시간 및 주 콘텐츠내에 포함된 장면이나 프레임의 설명과 같은 정보를 포함할 수 있다. 더욱이, 주 콘텐츠내의 특정 장면이나 사건에 대한 시간 코드 또는 프레임 영역과 같은 보다 상세한 정보가 부가 콘텐츠에 포함될 수 있다. 예를 들면, 주 콘텐츠가 자동차 경주 비디오일 때, 부가정보는 자동차 경주가 방송된 채널, 방송된 시간, 운전자 정보, 자동차 제어가 불가능했던 시간 및 스핀아웃(spinout) 또는 경기 종료와 같이 경주중 발생한 사건 설명을 포함할 수 있다. 또한 부가 콘텐츠는 스핀아웃이 발생한 분/초를 표시할 수 있다.
부가 콘텐츠는 주 콘텐츠 공급원이나 별개의 부가 콘텐츠 공급원으로부터 수신될 수 있다. 주 콘텐츠 공급원으로부터 수신될 때, 부가 콘텐츠는 전형적으로 주 콘텐츠 신호에 삽입된다. 예를 들면 부가 콘텐츠가 도4를 참고해서 다음에 설명되는 바와 같이 TV 프레임의 VBI(vertical blanking interval; 수직 공백 간격)내에 삽입될 수 있다.
도4는 시청 가능 영역과 시청 불가능 영역 VBI를 포함하는 통상적인 TV 프레임을 보여주는 예이다. TV 프레임(400)의 시청 가능 영역(402)과 VBI(404)는 각각 복수의 프레임 선(406)으로 구성된다. 시청 가능 영역(402)의 프레임 선(406)은 TV 신호의 비디오 부를 표시하기위해 사용되는 한편, 각 TV 비디오 프레임 사이에 보내지는 프레임 선이 VBI를 구성한다. 예를 들면, NTSC(National Television Standards Committee) 표준에서는 VBI(404)가 각 525-선 TV 프레임(400)의 마지막 45개의 프레임 선들을 구성한다. VBI(404)가 현재의 TV 프레임의 하단으로부터 다음 TV 프레임의 상단까지 전자빔(electron beam)을 재위치하는 시간을 준다. 더욱이, VBI(404)는 시청 가능 데이터를 전송하는 데 사용되지 않으므로, VBI(404)는 시청 가능 영역(402)에서 전송되는 주 콘텐츠를 설명하는 부가 콘텐츠를 전송하기 위해 이용될 수 있다.
주 콘텐츠 신호에 부가 콘텐츠를 삽입하는 것 외에, 본 발명에 따른 실시예는 또한 인터넷과 같은 네트 p을 통해 부가 정보를 얻을 수 있다. 도5는 본 발명의 실시예에 따른 네트 p 기반 콘텐츠 배급 구성(500)을 보여주는 예이다. 네트 p 기반 콘텐츠 배급 구성(500)을 이용해서, 본 발명의 실시예는 네트 p으로 부가 콘텐츠 및/또는 주 콘텐츠를 얻을 수 있다. 예를 들면, 도5에 보여진 바와 같이, 동적 쌍방향 콘텐츠 시스템(202)은 인터넷(502)과 같은 광역 네트 p과 통신하도록 위치시킬 수 있다. 더욱이, 부가 콘텐츠 공급원(206a-b)은 인터넷(502)과 통신할 수 있으므로, 멀리 떨어진 동적 쌍방향 콘텐츠 시스템(202)이 원격으로 부가 콘텐츠 공급원(206a-b)을 접속하는 게 가능하다. NIC 또는 수신기내에 있는 다른 네트 p 인터페이스를 이용해서, 동적 쌍방향 콘텐츠 시스템(202)은 네트 p 기반 부가 콘텐츠 공급원(206a-b)으로부터 부가 콘텐츠를 수신할 수 있다. 일반적으로, NIC는 데이터 링크 레벨(data link level)에 있는 데이터 노드(node) 사이의 데이터 교환을 제어하는 인쇄회로기판일 수 있으며, NIC는 컴퓨터 망을 이용한 통신용으로 이용된다.
예를 들어, 특정 부가 콘텐츠 공급원(206a)은 특정 URL(universal resource locator)을 이용해 찾아지는 웹사이트일 수 있다. 잘 알려진 바와 같이, URL은 WWW(World Wide Web) 또는 다른 인터넷 설비상에 있는 파일에 대한 경로를 정의하는 주소이다. 이 예에서, 동적 쌍방향 콘텐츠 시스템(202)은 영구 저장에 부가 콘텐츠 공급원(206a)에 대한 URL을 포함할 수 있다. 필요한 경우에, 동적 쌍방향 콘텐츠 시스템(202)내의 CPU가 시스템 메모리내로 URL을 읽어들여 올 수 있고, 그 URL을 NIC에 제공할 수 있다. 그 때 NIC는 인터넷(502)을 통한 부가 콘텐츠 공급원(206a)과의 통신을 용이하게 한다.
부가 콘텐츠 공급원(206a)은 채널 및 시간 색인(506)을 포함할 수 있는 데, 채널과 시간 색인(506)은 부가 콘텐츠 데이터베이스(508)를 이용해 특별히 관련된 주 콘텐츠를 위한 부가 콘텐츠를 위치시키는 데 이용될 수 있다. 일실시예로, 동적 쌍방향 콘텐츠 시스템(202)은 부가 콘텐츠 공급원(206a)의 채널 및 시간 색인(506)에 채널과 시간을 제공할 수 있다. 일반적으로, 특정 프로그램이 방송된 채널과 시간은 충분히 주 콘텐츠를 확인할 수 있을 것이다. 하지만 본 발명에서 다른 색인 유형들도 (예: 프로그램명, 확인 번호, 스포츠 이벤트의 참석자 이름 및 주 콘텐츠 확인(identification)의 다른 형식 등) 이용될 수 있음은 당업자들에게는 자명한 일일 것이다.
일단 주 콘텐츠 확인이 수신되면 (이 경우에는 프로그램 채널과 시간), 채널 및 시간 색인(506)은 부가 콘텐츠 데이터베이스(508)을 검색하여 일치하는 채널 및시간 확인을 갖는 부가 콘텐츠를 찾을 수 있다. 일실시예로, 부가 콘텐츠 데이터베이스(508)는 부가 콘텐츠 목록을 구성할 수 있는 데, 각 부가 콘텐츠 목록은 확인 필드(field)를 포함한다. 예를 들어, 부가 콘텐츠 데이터베이스(508)안의 부가 콘텐츠 목록은 채널 및 시간 색인(506)에 의해 검색되는 채널 및 시간 확인 필드를 포함할 수 있다. 일단 일치하는 부가 콘텐츠 목록이 발견되면, 부가 콘텐츠 공급원(206a)은 일치하는 부가 콘텐츠를 인터넷(502)을 통해 동적 쌍방향 콘텐츠 시스템(202)으로 되돌려 줄 수 있다.
또한, 도5에 나타낸 바와 같이, 디지털 주 콘텐츠 공급원(204a-b)은 인터넷(502)으로 통신할 수 있고, 멀리 떨어져 있는 동적 쌍방향 콘텐츠 시스템(202)으로의 접속이 가능하게 한다. 이상과 같이, 동적 쌍방향 콘텐츠 시스템(202)은 NIC나 수신기내의 다른 네트 p 인터페이스를 이용하여 네트 p 기반 디지털 주 콘텐츠 공급원(204a-b)으로부터 디지털 주 콘텐츠를 수신할 수 있다.
예를 들어, 특정 주 콘텐츠 공급원(204a)는 특정 URL을 이용하여 연결될 수 있는 웹사이트일 수 있다. 예로, 동적 쌍방향 콘텐츠 시스템(202)이 영구 저장상에 디지털 주 콘텐츠 공급원(204a)에 대한 URL을 포함할 수 있다. 필요한 경우에, 동적 쌍방향 콘텐츠 시스템(202)내의 CPU가 시스템 메모리내로 URL을 읽어 와, 그 URL을 NIC에 제공할 수 있다. 그 때 NIC는 인터넷(506)을 통한 디지털 주 콘텐츠 공급원(204a)과의 통신을 용이하게 한다.
일단 동적 쌍방향 콘텐츠 시스템(202)이 특정 주 콘텐츠와 관련 부가 콘텐츠를 얻으면, 부가 콘텐츠는 관련 주 콘텐츠에 결합된다. 도6은 본 발명의 실시예에 따른 동적 쌍방향 콘텐츠 시스템의 대표적인 영구 저장 장치(316)를 보여주는 예이다. 도6에 보여진 바와 같이, 다수의 부가 콘텐츠 목록들(600a-600n)과 다수의 주 콘텐츠 목록들(602a-602n)이 영구 저장 장치(316)에 저장된다. 게다가, 각 부가 콘텐츠 목록들(600a-600n)은 관련된 주 콘텐츠 목록들(602a-602n)과 결합된다. 예를 들어, 부가 콘텐츠 목록(600a)은 주 콘텐츠 목록(602a)과 결합되며, 부가 콘텐츠 목록(600b)은 주 콘텐츠 목록(602b)과 결합된다.
이전에 언급된 바와 같이, 각 부가 콘텐츠 목록들(600a-600n)은 관련된 주 콘텐츠 목록들(602a-602n)의 속성,양상 및 특징을 설명하는 정보를 제공한다. 예를 들면, 주 컨텐 목록이 트가 자동차 경주 비디오일 때, 결합된 부가 콘텐츠는 자동차 경주가 방송된 채널, 방송된 시간, 운전자 정보, 자동차 제어가 불가능했던 시간 및 스핀아웃(spinout) 또는 경기 종료와 같이 경주중 발생한 사건 설명을 포함할 수 있다. 또한, 부가 콘텐츠는 이 사건 각각의 시간 코드를 포함할 수 있는 데, 예를 들어, 부가 콘텐츠는 스핀아웃이 발생한 분/초를 표시할 수 있다.
이러한 방법으로 본 발명 실시예는 특정 주 콘텐츠를 찾기 위해 시스템상에 있는 부가 콘텐츠를 검색할 수 있다. 예를 들면, 사용자가 복싱 시합 리스트를 요청할 수 있다. 이 예에서, 본 발명 실시예는 복싱 시합인 주 콘텐츠 목록들(602a-602n)을 얻기 위해 부가 콘텐츠 목록들(600a-600n)을 검색할 수 있다. 게다가, 본 발명 실시예는 특정 주 콘텐츠 파일에 포함된 특정 장면이나 사건에 접근하기 위해 부가 콘텐츠 목록들(600a-600n)을 이용할 수 있다. 예를 들어, 사용자가 최소한 한번 녹다운이 발생한 복싱 시합 리스트를 요청할 수 있다. 이 예에서, 본 발명 실시예는 복싱 시합이면서 목록내에 녹다운이 포함된 주 콘텐츠 목록들(602a-602n)을 얻기 위해 부가 콘텐츠 목록들(600a-600n)을 검색할 수 있다.
영구 저장된 특정 주 콘텐츠를 찾기 위한 부가 콘텐츠 검색 능력은 본 발명 실시예가 쌍방향 응용 프로그램과 연계해 주 콘텐츠를 편리하게 이용하도록 한다. 다시 도3을 참고하면, 쌍방향 응용 프로그램이 실행될 때, CD나 DVD 같은 이동 가능 매체가 이동 가능 매체 드라이브(220)내에 놓인다. 그 때 이동 가능 매체 드라이브(220)는 CD로부터 데이터를 읽고 프로그램 정보를 메모리(306)로 전송한다. 그 때 CPU(300)는, GPU(304)와 연계해, 프로그램을 실행하기 위해 메모리로부터의 프로그램 명령을 실행한다.
게다가, 작동 요청부(314)는 전형적으로 게임 제어기, 원격 제어기, 키보드, 또는 사용자 입력 데이터를 동적 쌍방향 콘텐츠 시스템에 송수신할 수 있는 다른 장치 등의 사용자 입력 장치와 통신한다. CPU상에서 실행되는 프로그램으로부터의 출력은 일반적으로 TV나 다른 모니터 및 스피커 시시템에 표시하기 위해 비디오/오디오 출력 회로(318)에 제공된다. 이와 같은 방법으로 사용자들은 작동 요청부(314)를 통해 사용자들에게 제공되는 정보와 상호작용할 수 있다.
작동시에, 본 발명 실시예는 쌍방향 응용 프로그램과 연계해서 영구 저장 장치(316)의 미리 기록된 주 콘텐츠를 이용할 수 있다. 도7은 본 발명의 실시예에 따른 동적 쌍방향 응용 프로그램 표시 예이다. 도7에서와 같이, 본 발명 실시예는 작동 요청부(314)로부터의 제어 정보를 수신한 쌍방향 응용 프로그램(700)을 실행할 수 있다. 앞에서 언급한 바와 같이, 작동 요청부(314)는 전형적으로 게임 제어기, 원격 제어기, 키보드, 또는 사용자 입력 데이터를 동적 쌍방향 콘텐츠 시스템에 송수신할 수 있는 다른 장치 등의사용자 입력 장치와 통신한다.
쌍방향 응용 프로그램(700)은 영구 저장 장치(316)과 통신하여 데이터를 영구 저장 장치(316)에 기록하거나 읽을 수 있다. 결과적으로, 쌍방향 응용 프로그램(700)은 작동시에 영구 저장 장치(316)에 저장된 특정 주 콘텐츠를 이용할 수 있다. 특히 쌍방향 응용 프로그램(700)은 특정 양상, 속성 및 특징을 갖는 주 콘텐츠를 찾기 위해 영구 저장 장치(316)상의 부가 콘텐츠 목록(600)을 검색할 수 있다. 일단 검색되면, 특정 주 콘텐츠 목록(602)이 영구 저장 장치(316)로부터 메모리로 읽혀질 수 있다. 일단 주 콘텐츠 목록(602)의 데이터가 메모리에 있으면, 쌍방향 응용 프로그램(700)은 사용자에게 표시하는 동안 주 콘텐츠 또는 주 콘텐츠의 일부를 이용할 수 있다. 즉, 쌍방향 응용 프로그램(700)을 이용해 발생한 표시 데이터(702)는 쌍방향 응용 프로그램(700)을 통해 발생한 응용 프로그램 데이터(704) 및 주 콘텐츠(602)로부터 얻은 사전에 기록된 데이터(706) 모두를 포함할 수 있다.
예를 들면, 쌍방향 응용 프로그램(700)은 쌍방향 미식축구 게임일 수 있다. 이 예에서, 쌍방향 응용 프로그램(700)은, 예를 들어, 사용자가 터치다운을 한 후에 실제의 미식축구 터치다운 비디오를 디스플레이할 수 있다. 쌍방향 미식축구 응용 프로그램은 디스플레이용 사전 설정 비디오를 포함할 수 있다. 하지만, 사전 설정 비디오를 디스플레이 하기에 앞서, 쌍방향 미식축구 응용 프로그램은 사용자들이 선택한 미식축구 팀들과 동일한 미식축구 팀들간의 터치다운 비디오를 찾기 위해 영구 저장 장치(316)를 검색할 수 있다. 일단 일치하는 부가 콘텐츠 목록(600)이 방견되면, 쌍방향 미식축구 응용 프로그램은 터치다운 시간 코드를 찾기 위해 부가 콘텐츠 목록(600)을 조사할 수 있다.
그때 쌍방향 미식축구 응용 프로그램은 관령된 주 콘텐츠(602)를 메모리로 읽어 들여오고, 미식축구 터치다운 시간 코드에서 시작하는 주 콘텐츠를 디스플레이할 수 있다. 이와 같은 방법으로, 사용자는 사용자가 게임중에 선택한 팀들간의 실제의 터치다운 영상을 경험할 수 있다. 게다가, 쌍방향 미식축구 응용 프로그램이 디스플레이된 미식축구 게임보다 여러 달전 또는 여러 해전에 제조된 것일 지라도 비디오는 최근의 미식축구 경기일 수 있다. 더욱이, 쌍방향 미식축구 응용 프로그램이 요청과 일치하는 부가 데이터를 발견하지 못하면, 응용 프로그램은 사전에 설정된 비디오를 디스플레이 할 수 있다.주 콘텐츠로부터 선택된 데이터는 사용자에게 다양한 형식으로 표시될 수 있음에 주의해야 한다. 예를 들어, 비디오는 작은 윈도(window)에 디슬플레이될 수 있거나, 풀스크린(full screen) 대신에 3차원 컴퓨터 생성 객체(three dimensional computer generated object)로 투사될 수도 있다.
비디오외에도, 본 발명 실시예는 쌍방향 응용 프로그램이 스틸 영상(still image) 및 오디오를 사용자에게 표시할 수 있도록 한다. 예를 들면, 쌍방향 응용 프로그램은 사용자에게 들려주기 위한 특정 음향 또는 특정 영상을 검색할 수 있다. 게다가 앞에서 언급된 바와 같이, 본 발명 실시예는 사용자가 부가 콘텐츠 목록에 있는 특정 데이터를 검색할 수 있게 함으로써 시청하기 위해 특정 프로그램을 검색하는 사용자 능력을 향상시킨다. 예를 들어 사용자는 본 발명 실시예를 이용해 자동차 추격 장면과 같은 영화안의 특정 장면을 검색할 수 있다.
또한 본 발명 실시예는 특정 의미 정보(semantic information)를 찾기 위해 주 콘텐츠를 분석할 수 있다. 일단 발견되면, 주 콘텐츠로부터의 일치하는 객체는 쌍방향 응용 프로그램에서 이용될 수 있다. 예를 들어, 응용 프로그램은 미리 정의된 의미 정의를 이용하여 특정 얼굴을 찾기 위해 주 콘텐츠의 특정 프레임 또는 장면을 조사할 수 있다. 일단 해당 얼굴이 발견되면, 주 콘텐츠로부터의 얼굴 데이터는 쌍방향 응용 프로그램에서 이용될 수 있다. (예: 얼굴이 사용자에게 디스플레이됨)
지금까지 명확한 이해를 돕기위해 본 발명에 대해 상세하게 설명했지만, 약간의 변화나 수정을 가한 실시예의 경우도 본 발명의 권리에 속함은 자명한 일이다. 따라서 본 명세서의 기재는 실시예들이어 제한적이지 않으므로, 본 발명은 명세서 및 도면의 기재로만 한정되지 않으며, 본 발명의 청구항 및 균등 범위내에서는 얼마든지 변형이 가능하다.

Claims (27)

  1. 주 콘텐츠 및 주 콘텐츠와 관련된 부가 콘텐츠의 수신이 가능한 수신기;
    상기 수신기와 통신하고, 복수의 주 콘텐츠 목록 및 관련 부가 콘텐츠 목록을 저장하는 영구 저장 장치; 및
    쌍방향 응용 프로그램을 실행할 수 있는 처리기로 구성된 동적 쌍방향 콘텐츠 시스템에 있어서,
    상기 쌍방향 응용 프로그램은 특정 데이터를 갖는 특정 부가 콘텐츠 목록을 찾기 위해 저장된 복수의 부가 콘텐츠 목록들을 검색하고, 상기 쌍방향 응용 프로그램은 상기 특정 부가 콘텐츠 목록과 관련된 상기 주 콘텐츠 목록의 적어도 일부를 사용자에게 표시하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  2. 제1항에 있어서, 상기 각 부가 콘텐츠 목록은 상기 관련된 주 콘텐츠 목록의 특징을 설명하는 데이터를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  3. 제2항에 있어서, 상기 데이터는 관련된 주 콘텐츠을 수신하기 위해 이용되는 채널을 정의하는 채널 정의를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  4. 제2항에 있어서, 상기 데이터는 관련된 주 콘텐츠가 수신되었던 시간을 정의하는 시간 정의를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  5. 제2항에 있어서, 상기 데이터는 관련된 주 콘텐츠에 포함된 특정 사건에 대한 시간 코드를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  6. 제5항에 있어서, 상기 쌍방향 응용 프로그램은 시간 코드에 의해 특정된 주 콘텐츠 목록안의 한 위치에서 시작하는 주 콘텐츠 데이터를 표시하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  7. 제1항에 있어서, 상기 부가 콘텐츠는 인터넷을 통해 수신되는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  8. 제1항에 있어서, 상기 부가 콘텐츠는 상기 주 콘텐츠를 전송하기 위해 이용되는 신호에 삽입되는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  9. 주 콘텐츠 및 주 콘텐츠와 관련된 부가 콘텐츠의 수신이 가능한 수신기;
    상기 수신기와 통신하고, 복수의 주 콘텐츠 목록 및 관련 부가 콘텐츠 목록을 저장하는 영구 저장 장치;
    사용자 입력 장치와 통신하고, 상기 사용자 입력 장치를 통해 사용자 요청을 수신할 수 있는 작동 요청부; 및
    상기 영구 저장 장치와 상기 작동 요청부와 통신하는 처리기로 구성된 동적 쌍방향 콘텐츠 시스템에 있어서,
    상기 처리기는 수신된 사용자 요청과 관련된 특정 데이터를 갖는 특정 부가 콘텐츠 목록을 찾기 위해 저장된 복수의 부가 콘텐츠 목록들을 검색하고, 상기 처리기는 특정 부가 콘텐츠 목록과 관련된 상기 주 콘텐츠 목록의 적어도 일부를 사용자에게 표시하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  10. 제9항에 있어서, 상기 처리기는 쌍방향 응용 프로그램을 실행할 수 있는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  11. 제10항에 있어서, 상기 쌍방향 응용 프로그램은 특정 데이터를 갖는 특정 부가 콘텐츠 목록을 찾기 위해 저장된 복수의 부가 콘텐츠 목록들을 검색하고, 상기 쌍방향 응용 프로그램은 특정 부가 콘텐츠 목록과 관련된 상기 주 콘텐츠 목록의 적어도 일부를 사용자에게 표시하는 하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  12. 제9항에 있어서, 상기 각 부가 콘텐츠 목록은 상기 관련된 주 콘텐츠 목록의 특징을 설명하는 데이터를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  13. 제12항에 있어서, 상기 데이터는 관련된 주 콘텐츠에 포함된 특정 사건에 대한 시간 코드를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  14. 제13항에 있어서, 상기 쌍방향 응용 프로그램은 시간 코드에 의해 특정된 주 콘텐츠 목록안의 한 위치에서 시작하는 주 콘텐츠 데이터를 표시하는 것을 특징으로 하는 동적 쌍방향 콘텐츠 시스템.
  15. 복수의 주 콘텐츠와 주 콘텐츠와 관련된 부가 콘텐츠를 수신하는 단계;
    상기 복수의 주 콘텐츠와 상기 관련 부가 콘텐츠를 저장하는 단계;
    특정 데이터를 갖는 특정 콘텐츠를 찾기 위해 복수의 부가 콘텐츠를 검색하는 단계;
    사용자 입력 데이터에 응답할 수 있는 쌍방향 응용 프로그램을 이용해서 특정 부가 콘텐츠와 관련된 주 콘텐츠를 사용자에게 표시하는 단계로 구성되는 것을 특징으로 하는 동적 쌍방향 콘텐츠를 제공하는 방법.
  16. 제15항에 있어서, 상기 부가 콘텐츠는 인터넷상의 웹사이트를 통해 수신되고, 상기 웹사이트는 부가 콘텐츠 데이터베이스와 관련된 색인을 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠를 제공하는 방법.
  17. 제16항에 있어서, 부가 콘텐츠 목록을 얻기 위해 색인을 이용해서 부가 콘텐츠 데이터베이스를 검색하는 단계를 더 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠를 제공하는 방법.
  18. 제15항에 있어서, 상기 데이터는 관련된 주 콘텐츠를 수신하기 위해 이용되는 채널을 정의하는 채널 정의 및 관련된 주 콘텐츠가 수신되었던 시간을 정의하는 시간 정의를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠를 제공하는 방법.
  19. 제15항에 있어서, 상기 데이터는 상기 관련 주 콘텐츠내에 포함된 특정 사건이 수신되었던 것에 대한 시간 코드를 포함하는 것을 특징으로 하는 동적 쌍방향 콘텐츠를 제공하는 방법.
  20. 제19항에 있어서, 상기 쌍방향 응용 프로그램은 시간 코드에 의해 특정된 주 콘텐츠 목록안의 한 위치에서 시작하는 주 콘텐츠 데이터를 표시하는 것을 특징으로 하는 동적 쌍방향 콘텐츠를 제공하는 방법.
  21. 복수의 주 콘텐츠와 주 콘텐츠와 관련된 부가 콘텐츠를 수신하는 코드 부분;
    상기 복수의 주 콘텐츠와 상기 관련 부가 콘텐츠를 저장하는 코드 부분;
    특정 데이터를 갖는 특정 콘텐츠를 찾기 위해 복수의 부가 콘텐츠를 검색하는 코드 부분; 및
    사용자 입력 데이터에 응답할 수 있는 쌍방향 응용 프로그램을 이용해서 특정 부가 콘텐츠와 관련된 주 콘텐츠를 사용자에게 표시하는 코드 부분으로 구성되어 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램.
  22. 제21항에 있어서, 상기 부가 콘텐츠는 인터넷상의 웹사이트를 통해 수신되고, 상기 웹사이트는 부가 콘텐츠 데이터베이스와 관련된 색인을 포함하여 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램.
  23. 제22항에 있어서, 부가 콘텐츠 목록을 얻기 위해 색인을 이용해서 상기 부가 콘텐츠 데이터베이스를 검색하는 코드 부분을 더 포함하여 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램.
  24. 제21항에 있어서, 상기 데이터는 관련된 주 콘텐츠를 수신하기 위해 이용되는 채널을 정의하는 채널 정의 및 관련된 주 콘텐츠가 수신되었던 시간을 정의하는 시간 정의를 포함하여 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램.
  25. 복수의 주 콘텐츠와 주 콘텐츠와 관련된 부가 콘텐츠를 저장하기 위한 프로그램 명령;
    특정 데이터를 갖는 특정 콘텐츠를 찾기 위해 복수의 부가 콘텐츠를 검색하는 프로그램 명령; 및
    사용자 입력 데이터에 응답할 수 있는 쌍방향 응용 프로그램을 이용해서 특정 부가 콘텐츠와 관련된 주 콘텐츠를 사용자에게 표시하는 프로그램 명령으로 구성되어 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터 프로그램.
  26. 제25항에 있어서, 상기 데이터는 상기 관련 주 콘텐츠내에 포함된 특정 사건이 수신되었던 것에 대한 시간 코드를 포함하여 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터 프로그램.
  27. 제25항에 있어서, 상기 쌍방향 응용 프로그램은 시간 코드에 의해 특정된 주 콘텐츠 목록안의 한 위치에서 시작하는 주 콘텐츠 데이터를 표시하여 동적 쌍방향 콘텐츠를 제공하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020057005727A 2002-10-02 2003-09-22 동적 쌍방향 콘텐츠 시스템 KR100720785B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/264,087 2002-10-02
US10/264,087 US7171402B1 (en) 2002-10-02 2002-10-02 Dynamic interactive content system

Publications (2)

Publication Number Publication Date
KR20050049516A true KR20050049516A (ko) 2005-05-25
KR100720785B1 KR100720785B1 (ko) 2007-05-23

Family

ID=32068292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057005727A KR100720785B1 (ko) 2002-10-02 2003-09-22 동적 쌍방향 콘텐츠 시스템

Country Status (8)

Country Link
US (2) US7171402B1 (ko)
EP (1) EP1547376B1 (ko)
JP (1) JP4317131B2 (ko)
KR (1) KR100720785B1 (ko)
AT (1) ATE488955T1 (ko)
AU (1) AU2003275153A1 (ko)
DE (1) DE60335017D1 (ko)
WO (1) WO2004032493A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003294162A1 (en) * 2003-01-31 2004-08-23 Koninklijke Philips Electronics N.V. Inter-application control to improve the performance of playback of stored interactive-tv applications
US9418704B2 (en) 2003-09-17 2016-08-16 Hitachi Maxell, Ltd. Program, recording medium, and reproducing apparatus
US9047624B1 (en) * 2004-08-16 2015-06-02 Advertising.Com Llc Auditing of content related events
US8103546B1 (en) 2004-08-16 2012-01-24 Lightningcast Llc Advertising content delivery
US10803474B2 (en) 2006-11-22 2020-10-13 Qualtrics, Llc System for creating and distributing interactive advertisements to mobile devices
US8478250B2 (en) 2007-07-30 2013-07-02 Bindu Rama Rao Interactive media management server
US8700014B2 (en) 2006-11-22 2014-04-15 Bindu Rama Rao Audio guided system for providing guidance to user of mobile device on multi-step activities
US11256386B2 (en) 2006-11-22 2022-02-22 Qualtrics, Llc Media management system supporting a plurality of mobile devices
US20080159715A1 (en) * 2007-01-03 2008-07-03 Microsoft Corporation Contextual linking and out-of-band delivery of related online content
KR20090000647A (ko) * 2007-03-15 2009-01-08 삼성전자주식회사 실시간 스트리밍 서비스에서 부가 데이터를 실시간으로출력하는 방법 및 장치
CN101682434B (zh) * 2007-06-18 2012-11-14 诺基亚公司 用于连续回放多媒体的方法和设备
CN101809962B (zh) * 2007-09-25 2015-03-25 爱立信电话股份有限公司 与媒体结构有关的方法和装置
US8094168B2 (en) * 2007-10-03 2012-01-10 Microsoft Corporation Adding secondary content to underutilized space on a display device
AU2009256066B2 (en) * 2008-06-06 2012-05-17 Deluxe Media Inc. Methods and systems for use in providing playback of variable length content in a fixed length framework
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
JP2010146291A (ja) * 2008-12-18 2010-07-01 Seiko Epson Corp コンテンツ情報配信システム
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US9094714B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US20110055888A1 (en) * 2009-08-31 2011-03-03 Dell Products L.P. Configurable television broadcast receiving system
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
AU2016211254B2 (en) 2015-01-30 2019-09-19 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
EP3284017B1 (en) 2015-04-17 2024-03-27 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
CN108293140B (zh) 2015-07-16 2020-10-02 构造数据有限责任公司 公共媒体段的检测
EP3323054A1 (en) 2015-07-16 2018-05-23 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
CA3229617A1 (en) 2015-07-16 2017-01-19 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
AU2018250286C1 (en) 2017-04-06 2022-06-02 Inscape Data, Inc. Systems and methods for improving accuracy of device maps using media viewing data

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778367A (en) * 1995-12-14 1998-07-07 Network Engineering Software, Inc. Automated on-line information service and directory, particularly for the world wide web
CN1130076C (zh) * 1996-03-04 2003-12-03 松下电器产业株式会社 图像选择显示装置
US6601103B1 (en) * 1996-08-22 2003-07-29 Intel Corporation Method and apparatus for providing personalized supplemental programming
US6209028B1 (en) * 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
BR9912385A (pt) * 1998-07-23 2002-01-15 Diva Systems Corp Interface de usuário gerada em um extremo de cabeça, guia de programa interativo, e, processos de geração e distribuição de uma interface de usuário, e de interação com um guia de programa interativo
BR9912386A (pt) * 1998-07-23 2001-10-02 Diva Systems Corp Sistema e processo para gerar e utilizar uma interface de usuário interativa
US6598229B2 (en) * 1998-11-20 2003-07-22 Diva Systems Corp. System and method for detecting and correcting a defective transmission channel in an interactive information distribution system
JP3619427B2 (ja) * 1999-11-05 2005-02-09 株式会社ビューポイントコミュニケーションズ 情報表示装置
BR0016266A (pt) * 1999-12-10 2002-08-13 United Video Properties Inc Recursos para uso com aplicações avançadas de caixa decodificadora em sistemas de televisão interativos
US20010042107A1 (en) * 2000-01-06 2001-11-15 Palm Stephen R. Networked audio player transport protocol and architecture
JP2002056340A (ja) 2000-08-09 2002-02-20 Konami Co Ltd ゲームアイテム提供システム、方法、及び記録媒体
ZA200103659B (en) * 2000-10-09 2001-11-26 Ajay Ganesh Ubale Net related interactive quiz game.
ES2431604T3 (es) * 2000-10-11 2013-11-27 United Video Properties, Inc. Sistemas y métodos para complementar multimedia a la carta
US20020099800A1 (en) * 2000-11-27 2002-07-25 Robert Brainard Data mark and recall system and method for a data stream
JP2002200359A (ja) 2000-12-27 2002-07-16 Pioneer Electronic Corp ネットワークゲームシステム及びネットワークゲームの提供方法
WO2002054327A1 (en) 2001-01-04 2002-07-11 Noks-Com Ltd. Method and system for a set of interrelated activities converging on a series of collectible virtual objects
US8458754B2 (en) * 2001-01-22 2013-06-04 Sony Computer Entertainment Inc. Method and system for providing instant start multimedia content
US6993284B2 (en) * 2001-03-05 2006-01-31 Lee Weinblatt Interactive access to supplementary material related to a program being broadcast
JP4890459B2 (ja) * 2004-10-29 2012-03-07 イーエイティー.ティーブイ、インコーポレイテッド ビデオベースインタラクティブアプリケーションを可能にするためのシステム

Also Published As

Publication number Publication date
AU2003275153A1 (en) 2004-04-23
KR100720785B1 (ko) 2007-05-23
JP2006501767A (ja) 2006-01-12
ATE488955T1 (de) 2010-12-15
EP1547376B1 (en) 2010-11-17
US7171402B1 (en) 2007-01-30
EP1547376A1 (en) 2005-06-29
JP4317131B2 (ja) 2009-08-19
DE60335017D1 (de) 2010-12-30
US20070113263A1 (en) 2007-05-17
WO2004032493A1 (en) 2004-04-15

Similar Documents

Publication Publication Date Title
KR100720785B1 (ko) 동적 쌍방향 콘텐츠 시스템
JP4169182B2 (ja) 複数相手に向けた一方向データ・ストリームに対する二方向接続性のシミュレーション
US6191782B1 (en) Terminal apparatus and method for achieving interactive operations by displaying a desired piece of image information at high speed using cache memories, out of a large amount of image information sent in a one-way direction
US20030226151A1 (en) Content reproduction controller, data management device, storage-type content distribution system, content distribution method, content distribution server,control data transmission server, and program product therefor
KR20030060917A (ko) 방송표시장치에 관련대화식컨텐츠를 제공하는 시스템 및방법
US20050060741A1 (en) Media data audio-visual device and metadata sharing system
US20120102524A1 (en) Method and apparatus for displaying entertainment system data upon selection of a video data display
US6816172B1 (en) Graphical user interace with multimedia identifiers
EP1153357A1 (en) Managing entertainment system data
KR20040095360A (ko) 비디오 프로그램용 상보 정보를 제공하기 위한 방법 및시스템
US20110106842A1 (en) Information processing apparatus, tuner, and information processing method
US20040268399A1 (en) Network system, server, data recording and playing device, method for the same, and program
JP2003153114A (ja) テレビ番組上で呼称される名称をユーザの要求に応えて差し替えて提供するデジタル放送システム及びその方法
US20020049981A1 (en) Device and method for supplying commentary information
KR20090117977A (ko) 재생 장치, 재생 제어 프로그램을 기록한 기록 매체, 및 재생 제어 방법
KR20040029027A (ko) 개선된 사용자 인터페이스를 갖는 시스템
JP4030440B2 (ja) メッセージ再生装置、メッセージ記録および再生方法、およびプログラム
EP1463314A2 (en) Display apparatus
JP2002077788A (ja) 録画番組再生装置および方法、番組表表示方法
JP5073535B2 (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体
JP2002051320A (ja) データ記録装置、それを用いた興行記録システム、興行用入場券、データ記録のためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20060047907A (ko) 녹화 장치, 녹화 예약 시스템, 기사 관리 시스템, 녹화방법, 및 컴퓨터 프로그램
US20010042248A1 (en) Receiver, viewing information recording method, viewing information processor, service contents decision method, information acquisition apparatus, information acquisition method, transmitter/receiver system, and recording media
KR20010035420A (ko) 동영상을 이용한 정보제공시스템
US20030186648A1 (en) Information transceiving system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130425

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140425

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150428

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170428

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190426

Year of fee payment: 13