KR20040053387A - 정보 수신 장치 및 그 방법, 및 기억 매체 - Google Patents

정보 수신 장치 및 그 방법, 및 기억 매체 Download PDF

Info

Publication number
KR20040053387A
KR20040053387A KR10-2004-7008250A KR20047008250A KR20040053387A KR 20040053387 A KR20040053387 A KR 20040053387A KR 20047008250 A KR20047008250 A KR 20047008250A KR 20040053387 A KR20040053387 A KR 20040053387A
Authority
KR
South Korea
Prior art keywords
unit
stream
metadata
meta data
data
Prior art date
Application number
KR10-2004-7008250A
Other languages
English (en)
Other versions
KR100472255B1 (ko
Inventor
에무라고이치
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20040053387A publication Critical patent/KR20040053387A/ko
Application granted granted Critical
Publication of KR100472255B1 publication Critical patent/KR100472255B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99942Manipulating data structure, e.g. compression, compaction, compilation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은, AV 스트림과 메타 데이터의 동기를 맞추는 동기부와, 메타 데이터의 유닛마다 AV 스트림과 메타 데이터를 캡슐화하는 캡슐화부로 구성되어, 이것에 의해 메타 데이터를 유닛마다 재구성하여 AV 스트림과 캡슐화함으로써, 메타 데이터의 부분적인 실행을 가능하게 하여, AV 스트림 부분인 세그먼트를 처리하는 프로그램 신호 분배, 응답 시간 고속화, 필요한 축적 용량의 삭감, 네트워크 트래픽을 삭감할 수 있는 것이다.

Description

정보 수신 장치 및 그 방법, 및 기억 매체{APPARATUS FOR PROVIDING INFORMATION, INFORMATION RECEIVER AND STORAGE MEDIUM}
본 발명은, 정보 제공 장치, 정보 수신 장치 및 기억 매체에 관한 것이다. 특히, 디지털 방송 등의 방송 미디어나 인터넷 등의 통신 미디어를 통한, 비디오·오디오나 데이터 등의 정보 제공 장치 및 정보 이용 장치, 및 디스크 미디어 등의 기억 매체에 관한 것이다.
최근, 방송의 디지털화 움직임이 활발해지고 있다. 또한, 방송과 통신의 융합도 진행되고 있다. 방송 분야에서는 이미 위성 디지털 방송이 개시되어, 금후 지상파 방송도 디지털화될 예정이다.
또한, 방송 내용을 디지털화함으로써, 종래의 비디오·오디오에 더하여 데이터 방송도 행해지고 있다. 또한, 통신 분야에서는, 인터넷을 통한 디지털 콘텐츠 배신이 음악부터 시작되고 있다. 또한, 비디오를 방송하는 인터넷 방송국도 출현하고 있다.
또한, 금후, 비디오나 오디오 등의 연속 콘텐츠 미디어가 여러 가지 경로(전송 미디어)를 통해서 가정에 들어올 것으로 예상되고 있다. 이러한 통신과 방송의 융합·디지털화에 의해서, 콘텐츠를 설명 또는 콘텐츠에 관련되는 메타 데이터에 의한 종래에 없는 서비스가 가능해지고 있다.
예컨대, CS 디지털 방송에서 채용하고 있는 EPG(Electric Program Guide, 「디지털 방송에 사용하는 프로그램 배열 정보 표준 규격 ARIB STD-B10 1.1판」 또는「pr ETS 300 468 Digital Broadcasting systems for television, sound and data services : Specification for Service Information(SI) in Digital Video Broadcasting(DVD) systems」)를, MPEG-2(Motion Picturecoding Experts Group phase 2 ; 「ISO/IEC 13818-1∼3」)의 프라이비트 섹션을 이용하여 오디오·비디오의 PES(Packetized Elementary Stream) 패킷에 인터리브함으로써, 오디오·비디오 정보 외에 EPG 정보를 제공하고 있다.
또한, BS 디지털 방송에서는, MPEG-2의 프라이비트(private) PES 패킷을 이용한 데이터 방송이 예정되어 있다. 또한 방송국의 스튜디오간 또는 방송국간의 소재 전송에 있어서의 사용자 데이터의 포맷(「ANSI/SMPTE291M-1996 Ancillary Data Packet and Space Formatting」)에 콘텐츠를 설명하는 메타 데이터를 삽입하여, 콘텐츠를 관리할 수도 있다.
이하, 종래의 정보 처리 시스템에 대하여 도 15를 이용하여 설명한다. 도 15는 종래의 정보 처리 시스템의 블록도이다.
정보 제공 노드(1501)에는, AV 스트림과 AV 스트림을 설명하기 위한 메타 데이터가 축적된 축적부(1502)가 마련되어 있다. 또한, 정보 제공 노드(1501)에는, 축적부(1502)에 저장된 AV 스트림과 메타 데이터를 다중화하여 다중화 스트림(1503)을 생성하여, 출력하는 정보 제공부(1504)가 마련되어 있다. 정보 제공부(1504)는, 다중화 스트림(1503)을 네트워크(1505)를 거쳐서 정보 이용 노드(1506)에 송신한다.
한편, 정보 이용 노드(1506)에는, 다중화 스트림으로부터 AV 스트림과 메타데이터를 추출하고, 이들에 처리를 실시하여 이용하는 정보 이용부(1507)가 마련되어 있다. 또한, 정보 이용 노드(1506)에는, 정보 이용부(1507)에서 추출된 AV 스트림과 메타 데이터를 저장하는 축적부(1508)가 마련되어 있다. 또한, 정보 이용부(1507)는, 축적부(1508)에 축적된 AV 스트림과 메타 데이터를 판독하여, 이용한다.
다음에, 정보 제공부(1504)에 대하여 도 14를 이용하여 설명한다. 도 14는, 종래의 정보 제공부의 블록도이다.
정보 제공부(1504)에는, 축적부(1502)로부터 AV 스트림과 메타 데이터를 판독하는 액세스부(1601)가 마련되어 있다. 액세스부(1601)는, AV 스트림(1602)과 메타 데이터(1603)를 다중화부(1604)에 출력한다.
다중화부(1604)는, 액세스부(1601)로부터 입력된 AV 스트림(1602)과 메타 데이터(1603)를 다중화한 다중화 스트림(1503)을 정보 이용 노드(1506)에 송신한다.
다음에, 다중화부(1604)의 다중화 스트림 생성 처리에 대하여 도 17을 이용하여 설명한다.
도면 중에 1503으로 표시되는 도면은, MPEG-2 TS(Transport Stream)의 PES 패킷 레이어(layer)를 나타내고, 다중화 스트림을 표시하고 있다. 1701로 표시되는 도면은, 비디오 PES 패킷을 나타낸다. 1702로 표시되는 도면은, 오디오 PES 패킷을 나타내고 있다. 1703으로 표시되는 도면은, 프라이비트 PES 패킷을 나타내고 있다. 1603은 메타 데이터의 PES 패킷 레이어를 나타내고 있다, 1704는 메타 데이터를 구성하는 제 1 PES 패킷, 1705는 메타 데이터를 구성하는 제 2 PES 패킷이다.
다중화부(1604)는, 메타 데이터(1603)를 프라이비트 PES 패킷으로 분할하여, 제 1 PES 패킷(1704)으로부터 제 2 PES 패킷(1705)과 순서대로 비디오 PES 패킷(1701) 및 오디오 PES 패킷(1702)으로 이루어지는 AV 스트림 사이에 적당히 삽입하여, MPEG-2 TS인 다중화 스트림(1503)을 얻는다.
또한, 종래의 메타 데이터는, AV 스트림의 보조적인 데이터, 예컨대 제목 (title) 등이 적은 데이터이므로, 메타 데이터만으로 처리가 행하여지고 있었다. 즉, 메타 데이터를 AV 스트림과 시간 동기시킬 필요가 없었다. 따라서, 종래의 메타 데이터는, AV 스트림과 동기를 취하도록 구성되어 있지 않기 때문에, 메타 데이터는 거의 같은 크기로 패킷화되고, AV 스트림의 사이에 거의 등간격(等間隔)으로 적당히 삽입되어 있었다.
그리고, 다중화부(1604)는, 이 다중화 스트림(1503)을 정보 이용 노드(1506)에 송출한다.
다음에, 정보 이용부(1507)에 대하여 도 18을 이용하여 설명한다. 도 18은, 종래의 정보 이용부의 블록도이다.
정보 이용부(1507)에는, 다중화 스트림(1503)으로부터 AV 스트림(1801)과 메타 데이터(1802)를 분리·추출하여, 출력하는 추출부(1803)가 마련되어 있다. 추출부(1803)는, 분리·추출한 AV 스트림(1801)과 메타 데이터(1802)를 액세스부(1804)로 출력한다.
액세스부(1804)는 추출부(1803)로부터 입력된 AV 스트림(1801) 및 메타 데이터(1802)를 축적부(1508)에 축적한다. 또한, 액세스부(1804)는 축적부(1508)로부터 판독한 AV 스트림(1805) 및 메타 데이터(1806)를 표시부(1807)에 출력한다. 표시부(1807)는 액세스부(1804)로부터 입력된 AV 스트림(1805)과 메타 데이터(1806) 중 어느 한쪽, 또는 양쪽을 표시한다.
다음에, 정보 이용부(1507)의 처리에 대하여 도 19를 이용하여 설명한다. 도 19는 종래의 정보 이용부의 처리 흐름도이다.
추출부(1803)는, 메타 데이터의 파징, 즉, 구문을 해석한다(ST 1901). 그 후, 액세스부(1804) 및 표시부(1807)의 처리를 실행한다(ST 1902).
이와 같이 하여, 종래의 정보 처리 시스템은, 정보 제공 노드(1501)가 AV 스트림과 메타 데이터를 다중화한 다중화 스트림을 정보 이용 노드(1506)에 송신하여, 정보 이용 노드(1506)에서 AV 정보에 더하여 AV 정보에 관한 설명을 표시할 수 있다.
또한, 최근에는, 데이터 전송의 인프라에 따라, 메타 데이터를 단순히 AV 스트림의 보조적인 데이터로 하지 않고, 메타 데이터에 다양한 정보를 포함하여, 메타 데이터를 AV 스트림과 관련해서 처리할 필요가 발생되고 있다.
그러나, 상기 종래의 정보 처리 시스템에서는, 모든 메타 데이터 전체를 입수하지 않으면, 메타 데이터를 파징할 수 없다. 예컨대, 메타 데이터가 <metadata>로 시작되는 경우, </metadata>라는 메타 데이터의 종료를 나타내는 데이터가 올 때까지, 메타 데이터를 파징할 수 없다.
이 때문에, 메타 데이터의 처리 시간을 AV 스트림의 표시 또는 처리 시간에 정밀하게 맞추거나, 메타 데이터 자신에 의해서 AV 스트림을 처리하기 위해서는, 메타 데이터 전체를 입수하고 나서가 아니면 처리가 시작되지 않는다. 따라서, 종래의 정보 처리 시스템에서는, AV 스트림을 세밀한 단위로 처리하기 어려운 문제점이 있다.
또한, 메타 데이터는 다중화 스트림에 거의 균등하게 배분되어 있다. 이 때문에, 특히 메타 데이터의 데이터량이 큰 경우에는, 메타 데이터 전체를 읽어들일 때까지, 대 용량의 AV 스트림을 판독하게 된다. 이 때문에, 노드간 응답 시간의 지연이나 네트워크 트래픽이 증가되는 문제점이 있다.
본 발명의 제 1 목적은, 메타 데이터의 부분적인 실행을 가능하게 하는 것으로 AV 스트림의 일부인 세그먼트를 처리하는 데이터 및 프로그램 배신, 응답 시간 고속화, 필요한 축적 용량의 삭감, 네트워크 트래픽의 삭감을 실행하는 것이다.
또한, 제 2 목적은, 메타 데이터와 AV 스트림을 시간 동기시켜, AV 스트림의 일부인 세그먼트에 대한 처리를 가변으로 하여, 메타 데이터와 AV 스트림의 처리 시간을 정밀하게 동기시키는 것이다.
또한, 제 3 목적은, AV 스트림을 처리하는 메타 데이터를 설계하는 자유도를 넓히는 것이다.
도 1은 본 발명의 실시예 1에 따른 정보 처리 시스템의 블록도,
도 2는 실시예 1에 따른 정보 처리부의 블록도,
도 3a는 실시예 1에 따른 AV 스트림을 도시하는 도면,
도 3b는 실시예 1에 따른 메타 데이터를 도시하는 도면,
도 4a는 실시예 1에 따른 메타 데이터의 XML의 DTD를 도시한 도면,
도 4b는 실시예 1에 따른 MPU의 XML의 DTD를 도시한 도면,
도 5a는 실시예 1에 따른 메타 데이터의 XML의 인스턴스(instance)를 나타내는 도면,
도 5b는 실시예 1에 따른 MPU의 XML의 인스턴스(instance)를 도시한 도면,
도 6은 실시예 1에 따른 메타 데이터의 신택스(syntax)를 도시한 도면,
도 7은 실시예 1에 따른 캡슐화부의 동작을 설명하기 위한 도면,
도 8은 본 발명의 실시예 2에 따른 정보 이용부의 블록도,
도 9는 본 발명의 실시예 2에 따른 정보 이용 노드의 메타 데이터 처리 동작을 나타내는 처리 흐름도,
도 10은 본 발명의 실시예 3에 따른 정보 이용부의 블록도,
도 11은 본 발명의 실시예 4에 따른 정보 이용부의 블록도,
도 12는 본 발명의 실시예 5에 따른 정보 처리 시스템의 블록도,
도 13은 실시예 5에 따른 정보 처리부의 블록도,
도 14는 실시예 6에 따른 본 발명의 실시예 4에 따른 정보 이용부의 블록도,
도 15는 종래의 정보 처리 시스템의 블록도,
도 16은 종래의 정보 제공부의 상세도,
도 17은 종래의 다중화 스트림의 구성을 도시한 도면,
도 18은 종래의 정보 이용부의 상세도,
도 19는 종래의 추출부에서의 처리 흐름도이다.
도면의 주요 부분에 대한 부호의 설명
101 : 정보 제공 노드 203, 206 : 메타 데이터
102, 108 : 축적부 204 : 동기부
103 : 캡슐화 스트림 207 : 캡슐화부
104 : 정보 제공부 106 : 정보 이용 노드
107 : 정보 이용부 201 : 액세스부
202, 205 : AV 스트림
본 발명은, 제 1 목적을 달성하기 위해서, 데이터 스트림의 세그먼트와 그것에 대응한 메타 데이터의 유닛을 동기시키는 동기부와, 동기 후의 데이터 스트림의 패킷과 메타 데이터의 유닛의 패킷을 캡슐화하여 캡슐화 스트림을 생성하는 캡슐화부를 구비한 것이다.
이것에 의해, 메타 데이터를 유닛마다 재구성하여 데이터 스트림과 캡슐화함으로써, 메타 데이터의 부분적인 실행이 가능해진다. 이 결과, 데이터 스트림의 일부인 세그먼트를 처리하는 데이터 및 프로그램 배신, 응답 시간 고속화, 필요한 축적 용량의 삭감, 네트워크 트래픽의 삭감을 행할 수 있다.
또한, 본 발명은, 제 2 목적을 달성하기 위해서, 캡슐화 스트림으로부터 콘텐츠의 데이터 스트림과 그 콘텐츠를 설명 또는 처리하는 메타 데이터를 추출하는 추출부와, 추출된 데이터 스트림의 세그먼트에 대응하여 유닛화되어 있는 메타 데이터를 유닛마다 콘텐츠의 데이터 스트림과 그것에 대응한 메타 데이터의 유닛에 동기시키는 동기부와, 동기된 메타 데이터를 유닛마다 처리하는 처리부를 구비한 것이다.
이것에 의해, 데이터 스트림의 일부인 세그먼트에 대하여 처리를 가변으로 할 수 있기 때문에, 메타 데이터와 데이터 스트림의 처리 시간의 정밀한 동기를 행할 수 있다.
또한, 본 발명은, 제 3 목적을 달성하기 위해서, 메타 데이터 및 메타 데이터의 유닛에 구조화 기술을 이용하여, 메타 데이터로부터 유닛으로, 그리고 유닛으로부터 메타 데이터로 구조화 기술을 재구성하도록 한 것이다.
이것에 의해, 데이터 스트림을 처리하는 메타 데이터를 설계하는 자유도를넓힐 수 있다. 또한, XML 등으로 기술된 구조화 기술을 메타 데이터로서 그대로 이용할 수 있다.
이하, 본 발명의 실시예에 대하여, 도면을 참조해서 상세히 설명한다.
(실시예 1)
이하, 본 발명의 실시예 1에 따른 정보 처리 시스템에 대하여 설명한다. 도 1은 실시예 1에 따른 정보 처리 시스템의 블록도를 나타내는 것이다.
정보 제공 노드(101)에는, AV 스트림과 AV 스트림에 관련되는 메타 데이터가 축적된 축적부(102)가 마련되어 있다. 메타 데이터는, 관련되는 AV 스트림을 설명하는 데이터, 또는 메타 데이터자신을 처리하기 위한 데이터등이다. 또한, 정보 제공 노드(101)에는, 축적부(102)에 저장된 AV 스트림과 메타 데이터를 캡슐화하여, 캡슐화 스트림(103)을 생성하여, 출력하는 정보 제공부(104)가 마련되어 있다. 정보 제공부(104)는 캡슐화 스트림(103)을 네트워크(105)를 거쳐서, 정보 수신측의 장치인 정보 이용 노드(106)에 송신한다.
한편, 정보 이용 노드(106)에는 캡슐화 스트림(103)으로부터 AV 스트림과 메타 데이터를 추출하고, 이들에 소정의 처리를 실시하여 이용하는 정보 이용부(107)가 마련되어 있다. 또한, 정보 이용 노드(106)에는 정보 이용부(107)로 추출된 AV 스트림과 메타 데이터를 저장하는 축적부(108)가 마련되어 있다. 또한, 정보 이용부(107)는 축적부(108)에 축적된 AV 스트림과 메타 데이터를 판독하여, 이용한다.
다음에, 정보 제공부(104)에 대하여 도 2를 이용하여 설명한다. 도 2는 실시예 1에 따른 정보 제공부의 블록도이다.
정보 제공부(104)에는 축적부(102)로부터 AV 스트림과 메타 데이터를 판독하는 액세스부(201)가 마련되어 있다. 액세스부(201)는 AV 스트림(202)과 메타 데이터(203)를 동기부(204)에 출력한다.
동기부(204)는, 액세스부(201)에서 판독한 AV 스트림(202)과 메타 데이터(203)에 대하여 시간 동기시켜, 동기시킨 AV 스트림(205)과 메타 데이터(206)를 캡슐화부(207)로 출력한다.
캡슐화부(207)는 입력된, 동기 후의 AV 스트림(205)과 메타 데이터(206)를 캡슐화하여, 캡슐화 스트림(103)으로서 정보 이용 노드(1O6)에 송신한다.
또한, 본 발명은, 메타 데이터를 부분적으로 실행할 수 있도록, 메타 데이터를 유닛화하고 있다. 그리고, AV 스트림의 세그먼트와 그것에 대응한 메타 데이터의 유닛을 동기시켜, 동기후의 데이터 스트림의 패킷과 메타 데이터의 유닛의 패킷을 캡슐화하여, 캡슐화 스트림을 생성하도록 하고 있다.
이하, 본 발명의 정보 제공부(104)의 동작에 대하여 상세히 설명한다.
우선, 축적부(102)에 저장된 AV 스트림(202)과 메타 데이터(203)에 대하여, 도 3a, 도 3b를 이용하여 설명한다.
AV 스트림(202)은, 비디오 PES 패킷(301)과, 오디오 PES 패킷(302)을 인터리브하여 스트림화한 것이다. 또, 본 실시예에서는, 축적부(102)에 AV 스트림(202)이 저장된 형태로 설명하지만, 비디오 스트림과 오디오 스트림이 저장된 형태이더라도 좋다.
또한, 메타 데이터(203)는, 메타 데이터의 처리 유닛인 MPU(Metadata Processing Unit)(303)를 복수개 갖는 구성으로 되어 있다.
이러한 구성의 메타 데이터(203)와 AV 스트림(202)은, 액세스부(201)에 의해 축적부(102)로부터 판독된다. 그리고, 액세스부(201)는 판독한 AV 스트림(202)과 메타 데이터(203)를 동기부(204)에 출력한다.
AV 스트림(202)과 메타 데이터(203)를 수신한 동기부(204)는, 우선, 메타 데이터(203)를 유닛화하는 처리로 이동한다. 여기서, 메타 데이터(203) 및 MPU(303)의 정의에 대하여, 도 4a, 도 4b를 이용하여 설명한다. 도 4a, 도 4b는, XML의 DTD를 나타낸 도면이다. 도 4a에서, 401은 메타 데이터(203)를 정의하는 메타 데이터를 정의(metadata.dtd)를 나타낸 도면이다. 또한, 도 4b에서, 402로 표시되는 도면은, MPU(303)를 정의하는 MPU 정의(mpu.dtd)를 나타내고 있다.
메타 데이터 정의(401)는, 메타 데이터(203)는 하나 이상의 MPU(303)를 갖는다고 정의하고 있다. 그리고, MPU(303)의 내용은, MPU 정의(402)를 참조한다라고 정의하고 있다.
MPU 정의(402)는, MPU(303)는 하나 이상의 element_data를 갖는다고 정의하고 있다. 또한, element_data의 내용은, user_defined.dtd를 참조한다고 정의하고 있다. 또한, MPU 정의(402)는, MPU(303)에는 시리얼 번호인 no가 부가되어 있다고 정의하고 있다.
이와 같이, MPU(303)에, 각종 서비스마다 다른 처리 내용을 user_defined.dtd에 의해 포함시킬 수 있다. 따라서, AV 스트림을 처리하는 메타데이터를 설계하는 자유도를 넓힐 수 있다.
또한, MPU(303)에, 전송 규격에 따르지 않는 처리 내용을 user_defined.dtd에 의해서 포함시킬 수도 있다. 이것에 의해, 메타 데이터가 다른 전송 규격에도 적용할 수 있기 때문에, 모든 전송 규격에 대응하여 메타 데이터의 서비스를 제공할 수 있다.
다음에, 메타 데이터(203)의 유닛화에 대하여, 도 5a, 도 5b를 이용하여 설명한다. 도 5a에서, 501로 표시되는 도면은 메타 데이터(203)를 메타 데이터 정의(401)에 의해서 구조화 기술한 메타 데이터(XML 인스턴스)를 나타내고 있다. 또한, 도 5b에서 502로 표시되는 도면은, MPU(303)를 MPU 정의(402)에 따라서 구조화 기술한 MPU(XML 인스턴스)를 나타내고 있다.
상술한 바와 같이, 메타 데이터 정의(401)에 의하면, 메타 데이터(203)는 MPU 정의(402)의 집합에 의해서 표시된다. 이 메타 데이터 정의(401)에 의해, 메타 데이터(203)를 구조화 기술한 것이 메타 데이터(XML 인스턴스)(501)이다. 도면으로부터도 알 수 있는 바와 같이, 메타 데이터(XML 인스턴스)(501)에는, 복수의 MPU(303)가 포함되어 있다. 그리고, 메타 데이터(203)는, 메타 데이터(XML 인스턴스)(501)로서 축적부(102)에 저장되어 있다.
또한, MPU 정의(402)에 따르면, MPU(303)가 user_difined.dtd로 정의되는 메타 데이터의 집합에 의해서 표시된다. 이 MPU 정의(402)에 의해, MPU(303)를 MPU 마다 구조화 기술한 것이, MPU(XML 인스턴스)(502)이다. 도면으로부터 알 수 있는 바와 같이, MPU(XML 인스턴스)(502)에는, 복수의 user_difined.dtd가 포함되어 있다. 그리고, MPU(303)는 MPU(XML 인스턴스(502)로서 축적부(102)에 저장되어 있다.
또한, MPU(303)는, <mpu>로부터 </mpu>의 내용을 갖는다. 즉, 동기부(204)는 <mpu>로부터 </mpu>까지의 정보가 있으면, MPU(303)의 내용을 파악할 수 있어, MPU(303)를 처리할 수 있다. 이 때문에, 동기부(204)는 메타 데이터(203)로부터 MPU(303)를 출력할 때는, MPU 정의(402)에 의해서 정의된 MPU 태그(여기서는 <mpu>)라는 태그의 내측의 내용을 추출한다.
이렇게 하여, 메타 데이터(203)가 MPU(303)라는 하위 계층의 정보로 구성되도록 함으로써, 동기부(204)가 MPU(303)마다 메타 데이터(203)를 처리할 수 있는 동시에, AV 데이터(202)와 메타 데이터(203)를 세밀하게 동기시킬 수 있다.
다음에, 동기부(204)는 액세스부(201)로부터 전송된 메타 데이터(203)를 도 6에 나타내는 신택스를 사용하여 캡슐화한다. 도 6은 실시예 1 및 실시예 2에 따른 메타 데이터의 신택스이다.
도 6에 있어서, metadata_type(601)은, 위치 정보, 콘텐츠 정보, 또는 프로그램 등의 메타 데이터의 종류이다. metadata_subtype(602)는 GPS 또는 구조 기술(MPEG-7) 등의 구체적인 메타 데이터의 형태이다. MPU_length(603)는, MPU_length 필드 직후부터 MPU의 끝까지의 데이터 길이 바이트수이다. MPU는 하나 이상의 PES 패킷으로 구성되어, Metadata Elementary Sheam을 인코딩할 때에 분할하는 메타 데이터의 재생 단위이다. media_sync_flag(604)는 AV 스트림과 메타 데이터의 시간 동기 유무를 나타내는 플래그이다. overwrite_flag(605)는 이전의 메타 데이터를 덮어 쓰는지의 여부를 나타내는 플래그이다. element_data_length(606)은 element_data(609)의 데이터 바이트 길이(M)이다. start_time(607)은 메타 데이터가 나타내는 AV 스트림의 일부인 세그먼트의 선두 시간이다. dutation0(608)은 메타 데이터가 나타내는 AV 스트림의 일부인 세그먼트의 계속시간이다. 선두 시간이다. element_data(609)는 메타 데이터의 실(實) 데이터이다. else 이하의 신택스(610)로 기술하고 있다.
그리고, 동기부(204)는, 선두 패킷의 처리 개시 시간(607)과 시간 길이(608)에 의해서 지정되는 AV 스트림의 처리 대상 세그먼트와, 처리 대상 세그먼트에 대응하는 메타 데이터(203)의 일부를 캡슐화 스트림(프라이비트 PES)로서 캡슐화한다.
메타 데이터(203)를 PES 패킷화할 때에는, MPU(303)을 도 6에 나타내는 메타 데이터의 신택스에 있어서의 요소(element_data)로서, AV 스트림의 세그먼트의 선두 패킷의 처리 개시 시간(start_time)과, 시간 길이(dutationO)를 메타 데이터의 실 데이터와 함께 패킷화한다.
이것에 의해, MPU(303)가 AV 스트림(202)과 동기를 취하기 위한 정보를 가질 수 있다. 따라서, MPU(303)와 AV 스트림(202)의 동기가 얻어진다. 이것에 의해, 정보 제공 노드(101)측에서 메타 데이터(203)의 동작을 결정할 수 있게 된다.
또한, 실시예 1에서는, 도 7에 도시된 바와 같이 MPU(303)를 제 1 PES 패킷(701)과 제2 PES 패킷(702)의 2개의 패킷으로부터 구성하도록 되어 있다. 이 경우에 있어서, 동기부(204)가 MPU(303)를 프라이비트 PES 패킷으로 패킷화하여 비디오 PES 패킷(301), 오디오 PES 패킷(302)과 인터리브하는 동작에 대하여 도 7을 사용하여 설명한다. 또, MPU(303)의 사이즈와 패킷의 사이즈에 따라, MPU(303)를 몇개의 패킷으로 할 지는 임의로 결정할 수 있다.
실시예 1의 경우, 제 1 PES 패킷(701)와 제2 PES 패킷(702)이 대응하는 AV 스트림의 세그먼트의 선두 패킷(703)의 처리 개시 시간(start_time)(705)보다도 이전에 처리되도록, 선두 패킷(703)보다도 시간적으로 앞의 프라이비트 PES 패킷(708)으로서 제 1 PES 패킷(701)과 제 2 PES 패킷(702)을 배치한다.
또한, 제 2 PES 패킷(702)의 도착 시간 t(704)와 대응하는 선두 패킷(703)의 처리 개시 시간(start_time)(705)의 차분 Δt(706)에는, 정보 수신측인 정보 이용부(107)가 제 1 PES 패킷(701)과 제2 PES 패킷(702)으로부터 MPU(303)를 생성하여, 생성한 MPU(303)의 내용을 파징하여, 처리를 실행하는 데 충분한 시간을 할당한다.
그리고, 이와 같이, 동기부(204)에 의해서 동기된 AV 스트림(205)과 메타 데이터(206)는 캡슐화부(207)에 입력된다.
캡슐화부(207)는 입력된 AV 스트림(205)과 메타 데이터(206)를 캡슐화하여 캡슐화 스트림(103)으로서 송신한다.
이상과 같이, 실시예 1에 의하면, AV 스트림과 메타 데이터를 동기시키는 동기부(204)와, 메타 데이터를 유닛마다 AV 스트림과 메타 데이터를 캡슐화하는 캡슐화부(207)를 마련함으로써, 메타 데이터를 유닛마다 재구성하여 AV 스트림과 캡슐화할 수 있다. 이것에 의해, 메타 데이터가 부분적인 실행을 가능하게 되어, AV 스트림의 일부인 세그먼트를 처리하는 프로그램 배신, 응답 시간 고속화, 필요한축적 용량의 삭감, 네트워크 트래픽의 삭감을 실행할 수 있다.
흔히, 실시예 1에 의하면, 메타 데이터 및 메타 데이터의 유닛으로서 XML에 의해서 기술되는 구조화 기술을 이용하여, 메타 데이터로부터 유닛으로 및 유닛으로부터 메타 데이터로 구조화 기술을 재구성함으로써 AV 스트림을 처리하는 메타 데이터가 확장성을 갖게 할 수 있어, 메타 데이터를 설계하는 자유도가 넓혀진다. 또한, XML 등으로 기술된 구조화 기술을 메타 데이터로서 그대로 이용할 수 있다.
(실시예 2)
다음에, 본 발명의 실시예 2에 따른 정보 처리 시스템에 대하여 설명한다. 도 8은 실시예 2에 따른 정보 이용부(107)의 블록도이다.
정보 이용부(107)에는 입력된 캡슐화 스트림(103)으로부터 AV 스트림(801)과 메타 데이터(802)를 추출하여 출력하는 추출부(803)가 마련되어 있다. 추출부(803)는 추출한 AV 스트림(801)과 메타 데이터(802)를 액세스부(804)에 출력한다.
액세스부(804)는 축적부(108)에 AV 스트림(801)과 메타 데이터(802)를 기록한다. 또한, 액세스부(804)는 축적부(108)에 저장된 AV 스트림(805)과 메타 데이터(806)를 판독하여 동기부(807)로 출력한다.
동기부(807)는, 액세스부(804)에서 판독한 AV 스트림(805)과 메타 데이터(806)에 대하여 MPU(303)마다 시간을 동기시켜 코아 처리부(808)로 출력한다.
코아 처리부(808)에는 표시부(809)가 마련되어 있다. 표시부(809)는 입력된, 동기 후의 AV 스트림(810)과 메타 데이터(811)를 시간 동기시키면서 표시한다.
이렇게 하여, 정보 이용부(107)는 추출부(803)에서 캡슐화 스트림(103)으로부터 AV 스트림(801)과 메타 데이터(802)를 추출한다. 그리고, 동기부(807)에 있어서 AV 스트림(801)의 세그먼트에 대응하여 유닛화되어 있는 메타 데이터(802)를 유닛마다 AV 스트림(801)과 그것에 대응한 메타 데이터(802)의 유닛을 동기시킨다. 그리고, 표시부(809)에 있어서, 동기된 메타 데이터(811)와 AV 스트림(810)을 유닛마다 표시한다.
다음에, 정보 이용 노드(106)의 메타 데이터 처리 동작에 대하여 도 9의 흐름도를 이용하여 상세히 설명한다. 우선, 추출부(803)가, 수신한 캡슐화 스트림(103)으로부터 AV 스트림과 메타 데이터의 PMU(303)를 추출한다. 또한, 정보 이용부(107)가 MPU(303)에 대하여 파징한다(ST 901).
다음에, 정보 이용부(107)에 있어서, MPU(303)를 머지하여 메타 데이터(802)로서 재구성할의 여부를 확인한다(ST 902). 그리고, 정보 이용부(107)에 있어서, MPU(303)를 유닛 단위로 실행할 지의 여부를 확인한다(ST 903).
그리고, ST 902, ST 903에서, 정보 이용부(107)에서 확인한 각 결과가, MPU 머지 또한 MPU 실행인 경우, 코아 처리부(808)에서 처리를 실행한다(ST 904). 그리고, 정보 이용부(107)에서 MPU의 머지를 실행한다(ST 905). 또, 여기서 말하는 처리란, 실시예 2에 관해서는 표시 처리이지만, 후술하는 다른 실시예와 같이, 변환 처리나, 전송 처리이더라도 좋다.
그리고, 정보 이용부(107)에 있어서, 시간 또는 수에 의한 MPU의 제한, 즉 MPU의 처리 단위를 나타내는 이벤트가 발생했는지를 판단하여(ST 906), 이벤트가 발생될 때까지 ST 904, 905를 되풀이한다. 또한, 이벤트 정보는, 범용성을 갖게 하는 경우에는 소프트웨어에 포함시키거나, 고정적으로 사용을 하는 경우는 단말에 미리 포함시킨다.
그리고, 정보 이용부(107)에 있어서, ST 906에서 모인 MPU로부터 메타 데이터의 렌더링, 즉 메타 데이터를 포맷화한다. 이 이벤트에 근거하여 포맷한 메타 데이터를 축적부(108)에 축적한다. 그리고, 코아 처리부(808)가 이 포맷화한 데이터를 읽어들여 각종 처리를 한다.
이와 같이, ST 904에서 처리의 최소 단위인 MPU 마다 처리를 하는 것뿐만아니라, 이벤트에 의해 MPU를 머지한 데이터에 근거한 처리도 실행할 수 있다.
이것에 의해, 이벤트에 의해 MPU를 처리하는 단위를 임의로 설정할 수 있기 때문에, 메타 데이터의 처리하는 AV 데이터의 세그먼트의 길이를 가변할 수 있다. 즉 짧은 AV 데이터에 대하여 메타 데이터를 처리하거나, 긴 AV 데이터에 대하여 메타 데이터를 처리하거나 할 수 있다. 예컨대, 카 네비게이션(car navigation) 시스템과 같이, 짧은 주기로 메타 데이터 표시를 갱신하거나, 뉴스 프로그램과 같이 긴 주기로 메타 데이터 표시를 갱신할 수 있다.
또한,이 이벤트에 근거하여 포맷한 메타 데이터를 저장부(108)에 저장함으로써, 사용자의 조작에 의해 이 정보를 판독하여 처리할 수도 있다.
또한, ST 902, ST 903에서, 정보 이용부(107)에서 확인한 각 결과가, MPU 머지 또한 MPU의 비실행인 경우, MPU의 머지를 실행한다(ST 908). 그리고, 정보 이용부(107)에서, 시간 또는 수에 의한 MPU의 제한, 즉 MPU의 머지를 종료하는 것에 관한 이벤트가 있는 지를 판단하여 (ST 909), 이벤트가 있을 때까지 ST 908을 되풀이한다. 그리고, 처리 P(107)에서 모인 MPU로부터 메타 데이터를 렌더링한다. 그리고, 정보 이용부(107)에서, ST 906에서 모인 MPU로부터 메타 데이터의 렌더링, 즉 메타 데이터를 포맷화한다(ST 910). 이 이벤트에 근거하여, 포맷한 데이터를 축적부(108)에 축적한다. 그리고, 코아 처리부(808)가 포맷화한 데이터를 읽어들여 각종 처리를 한다.
이와 같이, 처리의 최소 단위인 MPU 마다 처리를 하지 않고, 이벤트에 의해 MPU를 머지한 데이터에 기초를 둔 처리만을 실행할 수 있다.
또한, ST 902, ST 903에서, 정보 이용부(107)에서 확인한 각 결과가, MPU 비 머지 또한 MPU 실행의 경우, 순차 처리를 실행한다(ST 911). 그리고, 정보 이용부(107)에 있어서, 시간 또는 수에 의한 MPU의 제한, 즉 MPU를 처리하는 단위를 나타내는 이벤트가 있는지 판단하여 (ST 912), 이벤트가 있을 때까지 ST 911을 반복한다.
이와 같이, 이벤트에 의해 MPU를 머지한 데이터에 기초를 둔 처리를 하지 않고, 처리의 최소 단위인 MPU 마다 처리를 할 수 있다.
또한, ST 902, ST 903에서, 정보 이용부(107)에서 확인한 각 결과가, MPU 비 머지 또한 MPU 비실행의 경우, MPU에 관한 처리는 특별히 실행하지 않는다.
이상과 같이 하여, MPU(303)에 포함되는 내용에 따라서 추출 방법을 적절히바꿀 수 있다.
이하, 정보 이용부(107)의 동작에 대하여 설명한다. 정보 이용부(107)는 추출부(803)에서 입력된 캡슐화 스트림(103)으로부터 AV 스트림(801)과 메타 데이터(802)를 추출하여 액세스부(804)로 출력한다. 액세스부(804)는 축적부(108)에 AV 스트림(801)과 메타 데이터(802)를 기록한 후, AV 스트림(805)과 메타 데이터(806)를 판독하여, 동기부(807)로 출력한다. 동기부(807)는, 액세스부(804)로 판독한 AV 스트림(805)과 메타 데이터(806)에 대하여 MPU(303)마다 시간 동기시켜, 코아 처리부(808)로 출력한다. 코아 처리부(808)에서는, 표시부(809)가 입력된 AV 스트림(810)과 메타 데이터(811)를 시간 동기시키면서 표시한다.
이상과 같이, 실시예 2에 의하면, AV 스트림과 메타 데이터를 분리·추출하는 추출부(803)와, 축적부(108)에 대하여 AV 스트림과 메타 데이터를 기입 판독하는 액세스부(804)와, 판독된 AV 스트림과 메타 데이터의 처리의 동기를 실행하는 동기부(807)와, 코아 처리부(808)인 표시부(809)를 마련함으로써, 메타 데이터와 AV 스트림의 처리 시간의 정밀한 동기를 실행할 수 있다. 이것에 의해, AV 스트림의 일부인 세그먼트에 대하여 처리를 가변할 수 있다.
또한, 코아 처리부(808)의 표시부(809)가 실행하는 표시 방법에 관한 정보를 메타 데이터로 할 수 있다. 표시 방법에 관한 정보란, 메타 데이터에 관한 정보를 표시하는 위치 정보, 표시하는 사이즈 정보, 표시 갱신 정보 등이다.
이것에 의해, 정보 제공 노드(101)에 있어서, 메타 데이터를 표시하기 위한 적절한 방법을 정보 이용 노드(106)에 보낼 수 있다. 이 결과, 정보 이용노드(106)에서 적절히 메타 데이터를 표시할 수 있다. 따라서, 메타 데이터가 광고 등인 경우에는, 광고를 표시하고 싶은 시간에 표시할 수 있도록 지정할 수 있고, 메타 데이터가 프로그램의 설명에 관한 정보인 경우에는, 설명에 관한 정보를 화상이 방해되지 않도록 표시할 수 있다.
또한, 실시예 2에 의하면, 메타 데이터 및 메타 데이터의 유닛으로서 XML에 의해서 기술되는 구조화 기술을 이용하여, 메타 데이터로부터 유닛으로 및 유닛으로부터 메타 데이터로 구조화 기술을 재구성함으로써, AV 스트림을 처리하는 메타 데이터를 설계하는 자유도를 넓혀, XML 등으로 기술된 구조화 기술을 메타 데이터로서 그대로 이용할 수 있다.
(실시예 3)
다음에, 본 발명의 실시예 3에 따른 정보 처리 방법에 대하여 설명한다. 도 10은 실시예 3에 따른 정보 이용부(1001)의 블록도이다. 또, 이미 설명한 구성과 동일한 것에 관해서는, 동일의 번호를 부여하고 설명을 생략한다.
실시예 3에 따른 정보 이용부(1001)는, 실시예 2에 따른 정보 이용부(1001)의 코아 처리부(808)를 코아 처리부(1002)로 대체한 것이다. 이하, 코아 처리부(1002)를 중심으로, 정보 이용부(1001)에 대하여 설명한다.
코아 처리부(1002)에는 전송부(1003)와 캡슐화부(1006)가 마련되어 있다.
전송부(1003)는 동기부(807)로부터 입력된 AV 스트림(810)과 메타 데이터(811)에 다른 정보 이용 노드로 전송하기 위한 설정, 예컨대 보낼곳을 설정한다. 또한, 전송부(1003)는, MPU(303) 마다 시간 동기시켜 캡슐화부(1006)로 AV 스트림(1004)과 메타 데이터(1005)를 출력한다.
캡슐화부(1006)는 입력된 AV 스트림(1004)과 메타 데이터(1005)를 다시 캡슐화하여, 캡슐화 스트림(1007)으로서 다른 노드에 송신한다. 이와 같이, 캡슐화부(1006)가 AV 스트림(1004)과 메타 데이터를 재캡슐화하기 때문에, 메타 데이터와 AV 스트림의 처리 시간이 정밀한 동기를 유지하면서 처리 부하가 분산된다.
또한, 캡슐화부(1006)의 동작에 관해서는, 실시예 1의 캡슐화부(207)와 마찬가지기 이므로 상세한 설명은 생략한다.
이하, 정보 이용부(1101)의 동작에 대하여 설명한다. 정보 이용부(1101)는 추출부(803)에서 입력된 캡슐화 스트림(103)으로부터 AV 스트림(801)와 메타 데이터(802)를 추출하여 액세스부(804)로 출력한다. 액세스부(804)는 축적부(108)로 AV 스트림(801)과 메타 데이터(802)를 기록한 후, AV 스트림(805)과 메타 데이터(806)를 판독 동기부(807)로 출력한다.
동기부(807)는, 액세스부(804)에서 판독한 AV 스트림(805)과 메타 데이터(806)에 대하여 MPU(303)마다 시간 동기시켜 코아 처리부(1002)로 출력한다. 코아 처리부(1002)에서는, 전송부(1003)가 입력된 AV 스트림(810)과 메타 데이터(811)를 다른 정보 이용 노드로 전송하기 위한 설정을 하여, MPU(303)마다 시간 동기시켜 캡슐화부(1006)로 출력하고, 캡슐화부(1006)는 입력된 AV 스트림(1004)과 메타 데이터(1005)를 재캡슐화하여 캡슐화 스트림(1007)으로서 다른 노드에 송신한다.
이상과 같이, 정보 이용부(1001)를 구성함으로써, 전송부(1003)가 동기부(807)로부터 입력된 AV 스트림(810)과 메타 데이터(811)를 다른 정보 이용 노드로 전송하기 위한 설정을 하여, MPU(303)마다 시간 동기시켜 캡슐화 단계(23)로 출력하여, 캡슐화부(1006)가 전송부(1003)로부터 입력된 AV 스트림(1004)과 메타 데이터(1005)를 재캡슐화하여 캡슐화 스트림(1007)으로서, 다른 노드에 송신할 수 있다.
이상과 같이, 실시예 3에 의하면, 정보 이용부(1001)에 AV 스트림과 메타 데이터를 분리·추출하는 추출부(803)와, 축적부(108)에 대하여 AV 스트림과 메타 데이터를 기입 판독하는 액세스부(804)와, 액세스부(804)에서 판독된 AV 스트림과 메타 데이터의 처리를 동기시키는 동기부(807)와, 코아 처리부(1002)에 전송부(1003) 및 캡슐화부(1006)를 마련함으로써, 메타 데이터와 AV 스트림의 처리 시간이 정밀한 동기를 유지하면서 처리의 부하를 분산함과 동시에, AV 스트림의 일부인 세그먼트에 대하여 처리를 가변할 수 있다.
또한, 실시예 3에 의하면, 전송부(1003) 및 캡슐화부(1006)의 처리 방법에 관해서의 정보 또는 처리 프로그램 자신을 메타 데이터로 할 수도 있다. 여기서 말하는 처리 방법이란, 메타 데이터를 삽입하는 장소를 전송에 일치시켜 바꾸는 처리 등이다. 이것에 의해, 정보 제공 노드(101)에 있어서, 메타 데이터를 전송, 캡슐화하기 위한 적절한 방법을 정보 이용 노드(106)로 보낼 수 있다. 이 결과, 정보 이용 노드(106)에서 적절히 메타 데이터를 전송, 캡슐화할 수 있다.
(실시예 4)
다음에, 본 발명의 실시예 4에 따른 정보 처리 시스템에 대하여 설명한다. 도 11은 실시예 4에 따른 정보 이용부(11O1)의 블록도이다. 또, 이미 설명한 구성과 동일한 것에 관해서는, 동일한 부호를 부여하고, 설명을 생략한다.
실시예 4에 따른 정보 이용부(1101)는, 실시예 2에 따른 정보 이용부(107) 또는 실시예 3에 따른 정보 이용부(1001)에 변환부(1102)를 마련한 것이다. 이하, 변환부(1102)를 중심으로 정보 이용부(1101)에 대하여 설명한다.
변환부(1102)는, 메타 데이터(811)에 따라서 AV 스트림(810)을 변환하여, T-AV 스트림(1103)과 T 메타 데이터(1104)로서 코아 처리부(1105)로 출력한다. 여기서 말하는 변환이란, 송신처의 단말이나 표시 장치에 맞춰 색 변환하거나, 송신처의 단말이나 표시 장치에 맞춰 화면 정보의 포맷을 변환하거나, 송신처의 단말에 맞춰 음성 포맷을 MP3이나 휴대 전화의 포맷으로 변환하거나 하는 것 등이다.
코아 처리부(1105)는, 실시예 2에 나타내는 코아 처리부(808) 또는 실시예 3에 나타내는 코아 처리부(1002) 중 어느 하나와 같은 동작을 한다.
코아 처리부(1105)가 코아 처리부(808)인 경우에는, 코아 처리부(1105)에 표시부(809)가 마련된다. 이 경우, 표시부(809)가 입력된 T-AV 스트림(1103)과 T- 메타 데이터(1104)를 시간 동기시키면서 표시한다.
또한, 코아 처리부(1105)가 코아 처리부(1002)인 경우에는, 코아 처리부(1105)에 전송부(1003)와 캡슐화부(1006)가 마련된다. 이 경우는, 전송부(1003)가 입력된 T-AV 스트림(1103)과 T-메타 데이터(1104)를 다른 정보 이용 노드로 전송하기 위한 설정을 하여, MPU(303)마다 시간 동기시켜 캡슐화부(1006)로 출력한다. 또한, 실시예 3에 있어서의 캡슐화부의 동작에 관해서는, 실시예 1의 캡슐화부(207)와 마찬가지다.
이하, 정보 이용부(1101)의 동작을 설명한다. 정보 이용부(1101)는 추출부(803)에서 입력된 캡슐화 스트림(103)으로부터 AV 스트림(801)과 메타 데이터(802)를 추출하여 액세스부(804)로 출력한다. 그리고, 액세스부(804)는 축적부(108)에 AV 스트림(801)과 메타 데이터(802)를 기록한 후, AV 스트림(805)과 메타 데이터(806)를 판독하여 동기부(807)로 출력한다. 그리고, 동기부(807)는 액세스부(804)에서 판독한 AV 스트림(805)과 메타 데이터(806)에 대하여 MPU(303)마다 시간 동기시켜 변환부(1102)로 출력한다. 그리고, 변환부(1102)는 메타 데이터(811)에 따라서 AV 스트림(810)을 변환하여, T-AV 스트림(1103)과 T-메타 데이터(1104)로서 코아 처리부(1105)에 출력한다.
그리고, 코아 처리부(1105)가 실시예 2에 따른 코아 처리부(808)인 경우에는, 표시부(809)가 입력된 T-AV 스트림(1103)과 T-메타 데이터(1104)를 시간 동기시키면서 표시한다. 또한, 코아 처리부(1105)가 실시예 1의 코아 처리부(1002)인 경우에는, 전송부(1003)가 입력된 T-AV 스트림(1103)과 T-메타 데이터(1104)를 다른 정보 이용 노드로 전송하기 위한 설정을 하여, MPU(303)마다 시간 동기시켜 캡슐화부(1006)로 출력한다. 캡슐화부(1006)는 입력된 T-AV 스트림(1103)과 T-메타 데이터(1104)를 재캡슐화하여 캡슐화 스트림(1007)으로서 송신한다.
이상과 같이, 실시예 4에 의하면, 정보 이용부(1101)가 AV 스트림과 메타 데이터를 분리·추출하는 추출부(803)와, 축적부(108)에 대하여 AV 스트림과 메타 데이터를 기입 판독하는 액세스부(804)와, 판독된 AV 스트림과 메타 데이터의 처리를 동기시키는 동기부(807)와, 동기한 AV 스트림과 메타 데이터를 변환하는 변환부(1102)와, 코아 처리부(1105)로서 표시부(809) 또는 전송부(1003) 및 캡슐화부(1006)로부터 구성되는 이용 프로그램을 마련함으로써, 메타 데이터에 의한 변환 처리를 하는 장소를 가변할 수 있다. 변환 처리를 하는 장소는, 예컨대, 서버, 단말, 네트워크의 노드(게이트 웨이) 등이다.
또한, 실시예 4에 의하면, AV 스트림의 일부인 세그먼트에 대하여 처리를 가변할 수 있다. 또한, AV 스트림 및 메타 데이터를 변환할 수 있다.
또한, 실시예 4에 의하면, 변환된 AV 스트림 및 메타 데이터에 대하여 부가 처리를 할 수 있다.
또한, 실시예 4에 의하면, 메타 데이터 및 메타 데이터의 유닛으로서 XML에 의해서 기술되는 구조화 기술을 이용하여, 메타 데이터로부터 유닛으로 및 유닛으로부터 메타 데이터로 구조화 기술을 재구성함으로써, AV 스트림을 처리하는 메타 데이터를 설계하는 자유도를 넓혀, XML 등으로 기술된 구조화 기술을 메타 데이터로서 그대로 이용할 수 있다.
또한, 실시예 4에 의하면, 코아 처리부(1105)로 메타 데이터를 처리하는 방법인 표시 방법, 전송 방법, 및 캡슐화 방법에 관한 정보를 메타 데이터로 할 수 있다.
(실시예 5)
이하, 본 발명의 실시예 5에 따른 정보 처리 시스템에 대하여 설명한다. 도 12는 실시예 5에 따른 정보 처리 시스템의 블록도를 나타내는 것이다. 또한, 이미 설명한 부분에는 동일한 부호를 부여하고 있다.
실시예 5는, 실시예 1에 따른 정보 제공부(104)로부터 AV 스트림과 메타 데이터를 동기시키는 처리를 생략한 구성으로 되어 있다. 이와 같이 동기 처리를 생략함으로써, AV 스트림과 메타 데이터의 동기가 필요없는 경우에, 동기 처리를 생략하여 처리를 고속화할 수 있는 동시에, 구성을 적게 할 수 있다. 예컨대, AV 스트림과 메타 데이터를 동기시키지 않아도 좋은 경우에는, 메타 데이터를 헤더 정보와 같이 정리하여 모두 전송해서 유닛마다 처리하는 것만으로도 좋은 경우나, 메타 데이터를 AV 스트림과 암묵적으로 동기하면 좋은 경우나, 미리 결정된 제어를 정보 이용측의 단말에서 실행해도 좋은 경우나, 실시간으로 메타 데이터를 처리하지 않아 좋은 경우 등이 고려된다.
이하, 실시예 5에 따른 정보 처리 시스템의 구성에 대하여 설명한다. 정보 제공 노드(1201)에는, AV 스트림과, AV 스트림에 관련되는 메타 데이터가 축적된 축적부(102)가 마련되어 있다. 메타 데이터는, 관련되는 AV 스트림을 설명하는 데이터, 또는 메타 데이터 자신을 처리하기 위한 데이터 등이다. 또한, 정보 제공 노드(1201)에는, 축적부(102)에 저장된 AV 스트림과 메타 데이터를 캡슐화해서 캡슐화 스트림(1203)을 생성하여, 출력하는 정보 제공부(1204)가 마련되어 있다. 정보 제공부(1204)는 캡슐화 스트림(1203)을 네트워크(105)를 거쳐서 정보 수신측의장치인 정보 이용 노드(1206)에 송신한다.
한편, 정보 이용 노드(1206)에는, 캡슐화 스트림(1203)으로부터 AV 스트림과 메타 데이터를 추출하여, 이들에 소정의 처리를 실시하여 이용하는 정보 이용부(1207)가 마련되어 있다. 또한, 정보 이용 노드(1206)에는 정보 이용부(1207)에서 추출된 AV 스트림과 메타 데이터를 저장하는 축적부(108)가 마련되어 있다. 또한, 정보 이용부(1207)는 축적부(108)에 축적된 AV 스트림과 메타 데이터를 판독하여 이용한다.
다음에, 정보 제공부(1204)에 대하여, 도 13을 이용하여 설명한다. 도 13은 실시예 5에 따른 정보 제공부의 블록도이다.
정보 제공부(1204)에는, 축적부(102)로부터 AV 스트림과 메타 데이터를 판독하는 액세스부(1301)가 마련되어 있다. 액세스부(1301)는 AV 스트림(1302)과 메타 데이터(1303)를 유닛화부(1304)에 출력한다.
유닛화부(1304)는 액세스부(1301)에서 판독한 메타 데이터(1306)를 MPU(303)에 재형성하고, 또한 액세스부(1301)에서 판독한 AV 스트림(1305)과 메타 데이터(1306)를 캡슐화부(1307)에 출력한다.
캡슐화부(1307)는 입력된, AV 스트림(1305)과 메타 데이터(1306)를 캡슐화하여 캡슐화 스트림(1203)으로서 정보 이용 노드(1206)로 송신한다.
또한, 실시예 5도 실시예 1과 같이, 메타 데이터를 부분적으로 실행할 수 있도록, 메타 데이터를 유닛화하고 있다. 그리고, AV 스트림과 메타 데이터의 유닛을 패킷화하여, 데이터 스트림의 패킷과 메타 데이터의 유닛의 패킷을 캡슐화하여캡슐화 스트림을 생성하도록 하고 있다.
이하, 본 발명의 정보 제공부(1204)의 동작에 대하여 상세히 설명한다. 또, 축적부(102)에 저장된 AV 스트림(1302)과 메타 데이터(1303)에 관해서는, 실시예 1에 따른 AV 스트림(202, 203)과 마찬가지기 때문에 설명을 생략한다.
이러한 구성의 메타 데이터(1303)와 AV 스트림(1302)은 액세스부(1301)에 의해 축적부(102)로부터 판독된다. 그리고, 액세스부(1301)는 판독한 AV 스트림(1302)과 메타 데이터(1303)를 유닛화부(1304)에 출력한다.
AV 스트림(1302)과 메타 데이터(1303)를 수신한 유닛화(1304)는, 우선, 메타 데이터(1303)를 유닛화하는 처리로 이행한다.
또한, 메타 데이터(1303) 및 MPU(303)의 정의에 관해서는, 실시예 1에 따른 메타 데이터(203)와 실시예 1에서 설명한 MPU(303)와 마찬가지이기 때문에 설명을 생략한다. 또한, 메타 데이터(1303)의 유닛화에 대해서도, 실시예 1에 따른 메타 데이터(203)의 유닛화와 마찬가지이기 때문에 설명을 생략한다.
도 4a에 나타내는 메타 데이터 정의(401)에 의하면, 메타 데이터(1303)는 MPU 정의(402)의 집합에 의해서 표시된다. 이 때문에, 메타 데이터(1303)는 메타 데이터 정의(401)에 의해서 구조화 기술되어, 도 5a에 나타내는 메타 데이터(XML 인스턴스)(501)로서 축적부(102)에 저장되어 있다.
또한, 도 4b에 나타내는 MPU 정의(402)에 의하면, MPU(303)가 user_difined.dtd로 정의되는 메타 데이터의 집합에 의해서 표시된다. 이 때문에, MPU(303)는 MPU 마다 MPU 정의(402)에 의해서 구조화 기술되어, 도 5 b에 나타내는MPU(XML 인스턴스)(502)로서 축적부(102)에 저장되어 있다.
또한, MPU(303)는, <mpu>로부터 </mpu>의 내용을 갖는다. 즉, 유닛화부(1304)는 <mpu>로부터 </mpu>까지의 정보가 있으면, MPU(303)의 내용을 파악할 수 있어, MPU(303)를 처리할 수 있다. 이 때문에, 유닛화부(1304)는 메타 데이터(1303)로부터 MPU(303)를 출력할 때에는, MPU 정의(402)에 의해서 정의된 MPU 태그(여기서는 <mpu>)라는 태그의 내측의 내용을 추출한다.
이렇게 하여, 메타 데이터(1303)가 MPU(303)라는 하위 계층의 정보로 구성되도록 함으로써, 유닛화부(1304)가 MPU(303)마다 메타 데이터(1303)를 처리할 수 있다. 이것에 의해, 유닛화부(1304)가 AV 데이터(1302)와 메타 데이터(1303)를 유닛마다 처리할 수 있다.
다음에, 캡슐화부(1307)는, 실시예 1과 같이, 유닛화부(1304)로부터 전송된 메타 데이터(1306)를 도 6에 나타내는 신택스를 사용하여 캡슐화한다.
그리고, 캡슐화부(1307)는 선두 패킷의 처리 개시 시간(607)과 시간 길이(608)에 따라서 지정되는 AV 스트림의 처리 대상 세그먼트와, 처리 대상 세그먼트에 대응하는 메타 데이터(1303)의 일부를 캡슐화 스트림(프라이비트 PES)으로서 캡슐화한다.
그리고, 유닛화부(1304)가 MPU(303)를 프라이비트 PES 패킷으로 패킷화하여 비디오 PES 패킷, 오디오 PES 패킷과 인터리빙한다.
그리고, 캡슐화부(207)는 입력된 AV 스트림(1305)과 메타 데이터(1306)를 캡슐화하여 캡슐화 스트림(1203)으로서 송신한다.
이상과 같이, 실시예 5에 의하면, AV 스트림과 메타 데이터를 유닛화하는 유닛화부(1304)와, 메타 데이터를 유닛마다 AV 스트림과 메타 데이터를 캡슐화하는 캡슐화부(1307)를 마련함으로써, 메타 데이터를 유닛마다 재구성하여 AV 스트림과 캡슐화할 수 있다. 이것에 의해, 메타 데이터의 부분적인 실행을 가능하게 하여, AV 스트림의 부분인 세그먼트를 처리하는 프로그램 배신, 응답 시간 고속화, 필요한 축적 용량의 삭감, 네트워크 트래픽의 삭감을 이룰 수 있다.
또한, 실시예 5는, 실시예 1과 틀려, 동기 처리를 생략하고 있기 때문에, AV 스트림과 메타 데이터를 동기시키지 않아도 좋은 경우에, 동기 처리를 생략함으로서 처리를 고속화할 수 있는 동시에, 구성을 삭감할 수도 있다.
(실시예 6)
다음에, 본 발명의 실시예 6에 따른 정보 처리 시스템에 대하여 설명한다. 도 14는 실시예 6에 따른 정보 이용부(1207)의 블록도이다.
실시예 6은 실시예 2에 따른 정보 이용부(107)로부터 AV 스트림과 메타 데이터를 동기시키는 처리를 생략한 구성으로 되어 있다. 이와 같이 동기 처리를 생략함으로써, AV 스트림과 메타 데이터를 동기시키지 않아도 좋은 경우에, 동기 처리라는 처리를 생략하여 처리를 고속화할 수 있는 동시에, 구성을 삭감할 수도 있다. 예컨대, AV 스트림과 메타 데이터를 동기시키지 않아도 좋은 경우란, 메타 데이터를 헤더 정보와 같이 정리하여 모두 전송하여 유닛마다 처리하는 것만으로 좋은 경우나, 메타 데이터를 AV 스트림과 암묵적으로 동기하면 좋은 경우, 미리 결정된 제어를 정보 이용측의 단말에서 실행하면 좋은 경우, 실시간으로 메타 데이터를 처리하지 않아도 좋은 경우 등이 생각된다.
이하, 실시예 6에 따른 정보 처리 시스템의 구성에 대하여 설명한다.
정보 이용부(1207)에는, 입력된 캡슐화 스트림(1203)으로부터 AV 스트림(1401)과 메타 데이터(1402)를 추출하여, 출력하는 추출부(1403)가 마련되어 있다. 추출부(1403)는 추출한 AV 스트림(1401)과 메타 데이터(1402)를 액세스부(1404)에 출력한다.
액세스부(1404)는 축적부(108)에 AV 스트림(1401)과 메타 데이터(1402)를 기록한다. 또한, 액세스부(1404)는 축적부(108)에 저장된 AV 스트림(1405)과 메타 데이터(1406)를 판독하여 코아 처리부(1407)로 출력한다.
코아 처리부(1407)는 실시예 2에 나타내는 코아 처리부(808)와 같은 동작을 한다. 코아 처리부(1407)가 코아 처리부(808)인 경우에는, 코아 처리부(1407)에 표시부(1408)가 마련된다. 이 경우, 표시부(1408)가 입력된 AV 스트림(1405)과 메타 데이터(1406)를 표시한다.
이렇게 하여, 정보 이용부(1207)는, 추출부(1403)에서 캡슐화 스트림(1203)으로부터 AV 스트림(1401)과 메타 데이터(1402)를 추출한다. 그리고, 표시부(1408)에서 메타 데이터(1406)와 AV 스트림(1405)을 유닛마다 표시한다.
이하, 정보 이용부(1207)의 동작에 대하여 설명한다. 정보 이용부(1207)는 추출부(1403)에서 입력된 캡슐화 스트림(1203)으로부터 AV 스트림(1401)과 메타 데이터(1402)를 추출하여 액세스부(1404)로 출력한다. 액세스부(1404)는축적부(108)로 AV 스트림(1401)과 메타 데이터(1402)를 기록한 후, AV 스트림(1405)과 메타 데이터(1406)를 판독하여, 코아 처리부(1407)로 출력한다. 코아 처리부(1407)에서는, 표시부(1408)가 입력된 AV 스트림(1405)과 메타 데이터(1406)를 표시한다.
이상과 같이, 실시예 6에 의하면 AV 스트림과 메타 데이터를 분리·추출하는 추출부(1403)와, 축적부(108)에 대하여 AV 스트림과 메타 데이터를 기입 판독하는 액세스부(1404)와, 코아 처리부(1407)인 표시부(1408)를 마련함으로써, AV 스트림의 일부인 세그먼트에 대하여 처리를 가변할 수 있다.
또한, 실시예 6은 실시예 2와 틀려, 동기 처리를 생략하고 있기 때문에, AV 스트림과 메타 데이터를 동기시키지 않더라도 좋은 경우에, 동기 처리를 생략함으로써 처리를 고속화할 수 있는 동시에, 구성을 삭감할 수도 있다.
또, 실시예 6에서는, 실시예 2로부터 동기부(807)를 생략한 구성으로 설명했지만, 실시예 3, 4로부터 동기부(807)를 생략한 구성이더라도 좋다.
실시예 1로부터 실시예 6에 있어서, 각 처리부는, 각각의 전부 또는 일부 동작을 프로그램(소프트웨어)으로서 CD-ROM이나 DVD 등의 컴퓨터 판독 가능한 기억 매체에 저장하여, 컴퓨터가 프로그램을 판독함으로써 각 처리부의 동작을 컴퓨터의 CPU 등에 행하게 시키는 것에 의해 구성되는 것이다.
또한, 각 처리부의 전부 또는 일부의 동작을 프로그램(소프트웨어)으로서, 인터넷 등의 통신 수단 상의 기억 매체에 저장하여, 인터넷 등을 거쳐서 정보 단말에 프로그램을 다운로드하여, 각 처리부의 동작을 정보 단말에 행하게 하는 형태이더라도 좋다.
또, 각 처리부를 전용 하드웨어를 이용하여 구성한 형태이더라도 좋다. 또, 실시예 1로부터 실시예 6에 있어서, 시간 연속성을 가지는 콘텐츠의 데이터 스트림으로서 AV 스트림을 사용하여 설명했지만, AV 스트림이 아니더라도 그 밖의 스트림, 화일, 및 소량의 정보이지만 스트림으로서의 이용이 유용하다고 생각되는 것이면, 상기 실시예와 같은 효과를 얻을 수 있다.
또한, 실시예 1로부터 실시예 6에 있어서, 메타 데이터 정의 및 MPU 정의를 XML의 DTD에 의해서 실행했지만, XML의 RDF나 XML 스키마(XML Schema)로도 좋고, 또한, 그 밖의 정의 수단을 이용하더라도 좋다.
또한, 실시예 1로부터 실시예 6에 있어서, 패킷화를 MPEG-2 시스템의 PES 패킷으로 설명했지만, MEPG-1 시스템이나 MPEG-4, SMPTE 종속 데이터 패킷(SMPTE Ancillary Data Packet)이나 그 밖의 전송 포맷, 스트리밍 포맷, 파일 포맷이라도 좋다.
또한, 실시예 1로부터 실시예 6에 있어서, 메타 데이터를 전송하는 전송 레이어로서 프라이비트 PES로 설명했지만, 장래 예약되는 메타 데이터용 PES나 MPEG-7용 PES, MPEG-2 PSI(Program Specific Information) 섹션(소위, 캡슐)을 전송 레이어로 해도 좋다.
또한, 실시예 1로부터 실시예 4에 있어서, 동기의 가변으로서, 도중에 수신 시에 필요한 메타 데이터를 수신할 수 있도록, 하나의 MPU를 반복하여 삽입하더라도 좋다.
또한, 실시예 1로부터 실시예 6에 있어서, 네트워크(105, 1505)는, 지상파 방송망, 위성 방송망, 케이블 텔레비젼망, 회선 교환망, 패킷 교환망, ATM, 인터넷, 그 밖의 네트워크나 패키지 미디어, 하드 디스크, 메모리 등이라도 좋다.
본 명세서는, 1999년 7월 14일 출원의 특개평 11-200095에 근거한다. 이 내용은 전부 여기에 포함시켜 놓는다.
이와 같이, 본 발명에 의하면, 첫째, 메타 데이터를 유닛마다 재구성하여 AV 스트림과 캡슐화함으로써, 메타 데이터의 부분적인 실행을 가능하게 하여, AV 스트림의 일부인 세그먼트를 처리하는 프로그램 배신, 응답 시간 고속화, 필요한 축적 용량의 삭감, 네트워크 트래픽을 삭감할 수 있다.
둘째, AV 스트림의 일부인 세그먼트에 대하여 처리를 가변으로 하여, 메타 데이터와 AV 스트림의 처리 시간을 정밀하게 동기시킬 수 있다.
셋째, 메타 데이터 및 메타 데이터의 유닛으로서 XML에 의해서 기술되는 구조화 기술을 이용하여, 메타 데이터로부터 유닛으로 및 유닛으로부터 메타 데이터로 구조화 기술을 재구성함으로써 AV 스트림을 처리하는 메타 데이터를 설계하는 자유도를 넓혀, XML 등으로 기술된 구조화 기술을 메타 데이터로서 그대로 이용할 수 있다.

Claims (11)

  1. 캡슐화 스트림으로부터 콘텐츠의 데이터 스트림과 그 콘텐츠를 설명하는 메타 데이터를 추출하는 추출부와,
    추출된 데이터 스트림과 메타 데이터를 축적부에 축적하며, 또한, 상기 축적부로부터 판독 출력하는 액세스부와,
    상기 데이터 스트림의 세그먼트에 대응하여 유닛화되어 있는 상기 메타 데이터를 유닛마다 처리하는 처리부
    를 구비하는 것을 특징으로 하는 정보 수신 장치.
  2. 제 1 항에 있어서,
    상기 메타 데이터의 유닛을 머지(merge)시키는 제한 정보에 의해, 상기 유닛을 머지하는 것을 특징으로 하는 정보 수신 장치.
  3. 제 2 항에 있어서,
    상기 처리부는, 상기 메타 데이터를 표시하는 것을 특징으로 하는 정보 수신 장치.
  4. 제 2 항에 있어서,
    상기 처리부는, 상기 메타 데이터로 정의된 변환 처리에 따라 상기 데이터 스트림을 변환하는 것을 특징으로 하는 정보 수신 장치.
  5. 제 2 항에 있어서,
    상기 처리부는, 데이터 스트림의 패킷과 메타 데이터의 유닛의 패킷을 캡슐화하여, 다른 노드에 전송하는 것을 특징으로 하는 정보 수신 장치.
  6. 제 2 항에 있어서,
    상기 처리부는, 메타 데이터를 복수개 모아서, 상기 복수의 메타 데이터를 함께 처리하는 것을 특징으로 하는 정보 수신 장치.
  7. 캡슐화 스트림으로부터 콘텐츠의 데이터 스트림과 그 콘텐츠를 설명하는 메타 데이터를 추출하는 추출부와,
    추출된 데이터 스트림과 메타 데이터를 축적부에 축적하며, 또한, 상기 축적부로부터 판독 출력하는 액세스부와,
    상기 데이터 스트림의 세그먼트에 대응하여 유닛화되어 있는 상기 메타 데이터를 유닛마다 상기 콘텐츠의 데이터 스트림과 그것에 대응한 메타 데이터의 유닛에 동기시키는 동기부와,
    동기된 메타 데이터를 유닛마다 처리하는 처리부
    를 구비하는 것을 특징으로 하는 정보 수신 장치.
  8. 제 7 항에 있어서,
    상기 동기부는, 축적부에 축적된, 상기 데이터 스트림의 세그먼트와 그것에 대응한 상기 메타 데이터의 유닛을 동기시키는 것을 특징으로 하는 정보 수신 장치.
  9. 캡슐화 스트림으로부터 콘텐츠의 데이터 스트림과 그 콘텐츠를 설명하는 메타 데이터를 추출하는 단계와,
    추출된 데이터 스트림과 메타 데이터를 축적부에 축적하며, 또한, 상기 축적부로부터 판독하는 단계와,
    상기 데이터 스트림의 세그먼트에 대응하여 유닛화되어 있는 상기 메타 데이터를 유닛마다 처리하는 단계
    를 포함하는 것을 특징으로 하는 정보 수신 방법.
  10. 캡슐화 스트림으로부터 콘텐츠의 데이터 스트림과 그 콘텐츠를 설명하는 메타 데이터를 추출하는 단계와,
    추출된 데이터 스트림과 메타 데이터를 축적부에 축적하며, 또한, 상기 축적부로부터 판독하는 단계와,
    상기 데이터 스트림의 세그먼트에 대응하여 유닛화되어 있는 상기 메타 데이터를 유닛마다 상기 콘텐츠의 데이터 스트림과 그것에 대응한 메타 데이터의 유닛을 동기시키는 단계와,
    동기된 메타 데이터를 유닛마다 처리하는 단계
    를 포함하는 것을 특징으로 하는 정보 수신 방법.
  11. 컴퓨터로 하여금
    캡슐화 스트림으로부터 콘텐츠의 데이터 스트림과 그 콘텐츠를 설명하는 메타 데이터를 추출시키는 단계와,
    추출된 데이터 스트림과 메타 데이터를 축적부에 축적하며, 또한, 상기 축적부로부터 판독하고, 상기 데이터 스트림의 세그먼트에 대응하여 유닛화되어 있는 상기 메타 데이터를 유닛마다 처리시키는 단계
    를 실행시키는 프로그램을 저장한 기억 매체.
KR10-2004-7008250A 1999-07-14 2000-07-14 정보 수신 장치 및 그 방법, 및 기억 매체 KR100472255B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP20009599 1999-07-14
JPJP-P-1999-00200095 1999-07-14
PCT/JP2000/004736 WO2001006688A1 (en) 1999-07-14 2000-07-14 Apparatus for providing information, information receiver and storage medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-7000514A Division KR100462695B1 (ko) 1999-07-14 2000-07-14 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억 매체

Publications (2)

Publication Number Publication Date
KR20040053387A true KR20040053387A (ko) 2004-06-23
KR100472255B1 KR100472255B1 (ko) 2005-03-14

Family

ID=16418776

Family Applications (3)

Application Number Title Priority Date Filing Date
KR10-2002-7000514A KR100462695B1 (ko) 1999-07-14 2000-07-14 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억 매체
KR10-2004-7008247A KR100472254B1 (ko) 1999-07-14 2000-07-14 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억매체
KR10-2004-7008250A KR100472255B1 (ko) 1999-07-14 2000-07-14 정보 수신 장치 및 그 방법, 및 기억 매체

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR10-2002-7000514A KR100462695B1 (ko) 1999-07-14 2000-07-14 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억 매체
KR10-2004-7008247A KR100472254B1 (ko) 1999-07-14 2000-07-14 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억매체

Country Status (8)

Country Link
US (9) US7383566B1 (ko)
EP (3) EP2288169A3 (ko)
JP (1) JP4486291B2 (ko)
KR (3) KR100462695B1 (ko)
CN (3) CN100435569C (ko)
AU (1) AU6016600A (ko)
DE (1) DE60041259D1 (ko)
WO (1) WO2001006688A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677545B1 (ko) * 2004-12-29 2007-02-02 삼성전자주식회사 복수개의 데이터 처리 장치를 이용한 데이터 처리 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100462695B1 (ko) * 1999-07-14 2004-12-23 마츠시타 덴끼 산교 가부시키가이샤 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억 매체
AU3512301A (en) * 2001-04-11 2002-10-17 Kelvin Scott Duncan Data management and distribution
US7295755B2 (en) * 2001-06-22 2007-11-13 Thomson Licensing Method and apparatus for simplifying the access of metadata
JP2003030204A (ja) * 2001-07-17 2003-01-31 Takami Yasuda ビデオコンテンツ提供サーバ、ビデオコンテンツ検索用ファイル作成装置、ビデオコンテンツ検索用ファイル作成方法、コンピュータプログラム、ビデオクリップ作成支援装置およびビデオクリップ作成支援方法
JP4491771B2 (ja) * 2001-11-29 2010-06-30 日本ビクター株式会社 光送受信システム
EP1387584A1 (en) * 2002-07-22 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for storing and transmiting audio-visual data
US7991827B1 (en) 2002-11-13 2011-08-02 Mcafee, Inc. Network analysis system and method utilizing collected metadata
FR2852772B1 (fr) * 2003-03-17 2005-07-08 Thomson Licensing Sa Procede de codage applique a des documents multimedia et dispositif mettant en oeuvre le procede
KR100493896B1 (ko) 2003-04-18 2005-06-10 삼성전자주식회사 디지털 콘텐트 메타데이터 변환 방법 및 장치, 그리고이를 이용한 네트워크 시스템
KR100513290B1 (ko) 2003-06-30 2005-09-09 삼성전자주식회사 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법
US20050281289A1 (en) * 2004-06-21 2005-12-22 Huang Jau H System and method for embedding multimedia processing information in a multimedia bitstream
US20060059510A1 (en) * 2004-09-13 2006-03-16 Huang Jau H System and method for embedding scene change information in a video bitstream
ES2865076T3 (es) * 2004-10-05 2021-10-14 Vectormax Corp Método y sistema para radiodifundir datos multimedia.
KR100631783B1 (ko) 2004-10-06 2006-10-11 삼성전자주식회사 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및방법
US20060078288A1 (en) * 2004-10-12 2006-04-13 Huang Jau H System and method for embedding multimedia editing information in a multimedia bitstream
US8856467B2 (en) 2004-11-18 2014-10-07 International Business Machines Corporation Management of metadata in a storage subsystem
US8676748B2 (en) 2004-11-18 2014-03-18 International Business Machines Corporation Clearing metadata tracks in a storage system
US7885921B2 (en) 2004-11-18 2011-02-08 International Business Machines Corporation Managing atomic updates on metadata tracks in a storage system
KR100808143B1 (ko) * 2005-12-01 2008-02-29 한국전자통신연구원 엑스패스를 이용한 접근 제어 기능을 가지는 엑스엠엘데이터 스트림 처리 시스템 및 그 방법
WO2008020171A2 (en) * 2006-08-14 2008-02-21 Nds Limited Controlled metadata revelation
US7692562B1 (en) * 2006-10-18 2010-04-06 Hewlett-Packard Development Company, L.P. System and method for representing digital media
US9794605B2 (en) * 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
JP5182178B2 (ja) * 2009-03-18 2013-04-10 ソニー株式会社 情報処理装置及び情報処理方法
JP5720095B2 (ja) 2009-12-18 2015-05-20 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、プログラム、および放送システム
TWI574565B (zh) * 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
TW201249198A (en) 2011-04-21 2012-12-01 Sony Corp Supplying apparatus, supplying method, receiving apparatus, receiving method, program, and broadcasting system
US9762967B2 (en) 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US9875480B2 (en) * 2012-01-27 2018-01-23 Sony Network Entertainment International Llc System, method, and infrastructure for real-time live streaming content
KR101947000B1 (ko) * 2012-07-17 2019-02-13 삼성전자주식회사 방송 시스템에서 멀티미디어 데이터의 전송 특징 정보 전달 방법 및 장치
CN109413447B (zh) 2012-08-22 2021-03-30 华为技术有限公司 Mpeg-2传输流中的iso-bmff事件盒承载
GB2505912B (en) * 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
ES2655846T3 (es) * 2012-10-11 2018-02-21 Samsung Electronics Co., Ltd. Aparato y procedimiento de entrega y de recepción de datos multimedia en red híbrida
GB2509178B (en) * 2012-12-24 2015-10-14 Canon Kk Method for transmitting metadata documents associated with a video
KR102201826B1 (ko) * 2013-03-15 2021-01-12 삼성전자주식회사 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9723245B2 (en) * 2013-03-15 2017-08-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9819604B2 (en) * 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法および受信方法
CN111526390B (zh) * 2014-09-17 2022-12-06 北京三星通信技术研究有限公司 发送mmt包的方法及装置、接收mmt包的方法
EP3786955B1 (en) 2014-10-03 2023-04-12 Dolby International AB Smart access to personalized audio
US9838571B2 (en) 2015-04-10 2017-12-05 Gvbb Holdings S.A.R.L. Precision timing for broadcast network
JP6215898B2 (ja) * 2015-11-16 2017-10-18 株式会社Pfu 映像処理装置、映像処理システム、および、映像処理方法
TWI618405B (zh) * 2017-03-23 2018-03-11 和碩聯合科技股份有限公司 多媒體錄製方法及其裝置
US11374992B2 (en) * 2018-04-02 2022-06-28 OVNIO Streaming Services, Inc. Seamless social multimedia
US11013340B2 (en) 2018-05-23 2021-05-25 L&P Property Management Company Pocketed spring assembly having dimensionally stabilizing substrate

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175810A (en) * 1989-06-19 1992-12-29 Digital Equipment Corporation Tabular data format
US5119465A (en) * 1989-06-19 1992-06-02 Digital Equipment Corporation System for selectively converting plurality of source data structures through corresponding source intermediate structures, and target intermediate structures into selected target structure
US5253275A (en) * 1991-01-07 1993-10-12 H. Lee Browne Audio and video transmission and receiving system
US6112226A (en) * 1995-07-14 2000-08-29 Oracle Corporation Method and apparatus for concurrently encoding and tagging digital information for allowing non-sequential access during playback
US6119154A (en) * 1995-07-14 2000-09-12 Oracle Corporation Method and apparatus for non-sequential access to an in-progress video feed
US5966120A (en) * 1995-11-21 1999-10-12 Imedia Corporation Method and apparatus for combining and distributing data with pre-formatted real-time video
CN1202668C (zh) 1996-09-11 2005-05-18 松下电器产业株式会社 即使在只接收部分节目的状态下也能开始执行该节目的节目接收执行装置及用于它的节目发送装置
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
JPH10145755A (ja) * 1996-11-06 1998-05-29 Matsushita Electric Ind Co Ltd データ出力制御装置
US6295380B1 (en) * 1997-02-27 2001-09-25 Matsushita Electric Industrial Co., Ltd. Object data processing apparatus, object data recording apparatus, data storage media, data structure for transmission
JP3438223B2 (ja) * 1997-03-28 2003-08-18 ソニー株式会社 多重化装置および多重化方法、並びに伝送装置および伝送方法
JPH10334871A (ja) * 1997-05-29 1998-12-18 Matsushita Electric Ind Co Ltd 電池収納装置
US6263497B1 (en) * 1997-07-31 2001-07-17 Matsushita Electric Industrial Co., Ltd. Remote maintenance method and remote maintenance apparatus
JPH1169301A (ja) * 1997-08-08 1999-03-09 Sony Corp 復号方法及び復号再生装置、並びに記録媒体
US7295752B1 (en) * 1997-08-14 2007-11-13 Virage, Inc. Video cataloger system with audio track extraction
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6567980B1 (en) * 1997-08-14 2003-05-20 Virage, Inc. Video cataloger system with hyperlinked output
US6151602A (en) * 1997-11-07 2000-11-21 Inprise Corporation Database system with methods providing a platform-independent self-describing data packet for transmitting information
US6493720B1 (en) * 1998-01-26 2002-12-10 International Business Machines Corporation Method and system for synchronization of metadata in an information catalog
US7428547B2 (en) * 1998-01-26 2008-09-23 At&T Corp. System and method of organizing data to facilitate access and streaming
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
JP2000224257A (ja) 1999-01-29 2000-08-11 Jisedai Joho Hoso System Kenkyusho:Kk 送信装置および受信装置
JP3176893B2 (ja) * 1999-03-05 2001-06-18 株式会社次世代情報放送システム研究所 ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3434232B2 (ja) * 1999-03-08 2003-08-04 株式会社次世代情報放送システム研究所 受信装置および方法
JP3763992B2 (ja) * 1999-03-30 2006-04-05 富士通株式会社 データ処理装置及び記録媒体
US7082162B2 (en) * 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US6574655B1 (en) * 1999-06-29 2003-06-03 Thomson Licensing Sa Associative management of multimedia assets and associated resources using multi-domain agent-based communication between heterogeneous peers
KR100462695B1 (ko) * 1999-07-14 2004-12-23 마츠시타 덴끼 산교 가부시키가이샤 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억 매체
US7137065B1 (en) * 2000-02-24 2006-11-14 International Business Machines Corporation System and method for classifying electronically posted documents
US6429924B1 (en) * 2000-11-30 2002-08-06 Eastman Kodak Company Photofinishing method
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
JP4062230B2 (ja) * 2003-10-10 2008-03-19 ソニー株式会社 ファイル記録再生装置、ファイル記録再生方法、ファイル記録再生方法のプログラム及びファイル記録再生方法のプログラムを記録した記録媒体
KR20050052790A (ko) * 2003-12-01 2005-06-07 엘지전자 주식회사 고밀도 광디스크 및 고밀도 광디스크의 파일 관리방법 및재생방법과 기록재생장치
JP2005167742A (ja) * 2003-12-03 2005-06-23 Funai Electric Co Ltd Dvdレコーダおよび映像信号記録装置
US8201073B2 (en) * 2005-08-15 2012-06-12 Disney Enterprises, Inc. System and method for automating the creation of customized multimedia content
JP2007173987A (ja) * 2005-12-19 2007-07-05 Canon Inc マルチメディアデータ送受信システム、及び装置、又はプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677545B1 (ko) * 2004-12-29 2007-02-02 삼성전자주식회사 복수개의 데이터 처리 장치를 이용한 데이터 처리 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
AU6016600A (en) 2001-02-05
US20080209485A1 (en) 2008-08-28
US7383566B1 (en) 2008-06-03
CN1360767A (zh) 2002-07-24
EP1193899A4 (en) 2002-10-09
WO2001006688A1 (en) 2001-01-25
US20190182519A1 (en) 2019-06-13
EP2288169A3 (en) 2011-12-14
US20110026526A1 (en) 2011-02-03
CN1551622A (zh) 2004-12-01
EP2023514B1 (en) 2013-09-11
CN100435569C (zh) 2008-11-19
KR100472255B1 (ko) 2005-03-14
US20190007718A1 (en) 2019-01-03
US8555328B2 (en) 2013-10-08
EP1193899A1 (en) 2002-04-03
KR100472254B1 (ko) 2005-03-14
US7992182B2 (en) 2011-08-02
KR100462695B1 (ko) 2004-12-23
US9451293B2 (en) 2016-09-20
US8832762B2 (en) 2014-09-09
KR20040053386A (ko) 2004-06-23
EP2288169A2 (en) 2011-02-23
US20160360248A1 (en) 2016-12-08
EP2023514A3 (en) 2009-11-25
US20140208378A1 (en) 2014-07-24
EP1193899B1 (en) 2008-12-31
US20110252454A1 (en) 2011-10-13
CN100469139C (zh) 2009-03-11
DE60041259D1 (de) 2009-02-12
KR20020019519A (ko) 2002-03-12
JP4486291B2 (ja) 2010-06-23
EP2023514A2 (en) 2009-02-11
CN1561020A (zh) 2005-01-05
US20130014193A1 (en) 2013-01-10
CN1206828C (zh) 2005-06-15
US7836479B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
KR100472255B1 (ko) 정보 수신 장치 및 그 방법, 및 기억 매체
CN107113462B (zh) 发送方法、接收方法、发送装置以及接收装置
CN108141636B (zh) 接收装置以及接收方法
CN112954435B (zh) 接收装置以及接收方法
JP7293433B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7307237B2 (ja) 受信方法、送信方法、受信装置及び送信装置
JP7036956B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP2008263616A (ja) 受信装置及び受信方法
JP7323684B2 (ja) 送信方法、受信方法、送信装置及び受信装置
KR100513795B1 (ko) 시스템 타임 클럭을 이용한 동기화 이벤트 서비스를제공하는 디지털 데이터 방송 송/수신 장치 및 그 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130117

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140120

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150120

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 16