JP4028469B2 - マルチメディア放送送受信装置及び方法 - Google Patents

マルチメディア放送送受信装置及び方法 Download PDF

Info

Publication number
JP4028469B2
JP4028469B2 JP2003342264A JP2003342264A JP4028469B2 JP 4028469 B2 JP4028469 B2 JP 4028469B2 JP 2003342264 A JP2003342264 A JP 2003342264A JP 2003342264 A JP2003342264 A JP 2003342264A JP 4028469 B2 JP4028469 B2 JP 4028469B2
Authority
JP
Japan
Prior art keywords
reference clock
media data
multimedia
clock value
multimedia document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003342264A
Other languages
English (en)
Other versions
JP2004129268A (ja
Inventor
大奎 ▲ベ▼
▲ヒュン▼▲ア▼ 成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2004129268A publication Critical patent/JP2004129268A/ja
Application granted granted Critical
Publication of JP4028469B2 publication Critical patent/JP4028469B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • H04H20/91Arrangements characterised by the broadcast information itself broadcasting computer programmes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13Arrangements for device control affected by the broadcast information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/27Arrangements for recording or accumulating broadcast information or broadcast-related information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、マルチメディア放送及び対話形放送をサービスするマルチメディア放送の送受信装置及び送受信方法に関する。
従来の放送サービスは単純にビデオ及びオーディオ情報を提供する方式であった。コンピュータシステム仕様が高まり、超高速インターネット網が一般化するにつれて、インターネット放送が順次に活性化しつつある。これでより、テレビとコンピュータ間の境界が崩れており、多様なメディアを収容できるマルチメディア放送が実現される段階に到達した。また、空中波放送の場合にもデジタル放送が始まることによって従来の一方向放送ではない両方向放送、すなわち、対話形放送が可能になった。従来の放送システムはこのようなマルチメディア放送及び対話形放送を支援できないという問題点があった。
従来の技術として、マルチメディアサービスを提供できるSMIL(Synchronized Multimedia Integration Language)の場合、対話形機能は提供するが、ユーザーが要請した時点でメディアデータをダウンロードしなければならないということなど時間に依存的なので、放送に使用するには適していないという問題点があった。
本発明が解決しようとする技術的課題は、放送局から基準クロック値を送信することによって、現在放送中のマルチメディア文書の動作時点に直接的な影響を与えてマルチメディア及び対話形放送をサービスするマルチメディア放送を可能にする装置及び方法を提供するところにある。
前記問題点を解決するための本発明によるマルチメディア放送送信機は、リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値を送信する基準クロック生成送信部と、前記生成された基準クロック値に編成されたマルチメディア文書を生成し、前記生成されたマルチメディア文書を送信するマルチメディア文書生成送信部と、前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを送信するメディアデータ生成送信部と、を含む。
前記他の問題点を解決するための本発明によるマルチメディア放送送信機は、リアルタイムマルチメディア放送の現在時刻値である基準クロック値を受信する基準クロック受信部と、第1マルチメディア文書を受信し、前記受信された第1マルチメディア文書を保存するマルチメディア文書受信保存部と、第1メディアデータを受信し、前記受信された第1メディアデータを保存するメディアデータ受信保存部と、前記保存された第1マルチメディア文書が前記基準クロック値に編成されており、前記保存された第1メディアデータが前記基準クロック値に編成されたマルチメディア文書のレンダリング資料である場合、前記第1メディアデータを使用して前記第1マルチメディア文書をレンダリングするマルチメディア文書レンダリング部と、を含む。
前記さらに他の問題点を解決するための本発明によるマルチメディア放送システムは、リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値を送信し、前記生成された基準クロック値に編成されたマルチメディア文書を生成し、前記生成されたマルチメディア文書を送信し、前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを送信するマルチメディア放送送信機と、前記送信された基準クロック値を受信し、前記送信されたマルチメディア文書を受信し、前記受信されたマルチメディア文書を保存し、前記送信されたメディアデータを受信し、前記受信されたメディアデータを保存し、前記保存されたマルチメディア文書が前記受信された基準クロック値に編成されており、前記保存されたメディアデータが前記基準クロック値に編成されたマルチメディア文書のレンダリング資料である場合、前記メディアデータを使用して前記マルチメディア文書をレンダリングするマルチメディア放送受信機と、を含む。
前記さらに他の問題点を解決するための本発明によるマルチメディア放送送信方法は、(a)リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値を送信する段階と、(b)前記生成された基準クロック値に編成されたマルチメディア文書を生成し、前記生成されたマルチメディア文書を送信する段階と、(c)前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを送信する段階と、を含む。
前記さらに他の問題点を解決するための本発明によるマルチメディア放送受信方法は、(a)リアルタイムマルチメディア放送の現在時刻値である基準クロック値を受信する段階と、(b)第1マルチメディア文書を受信し、前記受信された第1マルチメディア文書を保存する段階と、(c)第1メディアデータを受信し、前記受信された第1メディアデータを保存する段階と、(d)前記保存された第1マルチメディア文書が前記基準クロック値に編成されており、前記保存された第1メディアデータが前記基準クロック値に編成されたマルチメディア文書のレンダリング資料である場合、前記第1メディアデータを使用して前記第1マルチメディア文書をレンダリングする段階と、を含む。
前記さらに他の問題点を解決するための本発明によるマルチメディア放送方法は、(a)リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値を送信し、前記生成された基準クロック値に編成されたマルチメディア文書を生成し、前記生成されたマルチメディア文書を送信し、前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを送信する段階と、(b)前記送信された基準クロック値を受信し、前記送信されたマルチメディア文書を受信し、前記受信されたマルチメディア文書を保存し、前記送信されたメディアデータを受信し、前記受信されたメディアデータを保存し、前記保存されたマルチメディア文書が前記受信された基準クロック値に編成されており、前記保存されたメディアデータが前記基準クロック値に編成されたマルチメディア文書のレンダリング資料である場合、前記メディアデータを使用して前記マルチメディア文書をレンダリングする段階と、を含む。
前記さらに他の問題点を解決するための本発明によるマルチメディア放送データ構造体は、リアルタイムマルチメディア放送の現在時刻値である基準クロック値か、前記基準クロック値の編成されたマルチメディア文書か、または前記マルチメディア文書のレンダリング資料であるメディアデータかを示すタイプ情報と、前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に編成されたかを示すバージョン情報と、後続するペイロードの長さを示すペイロード長情報と、前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であるペイロード情報と、を含む。
本発明によれば、マルチメディア文書を利用して多様なマルチメディア放送を行える。すなわち、各種マルチメディアデータを時間的、空間的に自由に定義して放送できる。さらに、既存のSMILで提供する対話形サービスを利用して対話形放送、すなわち、対話形TVを提供可能にする。
以下図面を参照して本発明の望ましい実施例を詳細に説明する。また、以下には現在最も一般的なマルチメディア文書であるSMIL文書を利用したマルチメディア放送をSMIL放送と名付けて記述する。
図1は、本発明によるSMIL放送データ構造体の構成図である。
前記SMIL放送データ構造体はタイプ情報11、バージョン情報12、ペイロード長情報13、及びペイロード情報14で構成される。
タイプ情報11はリアルタイムSMIL放送の現在時刻値である基準クロック値か、基準クロック値に編成されたSMIL文書か、またはSMIL文書のレンダリング資料であるメディアデータかを示す情報である。前記メディアデータにはビデオデータ、オーディオデータ、イメージデータ、テキストデータなどが該当する。タイプ情報は最小2ビットで具現できる。すなわち、SMIL放送を行う放送局からSMIL放送用データをデータストリーム形式に受信した場合、最初に到達する2ビットが00である場合は基準クロック値、01である場合はSMIL文書、10である場合はメディアデータに定めうる。前記タイプ情報によって、後続するペイロード情報に載せられたデータがいかなる属性を有するかを把握して処理できる。
バージョン情報12は基準クロック値、SMIL文書、またはメディアデータがいかなる放送時間に編成されたかを示す情報である。例えば、SMIL放送時間が6時から24時まで編成された場合に、6時〜7時には朝ニュースが、7時〜8時には朝ドラマが編成されていると仮定すれば、朝ニュースのバージョン情報12を0(または00)に、朝ドラマのバージョン情報12を1(または01)に設定できる。基準クロック値が6時から7時までの値を有するならば、基準クロック値のバージョン情報12は0に記録され、6時から7時までの基準クロック値に編成されたSMIL文書のバージョン情報12も0に記録され、このSMIL文書のレンダリング資料であるメディアデータのバージョン情報12も0に記録される。したがって、互いにバージョンが合う場合にのみフェッチして使用し、互いにバージョンが合わない場合には捨てる。
ペイロード長情報13は後続するペイロードの長さを示す情報である。このペイロード長情報13として後続するペイロードの長さを把握して、連続的に受信されるデータストリームの開始及び終了が分かる。すなわち、ペイロード以後の連続データ列はまたタイプ情報となる。
ペイロード情報14は基準クロック値、SMIL文書、またはメディアデータの実質的なデータ情報である。この領域に放送視聴者に見られる実質的なデータ情報が記録される。
前記のような色々な情報はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報の順序に配列されて、連続的なビット列であるデータストリームに送受信される。この時、一つのチャンネルに基準クロック値、SMIL文書、及びメディアデータを載せて送るので、送信側ではマルチプレックスして送信し、受信側ではデマルチプレックスして受信する。
図2は、本発明によるSMIL放送送信機の構成図である。
SMIL放送送信機は基準クロック生成送信部21、SMIL文書生成送信部22、及びメディアデータ生成送信部23で構成される。
基準クロック生成送信部21はリアルタイムSMIL放送の現在時刻値である基準クロック値を生成し、生成された基準クロック値を送信する。従来の放送は一方的に情報を送信及び受信する方式であって視聴者の選択が介入されることが不可能であった。本発明によるSMIL放送の場合には、特定の時間帯に編成されたSMIL文書をレンダリングして映像を表現する場合、視聴者が映像中の特定テキストなどをクリックすれば、ユーザーが選択した情報を見られる対話形放送が可能である。前記放送用SMIL文書はそれぞれ特定時間帯に編成されているために、送信側の時計と受信側の時計とが互いに合わないならば、受信側で間違ったSMIL文書をレンダリングする場合が発生できる。例えば、送信側の時計より受信側の時計が5分程度遅いと仮定して、7時にドラマからニュースに放送内容が変更されるとすれば、放送局では既にニュースを始めたが、受信機のTVではドラマ用字幕が表れ続ける場合が発生する。すなわち、基準クロック値は従来の一方向形式の放送を対話形放送に変えるために必要な、送信側及び受信側を同じ時計で同期させるためのクロックである。受信側では送信側が送る基準クロック値を基準に適切なSMIL文書をレンダリングしなければならない。視聴者がいつ受信機(TV)をオン/オフにするか分からないために、基準クロック値は頻繁に送信するほど、適切なSMIL文書のレンダリング時点を正確に合せうる。しかし、基準クロック値を頻繁に送信する場合、伝送データ量が多くなってさらに広い帯域幅が要求されるので、視聴者が認知できない程度の周期で送信すればよい。すなわち、基準クロック生成送信部21は基準クロック値が所定の値(例えば、3秒)だけ増加する度に増加した基準クロック値を送信して、更新され続ける送信側の時計値を受信側が分かるようにする。
SMIL自体は強力なマルチメディアプレゼンテーション機能を有しているが、ユーザーが要請した時点でメディアデータをダウンロードしなければならないなど時間に依存的なので、放送に使用するには適していない。前記のような基準クロック値を導入することにより、各受信機端末で同じ情報を受信できるSMIL放送が可能になる。また、基準クロック値は現在放送されているSMIL文書の視覚情報を含んでいるために、受信機端末でこの視覚情報を参照して現在いかなる場面にディスプレイするかが決定できる。
SMIL文書生成送信部22は生成された基準クロック値に編成されたSMIL文書を生成し、生成されたSMIL文書を送信する。基準クロック値が6時から8時までの範囲の値を有する場合、6時〜7時はニュース、7時〜8時はドラマが編成されていると仮定すれば、基準クロック値が6時〜7時である場合にはニュース用SMIL文書を生成して送信しなければならず、基準クロック値が7時〜8時である場合にはドラマ用SMIL文書を生成して送信しなければならない。
基準クロック値はSMIL文書が編成された時間帯であることを知らせ、放送局の時計を受信側の時計に合わせるための値であるために、データ容量が小さくて更新され続けなければならない値である。したがって、基準クロック値は頻繁に送信できる。これに比べて、SMIL文書はさらにデータ容量が大きくて、同じSMIL文書を使用する時間帯である場合、視聴者は1回だけ受信すればよく、受信側では前時間に編成されたSMIL文書をあらかじめ受信して保存することもできる。したがって、SMIL文書はユーザーのランダムなオン/オフ時点を考慮して適当な周期で送信すればよい。
メディアデータ生成送信部23は、生成されたSMIL文書に対するレンダリング資料であるメディアデータを生成し、生成されたメディアデータを送信する。実質的映像/音声情報であるメディアデータの場合はデータ容量が非常に大きい場合があるので、受信側のメモリが大きい場合にはあらかじめ受信して保存することもでき、受信側のメモリが少ない場合には従来の一方向放送方式や、RTSP(Real−Time Streaming Protocol)方式で受信して再生することもできる。したがって、前記メディアデータはユーザーのランダムなオン/オフ時点を考慮して適当な周期で送信しても、あらかじめ送信しても良い。
ここで、基準クロック生成送信部21は基準クロック値を、SMIL文書生成送信部22はSMIL文書を、メディアデータ生成送信部23はメディアデータを各々データストリーム形式に送信する。前記図1に図示されたように、データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報で構成されている。前記タイプ情報は前記基準クロック値か、前記SMIL文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記SMIL文書、または前記メディアデータがいかなる放送時間に編成されたかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記SMIL文書、または前記メディアデータの実質的なデータ情報である。
図3は、本発明によるSMIL放送受信機の構成図である。
SMIL放送受信機は基準クロック受信部31、SMIL文書受信保存部32、メディアデータ受信保存部33、及びSMIL文書レンダリング部34で構成される。
受信機の電源がオンになれば、放送情報を受信できる状態にするためにシステムを初期化する。現在は一定の周波数帯のチャンネルを利用して放送情報を送受信するが、インターネット放送が商用化すれば、放送用受信ポートを利用して放送情報を送受信することもできる。
基準クロック受信部31はリアルタイムSMIL放送の現在時刻値である基準クロック値を受信する。放送局がSMIL放送を実施している場合、基準クロック受信部31は一定な周期(例えば、3秒)で基準クロック値を受信する。基準クロック受信部31は、基準クロック値が所定の値(例えば、3秒)だけ増加する度に前記値だけ増加した基準クロック値を受信する。
SMIL文書受信保存部32は第1SMIL文書を受信し、受信された第1SMIL文書を保存する。SMIL文書受信保存部32は現在放送局で送信しているSMIL文書、例えば、第1SMIL文書を受信してメモリに保存する。放送局では今後SMIL放送に使われるいくつかのSMIL文書を連続的に送信できる。受信機(TV)ではいくつかのSMIL文書、すなわち、第1SMIL文書、第2SMIL文書、・・・を受信してメモリに保存できる。現在は第1SMIL文書を使用して放送するが、1時間後には第2SMIL文書を使用して放送すると仮定すれば、受信機では第1SMIL文書をレンダリングしていて、1時間後にはメモリに保存された第2SMIL文書をフェッチしてレンダリングすればよい。
メディアデータ受信保存部33は第1メディアデータを受信し、受信された第1メディアデータを保存する。メディアデータの場合も、SMIL文書と同じくメディアデータ受信保存部33が現在放送局で送信しているメディアデータ、例えば、第1メディアデータを受信してメモリに保存する。放送局では今後SMIL放送に使われるいくつかのメディアデータを連続的に送信できる。受信機(TV)ではいくつかのメディアデータ、すなわち、第1メディアデータ、第2メディアデータ、・・・を受信してメモリに保存できる。現在は第1メディアデータを使用して放送するが、1時間後には第2メディアデータを使用して放送すると仮定すれば、受信機では第1メディアデータを再生していて、1時間後にはメモリに保存された第2SMIL文書をフェッチして再生すればよい。受信機のメモリ保存容量を超過するメディアデータの場合は、従来の一方向放送方式やRTSP方式で受信して再生することもある。
SMIL文書レンダリング部34は保存された第1SMIL文書が現在の基準クロック値に編成されており、保存された第1メディアデータが現在の基準クロック値に編成されたSMIL文書のレンダリング資料である場合、第1メディアデータを使用して第1SMIL文書をレンダリングする。例えば、基準クロック値が6時から8時までの範囲の値を有する場合(すなわち、SMIL放送時間が6時から8時まで)、6時〜7時にはニュース、7時〜8時にはドラマが編成されていると仮定しよう。現在時刻6時30分に視聴者が受信機をオンにする場合、基準クロック値は6時30分を示す値に受信される。基準クロック値に編成された第1SMIL文書、すなわち、基準クロック値のバージョンと同じバージョンを有する第1SMIL文書が既に保存されている場合、第1SMIL文書をパーシングし、第1SMIL文書上の第1メディアデータをフェッチしてレンダリングすればよい。
ここで、基準クロック受信部31は基準クロック値を、SMIL文書受信保存部32はSMIL文書を、メディアデータ受信保存部33はメディアデータを各々データストリーム形式に受信する。前記図1に図示されたように、データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報で構成されている。前記タイプ情報は前記基準クロック値か、前記SMIL文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記SMIL文書、または前記メディアデータがいかなる放送時間に編成されたかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記SMIL文書、または前記メディアデータの実質的なデータ情報である。
もし、現在保存された第1SMIL文書が現在の基準クロック値に編成されていない場合、すなわち、現在の基準クロック値と第1SMIL文書のバージョンとが相異なる場合には第1SMIL文書が編成された所定の増加した基準クロック値が受信されるまで第1SMIL文書を待機させなければならない。例えば、基準クロック値が6時から8時までの範囲の値を有する場合(すなわち、SMIL放送時間が6時から8時まで)、6時〜7時にはニュース、7時〜8時にはドラマが編成されていると仮定しよう。現在時刻6時30分に視聴者が受信機をオンにした場合、基準クロック値は6時30分を示す値に受信される。現在メモリに保存されている第1SMIL文書が7時〜8時に編成されたドラマ用SMIL文書である場合には7時を示す基準クロック値が受信されるまで第1SMIL文書を待機させていて、受信されれば第1SMIL文書をパーシングし、第1SMIL文書上の第1メディアデータをフェッチしてレンダリングすればよい。
もし、現在保存された第1SMIL文書が現在の基準クロック値に編成されており、現在保存された第1メディアデータが現在の基準クロック値に編成された第1SMIL文書のレンダリング資料でない場合、現在保存された第1メディアデータがレンダリング資料になる所定の増加した基準クロック値に編成された第2SMIL文書をレンダリングするまで第1メディアデータを待機させなければならない。例えば、基準クロック値が6時から8時までの範囲の値を有する場合(すなわち、SMIL放送時間が6時から8時まで)、6時〜7時にはニュース、7時〜8時にはドラマが編成されていると仮定しよう。現在時刻6時30分に視聴者が受信機をオンにした場合、基準クロック値は6時30分を示す値に受信される。基準クロック値に編成された第1SMIL文書、すなわち、基準クロック値のバージョンと同じバージョンを有する第1SMIL文書が既に保存されている場合に第1SMIL文書をパーシングしたが、現在保存されている第1メディアデータが第1SMIL文書のレンダリング資料でない場合、すなわち、第1メディアデータがドラマ用メディアデータであれば、7時を示す基準クロック値が受信されるまで第1メディアデータを待機させていて、受信されればドラマ用SMIL文書である第2SMIL文書をパーシングし、第2SMIL文書上の第1メディアデータをフェッチしてレンダリングすればよい。
もし、現在レンダリング中の第1SMIL文書が所定の増加した基準クロック値に編成されていない場合に第1SMIL文書に対するレンダリングを中断し、増加した基準クロック値に編成された第2SMIL文書が保存されており、第2SMIL文書のレンダリング資料の第2メディアデータが保存されている場合に前記第2SMIL文書をレンダリングする。例えば、基準クロック値が6時から8時までの範囲の値を有する場合(すなわち、SMIL放送時間が6時から8時まで)、6時〜7時にはニュース、7時〜8時にはドラマが編成されていると仮定しよう。現在時刻6時59分にニュース用第1SMIL文書をレンダリングしている場合、基準クロック値が増加して7時に到達した場合、現在の基準クロック値と第1SMIL文書のバージョンとが互いに合わなくなる。したがって、第1SMIL文書に対するレンダリングを中断して、増加した基準クロック値に編成されたドラマ用第2SMIL文書をレンダリングしなければならないが、第2SMIL文書が保存されており、第2SMIL文書のレンダリング資料であるドラマ用第2メディアデータが保存されている場合、前記第2SMIL文書をレンダリングする。
もし、現在レンダリング中の第1SMIL文書が所定の増加した基準クロック値に編成されていない場合に第1SMIL文書に対するレンダリングを中断し、増加した基準クロック値に編成された第2SMIL文書が保存されていない場合に第2SMIL文書を受信し、受信された第2SMIL文書を保存する。例えば、基準クロック値が6時から8時までの範囲の値を有する場合(すなわち、SMIL放送時間が6時から8時まで)、6時〜7時にはニュース、7時〜8時にはドラマが編成されていると仮定しよう。現在時刻6時59分にニュース用第1SMIL文書をレンダリングしている場合、基準クロック値が増加して7時に到達した場合、現在の基準クロック値と第1SMIL文書のバージョンとが互いに合わなくなる。したがって、第1SMIL文書に対するレンダリングを中断し、増加した基準クロック値に編成されたドラマ用第2SMIL文書をレンダリングしなければならないが、第2SMIL文書が保存されていない場合には第2SMIL文書を受信し、受信された第2SMIL文書を保存する。第2SMIL文書のレンダリング資料であるドラマ用第2メディアデータが保存されている場合、前記第2SMIL文書をレンダリングする。
もし、現在レンダリング中の第1SMIL文書が所定の増加した基準クロック値に編成されていない場合に第1SMIL文書に対するレンダリングを中断し、増加した基準クロック値に編成された第2SMIL文書が保存されており、第2SMIL文書のレンダリング資料である第2メディアデータが保存されていない場合に第2メディアデータを受信し、受信された第2メディアデータを保存する。例えば、基準クロック値が6時から8時までの範囲の値を有する場合(すなわち、SMIL放送時間が6時から8時まで)、6時〜7時にはニュース、7時〜8時にはドラマが編成されていると仮定しよう。現在時刻6時59分にニュース用第1SMIL文書をレンダリングしている場合、基準クロック値が増加して7時に到達した場合、現在の基準クロック値と第1SMIL文書のバージョンとが互いに合わなくなる。したがって、第1SMIL文書に対するレンダリングを中断し、増加した基準クロック値に編成されたドラマ用第2SMIL文書をレンダリングしなければならないが、第2SMIL文書が保存されており、第2SMIL文書のレンダリング資料である第2メディアデータが保存されていない場合に第2メディアデータを受信し、受信された第2メディアデータを保存する。第2SMIL文書をレンダリングする。ただし、メモリの保存容量を超過するメディアデータの場合には従来の一方向放送方式や、RTSP方式で受信してリアルタイムで再生することもある。
図4は、本発明によるSMIL放送送信方法のフローチャートである。
まず、リアルタイムSMIL放送の現在時刻値である基準クロック値を生成し、生成された基準クロック値を送信する(段階41)。基準クロック値が所定の値だけ増加する度に、増加した基準クロック値を送信する。次いで、生成された基準クロック値に編成されたSMIL文書を生成し、生成されたSMIL文書を送信する(段階42)。次いで、生成されたSMIL文書に対するレンダリング資料であるメディアデータを生成し、生成されたメディアデータを送信する(段階43)。
ここで、前記生成された基準クロック値、SMIL文書、メディアデータをデータストリーム形式に送信し、データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報で構成されている。タイプ情報は基準クロック値か、SMIL文書か、またはメディアデータかを示す情報であり、バージョン情報は基準クロック値、SMIL文書、またはメディアデータがいかなる放送時間に編成されたかを示す情報であり、ペイロード長情報はペイロード情報の長さを示す情報であり、ペイロード情報は基準クロック値、SMIL文書、またはメディアデータの実質的なデータ情報である。
図5及び図6は本発明によるSMIL放送受信方法のフローチャートである。
リアルタイムSMIL放送の現在時刻値である基準クロック値を受信する(段階51)。基準クロック値が所定の値だけ増加する度に、前記値だけ増加した基準クロック値を受信する。次いで、第1SMIL文書を受信し、受信された第1SMIL文書を保存する(段階52)。次いで、第1メディアデータを受信し、受信された第1メディアデータを保存する(段階53)。次いで、現在保存された第1SMIL文書が現在の基準クロック値に編成されている場合(段階54)において、現在保存された第1メディアデータが現在の基準クロック値に編成されたSMIL文書のレンダリング資料である場合(段階55)、第1メディアデータを使用して第1SMIL文書をレンダリングする(段階56)。
もし、現在保存された第1SMIL文書が現在の基準クロック値に編成されていない場合(段階54)、第1SMIL文書が編成された所定の増加した基準クロック値が受信されるまで第1SMIL文書を待機させる(段階541)。
もし、現在保存された第1SMIL文書が現在の基準クロック値に編成されている場合において(段階54)、現在保存された第1メディアデータが現在の基準クロック値に編成された第1SMIL文書のレンダリング資料ではない場合(段階55)、現在保存された第1メディアデータがレンダリング資料になる、所定の増加した基準クロック値に編成された第2SMIL文書をレンダリングするまで第1メディアデータを待機させる(段階551)。
もし、現在レンダリング中の第1SMIL文書が所定の増加した基準クロック値に編成されていない場合(段階57)、第1SMIL文書に対するレンダリングを中断し(段階61)、前記増加した基準クロック値に編成された第2SMIL文書が保存されている場合において(段階62)、第2SMIL文書のレンダリング資料である第2メディアデータが保存されている場合(段階63)、第2SMIL文書をレンダリングする(段階64)。
もし、現在レンダリング中の第1SMIL文書が所定の増加した基準クロック値に編成されていない場合(段階57)、第1SMIL文書に対するレンダリングを中断し(段階61)、前記増加した基準クロック値に編成された第2SMIL文書が保存されていない場合(段階62)、第2SMIL文書を受信し、受信された第2SMIL文書を保存する(段階621)。
もし、現在レンダリング中の第1SMIL文書が所定の増加した基準クロック値に編成されていない場合(段階57)、第1SMIL文書に対するレンダリングを中断し(段階61)、前記増加した基準クロック値に編成された第2SMIL文書が保存されている場合において(段階62)、第2SMIL文書のレンダリング資料である第2メディアデータが保存されていない場合(段階63)、第2メディアデータを受信し、前記受信された第2メディアデータを保存する(段階631)。次いで、第2SMIL文書をレンダリングする(段階64)。
ここで、前記基準クロック値、SMIL文書、メディアデータをデータストリーム形式に受信し、データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報で構成されている。タイプ情報は基準クロック値か、SMIL文書か、またはメディアデータかを示す情報であり、バージョン情報は基準クロック値、SMIL文書、またはメディアデータがいかなる放送時間に編成されたかを示す情報であり、ペイロード長情報はペイロード情報の長さを示す情報であり、ペイロード情報は基準クロック値、SMIL文書、またはメディアデータの実質的なデータ情報である。
図7は、本発明の一実施例であるSMIL文書の例である。
図8は、図7のSMIL文書をレンダリングした場合の映像である。
SMIL文書においてmedia=1のデータはビデオデータV1に判明されて領域r1にレンダリングされ、media=2のデータはビデオデータV2に判明されて領域r2にレンダリングされる。
まず、相対的な視覚を使用した例をあげる。SMIL放送開始時間が0秒であり、受信機システムがオンになる時間を0とすれば、0秒に(オンになるやいなや)V1、V2が再生される。次いで、3秒後にイメージデータI1は領域r3で再生され、次いで、5秒後に消える。テキストデータT1はイメージが始まって3秒後、すなわち、6秒から12秒まで領域r4で再生される。
もし、視聴者Aが受信機システム、すなわち、TVをつけた時、基準クロック値が5秒であれば、5秒に該当するV1、V2が再生され、イメージは既に目に見え、1秒後にテキストが目に見える。もし、視聴者BがTVをつけた時、基準クロック値が12秒であれば、V1、V2は見られるが、イメージ1は既に消えた後であり、ただしテキストは目に見える。したがって、視聴者A、Bとも同じ時刻に同じ画面を視聴できるようになる。
図7のSMIL文書のうちsrc=“broadcasting://media=1”,src=“broadcasting://media=2”部分は臨時的に考案したものであって、現在SMILスペックには提示されていないが、メモリの保存容量を超過するメディアデータの場合には従来の一方的放送方式やRTSP方式で受信して再生するしかないので、実際SMIL放送時に適用できる。RTSP方式の場合、src=“rtsp://vod.com/怖い映画.mp4”で表現される。
絶対的な視覚を使用した例はテキストデータT2の場合であって、2002年9月21日15時30分に領域r4で再生される。
図9は本発明の一実施例である対話形放送用SMIL文書の例である。
SMIL文書がレンダリングされて受信機の画面に映像で表現されれば、テキストデータT1が再生された“朴チャンホ1勝の場面クリック”部分をクリックすれば、ビデオデータV2が画面に出始める。ユーザーの意思が介入された場合であって、対話形放送の一例である。
もし、TVがインターネットに接続されている場合には別途にVODに受けることもでき、この場合、次のようなスクリプトが追加される。<video id=“V2”region=“r2”src=“rtsp://vod.com/朴チャンホ1勝.mp4”begin=“T1.click”>
一方、前述した本発明の実施例はコンピュータで実行できるプログラムで作成可能であり、コンピュータで再生できる記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピューターで具現できる。
また前述した本発明の実施例で使われたデータの構造はコンピュータで再生できる記録媒体にいろいろな手段を通じて記録できる。
前記コンピュータで再生できる記録媒体はマグネチック保存媒体(例えば、ROM、フロッピー(登録商標)ディスク、ハードディスク等)、光学的判読媒体(例えば、CD−ROM、DVD等)及びキャリヤウェーブ(例えば、インターネットを通じた伝送)のような保存媒体を含む。
今まで本発明についてその望ましい実施例を中心に説明した。マルチメディア放送はSMIL文書を利用したSMIL放送だけでなく、他のマルチメディア文書を利用した放送も含む。本発明が属する技術分野で当業者は本発明が本発明の本質的な特性から離脱しない範囲で変形された形態に具現できることを理解できる。したがって、開示された実施例は限定的な観点でなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明でなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
本発明は、マルチメディア放送及び対話形放送をサービスするマルチメディア放送の送受信装置を生産する分野に適用できる。
本発明によるSMIL放送データ構造体の構成図である。 本発明によるSMIL放送送信機の構成図である。 本発明によるSMIL放送受信機の構成図である。 本発明によるSMIL放送送信方法のフローチャートである。 本発明によるSMIL放送受信方法のフローチャートである。 本発明によるSMIL放送受信方法のフローチャートである。 本発明の一実施例であるSMIL文書の例を示した図面である。 図7のSMIL文書をレンダリングした場合の映像を示した図面である。 本発明の一実施例である対話形放送用SMIL文書の例を示した図面である。
符号の説明
21 基準クロック生成送信部
22 SMIL文書生成送信部
23 メディアデータ生成送信部
31 基準クロック受信部
32 SMIL文書受信保存部
33 メディアデータ受信保存部
34 SMIL文書レンダリング部

Claims (27)

  1. リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値を送信する基準クロック生成送信部と、
    前記生成された基準クロック値を基準として所定の放送時間にレンダリングされるようにスケジュールされたマルチメディア文書を生成し、前記生成されたマルチメディア文書を送信するマルチメディア文書生成送信部と、
    前記生成されたマルチメディア文書に対してバージョンによって対応付けられるレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを送信するメディアデータ生成送信部と、を含み、
    前記バージョン情報は、前記基準クロック、前記マルチメディア文書、または前記メディアデータがどの放送時間に対応するかを示す情報であることを特徴とするマルチメディア放送送信機。
  2. 前記マルチメディア文書はSMIL文書であることを特徴とする請求項1に記載のマルチメディア放送送信機。
  3. 前記基準クロック生成送信部は前記生成された基準クロック値を所定のデータストリーム形式で送信し、
    前記マルチメディア文書生成送信部は前記生成されたマルチメディア文書を前記データストリーム形式で送信し、
    前記メディアデータ生成送信部は前記生成されたメディアデータを前記データストリーム形式で送信することを特徴とする請求項1に記載のマルチメディア放送送信機。
  4. 前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であることを特徴とする請求項3に記載のマルチメディア放送送信機。
  5. 前記基準クロック生成送信部は、前記基準クロック値が所定の値だけ増加する度に前記増加した基準クロック値を送信することを特徴とする請求項1に記載のマルチメディア放送送信機。
  6. リアルタイムマルチメディア放送の現在時刻値である基準クロック値を受信する基準クロック受信部と、
    第1マルチメディア文書を受信し、前記受信された第1マルチメディア文書を保存するマルチメディア文書受信保存部と、
    第1メディアデータを受信し、前記受信された第1メディアデータを保存するメディアデータ受信保存部と、
    前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存された第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料である場合、前記第1メディアデータを使用して前記第1マルチメディア文書をレンダリングするマルチメディア文書レンダリング部と、を含み、
    前記第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされているか否かは、前記第1マルチメディア文書を受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料であるか否かは、前記第1メディアデータを受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記バージョン情報は、前記基準クロック、前記マルチメディア文書、または前記メディアデータがどの放送時間に対応するかを示す情報であることを特徴とするマルチメディア放送受信機。
  7. 前記マルチメディア文書はSMIL文書であることを特徴とする請求項6に記載のマルチメディア放送受信機。
  8. 前記基準クロック受信部は前記基準クロック値を所定のデータストリーム形式で受信し、
    前記マルチメディア文書受信保存部は前記第1マルチメディア文書を前記データストリーム形式で受信し、
    前記メディアデータ受信保存部は前記第1メディアデータを前記データストリーム形式で受信することを特徴とする請求項6に記載のマルチメディア放送受信機。
  9. 前記基準クロック受信部は、前記基準クロック値が所定の値だけ増加する度に前記値だけ増加した基準クロック値を受信することを特徴とする請求項6に記載のマルチメディア放送受信機。
  10. 前記マルチメディア文書レンダリング部は、
    前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされていない場合、前記第1マルチメディア文書がレンダリングされるようにスケジュールされた所定の増加した基準クロック値が受信されるまで前記第1マルチメディア文書を待機させ、
    前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存された第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされた第1マルチメディア文書のレンダリング資料ではない場合、前記保存された第1メディアデータがレンダリング資料になる、所定の増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書をレンダリングするまで前記第1メディアデータを待機させ、
    前記レンダリング中の第1マルチメディア文書が所定の増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされていない場合、前記第1マルチメディア文書に対するレンダリングを中断し、前記増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書が保存されており、前記第2マルチメディア文書のレンダリング資料である前記第1メディアデータまたは第2メディアデータが保存されている場合、前記第2マルチメディア文書をレンダリングし、前記増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書が保存されていない場合、前記第2マルチメディア文書を受信し、前記受信された第2マルチメディア文書を保存し、前記増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書が保存されており、前記第2マルチメディア文書のレンダリング資料である前記第1メディアデータまたは前記第2メディアデータが保存されていない場合、前記第1メディアデータまたは前記第2メディアデータを受信し、受信された前記第1メディアデータまたは前記第2メディアデータを保存することを特徴とする請求項9に記載のマルチメディア放送受信機。
  11. リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値が所定の値だけ増加する度に前記増加した基準クロック値を所定のデータストリーム形式で送信し、前記生成された基準クロック値を基準として所定の放送時間にレンダリングされるようにスケジュールされたマルチメディア文書を生成し、前記生成されたマルチメディア文書を所定のデータストリーム形式で送信し、前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを所定のデータストリーム形式で送信するマルチメディア放送送信機と、
    前記送信された基準クロック値を受信し、前記送信されたマルチメディア文書を受信し、前記受信されたマルチメディア文書を保存し、前記送信されたメディアデータを受信し、前記受信されたメディアデータを保存し、前記保存されたマルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存されたメディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料である場合、前記メディアデータを使用して前記マルチメディア文書をレンダリングするマルチメディア放送受信機と、を含み、
    前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であり、
    前記マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされているか否かは、前記マルチメディア文書を受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料であるか否かは、前記メディアデータを受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断することを特徴とするマルチメディア放送システム。
  12. (a)マルチメディア放送送信機の基準クロック生成送信部が、リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値を送信する段階と、
    (b)前記マルチメディア放送送信機のマルチメディア文書生成送信部が、前記生成された基準クロック値を基準として所定の放送時間にレンダリングされるようにスケジュールされたマルチメディア文書を生成し、前記生成されたマルチメディア文書を送信する段階と、
    (c)前記マルチメディア放送送信機のメディアデータ生成送信部が、前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを送信する段階と、を含み、
    前記バージョン情報は、前記基準クロック、前記マルチメディア文書、または前記メディアデータがどの放送時間に対応するかを示す情報であることを特徴とするマルチメディア放送送信方法。
  13. 前記マルチメディア文書はSMIL文書であることを特徴とする請求項12に記載のマルチメディア放送送信方法。
  14. 前記(a)段階は、前記生成された基準クロック値を所定のデータストリーム形式で送信し、
    前記(b)段階は、前記生成されたマルチメディア文書を前記データストリーム形式で送信し、
    前記(c)段階は、前記生成されたメディアデータを前記データストリーム形式で送信することを特徴とする請求項12に記載のマルチメディア放送送信方法。
  15. 前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であることを特徴とする請求項14に記載のマルチメディア放送送信方法。
  16. 前記(a)段階は、前記基準クロック値が所定の値だけ増加する度に前記増加した基準クロック値を送信することを特徴とする請求項12に記載のマルチメディア放送送信方法。
  17. (a)マルチメィア放送受信機の基準クロック受信部が、リアルタイムマルチメディア放送の現在時刻値である基準クロック値を受信する段階と、
    (b)前記マルチメィア放送受信機のマルチメディア文書受信保存部が、第1マルチメディア文書を受信し、前記受信された第1マルチメディア文書を保存する段階と、
    (c)前記マルチメィア放送受信機のメディアデータ受信保存部が、第1メディアデータを受信し、前記受信された第1メディアデータを保存する段階と、
    (d)前記マルチメィア放送受信機のマルチメディア文書レンダリング部が、前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存された第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料である場合、前記第1メディアデータを使用して前記第1マルチメディア文書をレンダリングする段階と、を含み、
    前記第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされているか否かは、前記第1マルチメディア文書を受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料であるか否かは、前記第1メディアデータを受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記バージョン情報は、前記基準クロック、前記マルチメディア文書、または前記メディアデータがどの放送時間に対応するかを示す情報であることを特徴とするマルチメディア放送受信方法。
  18. 前記マルチメディア文書はSMIL文書であることを特徴とする請求項17に記載のマルチメディア放送受信方法。
  19. 前記基準クロック受信部は前記基準クロック値を所定のデータストリーム形式で受信し、
    前記マルチメディア文書受信保存部は前記第1マルチメディア文書を前記データストリーム形式で受信し、
    前記メディアデータ受信保存部は前記第1メディアデータを前記データストリーム形式で受信することを特徴とする請求項17に記載のマルチメディア放送受信方法。
  20. 前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であることを特徴とする請求項19に記載のマルチメディア放送受信方法。
  21. 前記(a)段階は、前記基準クロック値が所定の値だけ増加する度に前記値だけ増加した基準クロック値を受信することを特徴とする請求項17に記載のマルチメディア放送受信方法。
  22. 前記(d)段階は、
    前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされていない場合、前記第1マルチメディア文書がレンダリングされるようにスケジュールされた所定の増加した基準クロック値が受信されるまで前記第1マルチメディア文書を待機させ、
    前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存された第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされた第1マルチメディア文書のレンダリング資料ではない場合、前記保存された第1メディアデータがレンダリング資料になる、所定の増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書をレンダリングするまで前記第1メディアデータを待機させ、
    前記レンダリング中の第1マルチメディア文書が所定の増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされていない場合、前記第1マルチメディア文書に対するレンダリングを中断し、前記増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書が保存されており、前記第2マルチメディア文書のレンダリング資料である前記第1メディアデータまたは第2メディアデータが保存されている場合、前記第2マルチメディア文書をレンダリングし、前記増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書が保存されていない場合、前記第2マルチメディア文書を受信し、前記受信された第2マルチメディア文書を保存し、前記増加した基準クロック値を受信したときにレンダリングされるようにスケジュールされた第2マルチメディア文書が保存されており、前記第2マルチメディア文書のレンダリング資料である前記第1メディアデータまたは前記第2メディアデータが保存されていない場合、前記第1メディアデータまたは前記第2メディアデータを受信し、受信された前記第1メディアデータまたは前記第2メディアデータを保存することを特徴とする請求項21に記載のマルチメディア放送受信方法。
  23. (a)マルチメディア放送送信機の基準クロック生成送信部が、リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値が所定の値だけ増加する度に前記増加した基準クロック値を所定のデータストリーム形式で送信し、前記マルチメディア放送送信機のマルチメディア文書生成送信部が、前記生成された基準クロック値を基準として所定の放送時間にレンダリングされるようにスケジュールされたマルチメディア文書を生成し、前記生成されたマルチメディア文書を所定のデータストリーム形式で送信し、前記マルチメディア放送送信機のメディアデータ生成送信部が、前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを所定のデータストリーム形式で送信する段階と、
    (b)マルチメィア放送受信機の基準クロック受信部が、前記送信された基準クロック値を受信し、前記マルチメィア放送受信機のマルチメディア文書受信保存部が、前記送信されたマルチメディア文書を受信し、前記受信されたマルチメディア文書を保存し、前記マルチメィア放送受信機のメディアデータ受信保存部が、前記送信されたメディアデータを受信し、前記受信されたメディアデータを保存し、前記マルチメィア放送受信機のマルチメディア文書レンダリング部が、前記保存されたマルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存されたメディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料である場合、前記メディアデータを使用して前記マルチメディア文書をレンダリングする段階と、を含み、
    前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であり、
    前記マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされているか否かは、前記マルチメディア文書を受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料であるか否かは、前記メディアデータを受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断することを特徴とするマルチメディア放送方法。
  24. マルチメディア放送送信機のコンピュータに、
    (a)リアルタイムマルチメディア放送の現在時刻値である基準クロック値を生成し、前記生成された基準クロック値が所定の値だけ増加する度に前記増加した基準クロック値を所定のデータストリーム形式で送信する処理と、
    (b)前記生成された基準クロック値を基準として所定の放送時間にレンダリングされるようにスケジュールされたマルチメディア文書を生成し、前記生成されたマルチメディア文書を所定のデータストリーム形式で送信する処理と、
    (c)前記生成されたマルチメディア文書に対するレンダリング資料であるメディアデータを生成し、前記生成されたメディアデータを所定のデータストリーム形式で送信する処理と、
    を実行させ、
    前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であるプログラムを記録したコンピュータ読み取り可能な記録媒体。
  25. 前記データストリーム形式は、前記タイプ情報、前記バージョン情報、前記ペイロード長情報、及び前記ペイロード情報の順序に配列されていることを特徴とする請求項24に記載のコンピュータ読み取り可能な記録媒体。
  26. マルチメディア放送受信機のコンピュータに、
    (a)リアルタイムマルチメディア放送の現在時刻値である基準クロック値が所定の値だけ増加する度に前記値だけ増加した基準クロック値を所定のデータストリーム形式で受信する処理と、
    (b)第1マルチメディア文書を所定のデータストリーム形式で受信し、前記受信された第1マルチメディア文書を保存する処理と、
    (c)第1メディアデータを所定のデータストリーム形式で受信し、前記受信された第1メディアデータを保存する処理と、
    (d)前記保存された第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされており、前記保存された第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料である場合、前記第1メディアデータを使用して前記第1マルチメディア文書をレンダリングする処理と、
    を実行させ、
    前記データストリーム形式はタイプ情報、バージョン情報、ペイロード長情報、ペイロード情報を含み、前記タイプ情報は前記基準クロック値か、前記マルチメディア文書か、または前記メディアデータかを示す情報であり、前記バージョン情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータがいかなる放送時間に対応するかを示す情報であり、前記ペイロード長情報は前記ペイロード情報の長さを示す情報であり、前記ペイロード情報は前記基準クロック値、前記マルチメディア文書、または前記メディアデータの実質的なデータ情報であり、
    前記第1マルチメディア文書が前記基準クロック値を受信したときにレンダリングされるようにスケジュールされているか否かは、前記第1マルチメディア文書を受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断し、
    前記第1メディアデータが前記基準クロック値を受信したときにレンダリングされるようにスケジュールされたマルチメディア文書のレンダリング資料であるか否かは、前記第1メディアデータを受信したデータストリーム形式に含まれるバージョン情報と前記基準クロック値を受信したデータストリーム形式に含まれるバージョン情報とが一致するか否かによって判断するプログラムを記録したコンピュータ読み取り可能な記録媒体。
  27. 前記データストリーム形式は、前記タイプ情報、前記バージョン情報、前記ペイロード長情報、及び前記ペイロード情報の順序に配列されていることを特徴とする請求項26に記載のコンピュータ読み取り可能な記録媒体。
JP2003342264A 2002-10-01 2003-09-30 マルチメディア放送送受信装置及び方法 Expired - Fee Related JP4028469B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0059776A KR100449742B1 (ko) 2002-10-01 2002-10-01 멀티미디어 방송 송수신 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2004129268A JP2004129268A (ja) 2004-04-22
JP4028469B2 true JP4028469B2 (ja) 2007-12-26

Family

ID=31987540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003342264A Expired - Fee Related JP4028469B2 (ja) 2002-10-01 2003-09-30 マルチメディア放送送受信装置及び方法

Country Status (5)

Country Link
US (1) US8132224B2 (ja)
EP (1) EP1406403A1 (ja)
JP (1) JP4028469B2 (ja)
KR (1) KR100449742B1 (ja)
CN (2) CN1497876A (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
CA2501331A1 (en) * 2002-10-02 2004-04-15 Nielsen Media Research, Inc. Methods and apparatus to present survey information
CN1745374A (zh) 2002-12-27 2006-03-08 尼尔逊媒介研究股份有限公司 用于对元数据进行译码的方法和装置
US6979588B2 (en) 2003-01-29 2005-12-27 Hynix Semiconductor Inc. Method for manufacturing CMOS image sensor having microlens therein with high photosensitivity
US20050278619A1 (en) * 2004-06-14 2005-12-15 Samsung Electronics Co., Ltd. Apparatus and method of transmitting/storing print or display control information, and recording medium having embodies thereon computer program for executing the method
KR100678938B1 (ko) * 2004-08-28 2007-02-07 삼성전자주식회사 영상과 자막의 동기화 조절 장치 및 방법
KR100605168B1 (ko) * 2004-11-23 2006-07-31 삼성전자주식회사 시간 자동 설정방법 및 이를 적용한 디지털 방송 수신기
US20080037576A1 (en) * 2005-06-28 2008-02-14 Cherng-Daw Hwang Media broadcast over an internet protocol (IP) network
KR100744507B1 (ko) * 2005-12-20 2007-08-01 엘지전자 주식회사 방송의 장면구성 방법과 그를 위한 단말기
US7941503B2 (en) * 2006-10-23 2011-05-10 Alcatel-Lucent Usa Inc. System and method for providing personalized multimedia broadcasting over a mobile telecommunications radio area network
CN102144401B (zh) * 2008-09-05 2014-05-14 汤姆逊许可证公司 用于动态播放列表修改的方法和系统
JP2011259002A (ja) * 2008-09-30 2011-12-22 Panasonic Corp デジタル放送受信装置及びデジタル放送受信方法
US8121830B2 (en) * 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) * 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8508357B2 (en) * 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
WO2010127268A1 (en) * 2009-05-01 2010-11-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
KR100985404B1 (ko) * 2009-09-04 2010-10-06 (주)대건씨앤엘 석재와 고무칩을 주 성분으로 하는 언더매트를 이용한 인조 잔디 시공 방법
KR101014879B1 (ko) * 2010-08-13 2011-02-15 김지훈 그물조직사를 함유하는 휨 방지용 고무 매트 및 그 제조 방법
KR101033657B1 (ko) * 2010-08-20 2011-05-12 김동현 지반의 침하 억제 및 포장면의 변형 방지를 위한 도로포장재
EP2661829A4 (en) * 2011-01-04 2015-03-25 Thomson Licensing COMMUNICATION OF MULTIMEDIA CONTENT USE DATA THAT INDICATES A CORRESPONDING CONTENT CREATOR
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
US8699646B2 (en) * 2011-04-18 2014-04-15 Harman International Industries, Inc. Media clock negotiation
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
HUE063722T2 (hu) * 2012-04-25 2024-01-28 Samsung Electronics Co Ltd Eljárás adatok átvitelére multimédia átviteli rendszerben
US9282366B2 (en) 2012-08-13 2016-03-08 The Nielsen Company (Us), Llc Methods and apparatus to communicate audience measurement information
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN103430480B (zh) * 2013-02-26 2016-09-28 华为技术有限公司 调度信息的传输方法、终端及融合服务器
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9699499B2 (en) 2014-04-30 2017-07-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08288880A (ja) 1995-04-14 1996-11-01 Toshiba Corp Pll回路及び方式
US5828904A (en) * 1995-05-09 1998-10-27 Apple Computer, Inc. System for data retrieval by scheduling retrieval if number of units scheduled equals or less than predetermined number and retrieving before or at time elapsed
US5886995A (en) 1996-09-05 1999-03-23 Hughes Electronics Corporation Dynamic mapping of broadcast resources
US5889950A (en) * 1996-12-20 1999-03-30 Intel Corporation Method and apparatus for distribution of broadcast data
US5963557A (en) * 1997-04-11 1999-10-05 Eng; John W. High capacity reservation multiple access network with multiple shared unidirectional paths
US6144402A (en) * 1997-07-08 2000-11-07 Microtune, Inc. Internet transaction acceleration
US6446082B1 (en) * 1998-09-21 2002-09-03 Impress Corporation Method of receiving time-specified program contents
EP1009140A3 (en) * 1998-12-11 2005-12-07 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission system, data receiving method, and data receiving apparatus
US6320600B1 (en) * 1998-12-15 2001-11-20 Cornell Research Foundation, Inc. Web-based video-editing method and system using a high-performance multimedia software library
US6760916B2 (en) * 2000-01-14 2004-07-06 Parkervision, Inc. Method, system and computer program product for producing and distributing enhanced media downstreams
US7089579B1 (en) * 1998-12-20 2006-08-08 Tvworks, Llc System for transporting MPEG video as streaming video in an HTML web page
US6486892B1 (en) * 1999-04-07 2002-11-26 Joseph L. Stern System and method for accessing, manipulating and viewing internet and non-internet related information and for controlling networked devices
JP2000299668A (ja) 1999-04-14 2000-10-24 Sony Corp 番組放送方法
US6415438B1 (en) * 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
CN1187929C (zh) * 2000-01-24 2005-02-02 松下电器产业株式会社 数据接收装置、数据接收方法及数据传输方法
AUPQ867700A0 (en) 2000-07-10 2000-08-03 Canon Kabushiki Kaisha Delivering multimedia descriptions
AUPR063400A0 (en) 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US20020188959A1 (en) * 2001-06-12 2002-12-12 Koninklijke Philips Electronics N.V. Parallel and synchronized display of augmented multimedia information
US20030014755A1 (en) * 2001-07-13 2003-01-16 Williams Marvin Lynn Method and system for processing correlated audio-video segments with digital signatures within a broadcast system
JP4782951B2 (ja) * 2001-07-31 2011-09-28 富士通株式会社 放送型通信システム
JP2003228534A (ja) * 2001-11-30 2003-08-15 Ntt Docomo Inc 情報配信システム、記述データ配信装置、コンテンツ位置管理装置、データ変換装置、受信端末装置、情報配信方法

Also Published As

Publication number Publication date
JP2004129268A (ja) 2004-04-22
KR20040032210A (ko) 2004-04-17
EP1406403A1 (en) 2004-04-07
US20040073951A1 (en) 2004-04-15
KR100449742B1 (ko) 2004-09-22
CN1497876A (zh) 2004-05-19
CN1497876B (zh) 2014-07-23
US8132224B2 (en) 2012-03-06

Similar Documents

Publication Publication Date Title
JP4028469B2 (ja) マルチメディア放送送受信装置及び方法
US10869102B2 (en) Systems and methods for providing a multi-perspective video display
US20170195744A1 (en) Live-stream video advertisement system
EP1415473B2 (en) On-demand interactive magazine
US9743140B2 (en) Combined broadcast and backchannel delivery of streaming content
US11743311B2 (en) Adaptive bitrate optimization upon video streaming initialization
US8918810B2 (en) Apparatus and method for providing available codec information
JP2005020752A (ja) トリガの組み込まれていない対話型コンテンツ
EP3497831B1 (en) Improved adaptive bit rate streaming of live content
EP1266521A1 (en) System and method for providing multi-perspective instant replay
AU2001266732A1 (en) System and method for providing multi-perspective instant replay
US20070073900A1 (en) Parsing apparatus and method for shortening download time delay of data broadcasting application
KR101488068B1 (ko) 광고 내장 시스템, 광고 내장 방법, 및 그 기록매체
KR102401372B1 (ko) 이종 네트워크를 통해 수신한 콘텐츠의 삽입 방법 및 장치
US8095470B1 (en) Identifying a content provider
CN111066328A (zh) 用于播放可快速访问免费内容的数字多媒体流的方法及用于其用途的设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees