JP5118342B2 - ストリーミングシステムにおけるフォント情報を送信および受信する方法 - Google Patents

ストリーミングシステムにおけるフォント情報を送信および受信する方法 Download PDF

Info

Publication number
JP5118342B2
JP5118342B2 JP2006501714A JP2006501714A JP5118342B2 JP 5118342 B2 JP5118342 B2 JP 5118342B2 JP 2006501714 A JP2006501714 A JP 2006501714A JP 2006501714 A JP2006501714 A JP 2006501714A JP 5118342 B2 JP5118342 B2 JP 5118342B2
Authority
JP
Japan
Prior art keywords
font
information
stream
text
font information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006501714A
Other languages
English (en)
Other versions
JP2006517368A (ja
Inventor
サウック ダヴィッド
ヴィヤール テリー
ケルビリウ ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2006517368A publication Critical patent/JP2006517368A/ja
Application granted granted Critical
Publication of JP5118342B2 publication Critical patent/JP5118342B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/222Control of the character-code memory
    • G09G5/225Control of the character-code memory comprising a loadable character generator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、ディスプレイを有する電子デバイスに利用可能なフォント情報に関する。詳しくは、本発明はこのフォント情報を送信、受信および更新する方法に関する。
背景技術
MPEG4標準ISO/IEC 14496、殊にパート1のシステムによれば、オーディオ/ビデオ(AV)シーンを複数のオーディオ、ビデオならびに合成2D/3Dオブジェクトから合成することができる。これらはそれぞれ異なるMPEG4フォーマットコーディング形式でコーディングすることができ、オーディオ、ビデオおよび他のサブストリームたとえば表示用テキストから成る多重ビットストリームにおいてバイナリ圧縮データとして伝送することができる。サブストリームはエレメンタリストリーム(Elementary Stream ES)とも称され、記述子を介してアクセスすることができる。1つのシーンは一般に、ユーザが対話可能なオーディオビジュアルスペースと解される。
複数のコンポーネントオブジェクトから単一のシーンを合成するプロセスはコンポジションと呼ばれ、これは複数の個々のオーディオビジュアルオブジェクトのミキシングを意味し、たとえば関連する音声とテキストとともに映像を表示することを受信側端末において1つのシーンをどのようにコンポーズないしは合成するのかを決定するときに、ユーザのインタラクション、端末のケイパビリティならびに端末のコンフィギュレーションを利用することができる。上述のMPEG4標準で定義されているビットストリームには、シーンのコンポジションのための一般的な命令セットであってESと呼ばれる「シーン記述ストリーム」 "Scene Description Stream"と、その他のサブストリームいわゆるオブジェクト記述ストリーム Object Description Steamが含まれており、オブジェクト記述ストリームには、AVサブストリームのデコーディングに必要とされるコンフィギュレーション情報が含まれている。受信側においてコンフィギュレーションサブストリームが伸長され、要求されるAVデコーダのセットアップに使用される。ついでAVサブストリームが別個にデコーディングされてオブジェクトが形成され、デコーディングされたAVオブジェクトから単一のプレゼンテーションを準備処理するために、受信したコンポジション命令が用いられる。その後、この最終的なプレゼンテーションが、つまり端末に依存するコンポジションゆえにブロードキャスタまたはコンテンツプロバイダによるフルコントールを受けていないシーンが再生される。
MPEG4システム標準の現行のバージョンであるISO/IEC 14496-1: 2002には、AVシーンのプレゼンテーションのための階層モデルについて述べられており、これによればパラメトリックアプローチ parametric approach が用いられる。InitialObjectDescriptor (IOD)には、シーン記述ストリームScene Description Streamのための記述子と専用のODストリームが含まれている。シーン記述ストリームScene Description Streamには、コーディングされたノードツリーから成るシーン記述が含まれている。ここで「ノード」 "node"とはMPEG4標準で使用される1つの処理ステップまたは処理単位のことであり、たとえばデコーダと後続の処理ユニットとの間の時間同期を実行するインタフェースなどのことである。ノードにはフィールドと呼ばれる属性ならびに添付される他の情報をもたせることができる。このツリーにおける1つのリーフノードは、ODストリーム内の1つのODへのポインティングによる基本AVデータに対応し、そのOD自体には1つのES内のAVデータをポインティングするES記述子 ES Descriptor が含まれており、あるいは上述のツリーにおける1つのリーフノードは、グラフィック2D/3D合成オブジェクトたとえばキューブ、カーブまたはテキストに対応する。中間ノードまたはシーン記述ノードによってこの素材がまとめられてAVオブジェクトが形成され、たとえばこの種のAVオブジェクトにおけるグルーピングや変換が実行される。
シーン記述ES Scene Description ES には、表示すべきテキストが含まれている。テキストの再生はFontSytleノードによって記述される。FontStyleノードのセマンティクスによればfamily(ファミリー)フィールドによってコンテンツクリエータは、端末がテキストの表示またはレンダリングに使用するフォントを選択することができる。そのフォントをクライアントのプラットフォームで利用できるならば、所定のテキスト文字列をレンダリングするためにそのフォントが使用される。クライアントのプラットフォームで利用できないのであれば、デフォルトのフォントを使用しなければならない。シーン記述における他の多くのノードとは対照的に、FontStyleノードはスタティックなものであり、すなわちそれらを更新によって変更することはできない。
発明の概要
様々なアプリケーションにおいてコンテンツプロバイダは、伝送されるテキストを受信側で表示する際のスタイルまたはフォントを決定したいという要求をもっている。しかしながら受信側は、対応する情報が不足していることから僅かなフォントおよびスタイルしか表示できない。この問題点は、請求項1および2に記載された本発明によって解決される。請求項9および10には、受信側または送信側において本発明による方法を利用した装置がそれぞれ記載されている。
本発明によるシステムによれば、端末に向けてフォント情報を流すことができ、端末はこの情報をダウンロードすることができ、どのようにテキストを表示するのかを決定するためにこの情報を利用することができる。フォント情報は1つまたは複数のシンボルを参照するよう指示し、通常はキャラクタセットを参照するよう指示するが、印刷シンボルあるいは飾り記号を参照するよう指示してもよく、さらにフォント情報には、たとえば書体あるいは形状、サイズ、カラー、ボールド、イタリックスタリル、ラインスペース、プロポーショナルピッチまたは固定ピッチのための仕様をもたせることができる。また、1つのフォントをすべてのテキストに利用することもできるし、あるいはデバイスにおいてレンダリングさせる目的でこの種の情報を必要とする所定のテキストコンテンツにリンクさせることもできる。
本発明によるシステムには、1つまたは複数のフォントのためのフォーマットデータ、これらのデータをたとえばタイムスタンプの与えられた多重化パケットから成るビットストリームに組み込むための手段、これらのビットストリームを送信、転送ならびに受信するための手段、これらのビットストリームを入力とし受け入れる端末が含まれており、さらにこの端末には、フォントならびに他のコンテンツデータを管理し、管理されているコンテンツを合成する手段たとえばデコーダと、合成されたコンテンツをプレゼンテーションするためのレンダリングデバイスが含まれている。
図面の簡単な説明
次に、添付の図面を参照しながら本発明の実施形態について説明する。図1には、一般的なフォントストリーミングシステムの構成が例示されている。図2には、MPEG4端末の一般的な構造が描かれている。図3には、フォントストリームを含むMPEG4オブジェクト記述子の構成が描かれている。
発明の詳細な説明
図1には、本発明による全般的なフォントストリーミングシステムのコンポーネントが描かれている。この場合、AVおよびテキストを含むシーンデータ2といっしょにフォントデータ1がパックされたとえば多重化されて適切な装置3へのビットストリーム4が形成され、この装置にはたとえばマルチプレクサと伝送用サーバが含まれている。伝送にはブロードキャストを含めることができ、ビットストリーム4とそのサブストリームを所定の構造にすることができ、たとえば多重化パケットの構造とすることができる。
受信側装置5においてこのビットストリームが多重化解除されてESが形成され、たとえばコントロール、オーディオ、ビデオならびにフォントストリームが形成され、その際、コントロールESはテキストとODストリームを含むシーン記述を有しており、このESは関連するマネージャに分配される。1つのESにおいて個別にアクセス可能な部分はアクセスユニット(Access Unit AU)6と呼ばれ、これらはデコーダマネージャ7によってデコーディングされてプラットフォームに依存するプレゼンテーション可能なフォーマットが形成される。ESにより要求される固有のデコーディングのために、デコーダマネージャ7はデコーダ固有情報11(DSI)を用いてセットアップされる。さらにこのDSI 11は、たとえばビットストリームにおけるコントロールサブストリームを介して受け取った情報を使用してセットアップ可能または変更可能である。デコーダマネージャ7は、コンポジタ(Compositor)9に対する入力であるコンポジションユニット(Composition Unit CU)8を生成し、このコンポジションユニット8自体はレンダリングデバイス13たとえばPCまたはTVのための入力信号10を生成する。CUはコンポジタ9による要求よりも前に生成可能であるので、それらをコンポジションバッファにバッファリングしておくことができる。フォントデータであるデータが集中して生じる場合には、あとで利用するためにフォントデータをローカルストレージデバイス12たとえばメモリ、フラッシュメモリ、ディスク、ハードディスクなどに格納するのが有利である。たとえばコンテンツプロバイダが所定のテキストのために使用すべきフォントを指定している場合、フォントデータをコンポジタ9においてコンポジションのために利用することができる。コンポジタ9はプラットフォームに依存しているので、デコーダマネージャ7は個別にストリーミングシステムから、コンポジタ9が要求するCUフォーマットを生成することができ、その結果、コンテンツプロバイダの意図するようにテキストがレンダリングされる。
MPEG4システム標準によればマネージメント時間を、データをデコーディングすべき時間としてデコーダマネージャ7により使用されるAU 6と関連づけることができる。したがってCU 8にコンバートされてコンポジタ9のため準備処理されるデータは、コンポジションバッファへ転送される。CUのために、定義されたコンポジション時間を設けておくことができ、コンポジタ9はこの時間を、CUがコンテンツのレンダリングにどれくらいの時間を費やすべきであるのかを決定するために利用する。パケットをクライアントへ送信するサーバ3は、コンポジタ9が適正な時間で情報を取得できるのに十分な速さでそれらのパケットがクライアント端末5に到達するようにしなければならない。このことはコンテンツクリエーション時間において扱うことができる。
MPEG4または同様のストリーム指向のシステムのために用いられる本発明のケースに関して、端末の構造が図2に描かれている。端末20にはインタフェース21が含まれており、これはDMIFアプリケーションインタフェースと呼ばれる。これは同期レイヤsynchronization layer SLとデリバリレイヤ delivery layer DLとの間のストリームデータパケットフォーマット変換のために使用される。さらにこれによってビットストリームの多重化が解除されて、サブストリームないしはESが形成される。テキストとともにシーンデータを含むサブストリームは適切なデコーディングバッファ22,26へ送られ、その後、指定された時点にデコーダ23,27へ送られる。各デコーダは所定のタイプのESのためにそれぞれ設けられており、要求があったときのみセットアップされる。デコーダを指定する情報を専用のESたとえばODストリームにおいて、デコーダが使用される前に専用のマネージャ29が受け取ることができる。デコーダの出力はコンポジションバッファ24,28へ供給され、ついで指定された時点にコンポジタ25へ、つまりそれらの個々のコンポジション時間にコンポジタ25へ供給される。本発明のこの実施形態によれば、フォント情報をダウンロードするために用いられる1つのデコーディングバッファ26、デコーダ27ならびにコンポジションバッファ28が設けられている。
本発明の1つの実施形態によれば、受け取ったフォントデータはあとで使用するために受信側に格納される一方、別の実施形態によれば直前に受け取ったフォントだけが格納され、この場合、他のフォントはコンテンツがそれらのフォントの使用を要求したときには常にダウンロードする必要がある。第3の実施形態によれば、ダウンロードされたフォントはクライアントがそのコンテンツから切り離されるまで格納される。第4の実施形態によれば、フォント情報を格納すべきか否かの通知をビットストリームに含ませることができる。さらに本発明の第5の実施形態によれば、ユーザはフォントデータのこのようなダウンロードをコントロールすることができ、つまりそれに対し許可または不許可を与えることができる。
図3には、やはりフォントデータを含むMPEG4システムのオブジェクト記述子の構造が描かれている。これは、1つの初期オブジェクト記述子と5つのエレメンタリストリーム(ES)とから成る。初期オブジェクト記述子には、ESを指す2つのエレメンタリストリーム記述子(ES_D)が含まれており、特にES_Dは値ES−IDを有しており、したがってシーン記述ストリームを指し、さらにES_DはES−IDを有しており、したがってオブジェクト記述子ストリームを指す。シーン記述ストリームには、シーンのジオメトリ、アニメーションおよびインタラクティビティならびに再生すべきシーンの各オブジェクトに対するリンクを記述するシーン記述が含まれており、これによればどのようにしてESからオブジェクトを取得するのかが指定される。また、メディアオブジェクトに対しリンクされたシーン記述階層ツリーのリーフノードによって、オブジェクト記述子ストリームにおいて受け取られるオブジェクト記述子を指すオブジェクト記述子識別子(Object Descriptor Identifier ODID)が使用される。1つのオブジェクト記述子識別子 Object Descriptor Identifier ODIDは、1つのビジュアルオブジェクトのためのオブジェクト記述子 Object Descriptor ODを指し、別のオブジェクト記述子識別子ODIDは、1つのテキストオブジェクトのためのオブジェクト記述子ODを指す。各オブジェクト識別子には1つまたは複数のES記述子ES_Dが含まれており、これはシーンにおいて再生すべきESに対する参照である。テキストオブジェクトは1つのシーン記述ストリーム内部に含まれており、これは現在のテキストノードを含んでおり、ESつまり個々のフォントを含むフォントストリームを参照指示する。2つのストリームは、個々の識別子ES_IDとES_IDの値をもつES記述子ES_DとES_Dにより参照指示される。
あるフォントがたとえばマルチメディアコンテンツにおいて参照指示される場合、この参照は図3に示されているようにES_IDであってもよいし、または文字列値としてフォント名であってもよいし、あるいはその両方であってもよい。参照指示されるフォントに対応するフォントデータを、相応するES_IDおよびオプションとして付加的なフォント名文字列とともに、ESとしてMPEG4ストリームに事前に挿入しておくことができる。有利にはフォントデータ、フォント名ならびに関連する情報を、あとで利用するために格納しておくことができる。このようなケースでは、フォントをたとえばフォント名によって参照指示することができる。有利にはファイル名はストリーミングされず、したがって格納のためにシステム互換のファイル名を選ぶことができる。
フォントマネージャと呼ばれる受信側の専用ユニットによって、フォントに関連するすべての事項を取り扱うことができ、たとえば標準フォントの選択、特別に要求されるフォントが事前に格納済みであるかのチェック、新しいフォントの受け取り、格納されたフォントの更新などを行うことができる。
デコーダセットアップのために用いられDSIとしてすでに説明した指定フォント関連情報には、たとえば以下のものを含めることができる:
−フォントタイプすなわちフォントデータの内部フォーマット、これはたとえばTrueTypeフォント、OpenTypeフォントまたはzippedフォント等でそれぞれ異なる。
−フォント格納情報、これによってフォントをあとで利用するために格納すべきか否かが指定される。
−フォント名すなわちフォントへの参照として使用すべき文字列。
−フォントマネージャに関するシステム固有の情報、たとえばフォントを特定のキャラクタまたはシンボルのためにのみ、あるいはたとえば大文字のためにのみ使用すべきか否かの情報。
MPEG4システムの場合、DSIはODストリームにおいて伝送される。本発明によれば、フォントデコーダを指定する情報を伝送するために2つの可能性がある:その1つは、この情報すべてをDSIに含め、フォントAUには生のフォントデータを含めること。もう1つはDSIに、上述の情報がAU内で生のフォントデータといっしょであることの指示を含めることである。これら2つの解決策のいずれを使用するのかについての指示を、DSI内でfontFormat変数としてコーディングすることができる。
第1の解決策によれば、フォントデコーダのためのセッティングは自己充足型であって、つまりOD構造において完全に定義されており、したがってフォント情報を含むすべてのAUパケットはfontFormat値によって定義された同じ内部フォーマットを有している。つまりこのことは、受け取ったフォントのフォーマットすなわちテキストレンダリングに使用されるフォントをダイナミックに変更することはできないことを意味する一方、この場合にはシンプルなタイプのデコーダしか必要とされない。
第2の解決策のためにはfontFormat変数だけがDSIから利用され、DSIにおける他のフォント関連情報は無視される。その代わりにこの情報はフォント情報のためにAUパケット内に含まれており、たとえばパケットヘッダからこれを抽出することができる。これを自己内蔵フォントないしはセルフコンテインドフォント self-contained fontと呼ぶことができる。このケースでは、DSIにけるfontFormatのための固有の予約値を利用すれば十分である。この解決策によれば、フォントストリームAUパケットに異なる内部フォーマットをもたせることができ、それゆえデコーダは第1の解決策よりも複雑にならざるを得ない。それというのも、デコーダは要求されるDSIのいくつかをパケットから抽出する必要があるからである。しかしながら有利なことにダイナミックなフォント変更は可能である。なぜならば、新たに受け取ったフォントをただちに使用できるからである。
本発明のMPEG4のインプリメンテーションによれば、以下で述べるように標準規格に対し僅かな拡張だけしか必要とされない。
この拡張はストリームタイプ、AUフォーマット、デコーダタイプならびにノードセマンティクスに関わるものである。この場合、新たなタイプのESが使用されるので、streamTypeパラメータの新たな値を定義する必要があり、このパラメータはフォントESとしてサブストリームを識別するために端末によって使用され、これによって必要とされるデコーダが生成され、それがESと結びつけられる。上述の標準規格をベースとして、本発明によって提案される新たなstreamTypeを以下のように加えることができる。
Figure 0005118342
オブジェクトTypeIndicationはこの種のストリームのためには必要とされないので、値0xFF(オブジェクトタイプ指定なし)を用いることができる。フォント情報を伝送するための簡単なやり方はフォントファイルをAUに埋め込むことであり、これによって新たなAUタイプが生成される。この種のAUを、MPEG標準に記述されているようにストリーミング中に複数の同期レイヤ(syncronization layer SL)パケットに分割することができる。さらに、フォントAUを管理するために新たなデコーダを定義しておく必要がある。このデコーダは、DSIコンフィギュレーションを利用してAUからフォントデータを抽出する。たとえばオブジェクト指向言語における1つのクラスとしてDSIをインプリメントするならば、それに対し以下のフォーマットをもたせることができる:
Figure 0005118342
DSIに含まれるfontFormat変数の仕様を以下のように定めることができる:
Figure 0005118342
上記の表で用いられている他の変数の意味は以下の通りである:
storeFont:後で利用するためにフォントを格納するのか否かを規定
fontNameLength:fontNameフィールドの長さを指定
fontName:フォント名を指定
fontSpecInfo:固有のフォントハンドラのための情報を伴う不透明なコンテナ
0X01〜0x04の値をもつfontFormat変数の場合、デコーダはデータを処理するためにすべてのDSI情報を必要とし、0x00の値をもつfontFormat変数の場合、デコーダは必要とする情報をAU内で見つけ出すことができる。本発明によるフォントAUフォーマットの例については以下で説明する。
端末がフォントを記憶可能であるならば、受け取ったフォントを記憶するのか否かを判断するためにstoreFontフラグを使うことができ、fontNameフィールド内で受け取った名前が、たとえばファイルに関連づけたり意味のあるファイル名を選ぶなりすることで、フォントデータに付加されることになる。fontSpecInfoをデフォルトで空にしておくことができ、0x05〜0x07の値をもつfontFormatにより指示されているようにユーザのプライベートなインプリメンテーションのために利用することができる。AUコンテナが自己充足型フォントであり、かつこのAUをたとえばオブジェクト指向言語における1つのクラスとしてインプリメントする場合、各フォントAUに以下の構造のデータをもたせることができる:
Figure 0005118342
fontSpecInfoLengthによってfontSpecInfoフィールドの長さが規定され、fontDataは生のフォントデータである。他のフィールドはDSIの場合と同じ意味をもっている。
最後に挙げておくと、フォントストリーミングをイネーブルにするため標準規格で述べられているFontStyleノードセマンティクスが必要とされる。対応するパラグラフはVRML 97 standard (ISO/IEC 14772-1: 1998)である。このノードに以下の特性が付加される:「familyフィールドにはObjectDescriptorIdentifier (ODID)も含めることができ、これによりフォント情報を含むFontStreamというタイプのストリームが参照指示される。
ノードのオプション機能として、VRML97標準に記載されているようにfamilyフィールドにおける第1のSFString値にフォント名を含める。第2の値には、フォントを含むストリームを指すODIDを含める。この実施形態によれば端末は、第1の値において挙げられているフォントが端末にすでに存在しているか否かを調べることができ、存在しているならばそれを再利用することができる。そうでなければ、端末はフォントストリームをMPEG4システム標準に記載されているように処理することができ、本発明の特徴により許可されてそれを記憶させることができる。クライアント端末において最適化されたフォント管理を行うために、フォント情報の構造表現すなわちfontStyleノードによって、テキストレンダリングに必要とされるフォントが最初にその名前によって参照指示され、2番目のポジションにおいてそのストリームの識別子ES−IDによって参照されるようにする。フォントストリーミングフィーチャを利用したシーンサンプルの一例には、以下の断片が含まれている可能性がある:
Figure 0005118342
上述の例では、端末は"Times New Roman"という名前をもつフォントを使用し、サイズとスペーシングとスタイルに対する所定のパラメータを用いて、テキスト文字列をレンダリングすることになる。このフォントが受信側で利用できない場合には、MPEG4端末はストリームをODID "104"と結びつけて、要求されたフォント情報を取り出すことができる。
本発明によるフォントストリーミングフィーチャをMPEG4オーサリングツールに含めることもできる。すなわち制作者がテキスト文字列のために特定のフォントを定義する場合、ツールによってフォントファミリー名をfamily(ファミリー)フィールドの第1の部分に挿入することができ、フォント情報を含む新たなESを生成し、このESのためのODIDをfamilyフィールドの第2の部分に挿入することができる。
有利なことに、たとえばTrueTypeフォント、ベーシックフォント、OpenTypeフォント、アジアのキャラクタ、スケーラブルフォント、シンボルフォントなど、どのようなフォントフォーマットであってもストリーミング可能であって、このことは受取側の端末がそのようなフォーマットを識別して管理できるかぎり可能である。
さらに有利なことに、情報コンテンツ殊にテキストまたはシンボルを有するコンテンツを表示可能でありフォント情報を受信可能なあらゆる種類のデバイスのために本発明を適用することができる。そのようなデバイスとはたとえばTV、DVB、コンピュータディスプレイ、ナビゲーション装置、さらには移動電話機、モバイルコンピュータ、パーソナルディジタルアシスタント(PDA)、MP3プレーヤー、あるいはディスプレイを備えた他のミュージックレンダリング装置のような携帯型装置である。
本発明は、すべてのMPEG4ストリーミングシステムにとりわけ適している。
一般的なフォントストリーミングシステムの構成を例示した図 MPEG4端末の一般的な構造を示す図 フォントストリームを含むMPEG4オブジェクト記述子の構成を示す図

Claims (15)

  1. フォント情報を伝送する方法において、
    −ディスプレイ上でプレゼンテーションさせるべきテキストまたはシンボルのコンテンツのためにフォントを定義するステップと、
    −単一のキャラクタまたはシンボルまたはそれらのセットをどのようにレンダリングまたは表示させるのかを定義したフォント記述を含むフォント情報を用意するステップと、
    −該フォント情報を、フォントストリーム上で伝送に適したフォーマットに変換するステップと、
    −テキストを含むデータストリームに、該フォントストリームに対する参照を付加するステップと、
    −該フォント情報および該テキストを含むデータストリームを伝送するステップと、
    が設けられていることを特徴とする、フォント情報を伝送する方法。
  2. ディスプレイを含むまたはディスプレイと接続可能な電子機器においてフォント情報を付加または変更する方法において、
    フォントストリームを受け取るステップと、
    フォントストリーム中のフォント情報は、単一のキャラクタまたはシンボルまたはそれらのセットをどのようにレンダリングまたは表示させるのかを定義したフォント記述を含む、
    −該フォント情報のフォーマットを、処理に利用できるよう変換するステップと、
    −テキストまたはシンボル情報を含むデータストリーム、および、該フォントストリームに対する参照を受け取るステップと、
    −該フォント情報を前記変換前または変換中または変換後に記憶させるステップと、
    −表示されるために該テキストまたはシンボル情報をレンダリングするステップと、
    ここで、デバイスまたは回路は、該参照されたフォントストリームからのフォント情報を使用して、該キャラクタまたはシンボルまたはそれらのセットをどのように表示させるのかを定義する、
    を含むことを特徴とする、
    電子機器においてフォント情報を付加または変更する方法。
  3. 請求項1または2記載の方法において、
    前記参照は、前記フォントストリーム(ES_D)を識別する記述子(ODID)を指し示す、ことを特徴とする方法。
  4. 請求項1から3のいずれか1項記載の方法において、1つのフォントによりキャラクタまたはシンボルのためのレンダリング特性を定義し、該特性には書体、形状、サイズ、色、ボールドスタイル、イタリックスタイル、ラインスペーシングまたはピッチタイプのうち少なくとも1つの項目を含ませることを特徴とする方法。
  5. 請求項1から4のいずれか1項記載の方法において、コントロール情報を伝送し、該コントロール情報によって、受取側が前記フォント情報を記憶すべきか否かを決定させることを特徴とする方法。
  6. 請求項1から5のいずれか1項記載の方法において、別個のデータストリームを種々のデータタイプの伝送のために使用し、該データストリームのいくつかまたはすべてをいっしょに多重化されることを特徴とする方法。
  7. 請求項1から6のいずれか1項記載の方法において、前記フォント情報にはサイズ、色、スタイルまたはラインスペーシングのパラメータを含ませる一方、書体、形状またはピッチの情報を受取側で取得可能にすることを特徴とする方法。
  8. 前記フォントストリームは符号化され、かつ、復号化するのに必要な時間を示す時間情報を有する、請求項1乃至7いずれか1項記載の方法。
  9. 電子機器のためにフォント情報を伝送する装置において、
    ディスプレイ上でプレゼンテーションさせるべきテキストまたはシンボルのコンテンツのためにフォントを定義する手段と、
    単一のキャラクタまたはシンボルまたはそれらのセットをどのようにレンダリングまたは表示させるのかを定義したフォント記述を含むフォント情報を用意する手段と、
    フォントストリーム上で該フォント情報を伝送に適したフォーマットに変換する手段と、
    テキストを含むデータストリームに、該フォントストリームに対する参照を付加する手段と
    フォントストリーム、および、該テキストを含むデータストリームを伝送する手段と、
    が設けられていることを特徴とする、電子機器のためにフォント情報を伝送する装置。
  10. 電子機器内でフォント情報を付加または変更する装置において、
    フォントストリームを受け取る手段と、
    フォントストリーム中のフォント情報は、単一のキャラクタまたはシンボルまたはそれらのセットをどのようにレンダリングまたは表示させるのかを定義するフォント記述を有し、
    該フォント情報を処理に適したフォーマットに変換する手段と、
    テキスト情報を含むデータストリーム、および、該フォントストリームに対する参照を受け取る手段と、
    該フォント情報を前記変換前または変換後に記憶する手段と、
    該テキスト情報を表示のためにレンダリングする手段と、
    該レンダリングする手段は、参照された該フォントストリームからのフォント情報を使用して、前記のキャラクタまたはシンボルまたはそれらのセットをどのように表示させるのかを定義する、
    が設けられていることを特徴とする、電子機器においてフォント情報を付加または変更する装置。
  11. 請求項9または10記載の装置において、
    前記参照は、前記フォントストリーム(ES_D)を識別する記述子(ODID)を指し示す、ことを特徴とする装置。
  12. 請求項9から11のいずれか1項記載の装置において、
    1つのフォントによりキャラクタまたはシンボルのためのレンダリング特性が定義され、該特性には書体、形状、サイズ、色、ボールドスタイル、イタリックスタイル、ラインスペーシングまたはピッチタイプのうち少なくとも1つの項目が含まれていることを特徴とする装置。
  13. 請求項9から12のいずれか1項記載の装置において、
    データストリーム内でコントロール情報を受け取る手段を有し、
    該コントロール情報によって、受取側が前記フォント情報を記憶すべきか否かが決定され、
    前記コントロール情報によって前記フォント情報を記憶する必要がある場合は、前記フォント情報を記憶する手段を有する、
    ことを特徴とする装置。
  14. 請求項9から13のいずれか1項記載の装置において、別個のデータストリームが種々のデータタイプの伝送のために使用され、該データストリームのいくつかまたはすべてがいっしょに多重化されることを特徴とする装置。
  15. 請求項9から14のいずれか1項記載の装置において、前記フォント情報にはサイズ、色、スタイルまたはラインスペーシングのパラメータが含まれる一方、書体、形状またはピッチの情報は受取側で取得可能であることを特徴とする装置。
JP2006501714A 2003-02-10 2004-01-28 ストリーミングシステムにおけるフォント情報を送信および受信する方法 Expired - Lifetime JP5118342B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03290324A EP1445954A1 (en) 2003-02-10 2003-02-10 Method to transmit and receive font information in streaming systems
EP03290324.7 2003-02-10
PCT/EP2004/000959 WO2004071097A1 (en) 2003-02-10 2004-01-28 Method to transmit and receive font information in streaming systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011162306A Division JP2012029297A (ja) 2003-02-10 2011-07-25 ストリーミングシステムにおけるフォント情報を送信および受信する方法

Publications (2)

Publication Number Publication Date
JP2006517368A JP2006517368A (ja) 2006-07-20
JP5118342B2 true JP5118342B2 (ja) 2013-01-16

Family

ID=32605447

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006501714A Expired - Lifetime JP5118342B2 (ja) 2003-02-10 2004-01-28 ストリーミングシステムにおけるフォント情報を送信および受信する方法
JP2011162306A Pending JP2012029297A (ja) 2003-02-10 2011-07-25 ストリーミングシステムにおけるフォント情報を送信および受信する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011162306A Pending JP2012029297A (ja) 2003-02-10 2011-07-25 ストリーミングシステムにおけるフォント情報を送信および受信する方法

Country Status (10)

Country Link
US (1) US7701458B2 (ja)
EP (2) EP1445954A1 (ja)
JP (2) JP5118342B2 (ja)
KR (1) KR101010498B1 (ja)
CN (1) CN1748426B (ja)
BR (1) BRPI0407310B1 (ja)
MX (1) MXPA05008037A (ja)
MY (1) MY143494A (ja)
TW (1) TWI323126B (ja)
WO (1) WO2004071097A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725387B1 (ko) 2004-08-24 2007-06-08 삼성전자주식회사 데이터 방송에서의 전송 코드 세트 시그널링 방법 및 장치
DE102005051657A1 (de) 2005-10-28 2007-05-03 GM Global Technology Operations, Inc., Detroit Pyrotechnischer Aktuator
FR2892885B1 (fr) * 2005-11-02 2008-01-25 Streamezzo Sa Procede de gestion de polices de caractere a l'interieur de scenes multimedia, programme d'ordinateur et terminal correspondants.
KR100686879B1 (ko) * 2005-11-28 2007-02-26 엘지전자 주식회사 다이내믹 라벨 서비스에 의해 제공되는 문자 및 텍스트상자의 색상 및 크기정보 제공방법
KR101323979B1 (ko) * 2006-12-13 2013-10-30 엘지전자 주식회사 휴대 장치용 지원 시스템 및 방법
US20100199174A1 (en) * 2009-02-03 2010-08-05 Microsoft Corporation Extensible font file loading
US9319444B2 (en) * 2009-06-22 2016-04-19 Monotype Imaging Inc. Font data streaming
US8615709B2 (en) 2010-04-29 2013-12-24 Monotype Imaging Inc. Initiating font subsets
US9218680B2 (en) * 2010-09-01 2015-12-22 K-Nfb Reading Technology, Inc. Systems and methods for rendering graphical content and glyphs
US20130215126A1 (en) * 2012-02-17 2013-08-22 Monotype Imaging Inc. Managing Font Distribution
US9817615B2 (en) 2012-12-03 2017-11-14 Monotype Imaging Inc. Network based font management for imaging devices
US9569865B2 (en) 2012-12-21 2017-02-14 Monotype Imaging Inc. Supporting color fonts
EP2943894A2 (en) 2013-01-09 2015-11-18 Monotype Imaging Inc. Advanced text editor
US9317777B2 (en) 2013-10-04 2016-04-19 Monotype Imaging Inc. Analyzing font similarity for presentation
US9691169B2 (en) 2014-05-29 2017-06-27 Monotype Imaging Inc. Compact font hinting
US10115215B2 (en) 2015-04-17 2018-10-30 Monotype Imaging Inc. Pairing fonts for presentation
US11537262B1 (en) 2015-07-21 2022-12-27 Monotype Imaging Inc. Using attributes for font recommendations
EP3378235A4 (en) 2015-11-20 2019-05-01 Genetec Inc. MEDIA STREAMING
JP6921075B2 (ja) 2015-11-20 2021-08-18 ジェネテック インコーポレイテッド データストリームの安全な階層暗号
US11334750B2 (en) 2017-09-07 2022-05-17 Monotype Imaging Inc. Using attributes for predicting imagery performance
US10909429B2 (en) 2017-09-27 2021-02-02 Monotype Imaging Inc. Using attributes for identifying imagery for selection
US11657602B2 (en) 2017-10-30 2023-05-23 Monotype Imaging Inc. Font identification from imagery
CN112070860A (zh) * 2020-08-03 2020-12-11 广东以诺通讯有限公司 一种图片处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714022B2 (ja) * 1988-08-24 1998-02-16 株式会社日立製作所 文字データ管理システムおよび文字データ管理方法
EP0700205A3 (en) * 1994-08-31 1997-04-02 Toshiba Kk Multimedia television receiver and initialization process therefor
US5946105A (en) * 1994-08-31 1999-08-31 Canon Kabushiki Kaisha Facsimile apparatus and control method therefor
JP2887572B2 (ja) 1995-04-07 1999-04-26 富士ゼロックス株式会社 画像出力装置および画像処理方法
US5926189A (en) * 1996-03-29 1999-07-20 Apple Computer, Inc. Method and apparatus for typographic glyph construction including a glyph server
JP3487738B2 (ja) * 1996-08-26 2004-01-19 富士通株式会社 ネットワーク環境におけるフォント処理装置および方法
US6141002A (en) * 1996-11-12 2000-10-31 Opentv, Inc. System and method for downloading and rendering glyphs in a set top box
EP0866616A1 (en) * 1997-03-21 1998-09-23 CANAL+ Société Anonyme Method of and apparatus for transmitting data
US6323864B1 (en) * 1997-06-30 2001-11-27 Sun Microsystems, Inc. Using and accessing information from fonts in multiple formats
AU761202B2 (en) * 1997-09-22 2003-05-29 Sony Corporation Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
JP4136066B2 (ja) * 1998-05-11 2008-08-20 パイオニア株式会社 文書データ作成装置及び文字表示装置
JPH11341536A (ja) * 1998-05-27 1999-12-10 Nec Shizuoka Ltd 文字フォント切替機能付き無線携帯端末
CN1322739C (zh) * 1998-06-12 2007-06-20 皇家菲利浦电子有限公司 传输系统
JP2000099501A (ja) * 1998-09-17 2000-04-07 Internatl Business Mach Corp <Ibm> 文書データへの情報の埋め込み方法およびシステム
WO2000038170A2 (en) * 1998-12-18 2000-06-29 Powertv, Inc. Font substitution system
US7640571B1 (en) * 1999-07-15 2009-12-29 General Instrument Corporation Method and apparatus for preventing disruptions in set-top terminal function due to the download of updated programming or data to the set-top terminal
EP1087617A3 (en) * 1999-09-21 2003-01-08 Texas Instruments Incorporated System for nonlinear viewing of television show segments
US20020087702A1 (en) * 2000-12-29 2002-07-04 Koichi Mori Remote contents displaying method with adaptive remote font
JP3714880B2 (ja) * 2001-03-07 2005-11-09 シャープ株式会社 字幕表示装置
JP3871123B2 (ja) * 2001-06-16 2007-01-24 三星電子株式会社 プリロードフォント情報を有する情報貯蔵媒体、その再生装置及び再生方法
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム

Also Published As

Publication number Publication date
EP1602236A1 (en) 2005-12-07
US7701458B2 (en) 2010-04-20
TW200423724A (en) 2004-11-01
EP1445954A1 (en) 2004-08-11
MXPA05008037A (es) 2006-05-19
KR20050103920A (ko) 2005-11-01
TWI323126B (en) 2010-04-01
CN1748426A (zh) 2006-03-15
CN1748426B (zh) 2012-09-05
JP2006517368A (ja) 2006-07-20
MY143494A (en) 2011-05-31
KR101010498B1 (ko) 2011-01-24
BRPI0407310A (pt) 2006-02-21
EP1602236B1 (en) 2019-11-13
US20070008309A1 (en) 2007-01-11
BRPI0407310B1 (pt) 2022-05-24
JP2012029297A (ja) 2012-02-09
WO2004071097A1 (en) 2004-08-19

Similar Documents

Publication Publication Date Title
JP5118342B2 (ja) ストリーミングシステムにおけるフォント情報を送信および受信する方法
EP3603080B1 (en) Method and apparatus for encoding media data comprising generated content
US7376932B2 (en) XML-based textual specification for rich-media content creation—methods
JP4159248B2 (ja) 階層的データ構造管理システム及び階層的データ構造管理方法
US20020024539A1 (en) System and method for content-specific graphical user interfaces
US7428547B2 (en) System and method of organizing data to facilitate access and streaming
US8046338B2 (en) System and method of organizing data to facilitate access and streaming
US7149770B1 (en) Method and system for client-server interaction in interactive communications using server routes
CN102177484B (zh) 提供基于结构化富媒体数据的用户界面的装置和方法
CN113615205B (zh) 用于用信号通知封装媒体内容的可用部分的方法、装置和计算机程序
KR100622645B1 (ko) 임베디드 시스템 상의 mpeg-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법
Lim et al. MPEG Multimedia Scene Representation
Tran et al. CASE STUDY: A BASIC COMPOSING TOOL FOR EDITING SYSTEM INFORMATION MPEG-4
KR20240107164A (ko) 미디어 컨테이너 파일 및 스트리밍 매니페스트에서의 픽처인픽처에 대한 시그널링
Xiang et al. Combining the product of Interactive Multimedia Creator with MPEG4 technology
TRAN et al. Budapest University of Technology and Economics, Department of Broadband Infocommunication Systems, Hungary
Tran et al. An MPEG-4 BIFS-Based Authoring Tool for Multimedia Content
Eleftheriadis et al. MPEG-4 systems
KR20040016566A (ko) 엠펙 멀티미디어 컨텐츠의 그룹메타데이터 표현방법 및그의 재생단말기
Feringa Appendix A. File formats and plugins
KR20020084048A (ko) 플래시를 동적으로 생성 및 관리하기 위한 시스템 및 그방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100727

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100729

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110325

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20121009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5118342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term