JP4634390B2 - マルチメディアプレゼンテーション用コンテナフォーマット - Google Patents

マルチメディアプレゼンテーション用コンテナフォーマット Download PDF

Info

Publication number
JP4634390B2
JP4634390B2 JP2006535311A JP2006535311A JP4634390B2 JP 4634390 B2 JP4634390 B2 JP 4634390B2 JP 2006535311 A JP2006535311 A JP 2006535311A JP 2006535311 A JP2006535311 A JP 2006535311A JP 4634390 B2 JP4634390 B2 JP 4634390B2
Authority
JP
Japan
Prior art keywords
multimedia
file
media
container
multimedia container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006535311A
Other languages
English (en)
Other versions
JP2007508779A (ja
Inventor
ペル フレーイ，
マンナ ヴェステルント，
トルベ−ルン エイナーソン，
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Publication of JP2007508779A publication Critical patent/JP2007508779A/ja
Application granted granted Critical
Publication of JP4634390B2 publication Critical patent/JP4634390B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675—Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は全体としてメディアオブジェクトに関し、特には協調させられたメディアオブジェクトを有するマルチメディアプレゼンテーションに関する。
マルチメディアは例えばビデオ、オーディオ、静止画、ベクトルグラフィックス等、様々な異なる形式を取りうる。通常、各形式のメディアは、コンピュータシステムに記憶するための、メディアのフォーマットに依存したネイティブファイルフォーマットを有する。
マルチメディアに関しては、空間的及び／又は時間的冗長性を利用してメディアの圧縮されたフォーマットを得るための圧縮フォーマットが多数存在する。例えば、ビデオファイルの場合、H.263圧縮標準（非特許文献１参照）に従って、オーディオクリップはAMR（非特許文献２参照）又はAAC（非特許文献３参照）に、画像はJPEG（非特許文献４参照）にそれぞれ圧縮されうる。
現在では、一般的なファイル、より具体的にはメディアファイルを記憶及び／又は送信するための様々な異なる方法が存在する。その方法の１つは、ファイルを所謂ファイルコンテナに含める方法である。それらコンテナの例は、ＵＮＩＸ（登録商標）システム用のTAR（テープアーカイブ）及び、Zipファイルを含む。これらはメディアファイルを含むことが可能であるが、プレゼンテーション用の制御、時間指定されたメディア(timed media)のと同期及びインタリーブメディアの可能性についての機能を持っていない。既知の別の方法は、ファイルを電子メールの添付ファイル、所謂マルチパートMIMEに含める方法である。この場合、プレゼンテーション用の開始位置を示すことは可能だが、その他の点では上述した制限が当てはまる。さらに別のマルチメディアフォーマットの種類が存在する。このフォーマットは、メディアファイル自体は格納せず、所定のメディア形式のフレームメディアコンテンツを格納する。これらのフォーマットは、メディアファイルを格納及び復元することが可能なような、コンテナフォーマットの透明性やインテグリティを欠いている。このようなマルチメディアフォーマットの例には、ASF(Advanced Streaming Format) 及びFlashが含まれる。
第３世代パートナーシッププロジェクト（３ＧＰＰ）は時間指定されたマルチメディア（オーディオ及びビデオ）を、ISOベースメディアファイルフォーマット（非特許文献６参照）で搬送するための３ＧＰＰファイルフォーマット(3GP)（非特許文献５参照）を標準化した。これは、所謂マルチメディアメッセージサービス（ＭＭＳ）及びマルチメディア配信用のトランスペアレントエンドツーエンドパケット交換ストリーミングサービス（ＰＳＳ）（非特許文献７参照）に用いられている。さらに、ストリーム化されたメディアを提供するためのストリーミングサーバは３ＧＰファイルを用いることが可能である。
ITU T Recommendation H.263 (2001), Video codec for low bit rate communication. 3GPP TS 26.07 1: Mandatory Speech CODEC speech processing functions; AMR Speech CODEC; General description. ISO/IEC 14496 2:2001, Information technology Coding of audio visual objects Part 3: Audio (MPEG 4 part 3). ITU T Recommendation T.81 (1992). 3GPP TS 26 244: Transparent end to end packet switched streaming service (PSS); 3GPPfileformat (3GP). ISO/IEC 14496 12:2003 1 15444 12:2003: Information technology Coding of audio visual objects Part 12: ISO base media file format I Information technology JPEG 2000 image coding system Part 12: ISO base media file format. 3GPP TS 26.234: Transparent end to end packet switched streaming service (PSS); Protocols and codecs. 米国特許公開2003/0053416A1号公報
本発明の目的は、改善されたマルチメディアプレゼンテーションの送信を実現することにある。
特には、異なるファイルフォーマットを含むマルチメディアプレゼンテーションの改善された送信を実現することが望まれる。
本発明の具体的な目的は、例えば開始点、不連続な(discrete)メディアオブジェクト及び連続的なメディアトラックを含み、ＭＩＭＥ形式を格納し、個々のメディアオブジェクトの圧縮可能性を有する、フルメディアプレゼンテーションのためのコンテナフォーマットについての解決策を提供することにある。
本発明の別の具体的な目的は、複数のメディアオブジェクトを複数のインタリーブされたフラグメントに分割することにより、複数のメディアオブジェクトをインタリーブされた状態で格納可能なコンテナを提供することにある。
さらに本発明の別の具体的な目的は、連続的なメディアトラック（例えばオーディオ及びビデオ）及び不連続的なファイル（個別のイメージ）の少なくとも一方を含む、混在したメディアオブジェクトの漸進的(progressive)ダウンロードを可能とする方法を提供することにある。
本発明のさらに別の具体的な目標は、新規なコンテナフォーマット及び保護情報ボックスを用いる暗号化を提供することにある。
本発明のさらに別の具体的な目標は、個々のファイル、メディアトラック、データボックス（”mdat”）の全て又はその一部を含む情報の暗号復号化を行なうための情報を提供することにある。
これら目的及び他の目的は、添付した特許請求の範囲に従って達成される。
本発明はあらゆる種類のメディア形式を一種類のファイル、例えば３ＧＰに結合することを可能にする。本発明は、この結合を、３ＧＰファイルに含ませられた後も、個々のメディアオブジェクトのアドレッシング、ファイル名及びＭＩＭＥ形式を維持する透過的な方法で行なうことを可能にする。
本発明はまた、コンテナファイル内の全メディアを、漸進的にユーザへダウンロード可能なように、すなわち、ダウンロード中にいくらかの遅延を持ってレンダリングすることが可能なフォーマットでダウンロード可能なように、インタリーブすることを可能にする。これは、対として表される、伝送ビットレートに依存する初期遅延に関する情報によって拡張される。特定値の間のビットレートに関しては、線形補間により、初期ダウンロード遅延についての予測上限(upper estimate)を得ることができる。他の特徴は、個々のファイルを例えばgzipを用いて圧縮しうることである。
本発明による効果のいくつかを挙げると、
シンプルで便利なコンテナフォーマットであること（ただ１つのファイルを伝送及び再生すればよい）、
短い遅延／漸進的ダウンロードに最適化されたコンテナフォーマットであること（全メディアをインタリーブ可能）、
現行の技術を再利用するコンテナフォーマットであること（ＩＳＯベースのメディアファイルフォーマット及び３ＧＰファイルフォーマット、ＳＭＩＬ、メディア形式）、
異なるメディア形式と共に利用可能なコンテナフォーマットであること、等がある。
本発明、並びに本発明の他の目的及び利点は、以下の説明を添付図面と共に参照することによって最もよく理解できるであろう。
以下、従来の３ＧＰＰファイルフォーマット（３ＧＰ）を、マルチメディアプレゼンテーション用の汎用コンテナフォーマットへ拡張するという観点から本発明を説明する。しかし、本発明は、他の様々な形態において実施することが可能であり、ここで説明する例や実施形態に限定して解釈されるべきものではない。むしろ、これらの例及び実施形態は、本明細書の記載が本発明を本技術分野に属する当業者に対して十分に伝達できるように提供されている。
なお、１つ以上のファイルフォーマットは、コンピュータメモリのような記憶媒体や、例えばローカルシステム内での伝送やローカル又はグローバルネットワークを通じて送信するための電気信号又は無線信号のような物理信号によって表されることを理解すべきである。以下の説明を通じて、ファイル又はメディアオブジェクトという用語は、記憶媒体に記憶するためのデータファイル及び、伝送又は配布のための信号の両方を含む意味で用いられる。
従来技術によれば、３ＧＰファイルフォーマットの対象範囲は、時間指定されたマルチメディア（ビデオ、オーディオ及び時間指定されたテキスト）及びそれらメディアのストリーミングヒント(streaming hints)であった。３ＧＰファイルは、以下の用途に用いられている。
-ビデオクリップ及び付随するオーディオの交換（ＭＭＳ）
-時間指定されたテキストのダウンロード（ＰＳＳ）
-漸進的ダウンロードを通じたＡＶプレゼンテーションの配信（ＰＳＳ）
-ＡＶＲＴＰストリーミングセッションの提供（ＰＳＳ）
-コンテンツクリエータからストリーミングサーバへのストリーミングセッションの配信（ＰＳＳ）。
従来技術に共通した特徴は、３ＧＰファイルのコンテンツが時間指定されていること−すなわち、３ＧＰファイルが時間指定されたマルチメディア又はヒントの１つ又は複数のパラレルトラックを含んでいることである。各トラックは個別にアクセス可能な時間単位に分割され、同期及びランダムアクセス機能を可能にしている。ＭＳＳにおけるプレゼンテーション又はＰＳＳにおけるセッションを構成可能な全てのメディア形式の中で、３ＧＰファイルはオーディオ、ビデオ及び時間指定されたテキストのみを搬送可能である。
例えばプレゼンテーション又はそういったプレゼンテーションの漸進的なダウンロードのために、いくつかのファイル又はメディアオブジェクトを取り扱う際の問題点には、以下のようなものがある。
１）開始点がどこであるのかを明確にしなければならない（例えばＳＭＩＬファイルの名称や場所）。
２）コンテンツクリエータが、オペレータに、依存関係を有するいくつかのファイル又はオブジェクトを配信する必要がある。これは、依存関係を保持するための所定の方法によって保存することが必要な多くのファイルを含むため、問題の原因となりうる。１つのファイルが失われると、プレゼンテーションが全く使用できなくなるかもしれない。そのため、マルチメディアプレゼンテーションの全メディアオブジェクトを１つのコンテナにまとめることが可能であれば、それは利点となるであろう。
３）ユーザが１つの”アイテム”の代わりに、いくつかのファイルを取り扱わねばならない。ピアにいくつかのファイルを移動又は送信し、ファイル間の相対的な構成を維持し続けるようにするのは難しいものとされている。
４）いくつかのファイルを要求するタイミングが困難であろう。これは、それらのファイルが異なるサイズを有していたり、異なる時間範囲に渡るものであったりするかもしれないからである。適切な時間に配信するように用意されたメディアを考慮したインタリーブファイルフォーマットは存在しない。さらに、クライアントは、与えられた伝送帯域幅や、バイト数や秒数によるダウンロード量を、（中断を回避するために）再生が開始する前に知る必要があるだろう。
３ＧＰファイルによって搬送可能なマルチメディアに加え、ＰＳＳには、それぞれのネイティブファイルフォーマットで格納された多数のメディア形式が存在する。静止画（ＪＰＥＧ）、ビットマップグラフィックス（ＧＩＦ及びＰＮＧ）、ベクトルグラフィックス（ＳＶＧ）、合成オーディオ（ＳＰ−ＭＩＤＩ）及びテキスト（ＸＨＴＭＬ及びＳＭＩＬ）。ＰＳＳセッションにおいては、オーディオ及びビデオのみがストリーミングされるため、従来技術では、これらメディア形式についてはＨＴＴＰを通じてファイル毎に配信しなければならなかった。
例えば、漸進的にダウンロード可能なＳＶＧファイルのように、漸進的にダウンロード可能なファイルがプレゼンテーションの一部であるとすると、そのファイルを分割し、継続時間の長い他のトラックやファイルとインターリーブすることが可能である。
符号化されたコンテンツについてのコンテンツ形式を”明白に(in the clear)”知らせることの可能な暗号化メカニズムもまた必要となる。
基本的に本発明は、マルチメディアプレゼンテーション用のコンテナフォーマットを規定し、それにより、静的なメディアファイル及び／又は動的なメディアストリームといったメディアオブジェクトと、識別可能なシーン記述ファイルとを含むマルチメディアプレゼンテーション全体を、１つのユニットとして送信及び格納可能となる。
本発明のある具体的な実施形態によれば、コンテナフォーマットは、漸進的なダウンロードに最適化された、インターリーブされたユニットである。それにより、マルチメディアプレゼンテーション全体が、所謂漸進的ダウンロード又はストリーミングによって伝送並びにダウンロード可能となる。
本発明は、従来の３ＧＰＰファイルフォーマット（３ＧＰ）を、マルチメディアプレゼンテーション用の汎用的なコンテナフォーマットに拡張することを可能にする（図１及び図２を参照）。本発明による拡張３ＧＰファイル又はコンテナは、連続的もしくは時間指定されたマルチメディアの格納に限定されず、シーン記述ファイル（例えばＳＭＩＬ）及び静的メディア（画像、グラフィックス）をも格納可能である。原理的には、ＭＭＳ及びＰＳＳで用いられるあらゆる種類のマルチメディアを、拡張３ＧＰファイル内にバイナリファイルとして格納可能である。
本発明を図３に示す一般的な通信システムとの関連において説明するが、本発明はこの特定例に限定されない。MMP MANAGERは、マルチメディアプレゼンテーションマネジャと呼ばれ、マルチメディアプレゼンテーションを構成するメディアオブジェクトを、例えばマルチメディアプレゼンテーション全体の送信、格納又は表示のために１つのユニットとして編成する等の、本発明に係る機能を提供する。
図４を参照すると、本発明によれば、複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを送信する方法は、最初のステップＳ１０において、それらのメディアオブジェクトを、マルチメディアコンテナ又はコンテナフォーマットにパッケージ化又は編成するステップを含む。メディアオブジェクトを見つけられるように、複数の対応する識別子又はロケータが、ステップＳ２０において、同じコンテナ内に編成される。続いて、マルチメディアプレゼンテーションのフレームワークを規定するため、メディアオブジェクトを協調させる所謂シーン記述ファイルが、ステップＳ３０において同一のマルチメディアコンテナ内に与えられる。最後に、ステップＳ３３において、統合もしくは包含されたマルチメディアプレゼンテーションを有するコンテナ全体が、ある受信ユニットへ送信される。
シーン記述は、受信ユニットがシーン記述ファイルを開始位置又は開始ファイルとして見出せるよう、明確に識別可能であるべきである。
本発明に係る方法によって、マルチメディアプレゼンテーション全体を、送信ユニットＴｘから１つのユニット又はファイルとして送信及び／又はダウンロードすることが可能な１つのコンテナにパッケージ化することが可能となる。
本発明のある具体的な実施形態によれば、漸進的ダウンロード、すなわち、プレゼンテーションの残り部分が送信中の間も、受信ユニットＲｘが、既に受信した部分のレンダリングを開始可能な、所謂プログレッシブダウンロードを適用することが可能である。
本発明に係る方法のある具体的な実施形態によれば、メディアオブジェクトは例えば、JPEG, GIF, SVG, PNG, SPMIDI, XHTML, SMIL及び3GPを含むことが可能である。
本発明による方法の別の具体的な実施形態によれば、メディアオブジェクトは複数のトラックに含まれる複数の動的メディアオブジェクト、例えば、ビデオ、オーディオ及び時間指定されたテキストを含むことが可能である。
シーン記述ファイルは、任意の適切な規格、例えばＳＭＩＬ，ＸＨＴＭＬ及びＳＶＧのいずれかに従ってフォーマットされうる。
さらに別の実施形態には、静的メディアファイル及び／又は動的メディアストリームを、同一コンテナ内に編成するステップが含まれる。
さらに別の具体的な実施形態によれば、メディアオブジェクトはマルチメディアコンテナ内に、インタリーブされた連続的なデータフラグメントとして編成される。フラグメントを表す他の言葉としては、パート、エクステント及びチャンクがある。
本明細書において、静的、バイナリ及び不連続(discrete)メディアファイルという用語は、メディアファイルの範囲を所定の種類のものに限定することなく、同義的に用いられる。
受信ユニットＲｘが漸進的ダウンロードを利用できるよう、本発明による方法の一実施形態は、レンダリングを可能とする制御情報を提供するステップＳ３１を有している。制御情報は予め定められたダウンロード速度に基づく初期或いはバッファ遅延のようなパラメータを含んでよい。
本発明に係る新規なコンテナに、暗号化されたメディアファイルの格納を可能とするため、本発明の一実施形態は、暗号化されたメディアファイルの暗号方法を復号もしくは認識するための鍵情報を提供するステップＳ３２を含む。
同様に、図４をも参照すると、ステップＳ１０〜Ｓ３０は、本発明によるマルチメディアプレゼンテーション管理方法の実施形態を表している。この方法は伝送方法と密接に関連するが、伝送ステップは含まれていない。管理という用語は、伝送、格納、暗号化といった動作を表すために用いられるが、メディアオブジェクト及び、そのような動作に関連する情報の準備としても解されうる。
マルチメディアプレゼンテーション全体が１つのファイル又はコンテナに含まれるため、プレゼンテーションをどこかの記憶装置に非常に簡単に格納することが可能である。同様に、コンテナを例えばシステムのある部分から別の部分へ移動したり、コンテナを複数のユーザに配信することも容易である。
本発明の一実施形態による３ＧＰファイルフォーマットの拡張は、通常、３ＧＰファイル内へ最上位レベル(top-level)ファイルツリーを含ませるステップを含む。このようにして、いくつかのファイル（例えばＳＭＩＬファイル、オーディオトラック及びいくらかの画像）から構成されるＰＳＳプレゼンテーションを、単独の３ＧＰファイル内にパッケージ化することが可能になる。そして、マルチメディアプレゼンテーションの全体を、例えば（漸進的な）ダウンロードを通じ、１つのエンティティとしてクライアントへ配信し、ローカル再生することが可能になる。さらに、拡張３ＧＰフォーマットを、ＰＳＳセッション全体を１つのエンティティとして格納し、ＰＳＳサーバに配信するためにも使用可能である。そして、サーバは拡張３ＧＰファイルを読み取り、ＳＭＩＬファイル及び画像をＨＴＴＰを通じてクライアントに配信するとともに、オーディオトラックはＲＴＰを通じてクライアントにストリーミングすることが可能になる。
本発明による、バイナリファイルの３ＧＰファイルへのパッケージ化又は編成は、ファイル間の関係が、別個のファイルの状態と拡張３ＧＰファイルの状態とで等しくなるよう、バイナリファイルのディレクトリ構成を保持するように設計される。しかし、バイナリファイルが一旦３ＧＰファイルに含められたならば、コンテンツを再生又は提供するためにそれらを個別のファイルにばらす必要はない。格納された全ファイルは、３ＧＰファイルの内部もしくは外部から同じ方法で参照される。
一般に、バイナリファイル又は静的メディアファイルは、時間指定されたマルチメディアに合わせて設計された通常のトラックには含まれず、３ＧＰファイルの最上位レベルにあるファイルツリー内の識別子によって参照される。しかし、包含されたファイルそれ自体は、３ＧＰファイル全体が漸進的ダウンロード用に利用可能なよう、通常のトラックを用いてインターリーブすることが可能である。
本発明の実施形態に係るマルチメディアプレゼンテーション送信用装置１０を、図５を参照して説明する。
装置１０は、マルチメディアプレゼンテーションの複数のメディアオブジェクトを、１つのマルチメディアコンテナ内に編成するためのユニット１１を有する。さらに、装置１０は、同一マルチメディアコンテナ内に編成された複数のメディアオブジェクトを参照する複数の識別子を編成するためのユニット１２を通常有する。また、装置はさらに、複数の識別子に基づいて複数のメディアオブジェクトを協調させる、識別可能なシーン記述ファイルをコンテナに提供するためのユニット１３を有する。最後に、装置１０は、統合されたマルチメディアプレゼンテーションを有するコンテナを送信するためのユニット１４を含む。この特定の実施形態において、送信ユニット１４はＩ／Ｏユニットにより表されている。
メディアオブジェクトには、バイナリメディアファイル（例えばMPEG, SVG, PNG, SP MIDI, XHTML, SMIL, 3GP, JPEG, GIF）及び／又は、動的メディアオブジェクト又はストリーム（例えば、オーディオ、ビデオ、時間指定されたテキスト）の両方を含むことができる。
本発明のある具体的な実施形態において、メディアオーガナイザ１１は、複数のメディアオブジェクトを、インターリーブされた連続的なデータフラグメントとして編成する様に構成又は適合される。フラグメントを表す他の言葉としては、パート、エクステント及びチャンクがある。
他の具体的な実施形態によれば、装置は、受信ユニットＲｘがコンテナを受信した際に漸進的ダウンロードを利用可能（すなわち、受信ユニットＲｘが、残りの部分を受信し続けながら、一方ではマルチメディアプレゼンテーションのコンテンツの一部をレンダリング、表示又は実行することが可能）になるようにする制御情報を提供するための手段を有する。制御情報には、ある予め定められたダウンロード速度に基づく、初期又はバッファ遅延を含みうるが、これらに限定されない。
本発明による３ＧＰファイルフォーマットの拡張は、シーン記述、オーディオ、ビデオ及び、１つのファイルに格納すべき他のメディア形式を有する、自己完結型マルチメディアプレゼンテーションを可能とする。このように、拡張３ＧＰファイルは完全なプレゼンテーションを含みうるため、依存関係のあるいくつかのファイルと比較して、送信及び格納が大幅に容易となる。さらに、そのようなファイルに含まれる全てのメディアをインタリーブ可能であるため、漸進的ダウンロード用に非常に便利であろう。ミクストマルチメディアプレゼンテーションを格納する拡張３ＧＰファイルは、
− クライアントにおいて、漸進的にダウンロード（かつ同時に再生）され（ＰＳＳ）、
− 配信後にローカル再生され（ＰＳＳ及びＭＭＳ）、
− マルチメディアプレゼンテーションの汎用的な配信フォーマットとして機能する（ＭＢＭＳ）ことがそれぞれ可能である。
さらに、拡張３ＧＰファイルには、ＲＴＰストリーミング用のヒントトラックを有する完全なＰＳＳセッションだけでなく、ＨＴＴＰダウンロード用のファイルも含めることが可能である。セッション当たり１ファイルを配信し、セッション中のストリーミングにもダウンロードにも１つのファイルをソースとして用いることは、概念的に一層単純であろう。拡張されたサーバファイルは、クライアントへの配信を意図したものではなく、
− コンテンツクリエータからオペレータに配信され、
− ＰＳＳサーバにより、（トラックの）ストリーミング及び（メディアファイルの）ＨＴＴＰ配信に用いられる。
本発明によれば、拡張３ＧＰファイルは、３ＧＰファイルをもバイナリファイルとして含みうることに注目されたい。例えば、オーディオ及び時間指定されたテキスト（非特許文献６参照）を提供するためのＰＳＳセッションを含む３ＧＰファイルは、オーディオトラック用のＲＴＰヒントトラックと、時間指定されたテキスト用の個別の３ＧＰファイルを含んでいる。それは、ＰＳＳリリース５において、時間指定されたテキストはストリーミングされずにＨＴＴＰを介して配信されるからである。
図６を参照して、マルチメディアコンテナの一実施形態を説明する。
マルチメディアコンテナ２０は複数のメディアオブジェクト、複数のメディアオブジェクトを参照する複数の識別子又はロケータ、及び複数のメディアオブジェクトを識別子に基づいて協調させるシーン記述ファイルを含んでいる。
ある具体的な実施形態によれば、トラック中の静的メディアファイル及び／又は動的メディアオブジェクトの両方をマルチメディアコンテナ２０に含めることができる。メディアオブジェクトは１つ又は複数のインターリーブされた連続的なデータフラグメントとして格納するか、或いはそれらのネーティブフォーマットで格納することが可能である。
図７を参照して、別の具体的な実施形態によれば、複数の動的メディアオブジェクトを参照する複数の識別子が、コンテナの第１セクション２１に配置され、複数の静的メディアファイルを参照する複数の識別子が、コンテナの第２のセクション２２に配置される。インタリーブされたメディアオブジェクト（静的、動的の両方）は、コンテナの第３セクションに配置される。各セクションの実際の順番は、この実施形態に限定されない。加えて、シーン記述ファイルは、好ましくは静的又はバイナリメディアファイルとして取り扱われ、従ってコンテナ２０の第２セクション２２に含められる。しかしながら、マルチメディアコンテナ内の各セクションの個々の順序は、本実施形態に影響されない。
図８及び図９を参照して、マルチメディアコンテナの別の具体的な実施形態を説明する。
本実施形態では、第１セクション２１がムービーボックスmoovにより、第２セクション２２がファイルツリーボックスftreにより、第３セクション２３がメディアデータボックスmdatによりそれぞれ表されている。さらに、本発明によるコンテナ２０は、コンテナフォーマットタイプに関する情報を含むファイルタイプボックスftypを有している。
本発明による３ＧＰへの拡張は、ファイルツリーについての新しいプロファイルブランド、ファイルディレクトリ構造及び、拡張３ＧＰファイル内部のファイルのアドレッシングについてのルールを含んでいる。
（'3gd6'と表記された）ファイルディレクトリプロファイルは、ファイルディレクトリを含んだ３ＧＰファイルを規定する。ファイルディレクトリプロファイルに準拠するファイルは、１つ又は複数のファイルエントリを有するファイルツリーを必ず含んでいる。それらの１つはスタートファイルであろう。すなわち、プレゼンテーション又はストリーミングセッションのシーン記述ファイルを含むであろう。
コンテナの一実施形態によれば、トラック中の静的メディアファイル及び動的メディアオブジェクトの両方がコンテナに含まれる。ファイルディレクトリプロファイルは、ファイルが準拠していさえすれば、他の３ＧＰプロファイルと共に用いることか可能である。具体的には、
− ファイルディレクトリ及びベーシックプロファイルの組み合わせは、ファイルがファイルディレクトリ及びオーディオ、ビデオ又はテキストを伴う１つ以上のトラックを有することを暗示する。
− ファイルディレクトリ、ベーシック及び漸進的ダウンロードプロファイルの組み合わせは、３ＧＰファイル全体が複数のトラックを含み、包含するファイルが漸進的ダウンロードに適していることを暗示する。漸進的ダウンロードについての更なる詳細は、ファイル中に与えられる。
− ファイルディレクトリ及びストリーミングサーバプロファイルの組み合わせは、そのサーバファイルが、
- ＲＴＰを介してメディアストリームを提供するための１つ又は複数のヒントトラックを含んでいること、
- ＨＴＴＰを介して配信されるべき１つ又は複数のバイナリファイルを含んでいること、を暗示する。
ある１つのサーバファイルに含まれる複数のバイナリファイルの中の１つは、ＰＳＳセッション用のシーン記述（ＳＭＩＬ，ＨＴＭＬ）を含むであろう。付加的なファイルはセッションの一部（すなわち、画像、ＳＰ−ＭＩＤＩ、時間指定されたテキスト、等）であろう。
以下、具体的且つ説明に役立つ例を用いて、本発明をより詳細に説明する。
コンテナの別の実施形態によれば、コンテナは静的メディアファイルのみを格納する。トラックを有する３ＧＰにファイルディレクトリを付加するのに加え、ファイルディレクトリプロファイルを、ファイルディレクトリのみを含み、トラックを含まない（ムービーボックスなし）のファイル、つまり静的又はバイナリメディアファイルに対して用いてもよい。そのような３ＧＰファイルは、トラックによって搬送される連続的なメディアを含む必要がない、自己完結的なプレゼンテーションを生成するのに非常に便利であろう。例としては、画像、合成オーディオ又はテキストに基づく、ローカル再生又はＰＳＳセッション用のスライドショーが含まれる。
ファイルディレクトリプロファイルは３ＧＰプロファイルであり、'.3gp'というファイル拡張子と共に用いられるべきである。
・ファイルツリー(File tree)
バイナリファイルを格納するためのファイルディレクトリは、通常、拡張３ＧＰファイルの最上位レベルに含められる。ツリーは通常のディレクトリのように見え、いかなるタイプのバイナリファイル及び／又はサブディレクトリをも含むことが可能である。ファイルディレクトリはファイルツリーボックス内にメタデータとして格納され、その一方で、ディレクトリに含まれるファイルのバイナリコンテンツは、それを含むファイルのメディアデータボックス'mdat'内にチャンクとして格納される。
図８に示したファイルエントリに対応するファイルツリーの一例を図９に示す。以下、図９における各ボックスの機能について説明する。
ファイルツリーボックス'ftre'はコンテナボックスである。これは最上位レベルのボックスであり、３ＧＰファイルにおいてはファイルタイプボックス'ftyp'の後に、また、好ましくはムービーボックス'moov'の前に配置されるべきである（図８参照）。将来における改変を許容するため、表１に示すように、ファイルツリーボックスはバージョン番号を有する所謂フルボックスに基づいている。
Figure 0004634390
ファイルツリーボックスは３ＧＰファイルツリーのルートレベルを規定する。ディレクトリボックス'diry'の階層(hierarchy)は、ファイルツリーの下位レベルを規定する。以下の表２によるディレクトリボックスはファイルツリーボックス又は他のディレクトリボックス内に含まれる。
Figure 0004634390
各ディレクトリボックスは表３に示すディレクトリ名ボックス'dirn'を一つ含む必要がある。
Figure 0004634390
ディレクトリ名(DirectoryName)は、ディレクトリの名前を含み、ヌルで終わるUTF-8形式の文字列である。
・ファイルエントリ(File entry)
ファイルツリー内のファイルは、ファイルツリー内の任意のレベル（ルートレベルを含む）に格納可能なファイルエントリボックス'fent'により規定される。ファイルエントリボックスはコンテナボックスであり、以下の表４に示すように規定される。
Figure 0004634390
各ファイルエントリボックスは、表５及び表６に規定されるファイル情報ボックス(FileInfoBox)'finf'及びチャンク情報ボックス(ChunkInfoBox)'chin'を含む必要がある。
Figure 0004634390
ファイル名(FileName)及びコンテンツタイプ(ContentType)はヌルで終わるUTF-8形式の文字列である。コンテンツタイプはそのファイルについてのＭＩＭＥ形式であるべきである。コンテンツエンコーディング(ContentEncoding)はオプションであり、ヌルで終わる文字列である。コンテンツエンコーディングは３ＧＰファイル内に格納されたファイルがエンコードされていることを示すために用いられ、HTTP/1.1についてのContent-Encodingと同様に、解釈される前にデコードされる必要がある。取りうる値としては、'gzip'，'compress'，'deflate'の様なものがあるが、相互運用性の理由から、'gzip'のみがエントリとして用いられる。
Figure 0004634390
包含されるファイルの実際のコンテンツは、メディアデータボックス'mdat'内に、１つ又は複数の連続するデータフラグメント（即ち、チャンク、エクステント）として格納される。チャンクオフセット(ChunkOffset)は６４ビットの整数で、３ＧＰファイル内におけるチャンクの開始位置までのオフセットを与える。また、チャンクサイズ(ChunkSize)は６４ビットの整数で、チャンクのサイズ、すなわちファイルエントリボックスによって規定されるファイルの長さを与える。チャンクオフセットは常に、含有ファイル、すなわち３ＧＰファイルを参照する点に留意されたい。発明者は、データリファレンスボックスを、データが取りうる外部の位置を示すために用いるのは止めた。これは、３ＧＰファイル内に含有するバイナリファイルのポイントは、自己完結ファイルを有することだからである。
本質的に、どのようなタイプのファイルもファイルツリー内に含めることができる。ＰＳＳについては、以下のメディアファイルが使われることであろう。静止画（ＪＰＥＧ）、ビットマップグラフィックス（ＧＩＦ及びＰＮＧ）、ベクトルグラフィックス（ＳＶＧ）、合成オーディオ（ＳＰ−ＭＩＤＩ）、テキスト（ＸＨＴＭＬ及びＳＭＩＬ）及び時間指定されたテキストを運ぶ３ＧＰファイル。ＰＳＳ用に適合されたいかなる新規のメディアファイルもまた、ファイルツリー内に格納可能であろう。例えば、ＤＬＳ（ダウンロード可能な音声）がこれに含まれる。
・開始位置(Start location)
拡張３ＧＰファイルは、ファイルツリーのどこかに置かれたシーン記述を含むことができる。もしそれがある場合、ファイルツリーボックスは表７による開始位置ボックスを含む必要がある。
Figure 0004634390
開始ファイル位置(StartFileLocation)は、ファイルディレクトリ内の開始ファイルへの、最上位レベルからの相対的なパスを含む、ヌルで終わるUTF-8形式の文字列である。一例として、（ファイルツリーボックス内の）最上位レベルに格納されるファイルがシーン記述であることを示すには、開始ファイル位置が単純にファイル名（例えば、start.smil）を格納すればよい。
・漸進的ダウンロードについての情報
拡張３ＧＰファイルはファイルツリー内に、表８に規定される漸進的ダウンロード情報ボックス'pdin'を１つ含むことができる。
Figure 0004634390
このボックスは、１００ビット／秒単位の伝送帯域幅と、ｍｓ単位の初期ダウンロード遅延との組み合わせを特定するＮ対の数を（ボックスの終わりまで）含んでいる。この情報を用いることにより、受信側は、複数の数値対の間を線形補完することにより、初期遅延の予測上限を得ることが可能になる。
・アドレッシング
３ＧＰファイル内のファイル及びトラックは、外部からのみならず、３ＧＰファイル内部でも一貫してアドレッシング可能である。３ＧＰファイルのファイルディレクトリ及び全トラックは最上位レベルに存在する（例：example.3gp/toplevelfile.smil 及び example.3gp/trackID=2）。
３ＧＰファイル内部のアドレッシングの一例として、図８に概要を示したマルチメディアコンテナshow.3gpを考える。このコンテナは、
− H.263トラック（仮にトラックＩＤ＝１を有するものとする）
− AMRトラック（仮にトラックＩＤ＝２を有するものとする）
− ルートレベルSMILファイル(start.smil)及び、
− ディレクトリ(img)内に２つの画像(cat.jpg及びdog.jpg)を含んでいる。
３ＧＰファイルの最上位レベルに置かれた、SMILファイル中のシーン記述は、図８におけるメディアファイルを以下のように参照するであろう。
H.263はトラックＩＤ＝１
AMRはトラックＩＤ＝２
cat.jpgはimg/cat.jpg
dog.jpgはimg/dog.jpg
本発明によれば、３ＧＰファイルのコンテンツの外部からは、以下のようにアドレッシングされる。
SMILはshow.3gp/start.smilH.263はshow.3gp/trackID=1
AMRはshow.3gp/trackID=2
cat.jpgはshow.3gp/img/cat.jpg
dog.jpgはshow.3gp/img/dog.jpg
ここで、上述の例におけるSMILファイルを、画像を含んでいるディレクトリimgへ移動することを考える。SMILファイルと相対的に、メディアは以下のように参照される。
H.263は../trackID=l
AMRは../trackID=2
cat.jpgはcatjpg
dog.jpgはdog.jpg
３ＧＰファイルのコンテンツの外部からは、以下のようにアドレッシングされるであろう。
SMILはshow.3gp/img/start.smil
H.263はshow.3gp/trackID=1
AMRはshow.3gp/trackID=2
cat.jpgはshow.3gp/img/cat.jpg
dog.jpgはshow.3gp/img/dog.jpg
ファイルツリー内に格納されるファイルは、ＰＳＳセッションの前又はセッション中に、ＨＴＴＰを介して配信されうる。３ＧＰファイル内に格納されたバイナリファイルを配信するＨＴＴＰサーバは、
− コンテンツタイプ(Content-Type)をファイルエントリボックスの値に設定し、
− コンテンツ位置(Content-Location)を、３ＧＰファイル内のバイナリファイルのＵＲＩに設定する。
一例として、図８における、ヒントトラックが含まれる３ＧＰファイルを、ＰＳＳセッションに含めることができる。クライアントがＨＴＴＰを介してSMILファイルにアクセスすると、クライアントはSMILファイルのコンテンツ位置、例えば、”http://mediaportal/show.3gp/”を受信する。SMILファイル内部のＨＴＴＰ参照の全ては、以後、コンテンツ位置に基づくようになり、HTTP GETを利用して３ＧＰファイル内部のバイナリファイルを参照することが可能になる。
クライアントは同様の方法で、ＲＴＳＰについてのＵＲＩもSMILファイルのコンテンツ位置に基づいて解決することが可能であり、３ＧＰファイルの参照にRTSP DESCRIGBEを、トラックの参照にRTSP SETUPを用いることが可能になる。
例：SMILファイルを読み出し、SMILファイル内で示されるリソースへのＵＲＩを解決する
GET /exampledir/show.3gp/img/start.smil HTTP/1.1
Host:www.example.com
HTTP/1.1 200 OK
Content-Location:
http://www.example.com/exampledir/show.3gp/img/start.smil
Content-Size:xxxxxx
Content-Type:application/ smil
<smil>
<body>
<seq>
<image src="catjpg" dur="3s"/>
<image src="dogjpg" dur="5s"/>
</seq>
</body>
</smil>
従って、ここで取得されるＳＭＩＬ表現は、以下のベースＵＲＩを与えられる。
"http://www.example.com/exampledir/show.3gp/img/start.smil"
そして、このＵＲＩは、SMILファイルの処理が実行された際に、解決されたＨＴＴＰ ＵＲＩを以下のようにする。
"http://www.example.com/exampledir/show.3gp/img/cat.jpg"
"http://www.example.com/exampledir/show.3gp/img/dog.jpg"
・ファイルフォーマット及び暗号化
従来技術によれば、３ＧＰファイルフォーマットを、暗号化されたメディアを格納するための機構により拡張することが可能である。テキストトラックの暗号化に適用する３ＧＰＰに特有な拡張に加え、暗号化された３ＧＰファイル用の３ＧＰプロファイルブランドが規定される。暗号化方法の詳細は、保護情報ボックス内に格納される。暗号化された３ＧＰファイルをＯＭＡ ＤＲＭバージョン２とともに用いるための手法の正確な細部は、ＯＭＡによって規定されるであろう。
拡張の裏にある概念は、暗号化されたメディアのコードポイント（コーデック識別子）を、暗号化されたメディア用の汎用的なコードポイントに置換することにある。これにより、デコード可能な状態になる前に暗号化を解く必要のあるビットストリームに、従前のプレーヤ(legacy player)及び他の暗号化に気付かないプレーヤがアクセスできなくなる。しかし、暗号化に気付くプレーヤに対しては、この新しいコードポイントが、暗号化されたメディアの暗号を解くための鍵管理及び必要条件に関する所定の情報を含んでいる。さらに、この新しいコードポイントはビットストリームの暗号化が解かれると、元のコーデック識別子と、ビットストリームのデコードに必要な他の復号化パラメータとを複製する。
暗号化された３ＧＰファイルはまた、暗号化されたメディアをＲＴＰを介して供給するストリーミングサーバにも利用可能である。そのような３ＧＰファイルのヒントトラック自体は暗号化されない。すなわち、ＰＳＳサーバは、暗号化されたコンテンツを供給するために暗号化を解く必要は全くない。
鍵管理及び暗号復号化についての情報は、３ＧＰファイルのヒントトラック内に格納される関連部分と共に、ＳＤＰ記述においてクライアントへ搬送される。しかし、コンテンツプロバイダがサーバに対し、データをストリーミングする前にインテグリティ保護を提供するといった何らかのアクションを取るようにさせたいと考えるかも知れないので、依然としてヒントトラックについてのコードポイントを再定義する必要性は存在する。新しいコードポイントは、必要なインテグリティ保護についての情報を提供する一方、元のコードポイント情報を複製する。このように、暗号化に気付かないサーバは、インテグリティが防止されるべきであったはずの暗号化されたデータを供給しなくなるであろう。
・暗号化された３ＧＰファイルに対するプロファイル
３ＧＰファイル内の暗号化されたメディアを示唆するための１つの方法は、暗号化プロファイル（'3ge6'とブランド付けされる）を定義並びに利用することである。暗号化されているファイルの種類についてのさらなる詳細は、オーディオ／ビデオプレゼンテーションのダウンロード用基本プロファイルブランドや、暗号化されたコンテンツを提供するためのストリーミングサーバプロファイルといった、他のブランドによって与えられる。
暗号化プロファイルに準拠するファイルは、暗号化されたメディアを含むメディアトラックに対し、暗号化サンプル記述エントリ（コードポイント）を用いなければならない。暗号化プロファイルに準拠するファイルは、暗号化されたトラックと暗号化されていないトラックの両方を含みうるが、それらが同一のメディアタイプである場合は除かれる。
暗号化プロファイルはメジャーブランドとして用いられるべきである。暗号化プロファイルは、ファイルが準拠していさえすれば、他の３ＧＰプロファイルと共に用いることか可能である。
具体的には、
− 暗号化プロファイルとベーシックプロファイルの組み合わせは、最大数のトラックの１つがビデオ、１つがオーディオ、１つがテキストであることを暗示する。ファイルは暗号化及び非暗号化トラックの両方を含みうる。しかし、暗号化トラックは暗号化に気付かないプレーヤに無視されることに留意すべきである。
− 暗号化プロファイル及び漸進的ダウンロードプロファイルの組み合わせは、ファイルが暗号化されており、かつ漸進的ダウンロードに適したものであることを暗示する。
− 暗号化プロファイル及びストリーミングサーバプロファイルの組み合わせは、１つか複数のヒントトラックによって参照されるコンテンツが暗号化されていることを暗示する。ＰＳＳサーバが、インテグリティ保護の提供のような特別なアクションを取る必要がある場合、ヒントトラックに対し、暗号化されたサンプル記述エントリ（コードポイント）が用いられる。
一般プロファイル(General profile)は、暗号化プロファイルを含む全プロファイルのスーパーセットとして規定される点に留意すべきである。一般プロファイルに準拠する３ＧＰファイルは、ダウンロード又はストリーミングに適した３ＧＰファイルにまだ結合されていないか、鍵管理に必要な情報を持たない任意の数の暗号化トラック（のみ）を含みうる。
暗号化されたベーシックプロファイルは３ＧＰプロファイルであり、'.3gp'というファイル拡張子と共に用いられるべきである。
・暗号化されたメディアに対するコードポイント
３ＧＰファイル内のメディアトラックのサンプル記述エントリは、符号化されたメディアのフォーマット、すなわちコーデック及び他の符号化パラメータを特定する。従って、単にサンプル記述をパースすれば、プレーヤはどのトラックが再生可能であるのかを決定することが可能である。
ＩＳＯベースメディアファイルフォーマットに基づくオーディオ及びビデオに対する全てのサンプルエントリは、必須フィールドのセットを含んでいる。さらに、該当するコーデックに特有のボックスを含んでも良い。ＭＰＥＧ−４コーデック（ビジュアル及びＡＡＣ）はＥＳＤボックス(ESDBox)を用い、それに対してＡＭＲ及びＨ．２６３はＡＭＲ固有ボックス(AMRSpecificBox)及びＨ２６３固有ボックス(H263SpecificBox)をそれぞれ用いる。
暗号化されたファイルをトラック中に格納することの裏にある本質は、元のサンプル記述エントリを、暗号化されたメディア用の一般的なコードポイントによって”扮装(disguise)”することである。我々は、暗号化されたビデオ、オーディオ及びテキストを示唆する３つのコードポイント（４文字のサンプル記述エントリ）を、以下の表９に示すように規定した。
Figure 0004634390
サンプル記述の”暗号化”バージョンは、元のサンプル記述を複製し、保護情報ボックスに元のフォーマットの詳細並びに暗号化されたメディアの解読のために必要な全てを含ませる。暗号化ビデオサンプルエントリ(EncryptedVideoSampleEntry)及び暗号化オーディオサンプルエントリ(EncryptedAudioSampleEntry)は、表１０及び表１１に規定され、保護情報(ProtectionInfo)ボックスはサンプルエントリに含まれるボックスのリストに単純に付加される。
Figure 0004634390
Figure 0004634390
暗号化ビデオサンプルエントリ及び暗号化オーディオサンプルエントリはまた、サンプルエントリがＩＳＯベースメディアファイルフォーマットのサンプルエントリに基づいていさえすれば、３ＧＰファイルフォーマットに付加された他の任意のコーデックとともに用いることが可能である。
暗号化テキストサンプルエントリ(EncryptedTextSampleEntry)は表１２に規定される。テキストトラックは３ＧＰファイルに特有であり、26.245において、時間指定されたテキストによって規定される。オーディオ及びビデオの場合と同様に、我々は最後に保護情報ボックスを追加した。
Figure 0004634390
・鍵管理
メディアの暗号化を解くために必要な要件は保護情報ボックス(ProtectionInfoBox)内に格納される。それは、暗号化されたメディアのコーデックを特定する元フォーマットボックス(OriginalFormatBox)と、メディアを保護するために用いられた保護手法を特定する手法形式ボックス(SchemeTypeBox)及び、手法に特有のデータ（各種法について規定済み）を含む手法情報ボックス(SchemeInformationBox)とを含む。保護情報ボックス及びそれに含まれるボックスを表１３〜表１６に規定する。
Figure 0004634390
Figure 0004634390
データフォーマット(DataFormat)は暗号化の解かれた符号化データのフォーマット（コーデック）を特定する。３ＧＰファイルにおいて現在規定されているフォーマットは、'mp4v','h263','mp4a','samr','sawb'及び'3gtt'を含んでいる。
Figure 0004634390
手法形式(SchemeType)及び手法バージョン(SchemeVersion)は暗号化手法及びそのバージョンを特定する。OMA DRMに利用可能な一例を以下に示す。オプションとして、暗号化手法がインストールされていないユーザに対するウェブページを指すＵＲＩを含ませることも可能である。
Figure 0004634390
手法情報ボックスに含まれるボックスは、手法形式により規定される。
・暗号化手法の例
OMAで用いられるべき暗号化手法は、現在OMA DLDRMにより開発中である。OMAにより規定される手法とともに、OMAはその手法を表すファイルフォーマットボックスも規定する必要がある。そのような規定をどのように行うかの例を以下に示す。
Scheme type: 'odrm'
Scheme version: 0
手法固有ボックス：OMADRMSampleFormatBox及びOMADRMHeadersBoxは、表１７及び表１８を参照。
Figure 0004634390
Figure 0004634390
・暗号化サーバファイル
ＰＳＳサーバはまた、暗号化されたメディアのストリーミングに３ＧＰファイルを用いることが出来る。ここでの本質は、パケット化後に暗号化することである。概念的には、３ＧＰサーバファイルから暗号化されたメディアを提供するのと、暗号化されていないメディアを提供することに違いはない。いずれの場合も、ＰＳＳサーバはファイルのヒント指示に単に従えばよい。ストリーミングされたメディアを利用するために必要な全情報は、ＳＤＰ記述を介してクライアントに搬送される。暗号化されたメディアについては、メディアストリームの暗号化を解くための要件も、この情報に含まれる。
・暗号化
本発明の具体的な実施形態によれば、拡張３ＧＰファイルに暗号化されたメディアファイルを含めることが可能である。従って、コンテナファイルフォーマット及び保護情報ボックスを用いる、暗号化及び暗号復号化のための解決策を以下に説明する。
デフォルトで、バイナリファイルは”明白に”格納される。しかし、暗号化されたバイナリファイルを３ＧＰファイルのディレクトリに含めることも可能である。ファイルエントリにおける保護情報ボックスの存在は、バイナリファイル（メディアデータ）のコンテンツが暗号化されていることを示す。加えて、保護情報ボックスは、対応するメディアデータの暗号化手法と暗号化を解くために必要となる全ての情報とを特定する。
ここで、保護情報ボックスは、表１３〜表１８において暗号化されたトラックに対して提案した保護情報ボックスと同じである。規定は同一であるが、バイナリファイルについての元フォーマットボックスは無視される（含まれない）。バイナリファイルのための保護情報ボックスの目的は、以下の２つであることに留意されたい。メディアが暗号化されていることを示唆すること、並びに、暗号化を解くために必要な条件を与えることである。
保護情報ボックス'sint'は、メディアを保護するために用いられている保護手法を特定する手法形式ボックス'schm'と、（各種法について規定されている）手法に固有のデータを含む手法情報ボックス'schi'とを含む。
手法情報ボックスに含まれるボックスは、手法形式により規定される。同様に、全部の'mdat'又は'mdat'内部のバイト範囲に適用するボックスを規定することが可能である。これは、多くの小さなファイルを用いるプレゼンテーションに効果的であろう。
本発明によれば、３ＧＰファイルフォーマットを、バイナリファイルのＭＩＭＥ形式などの情報を有するバイナリファイル用のファイルツリーを含ませることにより、汎用コンテナフォーマットに拡張する。従って、ＭＭＳ及びＰＳＳで用いられる任意の種類のマルチメディアを、シーン記述とともに３ＧＰファイルへ格納することが可能である。コンテナフォーマットは、マルチメディアプレゼンテーションの全体又はセッションの漸進的ダウンロードを可能とする方法で構成される。それにより、拡張３ＧＰファイルはダウンロード又は漸進的ダウンロードにより配信され、３ＧＰプレーヤで再生されることが可能である。そのような、ヒントトラックを有する拡張３ＧＰファイルは、ＰＳＳセッション全体を含むことが可能であり、ＰＳＳサーバにより提供されうる。この場合、連続するメディアはＲＴＰを介してストリーミングされ、メディアファイルはＨＴＴＰを介して配信される。
本発明により拡張され、ファイルツリーを含んだ３ＧＰファイルは、３ＧＰプロファイル（ブランド）を規定することが可能である。ファイルツリー中のファイルは”明白に”格納されても良いし、暗号化され、暗号化をどのように解くかに必要な要件とともに格納されてもよい。
フラグメント化されたファイルについては、プレゼンテーション全部を１つ又は複数のフラグメントにする。そして、そのプレゼンテーションは、フラグメンテーション単位で（漸進的に）ダウンロード可能となり、後のフラグメントは前のフラグメントをさらなるファイル又はメディアトラック又は、ファイル又はメディアトラックの連続によって拡張するであろう。プレゼンテーションをフラグメント単位で送信して、ライブダウンロードを行うことも可能である。全体的なプレゼンテーション編成に関し、ＳＭＩＬファイルをいくつかのフラグメントに持たせること、また、ＳＭＩＬファイルの更新、拡張又は置き換えをどのように行うかについての手法を持たせることにより、これを実現することが出来る。
さらに、本発明はプレゼンテーションをシーン記述とどのように組み合わせ可能であるか、またそれを、何らかのメディアがストリーミングされ、別のメディアがダウンロードされるような混在セッションのためのコンテナフォーマットとしてどうやって利用可能であるのかに関連する。
本技術分野に属する当業者は、添付の特許請求の範囲によって規定される本発明の範囲を外れることなく、本発明にさまざまな変形や変更を加えうることを理解するであろう。
３ＧＰＰに関する従来技術を模式的に示す図である。 本発明の一実施形態を模式的かつ一般的に示す図である。 本発明を実施可能な通信システムの模式的なブロック図である。 本発明に係る方法の実施形態の模式的なフローチャートである。 本発明に係る装置の実施形態を示す模式的なブロック図である。 本発明に係るマルチメディアコンテナの実施形態を模式的に示す図である。 本発明に係るマルチメディアコンテナの別の実施形態を模式的に示す図である。 本発明に係るマルチメディアコンテナの具体的な実施形態を模式的に示す図である 図８におけるマルチメディアコンテナの一部の実施形態を模式的に示す図である。

Claims (23)

  1. 複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを送信用装置から１つのユニットまたはファイルとして送信することが可能な１つのマルチメディアコンテナに統合するための方法であって、
    マルチメディアプレゼンテーション送信用装置により、前記複数のメディアオブジェクトを、マルチメディアコンテナに含ませるステップと、
    前記マルチメディアプレゼンテーション送信用装置により、前記マルチメディアコンテナ内に、前記マルチメディアコンテナに含ませた前記複数のメディアオブジェクトの各々を参照する識別子を含ませるステップと、
    前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なシーン記述ファイルを、前記シーン記述ファイルが前記マルチメディアコンテナにおいて最初にアクセスすべき開始ファイルであることを記述したファイルツリーとともに、前記マルチメディアプレゼンテーション送信用装置により前記マルチメディアコンテナ内に含ませるステップとを有し、
    前記マルチメディアコンテナに統合されたマルチメディアプレゼンテーションを前記マルチメディアプレゼンテーション送信用装置により送信することにより、前記マルチメディアコンテナを受信する受信装置が、前記ファイルツリーに従って前記シーン記述ファイルを前記マルチメディアコンテナにおいて最初にアクセスすべき開始ファイルとして認識し、前記シーン記述ファイルに従って、前記送信されたマルチメディアコンテナから前記マルチメディアプレゼンテーションを直接的に表示することを特徴とする方法。
  2. 前記複数のメディアオブジェクトが複数の静的メディアファイルを有することを特徴とする請求項１記載の方法。
  3. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませるステップにおいて、前記複数の静的メディアファイルが、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に含ませられることを特徴とする請求項２記載の方法。
  4. 前記複数のメディアオブジェクトが、複数のトラック内の動的メディアオブジェクトと、複数の静的メディアファイルの両方を有することを特徴とする請求項１記載の方法。
  5. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませるステップにおいて、前記複数の静的メディアファイルと前記動的メディアオブジェクトが、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に含ませられることを特徴とする請求項４記載の方法。
  6. 前記マルチメディアコンテナが、少なくとも１つの受信装置へ漸進的に送信されることを特徴とする請求項５記載の方法。
  7. 前記受信装置が、前記マルチメディアコンテナの受信中に、当該マルチメディアコンテナ内の既に受信した部分をレンダリングすることを特徴とする請求項６記載の方法。
  8. 前記受信装置が、前記マルチメディアコンテナの受信中に、当該マルチメディアコンテナの既に受信した部分をレンダリングすることを可能にするダウンロード制御情報を、前記マルチメディアプレゼンテーション送信用装置が前記マルチメディアコンテナ内に含ませるステップをさらに有することを特徴とする請求項７記載の方法。
  9. 前記メディアオブジェクトの少なくとも１つが暗号化され、前記マルチメディアコンテナ内の前記少なくとも１つの暗号化されたメディアオブジェクトの暗号復号化を当該マルチメディアコンテナを受信した前記受信装置が行うための暗号復号化データを、前記マルチメディアプレゼンテーション送信用装置により前記マルチメディアコンテナ内に含ませるステップをさらに有することを特徴とする請求項１記載の方法。
  10. 複数の協調されたメディアオブジェクトを管理する方法であって、
    マルチメディアプレゼンテーション送信用装置により、前記複数のメディアオブジェクトを１つのマルチメディアコンテナに含ませるステップと、
    前記マルチメディアプレゼンテーション送信用装置により、前記マルチメディアコンテナ内に、前記マルチメディアコンテナに含ませた前記複数のメディアオブジェクトの各々を参照する複数の識別子を含ませるステップと、
    前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なシーン記述ファイルを、前記シーン記述ファイルが前記マルチメディアコンテナにおいて最初にアクセスすべき開始ファイルであることを記述したファイルツリーとともに、前記マルチメディアプレゼンテーション送信用装置により前記マルチメディアコンテナ内に含ませるステップとを有することを特徴とする方法。
  11. 前記複数のメディアオブジェクトが複数の静的メディアファイルを有することを特徴とする請求項１０記載の方法。
  12. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませるステップにおいて、前記複数の静的メディアファイルが、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に含ませられることを特徴とする請求項１１記載の方法。
  13. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませるステップにおいて、複数のトラック内の複数の動的メディアオブジェクトと、複数の静的メディアファイルの両方が、前記マルチメディアコンテナ内に含ませられることを特徴とする請求項１０記載の方法。
  14. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませるステップにおいて、前記複数の静的メディアファイルと複数の動的メディアオブジェクトが、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に含ませられることを特徴とする請求項１３記載の方法。
  15. 複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを送信用装置から１つのユニットまたはファイルとして送信及び／又はダウンロードすることが可能な１つのマルチメディアコンテナに統合して送信する装置であって、
    前記複数のメディアオブジェクトをマルチメディアコンテナに含ませる手段と、
    前記マルチメディアコンテナに含ませた前記複数のメディアオブジェクトの各々を参照する複数の識別子を、前記マルチメディアコンテナに含ませる手段と、
    前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なシーン記述ファイルを、前記シーン記述ファイルが前記マルチメディアコンテナにおいて最初にアクセスすべき開始ファイルであることを記述したファイルツリーとともに前記マルチメディアコンテナに含ませる手段と、
    前記マルチメディアコンテナに統合されたマルチメディアプレゼンテーションを送信する手段を有し、それによって、前記マルチメディアプコンテナを受信する受信装置が、前記ファイルツリーに従って前記シーン記述ファイルを前記マルチメディアコンテナにおいて最初にアクセスすべき開始ファイルとして認識し、前記シーン記述ファイルに従って、前記送信されたマルチメディアコンテナから前記マルチメディアプレゼンテーションを直接的に表示することを特徴とする装置。
  16. 前記複数のメディアオブジェクトが複数の静的メディアファイルを有することを特徴とする請求項１５記載の装置。
  17. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませる手段が、前記複数の静的メディアファイルをインタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に含ませるように構成されることを特徴とする請求項１６記載の装置。
  18. 前記複数のメディアオブジェクトが、複数のトラック内の複数の動的メディアオブジェクトと、複数の静的メディアファイルの両方を有することを特徴とする請求項１７記載の装置。
  19. 前記複数のメディアオブジェクトを前記マルチメディアコンテナに含ませる手段が、前記複数の静的メディアファイルと前記複数の動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に含ませるように構成されることを特徴とする請求項１８記載の装置。
  20. 前記受信装置が、前記マルチメディアコンテナの受信中に、当該マルチメディアコンテナ内の既に受信した部分をレンダリングするように構成されることを特徴とする請求項１５記載の装置。
  21. 前記複数のメディアオブジェクトの少なくとも１つが暗号化され、前記マルチメディアコンテナ内の前記少なくとも１つの暗号化されたメディアオブジェクトの暗号復号化を当該マルチメディアコンテナを受信した受信装置が行うための暗号復号化データを、前記マルチメディアコンテナ内に含ませる手段をさらに有することを特徴とする請求項１５記載の装置。
  22. 前記受信装置が前記マルチメディアコンテナの受信中に、当該マルチメディアコンテナの既に受信した部分をレンダリングすることを可能とするダウンロード制御情報を、前記マルチメディアコンテナ内に含ませる手段をさらに有することを特徴とする請求項２０記載の装置。
  23. 前記ダウンロード制御情報を含ませる手段が、前記ダウンロード制御情報として、予め定められたダウンロードスピードに基づくバッファ遅延に関する情報を前記マルチメディアコンテナ内に含めるように構成されることを特徴とする請求項２２記載の装置。
JP2006535311A 2003-10-17 2004-10-14 マルチメディアプレゼンテーション用コンテナフォーマット Expired - Fee Related JP4634390B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0302778A SE0302778D0 (sv) 2003-10-17 2003-10-17 Container format for multimedia presentations
PCT/SE2004/001482 WO2005039131A1 (en) 2003-10-17 2004-10-14 Container format for multimedia presentations

Publications (2)

Publication Number Publication Date
JP2007508779A JP2007508779A (ja) 2007-04-05
JP4634390B2 true JP4634390B2 (ja) 2011-02-16

Family

ID=29546595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535311A Expired - Fee Related JP4634390B2 (ja) 2003-10-17 2004-10-14 マルチメディアプレゼンテーション用コンテナフォーマット

Country Status (9)

Country Link
EP (2) EP1678895A1 (ja)
JP (1) JP4634390B2 (ja)
CN (1) CN1868184B (ja)
AU (1) AU2004306797B2 (ja)
BR (1) BRPI0414889A (ja)
MX (1) MXPA06003801A (ja)
SE (1) SE0302778D0 (ja)
WO (1) WO2005039131A1 (ja)
ZA (1) ZA200601939B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812377B (zh) * 2005-06-27 2019-05-17 考文森无限许可有限责任公司 用于动态丰富媒体场景的传送机制
KR100927978B1 (ko) 2005-09-01 2009-11-24 노키아 코포레이션 리치 미디어 콘텐츠의 프로그레시브 다운로딩 및스트리밍을 위해 ｉｓｏ 기반 미디어 파일 포맷으로 ｓｖｇ콘텐츠를 임베딩 하는 방법
EP1949697B1 (en) * 2005-10-13 2014-08-20 LG Electronics Inc. Method and apparatus for encoding/decoding
KR100724899B1 (ko) 2005-11-22 2007-06-04 삼성전자주식회사 호환성있는(ｃｏｍｐａｔｉｂｌｅ) 프로그레시브 다운로드방법 및 그 시스템
JP5112333B2 (ja) 2006-01-05 2013-01-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディアコンテナファイルの管理
US7917644B2 (en) 2006-01-11 2011-03-29 Nokia Corporation Extensions to rich media container format for use by mobile broadcast/multicast streaming servers
US8903916B2 (en) * 2006-07-05 2014-12-02 International Business Machines Corporation Method, system, and computer-readable medium to render repeatable data objects streamed over a network
EP2041974A4 (en) 2006-07-12 2014-09-24 Lg Electronics Inc METHOD AND DEVICE FOR CODING / DECODING A SIGNAL
EP2089882A4 (en) 2006-10-19 2010-12-08 Lg Electronics Inc Coding method and apparatus and decoding method and apparatus
US8391196B2 (en) 2006-10-26 2013-03-05 Qualcomm Incorporated Dynamic power amplifier backoff using headroom information
EP2109293A1 (en) * 2008-04-11 2009-10-14 Thomson Licensing System and method for improving the file transmission reliability
CN102017651B (zh) * 2008-04-21 2014-01-29 三星电子株式会社 使用富媒体内容组成场景的装置和方法
JP5278059B2 (ja) * 2009-03-13 2013-09-04 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
GB2471463A (en) * 2009-06-29 2011-01-05 Nokia Corp Software component wrappers for multimedia subcomponents that control the performance of the multimedia function of the subcomponents.
JP2012114909A (ja) * 2010-11-21 2012-06-14 Human Monitoring Ltd メディアデータを符号化および復号する方法およびシステム
DE202012013660U1 (de) 2011-08-29 2019-04-18 Aibuy, Inc. Container Software zum viralen Kopieren von einem Endpunkt zum Anderen
CN102611690A (zh) * 2011-12-22 2012-07-25 南京邮电大学 一种基于超文本传输协议流化的容器格式转化方法
US9607330B2 (en) 2012-06-21 2017-03-28 Cinsay, Inc. Peer-assisted shopping
US10789631B2 (en) 2012-06-21 2020-09-29 Aibuy, Inc. Apparatus and method for peer-assisted e-commerce shopping
JP2016524362A (ja) * 2013-04-30 2016-08-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 単一コンテナから多言語オーディオおよび付随オーディオを出力するシステムおよび方法
CN105325006B (zh) 2013-06-12 2019-06-18 Lg电子株式会社 发送广播信号的装置、方法及接收广播信号的装置、方法
EP2827595A1 (en) * 2013-07-16 2015-01-21 Alcatel Lucent Method and system for delivering multimedia components
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
WO2017122543A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 情報処理装置および情報処理方法
CN109886047B (zh) * 2019-03-21 2021-01-15 腾讯科技（深圳）有限公司 文件加密处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3361997B2 (ja) * 1998-05-07 2003-01-07 松下電器産業株式会社 放送送信装置及び放送送信方法
US6430177B1 (en) * 1998-06-09 2002-08-06 Unisys Corporation Universal messaging system providing integrated voice, data and fax messaging services to pc/web-based clients, including a content manager for receiving information from content providers and formatting the same into multimedia containers for distribution to web-based clients
WO2001026378A1 (en) * 1999-10-06 2001-04-12 Streaming21, Inc. Method and apparatus for managing streaming data
US7646816B2 (en) 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
FI20011871A (fi) * 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi

Also Published As

Publication number Publication date
CN1868184B (zh) 2010-11-03
CN1868184A (zh) 2006-11-22
MXPA06003801A (es) 2006-06-23
EP2426877A1 (en) 2012-03-07
AU2004306797B2 (en) 2009-10-01
BRPI0414889A (pt) 2006-12-12
AU2004306797A1 (en) 2005-04-28
WO2005039131A1 (en) 2005-04-28
EP1678895A1 (en) 2006-07-12
ZA200601939B (en) 2007-05-30
SE0302778D0 (sv) 2003-10-17
JP2007508779A (ja) 2007-04-05

Similar Documents

Publication Publication Date Title
JP4634390B2 (ja) マルチメディアプレゼンテーション用コンテナフォーマット
US7979886B2 (en) Container format for multimedia presentations
US20210263981A1 (en) Playlists for real-time or near real-time streaming
KR101233582B1 (ko) 비-스트리밍 프로토콜을 통해 멀티미디어 데이터를 스트리밍하기 위한 방법
CN106550245B (zh) 具有压缩播放列表的实时或近实时流传输
AU2005218205B2 (en) Storage of content-location information
KR101593771B1 (ko) 실시간 또는 준 실시간 스트리밍을 위한 재생 리스트
US20030061369A1 (en) Processing of multimedia data
JP2007525759A5 (ja)
US11647237B1 (en) Method and apparatus for secure video manifest/playlist generation and playback
AU2016202709B2 (en) Real-time or near real-time streaming
AU2011203178B2 (en) Real-time or near real-time streaming
AU2013201691A1 (en) Method for streaming multimedia data over a non-streaming protocol

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100215

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101118

R150 Certificate of patent or registration of utility model

Ref document number: 4634390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees