JP4718122B2 - メディア配信装置 - Google Patents

メディア配信装置 Download PDF

Info

Publication number
JP4718122B2
JP4718122B2 JP2004111681A JP2004111681A JP4718122B2 JP 4718122 B2 JP4718122 B2 JP 4718122B2 JP 2004111681 A JP2004111681 A JP 2004111681A JP 2004111681 A JP2004111681 A JP 2004111681A JP 4718122 B2 JP4718122 B2 JP 4718122B2
Authority
JP
Japan
Prior art keywords
distribution
media
packet
media data
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004111681A
Other languages
English (en)
Other versions
JP2005295467A (ja
Inventor
博史 峯
理 竹内
賢 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004111681A priority Critical patent/JP4718122B2/ja
Priority to US11/099,490 priority patent/US8260947B2/en
Publication of JP2005295467A publication Critical patent/JP2005295467A/ja
Application granted granted Critical
Publication of JP4718122B2 publication Critical patent/JP4718122B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate

Description

本発明は、映像、音等のメディアデータを、ネットワークを介して送信するストリーミング配信方法、および、ストリーミングデータを中継して配信するプロキシ配信装置に関する。
映画やライブ中継等の映像、音情報を計算機に取り込み、圧縮、符号化し、ネットワークを介して視聴端末に配信するストリーミング配信が行われている。
ストリーミング配信では、一般に、コンテンツプロバイダが管理する配信サーバ装置(以下、サーバ装置という)が、ユーザが操作するPC(Personal Computer)、STB(Set Top Box)等のクライアント端末装置(以下、クライアント端末という)から受けたコンテンツ配信準備要求を処理し、ストリーミング配信の対象となるメディアファイルから必要なヘッダ情報をクライアント端末に応答する。
サーバ装置は、続けてクライアント端末から配信制御要求を受けると、ハードディスクドライブ等のストレージ装置から、メディアファイル中のメディアデータを読み出す。サーバ装置は、読み出したメディアデータをサーバ装置とクライアント端末それぞれのアプリケーションが同意した規則に従って適当な大きさに細分(パケット化)し、ネットワークプロトコルに従ったパケットを構成し、ネットワークを介して連続的に適切な通信速度(ビットレート)でクライアント端末に送信する。
ストリーミング配信において、上記配信制御要求や配信準備要求などの配信を制御するプロトコルとして非特許文献1記載のRTSPが、また、ネットワークプロトコルに従ったパケットを構成してメディアデータを伝送するプロトコルとして非特許文献2記載のRTPが、それぞれ標準化されている。
ストリーミング配信をインターネットに代表されるWAN(Wide Area Network)(以下WANという)を介して行う場合、配信品質の確保、およびサーバ負荷の低減、を図るため、プロキシ装置が用いられる。プロキシ装置は、サーバ装置とクライアント端末間の、クライアント端末に近い位置に配置され、ローカルストレージ装置を持ち、サーバ装置に代わりメディアデータのストリーミング配信処理を行う。プロキシ装置が配信するメディアデータは、予めサーバ装置から配布されたものか、あるいは、サーバ装置からクライアント端末へ配信されるストリーミング配信用パケットを中継する際に、ネットワークプロトコルに従ったパケットから取り出したメディアデータの複製であり、ローカルストレージ装置に格納されている。
例えば、特許文献1は、メディアデータが伝送されるネットワークプロトコルによらず、中継するメディアデータを複製することで、サーバ装置より配信されるコンテンツの一部または全部をローカルストレージ装置に蓄積(キャッシング)し、クライアント端末の要求に応じた伝送プロトコル、および、ビットレートで配信するプロキシ装置を開示している。
米国特許出願公開第2002/0176418号明細書(図3、図9) H. Schulzrinne、他2名、"Real Time Streaming Protocol (RTSP)"、[online]、平成10年4月、The Internet Engineering Task Force、[平成16年2月16日検索]、インターネット<URL: http://www.ietf.org/rfc/rfc2326.txt> H. Schulzrinne、他3名、"RTP: A Transport Protocol for Real-Time Applications"、[online]、平成8年1月、The Internet Engineering Task Force、[平成16年2月16日検索]、インターネット<URL: http://www.ietf.org/rfc/rfc1889.txt>
ストリーミング配信を行う場合、サーバ装置は、メディアデータを適当なサイズで区切りネットワークプロトコルに従ったパケットとして構成し、配信ビットレートに応じて送信する等、配信するメディアデータ固有のパラメータに応じた処理を行う必要がある。メディアデータ固有のパラメータは、一般に、メディアファイルのヘッダ情報として、メディアファイルのフォーマット、例えば、MPEG2(Moving Picture Experts Group layer 2)、MPEG4(Moving Picture Experts Group layer 4)、その他商用メディアフォーマット、に依存した形式で格納される。さらに、それぞれのパラメータの解釈、すなわち、配信時に必要な制御も異なる。
このため、ストリーミング配信において、サーバ装置は扱うメディアフォーマットによって異なる処理が必要となり、メディアフォーマット毎に専用のサーバ装置、または、サーバ装置上で動作する専用の配信制御アプリケーションプログラムが必要になる。
特許文献1に記載のプロキシ装置も、クライアント端末に対して、サーバ装置と同様のストリーミング配信を行う、と開示されているので、扱うメディアフォーマットに応じた専用の配信制御アプリケーションプログラムが必要になる。
また、ストリーミング配信されるパケットを中継しつつローカルストレージにメディアデータの複製を蓄積する処理も、メディアフォーマットに依存する処理である。従って、異なるメディアフォーマットに対応するためには、メディアフォーマット毎に専用のアプリケーションプログラムをプロキシ装置に用意しなければならず、プロキシ装置の更新および管理に必要な費用が嵩む。
WANを介した大規模配信ネットワークを構築する場合、プロキシ装置は、サーバ装置に対してクライアント端末に近い位置に多数配置される。従って、大規模配信ネットワークにおいては、新たなメディアフォーマットに対応する際に必要なプロキシ装置の設備および管理コストの削減が課題となる。
したがって、設備コストや管理コストの面で改善されたプロキシ装置の実現が望まれている。
本発明は、第1には、サーバ装置から配信されるメディアデータをメディアフォーマットに依存せずに配信できるデータ形式で蓄積し、蓄積したメディアデータをクライアント端末に対してストリーミング配信するメディア配信装置を提供する。
本発明は、第2には、メディアデータ配信ネットワークにおいて、新たなメディアフォーマットに対応する際のコストの削減技術を提供する。
本発明は、ローカルストレージにメディアデータの複製を格納し、クライアント端末からの要求に応じてストリーミング配信を行うプロキシ装置であって、予め、メディアデータをネットワークに送信するパケットのサイズに分割し、分割したメディアデータを送信するタイミングを示す時刻情報とあわせてローカルストレージに格納する。配信時に、格納されているメディアデータを時刻情報に従いネットワークに送信することにより、適切なパケットサイズ、ビットレートでストリーミング配信を行うことが可能になる。
また、本発明は、サーバ装置からクライアント端末へストリーミング配信されるメディアデータのパケットを中継する際に、複製をローカルストレージに蓄積するプロキシ装置であって、パケットの受信時に、パケットに格納されている、分割されたメディアデータと共に、パケットを受信した時刻を記す時刻情報をローカルストレージに記録する。すなわち、本発明のプロキシ装置は、メディアデータの詳細を解釈する機構を備えることなく、メディアフォーマットに非依存の形式で、ローカルストレージにメディアデータを格納する。
さらに、上記プロキシ装置におけるストリーミング配信処理を、メディアフォーマットに依存する配信制御処理と、メディアフォーマットに依存しない配信処理に分けることができるので、上記プロキシ装置を、配信制御処理を行う配信制御プロキシ装置と、配信処理を行うメディア配信ストレージ装置に分離してもよい。さらに、大規模配信ネットワークにおいては、複数のメディア配信ストレージ装置を配置してもよい。配信部と比較して軽負荷の配信制御プロキシ装置が、複数のメディア配信ストレージ装置を制御することにより、配信制御プロキシ装置の更新のみで、新たなメディアフォーマットに対応可能となる。
なお、本発明におけるストリーミングとは、サーバ装置上にあるメディアデータを、クライアント端末がすべてダウンロードしてからではなく、クライアント端末がダウンロードと並行して当該メディアデータを再生することを可能にする技術を指す。
本発明によれば、サーバ装置から配信されるメディアデータをメディアフォーマットに依存しないデータ形式で蓄積し、クライアント端末に対してストリーミング配信を行うことができる。
また、大規模配信ネットワークにおいて、新たなメディアフォーマットに対応する際のコストを削減することができる。
本発明の実施例を図を用いて説明する。
図1は、本発明の第1の実施例におけるメディア配信装置の構成を表す。メディア配信装置10は、メディアデータのストリーミング配信を行うサーバ装置20と、ストリーミング配信されるメディアデータを受信し、再生するクライアント端末30の間に位置し、例えば、RTSP形式でクライアント端末30からの配信要求を受け付け、メディアデータを分割した結果であるメディアデータ要素をRTP形式でパケット化してストリーミング配信する。
各装置は、図示していない、インターネットなどのWAN70を介して互いに接続されている。以下の実施例では、配信制御プロトコルとしてRTSP、パケットを構成してメディアデータを伝送するプロトコルとしてRTPを例示する。
メディア配信装置10は、メディアデータをメディアフォーマットに依存しない独自の形式で格納するローカルストレージ(以下、ディスク装置という)110と、クライアント端末30からの要求に応じてディスク装置110からメディアデータを読み込み、ストリーミング配信処理を行う制御部120からなる。
ディスク装置110は、例えば、SCSI(Small Computer System Interface)ハードディスクドライブからなり、メディアデータの複製を、ヒントファイル111とパケットファイル112という形式で格納する。
ヒントファイル111には、図2(a)に示すように、受信したRTPパケットから得られる情報、例えばヘッダ情報と時刻、オフセット、サイズを一組のレコードとして格納する。各レコードは、WAN70を介して送信されるパケットに一対一に対応する。
ヘッダ情報は、パケットを再構成する際に必要となる補助情報、例えば、RTP形式でパケットを送信する場合、RTPヘッダに含まれるマーカービット等の情報を格納する。時刻は、最初のパケットが送信される時刻を基準とする相対時刻であり、対応するパケットを送信するタイミングを表す。
パケットファイル112は、各パケットに含まれるメディアデータ要素をまとめたもので、上記オフセット、サイズを用いて、パケットファイル112内での各メディアデータ要素の位置を表す。
ヒントファイル111とパケットファイル112を用いることにより、例えば、第n番目に送信されるRTPパケットn’40’は、図3(b)に示すように、ヘッダ情報nに格納される情報と配信の都度変化するシーケンス番号、SSRC(Synchronization Source)等から生成されるヘッダn’と、オフセットXnとサイズYnで表される、メディア配信装置10が受信したRTPパケットに含まれていたものと同じメディアデータ要素であるデータnで構成され、最初のパケットが送信されてからTn後に送信するということを表すことができる。
なお、ヒントファイル111とパケットファイル112は、上述のように、サーバ装置20から配信されるメディアデータを中継することで動的に生成してもよいし、予め適当な変換ツールを用いてサーバ装置20上に格納されるメディアファイルを変換することで静的に生成してもよい。
また、メディアファイルとはコンテンツがディスクに格納されている状態のデータで、メディアデータ固有のパラメータを、メディアファイルのヘッダ情報として含む。メディアデータとはコンテンツの映像データそのものを指す。メディアファイルから、ストリーミング配信するメディアデータが抽出される。
制御部120は、クライアント端末30からのRTSP配信要求を処理する配信制御部121と、クライアントに対してRTPパケットをストリーミング配信する配信部122、メディアデータを蓄積する際にサーバ装置20からストリーミング配信されるRTPパケットを受信する受信部123からなる。
なお、図1は、機能を明確にするために、配信制御部121、配信部122、受信部123は、それぞれ独立した処理部として表現しているが、実際には、汎用計算機上でソフトウェアが実行されることにより具現化されてもよい。
例えば、図4に示すように、制御部120は、プログラムを実行するCPU(Central Processing Unit)1201、プログラムおよびデータを一時的に格納するメモリ1202、ディスク装置およびネットワークインタフェース等を制御するI/Oインタフェース1203、プログラムを格納する、不揮発性の半導体メモリまたはハードディスク等からなるプログラム記憶装置1204を備える計算機であってもよい。
当該計算機において、CPU1201が、プログラム記憶装置1204から、配信制御処理を行う配信制御プログラム1205を、配信処理を行う配信プログラム1206を、受信処理を行う受信プログラム1207を、適宜メモリ1202に読み込み、並列または時分割で処理することにより、上記それぞれの処理部が実現されてもよい。
各プログラムは、あらかじめ、上記プログラム記憶装置1204に格納されていてもよいし、必要なときに、当該計算機が利用可能な、着脱可能な記憶媒体または通信媒体(WAN70またはWAN70上の搬送波やデジタル信号)を介して、上記プログラム記憶領域1204に導入されてもよい。
配信制御部121のメディアデータ配信時の動作を、図5を用いて説明する。この動作はクライアントからの要求に応じて行われる対話的な動作である。
配信制御部121は、クライアント装置30からRTSPに従った、ストリーム配信要求を受け付け、配信制御処理を開始する。クライアント装置30から、RTSPにおける、DESCRIBEメソッド、SET_PARAMETERメソッド、GET_PARAMETERメソッド、SETUPメソッド等の、配信準備要求を受信し(S101)、メディアファイル名、クライアント装置30の受信ポート番号等の必要な情報を抽出する。
配信準備要求のうち、DESCRIBEメソッドおよびSET_PARAMETERメソッドに含まれる認証情報等はサーバ装置20に転送し(S102)、サーバ装置20にメディアデータへのアクセス権の審査および課金等の処理を委任する。
続いて、サーバ装置20からの応答を受信し、配信許可が得られたかどうかを判定する(S103)。
配信許可が得られなかった場合(S103でNo)は、クライアント端末30に配信許可が得られなかった理由、例えば、401 Unauthorized等を含む配信拒否応答を返信し(S104)、処理を終了する。
配信許可が得られた場合(S103でYes)は、クライアント端末30に配信準備要求応答を返信し(S105)、処理を継続する。この配信準備要求応答には、サーバ装置20からの応答に含まれる、メディアデータのビットレートおよび映像トラック数などのコンテンツ記述情報が含まれる。
クライアント端末30から、RTSPにおけるPLAYメソッド等の配信制御要求を受信すると(S106)、受信した配信制御要求の種類およびパラメータに応じて、配信部122に配信指示を出す(S107)。ここで、配信制御要求が、例えば、PLAYメソッドの開始要求の場合は、配信指示の内容はメディアファイル名、配信開始位置等を含む送信開始指示となり、PAUSEメソッド、TEARDOWNメソッド等の停止要求の場合は、停止指示となる。
もし、S106で要求の受信待機中に、再生中で再生時間が経過した、または、クライアント端末30とのコネクションが切断された等の異常時には、処理を終了する。
その後、クライアント端末30からの配信制御要求が停止要求であるか、または、配信時間がメディアファイルの終わりに達したかを判定し(S108)、停止要求、または、ファイルの終わりであった場合は処理を終了し、そうでない場合は、配信制御要求に応じた処理を繰り返す。
配信制御部121のメディアデータ蓄積時の動作を、図6を用いて説明する。図6の処理は、メディア配信装置10の管理者の指示で行われるバッチ的な処理である。
配信制御部121は、メディアデータの蓄積を行う際に、サーバ装置20に対して、メディアファイル名等を含む配信準備要求を送信し(S201)、その応答からメディアデータの再生時間等の情報を得る。
続いて、配信制御部121は、サーバ装置20に対して、メディアデータのストリーミング配信の開始を要求する配信制御要求を送信し(S202)、受信部123に蓄積指示を出す(S203)。受信部123は、蓄積指示に従って、RTPパケットを蓄積し、その後、メディアファイルが終わりに達したかどうかを、再生時間等の情報をもとに判定し(S204)、ファイルの終わりに達するまで、時間待ちを行う(S205)。
サーバ装置20によってメディアデータが全て送信され、メディアファイルが終わりに達していると判断される場合(S204でYes)、受信部123に停止指示を出し(S206)、処理を終了する。
なお、上記手順のうち、配信準備要求送信(S201)および配信制御要求送信(S202)の処理を、図5と同様にクライアント端末30からサーバ装置20へ送信される実際の配信要求を中継することで処理してもよい。そして、サーバ装置20からストリーミング配信されるパケットを受信部123で受信し、送信部122よりクライアント端末30に送信するという中継処理の際に、受信部123が後述する蓄積処理を行うことにより、クライアント端末30の配信要求に合わせたメディアデータの蓄積を、並行して行ってもよい。
配信部122の動作を、図7を用いて説明する。
配信部122は、図5のS107に示す、配信制御部121による配信指示を受信し(S301)、配信指示に含まれるメディアファイル名等の情報を得る。メディアファイル名に基づいて、ヒントファイル名、パケットファイル名等の情報を得る。続いて、メディアファイル名に対応するヒントファイル111をディスク装置110から読み込み(S302)、ヒントファイル111のレコードによって示されるパケットファイル112のメディアデータ要素を読み込み、ヒントファイル111から読み込んだヘッダ情報、パケットファイル112から読み込んだメディアデータ要素を用いてパケットを生成する(S303)。
ヒントファイル111に含まれる相対的な時刻情報と、最初のパケットの送信時刻に基づき、送信予定時刻に達しているかを判定し(S304)、達していない場合は、配信予定時刻まで時間待ちを行う(S305)。予定時刻に達している場合は、生成したパケットをクライアント端末30に対して送信する(S306)。
その後、配信制御部121から停止指示を受けたか、または、メディアファイルの終わりに達したかを判定する(S307)。メディアファイルの終端は、対応するヒントファイル111のレコードの終端およびパケットファイル112の終端と等価であり、ヒントファイル111の有効レコード数またはパケットファイル112のEOF判定により、検出できる。
配信制御部121から停止指示を受けた、または、ファイルの終わりであった場合は処理を終了し、そうでない場合は、パケットファイル112から次に送信すべきパケットを構成するために必要なメディアデータを読み出してパケットを生成し、指定された時刻に生成したパケットを送信する処理を繰り返す。なお、配信制御部121からの停止指示に応じて即時に配信停止を行うために、配信停止指示による処理の終了を、通常配信処理に対する割り込み処理として実装してもよい。
受信部123の動作を、図8を用いて説明する。
受信部123は、配信制御部121の蓄積指示に応じて蓄積処理を開始する。配信制御部121から蓄積指示を受信し(S401)、蓄積指示に含まれるメディアファイル名等の情報を得る。続いて、サーバ装置20からストリーミング配信されるパケットを受信し(S402)、受信したパケットに関するヘッダ情報、受信時刻等に基づいた新たなエントリをヒントファイル111に追加して書き込み(S403)、パケットファイル112にメディアデータを追加して書き込む(S404)。例えば、MPEG2で符号化されたメディアデータがRTPで配信される場合、パケットファイル112はMPEG2ファイルとなる。
また、例えば、図3(a)に示すパケットn40を、最初のパケットを受信してからTn後に第n番目に受信した場合、ヘッダnからヘッダ情報nを生成し、受信時刻Tn、そのときのパケットファイル112のサイズをオフセットXn、データnのサイズYnとしてヒントファイル111に追加し、データnを、パケットファイル112に追加する。
その後、配信制御部121からの停止指示を受けているかを判定し(S405)、停止指示を受けている場合は処理を終了し、停止指示を受けていない場合は、パケットを受信しヒントファイル111とパケットファイル112にメディアデータを追加する処理を繰り返す。
上述の実施例において、メディア配信装置10は、メディアデータを、メディアフォーマットに依存しないヒントファイル111およびパケットファイル112の形式でディスク装置110に格納する。ストリーミング配信、メディアデータの蓄積は、制御部120によって制御される。ストリーミング配信を行う場合は、配信制御部121によってクライアント端末30からの配信要求を受け付け、必要に応じてサーバ装置20に配信要求を転送し、配信部122に配信指示を出す。
配信部122は、配信指示に従ってヒントファイル111およびパケットファイル112からパケットを構成し、ヒントファイル111で指定される時刻情報に従ってクライアント端末30に対して送信する。メディアデータの蓄積を行う場合は、配信制御部121から受信部123に蓄積指示を出し、受信部123は、蓄積指示に従ってサーバ装置20からストリーミング配信されるパケットを受信し、メディアデータをヒントファイル111およびパケットファイル112として蓄積する。
これらのファイルにより、メディアデータをパケット化する際の区切りとヘッダ情報と送信タイミングがわかるので、メディア配信装置10は、メディアフォーマットに依存しない形式でサーバ装置20から配信されるメディアデータを蓄積し、クライアント端末30に対してRTPを用いたストリーミング配信を行うことができる。
上記実施例における伝送プロトコルは例示したRTPに限定されず他のプロトコルを用いてもよい。
本発明の第2の実施例として、メディア配信装置をライブストリーミング映像の蓄積、配信に用いる場合について説明する。説明には、第1の実施例で用いた図および符号を用いる。
メディア配信装置10において、サーバ装置20からストリーミング配信されるライブ映像を受信部123が受信することにより、実施例1記載の方法で、ライブ映像をメディアフォーマットに依存しない形式で、ヒントファイル111およびパケットファイル112として蓄積する。
サーバ装置20が要求に応じて配信を開始するプル型のサーバ装置の場合、サーバ装置20にストリーミング配信を開始させるには、配信制御部121がサーバ装置20に対して配信開始を要求するか、配信制御部121がクライアント端末30から配信要求を受信し、RTSPメッセージのクライアントIPアドレス等をメディア配信装置10のものに書き換えて、サーバ装置20に転送すればよい。
後者の場合、受信部123は受信したパケットをディスク装置110に蓄積すると共に配信部122に渡し、配信部122がクライアント端末30に転送することにより、ライブ映像を蓄積しつつ中継することができる。サーバ装置20がプッシュ型の場合は、メディア配信装置10に対してライブ映像のストリーミング配信を行うように、サーバ装置20を設定すればよい。
上記ライブ映像を蓄積、中継するメディア配信装置10からライブ映像のストリーミング配信を受信しているクライアント端末30において、ユーザが一時停止(PAUSEという)を要求した場合を考える。
従来技術では、ライブ映像のストリーミング配信において、ユーザが一時停止を要求し、しばらくしてから再生再開を要求した場合、クライアント端末30では、一時停止中の映像はスキップされ、再生再開を要求した時点の映像から再生が開始される。
これは、サーバ装置20はクライアント端末30からRTSPのPAUSE要求を受信した時点でライブ映像のストリーミング配信を停止し、再びPLAY要求を受信した時点でライブ映像のストリーミング配信を再開するため、クライアント端末30は一時停止中の映像データを受信していないためである。
本実施形態のメディア配信装置10は、クライアント端末30からPAUSE要求を受信した場合、クライアント端末30へのRTPパケットの転送は停止するが、サーバ装置20からストリーミング配信されるライブ映像のディスク装置110への蓄積は継続する。そして、配信制御部112は、PAUSE要求を受信した絶対時刻をクライアント端末30とのセッション情報を記録している記憶領域(メモリ)1202に保持しておく。このときの時刻情報は、例えばライブ配信開始時を基準とした相対時刻でもよい。
クライアント端末30から再生再開のPLAY要求を受信すると、配信部122は、ヒントファイル111に格納される情報を参照しパケットファイル112のPAUSE要求を受信した時刻に対応する位置から、蓄積した映像データを読み込み、クライアント端末30へのストリーミング配信を開始する。これにより、ライブ映像のストリーミング配信の中継からオンディマンド配信に、RTSPの接続をし直すことなく切り替え、クライアント端末30でストリーミング配信される映像データを長時間バッファリングすることなく、映像に飛びのない一時停止後の再生再開を実現することができる。
次に、クライアント端末30が、メディア配信装置10に対して、蓄積中のライブ映像のストリーミング配信を要求する場合を考える。
従来、ライブ映像のストリーミング配信において、現在時刻以前を再生開始時刻に指定して過去のライブ映像を配信させたり、再生中に以前の時刻に戻ったりすることはできなかった。これは、従来のサーバ装置は、ライブ映像のリアルタイム符号化および符号化した映像データのストリーミング配信処理に特化されており、過去の映像データを保持しないためである。
本実施例のメディア配信装置10は、ライブ映像のストリーミング配信を中継する場合、中継したメディアデータ(ここでは映像データ)をディスク装置110に蓄積する。クライアント端末30が、過去の時刻に戻って再生、というユーザ操作に応じて、RTSPのPLAY要求のRangeフィールドに開始時刻の現在時刻からの相対値を負数で指定し、過去の時刻を開始時刻として要求した場合、本実施例のメディア配信装置10は、ヒントファイル111に格納されている情報を参照し、パケットファイル112の要求された開始時刻に対応する位置から蓄積した映像データを読み込み、クライアント端末30へのストリーミング配信を開始する。
図1のシステム構成では、クライアント端末30を一つ記しているが、本実施例のメディア配信装置10には複数のクライアント端末30を接続することができるため、これにより、異なるクライアント端末30毎に異なる開始時刻を指定してライブ映像のストリーミング配信においてタイムシフト再生を実現することができる。同様に、ライブ映像のストリーミング配信における、過去の時刻へ遡るジャンプ再生も、PAUSE要求を受信した時刻とPLAY要求にRangeフィールドで指定される相対時刻値とから求まる時刻位置からのパケットファイル112を読み込むことにより実現することができる。すなわち、ライブストリーミング配信に途中から加わったユーザも、ライブ開始後の任意の時刻に遡ってライブ映像を視聴することができる。
なお、再生開始時刻の相対値は、例えば、配信を要求するコンテンツを識別するURLのファイル名の一部として値を含めてもよい。これにより、クライアント端末30上の再生アプリケーションプログラムを変更することなく、開始時刻を変更することができる。
上記過去の時刻へ遡るジャンプ再生に加え、再生アプリケーションがn倍速再生に対応している場合、クライアント端末30が、PLAY要求のScaleまたはSpeedフィールドに再生速度倍率を指定し、かつ、開始時刻に過去の時刻を指定して、メディア配信装置10に対してライブ映像のストリーミング配信を要求することにより、ライブ映像のストリーミング配信の追いかけ再生ができる。これは、図7のステップS305で説明した配信部122のパケット送信時間待ちを、指定された再生速度倍率に応じて短くすることにより実現することができる。
上述の実施例において、メディア配信装置10によってサーバ装置20からストリーミング配信されるライブ映像を、時間情報を含むヒントファイル111およびパケットファイル112としてディスク装置110に蓄積することにより、ライブストリーミング配信を行うサーバ装置20に特別な機能を備えることなく、かつ、クライアント端末30で映像データの長時間のバッファリングを行うことなく、クライアント毎に任意の時刻の一時停止、過去の時刻からの繰り返し再生等のトリックプレイを行うことができる。
図9は、本発明の第3の実施例である、メディア配信装置60と、配信制御プロキシ装置50の構成を表す。これらは、第1の実施例におけるメディア配信プロキシ装置10を、分離したものである。なお、第1の実施例と同様の構成要素には同一の符号を付しその説明は省略する。
配信制御プロキシ装置50は、配信制御部121からなる。メディア配信装置60は、配信部122と受信部123からなる制御部620と、ヒントファイル111とパケットファイル112を格納するディスク装置110からなる。配信制御プロキシ装置50は、クライアント端末30からの配信要求を受け付け、必要に応じてサーバ装置20に配信要求を転送し、メディア配信装置60に配信指示を出す。
メディア配信装置60の配信部122は、配信指示に従ってヒントファイル111およびパケットファイル112からパケットを構成し、ヒントファイル111で指定される時刻情報に従ってクライアント端末30に対して送信する。
配信制御プロキシ装置50は、第1の実施例における、サーバ装置20とメディアフォーマットとに依存する処理を行う配信制御部121を備え、メディア配信装置60は、第1の実施例における、サーバ装置20やメディアフォーマットには依存しない処理を行うディスク装置110、送信部122、受信部123とを、備える。
すなわち、配信制御プロキシ装置50は、メディアフォーマットに依存するが、メディア配信装置60は、メディアフォーマットに依存しない。よって、新たなメディアフォーマットに対応する場合であっても、配信制御プロキシ装置50を入れ替えたり、バージョンアップしたり、などの更新を行うのみで済む。
なお、配信制御プロキシ装置50の配信制御部121およびメディア配信装置60の制御部620は、第1の実施例と同様に、計算機上で実行されるソフトウェアによって実現されるものとして実装してもよい。
図10は、本実施例における配信制御プロキシ装置50およびメディア配信装置60を用いた、大規模配信システムの構成を表す。
サーバ装置20、クライアント端末30、配信制御プロキシ装置50、メディア配信装置60は、それぞれ、直接または、ルータ装置、ゲートウェイ装置等を介して、インターネット等のネットワーク(以下、WANという)70に接続している。ここで、サーバ装置20はコンテンツプロバイダが提供し、クライアント端末30はユーザが各自用意する等で、WAN70と同様に、配信制御プロキシ装置50やメディア配信装置60とは異なる当事者の管理対象であっても何ら問題ない。
配信制御プロキシ装置50は、複数のメディア配信装置60を制御し、クライアント端末30からの要求に応じて、適当な、例えば、クライアント端末30に最も近い場所に位置するメディア配信装置60に対して、配信指示を出せばよい。
ストリーミング配信において、一般に、配信制御処理は配信処理よりも負荷が軽く、また、必要なネットワーク帯域も少ない。このため、ひとつの配信制御プロキシ装置50から、複数のメディア配信装置60を制御し、また、配信制御プロキシ装置50と、クライアント端末30、メディア配信装置60間のネットワーク接続は、WAN70を経由するものであっても何ら問題ない。
本実施例においては、クライアント端末30にネットワーク的に近い位置、所謂エッジサイトに配置されたメディア配信装置60が、配信制御プロキシ装置50の配信指示に従って、クライアント端末30に対してストリーミング配信を行うことができる。メディア配信装置60の選択は、例えばホップ数や、または、クライアント端末30のIPアドレス、を調べて判断してもよい。
すなわち、クライアント端末30は、例えば、企業内のLAN(Local Area Network)80や、同一ISP(Internet Service Provider)が提供するADSL(Asymmetric Digital Subscriber Line)90、光ファイバー網を利用するFTTH(Fiber To The Home)100等の広帯域のネットワークで接続されたメディア配信装置60から配信を受けることができる。
これにより、メディア配信装置60とクライアント端末30間で必要なネットワーク帯域を、WAN70を経由する場合と比較して、容易に確保することができ、高品質なメディアデータをストリーミング配信することができる。
本実施例においても、新たなメディアフォーマットでメディアデータを配信するサーバ装置20に対応する場合には、メディアフォーマットに依存する処理を行う配信制御プロキシ装置50のみを更新するだけでよく、各エッジサイトに分散配置されるメディア配信装置60を変更する必要はない。これにより、大規模配信ネットワークにおいて、新たなメディアフォーマットに対応する際の、設備および管理コストを削減することができる。
第1の実施例に係るメディア配信装置の構成を表す図である。 第1の実施例に係るメディアデータ格納形式を説明するための図である。 第1の実施例に係るパケットの構成を説明するための図である。 第1の実施例に係る制御部の構成を示す図である。 第1の実施例に係る配信制御部の配信時の動作を説明するための図である。 第1の実施例に係る配信制御部の蓄積時の動作を説明するための図である。 第1の実施例に係る配信部の動作を説明するための図である。 第1の実施例に係る受信部の動作を説明するための図である。 第3の実施例に係る配信制御プロキシ装置およびメディア配信装置の構成を表す図である。 第3の実施例に係る大規模配信ネットワークの構成を表す図である。
符号の説明
10:メディア配信装置、20:サーバ装置、30:クライアント端末、40:パケットn、40’:パケットn’、50:配信制御プロキシ装置、60:メディア配信装置、70:インターネット(WAN)、80:LAN、90:ADSL、100:FTTH、110:ディスク装置、111:ヒントファイル、112:パケットファイル、120:制御部、121:配信制御部、122:配信部、123:受信部。

Claims (4)

  1. サーバ装置がネットワークを経由してクライアント端末へストリーミング配信するメディアデータを中継するメディア配信装置であって、
    前記サーバ装置が前記ストリーミング配信を行う際に前記ネットワークに送出したパケットを受信する受信部と、記憶装置と、を備え、
    前記受信部が受信する受信パケットは、分割された前記メディアデータであるメディアデータ要素を含む、所定のネットワークプロトコルに従って構成されたものであり、
    前記受信部は、
    一つの前記受信パケットから、前記メディアデータ要素を抽出し、前記記憶装置に蓄積し、
    前記受信パケットのヘッダから、当該メディアデータ要素が含まれる送信パケットを構成するために必要な情報をヘッダ情報として抽出し、前記ヘッダ情報と、前記受信パケットの受信時刻を元に生成する、前記送信パケットを前記ネットワークに送信するタイミングを示す時刻情報と、前記送信パケットに含まれるべき前記メディアデータ要素を、蓄積されている前記記憶装置から抽出するための情報と、を含むファイルを作成し、
    作成した前記ファイルを、前記記憶装置に蓄積する
    ことを特徴とする、メディア配信装置。
  2. 請求項1に記載のメディア配信装置であって、さらに、
    前記ファイルに含まれる情報に基づいて、前送信パケットを構成し、
    前記ファイルに含まれる前記時刻情報に従って、前記送信パケットを前記ネットワークに送出する、配信部を備える
    ことを特徴とする、メディア配信装置。
  3. サーバ装置がネットワークを経由してクライアント端末へストリーミング配信するメディアデータを中継するメディア配信装置と、前記メディア配信装置を制御する配信制御プロキシ装置とからなるメディア配信システムであって、
    前記メディア配信装置は、
    前記サーバ装置が前記ストリーミング配信を行う際に前記ネットワークに送出したパケットを受信する受信部と、配信指示に従って送信パケットを前記クライアント端末へ送信する配信部と、記憶装置と、を備え、
    前記受信部が受信する受信パケットは、分割された前記メディアデータであるメディアデータ要素を含む、所定のネットワークプロトコルに従って構成されたものであり、
    前記受信部は、
    一つの前記受信パケットから、前記メディアデータ要素を抽出し、前記記憶装置に蓄積し、
    前記受信パケットのヘッダから、当該メディアデータ要素が含まれる前記送信パケットを構成するために必要な情報をヘッダ情報として抽出し、前記ヘッダ情報と、前記受信パケットの受信時刻を元に生成する、前記送信パケットを前記ネットワークに送信するタイミングを示す時刻情報と、前記送信パケットに含まれるべき前記メディアデータ要素を、蓄積されている前記記憶装置から抽出するための情報と、を含むファイルを作成し、
    作成した前記ファイルを、前記記憶装置に蓄積し、
    前記配信制御プロキシ装置は、
    前記クライアント端末からの配信要求を受信する手段と、
    前記クライアント端末から受信した前記配信要求に応じて、前記受信部へ蓄積指示または前記配信部へ前記配信指示を出す配信制御部を備える
    ことを特徴とする、メディア配信システム。
  4. 請求項3に記載のメディア配信システムであって、
    前記配信部は、
    前記ファイルに含まれる情報に基づいて、前記送信パケットを構成し、
    前記ファイルに含まれる前記時刻情報に従って、前記送信パケットを前記ネットワークに送出する
    ことを特徴とする、メディア配信システム。
JP2004111681A 2004-04-06 2004-04-06 メディア配信装置 Expired - Fee Related JP4718122B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004111681A JP4718122B2 (ja) 2004-04-06 2004-04-06 メディア配信装置
US11/099,490 US8260947B2 (en) 2004-04-06 2005-04-06 Media delivery arrangements including time information provided together with media data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004111681A JP4718122B2 (ja) 2004-04-06 2004-04-06 メディア配信装置

Publications (2)

Publication Number Publication Date
JP2005295467A JP2005295467A (ja) 2005-10-20
JP4718122B2 true JP4718122B2 (ja) 2011-07-06

Family

ID=35055682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004111681A Expired - Fee Related JP4718122B2 (ja) 2004-04-06 2004-04-06 メディア配信装置

Country Status (2)

Country Link
US (1) US8260947B2 (ja)
JP (1) JP4718122B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513269A (ja) * 2014-03-13 2017-05-25 オンカム グローバル,インコーポレイテッド データをリモートサイトに提供する方法及びシステム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945688B1 (en) 2001-06-12 2011-05-17 Netapp, Inc. Methods and apparatus for reducing streaming media data traffic bursts
US7991905B1 (en) 2003-02-12 2011-08-02 Netapp, Inc. Adaptively selecting timeouts for streaming media
WO2006012418A2 (en) * 2004-07-21 2006-02-02 Beach Unlimited Llc Distributed storage architecture based on block map caching and vfs stackable file system modules
US7752325B1 (en) 2004-10-26 2010-07-06 Netapp, Inc. Method and apparatus to efficiently transmit streaming media
US7496678B2 (en) * 2005-05-11 2009-02-24 Netapp, Inc. Method and system for unified caching of media content
JP4274149B2 (ja) * 2005-05-19 2009-06-03 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
US20070061480A1 (en) * 2005-09-14 2007-03-15 Scoredos Eric C Method and apparatus for forwarding a data stream through a distribution proxy server
JP2007127686A (ja) * 2005-11-01 2007-05-24 Sharp Corp 再生装置、記録再生装置
US8739304B2 (en) * 2006-11-10 2014-05-27 Sony Computer Entertainment Inc. Providing content using hybrid media distribution scheme with enhanced security
US8752199B2 (en) * 2006-11-10 2014-06-10 Sony Computer Entertainment Inc. Hybrid media distribution with enhanced security
US20080250101A1 (en) * 2007-04-05 2008-10-09 Matsushita Electric Industrial Co., Ltd. Multimedia data transmitting apparatus and multimedia data receiving apparatus
US7950039B2 (en) * 2007-04-05 2011-05-24 Panasonic Corporation Multimedia data transmitting apparatus and multimedia data receiving apparatus
US20090083811A1 (en) * 2007-09-26 2009-03-26 Verivue, Inc. Unicast Delivery of Multimedia Content
US20090094248A1 (en) * 2007-10-03 2009-04-09 Concert Technology Corporation System and method of prioritizing the downloading of media items in a media item recommendation network
US8904022B1 (en) * 2007-11-05 2014-12-02 Ignite Technologies, Inc. Split streaming system and method
US8713193B1 (en) * 2007-11-12 2014-04-29 Sprint Communications Company L.P. Pausing multimedia data streams
US8543667B2 (en) * 2008-01-14 2013-09-24 Akamai Technologies, Inc. Policy-based content insertion
US7886070B2 (en) * 2008-01-15 2011-02-08 International Business Corporation Source updating for streaming based servers
US8335262B2 (en) * 2008-01-16 2012-12-18 Verivue, Inc. Dynamic rate adjustment to splice compressed video streams
US9003051B2 (en) 2008-04-11 2015-04-07 Mobitv, Inc. Content server media stream management
JP2009259169A (ja) 2008-04-21 2009-11-05 Hitachi Ltd コンテンツ配信装置及びこれを用いたコンテンツの配信方法
JP4950938B2 (ja) 2008-04-24 2012-06-13 株式会社日立製作所 データ転送方法とプロキシサーバおよびストレージサブシステム
US8565740B2 (en) * 2008-05-08 2013-10-22 Blackberry Limited System and method for providing streaming data to a mobile device
CN101459693A (zh) * 2008-12-29 2009-06-17 中兴通讯股份有限公司 一种流媒体下载方法及系统
US8743906B2 (en) * 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
US9565397B2 (en) * 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US9906757B2 (en) * 2009-02-26 2018-02-27 Akamai Technologies, Inc. Deterministically skewing synchronized events for content streams
US8650602B2 (en) * 2009-02-27 2014-02-11 Akamai Technologies, Inc. Input queued content switching using a playlist
US8943507B2 (en) * 2009-04-27 2015-01-27 Deepak Mital Packet assembly module for multi-core, multi-thread network processors
US9461930B2 (en) 2009-04-27 2016-10-04 Intel Corporation Modifying data streams without reordering in a multi-thread, multi-flow network processor
CN102045305B (zh) * 2009-10-20 2015-06-10 中兴通讯股份有限公司 一种多媒体资源传播的监测追踪方法和系统
CN101795297B (zh) * 2010-03-19 2012-10-31 北京天天宽广网络科技有限公司 基于p2p技术的直播时移系统及其方法
US9615119B2 (en) 2010-04-02 2017-04-04 Samsung Electronics Co., Ltd. Method and apparatus for providing timeshift service in digital broadcasting system and system thereof
KR101705898B1 (ko) * 2010-04-02 2017-02-13 삼성전자주식회사 디지털 방송 시스템에서 타임시프트 서비스 제공 방법 및 시스템
US8521899B2 (en) 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
EP2583189B1 (en) 2010-06-18 2018-09-19 Akamai Technologies, Inc. Extending a content delivery network (cdn) into a mobile or wireline network
US9721254B2 (en) 2010-06-28 2017-08-01 Hulu, LLC Method and apparatus for providing streaming media programs and targeted advertisements using multiple advertisement version segments
US8954597B2 (en) * 2010-06-28 2015-02-10 Hulu, LLC Method and apparatus for synchronizing paused playback across platforms
US9448723B2 (en) 2010-06-28 2016-09-20 Hulu, LLC Method and apparatus for intuitive navigation of a media program
KR101712102B1 (ko) * 2010-07-29 2017-03-14 삼성전자 주식회사 Rtsp 세션에 기초해 스트리밍 데이터를 송수신하는 방법 및 장치
JP5640574B2 (ja) * 2010-09-01 2014-12-17 ヤマハ株式会社 端末装置
US10841352B2 (en) 2012-11-27 2020-11-17 International Business Machines Corporation Non-chronological buffering of segments of a media file
CN105100887A (zh) * 2014-05-15 2015-11-25 中兴通讯股份有限公司 节目播放控制方法及装置
US10326813B2 (en) 2015-05-22 2019-06-18 International Business Machines Corporation Processing of live multimedia content and/or data streams over a communication network
CN116785686A (zh) * 2022-03-18 2023-09-22 腾讯科技(深圳)有限公司 虚拟场景加载方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4270623B2 (ja) 1999-01-13 2009-06-03 三菱電機株式会社 時系列データ蓄積配信システム
EP1150445A3 (en) * 2000-04-24 2008-06-04 Sony Corporation Method and device for transmitting media data comprising time stamp information, method and terminal device for receiving this data, method and device for receiving digital broadcasts and method and device for calculating the transmission time of the media data, based on the time stamp information
US7191242B1 (en) * 2000-06-22 2007-03-13 Apple, Inc. Methods and apparatuses for transferring data
JP2002125001A (ja) 2000-10-16 2002-04-26 Nec Corp 中継装置
US20020161911A1 (en) * 2001-04-19 2002-10-31 Thomas Pinckney Systems and methods for efficient memory allocation for streaming of multimedia files
JP4667639B2 (ja) * 2001-05-10 2011-04-13 パナソニック株式会社 映像プロクシサーバ
US6742082B1 (en) * 2001-06-12 2004-05-25 Network Appliance Pre-computing streaming media payload method and apparatus
AUPR580301A0 (en) * 2001-06-20 2001-07-12 Tele-Ip Limited Adaptive packet routing
US7277957B2 (en) * 2001-07-17 2007-10-02 Mcafee, Inc. Method of reconstructing network communications
JP3966711B2 (ja) * 2001-11-06 2007-08-29 富士通株式会社 代理応答方法
US20030185238A1 (en) * 2002-04-01 2003-10-02 Strasser David A. System for maintaining original delivery times in transport packets and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513269A (ja) * 2014-03-13 2017-05-25 オンカム グローバル,インコーポレイテッド データをリモートサイトに提供する方法及びシステム

Also Published As

Publication number Publication date
JP2005295467A (ja) 2005-10-20
US8260947B2 (en) 2012-09-04
US20050223107A1 (en) 2005-10-06

Similar Documents

Publication Publication Date Title
JP4718122B2 (ja) メディア配信装置
JP5517181B2 (ja) コンテンツ配信システム、コンテンツ受信方法および装置
JP4794440B2 (ja) デジタルストリーミングフォーマット又はソースの高速な変化に対応する装置及び方法
JP2019146224A (ja) 1つの要求メッセージに基づいたネットワーク・ノードへの多数のチャンクの要求
US8850054B2 (en) Hypertext transfer protocol live streaming
JP5341186B2 (ja) プロキシ機能
JP2006081159A (ja) インバンド制御情報を伝送するためのストラテジー
WO2014188886A1 (ja) コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
US9167211B2 (en) Method for transmitting an IPTV streaming service by P2P transmission, and method for receiving an IPTV streaming service by P2P transmission
KR20140097580A (ko) 코덱이 적용된 프레임 크기로의 오디오 분할
KR20020035571A (ko) 서버 또는 유저로부터 다른 유저로의 vod
JP2008306600A (ja) コンテンツ配信システム、配信サーバ、端末及びコンテンツ配信方法
JP2011082977A (ja) P2pネットワークシステム及びそのデータ送受信方法
JP2010028691A (ja) コンテンツ受信再生方法および装置
WO2012151865A1 (zh) 一种传输数据的方法和系统
KR20150079557A (ko) 클라이언트 장치에 시청각 컨텐츠를 전달하는 시스템 및 방법
WO2016174960A1 (ja) 受信装置、送信装置、およびデータ処理方法
JP4689996B2 (ja) マルチメディアコンテンツの高速ダウンロードサービス装置及びその方法
JP4247614B2 (ja) ネットワーク装置および情報要求方法
US9635082B2 (en) Method of saving content to a file on a server and corresponding device
US7539292B2 (en) Contents distribution system, contents server, contents receiving apparatus, contents distribution method, program and storage media
WO2016090912A1 (zh) 一种直播视频的生成及播放方法、装置、终端及系统
JP2010028692A (ja) コンテンツ再生装置およびコンテンツ不正再生防止方法
EP3051830B1 (en) Content supply device, content supply method, program, receiving device, and content supply system
JP2004221756A (ja) 情報処理装置および情報処理方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090514

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090529

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees