JP4748729B2 - データおよび対応するプロダクトを送信する準備のための装置と方法 - Google Patents

データおよび対応するプロダクトを送信する準備のための装置と方法 Download PDF

Info

Publication number
JP4748729B2
JP4748729B2 JP2006540466A JP2006540466A JP4748729B2 JP 4748729 B2 JP4748729 B2 JP 4748729B2 JP 2006540466 A JP2006540466 A JP 2006540466A JP 2006540466 A JP2006540466 A JP 2006540466A JP 4748729 B2 JP4748729 B2 JP 4748729B2
Authority
JP
Japan
Prior art keywords
data
entity
throughput
stream
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006540466A
Other languages
English (en)
Other versions
JP2007516669A5 (ja
JP2007516669A (ja
Inventor
ボルド,フイリツプ
ギルロテル,フイリツプ
ロレツト,アン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2007516669A publication Critical patent/JP2007516669A/ja
Publication of JP2007516669A5 publication Critical patent/JP2007516669A5/ja
Application granted granted Critical
Publication of JP4748729B2 publication Critical patent/JP4748729B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Communication Control (AREA)

Description

本発明は、通信ネットワークを介して少なくとも1つの受信機に連続的ストリームとして送信されるデータを準備する装置と方法に関する。本発明は、特に、連続的ストリーム、すなわち「ストリーミング」としてのデータの転送に応用され、特にIP(インターネット・プロトコル)ネットワークにより送信されるオーディオビジュアル(マルチメディア)ストリームに関する。本発明は、関連するデータ・サーバおよび関連するコンピュータ・プログラムにも関する。
IPネットワークは、ルータと呼ばれるデータ・パケットのルーティングを実行する格子状に相互接続されたノードをベースとする。一般に、IPネットワークは、ルータのリソースが無限ではなく、且つトラフィックが負荷の激しい変動を受けることから生じる遅延とジッタとパケットの損失をこうむる。特に、FIFO(First In First Out)メモリのサイズにより、そしてアドレスの分析、誤り訂正/再送、ネットワーク運営プロトコル(ルーティング・テーブルの更新、サービスの品質、マルチキャスト・グループなど)の管理およびチェックサムのような種々のプロセスの持続期間により、ルータはその収容能力が制限される。ルータのリソースも欠陥により影響を受ける。ネットワークのノード数が多く且つネットワークが長期間にわたり使用される場合、欠陥の存在は一層問題となる。
このような状況の別の不利な結果として、ネットワークを利用するアプリケーションが使用する帯域幅が制限され且つ非常に変動しやすくなる。
データの損失は、エラー・メッセージを自動的に反復する検証機構“ARQ(Automatic Repeat and Request)”により、あるいはリターン・パス(return path)のないFEC(Forward Error Correction)のような誤り訂正符号を付加することにより、部分的に訂正される。しかしながら、これらの技術はそれ自体が余分な遅延を生じ、利用できる帯域幅を更に減少させる。
このような困難は2つにタイプの開発を導き、1つのタイプは、ユーザ間のリソースの共有に関し、他の1つは、利用できる帯域幅への各送信機の適合に関する。
第1の点に関しては、パケットの損失を最小限度にし、ネットワークのリソース(ユーザ一人当たりの帯域幅)を公平に共有できるようにするため、ユーザは「公正」ルールに従わねばならない。特に、ユーザは、“AIMD”(Additive Increase,Multiplicative Decrease:加法増加、乗法減少)で指定される原理に従うプロトコルを使用しなければならない。AIMDによれば、ネットワークを介するコンテンツの送信者は、損失率の値の推定、外向の/戻り期間“RTT”(Round Time Trip)、有効スループット(または「グッドプット」)などのようなパラメータを考慮することにより、送信スループット(throughput)を、ネットワークの状態の推定が許す限り、ゆっくりと且つ直線状に(一定の歩調で)上昇させなければならない。損失が検出されるとすぐに、送信者は送信スループットを思いきり減少させなければならない(Multiplicative Decrease)。
IPのネットワークに関するAIMDの原理は、TCP(“Transmission Control Protocol”)通信プロトコルの中に統合される。しかしながら、失われたパケットを認識し再送するシステムの使用は、許容されない遅延を生じ且つマルチキャスト・モードを許さないのでオーディオビジュアル・ストリームの移送に適さないと一般に考えられる。この理由で、連続的ストリームとしての伝送(ストリーミング)のためにRTP(Real Time Transport Protocol)とUDP(User Datagram Protocol)プロトコルの組合せ利用の方が好まれるが、AIMDシステムをこの伝送技術の上に構築する必要がある。使用されるスループットが、同様の条件下でTCPにより使用されるスループットよりも大きくない場合、特に、「TCPに友好的な」(TCP‐friendly:すなわち、TCPに関して公平な)規則について語られる。
ネットワークでの通信の困難性を考慮してなされた第2のタイプの開発に関しては、伝統的に、利用できる帯域幅にビデオ・ストリームを適応させる方法が2つある。第1の方法では、能率的な規制モジュールを有するリアル・タイム・コーダを使用する。従って、スループットのプリセット(throughput presets)に従うビデオ・ストリームを急ぎ発生することができる。
しかしながら、一般に、このようなエンコーダは、いわゆる「オフ‐ライン」(非リアル・タイム)エンコーダよりも能率が悪い。具体的に言うと、オフ‐ライン・エンコーダは(時間に制約されないので)望まれる複雑性を利用できる符号化アルゴリズムと共に使用され、ずっと能率的ある(同じスループットに対し復号化される画像の質がより良い)。この符号化アルゴリズムは、マルチパス(multipass)モード(マルチパス・コーディング)、または各ブロックのための符号化のタイプの選択から成る。同様の理由で、「オフ‐ライン」コーダ(coder)はしばしば、スループットのプリセットにより良く従う。
利用できる帯域幅にビデオ・ストリームを適合させる第2の伝統的方法では、異なるスループットで符号化される一組の同じビデオ・ストリームを発生する。次に、ビデオ・サーバは、望まれるスループットのプリセットに応じて、1つのストリームを選択的に伝送する。前述のように、「オフ‐ライン」ストリームは、“リアルタイム”ストリームよりも品質が良く、一般に、この伝送方法は、より良いサービスの品質(qaulity of service:QoS)を顧客のために提供する。
このタイプの手順の実行について本質的に2つのブランチ(部門)を区別できる。「サイマルキャスト」または「ストリーム・スイッチング」と呼ばれる、直接選択的伝送技術によれば、同一シーケンスの幾つかのバージョンが、異なるスループットにおいて直接的に符号化される。伝送の間、および利用できる接続の帯域幅に応じて、1つのストリームが送出される。例えば、我々は3つの異なるスループットにそれぞれ関連する、一定のビット・レートCBR(Constant Bit Rate)モードで符号化される3つのストリームを有する。もし一定の瞬時に第2のストリームが伝送されてパケットの損失が現れると我々は、より低いスループットを有する第1のストリームに自動的に切り替える。逆に、もし利用できる帯域幅が十分に大きくなれれば、より高いスループットを有する第3のストリームに切り替えることができる。
階層化(hierarchization)または「スケーラビリティ」による、第2の選択的伝送技術によれば、ベース層および1つまたは複数の追加的エンハンスメント層が具えられる。これらの追加的層により、伝送の品質および時間解像度/空間解像度を増すことができる。従って、利用できる帯域幅の依り、1つまたは複数のエンハンスメント層がベース層に追加される。
H263、MPEG2、MPEG4(Moving Picture Experts Group)あるいはAVC(Advanced Video Coding)のような最近の種々のビデオ符号化基準は複雑性が増大しており、且つ関連するコーダの最初の実施は「オフ‐ライン」であることが観察されている。数年たっても、そしてコンピュータの出力が絶えず増大しつつあるにも関らず、“オフ‐ライン”コーダ(off‐line coder)は今なお、“リアルタイム”コーダよりも優れている。従ってサイマルキャストおよび階層化技術は帯域幅の利用性を能率的に考慮するのに特に有益である。
しかしながらこれらの技術は、その一般的形体において、スループットの漸進的増加というAIMDの原理に背く欠点を有する。具体的に、2つのサイマルキャスト・ストリーム間の不一致(階層化レイヤの付加に対応する)は、帯域幅の利用可能性の面で、スループット増加段(augumentation tiers)を生じる。この不一致は、予見されるストリームの数(複数のスループットによる、またはエンハンスメント層を使用する、符号化)が相対的に制限されるとき、より大きくなる。実際、メモリのスペースの節約と処理のために且つ管理と実施の簡素化のために、シーケンスが符号化される回数は少なくなり、あるいは予見される層(レイヤ)の数は減少する。
混雑(congestion:パケットの損失)の場合、1つのストリームから、より少ないスループットを有する別のストリームへの切替え(スイッチング)は、サーバ側での特殊な処理操作を必要とし、この間、顧客は劣化したストリームを受信する。
他の「オフ‐ライン」ストリームの手順により、これらの問題を緩和できる。従って、微細階層化またはFGS(Fine Grain Scalability:微粒子スケーラビリティ)の技術により、上位エンハンスメント層を切り捨てることにより、送信されるストリームのスループットをリアルタイムで調節できる。しかしながら、この技術では、一般の選択的伝送技術と比較すると、得られるコーディング(符号化)の効果がやや低下することが判明している。
サブ‐バンド符号化(sub‐band coding)技術も、エンハンスメント層の切捨てに頼り、かなり能率的であることが判明しているが、慣用の符号化アルゴリズム(DCT“Discrete Cosinus Transform”をベースとする)に必要とされるよりも高い複雑性のレベルを要する。
サイマルキャストおよび階層化技術のスループットのジャンプ(急増)の問題を改善するために当業者は、予見されるストリームの数(サイマルキャスト技術における異なるスループットの数、または階層化技術における層の数)を増やしたくなる。従って、連続する2つのエンティティ間のスループットの不一致は減じられるが、このような解決法では、必要な蓄積の点とストリームの管理の点で非常に高価になることが判明しており、AIMDの原理とするスループットの漸進的増加に近づけるので、なおさらそうなる。
(発明の概要)
本発明は、符号化に関して能率的で、複雑性を著しく増大させず、且つ管理および蓄積コストの著しい増加を回避できると共に、スループットの漸進的増大というAIMDの原理に従うデータ・ストリームを提供できるデータ準備装置に関する。本発明の装置は、TCPにも友好的(friendly)で、パケットの損失にもすばやく反応できる。
本発明は、また、データ準備方法に関し、且つ前述した利点を有する本発明の装置に対応するコンピュータ・プログラムに関し、そして本発明に従う装置を具えるデータ・サーバにも関する。
本発明は特に、IPネットワークでのオーディオビジュアル(音声映像)ストリームのストリーミングの分野に応用される。
本発明の主題は、通信ネットワークを介して少なくとも1つの受信機に連続的ストリームとして送信されるデータを準備する装置である。この装置は以下のものから成る。
‐ データベースから生じるデータを獲得する手段。このデータベースには、異なる送信スループットにそれぞれ関連する少なくとも2つのデータ・ストリーム・エンティティ(entities)が含まれる。
‐ 獲得されたこれらのデータをシステムに転送し、このデータを連続的ストリームとしてネットワークにより送信する手段。
‐ 前記獲得手段をデータベースのストリーム・エンティティの1つに接続する手段。
‐ 前記接続手段を前記エンティティのうちの1つから別の1つに切り替える手段。
本発明によれば、
準備装置は、送信システムに転送されたデータに誤り訂正符号を規則的に付加して増大されたデータ・ストリームを形成する手段を具える。
転送されて誤り訂正符号を付加して増大されたデータ・ストリームが、第2のエンティティのための誤り訂正符号の最初の入力に関連する付加的スループット(これはゼロにされる)と第2の送信スループットとの和に等しい閾値スループットに到達すると、切替え手段は第1の送信スループットに関連する第1のエンティティから第1の送信スループットよりも大きい第2の送信スループットに関連する第2のエンティティに接続手段を切り替えるよう設計される。
付加手段は、第1のエンティティが第2のエンティティに切り替えられると、この最初の入力への符号の付加を再び初期化するよう設計される。
「連続的ストリームとして送信する」、または「ストリーミング」という表現は、データが完全にダウンロードされるまで待つ必要なしに、送信中のデータを受信者がリアルタイムで読むことができるようデータを送信することを意味する。
誤り訂正符号の付加に関する「規則的な」(regular)という用語は、時間の経過につれてゆるやかな且つ漸進的付加(周期的が好ましい)を意味する。
閾値スループットに「到達する」(reaching)は、それに等しくなるかまたはそれより大きくなることを意味する。
このようにして本発明の装置は、公称値に到達するまで、各ストリームのエンティティについてスループットの漸進的増加に依存する。公称値は(混雑のリスクに関して)警戒する誤り訂正符号に対応する付加的値によって増大される、より高いスループットのエンティティに対応する。より高いスループットのエンティティへの切替えは、スループットがジャンプ(急増)せずに、あるいはジャンプが著しく減じられて、トリガ(開始)される。従って、スループットが漸進的に増大するAIMDの原理に従うと同時に、現行のそして証明されたサイマルキャストまたは階層化の手順を利用することができる。
上述した当業者が実施したくなる解決法とは対称的に、本発明の装置は誤り訂正符号を利用する。これらの誤り訂正符号の介在は、データの損失の場合、特に有利であり、誤り訂正符号によって、これらの損失を(少なくとも部分的に)自動的に訂正できる。
従って、本発明の装置は、スループットの漸進的増大とその突然の減少(付加される誤り訂正符号の全体的または部分的排除による)に関し、AIMDの原理の遵守に適するのみならず、パケットの損失を補償することにより、受信レベルで損害を回避できる。
第2のデータ・ストリーム・エンティティに対する誤り訂正符号の最初の入力は、この第2のエンティティに基づいて(好ましくは、伝送中にリアルタイムで)定められる。それにより、第2のエンティティへの切替え後のまさに最初の瞬間から混雑のリスクを考慮することができ、そして残留する損失のレベルを訂正することができる。別形においては、誤り訂正符号はあらかじめ定められ、第2のエンティティと共に記憶される。
この入力の量(付加的スループットのレベルを示す)は、推定されるネットワークの現状(混雑のリスク)に応じてダイナミックに固定されるので有利である。第2のエンティティに関連する誤り訂正符号がこのエンティティと共にあらかじめ記録される場合、切替えに利用されるこれらの符号の量をダイナミックに調節するための準備がなされる。エンティティに所定のレベルを与えて、誤り訂正符号にシーリング(最高限度)を設定し、これは切替えの間、完全にまたは部分的に利用される。別形において、付加的スループットのレベルはあらかじめ定められ、すべてのエンティティについて同一とする。
誤り訂正符号の最初の入力量は、第2のストリーム・エンティティの公称スループットと比較して、付加的スループットの1%〜3%に相当する。
或る特定の実施例によれば、誤り訂正符号の最初の入力はゼロである。付加した誤り訂正符号により増大された転送データのストリームが第2の送信スループットに到達すると切替え手段は接続手段を切り替えるように設計され、付加手段は、切替え後ただちに、符号の付加をゼロに再び初期化するように設計される。
この装置は、混雑のリスクが検出されると、付加される符号の量を減らすことができるスループット自動規制手段を具える。この手段は、リスクが検出されると、これらの符号の付加をゼロに再初期化するように設計され有利である。
従って、顧客に最適の品質を保証すると共に、TCPに友好的な行動を容易に達成できる。混雑のリスクの検出で特に注目されるのは、パケットの損失、RTTの上昇、送出されるスループットの値よりも低い受信されたスループットの値、あるいはQoSの管理システムがネットワークの中に統合されている場合、QoSアプリケーション手段によって獲得される値である。その後、所定の期間(例えば、1秒〜30秒)の終了するまで、誤り訂正符号の付加を再開しないことが有利である。
有利なことに、時間の経過につれ変更可能なスループット・プリセットに応じてエンティティの1つを選択するように接続手段が設計され、選択されたエンティティが、現在送信している別のエンティティの送信スループットよりも大きい送信スループットに関連しているときに追加手段が起動されるよう設計される。この実施例は、特に、サイマルキャストおよび階層化技術に応用される。
或る特定の実施例(階層化の技術)によれば、獲得手段は、データベースで利用できる少なくとも1つのデータ・ストリーム層を別のエンティティの上に重ねることによって、少なくとも1つのエンティティを獲得することができる。
転送したデータに付加される符号の各増分(インクリメント)により生じるデータ・ストリームの送信スループットの増加が、第2のエンティティと第1のエンティティにそれぞれ関連する第2の送信スループットと第1の送信スループットとの差の3分の1以下になるよう追加手段が設計される。従って、連続するエンティティ間を通過するときにスループットのジャンプは少なくとも3分の1だけ減じられる。
有利な実施例によれば、切替え手段は、現在送信しているエンティティ(現在送信している公称スループットに関連する)の1つを、別のエンティティ(現在の公称スループットよりも低い公称フォールバック(fallback)送信スループットに関連する)に接続手段を切り替えることができる。
混雑のリスクの場合、現在送信しているエンティティから、より低い公称スループットを有する別のエンティティに切り替えられ、この別のストリーム・エンティティに、切替え時に推定される損失率を補償できる誤り訂正符号の最初の入力を付加する。切り替え後に獲得される全体のスループット(誤り訂正符号を有するフォールバック・エンティティ)が、以前に使用されたスループット(誤り訂正符号を有する現在のエンティティ)よりもずっと低くなるように創案されるので有利である。従って、AIMDの原理による乗法的減少(multiplicative decrease)の制約が遵守されると共に、データ損失のリスクが減少する。
本発明は、また、データ(好ましくは、ビデオ・データ)のサーバに関し、本発明の実施例の1つに従うデータ準備装置を具えることを特徴とする。
このサーバは、共同で利用されるRTPとUDPプロトコルに従い、IPネットワークによりデータを送信するよう設計される。
本発明の主題は、また、通信ネットワークを介して少なくとも1つの受信機に連続的ストリームとして送信されるデータを準備する方法であり、これによれば、
‐ データベースから生じるこれらのデータが獲得される。このデータベースには、ストリーム・エンティティからデータを抽出することにより、異なる伝送スループットにそれぞれ関連する少なくとも2つのデータ・ストリーム・エンティティが含まれる。
‐ 獲得されたデータは、ネットワークを介してこのデータを連続的ストリームとして送信するシステムに転送される。
‐ これらのデータを獲得するために、エンティティのうちの1つから別の1つに切り替えられる。
本発明によれば、
‐ 誤り訂正符号は、送信システムに転送されるデータに規則的に付加され、増大されたデータ・ストリームを形成する。
‐ 付加した誤り訂正符号で増大される転送されたデータ・ストリームが、第2の送信スループットと第2のエンティティの誤り訂正符号の最初の入力に関連する付加的スループット(これはゼロにされる)との和に等しい閾値スループットに到達すると、第1のエンティティ(第1の送信スループットに関連する)から、第2のエンティティ(第1の送信スループットよりも大きい第2の送信スループットに関連する)に切り替えられ、
‐ この最初の入力へのこれらの符号の付加は、第1のエンティティから第2のエンティティに切り替えるときに、再び初期化される。
本発明は、コンピュータ・プログラムがコンピュータで実行されるとき、本発明による方法のステップを実行するためのプログラム符号インストラクションから成るコンピュータ・プログラム・プロダクト(product)にも応用される。「コンピュータ・プログラム・プロダクト」とは、コンピュータ・プログラムの媒体(メディア)を意味する。これには、ディスケット(フロッピディスク)またはカセットのような、プログラムを収容する蓄積空間(スペース)だけでなく、信号(電気的または光学的信号)も含まれる。
本発明は、添付する図面に関連して、以下の実施例および実施モード(これらはまったく、非制限的なものである)によって、より良く理解され説明される。
図1および図2において、表示されるモジュールは機能的装置であり、物理的に区別できる装置に対応することもある。これらのモジュール、またはそれらの幾つかは、グループにまとめて単一の構成部品とされ、または同一のソフトウェアの機能を構成する。換言すれば、或る幾つかのモジュールは別個の物理的エンティティで構成される。
データ・サーバ10(図1)は、データベース2、データベースから抽出後に伝送するために補足されフォーマットされるデータDATAの形体でサーバ10より送信されるデータを準備する装置1、および抽出されたこれらのデータを通信ネットワーク5を介して受信機R1、R2....Rnに送信するシステム3から成る。
サーバ10は、また、受信機Riより返信される信号に基づいて、ネットワーク5から受信される制御情報CTRLを利用することができる。
正確に言うと(図2)、データベース2には、データ・ストリームのエンティティEj(図示する例で、j=1〜4)を含んでいる。これらのエンティティEjは、個別の送信スループットに関連しており、且つスループットの上昇順にランクされる。
データ準備装置1(図2)は以下のものから成る。
‐ データベース2から生じるデータ21を獲得するためのモジュール11。
‐ データDATAの形体で補足されフォーマットされるこれらのデータ21を送信システム3に転送するためのモジュール12。
‐ データ獲得モジュール11をデータベース2のストリーム・エンティティEjのうちの1つ(図2で、エンティティE1)に接続するためのモジュール13。
‐ エンティティのうちの1つから別の1つに、接続用のモジュール13を切り替えるためのモジュール14。切替えモジュール14は現在のエンティティ(E1)から、より高いスループットを有する直ぐ次のエンティティ(E2)に接続をトグル(toggle)することができる。
‐ FECコード(参照番号22)を、転送モジュール12で検索されるデータ21に規則的に付加するためのモジュール15、このようにして転送されるデータDATAは、データベース2から抽出されるデータ21とコード(符号)22とを統合する。および、
‐ 自動スループット規制モジュール16。モジュール16は、制御情報CTRLを利用し、一方で、FECコードを付加するモジュール15に作用し、他方で、切替えモジュール14に作用する。より正確に言うと、規制モジュール16は、混雑のリスクが検出されるとFECコードをゼロ(または最小値)に再初期化するよう付加モジュール15を指図できる。別形の実施例で、規制モジュール16は、付加モジュール15から供給される量の著しい減少(例えば、2で割る)のみを起こす。規制モジュール16は、また、混雑または混雑のリスクが検出される場合に、現在のエンティティから、より低いスループットを有するエンティティに、モジュール13を接続するよう切替えモジュール14に指図することができる。
切替えモジュール14は以下のように動作するよう設計される。切替えモジュールは、データベース2のエンティティEjに関連する公称送信スループット24を使用し、データDATAの実際の送信スループット23を転送モジュール12から受信する。実際の送信スループット23は、最初、現在送信しているストリーム・エンティティEj(例えば、E1)のスループットであり、次のエンティティ(Ej+1)(ここでは、E2)のスループットよりも低い。スループットはFEC符号の付加と共に増大する。次に切替えモジュール14はその2つのスループット23と24を比較し、実際のスループット23が、次のエンティティ(Ej+1)に関連する公称スループットに到達すると、後者のエンティティ(E2)への接続モジュール13の切替えをトリガする。
接続モジュール13は、時間経過につれ変更可能なスループットのプリセット25を受信するよう設計される。これはネットワーク5に伝送するための帯域幅の利用可能性に依存する。次に接続モジュール13は、このプリセット25の値よりも次に低い公称スループットを有するエンティティを選択することにより、(このプリセット25に応じて)エンティティEjのうちの1つを選択する。この選択は、選択されたエンティティへの接続と対等ではなく、選択されたエンティティが、現在送信しているエンティティの公称スループットよりも大きい公称送信スループットに関連しているとき、符号付加モジュール15の起動を調整する。
例えば、現在送信しているエンティティはE1であり、スループットのプリセット25は、ストリームのエンティティE3とE4にそれぞれ関連する公称スループット24の間に在る。この場合、接続モジュールで選択されるエンティティはE3であり、FEC符号の付加は、付加モジュール15においてトリガ(始動)される。
この機能性は、1つのストリーム・エンティティEjから別のエンティティへの遷移を高めると同時に、符号22の付加の不要なトリガを避ける。
第1の実施例において、エンティティEjはサイマルキャスト・ストリームに対応する。
第2の実施例で、エンティティEjは、連続する層を重ね合わせることによって、階層化により獲得されるストリームに対応する。この場合、エンティティE1はベース層に対応し、エンティティE2〜E4はそれぞれ1〜3の付加的エンハンスメント層から成る。実際に、ストリームは、データベース2においてプレフォーム(preform)されないが、該当する層を重ね合わせることにより、データ21の抽出の間に構成される。
シミュレーションで行われたテストの結果は、上述の準備装置1の利点と有効性を実証している。これらのテストによれば、IPネットワーク(ネットワーク5)でのストリーミングによって、マルチメディアのオーディオ/ビデオ・ストリームについて規制が実行される。送信スループットのインクリメンテーションに関するAIMD勧告に従うことにより、サイマルキャスト伝送手順は、リード‐ソロモン符号の形体でFEC符号の漸進的付加(付加モジュール15)と組み合わされる。テスト用に、4つのサイマルキャスト・ストリーム(エンティティE1〜E4)が選ばれそれぞれ、スループット256、415、615、800kbit/sで符号化され、帯域幅は760kit/sに制限される。
サーバ10より送信されるストリーム(曲線41)に対するデータ送信スループット(軸32)の時間(軸31)の関数としての変動、ストリームは受信機Riのうちの1つにより受信され(曲線42)、現在送信しているストリームのエンティティに対する公称値(曲線43)が得られる(図3)。付加されるFEC符号の率(軸33)の時間(軸31)への依存も得られる(図4、曲線44)。
従って、第1のストリーム・エンティティ(256kbit/s)からスタートし、損失が(0と11.5sの間で)検出されない限り、FEC符号率は漸進的に上昇され、次に我々は、第2のストリーム・エンティティ(415kbit/s)に切り替える。同じことが行われて、第2のエンティティから第3のエンティティに移行する(615kbit/s、11.5sと19sとの間)。
次に我々は、FEC率を規則的に上昇させ続けるが、混雑のリスクが検出されると直ちに、FEC符号の付加がゼロに再初期化される。受信されるスループットよりも大きい送信スループットおよびパラメータRTTの上昇に注目することによりこの検出が得られる(これは、混雑の出現を予感するルータのFIFOメモリの充満に対応する)。これらの再初期化操作は、24、28および36s(秒)の付近で実行される。スループットを上昇させるすべての試みは、利用できる帯域幅(760kit/s)が第4のストリームのスループット(800kbit/s)よりも低いので不成功になる。FEC符号を付加するプロセスは各中断において1秒後に(従って、25、29および37sの付近で)再開される。
明らかに、スループットは、漸進的に、1つのストリーム・エンティティから別のエンティティに直接的に移行するよりもずっと緩やかに、上昇する。更に、損失が24、28および35sの付近で現れても、その瞬間におけるFECの符号率は自動的に訂正される。
データ・サーバを含み、本発明に従うデータ準備装置、受信機、およびサーバと受信機間の通信のためのネットワークから成る、送信‐受信セットの基本図。 機能的ブロックの形体をなす、図1のデータ準備装置の詳細を示す。 FEC符号の漸進的付加により本発明を実施する、サイマルキャストによるIPネットワークでのビデオ・ストリーミングのアプリケーションにおいて、図1のサーバで送信され且つ図1の受信機の1つで受信されるスループット(kbits/s)、および連続的に伝送されるストリーム・エンティティに対応するサイマルキャストの公称スループットの時間依存(秒単位)を表す。 図3に表されるアプリケーションのために、図1のサーバで送信されるストリームにおけるFEC符号レートの変動を時間(秒単位)の関数として表す。

Claims (10)

  1. 通信ネットワークを介し少なくとも1つの受信機に連続的ストリームとして送信されるデータを準備する装置であって
    記データを獲得する手段であって、前記データが、データベースから得られ、前記データベース同一データ・ストリームの異なる伝送スループットにそれぞれ関連する少なくとも2つのデータ・ストリームエンティティを含、前記データ獲得手段と、
    獲得された前記データを送信システムに転送する手段であって前記送信システムが、前記ネットワークを介し前記データを連続的ストリームとして送信する、前記データ転送手段と、
    前記データ獲得手段を前記データベースの前記データ・ストリーム・エンティティのの1つに接続する手段と、
    前記エンティティのの1つから別の1つに前記接続する手段の接続先を切り替える手段と
    り訂正符号を前記エンティティの内の第1のエンティティのデータに規則的に付加して、第1のエンティティの前記データが前記付加された誤り訂正符号と共に第1の増大されたデータ・ストリームを形成し、誤り訂正符号を前記エンティティの内の第2のエンティティのデータに付加して第2の増大されたデータ・ストリームを形成するための付加手段と、

    第1の増大されたデータストリームが、第1の送信スループットよりも大きい第2の送信スループットと前記第2のエンティティに最初に付加された誤り訂正符号の付加的スループットとの和に等しい閾値スループットに到達すると、前記切替え手段が、前記第1の送信スループットに関連する前記第1のエンティティから前記第2の送信スループットに関連する前記第2のエンティティに前記接続する手段の接続先を切り替えるよう設計され、
    前記第1のエンティティが前記第2のエンティティに切り替えられると、前記付加手段が、前誤り訂正符号の付加を初期化する、前記データ準備装置。
  2. 前記通信ネットワークの状態に応じて、付加された前記符号の量を減少できる自動スループット規制手段をさらに備える、請求項1記載の準備装置。
  3. 記自動スループット規制手段が、前記通信ネットワークの状態に応じて前記符号の付加をゼロに再初期化する、請求項2記載の準備装置。
  4. 前記接続する手段が、時間の経過につれ変更可能なスループットのプリセットに応じて前記エンティティの内の1つを選択するよう設計され、該選択されたエンティティが、現在送信している別のエンティティの送信スループットよりも大きい送信スループットに関連しているときに起動されるように、前記付加手段が設計される、先行する請求項の何れか1つに記載の準備装置。
  5. 前記獲得する手段が、前記データベースにおいて利用できる少なくとも1つのデータ・ストリーム層を、前記エンティティのの別の1つの上に重ねることによって、前記エンティティのの少なくとも1つを獲得できる、先行する請求項の何れか1つに記載の準備装置。
  6. 前記第1のエンティティのデータに付加される前記符号の各増分が、前記第1の増大されたデータ・ストリームの送信スループットを増加させ、これが、前記第2のエンティティと前記第1のエンティティにそれぞれ関連する前記第2の送信スループットと前記第1の送信スループットとの差の3分の1よりも低くなるように、前記付加手段が設計される、先行する請求項の何れか1つに記載の準備装置。
  7. 記切替え手段が、前記通信ネットワークの状態に応じて、現在の公称送信スループットに関連する現在送信している1つのエンティティから前記現在の公称送信スループットよりも低い公称フォールバック送信スループットに関連する別の1つのエンティティに、前記接続する手段の接続先を切り替えることができる、先行する請求項の何れか1つに記載の準備装置。
  8. 請求項1乃至7の何れか1つに記載のデータ準備装置をえる、データ・サーバ。
  9. 前記データ・サーバが、ビデオ・データのサーバである、請求項8に記載のデータ・サーバ。
  10. 共同で利用されるRTPプロトコルとUDPプロトコルに従い、IPネットワークによりデータを送信するよう設計される、請求項8記載のデータ・サーバ。
JP2006540466A 2003-12-01 2004-11-26 データおよび対応するプロダクトを送信する準備のための装置と方法 Expired - Fee Related JP4748729B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0314076A FR2863130A1 (fr) 2003-12-01 2003-12-01 Dispositif et procede de preparation de donnees d'emission et produits correspondants
FR0314076 2003-12-01
PCT/EP2004/053143 WO2005055553A2 (en) 2003-12-01 2004-11-26 Device and method for the preparation of sending data and corresponding products

Publications (3)

Publication Number Publication Date
JP2007516669A JP2007516669A (ja) 2007-06-21
JP2007516669A5 JP2007516669A5 (ja) 2007-12-20
JP4748729B2 true JP4748729B2 (ja) 2011-08-17

Family

ID=34566274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006540466A Expired - Fee Related JP4748729B2 (ja) 2003-12-01 2004-11-26 データおよび対応するプロダクトを送信する準備のための装置と方法

Country Status (11)

Country Link
US (1) US7711839B2 (ja)
EP (1) EP1698148B1 (ja)
JP (1) JP4748729B2 (ja)
KR (1) KR101126118B1 (ja)
CN (1) CN1886968B (ja)
BR (1) BRPI0416896B1 (ja)
CA (1) CA2546984C (ja)
DE (1) DE602004026109D1 (ja)
FR (1) FR2863130A1 (ja)
MX (1) MXPA06006177A (ja)
WO (1) WO2005055553A2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070299936A1 (en) * 2006-06-27 2007-12-27 Borgendale Kenneth W Interactively streaming data from a database in a high speed, low latency data communications environment
US8676876B2 (en) * 2006-06-27 2014-03-18 International Business Machines Corporation Synchronizing an active feed adapter and a backup feed adapter in a high speed, low latency data communications environment
US8296778B2 (en) 2006-06-27 2012-10-23 International Business Machines Corporation Computer data communications in a high speed, low latency data communications environment
US20070300234A1 (en) * 2006-06-27 2007-12-27 Eliezer Dekel Selecting application messages from an active feed adapter and a backup feed adapter for application-level data processing in a high speed, low latency data communications environment
US8122144B2 (en) 2006-06-27 2012-02-21 International Business Machines Corporation Reliable messaging using redundant message streams in a high speed, low latency data communications environment
US10051238B2 (en) * 2006-09-18 2018-08-14 Imagine Communications Corp. Bandwidth based licensing scheme for video, audio and/or multimedia content
US20080114938A1 (en) * 2006-11-14 2008-05-15 Borgendale Kenneth W Application Message Caching In A Feed Adapter
US8695015B2 (en) * 2006-12-06 2014-04-08 International Business Machines Corporation Application message conversion using a feed adapter
US20080140550A1 (en) * 2006-12-07 2008-06-12 Berezuk John F Generating a global system configuration for a financial market data system
US20080141273A1 (en) * 2006-12-11 2008-06-12 Borgendale Kenneth W Accessing Application Message Data In A Messaging Environment
US20080137830A1 (en) * 2006-12-12 2008-06-12 Bhogal Kulvir S Dispatching A Message Request To A Service Provider In A Messaging Environment
US8327381B2 (en) * 2006-12-12 2012-12-04 International Business Machines Corporation Referencing message elements in an application message in a messaging environment
US8850451B2 (en) 2006-12-12 2014-09-30 International Business Machines Corporation Subscribing for application messages in a multicast messaging environment
JP2008172515A (ja) * 2007-01-11 2008-07-24 Sony Corp 送信装置および方法、通信装置、並びにプログラム
US7917912B2 (en) * 2007-03-27 2011-03-29 International Business Machines Corporation Filtering application messages in a high speed, low latency data communications environment
US20090006560A1 (en) * 2007-06-27 2009-01-01 Bhogal Kulvir S Terminating An Application Message Subscription
US20090006559A1 (en) * 2007-06-27 2009-01-01 Bhogal Kulvir S Application Message Subscription Tracking In A High Speed, Low Latency Data Communications Environment
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
AU2007242924A1 (en) * 2007-12-12 2009-07-02 Canon Kabushiki Kaisha Improvement for error correction in distributed video coding
CN101860895B (zh) * 2010-06-11 2012-12-19 上海海维工业控制有限公司 一种改进的aimd拥塞控制方法
US8683480B2 (en) * 2011-06-01 2014-03-25 International Business Machines Corporation Resource allocation for a plurality of resources for a dual activity system
US9781488B2 (en) * 2015-07-30 2017-10-03 Adi Rozenberg Controlled adaptive rate switching system and method for media streaming over IP networks
CN110300315B (zh) * 2019-07-24 2021-08-13 北京达佳互联信息技术有限公司 一种视频码率确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045098A (ja) * 1999-05-26 2001-02-16 Canon Inc データ通信システム、データ通信装置、データ通信方法及び記憶媒体
JP2005522102A (ja) * 2002-03-27 2005-07-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー データストリーミングシステムおよび方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154190A (zh) * 1995-05-09 1997-07-09 诺基亚电信公司 数字通信系统中的非透明数据发送
US5699365A (en) * 1996-03-27 1997-12-16 Motorola, Inc. Apparatus and method for adaptive forward error correction in data communications
US6519461B1 (en) * 1999-10-29 2003-02-11 Telefonaktiebolaget Lm Ericsson (Publ) Channel-type switching from a common channel to a dedicated channel based on common channel load
EP2068488A3 (en) * 2001-04-26 2011-05-04 NTT DoCoMo, Inc. Data link transmission control methods, mobile communication systems, data link transmission control apparatus, base stations, mobile stations, mobile station control programs, and computer-readable recording media
US6789123B2 (en) 2001-12-28 2004-09-07 Microsoft Corporation System and method for delivery of dynamically scalable audio/video content over a network
KR20030095995A (ko) * 2002-06-14 2003-12-24 마츠시타 덴끼 산교 가부시키가이샤 미디어 전송방법 및 그 송신장치 및 수신장치
US7571246B2 (en) * 2004-07-29 2009-08-04 Microsoft Corporation Media transrating over a bandwidth-limited network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045098A (ja) * 1999-05-26 2001-02-16 Canon Inc データ通信システム、データ通信装置、データ通信方法及び記憶媒体
JP2005522102A (ja) * 2002-03-27 2005-07-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー データストリーミングシステムおよび方法

Also Published As

Publication number Publication date
US7711839B2 (en) 2010-05-04
EP1698148B1 (en) 2010-03-17
BRPI0416896B1 (pt) 2018-04-24
EP1698148A2 (en) 2006-09-06
KR101126118B1 (ko) 2012-03-29
BRPI0416896A (pt) 2007-03-06
CA2546984A1 (en) 2005-06-16
FR2863130A1 (fr) 2005-06-03
KR20060123212A (ko) 2006-12-01
CA2546984C (en) 2013-05-14
CN1886968A (zh) 2006-12-27
WO2005055553A3 (en) 2005-09-15
MXPA06006177A (es) 2006-08-25
JP2007516669A (ja) 2007-06-21
WO2005055553A2 (en) 2005-06-16
US20070106813A1 (en) 2007-05-10
DE602004026109D1 (de) 2010-04-29
CN1886968B (zh) 2010-04-28

Similar Documents

Publication Publication Date Title
JP4748729B2 (ja) データおよび対応するプロダクトを送信する準備のための装置と方法
US8621061B2 (en) Adaptive bitrate management for streaming media over packet networks
Nguyen et al. Distributed video streaming with forward error correction
EP2719144B1 (en) On-demand adaptive bitrate management for streaming media over packet networks
EP2919453B1 (en) Video stream switching
EP1309151A2 (en) System and method of network adaptive real-time multimedia streaming
Li et al. A unified architecture for real-time video-coding systems
KR20040041170A (ko) 혼잡 제어를 위한 전송률을 계산하기 위해 수신 버퍼 크기를 사용하는 데이터 통신 방법 및 시스템
JP2003179580A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
KR20050010832A (ko) 채널 전송 속도의 변동을 흡수하기 위해 가상 수신 버퍼를사용하는 전송 방법
US7428271B2 (en) Network device and data transmission method for efficient data transmission and reception in mobile ad hoc network environment
KR20060082473A (ko) 스트리밍 시스템 및 적응적 대역 할당 방법
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
CN118509420A (zh) 一种基于quic协议的音视频抗弱网传输方法及系统
Schulzrinne Transport protocols for multimedia
Jitter LAN MAN WAN

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071031

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080319

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110513

R150 Certificate of patent or registration of utility model

Ref document number: 4748729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees