JP4585550B2 - Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー - Google Patents

Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー Download PDF

Info

Publication number
JP4585550B2
JP4585550B2 JP2007198756A JP2007198756A JP4585550B2 JP 4585550 B2 JP4585550 B2 JP 4585550B2 JP 2007198756 A JP2007198756 A JP 2007198756A JP 2007198756 A JP2007198756 A JP 2007198756A JP 4585550 B2 JP4585550 B2 JP 4585550B2
Authority
JP
Japan
Prior art keywords
channel
state
delay time
value
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007198756A
Other languages
English (en)
Other versions
JP2009038448A (ja
Inventor
フヮンジュン ソン
ダイ−ブーン リ
ヒュンチュル ジョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy Industry Foundation of POSTECH
Original Assignee
Academy Industry Foundation of POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Industry Foundation of POSTECH filed Critical Academy Industry Foundation of POSTECH
Priority to JP2007198756A priority Critical patent/JP4585550B2/ja
Publication of JP2009038448A publication Critical patent/JP2009038448A/ja
Application granted granted Critical
Publication of JP4585550B2 publication Critical patent/JP4585550B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、IPTVサービス提供方法に関するもので、より具体的に、IPTVサービス提供時にネットワーク効率性を高めながら、チャネル変更遅延時間を減少できるIPTVの応答遅延減少方法及びその方法を具現するためのIPTVサービス提供サーバーに関するものである。
通信及びインターネット技術の発達と伴い、一つの加入者回線上で放送、電話及びデータを同時に伝送できるTPS(Triple Play Service)が登場してきた。このTPSは、多様なサービスを一つの回線を通してパッケージ形態で使用者に提供できる点で需要が急増しており、そのサービス提供企業も急増している。
上記のようなTPSサービスの代表的なものがIPTV(Internet Protocol Television)サービスである。IPTVサービスは、既存のインターネット通信網を通して放送サービスを提供するもので、既存の放送サービス(ケーブル、衛星、または地上波放送など)と比較したとき、ネットワーク資源の使用面で効率的である。具体的に説明すると、図1(A)に示すように、既存の放送サービスにおいては、使用者の要請とは関係なしに常に全てのチャネルが使用者に伝送されるべきであって、帯域幅の浪費が発生するが、IPTVサービスにおいては、図1(B)に示すように、IPマルチキャスト技術を導入することで、使用者が要請したチャネルのみが伝送されるので、ネットワーク資源を効率的に使用できるとともに、不足した加入者回線の帯域幅問題も解消できる。
しかしながら、上記のようなIPTVサービスの場合、使用者によるチャネル要請が発生するとき、該当のチャネルが使用者に伝送される構造であるので、使用者が新しいチャネルを要請するとき、選択されたチャネルが使用者端末機に出力されるまでの遅延(以下、‘チャネル変更遅延’という。)が発生することになる。
上記のようなチャネル変更遅延は、命令語処理遅延、ネットワーク遅延、セットトップボックスジッターバッファ遅延、及びデコーディング(復号化)遅延などに区分される。詳しく説明すると、命令語処理遅延は、使用者がチャネル変更のためにリモートコントローラを通して該当のチャネルを選択した時点から、セットトップボックスがチャネル要請メッセージをネットワーク上に伝送するまでの遅延で、ネットワーク遅延は、要請されたチャネルの最初のパケットを受信するまでの遅延で、セットトップボックスジッターバッファ遅延は、ネットワーク上で付加されたジッターを除去するための初期バッファリング遅延で、デコーディング遅延は、圧縮されたビデオデータのデコーディング過程で発生する遅延である。ここで、デコーディング遅延は、ビデオデータがイントラフレームなしではデコーディングされないことに起因する。
上記のようなチャネル変更遅延のために、使用者が所望の時点に所望の映像データを直ちに受けられないので、チャネル変更遅延は、IPTVサービス提供の効率性を阻害する重要な問題点として台頭している。
本発明は、上記のような問題点を解決するためになされたもので、その技術的課題は、各チャネルのチャネルタイプ及び各チャネルを通して伝送される映像データに挿入する付加的なイントラフレームの個数を調節することで、ネットワーク効率性を増加させながら、チャネル変更遅延時間を減少できるIPTVの応答遅延減少方法及びその方法を具現するためのIPTVサービス提供サーバーを提供することにある。
本発明の他の技術的課題は、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を決定するとき、使用者のチャネルに対する選好度を反映できるIPTVの応答遅延減少方法及びその方法を具現するためのIPTVサービス提供サーバーを提供することにある。
本発明の更に他の技術的課題は、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を決定するとき、計算複雑度を減少できるIPTVの応答遅延減少方法及びその方法を具現するためのIPTVサービス提供サーバーを提供することにある。
上記の目的を達成するための本発明の一側面によるIPTVの応答遅延減少方法は、使用者に提供される各チャネルのチャネルタイプ、及び前記各チャネルを通して提供される映像データに挿入する付加的なイントラフレームの個数を決定する段階と、前記決定された個数だけの付加的なイントラフレームを前記映像データに挿入し、前記映像データをエンコーディング(符号化)する段階と、前記ユーザからチャネルの要求信号を受ける前に、前記決定された各チャネルタイプに応じて、前記エンコーディングされた映像データを第1ルータまたは第2ルータにまで伝送する段階と、を含むことを特徴とする。
ここで、前記チャネルタイプは、前記チャネルを通して伝送される前記映像データを第1ルータにまで伝送する第1タイプと、前記映像データを第2ルータにまで伝送する第2タイプとに分類され、前記第1ルータは、使用者端末機に隣接(近接)したルータで、前記第2ルータは、前記映像データを提供するIPTVサービス提供サーバーに隣接(近接)したルータであることを特徴とする。
このとき、前記チャネルタイプ及び前記付加的なイントラフレームの個数は、チャネル変更遅延時間を所定の臨界値(閾値)以下にしながら、前記映像データの提供に要請される前記各チャネルの全体帯域幅を最小化するように決定することができる。
一実施例において、前記チャネルタイプ及び前記イントラフレームの個数決定段階は、前記チャネルタイプ及び前記イントラフレームの個数を設定値として第1状態を設定し、前記第1状態でのチャネル変更遅延時間を算出する段階と、前記第1状態でのチャネル変更遅延時間が前記臨界値以下である場合、前記第1状態の最初設定値を基準にして前記チャネルタイプ及び前記付加的なイントラフレームの個数を決定する段階と、前記第1状態でのチャネル変更遅延時間が前記臨界値を超える場合、前記第1状態の最初設定値を変更させながら、変更された各設定値に対するチャネル変更遅延時間を算出する段階と、前記変更された各設定値のうち、前記変更された設定値に対するチャネル変更遅延時間を前記臨界値以下にする設定値が存在する場合、該当の各設定値のうち、前記チャネルの帯域幅を最小化する設定値を基準にして前記チャネルタイプ及び前記イントラフレームの個数を決定し、そうでない場合、前記第1状態を第2状態に更新する段階とを含み、前記チャネル変更遅延時間を前記臨界値にする設定値を有する状態が発見されるまで、前記変更された各設定値に対するチャネル変更遅延時間算出段階及び前記状態更新段階を繰り返すことを特徴とする。
このとき、前記第1状態から第2状態への更新は、前記第1状態での設定値変更によって発生するコストを最大化する設定値を前記第2状態の最初設定値に決定することで行われるが、ここで、前記コストは、前記第1状態での設定値に対するチャネル変更遅延時間と前記臨界値との差の変化量と、前記チャネルの帯域幅の変化量との比で算出される。
上述した目的を達成するための本発明の他の側面によるIPTVサービス提供サーバーは、使用者に提供される各チャネルのチャネルタイプ、及び前記各チャネルを通して提供される映像データに挿入する付加的なイントラフレームの個数を決定する演算部と、前記演算部によって決定された個数だけの前記付加的なイントラフレームを前記映像データに挿入し、前記映像データをエンコーディングするエンコーダーと、前記演算部によって決定された前記各チャネルタイプによって、前記エンコーディングされた映像データを、前記チャネルに対する使用者の要請以前に使用者端末機に隣接した第1ルータまたはIPTV提供サーバーに隣接した第2ルータにまで伝送するデータ伝送部と、を含むことを特徴とする。
本発明は、各チャネルのチャネルタイプ及び各チャネルを通して伝送される映像データに挿入する付加的なイントラフレームの個数を調節することで、チャネル変更遅延時間を減少させてIPTVの応答遅延を最小化すると同時に、ネットワーク効率性を増加できるという効果を有する。
また、本発明は、各チャネルのチャネルタイプ及び付加的なイントラフレームの挿入個数を決定するとき、使用者のチャネルに対する選好度を反映することで、使用者の選好度が高いチャネルを使用者端末機に隣接したルータにまで予め伝送し、多くのイントラフレームを挿入することで、IPTVの応答遅延を最小化できるという効果を有する。
また、本発明は、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を決定するとき、新しいアルゴリズムを適用することで、計算複雑度を減少できるという効果を有する。
以下、本発明の好適な実施例を、添付の図面に基づいて詳細に説明する。まず、本発明を詳細に説明する前に、IPTVサービス提供システムの一般的なネットワーク構成と、このIPTVサービス提供システム下でのチャネル変更過程を説明する。
図2は、一般的なIPTVサービス提供システムの概略的な構成図である。図2に示すように、IPTVサービス提供システム10は、ホームネットワーク12、アクセスネットワーク13、コアネットワーク14、及びコアネットワーク14の終端に連結されるIPTVサービス提供サーバー18を含む。
ホームネットワーク12は、ゲートウェイ16、使用者端末機19、及びセットトップボックス(Set−top Box:STB)20を含む。ゲートウェイ16は、ホームネットワーク12とアクセスネットワーク13の中継役割を担うもので、ホームネットワーク12のチャネルを管理する機能を行う。セットトップボックス20は、使用者端末機19とゲートウェイ16に連結されて使用者端末機19にIPTVサービスを提供する機能を行い、使用者端末機19は、IPTVをディスプレイする機能を行う。
アクセスネットワーク13は、ホームネットワーク12とコアネットワーク14を媒介するネットワークで、LHR(Last Hoop Router)22及び各種のスイッチング素子(図示せず)を含む。ここで、LHR22は、使用者端末機19に最も近く位置したルータを意味する。
コアネットワーク14は、LHR22とFHR(First Hoop Router)23を媒介するネットワークで、IPTVサービス提供サーバー18から伝達される放送サービスを使用者端末機19に伝送するための複数個のマルチキャストルータ(図示せず)によって構成される。ここで、FHR23は、IPTVサービス提供サーバー18に最も近く位置したルータを意味する。
IPTVサービス提供サーバー18は、ヘッドエンド(Head−end)として全てのチャネルを外部供給者から受信し、ネットワークの効率性を高めるために、IPマルチキャスト技術を用いて放送チャネルを使用者に伝送する。
図2に示したIPTV提供システムでのチャネル変更過程を、図3に基づいて具体的に説明する。
まず、1番チャネルを受信している使用者が、リモートコントローラを用いて2番チャネルへのチャネル変更を要請する場合、セットトップボックス20は、使用者のチャネル変更要請に応じて1番チャネルに対するIGMP(Internet Group Management Protocol)脱退(Leave)メッセージをゲートウェイ16に伝送し、ゲートウェイ16は、IGMP脱退メッセージをLHR22に伝達する。ここで、IGMPは、一つのルータと多数のホストからなるサブネット内で、一つのルータのホストがそれぞれどのマルチキャストグループに関心を持つかを定義することである。その後、IGMP脱退メッセージを受信したLHR22は、IGMP Group−Specific Queryメッセージを自身が管理する全てのゲートウェイ(図示せず)に伝送し、所定時間の間に如何なる応答も受信されない場合、上位ルータにPIM Pruneメッセージを伝送しながら1番チャネルに対するグループ脱退を行う。
一方、2番チャネルに対する加入のために、セットトップボックス20が2番チャネルに対するIGMP加入(Join)メッセージをゲートウェイ16に伝送すると、ゲートウェイ16は、IGMP加入メッセージをLHR22に伝達する。IGMP加入メッセージを受信したLHR22は、既に2番チャネルを受信している場合、該当のゲートウェイ16に2番チャネルを伝送し、そうでない場合、上位ルータにPIM Joinメッセージを伝送しながら2番チャネルに対するグループ加入を試みる。このような過程を通して、使用者のチャネル変更要請に応じたチャネルが使用者に受信され、受信されたチャネルのデコーディング過程を経て該当のチャネルが使用者にディスプレイされる。
上述したように、チャネルの変更過程で新しいチャネルが使用者に受信されるまで、以前のチャネルグループからの脱退及び新しいチャネルグループへの加入によってネットワーク遅延が発生し、該当のチャネルを受信した後、圧縮されたビデオデータのデコーディング過程でデコーディング遅延が発生するので、本発明では、このようなチャネル変更遅延を最小化できるIPTVサービス提供サーバー及び提供方法を提供しようとする。以下、N名の使用者にM個のチャネルからなるIPTVサービスを提供する場合を例に挙げて説明する。
図4は、本発明の一実施例に係るIPTVサービス提供サーバーの概略的なブロック図である。図4に示すように、IPTVサービス提供サーバー18は、演算部24、エンコーダー26及びデータ伝送部28を含む。
演算部24は、チャネルの帯域幅及びチャネル変更遅延を最小化できるように、各チャネルのチャネルタイプ及び各チャネルを通して提供される映像データに挿入する付加的なイントラフレーム(Intra Frame)の個数を決定する。ここで、演算部24によって決定されるチャネルタイプとは、所定チャネルが、使用者の要請以前に使用者端末機19に隣接したルータにまで予め伝送されるべきチャネルタイプ(以下、‘静的チャネル’という。)であるか、または、IPTVサービス提供サーバー18に隣接したルータにまで伝送されるチャネルタイプ(以下、‘動的チャネル’という。)であるかを意味する。
演算部24が各チャネルに対してチャネルタイプを決定する理由は、所定チャネルを静的チャネルに決定すると、ネットワーク遅延が相対的に減少するが、如何なる使用者も該当のチャネルを視聴しない場合、ネットワーク帯域幅の浪費をもたらし、所定チャネルを動的チャネルに決定すると、ネットワーク帯域幅を効率的に使用できるが、使用者が該当のチャネルを要請する場合、ネットワーク遅延が増加することから、チャネルの帯域幅及びチャネル遅延を最も効率的に調節するためである。
また、演算部24が映像データに挿入する付加的なイントラフレームの個数を決定する理由も、チャネル帯域幅及びチャネル遅延を効率的に調節するためで、具体的には、各チャネルに関するデコーディング遅延を効率的に調節するためである。ここで、映像データに付加的なイントラフレームを挿入することで、デコーディング時に映像データのイントラフレームを待つ必要なしに、付加的なイントラフレームを用いてデコーディングを行ってデコーディング遅延を減少できる。このとき、デコーディング遅延を減少させるために付加的なインフラフレームの個数を増加させると、チャネルの帯域幅が増加するので、演算部24は、これを調節するために適切なイントラフレームの個数を決定する。
具体的に、演算部24は、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を決定するとき、チャネル変更遅延時間を所定の臨界値以下にしながら、映像データの提供に要求される各チャネルの全体帯域幅を最小化するようにチャネルタイプ及び付加的なイントラフレームの個数を決定する。このために、演算部24は、図4に示すように、チャネル選好度算出部30、遅延時間算出部32、帯域幅算出部34及びチャネル特性決定部36を含む。
チャネル選好度算出部30は、各使用者のチャネル選好度を算出するもので、チャネルタイプ及び付加的なイントラフレームの挿入個数を決定するとき、各使用者のチャネル選好度を反映するためのものである。これは、使用者の選好度が高いチャネルを静的チャネルに決定し、使用者の選好度が低いチャネルを動的チャネルに決定し、使用者の選好度が高いチャネルであるほど付加的なイントラフレームの個数を増加させることが、チャネルの帯域幅及びチャネル遅延を減少させるのに効率的であることに起因する。このとき、i番目使用者のチャネル選好度は、以下の(1)に表記され、i番目使用者の各チャネルに対する選好度は、式(2)に表記される。
さらに、M個のチャネルに対するN名の使用者間では、次の式(3)のような関係が成立する。
一実施例において、このような使用者のチャネル選好度は、各使用者のチャネル別視聴現況に対する統計資料を用いて算出されるが、具体的に、各使用者のチャネル選好度は、所定の時間間隔の間、各使用者が所定チャネルを視聴した時間を用いて推定することができる。各使用者のチャネル選好度は、次の式(4)により表現される。
上式中、pi jは、j番目チャネルに対するi番目使用者の選好度を意味し、ti jは、i番目使用者がj番目チャネルを視聴した時間を意味し、Tupdateは、所定の時間間隔を意味し、Nは、全体使用者の数を意味する。
遅延時間算出部32は、チャネル変更遅延時間を算出するもので、具体的に、チャネル変更遅延時間は、各チャネルに対するネットワーク遅延時間(各チャネルの受信に要される時間)と、各チャネルを通して提供される映像データのデコーディングに要される時間との和に、各チャネルに対する使用者の選好度を掛けることで算出される。これを全てのチャネルに対して拡張したものは、次式(5)により表現される。
上式中、以下の(6)で示されるチャネルに対するネットワーク遅延時間を示すベクトルは、式(7)で表現され、以下の(8)で示される付加的なイントラフレームが挿入された映像データのデコーディング遅延時間を示すベクトルは、式(9)で表現される。
したがって、上記式(5)は、チャネルのネットワーク遅延ベクトルとデコーディング遅延ベクトルとの和と、以下(10)に示される各使用者のチャネル選好度値との内積を取ることで、各使用者に対する全体チャネルの遅延時間を算出するようになる。
このとき、j番目チャネルに対するネットワーク遅延時間であるdj及びデコーディング遅延時間であるdj Iは、以下の式(11)及び式(12)のように定義される。
ここで、dstaticとddynamicは、それぞれインターネット上での静的チャネルと動的チャネルに対する平均ネットワーク遅延時間を意味し、ddynamicは、dstaticに比べて相対的に非常に長い。
上式(12)中、nj Iは、j番目チャネルを通して伝送される映像データに含まれた一つのGOP区間に挿入する付加的なイントラフレームの個数を示すもので、各チャネルを通して提供される映像データに挿入する付加的なイントラフレームの個数は、ベクトルで式(13)に表現される。一方、NCCS Iは、一つのGOP区間内に挿入される付加的イントラフレームの最大個数を示し、Tgopは、一つのGOPの大きさを示す。
帯域幅算出部34は、映像データの提供に要求される各チャネルの全体帯域幅を算出するもので、各チャネルのチャネルタイプを示す所定値と、該当のチャネルを通して映像データを伝送するために要求される帯域幅との積を求めることで、各チャネルの帯域幅を算出する。これを全てのチャネルに対して拡張すると、次の式(14)に示す通りである。
上式中、以下の(15)に示される映像データの伝送時に要求されるチャネルの帯域幅を示すベクトルは、次式(16)で表記され、以下の(17)に示される付加的なイントラフレームの伝送時に要求されるチャネルの帯域幅を示すベクトルは、以下の式(18)で表記され、以下の(19)で示される各チャネルのチャネルタイプを示すベクトルは、以下の式(20)で表記される。
上記の式(14)によると、付加的なイントラフレームが挿入された映像データを伝送するための各チャネルの帯域幅ベクトルと、各チャネルのチャネルタイプを示すベクトルとの内積を取ることで、映像データの伝送に要求される全体チャネルの帯域幅を算出するようになる。このとき、上記(17)で示される付加的なイントラフレームの伝送時に要求されるチャネルの帯域幅を示すベクトルと、上記(19)で示される各チャネルのチャネルタイプを示すベクトルとは、次の式(21)及び式(22)によって定義される。
上式(21)中、Rは、付加的なイントラフレームの固定ビットレートを意味する。
すなわち、該当のチャネルに対するチャネルタイプの値は、j番目チャネルが静的チャネルである場合、1をチャネルタイプの値に決定し、j番目チャネルが動的チャネルである場合、j番目チャネルに対する各使用者の選好度の和をチャネルタイプの値に決定する。
チャネル特性決定部36は、上述した遅延時間算出部32及び帯域幅算出部34によって算出された値を用いて、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を決定する。具体的に、チャネル特性決定部36は、下記の式(23)に記載されたように、式(5)を用いて算出されたチャネル変更遅延時間を所定の臨界値DMAX以下にしながら、上記の式(14)で算出されたチャネルの全体帯域幅の値を最小化する式(24)で示されるベクトルと、式(25)で示されるベクトルを求めることで、全てのチャネルに対するチャネルタイプ及び付加的なイントラフレームの個数を決定する。
一実施例において、チャネル特性決定部36は、ビタビ(Viterbi)アルゴリズムを用いて式(23)を満足させながら式(14)を最小化する上記式(24)で示されるベクトルと、上記式(25)で示されるベクトルを求めることができる。これを、図5に示したトレリス(Trellis)を参照して具体的に説明する。
図5に示すように、各チャネルは、一つのドメインを構成し、各ドメインは、2*(NCCS I+1)個の状態で構成されている。ドメイン内のそれぞれの状態は、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を示し、各ドメイン上の状態組み合わせにおいて可能な組み合わせ数は、2*(NCCS I+1)M個である。M−1番目ドメインまでの累積状態組み合わせが式(26)のように表現され、ドメイン上で選択された状態が(sm ,nm I)であるとき、m番目ドメイン上の累積状態組み合わせは、以下の式(27)に示す通りである。
一実施例において、最適の解を探すための検索範囲を狭めるために、図5に示したトレリス上に枝刈り(Pruning)技法を適用する。すなわち、m−1番目ドメインからm番目ドメインへの最適な転移を決定するとき、m番目ドメインで選択された状態に対して式(23)を満足するかどうかを判断し、式(23)を満足しない転移を削除する。図5の点線部分は、ドメイン状態のうち式(23)を満足しないもので削除されるべき転移を示す。
他の一つの実施例において、チャネル特性決定部36は、計算複雑度を減少させるために、他のアルゴリズムを用いて式(23)を満足させながら式(14)を最小化する上記式(24)で示されるベクトルと、上記式(25)で示されるベクトルを求めることができる。
これを具体的に説明すると、まず、チャネル特性決定部36は、初期状態で全てのチャネルのチャネルタイプを動的チャネルに設定し、映像データに挿入される付加的なイントラフレームの個数を0に設定する。すなわち、初期状態は、映像データを伝送するための帯域幅が最小化される状態に設定する。このような状態で、チャネル特性決定部36は、式(5)によって算出されたチャネル変更遅延時間が臨界値を越える程度を示す以下の(28)で示されるチャネル変更遅延時間評価値を算出する。
ここで、チャネル変更遅延時間評価値は、次の式(29)によって算出される。
すなわち、式(29)によると、遅延時間が臨界値より小さいかそれと同じ場合、チャネル変更遅延時間評価値は0になり、そうでない場合、チャネル変更遅延時間評価値は正数の値になる。
チャネル特性決定部36は、初期状態で算出されたチャネル変更遅延時間評価値が0である場合、このような初期状態の設定値を基準にして、チャネルタイプ及び付加的なイントラフレームの個数を決定する。
また、チャネル特性決定部36は、初期状態で算出されたチャネル変更遅延時間評価値が0でない場合、初期状態で各チャネルのチャネルタイプ及び付加的なイントラフレームの個数を変更しながら式(29)に示されるチャネル変更遅延時間評価値を計算し、計算されたチャネル変更遅延時間評価値を0にする設定値が存在するかどうかを判断する。
チャネル変更遅延時間評価値を0にする設定値が存在する場合、チャネル特性決定部36は、チャネルの帯域幅を最小化する設定値を基準にしてチャネルタイプ及び付加的なイントラフレームの個数を決定し、チャネル変更遅延時間評価値を0にする設定値が存在しない場合、最初設定値の変更によって発生するコスト(Cost)を算出した後、算出されたコスト値を用いて初期状態を更新し、次の状態を決定する。このとき、コストは、次の式(30)によって算出することができ、初期状態を更新するときは、算出されたコスト値が最大である状態の設定値を用いて初期状態を更新する。
チャネル特性決定部36は、チャネル変更遅延時間評価値が0になる状態が発見されるまで、上述した過程を繰り返すことで、チャネルタイプ及び付加的なイントラフレームの個数を決定する。
上式(30)中、以下の(31)で示される値は、状態変化によって発生するチャネル変更遅延時間評価値の減少量を意味し、以下の(32)で示される値は、状態変化によって発生する帯域幅の増加量を意味する。
再び図4を参照すると、エンコーダー26は、演算部24によって決定された個数だけの付加的なイントラフレームを映像データに挿入し、映像データをエンコーディングする。一実施例において、映像データは、30fps(Frames Per Second)でIBBPBBPBBPBBの構造でエンコーディングされる。
データ伝送部28は、所定チャネルのチャネルタイプが静的チャネルに決定される場合、エンコーダー26によってエンコーディングされた映像データを使用者の要請以前に使用者端末機19に隣接したルータにまで伝送し、所定チャネルのチャネルタイプが動的チャネルに決定される場合、エンコーダー26によってエンコーディングされた映像データを使用者の要請以前にIPTV放送サーバー18に隣接したルータにまで伝送する。
上述したIPTVサービス提供サーバーを用いたIPTVの応答遅延減少方法を、図6に基づいて説明する。
まず、使用者に提供される各チャネルのチャネルタイプ及び各チャネルを通して提供される映像データに挿入する付加的なイントラフレームの個数を決定する(S100)。このとき、チャネルタイプは、使用者のチャネル要請以前に映像データを使用者端末機19に隣接した第1ルータにまで伝送する静的チャネルと、映像データをIPTVサービス提供サーバー18に隣接した第2ルータにまで伝送する動的チャネルとに分類される。一実施例において、チャネルタイプ及び各チャネルに挿入する付加的なイントラフレームの個数を決定するとき、使用者のチャネル選好度に基づいて各チャネルのチャネルタイプを決定することが好ましい。
ここで、各チャネルのチャネルタイプ及び付加的なイントラフレームの個数は、チャネル変更遅延時間を所定の臨界値以下にしながら、映像データの提供に要求される各チャネルの全体帯域幅を最小化するように決定する。このとき、チャネル変更遅延時間は、式(5)によって算出され、各チャネルの帯域幅は、式(14)によって算出される。これに対する詳細な説明は、該当の数学式の説明部分で詳細に記述したので省略する。
一実施例において、式(5)によって算出されるチャネル変更遅延時間と、式(14)によって算出されるチャネルの帯域幅を用いてチャネルタイプ及び付加的なイントラフレームの個数を決定するために、ビタビアルゴリズムを用いることができる。このビタビアルゴリズムは、図5に示したトレリスを用いて以前状態から現在状態への転移のうち式(23)を満足させない転移を削除することで、最適のチャネルタイプ及び付加的なイントラフレームの個数を決定するようになる。
他の実施例において、図7に示したアルゴリズムを用いて最適のチャネルタイプ及び付加的なイントラフレームの個数を算出することができる。図7に示すように、まず、各チャネルを初期状態に設定する(S200)。ここで、初期状態とは、チャネルタイプが動的チャネルで、付加的なイントラフレームの個数が0である状態を意味し、以下、チャネルタイプ及び付加的なイントラフレームの個数を初期状態の設定値と定義する。次に、式(29)を用いて初期状態でのチャネル変更遅延時間評価値を計算する(S210)。計算されたチャネル変更遅延時間評価値が0であるかどうかを判断し(S220)、チャネル変更遅延時間評価値が0である場合、初期状態の設定値を基準にしてチャネルタイプ及び付加的なイントラフレームの個数を決定する(S230)。
S220において、チャネル変更遅延時間評価値が0でない場合、初期状態で設定値を変更させながらチャネル変更遅延時間評価値を計算した後(S235)、計算されたチャネル変更遅延時間評価値を0にする設定値が存在するかどうかを判断する(S240)。チャネル変更遅延時間評価値を0にする設定値が存在する場合、そのうち、チャネルの帯域幅を最小化する設定値を基準にしてチャネルタイプ及び付加的なイントラフレームの個数を決定する(S250)。S240でチャネル変更遅延時間評価値を0にする設定値が存在しない場合、最初設定値の変更によって発生するコストを算出し(S260)、初期状態を、算出されたコストを最大化する設定値を用いて更新することで、次の状態を設定する(S270)。このとき、コストは、上述した式(30)によって算出される。コストの算出過程に対する詳細な説明は、式(30)の説明部分で記載したので省略する。
その後、チャネル変更遅延時間評価値が0になる設定値を有する状態が発見されるまで、S235〜S270を繰り返すことで、チャネルタイプ及び付加的なイントラフレームの個数を決定するようになる。
再び図6を参照すると、S100で決定された個数だけの付加的なイントラフレームを映像データに挿入し、映像データをエンコーディングした後(S110)、S100でチャネルタイプが静的チャネルに決定される場合、使用者のチャネル要請以前にエンコーディングされた映像データを使用者端末機19に最も隣接したルータにまで伝送し、チャネルタイプが動的チャネルに決定される場合、使用者のチャネル要請以前にエンコーディングされた映像データをIPTVサービス提供サーバー18に最も隣接したルータにまで伝送する(S120)。
図8及び図9は、上述した2個のアルゴリズムを用いてチャネルタイプ及び付加的なイントラフレームの個数を算出する実験を通して、各アルゴリズムの性能を分析して示した図である。まず、実験の前提条件を簡略に説明する。実験環境は、OPNETを使用して具現し、チャネル変更によって発生する遅延時間及びコアネットワーク上の帯域幅使用量が二つのアルゴリズムの性能を比較する尺度として使われた。コアネットワーク及びアクセスネットワークのリンク帯域幅は、それぞれ1Gbps、100Mbpsに設定し、IPネットワーク上の単方向遅延時間は0.6secで、アクセスネットワーク内の使用者数は20名に設定し、各チャネルを通して提供される映像データは、30fps(Frames Per Second)でエンコーディングされ、エンコーディング構造はIBBPBBPBBPBBである。
各チャネルは、SDTVチャネルグループとHDTVチャネルグループとに分類され、該当チャネルの帯域幅は、それぞれ4.12Mbps、12.06Mbpsである。映像データに挿入される付加的なイントラフレームの大きさは25000byteで、一つのGOP(Group of Pictures)内に挿入される付加的なイントラフレームの最大個数は3に設定した。各使用者のチャネル要請間の時間間隔は、ポアソン(Poisson)分布にしたがうもので、λ(Request Rate)は、1/30(Number of Requests Per Second)に設定した。各使用者のチャネル選好度は、一様(Uniform)分布またはジップ(Zipf)分布にしたがうもので、ジップ分布である場合、θ(Skew Facotr)は1.0に設定した。また、一般的に、HDTVチャネルの選好度をSDTVチャネルの選好度よりやや高く設定し、各使用者が同一のチャネル選好度傾向を示す場合も、チャネル番号は多少異なり得る。
ビタビアルゴリズムは、チャネル数の増加によって計算複雑度が指数的に増加するので、実験の簡便さのために、使用者のチャネル選好度は一様分布にしたがうようにし、相対的に少ないチャネル数で実験を進行した。実験において、1番チャネルはHDTVチャネルで、2番チャネルから5番チャネルまではSDTVチャネルである。
図8及び図9に示した結果から分かるように、二つのアルゴリズム(ビタビアルゴリズム、図7に示したアルゴリズム)は、臨界値の減少によって、式(23)を満足させるために静的チャネルの数及び付加的なイントラフレームの数が増加している。臨界値が0.4、1.4、1.5であるとき、多少の差を示すとしても、二つのアルゴリズムの性能は全般的に類似しているが、図7に示したアルゴリズムのCPU時間は、0.062secで、ビタビアルゴリズムのCPU時間である0.109secより短い。そのため、図7に示したアルゴリズムは、計算複雑度の側面で改善された性能を示すことが分かる。
図10乃至図12は、図7に示したアルゴリズムの性能を示す図である。提示されたアルゴリズムの性能を実験するために、全体チャネル30個のうち1番チャネル、5番チャネル、10番チャネル、20番チャネル及び30番チャネルをHDTVチャネルに設定し、残りのチャネルをSDTVチャネルに設定した。また、各使用者のチャネル選好度は、一様分布またはジップ分布にしたがうもので、臨界値は1.0secに設定した。
まず、使用者のチャネル選好度が一様分布にしたがうとき、図10及び図11に示すように、全てのチャネルが動的チャネルである場合、ネットワーク効率性は最も良いが、チャネル変更遅延が臨界値を越える使用者が存在することが分かる。一方、全てのチャネルが静的チャネルである場合、チャネル変更遅延は最も良い性能を示すが、ネットワーク効率性は減少したことが分かる。その反面、図7に示したアルゴリズムの場合、各使用者のチャネル選好度に基づいてチャネルタイプを決定し、各チャネルを通して伝送される映像データに付加的なイントラフレームを挿入することで、ネットワークの効率性を向上させながら、使用者のチャネル変更遅延も臨界値以下にすることができる。
一方、使用者のチャネル選好度がジップ分布にしたがう場合も、上記と類似した結果を示し、図12に示すように、図7に示したアルゴリズムを用いることで、チャネル変更遅延を減少させると同時に、ネットワーク効率性を向上させることが分かる。
本発明の属する技術分野の当業者であれば、本発明の技術的思想や必須的な特徴を逸脱しない範囲で、他の具体的な形態で実施されることを理解できるだろう。
したがって、上述した各実施例は、全ての面で例示的なものに過ぎなく、限定的なものとして理解してはならない。本発明の範囲は、上記の詳細な説明よりも特許請求の範囲に示されるもので、特許請求の範囲の意味、範囲及びその等価概念から導出される全ての変更または変形形態は、本発明の範囲に含まれるものとして解析すべきである。
放送サービス提供メカニズム及びIPTVサービス提供メカニズムを示す図である。 一般的なIPTVサービス提供システムを示す網構成図である。 IPTVのチャネル変更過程を示す図である。 本発明の一実施例に係るIPTVサービス提供サーバーのブロック図である。 ビタビアルゴリズムのトレリスを示す図である。 本発明の一実施例に係るIPTVの応答遅延減少方法を示すフローチャートである。 チャネルタイプ及び付加的なイントラフレームの個数を決定するアルゴリズムを示すフローチャートである。 チャネルタイプ及び付加的なイントラフレームの個数を決定するために用いられた各アルゴリズムの性能を比較した図である。 チャネルタイプ及び付加的なイントラフレームの個数を決定するために用いられた各アルゴリズムの性能を比較した図である。 図7に示したアルゴリズムの性能を示す図である。 図7に示したアルゴリズムの性能を示す図である。 図7に示したアルゴリズムの性能を示す図である。
符号の説明
18 IPTVサービス提供サーバー
24 演算部
26 エンコーダー
28 データ伝送部
30 チャネル選好度算出部
32 遅延時間算出部
34 帯域幅算出部
36 チャネル特性決定部

Claims (21)

  1. 演算部が、使用者に提供される各チャネルのチャネルタイプ、及び前記各チャネルを通して提供される映像データに挿入する付加的なイントラフレームの個数を決定する段階と、
    エンコーダーが、前記決定された個数だけの付加的なイントラフレームを前記映像データに挿入し、前記映像データをエンコーディングする段階と、
    データ伝送部が、前記決定された各チャネルタイプによって、前記エンコーディングされた映像データを前記チャネルに対する使用者の要請以前に第1ルータまたは第2ルータにまで伝送する段階と、を含み、
    前記チャネルタイプは、前記チャネルを通して伝送される前記映像データを第1ルータにまで伝送する第1タイプと、前記映像データを第2ルータにまで伝送する第2タイプとに分類され、前記第1ルータは、使用者端末機に隣接したルータで、前記第2ルータは、IPTVサービス提供サーバーに隣接したルータであることを特徴とするIPTVの応答遅延減少方法。
  2. 前記チャネルタイプ及び前記付加的なイントラフレームの個数は、チャネル変更遅延時間を所定の臨界値以下にしながら、前記映像データの提供に要求される前記各チャネルの全体帯域幅を最小化するように決定されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  3. 前記チャネルタイプ及び前記付加的なイントラフレームの個数は、前記各チャネルに対する使用者の選好度を反映して決定されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  4. 前記各チャネルに対する前記使用者の選好度は、所定時間間隔の間、前記使用者が該当チャネルを視聴した時間を用いて推定されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  5. 前記チャネル変更遅延時間は、前記各チャネルが受信されるのに要される時間と、前記各チャネルを通して提供される前記映像データのデコーディング遅延時間との和に、各チャネルに対する前記使用者の選好度を掛けることで算出されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  6. 前記各チャネルの帯域幅は、当該各チャネルのチャネルタイプを表す所定値と、当該各チャネルを通して前記映像データ提供のために要求される帯域幅との積を用いて算出されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  7. 前記チャネルタイプを表す前記所定値は、
    所定チャネルが第1タイプであると第1値に決定され、前記所定チャネルが第2タイプであると、前記チャネルに対する各使用者の選好度の和に決定されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  8. 前記チャネルタイプ及び前記イントラフレームの個数は、ビタビアルゴリズムを用いて決定されることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  9. 前記チャネルタイプ及び前記イントラフレームの個数決定段階は、
    前記演算部が、前記チャネルタイプ及び前記イントラフレームの個数を設定値として第1状態を設定し、前記第1状態でのチャネル変更遅延時間を算出する段階と、
    前記演算部が、前記第1状態でのチャネル変更遅延時間が前記臨界値以下である場合、前記第1状態の最初設定値を基準にして前記チャネルタイプ及び前記付加的なイントラフレームの個数を決定する段階と、
    前記演算部が、前記第1状態でのチャネル変更遅延時間が前記臨界値を超える場合、前記第1状態の最初設定値を変更させながら、変更された各設定値に対するチャネル変更遅延時間を算出する段階と、
    前記演算部が、前記変更された各設定値のうち、前記変更された設定値に対するチャネル変更遅延時間を前記臨界値以下にする設定値が存在する場合、該当設定値のうち、前記チャネルの帯域幅を最小化する設定値を基準にして前記チャネルタイプ及び前記イントラフレームの個数を決定し、そうでない場合、前記第1状態を第2状態に更新する段階と、を含み、
    前記チャネル変更遅延時間を前記臨界値にする設定値を有する状態が発見されるまで、前記変更された各設定値に対するチャネル変更遅延時間算出段階及び前記状態更新段階を繰り返すことを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  10. 前記第1状態から第2状態への更新は、
    前記第1状態での設定値変更によって発生するコストを最大化する設定値を、前記第2状態の最初設定値に決定することで行われることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  11. 前記コストは、前記第1状態での設定値に対するチャネル変更遅延時間と前記臨界値との差値の変化量と、前記チャネルの帯域幅の変化量との比で算出されることを特徴とする請求項10に記載のIPTVの応答遅延減少方法。
  12. 前記第1状態の最初設定値は、全てのチャネルのチャネルタイプが第2タイプで、前記付加的なイントラフレームの個数が0であることを特徴とする請求項に記載のIPTVの応答遅延減少方法。
  13. 請求項1乃至請求項1のうち何れか1項に記載の方法をコンピュータが行うためのプログラムが記録されたコンピュータ可読な記録媒体。
  14. 使用者に提供される各チャネルのチャネルタイプ、及び前記各チャネルを通して提供される映像データに挿入する付加的なイントラフレームの個数を決定する演算部と、
    前記演算部によって決定された個数だけの前記付加的なイントラフレームを前記映像データに挿入し、前記映像データをエンコーディングするエンコーダーと、
    前記演算部によって決定された前記各チャネルタイプによって、前記エンコーディングされた映像データを、前記チャネルに対する使用者の要請以前に使用者端末機に隣接した第1ルータまたはIPTV提供サーバーに隣接した第2ルータにまで伝送するデータ伝送部と、を含み、
    前記演算部によって決定される前記チャネルタイプは、前記映像データが前記チャネルを通して前記第1ルータにまで伝送される第1タイプと、前記映像データが前記チャネルを通して前記第2ルータにまで伝送される第2タイプとに分類されることを特徴とするIPTVサービス提供サーバー。
  15. 前記演算部は、チャネル変更遅延時間を所定の臨界値以下にしながら、前記映像データの提供に要求される前記各チャネルの全体帯域幅を最小化するように前記チャネルタイプ及び前記付加的なイントラフレームの個数を決定することを特徴とする請求項1に記載のIPTVサービス提供サーバー。
  16. 前記演算部は、
    所定チャネルに対する使用者の選好度を算出するチャネル選好度算出部と、
    前記各チャネルが受信されるのに要される時間と、前記各チャネルを通して提供される前記映像データのデコーディング遅延時間との和と、前記各チャネルに対する前記使用者のチャネル選好度との積を用いて前記チャネル変更遅延時間を算出する遅延時間算出部と、
    前記チャネルタイプを表す所定値と、前記映像データ伝送に要される各チャネルの帯域幅との積を用いて、前記各チャネルの全体帯域幅を算出する帯域幅算出部と、
    前記遅延時間算出部によって算出される前記チャネル変更遅延時間を臨界値以下の値にしながら、前記帯域幅算出部によって算出されるチャネルの全体帯域幅を最小化する前記チャネルタイプ及び付加的なイントラフレームの個数を決定するチャネル特性決定部と、
    を含むことを特徴とする請求項1に記載のIPTVサービス提供サーバー。
  17. 前記演算部は、前記チャネルタイプ及び前記付加的なイントラフレームの個数を設定値にして第1状態を設定し、前記チャネル変更遅延時間を前記臨界値以下にする設定値を有する状態が発見されるまで前記設定値を変更させながら、前記第1状態を反復的に更新させ、前記チャネル変更遅延時間を前記臨界値以下にする設定値を有する状態が発見される場合、該当状態の各設定値のうち前記各チャネルの帯域幅を最小化する設定値を基準にして前記チャネルタイプ及び付加的なイントラフレームの個数を決定することを特徴とする請求項1に記載のIPTVサービス提供サーバー。
  18. 前記第1状態の反復的更新は、前記第1状態での変更された各設定値のうち、前記チャネル変更遅延時間を前記臨界値以下にする設定値が発見されないときに行われることを特徴とする請求項1に記載のIPTVサービス提供サーバー。
  19. 前記第1状態の反復的更新は、前記第1状態の設定値変更によって発生するコストを最大化する設定値を用いて前記第1状態を第2状態に更新することを特徴とする請求項18に記載のIPTVサービス提供サーバー。
  20. 前記コストは、前記第1状態での設定値に対するチャネル変更遅延時間と前記臨界値との差値の変化量と、前記チャネルの帯域幅の変化量との比で算出されることを特徴とする請求項19に記載のIPTVサービス提供サーバー。
  21. 前記第1状態の最初設定値は、全てのチャネルのチャネルタイプが第2タイプで、前記付加的なイントラフレームの個数が0であることを特徴とする請求項1に記載のIPTVサービス提供サーバー。
JP2007198756A 2007-07-31 2007-07-31 Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー Expired - Fee Related JP4585550B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007198756A JP4585550B2 (ja) 2007-07-31 2007-07-31 Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007198756A JP4585550B2 (ja) 2007-07-31 2007-07-31 Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー

Publications (2)

Publication Number Publication Date
JP2009038448A JP2009038448A (ja) 2009-02-19
JP4585550B2 true JP4585550B2 (ja) 2010-11-24

Family

ID=40440020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007198756A Expired - Fee Related JP4585550B2 (ja) 2007-07-31 2007-07-31 Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー

Country Status (1)

Country Link
JP (1) JP4585550B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2769949C (en) * 2009-08-07 2017-06-06 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for tuning to a channel of a moving pictures expert group transport stream (mpeg-ts)
JP2015216654A (ja) * 2015-06-19 2015-12-03 テレフオンアクチーボラゲット エル エム エリクソン(パブル) MPEG(MovingPicturesExpertGroup)トランスポートストリーム(MPEG−TS)のチャンネル選局を行う装置及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246395A (ja) * 2005-03-07 2006-09-14 Fujitsu Ltd マルチキャストプロキシ装置
JP2008199540A (ja) * 2007-02-15 2008-08-28 Sony Corp マルチキャスト配信システムおよびマルチキャスト配信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246395A (ja) * 2005-03-07 2006-09-14 Fujitsu Ltd マルチキャストプロキシ装置
JP2008199540A (ja) * 2007-02-15 2008-08-28 Sony Corp マルチキャスト配信システムおよびマルチキャスト配信方法

Also Published As

Publication number Publication date
JP2009038448A (ja) 2009-02-19

Similar Documents

Publication Publication Date Title
US8468573B2 (en) Method for reducing channel change time of internet protocol television (IPTV) and IPTV service provision server for implementing the same
US10419787B2 (en) Dynamic programming across multiple streams
US10277530B2 (en) Allocating portions of a shared network resource based on client device groups
US10277532B2 (en) Quality management of media encoding for multiple client devices
CN105357592B (zh) 一种流媒体自适应传输选择性丢帧方法
US10680911B2 (en) Quality of experience based network resource management
US8861372B2 (en) Method and device for fast pushing unicast stream in fast channel change
US10104407B2 (en) Method and device for network-assisted client-centric QoE optimization
US9866602B2 (en) Adaptive bit rates during broadcast transmission in distributed content delivery networks
CN106954101B (zh) 一种低延迟实时视频流媒体无线传输的丢帧控制方法
US10063902B2 (en) ABR network profile selection engine
US11641497B2 (en) Method and device for detecting available bandwidth based on burstiness of key frame of video stream
JP4585550B2 (ja) Iptvの応答遅延減少方法及びその方法を具現するためのiptvサービス提供サーバー
EP2348730B1 (en) Method, device and system for video stream transmission
KR100874094B1 (ko) Iptv 서비스 제공 서버 및 방법
US8234683B2 (en) Method and apparatus for controlling channel for providing internet protocol television service
CN109450815B (zh) 一种基于效用值的对等网络流媒体系统数据调度方法
KR102388186B1 (ko) 와이파이 다이렉트에서 기댓값 최대화 알고리즘 기반 비디오 프레임 전송 방법 및 장치
Bing MPEG-4 AVC video traffic smoothing for broadband cable networks
Choi et al. Packet scheduling based on Geo/sup Y//G//spl infin/input process modeling for streaming video
Yingjian Scalable media streaming to heterogenous users
Rexford et al. Online Smoothing for Delayed Transmission of Live Video
Jitter LAN MAN WAN

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100903

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees