JP4412262B2 - 通信方法、通信システム、送信装置及び受信装置 - Google Patents

通信方法、通信システム、送信装置及び受信装置 Download PDF

Info

Publication number
JP4412262B2
JP4412262B2 JP2005259915A JP2005259915A JP4412262B2 JP 4412262 B2 JP4412262 B2 JP 4412262B2 JP 2005259915 A JP2005259915 A JP 2005259915A JP 2005259915 A JP2005259915 A JP 2005259915A JP 4412262 B2 JP4412262 B2 JP 4412262B2
Authority
JP
Japan
Prior art keywords
data
division
compensation data
transmission
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005259915A
Other languages
English (en)
Other versions
JP2007074440A (ja
Inventor
雅巳 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2005259915A priority Critical patent/JP4412262B2/ja
Publication of JP2007074440A publication Critical patent/JP2007074440A/ja
Application granted granted Critical
Publication of JP4412262B2 publication Critical patent/JP4412262B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、送信装置から受信装置へデータを送信する通信方法、該通信方法を適用した通信システム、及び該通信システムにて用いられる送信装置に関し、特に送信データの送信時の欠損を補償することが可能な通信方法、通信システム送信装置、及び受信装置に関する。
映画、テレビジョン放送、コンサート等の様々な映像及び/又は音楽を出力させる送信データをストリーミング送信する通信システムが普及している。また音楽等の楽曲コンテンツ、更にはニュース、天気予報等の簡易画像コンテンツに係る送信データを、携帯電話網等の通信網を介して、携帯端末等の受信装置へ送信し、受信装置上でコンテンツを再生する通信システムが普及している。
このような通信システムでは、送信された送信データが受信側の装置に到達するまでに様々なノイズにより送信データの一部が欠損し、映像の乱れ等の悪影響を及ぼすことがある。特に送信データを無線により受信側の装置へ送信する場合には、電磁ノイズによる影響だけでなく、建造物等の障害物による影響も大きいため、有線のネットワークを介しての送信以上に欠損に対する対策が必要となる。
たとえばTCP等のプロトコルを用いた通信では、送信データに欠損が生じた場合に、欠損した箇所を再送する処理が行われている。このような再送処理は、ユニキャストと呼ばれる1対1の通信では有効であるが、マルチキャストによる通信、ブロードキャスト放送でのコンテンツ配信等の複数の受信側へ同時に送信する通信方法には不向きである。
そこで同じ送信データを繰り返し送信する連送方式(カルーセル方式)が提案されている。連送方式では、受信した送信データに欠損が生じていた場合でも、次の周期で受信した送信データにより欠損箇所を補償することが可能である。
また送信データを冗長化して欠損の補償を可能とした欠損補償データを送信側から受信側へ送信し、受信したデータに欠損が生じていた場合でも、受信しているデータから欠損箇所を補償することが可能なFEC符号化技術が特許文献1に記載されている。
米国特許第6320520号明細書
しかしながら連送方式の場合、例えば周期的にノイズが入り、各周期で同じ箇所のデータが欠損し続けた時は、何周期もデータを待ち続けなければならないという問題がある。
特許文献1に記載されたFEC符号化技術は、送信データを冗長化する技術であり、データサイズが大きくなるため、受信側の装置が、メモリサイズの制約が大きい携帯電話等の装置である場合、FEC符号化されたデータから元の送信データを復号するために必要な記録領域を確保することができないという問題がある。
本発明は斯かる事情に鑑みてなされたものであり、送信すべき送信データを分割して分割送信データを生成し、生成した分割送信データに対してFEC符号化を行い、欠損補償データを生成することにより、同じデータを連送せずとも受信側で欠損箇所の補償が可能であり、またFEC符号化前の送信データを分割することにより、データサイズが小さくなるので、メモリサイズの制約が大きい受信側の装置に対しても対応することが可能な通信方法、該通信方法を適用した通信システム、該通信システムにて用いられる送信装置及び受信装置の提供を主たる目的とする。
また本発明では、複数の欠損補償データを、夫々所定数に分割した複数の分割欠損補償データを生成し、生成した複数の分割欠損補償データを、前記所定数個のグループに集約し、集約したグループ毎に分割欠損補償データを送信することにより、冗長度を上げて欠損に対する耐性を強くした場合でも、通信時間を短縮することが可能な通信方法等の提供を他の目的とする。
しかも本発明では、欠損補償データを、夫々送信の単位となる単位欠損補償データに分割し、分割前の欠損補償データに基づき決定する順序に従って、分割した単位で巡回的に単位欠損補償データを送信することにより、バースト的な欠損に対する耐性を強くすることが可能な通信方法等の提供を更に他の目的とする。
第1発明に係る通信方法は、送信装置から受信装置へデータを送信する通信方法において、設定されている分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成し、生成した複数の分割送信データを夫々所定の冗長度で冗長化して欠損の補償を可能とした欠損補償データを複数生成し、生成した複数の欠損補償データを、前記冗長度に応じて特定され、分割後も各々で欠損の補償を可能とする分割数で分割した複数の分割欠損補償データを生成し、生成した複数の分割欠損補償データを、前記分割数個のグループに集約し、前記複数の分割欠損補償データを、集約したグループ毎に、前記送信装置から前記受信装置へ送信することを特徴とする。
本発明では、送信データを分割した分割送信データに対して、欠損補償符号化を行うこ
とにより、欠損補償データのデータサイズを小さくすることができるので、メモリサイズの制約が大きい携帯電話等の受信装置へ送信データを送信する場合でも、欠損箇所の補償を行うことが可能である。
更に本発明では、例えば欠損補償符号化の冗長度を2倍に上げて欠損に対する耐性を強くし、各欠損補償データを2つに分割して、分割した各欠損補償データを2つのグループとして集約し、集約したグループ毎に送信することにより、例えば受信装置が一方のグループのみを受信した段階で、受信した分割欠損補償データに欠損が少ない場合、一方のグループのみの分割欠損補償データだけからでも送信データを生成することが可能になる。従って、冗長度を上げて欠損に対する耐性を強くした場合でも、通信状態が良好な状況下においては、通信時間を短縮することが可能である。しかも周期的にノイズが発生して、一方のグループと、他方のグループとの同様の箇所が欠損した場合であっても、各グループに含まれる分割欠損補償データは異なっているので、更に次の周期のグループを受信することなく、欠損を補償することが可能である。
第2発明に係る通信方法は、第1発明において、送信データのデータ長を検出し、検出したデータ長に基づいて、送信データを分割する基準長を算出し、算出した基準長を、分割サイズとして設定することを特徴とする。
本発明では、送信データのデータ長に応じて、分割サイズを設定することにより、分割サイズを適正化することが可能である。分割サイズを適正化することにより、最後に送信されるべき分割送信データに対するデータ長を調整することができるので、例えば分割送信データを固定長のパケット単位で送信する場合に、最後に送信するパケットに挿入するダミーデータを最小限にすることができる。
第3発明に係る通信方法は、第1発明又は第2発明において、前記送信装置から前記受信装置へ、分割欠損補償データを繰り返し送信することを特徴とする。
本発明では、受信した分割後の欠損補償データの欠損箇所が多く、元の送信データを復号することができない場合でも、次の周期で受信した分割欠損補償データに基づいて復号することが可能である。しかも従来の元の送信データを連続送信する連送方式と比べ、欠損補償データを連続送信する本発明では、欠損箇所が重複する可能性を低く抑えることが可能である。
発明に係る通信方法は、第1発明乃至第3発明のいずれかにおいて、前記複数の分割欠損補償データを、夫々送信の単位となる単位欠損補償データに分割し、前記送信装置から前記受信装置へ送信する分割欠損補償データは、分割前の欠損補償データに基づき決定する順序に従って、分割した単位で巡回的に送信される単位欠損補償データであること
を特徴とする。
本発明では、分割後の欠損補償データをインターリーブ方式で送信することにより、データを転送中にバースト的な障害が発生した場合でも、欠損箇所が分散されるので、バースト的な欠損に対する耐性を強くすることが可能である。
発明に係る通信方法は、第1発明乃至第発明のいずれかにおいて、前記送信装置から前記受信装置へ送信する分割欠損補償データは、分割前の欠損補償データとしての送信開始時期が、所定時間ずつ異なっており、且つ、同時期に送信する分割前の欠損補償データの数が、全ての欠損補償データの数より小さいことを特徴とする。
本発明では、インターリーブ方式を畳み込み的に実施することにより、受信装置側で、欠損補償データ毎に要するメモリに関する制約を軽減することが可能である。
発明に係る通信方法は、第1発明乃至第発明のいずれかにおいて、前記受信装置は、グループ毎に前記分割欠損補償データを受信し、1のグループについて受信した分割欠損補償データに基づいて分割送信データを復元し、復元に失敗した場合、複数のグループについて受信した分割欠損補償データを統合して分割送信データを復元し、復元した複数の分割送信データに基づいて送信データを復元することを特徴とする。
本発明では、受信装置側にて欠損を補償する処理を実行する。
発明に係る通信システムは、データを送信する送信装置と、該送信装置から送信されたデータを受信する受信装置とを備える通信システムにおいて、前記送信装置は、設定されている分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成する手段と、生成した複数の分割送信データを夫々所定の冗長度で冗長化して欠損の補償を可能とした欠損補償データを複数生成する手段と、生成した複数の欠損補償データを、前記冗長度に応じて特定され、分割後も各々で欠損の補償を可能とする分割数で分割した複数の分割欠損補償データを生成する手段と、生成した複数の分割欠損補償データを、前記分割数個のグループに集約する手段と、前記複数の分割欠損補償データを、集約したグループ毎に、受信装置へ送信する手段とを備え、該受信装置は、グループ毎に前記分割欠損補償データを受信する手段と、1のグループについて受信した分割欠損補償データに基づいて分割送信データを復元する手段と、該手段にて復元に失敗した場合、複数のグループについて受信した分割欠損補償データを統合して分割送信データを復元する手段と、復元した複数の分割送信データに基づいて送信データを復元する手段とを備えること
を特徴とする。
本発明では、送信データを分割した分割送信データに対して、欠損補償符号化を行うことにより、欠損補償データのデータサイズを小さくすることができるので、メモリサイズの制約が大きい携帯電話等の受信装置へ送信データを送信する場合でも、欠損箇所の補償を行うことが可能である。
更に本発明では、例えば欠損補償符号化の冗長度を2倍に上げて欠損に対する耐性を強くし、各欠損補償データを2つに分割して、分割した各欠損補償データを2つのグループとして集約し、集約したグループ毎に送信することにより、例えば受信装置が一方のグループのみを受信した段階で、受信した分割欠損補償データに欠損が少ない場合、一方のグループのみの分割欠損補償データだけからでも送信データを生成することが可能になる。従って、冗長度を上げて欠損に対する耐性を強くした場合でも、通信状態が良好な状況下においては、通信時間を短縮することが可能である。しかも周期的にノイズが発生して、一方のグループと、他方のグループとの同様の箇所が欠損した場合であっても、各グループに含まれる分割欠損補償データは異なっているので、更に次の周期のグループを受信することなく、受信側で欠損を補償することが可能である。
第8発明に係る送信装置は、設定されている分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成する手段と、生成した複数の分割送信データを夫々所定の冗長度で冗長化して欠損の補償を可能とした欠損補償データを複数生成する手段と、生成した複数の欠損補償データを、前記冗長度に応じて特定され、分割後も各々で欠損の補償を可能とする分割数で分割した複数の分割欠損補償データを生成する手段と、生成した複数の分割欠損補償データを、前記分割数個のグループに集約する手段と、前記複数の分割欠損補償データを、集約したグループ毎に送信する手段とを備えることを特徴とする。
これに対応する第9発明に係る受信装置は、送信されるべき送信データが分割された分割送信データを、所定の冗長度で冗長化して欠損の補償を可能とした複数の欠損補償データが更に、分割後も各々での補償が可能な分割数で分割されて前記分割数個のグループ毎に送信される分割欠損補償データを、前記グループ毎に受信する手段と、1のグループについて受信した分割欠損補償データに基づいて分割送信データを復元する手段と、該手段にて復元に失敗した場合、複数のグループについて受信した分割欠損補償データを統合して分割送信データを復元する手段と、復元した複数の分割送信データに基づいて送信データを復元する手段とを備えることを特徴とする。
本発明では、送信データを分割した分割送信データに対して、欠損補償符号化を行うことにより、欠損補償データのデータサイズを小さくすることができるので、メモリサイズの制約が大きい携帯電話等の受信装置へ送信データを送信する場合でも、欠損箇所の補償を行うことが可能である。
更に本発明では、例えば欠損補償符号化の冗長度を2倍に上げて欠損に対する耐性を強くし、各欠損補償データを2つに分割して、分割した各欠損補償データを2つのグループとして集約し、集約したグループ毎に送信することにより、例えば受信装置が一方のグループのみを受信した段階で、受信した分割欠損補償データに欠損が少ない場合、一方のグループのみの分割欠損補償データだけからでも送信データを生成することが可能になる。従って、冗長度を上げて欠損に対する耐性を強くした場合でも、通信状態が良好な状況下においては、通信時間を短縮することが可能である。しかも周期的にノイズが発生して、一方のグループと、他方のグループとの同様の箇所が欠損した場合であっても、各グループに含まれる分割欠損補償データは異なっているので、更に次の周期のグループを受信することなく、受信側で欠損を補償することが可能である。
本発明に係る通信方法、通信システム送信装置及び受信装置は、送信装置にて映像及び音楽データ等の送信すべき送信データのデータ長に応じて設定された分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成し、生成した複数の分割送信データを夫々冗長化して欠損の補償を可能とした欠損補償データを複数生成し、生成した複数の欠損補償データを、前記送信装置から前記受信装置へ送信し、受信装置では、受信した欠損補償データに基づいて分割送信データを復元し、復元した複数の分割送信データに基づいて送信データを復元する。
この構成により、本発明では、データ長に応じた適正な分割サイズで送信データを分割した分割送信データに対して、欠損補償符号化を行うことにより、欠損補償データのデータサイズを小さくすることができるので、メモリサイズの制約が大きい携帯電話等の受信装置へ送信データを送信する場合でも、欠損箇所の補償を行うことが可能である等、優れた効果を奏する。分割サイズをデータ長に応じて適正化することにより、最後に送信されるべき分割送信データに対するデータ長を調整することができるので、例えば分割送信データを固定長のパケット単位で送信する場合に、最後に送信するパケットに挿入するダミーデータを最小限にすることが可能となる等、優れた効果を奏する。
また本発明では、複数の欠損補償データを、夫々所定数に分割した複数の分割欠損補償データを生成し、生成した複数の分割欠損補償データを、前記所定数個のグループに集約し、集約したグループ毎に分割欠損補償データを送信する。
この構成により、本発明では、例えば欠損補償符号化の冗長度を2倍に上げて欠損に対する耐性を強くし、各欠損補償データを2つに分割して、分割した各欠損補償データを2つのグループとして集約し、集約したグループ毎に送信することにより、例えば受信装置が一方のグループのみを受信した段階で、受信した分割欠損補償データに欠損が少ない場合、一方のグループのみの分割欠損補償データだけからでも送信データを生成することが可能になる等、優れた効果を奏する。即ち、冗長度を上げて欠損に対する耐性を強くした場合でも、通信状態が良好な状況下においては、通信時間を短縮することが可能である。しかも周期的にノイズが発生して、一方のグループと、他方のグループとの同様の箇所が欠損した場合であっても、各グループに含まれる分割欠損補償データは異なっているので、更に次の周期のグループを受信することなく、欠損を補償することが可能である等、優れた効果を奏する。
さらに本発明では、インターリーブ方式、即ち欠損補償データを、夫々送信の単位となる単位欠損補償データに分割し、分割前の欠損補償データに基づき決定する順序に従って、分割した単位で巡回的に単位欠損補償データを送信する。
この構成により、本発明では、データを転送中にバースト的な障害が発生した場合でも、欠損箇所が分散されるので、バースト的な欠損に対する耐性を強くすることが可能である等、優れた効果を奏する。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
実施の形態1.
図1は、本発明の実施の形態1における通信システムの構成例を概念的に示す説明図である。図1中1は、映像及び音声データを送信するサーバコンピュータ等の送信装置であり、送信装置1は、携帯電話網、インターネット網等の有線及び/又は無線の通信網を介して、映像及び音声データを、マルチキャスト通信、ブロードキャスト放送等の通信方法で、携帯電話、パーソナルコンピュータ等の複数の受信装置2へ送信する。送信装置1から送信された映像及び音声データは、受信装置2により受信され、受信装置2は、映像及び音声データに基づいて、映像及び音声を出力する。なお図1を用いたここでの説明では、便宜上、送信装置1から受信装置2へ映像及び音声データを送信するとして説明しているが、実際には、映像及び音声のオリジナルデータを、MPEG(Motion Picture Expert Group) 等の符号化形式にて圧縮符号化して送信データを生成し、生成した送信データに対して欠損の補償を可能とする欠損補償符号化を行った上で送信装置1から受信装置2へ送信する。
図2は、本発明の実施の形態1における通信システムの各種装置の構成例を示すブロック図である。サーバコンピュータを用いた送信装置1は、装置全体を制御するCPU(Central Processing Unit) 等の制御手段11と、様々なコンピュータプログラム、並びにコンピュータプログラムの処理に要する処理用データ、送信データの原データである映像データ及び音声データ等の各種データを記録するハードディスク等の記録手段12とを備えている。
また送信装置1は、映像及び音声データの原データをMPEG等の符号化形式にて圧縮符号化する圧縮符号化手段13と、圧縮符号化された映像及び音声データである送信データを分割して分割送信データを生成するブロック分割手段14と、データを冗長化して欠損の補償を可能とする欠損補償符号化を行うFEC(Forward Error Correction)エンコード手段15と、データの分割及びグループ化を行うデータ分割処理手段16と、インターリーブ処理を行うインターリーブ処理手段17とを備えている。そして送信装置は、分割、グループ化、インターリーブ処理等の様々な処理を施したデータを、記録手段12に記録し、送信手段18から通信網を介して受信装置2へ送信する。
送信装置1が備えるFECエンコード手段15では、欠損補償の対象となるデータを形成する要素データ同士の論理演算の結果に基づいて欠損補償データを生成するものであり、論理演算の回数を増やすことにより、冗長度が高くなり全体としてのデータ長が長くなるが、欠損に対する耐性が強くなる。具体的な欠損補償符号化の方法としては、例えば米国特許第6320520号明細書に記載されている方法が用いられる。
携帯電話を用いた受信装置2は、各種通信処理、音声入出力処理、画像表示処理等の各種処理を制御するCPU等の制御手段201と、コンピュータプログラム及びデータ等の各種情報を記録するROM(Read Only Memory)、RAM(Random Access Memory)等の記録手段202とを備えている。
また受信装置2は、電話通信、送信装置1から送信されるデータの受信等の通信を行うアンテナ及び通信制御回路等の受信手段203を備えている。なお当実施の形態では、電話通信並びに各種データの受信で、受信手段203を共有する形態を示しているが、夫々の通信毎に受信手段203を設ける様にしても良い。
さらに受信装置2は、インターリーブ処理されたデータを元のデータに復元するインターリーブ復元処理手段204、分割及びグループ化されたデータを元に戻す分割データ統合処理手段205、欠損補償データの欠損箇所の補償を行うFECデコード手段206、分割送信データを統合して送信データを生成する分割ブロック統合手段207、並びに送信データが映像及び音声データの原データをMPEG等の符号化形式にて圧縮符号化されたデータである場合に、伸長復号して映像データ及び音声データの原データを生成する集積回路等の伸長復号手段208とを備えている。なおインターリーブ復元処理手段204、分割データ等号処理手段205、FECデコード手段206、分割ブロック統合手段207及び伸長復号手段208として集積回路を実装するのではなく、記録手段202に記録したコンピュータプログラムを実行することにより、様々な処理を実行する様にしても良い。
さらに受信装置2は、マイク及び音声処理回路等の音声入力手段209と、スピーカ及び音声処理回路等の音声出力手段210と、英数字及び各種命令等のキー入力を受け付ける押釦等の操作手段211と、キー入力された情報及び送受信する情報等の各種情報を表示する液晶ディスプレイ等の表示手段212とを備えている。
次に本発明の実施の形態1における通信システムにて用いられる各種装置の処理について説明する。図3は、本発明の実施の形態1における通信システムにて用いられる送信装置1の送信処理の一例を示すフローチャートである。送信装置1は、制御手段11の制御に基づくブロック分割手段14の処理により、MPEG等の符号化形式にて圧縮符号化された送信データのデータ長を検出し(S101)、検出したデータ長に基づき、例えば下記の式1を用いて、送信データを分割する基準長を算出し(S102)、算出した基準長を、ブロックサイズ(分割サイズ)として設定し(S103)、設定されたブロックサイズに基づき、送信データを分割して複数の分割送信データを生成する(S104)。
B=D/Ceiling(D/M) …式1
但し、B:基準長(ブロックサイズ)の最適理論値
D:送信データのデータ長
M:基準長(ブロックサイズ)の上限値
式1に示す様に、送信装置1では、検出したデータ長Dを、予め設定している上限値Mにて除し、その結果を切り上げて整数とし、その整数により、データ長Dを除すことにより、基準長の最適理論値Bが算出される。ただし基準長の最適理論値Bが取り得る値には、偶数、4の倍数、8の倍数、パケットサイズの倍数等の処理上の制約が課せられる場合があり、その場合、式1の右辺にて求められた数値は、制約に応じた値になる様に切り上げが行われる。また送信データのデータ長をブロックサイズで除した場合、必ずしも割り切れる訳ではない。この時に生じる除算の剰余に相当するデータは、分割送信データを固定長のパケット単位で送信する場合、パケットサイズの不足分に相当するダミーデータが挿入されたパケットとして送信される。式1に示す様に基準長Bを可変とすることにより、挿入されるダミーデータを最小化することが可能となる。
送信装置1は、制御手段11の制御に基づくFECエンコード手段15の処理により、分割送信データを夫々冗長化して欠損の補償を可能とする欠損補償符号化処理にて欠損補償データを生成し(S105)、生成した欠損補償データを記録手段12に記録する(S106)。
そして送信装置1は、制御手段11の制御に基づく送信手段18の処理により、記録手段12に記録した欠損補償データを、通信網を介して受信装置2へ繰り返し送信する(S107)。
図4は、本発明の実施の形態1における送信装置1から送信されるデータの一例を概念的に示す説明図である。図4(a)は、映像及び音声データを圧縮符号化した送信データを示しており、図4(b)は、送信データを分割して生成した分割送信データを示している。図4(a)に示した送信データが、図4(b)では、SB1,SB2,…,SBnとして示す分割送信データに分割されている。なお各分割送信データのデータ長は、送信データのデータ長Dに基づいて設定されたブロックサイズBとなっている。図4(c)は、各分割送信データを欠損補償符号化して生成した欠損補償データを示している。図4(b)にSB1,SB2,…,SBnとして示した分割送信データが、図4(c)では、ESB1,ESB2,…,ESBnとして示す欠損補償データとなっている。なお図4では、50%程度の冗長度を持たせて、データ長を150%に伸長した状態を示している。なお元の分割送信データのデータ長に対して、150%中、約105%以上の箇所が残存していれば、そこから分割送信データを復元することが可能である。図4(d)は、図4(c)にて生成した欠損補償データを繰り返し送信する状態を示している。なお図4(d)に示す様に欠損補償データを連続して繰り返し送信するのではなく、最後の欠損補償データESBnを送信後、所定時間待機して、欠損補償データESB1,ESB2,…を送信するという様に、欠損補償データを断続的に繰り返し送信する様にしても良い。
図5は、本発明の実施の形態1における受信装置2の受信処理の一例を示すフローチャートである。受信装置2は、制御手段201の制御に基づき受信手段203にて、欠損補償データを受信し(S201)、FECデコード手段206にて、受信した欠損補償データに対し、欠損補償符号化前の分割送信データに対応するブロック毎に、欠損補償データの欠損箇所の補償を行う処理を繰り返して、複数の分割送信データを復元し(S202)、復元した複数の分割送信データを分割ブロック統合手段207により統合して送信データを復元する(S203)。この時、受信した欠損補償データの欠損箇所が多く、送信データを復元することができない場合、次の周期で送信される欠損補償データを受信して不足分を補う。そして復元された送信データは、記録手段202に記録され、また伸長復号手段208にて伸長復号され、映像及び音声として表示手段212及び音声出力手段210から出力される。本発明の受信装置2は、ステップS202に示す様に、ブロック毎に欠損補償を行うので、メモリサイズの制約が大きい携帯電話等に用いると効果的である。
実施の形態2.
実施の形態2は、実施の形態1において、欠損補償データの冗長度を上げて欠損に対する耐性を強化する形態である。なお実施の形態2における通信システム及び各種装置の構成例は、実施の形態1と同様であるので、実施の形態1を参照するものとし、その説明を省略する。
次に本発明の実施の形態2における通信システムにて用いられる各種装置の処理について説明する。図6は、本発明の実施の形態2における通信システムにて用いられる送信装置1の送信処理の一例を示すフローチャートである。なお実施の形態2における送信装置1の送信処理において、送信データから複数の分割送信データを生成する処理は、実施の形態1のステップS101〜S104の処理と同様であるので、実施の形態1を参照するものとし、その説明を省略する。
送信装置1は、制御手段11の制御に基づくFECエンコード手段15の処理により、分割送信データを夫々冗長化して欠損の補償を可能とする欠損補償符号化処理にて欠損補償データを生成し(S301)、生成した欠損補償データを記録手段12に記録する(S302)。ステップS301にて生成される欠損補償データは、実施の形態1と比べて冗長度が高くなっている。具体的には、実施の形態1が、50%の冗長度を持たせて、150%のデータ長に伸長したのに対し、実施の形態2では、200%の冗長度を持たせて、300%のデータ長に伸長する。この場合でも、元の分割送信データのデータ長に対して、300%中、約105%以上の箇所が残存していれば、そこから分割送信データを復元することが可能である。従って欠損に対する耐性を強化することができたということができる。
そして送信装置1は、制御手段11の制御に基づくデータ分割処理手段16により、生成した複数の欠損補償データを、夫々所定数に分割した複数の分割欠損補償データを生成し(S303)、生成した複数の分割欠損補償データを、前記所定数個のグループに集約して(S304)、集約した分割欠損補償データを記録手段12に記録する(S305)。
そして送信装置1は、制御手段11の制御に基づく送信手段18の処理により、記録手段12に記録した、グループ毎に集約した分割欠損補償データを、通信網を介して受信装置2へ繰り返し送信する(S306)。
図7及び図8は、本発明の実施の形態2における送信装置1から送信されるデータの一例を概念的に示す説明図である。図7及び図8では、所定数が2である場合の処理を示している。図7(a)は、送信データを分割して生成された分割送信データSB1,SB2,…,SBnを示しており、図7(b)は、各分割送信データを元の300%にまで冗長化する欠損補償符号化を行って生成した欠損補償データESB1,ESB2,…,ESBnを示している。そして図7(c)は、欠損補償データを所定数に分割、即ち夫々2分割した分割欠損補償データを示している。図7(b)及び(c)に示す例では、欠損補償データESB1が、分割欠損補償データESB1a,ESB1bに分割され、欠損補償データESB2が、分割欠損補償データESB2a,ESB2bに分割された状態を示している。
図8(a)及び(b)は、分割欠損補償データを、所定数、即ち2のグループに集約した状態を示している。図8(a)として示したグループには、分割された前半の方のデータである分割欠損補償データESB1a,ESB2a,…が集約されており、図8(b)として示したグループには、分割された後半の方のデータである分割欠損補償データESB1b,ESB2b,…が集約されている。このように所定数に分割された分割欠損補償データは、分割元の欠損データが同じである分割欠損補償データが夫々異なるグループになる様に集約される。そして集約された分割欠損補償データは、図8(a)に示すデータ、次に図8(b)に示すデータの順で送信される。また図8(a)に示すデータ、図8(b)に示すデータの順で繰り返し送信する様にしても良い。なおここでは300%に伸長する例を示したが他の値であっても良い。更に図7及び図8では、所定数が2である場合を示したが、所定数が3以上であっても良い。例えば350%の冗長度を持たせて、450%のデータ長に伸長し、夫々の欠損補償データを3分割するようにしても良く、また500%の冗長度を持たせて、600%のデータ長に伸長し、夫々の欠損補償データを4分割する様にしても良い。
図9は、本発明の実施の形態2における受信装置2の受信処理の一例を示すフローチャートである。受信装置2は、制御手段201の制御に基づき受信手段203にて、分割欠損補償データを受信し(S401)、FECデコード手段206にて、受信した欠損補償データに対し、欠損補償符号化前の分割送信データに対応するブロック毎に、欠損補償データの欠損箇所の補償を行う処理を繰り返して、複数の分割送信データを復元し(S402)、復元した複数の分割送信データを分割ブロック統合手段207により統合して送信データを復元する(S403)。受信した分割欠損補償データが、300%に伸長され、2分割されたデータである場合、一方のグループには、元の分割送信データの150%分の欠損補償データが含まれていることになる。従って最初のグループの欠損補償データを受信した時に、元の分割送信データの105%以上が正常に受信されていた場合、次のグループの分割欠損補償データを受信するまでもなく、分割送信データを生成することが可能となる。なお最初のグループの分割欠損補償データを受信した時に、元の分割送信データの105%に満たない場合、次のグループの分割欠損補償データを受信し、分割データ統合処理手段205にて2グループ分の分割欠損補償データを統合して欠損補償データを生成した上で、分割送信データを生成し、送信データを生成することになる。そして生成された送信データは、記録手段202に記録され、また伸長復号手段208にて伸長復号され、映像及び音声として表示手段212及び音声出力手段210から出力される。
実施の形態3.
実施の形態3は、実施の形態1において、欠損補償データをインターリーブ方式で送信することにより、バースト的な欠損に対する耐性を強化する形態である。なお実施の形態3における通信システム及び各種装置の構成例は、実施の形態1と同様であるので、実施の形態1を参照するものとし、その説明を省略する。
次に本発明の実施の形態3における通信システムにて用いられる各種装置の処理について説明する。図10は、本発明の実施の形態3における通信システムにて用いられる送信装置1の送信処理の一例を示すフローチャートである。なお実施の形態3における送信装置1の送信処理において、送信データから複数の欠損補償データを生成し記録する処理は、実施の形態1のステップS101〜S106の処理と同様であるので、実施の形態1を参照するものとし、その説明を省略する。
送信装置1は、制御手段11の制御に基づくインターリーブ処理手段17により、生成した複数の欠損補償データを、夫々送信の単位となる単位欠損補償データに分割し(S501)、分割前の欠損補償データに基づき決定する順序に従って、分割した単位で巡回的に単位欠損補償データを、通信網を介して受信装置2へ繰り返し送信する(S502)。
図11は、本発明の実施の形態3における送信装置1から送信されるデータの一例を概念的に示す説明図である。図11中、ESB1,ESB2,…,ESB6は、欠損補償データを示し、ESB1−1,ESB1−2,…,ESB1−6は、欠損補償データESB1を分割した単位欠損補償データを示し、ESB2−1,ESB2−2,…,ESB2−6は、欠損補償データESB2を分割した単位欠損補償データを示している。そして分割前の欠損補償データに基づきESB1,ESB2,…,ESB6,ESB1,…の順序で、夫々の欠損補償データを分割した単位欠損補償データが巡回的に送信される。具体的には、ESB1−1,ESB2−1,ESB3−1,…,ESB1−2,ESB2−2,ESB2−3,…,ESB3−1,…の順になる様に、所謂インターリーブ方式で各単位欠損補償データは送信される。なお受信装置2は、巡回的に送信される単位欠損補償データから欠損補償データを生成するために、欠損補償データ数分に分割されるメモリ領域を記録手段202に確保する必要がある。
図12は、本発明の実施の形態3における受信装置2の受信処理の一例を示すフローチャートである。受信装置2は、制御手段201の制御に基づき受信手段203にて、単位欠損補償データを受信し(S601)、インターリーブ復元処理手段204にて、単位欠損補償データから欠損補償データを復元し(S602)、FECデコード手段206にて、復元した欠損補償データに対し、欠損補償符号化前の分割送信データに対応するブロック毎に、欠損補償データの欠損箇所の補償を行う処理を繰り返して、複数の分割送信データを復元し(S603)、復元した複数の分割送信データを分割ブロック統合手段207により統合して送信データを復元する(S604)。そして復元された送信データは、記録手段202に記録され、また伸長復号手段208にて伸長復号され、映像及び音声として表示手段212及び音声出力手段210から出力される。
実施の形態4.
実施の形態4は、実施の形態3において、欠損補償データを畳み込みインターリーブ方式で送信する形態である。なお実施の形態4における通信システム及び各種装置の構成例は、実施の形態1と同様であるので、実施の形態1を参照するものとし、その説明を省略する。
次に本発明の実施の形態4における通信システムにて用いられる各種装置の処理について説明する。図13は、本発明の実施の形態4における通信システムにて用いられる送信装置1の送信処理の一例を示すフローチャートである。なお実施の形態4における送信装置1の送信処理において、送信データから複数の欠損補償データを生成し記録する処理は、実施の形態1のステップS101〜S106の処理と同様であるので、実施の形態1を参照するものとし、その説明を省略する。
送信装置1は、制御手段11の制御に基づくインターリーブ処理手段17により、生成した複数の欠損補償データを、夫々送信の単位となる単位欠損補償データに分割し(S701)、分割前の欠損補償データに基づき決定する順序に従って、分割した単位で巡回的に単位欠損補償データを、通信網を介して受信装置2へ繰り返し送信する(S702)。ただし、送信する単位欠損補償データの送信開始時期は、分割前の欠損補償データの送信開始時期が、所定時間ずつ異なっており、且つ、同時期に送信する分割前の欠損補償データの数が、全ての欠損補償データの数より小さくなる。
図14は、本発明の実施の形態4における送信装置から送信されるデータの一例を概念的に示す説明図である。図14中、ESB1,ESB2,…,ESB6は、欠損補償データを示している。そして図14(a)に示すように、欠損補償データESB1は、単位欠損補償データESB1−1,ESB1−2,…,ESB1−12に分割され、欠損補償データESB2は、単位欠損補償データESB2−1,ESB2−2,…,ESB2−12に分割され、欠損補償データESB3は、単位欠損補償データESB3−1,ESB3−2,…,ESB3−12に分割され、欠損補償データESB4は、単位欠損補償データESB4−1,ESB4−2,…,ESB4−12に分割され、欠損補償データESB5は、単位欠損補償データESB5−1,ESB5−2,…,ESB5−12に分割され、そして欠損補償データESB6は、単位欠損補償データESB6−1,ESB6−2,…,ESB6−12に分割されているものとする。
そして図14(b)に示すように、分割前の欠損補償データに基づきESB1,ESB2,…の順序で、夫々の欠損補償データを分割した単位欠損補償データが巡回的に送信される。ただし、分割前の欠損補償データの送信開始時期が所定時間、即ち所定単位ずつ異なっている。図14(b)に示す例では、単位欠損補償データの送信開始時期が、分割前の欠損補償データのデータ長の1/4、即ち所定単位である3の単位欠損補償データ分ずつ異なっており、欠損補償データESB3の4番目の単位欠損補償データESB3−4が送信された後、欠損補償データESB4の最初の単位欠損補償データ4−1が送信される。同様にして、欠損補償データESB5の4番目の単位欠損補償データESB5−4が送信された後、欠損補償データESB6の最初の単位欠損補償データ6−1が送信される。即ち図14(b)中の矢印にて示した順序で送信が行われる。なお欠損補償データESB6の4番目の単位欠損補償データESB6−4が送信された後、欠損補償データESB1の最初の単位欠損補償データ1−1が送信される。
また同時期に送信する分割前の欠損補償データの数、所謂深さは、全ての欠損補償データの数より小さくなる。図14(b)に示す例では、同時期に送信する分割前の欠損補償データの数である深さは、4であり、全ての欠損補償データの数である6より小さくなっている。即ち深さが自然数nである場合、送信開始時期の差異は、欠損補償データのデータ長の1/nとなる。このとき受信装置2は、巡回的に送信される単位欠損補償データから欠損補償データを生成するために、n個に分割されるメモリ領域を記録手段202に確保すればよい。なお同時期に送信する分割前の欠損補償データの数である深さは、全ての欠損補償データの数に関わらず、記録手段202に確保可能なメモリ領域に依存する。例えば全ての欠損補償データの数が、8、12等の6以上の値であっても、記録手段202に適性に確保可能なメモリ領域が同様であれば、深さは4のままとなる。
図15は、本発明の実施の形態4における受信装置2の受信処理の一例を示すフローチャートである。受信装置2は、制御手段201の制御に基づき受信手段203にて、単位欠損補償データを受信し(S801)、インターリーブ復元処理手段204にて、単位欠損補償データから欠損補償データを復元し(S802)、FECデコード手段206にて、復元した欠損補償データに対し、欠損補償符号化前の分割送信データに対応するブロック毎に、欠損補償データの欠損箇所の補償を行う処理を繰り返して、複数の分割送信データを復元し(S803)、復元した複数の分割送信データを分割ブロック統合手段207により統合して送信データを復元する(S804)。そして復元された送信データは、記録手段202に記録され、また伸長復号手段208にて伸長復号され、映像及び音声として表示手段212及び音声出力手段210から出力される。
前記実施の形態1乃至実施の形態4として示した各処理は、夫々独立していても良いが、必要に応じて適宜組み合わせた形態等、様々な形態に展開することが可能である。
また前記実施の形態1乃至実施の形態4では、携帯電話を受信装置として用いる形態を示したが、本発明はこれに限らず、携帯電話以外の装置であっても良い等、様々な形態に添加することが可能である。
本発明の実施の形態1における通信システムの構成例を概念的に示す説明図である。 本発明の実施の形態1における通信システムの各種装置の構成例を示すブロック図である。 本発明の実施の形態1における通信システムにて用いられる送信装置の送信処理の一例を示すフローチャートである。 本発明の実施の形態1における送信装置から送信されるデータの一例を概念的に示す説明図である。 本発明の実施の形態1における受信装置の受信処理の一例を示すフローチャートである。 本発明の実施の形態2における通信システムにて用いられる送信装置の送信処理の一例を示すフローチャートである。 本発明の実施の形態2における送信装置から送信されるデータの一例を概念的に示す説明図である。 本発明の実施の形態2における送信装置から送信されるデータの一例を概念的に示す説明図である。 本発明の実施の形態2における受信装置の受信処理の一例を示すフローチャートである。 本発明の実施の形態3における通信システムにて用いられる送信装置の送信処理の一例を示すフローチャートである。 本発明の実施の形態3における送信装置から送信されるデータの一例を概念的に示す説明図である。 本発明の実施の形態3における受信装置の受信処理の一例を示すフローチャートである。 本発明の実施の形態4における通信システムにて用いられる送信装置の送信処理の一例を示すフローチャートである。 本発明の実施の形態4における送信装置から送信されるデータの一例を概念的に示す説明図である。 本発明の実施の形態4における受信装置2の受信処理の一例を示すフローチャートである。
符号の説明
1 送信装置
11 制御手段
12 記録手段
13 圧縮符号化手段
14 ブロック分割手段
15 FECエンコード手段
16 データ分割処理手段
17 インターリーブ処理手段
18 送信手段
2 受信装置
201 制御手段
202 記録手段
203 通信手段
204 インターリーブ復元処理手段
205 分割データ統合処理手段
206 FECデコード手段
207 分割ブロック統合手段
208 伸長復号手段
209 音声入力手段
210 音声出力手段
211 操作手段
212 表示手段

Claims (9)

  1. 送信装置から受信装置へデータを送信する通信方法において、
    設定されている分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成し、
    生成した複数の分割送信データを夫々所定の冗長度で冗長化して欠損の補償を可能とした欠損補償データを複数生成し、
    生成した複数の欠損補償データを、前記冗長度に応じて特定され、分割後も各々で欠損の補償を可能とする分割数で分割した複数の分割欠損補償データを生成し、
    生成した複数の分割欠損補償データを、前記分割数個のグループに集約し、
    前記複数の分割欠損補償データを、集約したグループ毎に、前記送信装置から前記受信装置へ送信する
    ことを特徴とする通信方法。
  2. 送信データのデータ長を検出し、
    検出したデータ長に基づいて、送信データを分割する基準長を算出し、
    算出した基準長を、分割サイズとして設定する
    ことを特徴とする請求項1に記載の通信方法。
  3. 前記送信装置から前記受信装置へ、分割欠損補償データを繰り返し送信することを特徴とする請求項1又は請求項2に記載の通信方法。
  4. 前記複数の分割欠損補償データを、夫々送信の単位となる単位欠損補償データに分割し、
    前記送信装置から前記受信装置へ送信する分割欠損補償データは、分割前の欠損補償データに基づき決定する順序に従って、分割した単位で巡回的に送信される単位欠損補償データである
    ことを特徴とする請求項1乃至請求項3のいずれかに記載の通信方法。
  5. 前記送信装置から前記受信装置へ送信する分割欠損補償データは、分割前の欠損補償データとしての送信開始時期が、所定時間ずつ異なっており、且つ、同時期に送信する分割
    前の欠損補償データの数が、全ての欠損補償データの数より小さいことを特徴とする請求項1乃至請求項のいずれかに記載の通信方法。
  6. 前記受信装置は
    グループ毎に前記分割欠損補償データを受信し、
    1のグループについて受信した分割欠損補償データに基づいて分割送信データを復元し、
    復元に失敗した場合、複数のグループについて受信した分割欠損補償データを統合して分割送信データを復元し、
    復元した複数の分割送信データに基づいて送信データを復元する
    ことを特徴とする請求項1乃至請求項に記載の通信方法。
  7. データを送信する送信装置と、該送信装置から送信されたデータを受信する受信装置とを備える通信システムにおいて、
    前記送信装置は、
    設定されている分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成する手段と、
    生成した複数の分割送信データを夫々所定の冗長度で冗長化して欠損の補償を可能とした欠損補償データを複数生成する手段と、
    生成した複数の欠損補償データを、前記冗長度に応じて特定され、分割後も各々で欠損の補償を可能とする分割数で分割した複数の分割欠損補償データを生成する手段と、
    生成した複数の分割欠損補償データを、前記分割数個のグループに集約する手段と、
    前記複数の分割欠損補償データを、集約したグループ毎に、受信装置へ送信する手段と
    を備え、
    該受信装置は
    グループ毎に前記分割欠損補償データを受信する手段と、
    1のグループについて受信した分割欠損補償データに基づいて分割送信データを復元する手段と
    該手段にて復元に失敗した場合、複数のグループについて受信した分割欠損補償データを統合して分割送信データを復元する手段と、
    復元した複数の分割送信データに基づいて送信データを復元する手段と
    を備えることを特徴とする通信システム。
  8. 設定されている分割サイズに基づき、送信すべき送信データを分割した複数の分割送信データを生成する手段と、
    生成した複数の分割送信データを夫々所定の冗長度で冗長化して欠損の補償を可能とした欠損補償データを複数生成する手段と、
    生成した複数の欠損補償データを、前記冗長度に応じて特定され、分割後も各々で欠損の補償を可能とする分割数で分割した複数の分割欠損補償データを生成する手段と、
    生成した複数の分割欠損補償データを、前記分割数個のグループに集約する手段と、
    前記複数の分割欠損補償データを、集約したグループ毎に送信する手段と
    を備えることを特徴とする送信装置。
  9. 送信されるべき送信データが分割された分割送信データを、所定の冗長度で冗長化して欠損の補償を可能とした複数の欠損補償データが更に、分割後も各々での補償が可能な分割数で分割されて前記分割数個のグループ毎に送信される分割欠損補償データを、前記グループ毎に受信する手段と、
    1のグループについて受信した分割欠損補償データに基づいて分割送信データを復元する手段と、
    該手段にて復元に失敗した場合、複数のグループについて受信した分割欠損補償データを統合して分割送信データを復元する手段と、
    復元した複数の分割送信データに基づいて送信データを復元する手段と
    を備えることを特徴とする受信装置。
JP2005259915A 2005-09-07 2005-09-07 通信方法、通信システム、送信装置及び受信装置 Expired - Fee Related JP4412262B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005259915A JP4412262B2 (ja) 2005-09-07 2005-09-07 通信方法、通信システム、送信装置及び受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005259915A JP4412262B2 (ja) 2005-09-07 2005-09-07 通信方法、通信システム、送信装置及び受信装置

Publications (2)

Publication Number Publication Date
JP2007074440A JP2007074440A (ja) 2007-03-22
JP4412262B2 true JP4412262B2 (ja) 2010-02-10

Family

ID=37935498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005259915A Expired - Fee Related JP4412262B2 (ja) 2005-09-07 2005-09-07 通信方法、通信システム、送信装置及び受信装置

Country Status (1)

Country Link
JP (1) JP4412262B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011039874A1 (ja) * 2009-09-30 2011-04-07 富士通株式会社 データ送信装置、データ生成プログラムおよびデータ送受信方法
KR101286912B1 (ko) 2009-12-18 2013-07-16 한국전자통신연구원 3차원 저장장치를 이용한 가변길이 패킷의 fec 인코딩 및 fec 디코딩 방법

Also Published As

Publication number Publication date
JP2007074440A (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
US11757962B2 (en) Multimedia streams which use control information to associate audiovisual streams
JP6523249B2 (ja) パケットヘッダを圧縮する方法及び装置
JP4434242B2 (ja) 送信装置、受信装置、誤り訂正システム、送信方法及び誤り訂正方法
JP4668913B2 (ja) 誤り訂正によるデジタルテレビジョンの伝送
JPWO2005074291A1 (ja) コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
JP7397916B2 (ja) 受信方法および端末
JP6535718B2 (ja) ストリーミングサービスを提供する方法及び装置
CN109804639B (zh) 用于无连接无线媒体广播的电子设备和方法
JP4412262B2 (ja) 通信方法、通信システム、送信装置及び受信装置
US10833710B2 (en) Bandwidth efficient FEC scheme supporting uneven levels of protection
JP2008211361A (ja) 無線通信方法及び受信装置
JP2007324876A (ja) データ送信装置、データ受信装置、データ送信方法、データ受信方法、及びプログラム
JP2007306140A (ja) 通信方法、通信システム、送信装置及び受信装置
JP2007027813A (ja) 通信システム
JP5443480B2 (ja) 非符号化トランスポート・トンネリングによる移動体装置へのマルチメディア・ストリームの送信
KR100916312B1 (ko) 적응적 가중 오류 정정 부호화 및 다중 표현열 부호화를사용한 비디오 전송 장치 및 그 방법
JP2009010488A (ja) 通信システム、送信装置及びコンピュータプログラム
JP4089708B2 (ja) 出力方法及び出力装置
JP2010119021A (ja) 通信装置
CN117413465A (zh) 结合前向纠错的分组音频数据的无线发送和接收
JP2021013049A (ja) データ送信装置、データ送信システム、及び、データ送信方法
Park et al. Multi-user data multiplexing for digital multimedia broadcasting
JP2008271190A (ja) 誤り訂正符号化方法および誤り訂正装置
JP2007043576A (ja) 通信方法、通信システム及び送信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20090605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees