JP4960717B2 - 固定レイテンシを有する時間情報を送信する方法 - Google Patents

固定レイテンシを有する時間情報を送信する方法 Download PDF

Info

Publication number
JP4960717B2
JP4960717B2 JP2007024406A JP2007024406A JP4960717B2 JP 4960717 B2 JP4960717 B2 JP 4960717B2 JP 2007024406 A JP2007024406 A JP 2007024406A JP 2007024406 A JP2007024406 A JP 2007024406A JP 4960717 B2 JP4960717 B2 JP 4960717B2
Authority
JP
Japan
Prior art keywords
source
time information
data
clock
transmitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007024406A
Other languages
English (en)
Other versions
JP2007215180A (ja
Inventor
ドムーラン ヴァンサン
モッカール オリヴィエ
テュドール フランク
ドゥニ ベルナール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2007215180A publication Critical patent/JP2007215180A/ja
Application granted granted Critical
Publication of JP4960717B2 publication Critical patent/JP4960717B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0685Clock or time synchronisation in a node; Intranode synchronisation
    • H04J3/0697Synchronisation in a packet node
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0664Clock or time synchronisation among packet nodes using timestamps unidirectional timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Description

本発明は、復号化器による画像の再構成のために意図されたデジタル通信システムの送信部によるデータバースト(バースト的)における時間情報を送信する方法に関する。
特に、本発明は、映像リンクであって、復号化器による画像の再構成のために必要な時間情報が規則的に挿入される、映像リンクに関する。
デジタル通信システムは、固定長又は可変長のフレームを生成するように共にグループ化されたバーストを有する、送信器及び受信器間のデータを搬送するためのバースト的リンクを使用する。そのようにバースト的にフレーム化されたリンクの構造が図1に示されている、各々のフレーム(フレーム#1、フレーム#2)は、それ故、固定長又は可変長であることが可能である及び受信器に既知であるヘッダ1から始まる幾つかのデータバースト(バースト#1、バースト#2、バースト#3)を共にグループ化する。
バーストは、送信されるべき有用なデータに加えて、各々のフレームのプリアンブル2及びミッドアンブル3において共にグループ化されるリンクに関連する情報データを有する。この情報データの挿入は、レイテンシとも呼ばれる、バースト的リンクに影響を与える遅延の一原因である。リンクの最大レイテンシと最小レイテンシとの間の差はジッタと呼ばれる。
したがって、連続的リンクの場合、リンクのレイテンシは一定であり、ジッタは0である。
しかしながら、バースト的フレームか又はリンクにおいては、送信されるべきデータは、何れの時間に、及び特に、リンク用情報がヘッダ、プリアンブル又はミッドアンブル内に送信されるときに挿入されることができるため、ジッタは原理的に0でない。
独国特許第10260807A1号明細書 米国特許出願公開第2005/190797A1号明細書
本発明により影響されるシステムのアーキテクチャを、図2に示している。
送信部はソースS及び送信器Eを有する。ソースSは、送信器Eに送信されるべきデータを供給する。送信器は多層構造を有し、特に、中間アクセス制御層(MAC層)と物理層(PHY層)を有する。中間アクセス制御層(MAC層)は、データバーストを生成することについて及びそれらの送信時間についての役割を果たす。物理層(PHY層)は、MAC層によりフォーマットされたデータのチャネルコーディング及び変調の役割を果たす。
ソースSのペースを調整するクロックTsrc及び送信器Eのペースを調整するクロックTtxは非同期であり、ソースにより供給されるデータは、送信器の入力における何れの瞬間に及び、特にMAC層又はPHY層がそれら(ヘッダ、プリアンブル、ミッドアンブル)に特定のデータを挿入するときに到達する。上記のように、これは、バースト的リンクに影響するジッタの一原因である。
受信器Rはまた、データバーストの受信についての役割を果たす中間アクセス制御層(MAC層)、データの復調化及びチャネル復号化についての役割を果たす。それ故、データは、受信器Rによりバーストから抽出され、次いで、そのデータが復号化される復号化器Dに供給される。
受信器の終了時に、受信器Trx及び復号化器Tdecのクロックはまた、非同期である。
ここで、復号化器のクロックTdecは、ソースのクロックTsrcに、後者により送信されたデータを適切に使用することができるように、従属される必要がある。
この同期化を確実にするように、ソースは、データにそのクロックに関連した時間情報を挿入する(又は、その同期化をより単純にするように、そのクロックの時間を規則的に送信する)。この情報を使用して、復号化器は、データを生成したソースのクロックに
それ自体のクロックを従属させる。
ソースのクロックにおいて同期化されることができる復号化器のクロックについて、それ故、ソースにより送信された時間情報が0のジッタを有する復号化器により受信されることは重要である。
今日、バースト的リンクにおいて0のジッタを有するそのような情報を送信するために、2つの種類の技術が用いられている。
それら2つの技術は、リンクの時間ジッタを吸収するように、受信器にメモリブロック(バッファ)を加えることにあるか又は、送信時間の変動性を考慮するように、ソースにより送信される時間情報を修正する(リスタンプする)ことにある。
所謂“バッファ”型技術、即ち、メモリにデータバーストを入れることにある技術の場合には、データは、データが到達するペースで、常にメモリ(FIFO)に書き込まれる。読み取りは、その場合に、完全に規則的なペースで映像復号化器にデータバーストを供給する物理層の主導か又は、バーストが必要であるとみなされるときにバーストについての物理層を要求するための基礎としてクロックを使用する映像復号化器の主導で行われることが可能である。
この技術を用いる主な問題点は、このメモリブロックのサイズにある。実際には、有効であるように、メモリブロックは、リンクの最大ジッタを補償することができるような方法で必要なサイズにされる必要がある。
所謂“リスタンピング”型技術は、時間基準の計算に基づいている。時間情報を有するデータバーストが送信器に到達する瞬間に、後者は、クロックにその時間を書き留め、そして送信データにこの時間を書き込む。ソースの時間情報が受信器に到達するとき、その到達時間が記録され、送信持続時間が、次いで、その到達時間とその出発時間との間の差分を単純に算出することにより計算される。ソースから復号化器に送信された時間情報は、次いで、送信持続時間を考慮して修正される(リスタンプされる)。復号化器は、その場合、それ自体のクロックをソースのクロックに従属させるように、信頼性高い時間基準を有する。
このリスタンピング型技術を用いる主な困難性は、通過時間の計算が補正されるように、受信器のクロックを送信器のクロックに従属させることにある。これは、このブロックを複雑にする受信終了時におけるデジタルPLL(位相同期ループ)の実施を必要とする。更に、この同期を確実にするように、送信器と受信器との間で規則的に渡されなければならない時間データは、リンクの過剰データと、その結果としての全体的容量における僅かな減少とをもたらす。
本発明は、それらの問題点を改善することを目的とする。
本発明は、データバーストフレーム化リンクにおいて、画像の再構成を意図された、ソースのクロックに関連する時間情報を送信する方法である。レイテンシデータインジケータが固定された2値制御信号は、ソースと関連する送信器により送信され、時間情報データは、この信号の受信に続いて、ソースにより挿入される。
本発明は、基本的に、非ゼロのジッタを表すバースト的リンクにおいて、固定レイテンシを有するソースのクロックに関連する時間情報全ての送信を確実にする有利点を有する。
好適には、固定レイテンシを有するデータは、フレームのヘッダにおいてデータ送信される。そのデータは、プリアンブル又はミッドアンブルの挿入により一時的に乱されないデータであることが可能である。
好適には、自動反復を有するシステムにおいて、ソースは、挿入される認証に対応する固定レイテンシ2値信号の受信に関連する時間情報要求の後に、新しい時間情報信号を伴う固定レイテンシを有する時間データを挿入する。
本発明はまた、非同期データが交換されることが可能である、所謂、デカップリングメモリを有するデジタル通信システムの送信部の送信器とソースとの間の非同期データインターフェース装置に関する。その装置はまた、それがソースのクロックに関連する固定レイテンシ時間データを送信するように、ソースに固定レイテンシインジケータ情報を送信するために少なくとも1つのスケジューラ要素を有する。
本発明は、例えば、受信バッファを付加することにより、リンクの平均レイテンシを増加させないことを可能にする。
好適には、固定レイテンシ時間データは、復号化器(TDEC)のクロックがソースのクロックに従属されることを可能にする復号化器による画像の再構成について意図される。
本発明はまた、送信データの特定の数量による画像の再構成のためにのみ、復号化器のクロックがソースのクロックと同期化されることが必要であるために、受信器のクロックの送信器のクロックとの同期を回避することが可能であるようにする。
上記の及び他の本発明の特徴及び有利点については、以下、添付図に関連して与えられる説明を読むことにより更に明らかになる。
ソースにより送信されるデータの適切な使用を行うことができるように、復号化器のクロックはソースのクロックに従属される必要がある。それ故、ソースにより送信された時間情報は、全く高信頼性を有するように、0のジッタを有する復号化器により受信されることが必要である。
図3は、本発明の方法の有効な例示としての実施形態を示している。
従来、ソースSと送信器Eとの間の交換は、所謂、デカップリングバッファメモリ、例えば、所謂、FIFO(ファーストインファーストアウト)メモリを用いて実施される。そのようなデカップリングメモリは、データの書き込み及び読み取りに関するクロックドメインの復調により特徴付けられる。書き込み信号が送信された後に、ソースからのデータは、ソースクロックTSRCにより与えられるレートでメモリに書き込まれる。送信器は、読み取り信号を生成することによりバッファメモリに記憶されているデータにアクセスする。また、指示を満たすバッファメモリがまた、存在する。実際には、そのメモリがフルである場合、メモリフル指示が、もはやデータを送信することができないソースに送信される。
同様に、送信器は、そのメモリに情報が存在しないときに、空である通知を受信する。ソースのクロックTsrcはそのクロックのペースでデータを書き込むようにバッファメモリに適用され、ソースのクロックと非同期の送信器のクロックTは読み取りのペースを調整するため、データの書き込み及び読み取りは非同期で行われる。
バースト的リンクにおいては、送信器により、特に、MAC層により認識された一部のデータバーストは、完全に固定されたレイテンシを伴って送信される。この場合、データの読み取りと書き込みとの間の遅延は既知の固定パラメータである。送信器は、この遅延の源を通知することができる。この情報を送信するように、固定レイテンシ指示ILFを与える2値制御信号が送信される送信器とソースのリンクが形成される。この信号は、完全に固定されたレイテンシを有する、乱すリスクを伴わない重要な時間情報を送信することが可能である時間の源について知らせる。
そのような場合は、バースト的フレームかリンクにおいては、フレームのヘッダにおける送信データの、又は、プリアンブル又はミッドアンブルの付加による付加遅延を伴わない送信データの場合である。
固定レイテンシ指示の受信に続いて、ソースのクロックに関連する時間情報の全ては、それ故、固定レイテンシを伴って送信される。
この情報を用いて、復号化器は、データを生成するソースのクロックTSCに復号化器自体のクロックTDECを従属させることができ、復号化器のクロックは、それ故、ソースのクロックに対して同期化される。
そのことが可能でない場合、このデータの生成及び送信は、送信器がこの搬送に対して好適な指示を供給するまで、遅延される。
送信器は、FIFOメモリのサイズを考慮し、それ故、指示信号を適切に生成するようにそれを認識する必要がある。この実施形態においては、それ故、ソースの部分におけるのではなく、送信器を有する部分におけるFIFOメモリを実施することが好適である。
固定レイテンシを伴って送信されるデータバーストの数は、ソースが時間情報を規則的に送信することができるように十分である必要がある。復号化器は、その場合、同期化されたまま維持され、そして、このために、ソースにより送信されるデータの使用は乱されない。
本発明は、例えば、符号化器又は専用記憶要素(映像サーバ)と、ストリームを送信する又はスクリーンに表示する前にストリームを復号化する役割を果たす映像復号化器との間の映像リンクの場合に、完全に適用可能である。
符号化器が、例えば、MPEG(Moving Picture Experts Group)型である場合、送信されるべき重要な時間情報はPCR(Program Clock Reference)バーストの名前で認識される。
本発明の拡張の種々の実施例は、特に、リンクが双方向的であるときを想定することができる。この場合、ソースのクロック及び復号化器のクロックは同期化されたまま保たれている。“戻り”リンクについての、最初の復号化器に関連する新しいソースは前者のクロックを用い、それ故、最初のソースに関連する新しい復号化器のクロックと同期化されたまま保たれる。
そのソースは、本発明において上記した機構を用いてそれ自体に固有の時間情報を規則的に送信する。復号化器は、その場合、この時間情報をそれに対して固有である時間情報と比較し、ソースのクロックに適用されるべき補正を計算し、そして、システムの戻りチャネルを用いてソースにこの情報を送信する。復号化器により送信される調整情報は、影響される従属機構を伴わずに、時間ジッタを支援することができる。
他の実施例は、集合ARQ(Automatic ReQuest(反復のための))プロトコルを有するシステムに関する。それらのシステムは、エラーのないデータ送信のために使用される。図4は、そのような本発明の実施形態の例である。
双方向バースト的リンクの場合、所定の位置に置かれた反復(ARQ)システムについての自動要求はリンクの全体的ジッタに大きく寄与する。実際には、データを反復することはジッタの増加に繋がる。送信器は、重要な時間情報が搬送されるデータバーストが反復(ARQ)システムについての自動要求に含まれないときにのみ、その重要な時間情報を送信するように、ソースを認定する必要はない。送信器は、そのような特定のデータについて非アクティブにされる。
他の有効は、重要な時間情報を搬送するデータバーストがよりロバストはチャネル符号化を伴って符号化されるとき、その重要な時間情報を送信するように、ソースを認定することにある。反復フェーズを用いる必要のない適切な受信の有効性は、それ故、高い。
反復が必要であり、この反復を無効にすることが可能でない場合、同じ時間情報が数回、送信される。受信においてその反復を無効にするための機構が、その反復が従属化を乱さないように導入される。
何れにしても、そして図4に示しているように、時間情報を交換することを可能にする交換機構が設定される。図3に関連して上記した実施例の原理にしたがって、ソースのクロックTsrcは、デカップリングメモリ、例えば、FIFO型メモリの書き込みのペースを調整する。クロックTsrcと非同期の送信器のクロックTは、そのメモリからのデータの読み取りのペースを調整する。本発明の原理は、固定レイテンシ情報を搬送する信号の受信において及び時間情報についての送信器からの要求RIT(時間情報要求)に続いて、有効な情報の送信を確実にするように、ソースがクロックに関する新しい時間情報NITを送信するためのものである。
本発明の実施の他の実施例が想定され、その実施形態について、幾つかのシステムの同期化が固定レイテンシ時間データの送信により想定される。
バースト的フレーム化リンクの時間構造を示す図である。 本発明により影響されるシステムのアーキテクチャを示す図である。 本発明の方法の有効な実施形態を示す図である。 本発明の他の実施形態の実施例を示す図である。
符号の説明
D 復号化器
E 送信器
R 受信器
S ソース

Claims (5)

  1. ソース及び送信器を有する送信部と、受信器及び復号器を有する受信部とを有するデータ通信システムにおける時間情報を送信する方法であって、前記時間情報は、前記ソースのクロックに関し、前記復号器による画像の再構成を意図したものであり、データバーストフレーム化リンクで送信され、前記方法は、
    前記時間情報を固定レイテンシで送信できる時を前記ソースに通知する、固定レイテンシデータ表示を与える2値制御信号を前記送信器から前記ソースに送する段階と、
    前記固定レイテンシデータ表示の受信に続いて、前記復号器が自分のクロックを前記ソースのクロックに従属するように、前記ソースから前記復号器に前記時間情報を送信する段階と、を有する方法。
  2. 定レイテンシを有する前記時間情報データは、前記データバーストフレームのヘッダにおいて送信されるデータであることを特徴とする、請求項1に記載の時間情報を送信する方法。
  3. 記ソースは、前記2値制御信号の受信まで、固定レイテンシを有する前記時間情報の生成及び挿入を遅延させることを特徴とする、請求項1に記載の時間情報を送信する方法。
  4. 再送機能を有するシステムにおいて、前記ソースは、時間情報要求と固定レイテンシ2値信号の受信の後に、固定レイテンシを有する時間情報時間情報信号に挿入することを特徴とする、請求項1に記載の時間情報を送信する方法。
  5. ソース及び送信器を有する送信部と、受信器及び復号器を有する受信部とを有するデジタルデータ通信システムであって、
    前記送信部は、
    前記ソースと前記送信器との間のデカップリングメモリを有する前記ソースと前記送信器との間の非同期データインターフェース装置と、
    前記ソースのクロックに関する固定レイテンシ時間情報を前記デコーダに送信し、前記デコーダのクロックを前記ソースのクロックに従属させるために、前記ソース固定レイテンシ指示情報送信する少なくとも1つのスケジューラ要素と
    を有することを特徴とするデジタルデータ通信システム。
JP2007024406A 2006-02-08 2007-02-02 固定レイテンシを有する時間情報を送信する方法 Expired - Fee Related JP4960717B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0650440A FR2897228A1 (fr) 2006-02-08 2006-02-08 Methode de transmission d'informations temporelles a latence fixe
FR0650440 2006-02-08

Publications (2)

Publication Number Publication Date
JP2007215180A JP2007215180A (ja) 2007-08-23
JP4960717B2 true JP4960717B2 (ja) 2012-06-27

Family

ID=36588713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007024406A Expired - Fee Related JP4960717B2 (ja) 2006-02-08 2007-02-02 固定レイテンシを有する時間情報を送信する方法

Country Status (6)

Country Link
US (1) US8040992B2 (ja)
EP (1) EP1819077B1 (ja)
JP (1) JP4960717B2 (ja)
CN (1) CN101018343B (ja)
DE (1) DE602007005847D1 (ja)
FR (1) FR2897228A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380110B2 (en) 2011-12-09 2016-06-28 Google Technology Holdings LLC Adaptive data synchronization based on data plan or network usage
US9277363B2 (en) 2011-12-09 2016-03-01 Google Technology Holdings LLC Adaptive data synchronization based on device movement and location

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579183A (en) * 1994-04-08 1996-11-26 U.S. Philips Corporation Recording and reproducing an MPEG information signal on/from a record carrier
US5966387A (en) * 1995-09-25 1999-10-12 Bell Atlantic Network Services, Inc. Apparatus and method for correcting jitter in data packets
US6985499B2 (en) * 2000-04-20 2006-01-10 Symmetricom, Inc. Precise network time transfer
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
JP3603875B2 (ja) * 2001-04-25 2004-12-22 ソニー株式会社 データ通信装置およびデータ通信方法
GB2385684A (en) * 2002-02-22 2003-08-27 Sony Uk Ltd Frequency synchronisation of clocks
US7590145B2 (en) * 2002-09-17 2009-09-15 Scientific-Atlanta, Inc. Multiplexing octets from a data flow over MPEG packets
DE10260807B4 (de) * 2002-12-23 2007-07-05 Siemens Ag Sendeverfahren für eine Zeitreferenz über ein Übertragungsmedium und hiermit korrespondierender Zeitgeberblock
WO2004064300A2 (en) * 2003-01-09 2004-07-29 Thomson Licensing S.A. A method and an apparatus for mapping an mpeg transport stream into ip packets for wlan broadcast
EP1499135A3 (en) * 2003-07-18 2006-04-12 Canon Kabushiki Kaisha Digital data multiplexing and demultiplexing
US7680155B2 (en) * 2003-08-14 2010-03-16 Zenith Electronics Llc PCR jitter reduction in a VSB and/or EVSB multiplexer system
JP3673268B1 (ja) * 2004-02-05 2005-07-20 シャープ株式会社 ジッタ補正装置

Also Published As

Publication number Publication date
US20070263755A1 (en) 2007-11-15
DE602007005847D1 (de) 2010-05-27
EP1819077B1 (en) 2010-04-14
CN101018343A (zh) 2007-08-15
CN101018343B (zh) 2012-05-02
US8040992B2 (en) 2011-10-18
EP1819077A1 (en) 2007-08-15
FR2897228A1 (fr) 2007-08-10
JP2007215180A (ja) 2007-08-23

Similar Documents

Publication Publication Date Title
EP1606717B1 (en) Method and device for multimedia streaming
US7747888B2 (en) Technique to create link determinism
CN1897490B (zh) 无线环境中用于多媒体传输的方法、系统及多媒体处理设备
US6744782B1 (en) Communications device, method thereof, communications system and recording medium
TWI471016B (zh) 重建數位視訊資料流的方法與裝置
JP3762430B2 (ja) データパケットを伝送する方法および装置
KR101390192B1 (ko) 동영상 전송 시스템의 송신 장치 및 수신 장치, 그 버퍼제어 방법
JP2004304809A (ja) ビデオ同期
TW201138451A (en) Receiving apparatus and method, program, and receiving system
JP3810918B2 (ja) マルチメディアデータ中継装置及び方法
JP4960717B2 (ja) 固定レイテンシを有する時間情報を送信する方法
EP1450534A1 (en) Data transmission system, data transmission apparatus, data reception apparatus, and data transmission method
US20120110284A1 (en) Data processing apparatus, data processing method, and program
KR100932265B1 (ko) 패킷 전송 방법 및 장치
JP3499818B2 (ja) タイムスタンプのオフセット調整方法及びそれを用いたパケット伝送装置
EP2117145B1 (en) Method for synchronizing a data stream transmitted on a communications network, corresponding computer program product, storage means and receiver device
KR20160100534A (ko) 양방향 위성통신시스템의 망동기 획득을 위한 망클럭 참조 패킷 생성 장치 및 방법
JP2007518333A (ja) データ伝送システムにおけるジッタの導入
JP4612688B2 (ja) 受信装置
JP2004350102A (ja) 無線伝送システム
US7039825B2 (en) Clock reproducing method and receiving clock producing apparatus allowing for absorption of transmission channel jitter
JPH10313448A (ja) 動画像送信装置および受信装置
JP3851721B2 (ja) マルチメディアデータ入出力インタフェース装置及び同装置に適用される一定レートストリーム出力方法
JP6484403B2 (ja) 通信装置、通信プログラム、通信方法
JP4047707B2 (ja) データ伝送システム、データ送信装置、データ受信装置、及びデータ伝送方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees