JP4209045B2 - データ変換方法および装置 - Google Patents

データ変換方法および装置 Download PDF

Info

Publication number
JP4209045B2
JP4209045B2 JP23786599A JP23786599A JP4209045B2 JP 4209045 B2 JP4209045 B2 JP 4209045B2 JP 23786599 A JP23786599 A JP 23786599A JP 23786599 A JP23786599 A JP 23786599A JP 4209045 B2 JP4209045 B2 JP 4209045B2
Authority
JP
Japan
Prior art keywords
data processing
data
processing device
proxy
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23786599A
Other languages
English (en)
Other versions
JP2001069504A (ja
Inventor
豊 金子
俊夫 中川
泰雅 伊藤
一郎 山田
俊之 藤澤
浩樹 南
善明 鹿喰
保明 金次
豊 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP23786599A priority Critical patent/JP4209045B2/ja
Publication of JP2001069504A publication Critical patent/JP2001069504A/ja
Application granted granted Critical
Publication of JP4209045B2 publication Critical patent/JP4209045B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
この発明はデータ処理方法および装置間におけるデータ交換に係り、特にデータ構造が異なるデータ処理間のデータ変換に関するものである。
【0002】
【従来の技術】
映像データおよび付加情報データ(以下、これらの総称としてコンテンツと表記する)を使用者が利用するには、コンテンツのデータ構造に対応した機器が必要である。
【0003】
映像データ構造としては、汎用的な映像圧縮の圧縮形式であるMPEG-2 Video(ISO/IEC 13818-2,ITU-T H.262, “Generic coding of moving and associated audio information:Video ”) 、MPEG-4 Video(ISO/IEC 14496-2, “Informationtechnology-Generic coding of audio-visual objects-Part2:Visual”) や、民生機器等のデジタルビデオで使用されている圧縮形式のDV、通信の分野における標準の圧縮形式であるITU-T H.261 、同 H.263、静止画の圧縮形式であるJPEG(ISO/IEC 10918, “Digital Compression and Coding of Continuous-tone Still Images”) を動画像の圧縮へ適用したMotion JPEG 、主にVideo-CDの用途に使用されている圧縮形式のMPEG-1 Video(ISO/IEC 11172-2, “Information technology-Coding of moving pictures and associated audio for digital storagemedia at up to about 1.5 Mbit/s: Part2:Video”) などがある。
【0004】
また、放送分野におけるITU-RT.709, ITU-R BT.601,ITU-R CMTT.721, ITU-R CMTT.723 などの映像形式がある。これらの形式は、各規格書内において、個別に映像データストリームの構造(ビットストリームシンタックス)が決められている。これらの映像データはそのデータ構造専用に符号化器、復号化器、VTRなどの蓄積装置、映像処理を行う編集磯、エフェクタなどを用いて利用されている。
【0005】
また、映像データおよびテキストなどのマルチメディアデータをテキスト表記により記述するデータ構造として、主にWorld Wide Webに使用されている HTML(W3C REC-htm140-19980424,“HTML 4.0 Specification”) 、3次元CG用のVRMLISO/IEC 14772-1,“The Virtual Reality Modeling Language ”) などがある。また、テレビ番組の記述を目的としたTVML (林ら, “TVML (TV program MakingLanguage)-Automatic TV Program Generation from Text-based Script- “Imagina99 proceedings(1999))がある。さらに、マルチメディアデータの記述方式として、MHEG(ISO/IEC 13522, “Information technology-Coding of multimediaand hypermedia information”) やMPEG Systems(ISO/IEC 14496-1, “Information technology-Coding of audio-visual objects-Part 1: Systems ”) における BIFS (Binary format for scene) などがある。これらのデータは、そのデータ構造に応じた字句解析器、構文解析器を用いて解析され、映像情報、テキスト情報などがコンピュータディスプレイ等に表示される。
【0006】
さらに、付加情報のデータ構造としては、例えば、撮影時のカメラの位置情報、レンズのズーム情報などのカメラパラメータを保存するための SMPTE315M、放送番組のための番組インデックス(町田ら、“番組インデックス符号化方式”IBLabs第2回研究報告会資料集,1998)、汎用的な検索情報の標準 MPEG-7(ISO/IEC JTC1/SC29/WG11N2460,“ MPEG-7 Context and Objectives, ”1998) などがある。これらの付加情報は多くの種類があり、そのデータ構造は全く関連のないデータ構造で扱われている。
【0007】
一方、端末間の通信プロトコルの標準化の参照モデルとして ISO(国際標準化機構)の OSI(Open Systems Interconnection)がある。この参照モデルは、物理層、データリンク層、ネットワーク層、トランスポート層、セッション層、プレゼンテーション層、アプリケーション層の7つの階層により通信プロトコルのモデル化を行っている。通信プロトコルを階層化する目的は、各階層が上位層および下位層のプロトコルに影響されずに端末間の通信プロトコルを定義するためである。一般に使われているネットワークプロトコル構成は必ずしも、OSI の7階層モデルに完全に一致していないが、OSI 参照モデルに対応させて考えることができる。例えば、下位層(1〜2層)に対応するものとして、ローカルエリアネットワークで使われている Ethernet(IEEE標準802.3 )、トークンリグ(IEEE標準802.5)や広帯域 ISDN で使われている ATM(Asynchronus Transfer Mode) などがある。
【0008】
OSI の7階層の中間層(3〜5層)に対応するプロトコルの例としては、コンピュータネットワークで使われているIP(Internet Protocol), TCP(RFC793,RFC1122,RFC1323) やUDP(RFC768) などがある。また、符号化された映像や音声データの伝送プロトコルとして、MPEG-2 Systems (ISO/IEC13818-1,ITU-T H222.0,“Coding of moving pictures and associated audio Systems”) のTS(Transport Stream)がある。また、端末の蓄積装置内のファイルの入出力操作とネットワーク通信のデータ交換を抽象化したプロトコルとして表現した MPEG-4 DMIF(ISO/IEC 14496-6, “Information technology-Very-low bitrate audio-visual coding-Part6:Delivery Multimedia Integration Framework ”) がある。さらに、上記のプロトコルの上位のプロトコルとして、ネットワーク上の分散された機器が相互に接続、通信するための方式として、分散システム環境でオブジェクト同士がメッセージの交換を行う仕様である CORBA(OMG,“The Common Object Request Broker: Architecture and Specificaton ”,1998)、Javaを使った分散処理環境を実現するプロトコルである Jini(J.Walbo,“Jiniアーキテクチャの概要”,1998 )などがある。また、リアルタイムOSを用いたシステムにおける超機能分散を目指したMTRON (坂村、“超機能分散システムとしてのTRON”、システム/制御/情報,vol.33,No. 1,pp.8−14,1989)があるが、具体的な仕様に関しては発表されていない。
【0009】
【発明が解決しようとする課題】
上に示したようにコンテンツには多くの種類があり、そのデータ構造も多くの規格がある。コンテンツを使用する利用者は、各コンテンツのデータ構造に対応した機器を用いる必要がある。また、各機器間の通信プロトコルはOSIにおける下位層、および中間層に対して規格化されたものは存在するが、上位層であるアプリケーションレベルにおいて多くのコンテンツを抽象化した構造として扱うための汎用的なプロトコルがない。そのため、コンテンツの利用者は複数の異なるデータ構造のコンテンツを同時に取り扱うことができないという問題がある。
【0010】
そこで本発明の目的は、前述の問題点を解決し、データ構造が互いに異なる任意のデータ処理装置間でもデータ交換の可能なデータ変換方法および装置を提供せんとするものである。
【0011】
【課題を解決するための手段】
この目的を達成するため本発明データ変換方法は、ネットワーク上で異なるデータ構造を処理する2つのデータ処理装置間でデータ交換のために、経路選択装置で代理接続することによりデータ変換する方法であって、前記経路選択装置の代理接続手順が、送り手側のデータ処理装置が処理するデータ構造から受け手側のデータ処理装置が処理できるデータ構造への変換ために、前記受け手側のデータ処理装置から前記送り手側のデータ処理装置への代理接続要求を受け付けるステップと、前記変換に必要となるデータ処理装置を、前記ネットワーク上に接続され、且つ、予めデータベースで管理されている他のデータ処理装置の中から選択するステップと、選択した他のデータ処理装置を経由する送り手側から受け手側までの接続経路を決定するステップと、前記送り手側のデータ処理装置の代理として、前記選択した他のデータ処理装置に対して代理接続要求するステップと、前記選択した他のデータ処理装置の代理として、前記受け手側のデータ処理装置に対して代理接続要求するステップと、を含むことを特徴とする。
【0012】
また、本発明データ変換方法において、前記経路選択装置及び前記データ処理装置の各々共通の接続インターフェースおよび共通のデータ入出力インターフェースを有していることを特徴とする。
【0014】
また本発明データ変換装置は、ネットワーク上で異なるデータ構造を処理する2つのデータ処理装置間で、送り手側のデータ処理装置が処理するデータ構造から受け手側のデータ処理装置が処理できるデータ構造への変換のために、代理接続してデータ変換させる経路選択装置を備えるデータ変換装置であって、前記経路選択装置は、前記受け手側のデータ処理装置からの代理接続要求に応じて、前記変換に必要となるデータ処理装置を、前記ネットワーク上に接続され、且つ、予めデータベースで管理されている他のデータ処理装置の中から選択する選択手段と、選択した他のデータ処理装置を経由する送り手側から受け手側までの接続経路を決定する決定手段と、前記送り手側のデータ処理装置の代理として、前記選択した他のデータ処理装置に対して接続要求する第1の代理接続要求手段と、前記選択した他のデータ処理装置の代理として、前記受け手側のデータ処理装置に対して接続要求する第2の代理接続要求手段と、を有していることを特徴とする。
【0015】
また本発明データ変換装置において、前記経路選択装置及び前記データ処理装置の各々が、共通の接続インターフェースおよび共通のデータ入出力インターフェースを有していることを特徴とする。
【0016】
【発明の実施の形態】
本発明によれば、コンテンツを処理するデータ処理装置に、OSIにおける上位層(6〜7層)に対応する共通の接続インタフェースおよび共通のデータ入出力インタフェースを持たせ、複数のデータ処理装置を経由してデータ構造を変換させているので、異なるデータ構造のデータであっても任意のデータ処理装置間でのデータ交換を可能としている。
【0017】
以下に添付図面を参照し実施例により本発明の実施の形態を詳細に説明する。本発明は、異なるデータ構造を処理する2つのデータ処理装置間でデータを交換するにあたり、送り手側のデータ処理装置が扱うデータ構造を、受け手側のデータ処理装置が扱うことができるデータ構造に変換するために、他のデータ処理装置を経由してデータ構造を変換することを基本としている。
【0018】
図1は、本発明によるデータ変換装置の一実施例構成ブロック線図を示している。
図1において、4,12,16はデータ処理装置であり、8は経路選択装置である。データ処理装置4は接続インタフェース2、入出力インタフェース3およびデータ処理回路1から構成されている。同様に、データ処理装置12は接続インタフェース11、入出力インタフェース10およびデータ処理回路9から構成され、データ処理装置16は接続インタフェース14、入出力インタフェース15およびデータ処理回路13から構成されている。経路選択装置8は接続インタフェース6、入出力インタフェース7および経路選択回路5から構成されている。さらに、データ処理装置4,12,16および経路選択装置8は同一ネットワーク装置17に接続されている。ここで、この実施例ではすべての接続インタフェース2,6,11,14は共通なインタフェース回路で構成されている。また、入出力インタフェース3,7,10,15は共通な入出力インタフェース回路で構成されている。なお、ネットワーク装置17の実施例としてはコンピュータネットワークで使用されているイーサネット(IEEE802.3)があげられるが、本発明ではデータ処理装置4,12,16および経路選択装置8が電気的に接続されてデータの変換ができればよく、特定のネットワーク装置には限定されない。
【0019】
本実施例においてデータ処理装置4,12,16および経路選択装置8は、接続インタフェース2,6,11,14および入出力インタフェース3,7,10,15により任意の装置と接続でき、接続した装置間でデータを入出力できる構造となっている。次に、この実施例において、データ処理装置4がデータ処理装置16に接続してデータ伝送する場合を例として、接続インタフェース2、14および入出力インターフェース3、15の動作について図2を参照しながら説明する。
【0020】
図2はデータ処理装置4がデータ処理装置16に対して接続を行い、データ処理装置16がデータ処理装置4のデータを読み出すシーケンスを示したものである。
【0021】
第1段階として、接続インタフェース2は接続インタフェース14に接続要求を行う。接続インタフェース14は接続インタフェース2の接続要求に応じるか否かを判定し接続インタフェース2へ返答を返す。接続インタフェース14の接続許可により接続インタフェース2および接続インタフェース14の間で接続が確立される。なお、接続要求を行うために接続インタフェース2がネットワーク装置17に接続された接続インターフェース14を見つける方法としては、あらかじめ外部からネットワークアドレス等の情報を与えたり、ネットワーク装置17としてCORBAを用いそのオブジェクト間通信のサービスを利用するなどの方法が考えられるが、どのような手段を用いても本発明の本質に関わる内容ではないのでここでは詳しく述べない。
【0022】
第2段階として、入出カインターフェース15は接続されたデータ処理装置4の入出力インタフェース3を用いて、データ処理装置4のデータを読み取る。
以上、説明した例と同様な動作により、接続インタフェース2,6,11,14および入出力インタフェース3,7,10,15を用いることで、ネットワーク装置17に接続されたデータ処理装置4,12,16および経路選択装置8は任意に接続が可能となりデータの入出力を行うことができる。
【0023】
ここで、異なるデータ構造を持つデータ構造Aのデータとデータ構造Bのデータを処理する場合を考える。本実施例において、データ処理装置4はデータ構造Aのデータを扱うことを特徴とするデータ処理回路1を具えており、データ処理装置16はデータ構造Bのデータを扱うことを特徴とするデータ処理回路13を具えているものとする。また、データ処理装置12はデータ構造Aのデータを入力としデータ構造Bのデータを出力するデータ処理回路9を具えているものとする。なお、データ処理回路1,9,13が具体的にデータをどのように処理するかは、本発明の本質に関わる内容ではないのでここでは述べない。
【0024】
図2を使って既に説明したように、データ処理装置間の接続インタフェース2,14および入出力インタフェース3,15によりデータ処理装置16はデータ処理装置4のデータを読み出すことが可能となるが、データ処理装置16の具えているデータ処理回路13はデータ構造Bを扱うことしかできないため、データ処理装置4の扱うデータ構造Aのデータを直接処理することはできない。本実施例では、このためデータ処理装置12を経由することでデータ処理装置16がデータ処理装置4のデータを処理できる構造としている。この動作を説明するため、以下図3を参照しながら本実施例の動作を説明する。
【0025】
図3はデータ処理装置4,12,16および経路選択装置8の動作シーケンスを示したものである。
第1段階として接続インタフェース14は接続インタフェース6へ接続要求を出し接続を確立する。接続方法はすでに図2で説明した方法である。次に接続インタフェース14は、データ処理装置16がデータ処理装置4に接続するために、接続インタフェース6に対して代理接続要求を出す。
【0026】
第2段階として経路選択回路5は、データ処理装置16の要求に応じるため、データ処理装置4が扱うデータ構造Aのデータをデータ処理装置16が扱えるデータ構造Bのデータに変換するために必要となるデータ処理装置を、ネットワーク装置17に接続されているデータ処理装置の中から選択し接続経路を決定する。本実施例では、データ処理装置12が選択され、接続経路としてデータ処理装置4からデータ処理装置12を経由してデータ処理装置16へ接続される経路が、経路選択回路5により決定されたものとして説明をおこなう。なお、経路選択回路5がデータ構造の変換に必要となるデータ処理装置の選択および接続経路を決定する方法として、あらかじめネットワーク装置17に接続されているすべてのデータ処理装置の処理するデータ構造のデータベースを作成しておき、そのデータベースから判定するなどの方法があるが、経路選択回路5のデータ処理装置の選択方法およびその接続経路の決定方法は本発明の本質に関わる内容ではないのでここでは詳細を説明しない。
【0027】
第3段階として、接続インタフェース6は接続インタフェース11に対して、データ処理装置4の接続インタフェース2の代理としてデータ処理装置12の接続インタフェース11に接続することを要求する。さらに、接続インタフェース6は、データ処理装置16の接続インタフェース14に対してデータ処理装置12の接続インタフェース11の代理として、データ処理装置16の接続インタフェース14に接続するように要求を出す。このように、経路選択装置8は、データ処理装置4がデータ処理装置12に対して接続要求を行う動作およびデータ処理装置12がデータ処理装置16に接続要求を行う動作の代理として機能する。以上説明した動作により、経路選択回路5が判定したデータ処理装置の経路にしたがってデータ処理装置が接続される。
【0028】
第4段階として、データ処理回路13は入出力インタフェース15および入出力インタフェース10を介してデータ処理装置12の出力であるデータ構造Bのデータを読み出し、データ処理装置12は入出力インタフェース10および入出力インタフェース3を介してデータ処理装置4の扱うデータ構造Aのデータを読み出す。
【0029】
以上一実施例により本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく、特許請求の範囲に規定された発明の要旨内で各種の変形、変更の可能なことは当業者に自明であろう。
【0030】
【発明の効果】
以上のように本発明によれば、ネットワーク装置に接続され、共通した接続インタフェースおよび入出力インタフェースを具えたデータ処理装置が、2つのデータ処理装置間でデータ交換を行うにあたり、データ処理装置が扱えるデータ構造となるようにデータ処理装置が経路選択回路により適切に選択されて接続されることができるので、任意のデータ処理装置間でのデータ交換が可能となる。
【図面の簡単な説明】
【図1】 本発明を適用したデータ変換装置の一実施例を示すブロック線図である。
【図2】 2つのデータ処理装置間の接続シーケンスおよびデータ伝送シーケンスを示す図である。
【図3】 本発明を適用したデータ変換装置における、データ処理装置および経路選択装置の接続シーケンスおよびデータ伝送シーケンスを示す図である。
【符号の説明】
1,9,13 データ処理回路
2,6,11,14 接続インタフェース
3,7,10,15 入出力インタフェース
4,12,16 データ処理装置
5 経路選択回路
8 経路選択装置
17 ネットワーク装置

Claims (4)

  1. ネットワーク上で異なるデータ構造を処理する2つのデータ処理装置間でデータ交換のために、経路選択装置で代理接続することによりデータ変換する方法であって、
    前記経路選択装置の代理接続手順が、
    送り手側のデータ処理装置が処理するデータ構造から受け手側のデータ処理装置が処理できるデータ構造への変換ために、前記受け手側のデータ処理装置から前記送り手側のデータ処理装置への代理接続要求を受け付けるステップと、
    前記変換に必要となるデータ処理装置を、前記ネットワーク上に接続され、且つ、予めデータベースで管理されている他のデータ処理装置の中から選択するステップと、
    選択した他のデータ処理装置を経由する送り手側から受け手側までの接続経路を決定するステップと、
    前記送り手側のデータ処理装置の代理として、前記選択した他のデータ処理装置に対して代理接続要求するステップと、
    前記選択した他のデータ処理装置の代理として、前記受け手側のデータ処理装置に対して代理接続要求するステップと、
    を含むことを特徴とするデータ変換方法。
  2. 請求項1記載の方法において、前記経路選択装置及び前記データ処理装置の各々共通の接続インターフェースおよび共通のデータ入出力インターフェースを有していることを特徴とするデータ変換方法。
  3. ネットワーク上で異なるデータ構造を処理する2つのデータ処理装置間で、送り手側のデータ処理装置が処理するデータ構造から受け手側のデータ処理装置が処理できるデータ構造への変換のために、代理接続してデータ変換させる経路選択装置を備えるデータ変換装置であって、
    前記経路選択装置は、
    前記受け手側のデータ処理装置からの代理接続要求に応じて、前記変換に必要となるデータ処理装置を、前記ネットワーク上に接続され、且つ、予めデータベースで管理されている他のデータ処理装置の中から選択する選択手段と、
    選択した他のデータ処理装置を経由する送り手側から受け手側までの接続経路を決定する決定手段と、
    前記送り手側のデータ処理装置の代理として、前記選択した他のデータ処理装置に対して接続要求する第1の代理接続要求手段と、
    前記選択した他のデータ処理装置の代理として、前記受け手側のデータ処理装置に対して接続要求する第2の代理接続要求手段と、
    を有していることを特徴とするデータ変換装置
  4. 請求項3記載の装置において、前記経路選択装置及び前記データ処理装置の各々共通の接続インターフェースおよび共通のデータ入出力インターフェースを有していることを特徴とするデータ変換装置。
JP23786599A 1999-08-25 1999-08-25 データ変換方法および装置 Expired - Fee Related JP4209045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23786599A JP4209045B2 (ja) 1999-08-25 1999-08-25 データ変換方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23786599A JP4209045B2 (ja) 1999-08-25 1999-08-25 データ変換方法および装置

Publications (2)

Publication Number Publication Date
JP2001069504A JP2001069504A (ja) 2001-03-16
JP4209045B2 true JP4209045B2 (ja) 2009-01-14

Family

ID=17021574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23786599A Expired - Fee Related JP4209045B2 (ja) 1999-08-25 1999-08-25 データ変換方法および装置

Country Status (1)

Country Link
JP (1) JP4209045B2 (ja)

Also Published As

Publication number Publication date
JP2001069504A (ja) 2001-03-16

Similar Documents

Publication Publication Date Title
US6611262B1 (en) Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
EP1048159B1 (en) Emulation of streaming over the internet in a broadcast application
JP2003037623A (ja) Mpegネットワーク上におけるダイレクトrtp伝送方法及びシステム
WO2008061416A1 (fr) Procédé et système permettant d'accepter des données media de divers formats de codage
KR20130038192A (ko) 컨텐츠 출력 시스템 및 그 시스템에서 코덱 정보 공유 방법
KR20080075095A (ko) 비디오 네트워크를 관리하는 방법 및 시스템
US20200145716A1 (en) Media information processing method and apparatus
CN111447503A (zh) 一种多视点视频的视点切换方法、服务器和系统
WO2023207119A1 (zh) 沉浸媒体的处理方法、装置、设备及存储介质
Angelides et al. The handbook of MPEG applications: standards in practice
US7690018B2 (en) Data processing apparatus and method
JP4194240B2 (ja) 会話形通信におけるクライアント−サーバインタラクションの方法及びシステム
CN108632679A (zh) 一种多媒体数据传输的方法和一种视联网终端
KR20020019554A (ko) Mpeg-4 원격 액세스 단말기를 갖는 통신 시스템
Chang et al. Columbia’s VoD and multimedia research testbed with heterogeneous network support
JP4209045B2 (ja) データ変換方法および装置
WO2004036913A1 (ja) Urlを介したデジタルアイテム適応システム
Franceschini The delivery layer in MPEG-4
JP2002077855A (ja) マルチメディア情報処理システム及び方法
KR101136713B1 (ko) 웹서비스를 이용한 멀티 트랜스코딩 서비스 방법
Gangadhara Distributed video encoding for wireless low-power surveillance network
Herpel et al. MPEG-4 systems: elementary stream management and delivery
Hesselman et al. Middleware support for media streaming establishment driven by user-oriented QoS requirements
Pourmohammadi-Fallah et al. Internet delivery of MPEG-4 object-based multimedia
Li et al. An MPEG-4 based interactive multimedia system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070611

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081022

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141031

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees