JP3760564B2 - テレビ会議システム - Google Patents

テレビ会議システム Download PDF

Info

Publication number
JP3760564B2
JP3760564B2 JP13091897A JP13091897A JP3760564B2 JP 3760564 B2 JP3760564 B2 JP 3760564B2 JP 13091897 A JP13091897 A JP 13091897A JP 13091897 A JP13091897 A JP 13091897A JP 3760564 B2 JP3760564 B2 JP 3760564B2
Authority
JP
Japan
Prior art keywords
conference
meeting
data
participant
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13091897A
Other languages
English (en)
Other versions
JPH10322674A (ja
Inventor
昌秀 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP13091897A priority Critical patent/JP3760564B2/ja
Publication of JPH10322674A publication Critical patent/JPH10322674A/ja
Application granted granted Critical
Publication of JP3760564B2 publication Critical patent/JP3760564B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はテレビ会議システムに関し、特に通信網を介して相隔たった地点を結んで会議を行うテレビ会議システムに関する。
【0002】
【従来の技術】
高速ディジタル伝送サービスやISDNサービスの開始以降、これらを利用したテレビ会議システムが広く普及している。テレビ会議システムとは、相隔たった地点にある会議室相互間を映像と音声により結び、テレビ画面を見ながら参加者全員が同一の会議室にいるような雰囲気で会議が行えるようにする画像通信サービスである。
【0003】
図8は従来のテレビ会議システムの基本構成図である。テレビ会議システムは通信網120を介して、撮影処理部100と再生処理部110とから構成される。
【0004】
カメラ100aが撮影したアナログ画像信号は、A/D変換部101でディジタル画像信号に変換される。フォーマット変換部102はディジタル画像信号のフォーマット変換を行う。そして、画像符号化部103はフォーマット変換されたディジタル画像信号を符号化し、符号化画像データを生成する。
【0005】
また、マイク100bより出力されたアナログ音声信号は、A/D変換部106でディジタル音声信号に変換される。音声符号化部105はディジタル音声信号を符号化し、符号化音声データを生成する。
【0006】
データ多重化部104は、符号化画像データと符号化音声データとを多重化し、通信網120に出力する。
一方、再生処理部110は通信網120より多重化信号を受信する。データ分離部114は多重化信号を符号化画像データと符号化音声データとに分離する。
【0007】
画像復号化部113は符号化画像データを復号化する。そして、フォーマット逆変換部112は復号化された画像データのフォーマットを逆変換し、ディジタル復号画像信号を生成する。D/A変換部111はディジタル復号画像信号をアナログ復号画像信号に変換し、モニタ110aを通じてアナログ復号画像信号がモニタされる。
【0008】
また、音声復号化部115は符号化音声データを復号化し、ディジタル復号音声信号を生成する。D/A変換部116はディジタル復号音声信号をアナログ復号音声信号に変換し、スピーカ110bを通じてアナログ復号音声信号が出力される。
【0009】
このような基本構成を持つテレビ会議システムに対し、近年では電子掲示版等の様々なオプションが付加された製品も提供されている。
【0010】
【発明が解決しようとする課題】
しかし、上記のような従来のテレビ会議システムでは、カメラが撮影した画像と、マイクが捉えた音声と、をリアルタイムに遠隔地に伝えることのみが考慮され、過去に符号化した同一会議の画像及び音声情報へのアクセスについては全く考慮されていなかった。
【0011】
このため、途中から会議に参加した者が会議の概要を知ろうとしたときには、議事録をみたり、近くの参加者に概要を聞くなどしなければならず、会議進行の妨げになるといった問題があった。
【0012】
さらに遠隔地での会議参加者が1名の場合で、かつその1名が途中から会議に参加せざるをえない場合、この参加者に会議の推移を知ってもらうには会議の流れを説明するために、一旦議事進行を止めなければならないといった問題があった。
【0013】
本発明はこのような点に鑑みてなされたものであり、会議の経過を記録した画像と音声を閲覧できるテレビ会議システムを提供することを目的とする
【0014】
【課題を解決するための手段】
本発明では上記課題を解決するために、通信網を介して相隔たった地点を結んで会議を行うテレビ会議システムおいて、会議へ新たに参加する参加者が入力する、少なくとも当該参加者の氏名を属性データとして登録する会議参加登録手段と、前記参加者のいる地点の会議を撮影する会議データ入力手段と、前記属性データと前記会議データ入力手段により入力された会議データからなる会議情報を会議参加者へ送信する会議情報送信手段と、前記会議情報送信手段から会議情報を受信する会議情報受信手段と、前記会議情報受信手段から受信した会議情報を記録する会議情報記録手段と、前記会議情報記録手段により記録された会議情報を再生し表示する再生表示手段と、会議途中で前記会議情報記録手段に新たに記録された前記会議情報を追加情報として、全会議参加者の前記再生表示手段に表示させ、かつ前記会議参加登録手段に登録されている前記属性データの個数を参照して、前記再生表示手段に対して、新たな参加者の映像を表示するための映像切り替えボタンを自動的に追加表示させる再生制御手段と、を備えることを特徴とするテレビ会議システムが提供される。
【0015】
ここで、会議参加登録手段は、会議へ新たに参加する参加者が入力する、少なくとも当該参加者の氏名を属性データとして登録する。会議データ入力手段は、参加者のいる地点の会議を撮影する。会議情報送信手段は、属性データと会議データ入力手段により入力された会議データからなる会議情報を会議参加者へ送信する。会議情報受信手段は、会議情報送信手段から会議情報を受信する。会議情報記録手段は、会議情報受信手段から受信した会議情報を記録する。再生表示手段は、会議情報記録手段により記録された会議情報を再生し表示する。再生制御手段は、会議途中で会議情報記録手段に新たに記録された会議情報を追加情報として、全会議参加者の再生表示手段に表示させ、かつ会議参加登録手段に登録されている属性データの個数を参照して、再生表示手段に対して、新たな参加者の映像を表示するための映像切り替えボタンを自動的に追加表示させる。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図1はテレビ会議装置を用いたシステムの原理図である。通信網40を介して撮影部10と記録部20(テレビ会議装置に該当)及び再生表示部30から構成される。
【0019】
撮影部10は各地点の会議の撮影を行って、会議データ及び属性データからなる会議情報を通信網40に送信する。ここで会議データとは、撮影部10で撮影された地点毎の会議の映像や音声、電子掲示版などに書かれた書画データなどである。属性データとは会議名、会議場所、議題及び会議参加者名などといった会議に関する属性のデータである。
【0020】
記録部20は会議データと属性データからなる会議情報を記録する。会議情報受信手段21は各地点毎の会議情報を受信する。会議データ記録手段22は、会議データを記録する。属性データ記録手段23は、属性データを記録する。再生制御手段24は、会議参加者からの問い合わせに応じて会議データ及び属性データの再生制御を行う。そして、再生表示部30は、会議データまたは属性データの少なくとも1つを再生して表示する。
【0021】
次に動作について説明する。図2はテレビ会議システムの動作手順を示すフローチャートである(テレビ会議記録/再生制御方法を示すフローチャートである)。なお、図1で示したA地点とB地点とで行われている会議の経過をC地点のユーザが閲覧するものとする。
〔S1〕撮影部10はA地点とB地点で行われている会議を撮影する。
〔S2〕会議情報受信手段21はA、B地点の会議情報を通信網40を介して受信する。
〔S3〕会議データ記録手段22は、A、B地点毎に会議データを記録する。
〔S4〕属性データ記録手段23は、A、B地点毎の会議に関する属性データを記録する。
〔S5〕再生制御手段24は、C地点にいる会議参加者からの問い合わせに応じて会議データ及び属性データを会議データ記録手段22や属性データ記録手段23から取り出すといった再生制御を行う。
〔S6〕再生表示部30は通信網40を介して記録部20からA、B地点に関する会議データや属性データを受信して再生表示する。
【0022】
次に具体的な実施の形態について詳しく説明する。図3はテレビ会議システムの詳細構成図である。テレビ会議システムは、IEEE802.3によって規格化されているイーサネットなどのネットワーク40aを介し、撮影部10a及び10bと、記録部20と、再生表示部30と、から構成される。
【0023】
撮影部10a、10bでは、それぞれの地点の画像及び音声を捉えるためのカメラ/マイク11a、11bを含んでいる。A/D12a、12bは、カメラ/マイク11a、11bからのアナログ信号をディジタル信号に変換する。
【0024】
MPEG変換部13a、13bはこれらディジタル信号をMPEGフォーマットに変換する。通信ポート14a、14bはMPEGフォーマットに変換されたMPEGデータA1、A2を複数のパケットに分割し、ネットワーク40aに送信する。なお、図では2つの撮影部10a、10bがネットワーク40a上に設置されているが、実際にはネットワーク40a上に複数個設置することが可能である。
【0025】
記録部20では、会議情報の記録・再生制御を行う。通信ポート25aはリアルタイムで送られてくるMPEGデータA1、A2を取り込む。取り込まれたリアルタイムのMPEGデータA1、A2は、会議情報受信手段21に送られる。会議情報受信手段21は、会議情報として撮影部10aのMPEGデータA1と撮影部10bのMPEGデータA2とを受信する。
【0026】
ここで会議情報受信手段21は受信したMPEGデータA1、A2を一旦メモリ上へ展開する。すなわち、メモリをバッファとして利用する。そして、メモリ上に記録されたMPEGデータA1、A2は一定時間毎に交互に会議データ記録手段22にそれぞれ別々のファイルとして記録される。
【0027】
会議情報受信手段21は、この操作を容易に行うため、MPEGデータA1、A2用にそれぞれ記録ポインタと書き込みポインタを持つ。
記録ポインタはMPEGデータをメモリ上に記録する時の次のアドレスを常に指示している。また書き込みポインタは会議データ記録手段22にデータを書き込む際の次のアドレスを常に指示している。また、書き込み時は256キロバイト単位で行われ、このときDMA転送方式を用いている。
【0028】
属性データ記録手段23は、記録するMPEGデータA1、A2のファイル名やそれぞれのファイルの記録開始時刻の他、会議の参加者名簿といった上述した属性データを記録していく。
【0029】
具体的には記録開始時刻以外の属性データは、あらかじめそれぞれの会議場所からの遠隔操作によって送られる。この操作はtelnetと呼ばれるUNIXなどで広く利用されているツールを使うことによって行われる。
【0030】
通信ポート25bは、逐次記録中のリアルタイムのMPEGデータA1、A2や、ファイルの先頭や中間部分のMPEGデータA1、A2などといったものを再生したい場合の再生要求を、後述の再生表示部30から受信する。
【0031】
再生制御手段24は、その再生要求を解釈し、該当する部分のMPEGデータA1、A2を会議データ記録手段22あるいは属性データ記録手段23から読み出し、通信ポート25bを通じてネットワーク40aに送りだす。
【0032】
なお、図では1つの記録部20がネットワーク40a上に設置してあるが、会議の規模に応じて複数個設置してもよい。ただし、その場合はそれぞれがどのMPEGデータを記録するかを決めておく必要がある。
【0033】
再生表示部30では、撮影部10a、10bで撮影されたリアルタイムのMPEGデータ(リアルタイムの会議情報)A1、A2と、記録部20で記録された過去のMPEGデータ(過去の会議情報)A1、A2の再生表示を行う。
【0034】
通信ポート37によってMPEGデータA1、A2を取り込む。送受信処理部36は、MPEGデータA1、A2の受信処理や、再生要求などの送信処理を行う。MPEGデコーダ35はMPEGデータA1、A2のデコードを行う。表示制御手段34はデコードされた画像信号をモニタ33を通じて表示制御する。スピーカ31は、デコードされた音声信号を出力する。
【0035】
また、表示制御手段34はキーボード32からの入力を解釈するとともに、入力及び入力の結果をモニタ33にフィードバック表示する。さらにリアルタイムで送られてくるMPEGデータA1、A2の表示制御だけでなく、記録部20で記録された過去のMPEGデータA1、A2の表示制御も行う。
【0036】
なお、モニタ33上に表示する場合は、モニタ33上のウインドウに表示する。ウインドウを複数個開けばそれらMPEGデータをそれぞれのウインドウ上で再生することができる。
【0037】
また、再生表示部30が複数個あってウインドウをいくつも開くとモニタ上の表示が煩雑になる場合には、リアルタイムで送られてくる複数のMPEGデータを1つにまとめ、再生したいMPEGデータも1つにまとめて、それぞれのウインドウで表示してもよい。このようなウインドウ表示制御はディジタル情報の変換操作によって容易に実現される。
【0038】
以上説明したように、テレビ会議システムは、各地点毎の会議データ及び属性データからなる会議情報を記録して、会議参加者からの問い合わせに応じてこれらの再生制御を行う構成とした。これによりリアルタイムで送られる画像と音声だけでなく、会議に途中参加した場合でも会議の経過を記録した画像と音声を閲覧することが可能になり、利便性の向上を図ることが可能になる。
【0039】
次に会議データ記録手段22について詳しく説明する。図4は会議データ記録手段22の内部構成を示す図である。会議データ記録手段22はハードディスク装置である。ただし、一般的なハードディスク装置とは異なり、図に示すように記録媒体であるハードディスク円盤220の回りに、MPEGデータ記録用の記録ヘッド221aと再生用の再生ヘッド221b〜221dのヘッドを持つ。
【0040】
記録ヘッド221aには記録ヘッドコントローラ222a、再生ヘッド221b〜221dには再生ヘッドコントローラ222b〜222dが取り付けられている。これらコントローラ222a〜222dには毎秒40メガビットの転送レートを持つウルトラワイドのSCSI規格を採用している。
【0041】
また、記録ヘッドコントローラ222a、再生ヘッドコントローラ222b〜222dには、それぞれ256キロバイトのバッファメモリ223a〜223dが取り付けられている。そして、バッファメモリ223a〜223dはバス224と接続する。
【0042】
会議情報受信手段21や再生制御手段24は、このバス224を通じて会議データ記録手段22にアクセスする。なお、図では記録ヘッド、記録ヘッドコントローラは1つだが、複数個設置してもよい。このような構成をとることにより、記録、再生のヘッドをそれぞれ独立に動かしてデータをアクセスすることができるので、記録及び再生を同時に行うことが可能になる。
【0043】
にテレビ会議システムのユーザインタフェースについて説明する。図5はテレビ会議参加登録パネルを示す図である。会議開始時点で各参加者は、氏名記入欄51に氏名を、所属記入欄52に所属を、会議参加場所記入欄53に会議参加場所を、コメント記入欄54に取り上げたい議題などのコメントを図3で説明したキーボード32から入力する。
【0044】
また、テレビ会議参加登録パネル50には修正ボタン55と登録ボタン56とがある。修正ボタン55は上記の入力項目の修正に用いる。登録ボタン56は上記の入力項目を登録するボタンである。すなわち、登録ボタン56を押すことで会議情報受信手段21に送信される。そして、属性データ記録手段23でこれら属性データを記録する。
【0045】
図6はテレビ会議視聴パネルを示す図である。会議は各参加者がテレビ会議視聴パネル60を開くことによって開始される。テレビ会議視聴パネル60には、映像表示部61、映像切替えボタン62、音量調節ツマミ63、表示切替えボタン64及び登録情報表示部65がある。図では4名の参加者がある場合の様子を示している。
【0046】
映像表示部61はテレビ会議の映像を表示する部分で、1画面のみの表示と全参加者を映し出すタイル表示が行える。この表示切替えを行う際は、表示切替えボタン64によって行う。すなわち、独立ボタン64aで1画面のみの表示、タイルボタン64bでタイル表示を行う。
【0047】
1画面のみの表示の場合、どの画面を表示するかは、映像切替えボタン62によって選択することができる。図ではCのボタンが選択されているが、表示切替えボタン64のタイル表示が選択されているため、映像表示部61はタイル表示となっている。
【0048】
音量調節ツマミ63は、図3で説明したスピーカ31で再生される音量を調節する。登録情報表示部65は図1で説明した属性データ記録管理手段23に記録されている各参加者の登録された属性データが表示される。図では氏名、所属、場所及びコメントが表示されている。また、これらの処理は図3で説明した送受信処理部36で処理される。
【0049】
一方、映像切替えボタン62は、テレビ会議視聴パネル60を開いた時点で属性データ記録手段23に記録されているレコード数が参照され、その個数分だけ生成され表示される。
【0050】
また、会議途中で新たな会議参加者が現れた場合には、その参加者の登録がなされた時点で属性データ記録手段23から参加者の追加メッセージが全会議参加者に送られる。
【0051】
そのメッセージは送受信処理部36によって解釈され、そのメッセージを受けた時点でテレビ会議視聴パネル60に新たな映像切替えボタン62が追加される。
【0052】
次に変形例について説明する。図7はテレビ会議システムの変形例を示す図である。図に示すように撮影部10a内に記録部20が含まれた撮影/記録部20aがネットワーク40aに設置されている。なお、内部構成、動作は図3と同様なので説明は省略する。
【0053】
このように変形例は、各撮影部に記録部を含む構成とした。記録部を撮影部内に含ませることにより、リアルタイムで記録すべきMPEGデータをネットワーク40aを通じて取り込む必要がなくなる。このため、通信ポートの個数を削減することができ、さらにネットワーク40aの負荷を軽減させることが可能になる。
【0054】
【発明の効果】
以上説明したように、本発明のテレビ会議システムは、各地点毎の会議データ及び属性データからなる会議情報を記録して、会議参加者からの問い合わせに応じてこれらの再生制御を行う構成とした。また、会議途中で新たに記録された会議情報を追加情報として再生表示手段に表示させ、かつ再生表示手段に新たな参加者の映像に対する映像切り替えボタンを追加表示させる構成とした。これにより、新たな参加者に対する会議情報と映像切り替えボタンとが画面上に追加表示されることにより、テレビ会議を進行する上での利便性を高めることが可能になる。
【図面の簡単な説明】
【図1】レビ会議装置を用いたシステムの原理図である。
【図2】テレビ会議システムの動作手順を示すフローチャートである。
【図3】テレビ会議システムの詳細構成図である。
【図4】会議データ記録手段の内部構成を示す図である。
【図5】テレビ会議参加登録パネルを示す図である。
【図6】テレビ会議視聴パネルを示す図である。
【図7】テレビ会議システムの変形例を示す図である。
【図8】従来のテレビ会議システムの基本構成図である。
【符号の説明】
10 撮影部
20 記録部( テレビ会議装置 )
21 会議情報受信手段
22 会議データ記録手段
23 属性データ記録手段
24 再生制御手段
30 再生表示部
40 通信網

Claims (1)

  1. 通信網を介して相隔たった地点を結んで会議を行うテレビ会議システムにおいて、
    会議へ新たに参加する参加者が入力する、少なくとも当該参加者の氏名を属性データとして登録する会議参加登録手段と、
    前記参加者のいる地点の会議を撮影する会議データ入力手段と、
    前記属性データと前記会議データ入力手段により入力された会議データからなる会議情報を会議参加者へ送信する会議情報送信手段と、
    前記会議情報送信手段から会議情報を受信する会議情報受信手段と、
    前記会議情報受信手段から受信した会議情報を記録する会議情報記録手段と、
    前記会議情報記録手段により記録された会議情報を再生し表示する再生表示手段と、
    会議途中で前記会議情報記録手段に新たに記録された会議情報を追加情報として、全会議参加者の再生表示手段に表示させ、かつ前記再生表示手段に対して前記会議参加登録手段に登録されている前記属性データの個数を参照して表示した映像切り替えボタンに加え、前記会議参加登録手段からの会議参加者の追加メッセージを解釈し、新たな参加者の映像を表示するための映像切り替えボタンを自動的に追加表示させる再生制御手段と、
    を備えることを特徴とするテレビ会議システム。
JP13091897A 1997-05-21 1997-05-21 テレビ会議システム Expired - Fee Related JP3760564B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13091897A JP3760564B2 (ja) 1997-05-21 1997-05-21 テレビ会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13091897A JP3760564B2 (ja) 1997-05-21 1997-05-21 テレビ会議システム

Publications (2)

Publication Number Publication Date
JPH10322674A JPH10322674A (ja) 1998-12-04
JP3760564B2 true JP3760564B2 (ja) 2006-03-29

Family

ID=15045790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13091897A Expired - Fee Related JP3760564B2 (ja) 1997-05-21 1997-05-21 テレビ会議システム

Country Status (1)

Country Link
JP (1) JP3760564B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344916A (ja) * 2001-05-22 2002-11-29 Takahisa Inoue フォーカスグループインタビュー実行システム及びその実行方法及びフォーカスグループインタビュー実行プログラム
JP4662228B2 (ja) * 2002-03-14 2011-03-30 株式会社リコー マルチメディア記録装置および発言録作成装置
JP2007179083A (ja) * 2005-12-26 2007-07-12 Fuji Xerox Co Ltd 会議システム、その制御方法及びプログラム
JP5205900B2 (ja) * 2007-09-27 2013-06-05 サクサ株式会社 テレビ会議システム、サーバ端末、およびクライアント端末
CN102833519A (zh) * 2011-06-14 2012-12-19 华为终端有限公司 视频图像的适配处理方法、设备及系统
WO2019187521A1 (ja) * 2018-03-28 2019-10-03 株式会社村田製作所 音声情報送信装置、音声情報送信方法、音声情報送信プログラム、音声情報解析システム及び音声情報解析サーバ

Also Published As

Publication number Publication date
JPH10322674A (ja) 1998-12-04

Similar Documents

Publication Publication Date Title
JP4699574B2 (ja) テレビ会議システム
US9179100B2 (en) Video conferencing method and device thereof
US7532231B2 (en) Video conference recorder
US6466248B1 (en) Videoconference recording
JP2003532347A (ja) ビデオ会議ネットワークにおけるメディアの役割管理
US6600508B2 (en) Communication method, communication service apparatus, communication terminal device and communication system
JP3760564B2 (ja) テレビ会議システム
JP2007096974A (ja) テレビ会議端末及び表示位置決定方法
JPH07202887A (ja) 分散会議システム
JP2000023130A (ja) テレビ会議システム
JP2003134487A (ja) 多地点会議システム
JPH07123384A (ja) マルチメディア会議録作成装置
JP2002100113A (ja) 再生装置、再生方法、伝送装置、伝送方法及び記憶媒体
JPH10285568A (ja) 会議通信システム
JPH08125760A (ja) 情報処理装置
JP2008228014A (ja) 映像会議システム、会議映像処理方法、プログラム及び記録媒体
JP2001036881A (ja) 音声伝送システム及び音声再生装置
JP2002247538A (ja) 会議サーバ装置及び多地点会議システム
JPH08214074A (ja) 簡易参加型通信会議システム
JP2003271498A (ja) 多地点会議システム
JPH05260463A (ja) 会議相手映像切替方式
JPH06152765A (ja) テレビ会議システム
KR100191330B1 (ko) 회의 참석자 영상데이타베이스 작성장치
JP2003141265A (ja) 講義システム
JPH05244109A (ja) テレビ会議システム間の多重通信システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110120

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120120

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120120

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130120

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130120

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140120

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees