JP3605063B2 - 通信システム及び通信制御方法 - Google Patents

通信システム及び通信制御方法 Download PDF

Info

Publication number
JP3605063B2
JP3605063B2 JP2001311995A JP2001311995A JP3605063B2 JP 3605063 B2 JP3605063 B2 JP 3605063B2 JP 2001311995 A JP2001311995 A JP 2001311995A JP 2001311995 A JP2001311995 A JP 2001311995A JP 3605063 B2 JP3605063 B2 JP 3605063B2
Authority
JP
Japan
Prior art keywords
data
terminal
information
communication
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001311995A
Other languages
English (en)
Other versions
JP2002176507A (ja
Inventor
誠 千田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001311995A priority Critical patent/JP3605063B2/ja
Publication of JP2002176507A publication Critical patent/JP2002176507A/ja
Application granted granted Critical
Publication of JP3605063B2 publication Critical patent/JP3605063B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、通信システム及び通信制御方法に関する。
【0002】
【従来の技術】
従来のアナログの電話回線の場合、音声は通常の速度で伝送可能であるが、データは低速でしか伝送することができなかった。
【0003】
しかし、近年、通信技術や半導体技術、および光技術等の進歩に伴って、ディジタル回線が整備され、大容量のデータを高速に伝送することが可能になった。特に、ディジタル伝送の場合には伝送による品質低下がなく、伝送を行った後も同レベルの品質が保たれる特徴を有している。また、伝送データのメディアの特性に応じた伝送路を必要とせず、メディアの統合が図れる特徴を有しており、これらの特徴により複合メディア端末間の伝送が可能になった。このため、最近は従来の音声のみの電話から映像をも同時に伝送することができる電話端末が出現している。
【0004】
こうした状況の中、異なる複合端末間においても相互通信が可能になるように、ITUTなどによる国際標準かが進められており、ディジタル回線を用いたテレビ電話、テレビ会議システムなどのAV(Audio Visual)サービスとしてAVサービス用のサービス規定、プロトコル規定、マルチメディア多重化フレーム構成規定等がITU勧告H.320、H.242、H.221などとして発表されている。
【0005】
上記H.221では、64Kbpsから1920KbpsまでのAVサービスにおけるフレーム構成および端末能力の交換や、通信モードのFAS(FramAlignment Signal)、BAS(Bit Allocation Signal)の符号割当等が定義されている。
【0006】
また、上記H.242では、BASを用いたAV端末間での能力交換、および通信モード切り替えなどのプロトコルが定義されており、上記H.320ではAVサービス全般のシステムアスペクトが定義されている。
【0007】
また、上記勧告においては、エンドツーエンドの物理コネクションの設定、およびインチャネルでのFASによる同期確立後、インチャネルでBASを用いた端末能力の交換シーケンス、通信モードの指定によるモード切り替えシーケンスなどの手順により端末間で画像、音声、データなどのマルチメディア通信を行うための方法が規定されている。ただし、各端末において自己の端末能力を状況に応じて変化させたり交換された能力の範囲内でどの通信モードを用いるかは規定の範囲外である。
【0008】
ところで、マルチメディア通信における各メディアの情報転送速度は、音声情報は音声符号化方式を指定することで決定される。また、データ情報は、その使用の有無、使用する場合の転送速度を指定することにより決定され、設定した通信路全体の情報転送速度から、音声情報の転送速度とデータ情報の転送速度を引いた残りが画像情報の転送速度になる。
【0009】
また、パーソナルコンピュータやワークステーションにおいてもマルチメディア化が進行しており、従来のデータ通信から音声や映像などの通信が可能になりつつある。この場合の通信媒体は、主にローカルエリアネットワークであり、データをパケット化して通信を行うようにしている。
【0010】
上記ローカルエリアネットワークは、通常、構内で閉じているネットワークである。しかし、最近では通信プロトコルについても、ネットワークにおけるノードの持つ機能を階層的に分割したレイヤの内の一つである(7)フィジカルレイヤで規定され、ゲートウェイやサーバーを介してかなり広域のネットワークでの相互通信も盛んに行われている。
【0011】
【発明が解決しようとする課題】
しかしながら、従来の通信装置の場合には以下のような問題があった。すなわち、例えば、ドキュメントはファクシミリ通信やデータ通信で行われ、音声は電話で行われており、また、映像と音声の場合にはTV電話による通信が行われていた。さらに、複数のメディアを通信する場合には、マルチメディアの通信端末で行われていた。すなわち、従来も種々の通信を行うことができるようになされていたが、通常は、1種類ごとに通信が行われており、複数種類の通信がお互いに関連して行われることはなかった。
【0012】
例えば、最初の通信でドキュメントを送り、次の通信でそのドキュメントを見ながら音声で通信するということがよく行われる。このような場合に、両者の通信は全く関係なく行われるので、従来はドキュメントを受け取った時に注意して保管する必要があった。あるいは、音声で通信する時に、ドキュメントをお互いに確認し合う必要があった。
【0013】
すなわち、従来はドキュメントの送受信と音声による通信とが別々に行われていたので、ドキュメントを保管中に紛失してしまい、再送信をしてもらったり、あるいは、確認する際に捜し回ったりと非常に非効率であるという問題があった。
【0014】
本発明は上述の問題点に鑑み、第1の端末から送ったデータを、第2の端末において容易に管理することができるようにすることを目的とする。
【0015】
【課題を解決するための手段】
本発明の通信システムは、第1の通信時に、第1の端末が第2の端末に複数のデータと、上記複数のデータを読み出す際に必要となる環境の設定のためのデータ情報とを送信する手段と、上記第2の端末において、上記第2の端末が受信した上記複数のデータと上記データ情報とを蓄積する手段と、第2の通信時に、上記第1の端末が上記複数のデータの中から1つ以上のデータを指定するためのグループ指定情報を含む管理情報を上記第2の端末に送信する手段と、上記第2の端末において、上記第2の端末が受信した上記管理情報に基づいて上記蓄積されたデータを検索し、その検索したデータの一覧表を上記蓄積されたデータ情報に基づいて作成し、その作成したデータの一覧表を出力する手段とを有することを特徴とする。
【0016】
本発明の通信制御方法は、複数のデータと、上記複数のデータを読み出す際に必要となる環境の設定のためのデータ情報とを第1の端末から第2の端末へ送信する送信処理と、上記第2の端末において、上記第1の端末から送信された上記複数のデータおよび上記データ情報を記憶媒体に記憶する記憶処理と、上記第1の端末と上記第2の端末との接続中に上記複数のデータの中から1つ以上のデータを指定するためのグループ指定情報を含む管理情報を上記第1の端末から上記第2の端末に送信し、上記第2の端末に上記管理情報を入手させる管理情報送信処理と、上記第2の端末において、上記管理情報に基づいて上記記憶媒体に記憶されているデータを検索し、その検索した複数のデータの一覧表を上記記憶媒体に記憶されているデータ情報に基づいて作成し、その作成したデータの一覧表を出力するデータ出力処理とを行うことを特徴とする。
【0018】
【発明の実施の形態】
以下、本発明の通信システム及び通信制御方法の一実施形態を図面を参照して説明する。
図1は、本発明の通信端末の一実施形態を示す機能構成図である。図1において、(1)は受信手段、(2)は管理手段、(3)は記憶手段、(4)は識別情報判別手段、(5)は一覧表生成手段、(6)はデータ出力手段、(7)は送信手段、(8)は表示装置、(9)はプリント手段である。
【0019】
上記受信手段▲1▼は、通信相手の端末から送られてくる入力信号SINを内部に導入するために設けられているものである。管理手段▲2▼は、入力信号SIN中のデータを相手端末の識別情報と関係付けて管理するためのものである。また、記憶手段▲3▼は、上記管理手段▲2▼によって相手端末と関係付けられたデータを記憶して蓄積するためのものである。識別情報判別手段▲4▼は、他の端末との接続時に、上記管理手段▲2▼により管理されている上記相手端末の識別情報と上記接続している他の端末の識別情報とが一致するかを判別するためのものである。
【0020】
一覧表生成手段▲5▼は、判別の結果、識別番号が一致した場合に、上記一致した識別番号に上記当するデータの一覧表を生成するためのものである。また、データ出力手段▲6▼は、上記一致した相手端末の識別情報のデータを出力するために設けられている。
送信手段▲7▼は、データ出力手段▲6▼から導出されるデータを通信の相手の端末に送信するために設けられているものである。また、表示装置▲8▼は、データ出力手段▲6▼から導出されるデータを表示面上に表示するためのものであり、プリント手段▲9▼は上記データ出力手段▲6▼から導出されるデータを媒体上に印字して出力するためのものである。
【0021】
図2は、本実施の形態の通信システムをTV電話装置に適用した一例を示すブロック図である。図2において、10は、会議参加者を撮影するカメラ、11はCRTや液晶表示装置などからなるモニタ、12はドキュメントや資料等を読み込むためのスキャナ、13はテキストデータやグラフィックデータおよび画像等のビットマップデータをプリントアウトするプリンタである。
次いで、16は画像処理部であり、カメラ10およびスキャナ12から入力されるデータを取り込む機能と、上記入力データを符号化部へ送信する機能と、符号化部から受信したデータや入力データをモニタ11やプリンタ13に出力する機能を有している。
【0022】
20は、画像コーデック部であり、画像処理部16から出力される送信すべき画像信号を符号化するためのものである。ここで、上記画像コーデック部20は、動き補償、駒落とし、フレーム間補償およびフレーム内補償、離散コサイン変換(DCT)、ベクトル量子化変換などの処理を行って帯域圧縮する。
なお、ISDN回線の基本インタフェースの64kbpsで伝送可能な符号化方式として、ITU勧告H.261がある。また、静止画像の符号化方式としては、DCT変換は同じであるJPEGや可逆性を持つJBIGや、ファクシミリ等で使用しているMMR,MR,MHなどがある。また、蓄積用の動画符号化方式としては、MPEG1,MPEG2などがある。
【0023】
次いで、14はマイク、15はスピーカである。また、17は音声処理部であり、マイク14およびスピーカ15に対応して設けられているものである。上記音声処理部17は、マイク14やスピーカ15の音量レベル調整、エコーキャンセル処理、並びにダイヤルトーン、呼出音、ビジートーンおよび着信音などのトーンの生成処理を行う。
【0024】
22は、送信すべき音声信号を符号化したり、受信した符号化音声信号を復号化して音声処理部17に出力したりする音声コーデック部である。上記音声コーデック部22の伝送速度および符号化方式には、64kbpsPCM(G.711)7kHz帯域64kbpsコーデック(G.722)、32kbpsADPCM(G.726),16kbpsコーデック(G.728)、8kbpsコーデックなどがある。また、24は、データの符号化部である。
【0025】
32は、通信回線(例えば、アナログ電話回線、ISDN回線、LAN回線など)に接続するための回線インタフェース部である。30は、送信すべき映像信号、音声信号および制御情報を上記H.221フォーマットに多重化して回線インタフェース部32に供給するとともに、回線インタフェース部32から供給される受信情報を画像信号、音声信号、データおよび制御信号に分離する分離多重化回路である。
【0026】
44は、データ等を記憶する記憶部、46はデータを管理するデータ管理テール、48はデータ本体記憶部である。次いで、42はデータの管理情報を解読する管理情報解読部、40は相手端末を識別する情報を解読して相手端末を識別する相手端末識別部である。26は、通信端末全体の動作を制御するシステム制御部であり、音声コーデック部22や画像コーデック部20や、データ符号化部24等から符号化されたデータを転送したり、音声コーデック部22および画像処理部16から音声データ、画像データ、テキストデータおよびグラフィックデータ等を転送する。また、上記システム制御部26は、多重化部30や回線インタフェース部32から多重情報や回線情報などの制御情報を転送したり、受信した管理情報を管理情報解読部42に転送したりするとともに、解読された結果により記憶部44にアクセスしたりする。また、受信した相手端末識別情報を相手端末識別情報部40に転送し、その結果によりデータを記憶部44に記憶したりするなどの機能を有している。
【0027】
50は操作装置であり、システム制御部26に種々の指示を入力するためのものであり、例えば、キーボード、タッチパネル、ディジタイザおよびマウスなどのポインティング装置により構成されている。
【0028】
次に、図2に示した通信端末のおける画像信号および音声信号の流れを簡単に説明する。
カメラ10から入力される動画像信号は、画像処理部16により内部メモリに取り込まれる。そして、その取り込まれた動画像信号は、空間フィルタ処理、時間フィルタ処理、ノイズ除去処理、フォーマット変換処理、色空間変換処理などの処理がなされた後で、画像コーデック部20に転送される。
【0029】
また、本実施の形態のテレビ電話装置においては、カメラ10からの入力動画像信号を補足し、静止画像として内部メモリに取り込み、システム制御部26に転送するようにしている。
【0030】
次に、スキャナ12から画像処理部16に入力される静止画像信号は、画像処理部16によりプリンタ用の制御が行われた後で静止画像信号が内部メモリに取り込まれる。そして、画像符号化部20に転送されるか、またはシステム制御部26に転送される。
【0031】
次に、画像符号化部20から転送された画像信号をフォーマット変換処理、および色空間変換などの処理をする。そして、静止画像信号については、モニタ11へ転送する場合は、モニタ出力用の色変換や解像度変換等をして転送する。
また、プリンタ13へ転送する場合には、プリンタ制御を行い、色変換や解像度変換等をして転送する。
【0032】
さらに、動画像信号については、解像度変換や色変換、空間フィルタや時間フィルタの処理を行いモニタ11へのインタフェース変換を行い、モニタ11に転送する。また、システム制御部26からのグラフィックデータに上記のような処理を行った後、モニタ11あるいはプリンタ13へ転送する。
【0033】
また、グラフィックデータと動画像信号と静止画像信号とを合成する方法として、グラフィックデータがテキストVRAMに書き込まれるコードデータの一つを動画像か静止画像に指定する。そして、その指定以外のコードデータが読み出された時はグラフィックデータを転送し、その指定されたコードデータが読み出された時には動画像か静止画像に切り替えてモニタ11あるいはプリンタ13へ転送することで合成する方法がある。なお、このコードデータは、カラールックアップテーブルの色データの中から各コードデータごとに色データが指定されている。
【0034】
他方、マイク14により入力される音声データは、音声処理部17を介して音声コーデック部22に転送される。また、音声コーデック部22からの音声データは、音声処理部17を介してスピーカ15に転送される。
【0035】
また、システム制御部26からの音声データをスピーカ15に転送したり、マイク14からの音声データをシステム制御部26に転送したりすることも行われる。
【0036】
映像コーデック部20および音声コーデック部22からの符号化信号、並びにシステム制御部26からの制御コマンドを多重化し、回線インタフェース部32に出力する。回線インタフェース部32は、分離多重化部30からの信号を接続する通信回線に所定フォーマットで出力する。
【0037】
また更に、分離多重化部30と画像コーデック部20、音声コーデック部22との転送か、分離多重化部30とシステム制御26との転送かを選択する機能を有している。
【0038】
一方、通信回線から受信した信号は、回線インタフェース部32から分離多重化部30に供給される。分離多重化部30は、受信信号から符号化画像信号、符号化音声信号、データおよび制御コマンドを分離し、データおよび制御コマンドをシステム制御部26に供給する。
【0039】
画像処理部16は、カメラ10から入力される画像信号および画像コーデック部20から入力される受信画像信号を選択合成してモニタ11に供給する。なお、画像処理部16は合成処理として、例えば、ピクチャー・イン・ピクチャーやウィンドウ表示システムにおける対応ウィンドウへのはめ込みなどを行う。これにより、入力画像信号、およびまたは受信画像信号(留守録画像を含む)がモニタ11の画面に表示される。
【0040】
音声コーデック部22の出力は、音声処理部17を介してスピーカ15に供給される。これにより、通信相手からの音声(留守録した音声を含む)をスピーカ15から聞くことができる。
【0041】
なお、画像コーデック部20の符号化方式としては、H.261,MPEG,JPEG、MMR,MR,MHなどがある。ここでは、上記の符号化方式について説明するが、他の画像符号化方式においても同様に応用できることは明らかであるので、符号化方式はこの限りではない。
【0042】
この画像の圧縮方法の一つとして、上述したようにITUのH.261勧告がある。上記H.261勧告は既に勧告化されており、通信する際の画像信号の符号化方式を規定するものである。その勧告に準拠していれば、他の勧告に準拠したTV電話とも相互通信が可能となる。
【0043】
上記H.261勧告は、世界共通のビデオ信号フォーマットを採用している。これは、取り扱うビデオ信号には、NTSC,PAL,ディジタルテレビ規格などの異なった複数の規格が存在するため、お互いに通信ができるようにするためである。
【0044】
上記フォーマットは、CIFフォーマットおよびGOBフォーマットと称され、CIFフォーマットは標本数が輝度Yは352画素×288ライン、色差Cr,Cbは176画素×144ラインで規定されている。
【0045】
更に、CIFフォーマットの1/4をQCIFフォーマットと称され、その標本数は輝度Yが176画素×144ライン、色差Cr,Cbは、88画素×72ラインで定義されている。
【0046】
また、GOBフォーマットは、標本数が輝度176画素×48ライン、色差Cr,Cbは88画素×24ラインに定義され、CIFの1/12,QCIFの1/3に相当する。
【0047】
圧縮方法としては、自然界の映像には画素間の相関が強いことや周波数成分が低周波に集中し、高周波は小さいことなどを利用してフレーム内のデータを8画素×8画素のブロックとし、2次元DCT変換するフレーム内符号化が用いられている。
【0048】
また、前フレームと現フレームとの同位置の画像ブロックにおいて、両者の相関が強い時にフレーム間の差分を取り、その差分値に対して8画素×8画素のブロックを2次元DCT変換するフレーム間符号化も用いられている。
【0049】
さらに、前フレームから現フレームへ類似した画像ブロックが相対的に隣接移動した場合に、これを検知してその画像ブロックの移動量と移動方向の情報を送るだけで画像データそのものを送らずに済ませることで発生データ量を減らす動き補償を行うようにしている。
【0050】
そしてまた、DCT変換後の各周波数ごとの係数値が低周波領域では値が発生するが、高周波領域では値が発生しにくくゼロ値が続くことを利用したゼロランレングス符号化や、データの発生量に応じてデータの量子化ステップ幅を変更することでデータの発生量を調整する量子化が用いられることもある。
【0051】
発生頻度の高いデータパターンに対しては短い符号値を、発生頻度の低いデータパターンに対しては長い符号値を割り当てることで、トータル的に発生したデータ量よりも少ないデータ量に変換する可変長符号化が用いられる。また、フレームをスキップして、画像データそのものを落としてしまう駒落しなどが使用されている。
【0052】
以上のように、本実施の形態の通信端末においては、複数の圧縮技術をハイブリットにして利用するようにして、低レートの通信においても動画像信号を通信可能としている。
【0053】
ところで、フレーム内符号化のうち、INTERモードは、フレーム間の相関が高い場合に高い圧縮率を達成できるので、フレーム間に一定以上の相関がある場合にINTERモードを採用する。また、一定未満の相関のときには入力画素値をそのまま符号化するINTRAモードを採用する。相関の程度は、例えば、フレーム間の被写体の動きの程度により判定する。
【0054】
INTERモードでは、送信側の量子化と受信側の量子化との差である量子化誤差が受信端末で累積され、量子化が粗い場合にはこれが顕著になるので、周期的にブロック単位でINTRAモードを配置するのが普通である。また、伝送エラーの伝搬を防ぐためにも、周期的にINTRAモードが配置される。
【0055】
特に、フレーム内の全ブロックをフレーム内符号化したフレームを適宜の間隔で設けることが望ましいとされており、これを全INTRA処理と呼ぶ。全INTRA処理により、復号化エラーおよび量子化誤差を解消し、画面をリフレッシュできる。
【0056】
次に、MPEG(Motion Picture Image CodingExperts Group)について説明する。
MPEGは、ISO/IECにより標準化作業が進められている画像符号化方式であり、主に、ディジタル蓄積メディアの画像符号化方式を規定するものである。
【0057】
MPEG−1は、既に勧告化されており、現在、MPEG−2の標準化作業が進められている。この場合、符号化方式は、基本は上記H.261勧告と同じであるが、MPEGが蓄積メディア符号化のために、上記H.261のような通信を前提とした符号化と大きく異なるのは、時間軸に対する処理である。
【0058】
具体的には、早送り、巻戻し、途中再生、逆再生といった要求に対応するために様々な工夫がなされている。
まず、GOP(Group of Pictures)という複数のフレームをひとまとめにした単位で扱うことが定義されている(ここでNパラメータ(=GOPのフレーム数)を設定)。
【0059】
GOPにはシーケンスヘッダを付けることができ、このGOP単位の再生を可能としたことで、途中再生等の対応を図っている。
また、フレームには、複数のタイプがあり、I(Intra Frame)−Picture,P(Predictive)−Picture,B(Bidirectional)−Pictureが定義されている(ここで、Mパラメータ(I,P−Pictureの周期)を設定)。
【0060】
上述したH.261では、P−Pictureのみであり、時間的には前方方向の片方向の予測が使用される。それに対し、MPEGは、上記3種類のフレームタイプを用いて、時間軸上の双方向の予測に基づく復号化を可能にし、更に、時間軸を縮めて高速に復号化することが可能である。これにより、逆再生、早送りなどの対応を図っている。なお、画面サイズについては、特に定めていないので用途に応じて変更が可能である。
【0061】
次に、JPEG(Joint Photographic Experts Group)について説明する。
JPEGは、ITUとISO/IECの共同作業により進められたカラー静止画の符号化を規定するものであり、既に勧告化されている。
【0062】
上述したH.261やMPEGとの共通点は、変換符号化方式が2次元の離散コサイン変換(DCT変換)という点である。それ以外では、静止画としての特徴を生かす方式が採用されている。
【0063】
まず、DCT係数に対して、Y(輝度)成分、C(色差)成分を別々の量子化マトリクスを用いて量子化し、DCT係数のうちのDC成分は、左隣のブロックのDC成分との差の予測値(DPCM)を用いてDC成分用のハフマン符号化を施し、AC成分は、DCT係数をジグザグスキャンしてゼロランレングス符号化後にAD成分用のハフマン符号化を行う。
【0064】
ここで、量子化マトリクスとハフマン符号化テーブルは、自由に設定可能であり、送信側から受信側へその設定値を事前に転送することで符号化復号化を行うことができる。これにより、対象となる静止画に対して画質や符号化効率の向上等で最も適した符号化をすることが可能となる。
【0065】
また、ディスプレイなどへのソフトコピー表示を考慮して、粗い画像からきれいな画像へと順次表示していく機能がある。表示順序によりシーケンシャル符号化による表示とプログレッシブ符号化による表示があるが、JPEGでは、後者の方式を拡張機能として採用し、使用上の用途を広げている。
【0066】
上記プログレッシブ符号化方式とは、解像度および階調性の低い大まかな画像信号から階層的に順次解像度および階調性を向上させ、最終画質に到達する手法である。この方式には、SS方式、SA方式、ハイアラーキカル方式の3種類がある。
【0067】
SS方式(Spectral Selection)とは、DCT係数を一度に全てを送信せず複数回に分割して送出する方法で、DCT係数の周波数方向の段階的符号化である。
【0068】
SA方式(Successive Approximation)とは、DCT係数のうち、最上位から任意の複数ビットを画像内全ブロックに対して符号化し、以後のスキャンで残りの下位ビットを上位から1ビットずつ順に符号化して送信する方法で、DCT係数の精度の段階的符号化である。
【0069】
ハイアラーキカル方式(Hiererchical)とは、画像を縦、横2の乗分の1にしてピラミッド的に縮小し、ピラミッドの各階層でDCT変換等の圧縮符号化をし順次画像を大きくしていく方法である。符号化の順としては、まず、最も縮小した画像を符号化し、次にこの符号に対する復号画像を2倍に拡大した画像と入力画像を同一サイズに縮小させた画像との差分をDCT変換し、この処理を画像サイズが入力画像と等しくなるまで繰り返すものである。つまり、解像度の違う端末への対応が可能というメリットがある。
【0070】
もう一つの符号化として、Spatial符号化方式である2次元DPCM符号化(DCT変換無し)を可能としている。その際の予測関数としては、対象画素と予測に用いる周囲3画素を用いての予測演算が用いられる。予測演算は8通りある。
【0071】
次に、ISDN回線では、図3に示すように、アウトバンド信号(つまりDch)を用いて発呼し相手端末と接続し、Bchで通信を行う。(ただし、Dchのパケット通信は可能)その呼設定時の呼設定内容は、図4および図5で示すように、オプションで着番号を付加することが可能である。
【0072】
よって、この機能を利用することにより、相手端末番号を伝えることが可能となる。また、伝達能力により、音声、非制限ディジタル、3.1kHzオーディオを判別することが可能である。
【0073】
呼が設定され相手端末と接続された時の通信路としては、他にDch,H0,H1などもあるが、以下ではBchのみで説明する。
このようにして通信可能となったBchを用いて、上記勧告H.242に従い、図6に示すようにインバンド信号手順がBchで実行され、これによりBch内をデータ部と通信を制御する制御部とに割り付ける。
【0074】
この制御は、インチャネル制御と呼ばれている。このインチャネル制御のために、Bch内に制御ビットが必要になり、そのフレーム構成が上記H.221で規定されている。上記インチャネル制御を実行するためのBチャネル内のフレーム構成を図7に示す。
【0075】
図7は、Bch(64kbps)に対するマルチフレーム構成を示している。このマルチフレーム構造は、1オクテット/125μsecを基本として、図7(a)に示すように、1フレーム=80オクテット、同(b)に示すように、1サブマルチフレーム=2フレーム、同(c)に示すように、1マルチフレーム=8サブマルチフレームの構造を成している。ビット方向には、8kbpsのサブチャネルが#1から#8まで定義されている。
【0076】
ただし、#8サブチャネルだけは、転送レートが、6.4kbpsとなり、制御ビットとして、FAS(Fram Alignment Signal)とBAS(Bit−rate Allocation Signal)の信号が挿入されている。このFAS信号とBAS信号により、Bchのインチャネル制御が可能となる。
【0077】
なお、FAS信号は、フレームおよびマルチフレーム同期に使用されている。BAS信号は、サブチャネルなどの多重方法を決定するのに必要な端末能力の情報の交換、あるいは能力設定に使用される。特に、BAS信号は、データ通信中であってもサブマルチフレーム(20msec)ごとに切り換えることが可能である。
【0078】
次に、図6に示したインバンド信号手順を簡単に説明する。Bchが通信可能状態になると、端末A,端末Bともに、FAS信号を送信する。この時の端末能力は、初期状態のモード0(オーディオとFAS信号,BAS信号のみのモード)である。
【0079】
上記FAS信号は、相手端末で探索され、上記H.242で規定されたフレーム同期確立の条件が満たされると、FAS信号内のビット構成の中の「A」を”0”にして送信する。A=0を端末が受信することで、相手端末がフレーム同期を確立したことが確認される。
【0080】
次に、BAS信号相手端末に送信し、互いに相手端末の端末能力を確認する。すなわち、いわゆる伝達能力の交換である。もし、この時点で、互いに通信可能であれば、データの通信が開始される。能力変更が必要な場合は、同様に、BAS信号を用いてコマンドとして所望の端末能力を送信し、相手端末がその能力を設定完了後、データの通信を開始する。
【0081】
データの通信は送信と受信が独立しており、同期の確立も端末能力の設定も別々に行われる。したがって、片方向だけ同期はずれが発生したり、送信と受信でデータの種類が異なる場合もある。データの通信が完了し呼を切断するときには、まず切断する側の端末(図6では端末A)がBAS信号を用いてモード0にする。これにより、Bchのインチャネル制御は初期状態に戻る。次に、図3に示したように、Dchのアウトバンド手順で切断と解放が行われて全ての通信が完了する。
【0082】
BAS信号内のビット構成は、上位3ビットは、属性を表し、残り5ビットでその属性の属性値を表す。属性の内容は、例えば、転送レート値、コーデック種別、各メディアまたは情報特有のパラメータ値などがある。
【0083】
このようにして、システム制御部26で生成された制御情報(BAS信号)、音声符号化部からの音声データ、画像符号化部からの画像データは多重化分離部13で多重化され上記H.221フォーマットのデータとして生成され、回線i/f部14へ転送される。
【0084】
また、Bchから受信された上記H.221フォーマットのデータは、多重化分離部13で制御情報(FAS信号とBAS信号)と各メディア(音声、画像、データ)のデータに分離され、音声データは音声復号化部へ、画像データは画像復号化部へ、制御情報はシステム制御部26に転送される。つまり、BAS信号コマンドにより、現在通信中のデータ種別とその属性を判別することができることになる。
【0085】
また、ローカルエリアネットワークでは、7層レイヤのプロトコルによる通信制御が行われる。7層とは、下位レイヤから物理レイヤ、データリンクレイヤ、ネットワークレイヤ、トランスポートレイヤ、セッションレイヤ、プレゼンテーションレイヤ、アプリケーションレイヤである。
【0086】
これらのレイヤのうち、物理レイヤは端末と網間の物理的な接続を行うものである。また、データリンクレイヤは端末と網間の信号レベルでの接続を行うものである。ネットワークレイヤは、ネットワーク上に接続されている相手端末との接続を行うものである。トランスポートレイヤはネットワークレイヤで接続された相手端末との通信路に対して論理ソケットを設けて接続を行うものである。
【0087】
ここで、ネットワークレイヤには端末番号がある。例えば、IP(Interneto Protocol)では、各ローカル網を識別するネットワーク番号とホスト(相手端末のこと)とを識別するホスト番号の階層構造で定義する。このアドレスのことを、インターネット・アドレスと呼んでいる。
【0088】
トランスポートには、論理ソケット番号がある。例えば、TCP(Transmission Control Protocol)では、インターネット環境でそれぞれのコネクションが一意に認識できるように、ポート番号とインターネット・アドレスを組み合わせた番号で区別している。このような番号で認識されるものを論理ソケットと呼んでいる。図9および図10に、IPとTCPのヘッダ構造を示す。このように、本実施の形態の通信端末では、インターネットアドレスとポート番号とを組み合わせた論理ソケット番号によりインターネット環境でそれぞれのコネクションが一意に認識でき、例えば一般の電話回線よりも多種多様のデータが通信される環境に、より柔軟に対応することができる。
【0089】
次に、セッションレイヤについて説明する。セッションレイヤは、データそのものの通信制御を行う。まず、通信するデータの情報として、メール同様、差し出しと宛先の情報や日時情報が付加されている。特異なところでは、端末としてはいろいろな種類があるので端末特性情報なども含まれている。
【0090】
また、データに関連する情報として、端末特性(例えば、ファクシミリ)に関連してその端末が扱うデータ種別情報(例えば、G2、G3、G4)や、そのデータの属性情報(ペーパーサイズ、解像度など)がある。
【0091】
上記データの付属情報とデータ本体を通信する際の通信制御を行う(例えば、ドキュメント単位あるいはページ単位の通信制御など)。
プレゼンテーションは、データの処理方法に関する特性を規定している。例えば、音声か画像がテキストといったメディアの種別情報や、その各メディア種別の符号化方式、あるいは、テキストであれば文字コード種別、画像であれば色情報種別(YUV,YCrCbなど)といったデータ内容に関する情報である。アプリケーションは、データを利用した応用である。
【0092】
具体的には、メール通信やファイル転送などがある。この場合には、一つの回線番号に二つ以上の端末を接続して通信する場合や、端末を他の場所に持って行って別の回線に接続して通信する場合もあるので、端末番号はネットワークによる端末番号以外にネットワークとは関係のない端末自身の識別ID情報を持つ場合がある。
【0093】
また、ユーザー各個人がユーザーを識別する利用者IDを持ち、どの端末からでもその利用者IDによりアクセスしてその利用者の必要情報を入手するといった端末に依存しない識別情報を持つ場合もある。
以上のように、ローカルエリアネットワークでは、例えば、端末が接続されるネットワーク上の位置が変わっても相手端末番号やデータの種別やデータの属性を識別することは可能である。
【0094】
このようにして認識された相手端末番号やデータの種別やそのデータの属性情報は、記憶部44のデータ管理テーブル46に格納され、データ本体は、データ本体記憶部48に格納される。
【0095】
ここで、データを管理するための管理情報を図12に示す。管理情報を大きく分けると、ID情報とデータ情報とがある。ID情報は小グループをグループ化した大グループ、データIDをグループ化した小グループ、データIDがある。
【0096】
つまり、データをグループ化して一括して呼び出したり、あるいは格納する際に使用される。
データ情報は、データ名、メディア種別、メディア属性、データ量(byte)、アプリケーション名、登録時間などがあり、データを読出す際に必要となる環境の設定のための情報である。また、データ属性等もあるがここでは省略している。
【0097】
図11に、上記データ管理テーブル46のテーブル内容を示す。上記データ管理テーブルで管理する内容は、大きくは、端末情報とデータをグループとして扱うID情報とデータ情報とがある。
【0098】
上記端末情報としては、端末を識別するための端末ID、端末を利用するユーザーを識別する使用者ID、接続される網の回線番号、および端末の端末属性等がある。なお、ID情報およびデータ情報については、管理情報と同一であり、図12の管理情報で説明した通りである。ID情報で小グループIDやデータIDの”−”は、各々複数指定されている場合である。
【0099】
次に、図13、14のフローチャートを参照して、データ蓄積時の動作を説明する。
システム制御部26は、先ず、ステップS1において回線部および操作部からデータの蓄積要求があるか否かを監視する。そして、データの蓄積要求があれば、ステップS2に進んで通信か否かを判断する。
【0100】
また、ステップS2の判断の結果、通信でなければステップS3に進み、操作部から入力される相手端末情報をデータ管理テーブル46に登録し、その後、ステップS4にてデータを記憶して蓄積する。その後、ステップS5に進んで、そのデータのID情報およびデータ情報を登録する。
【0101】
すなわち、通信しない場合のデータ入力は、データは自端末の入力装置から入力されるが、音声、画像、テキスト等、各メディアに対応した入力装置を用いて入力され記憶部44に格納される。
【0102】
上記ステップS2の判断の結果、通信する場合はステップS6に進み、回線を接続する。次に、ステップS7にて回線接続時に受信する回線制御情報を解読する。その後、ステップS8にて解読の結果を判断し、相手端末の番号が受信されればステップS9に進み、データ管理テーブル46の相手端末情報に登録する。
【0103】
ここで、相手端末番号は、前述したように、ISDNの場合には、呼設定メッセージ内の着番号、LANの場合には、ネットワーク番号とIPヘッダの発信元アドレスなどが該当する。
【0104】
次に、ステップS10にて回線からデータの受信があるか否かを判断し、あれば、ステップS11に進んでそのデータの解読をする。このデータの解読(特に、データのヘッダ情報の解読)をした結果、相手端末番号が受信されているか否かをステップS12で判断し、相手端末番号が受信されていれば、ステップS13にてデータ管理テーブルを見て既に登録されているかチェックする。そして、未登録であればステップS14に進み、この相手端末番号をデータ管理テーブルに登録する。
【0105】
ここで、相手端末番号は、ファクシミリ通信時のドキュメントの付属情報に含まれる発信アドレスや、LANのセッションレイヤのドキュメント通信制御中の発信端末情報などが該当する。
【0106】
また、ステップS15において、相手端末を識別する端末IDが更にあるか否かを判断し、あればステップS16に進んで端末IDをデータ管理テーブル46に登録する。ここで、端末IDは、メール通信などのアプリケーション時に使用されるネットワークに依存しない端末の識別情報である。なお、このような識別情報としては、上記端末ID以外に利用者IDもある。また、識別情報は上記に限定しているわけではなくその他の識別情報も適応可能である。
【0107】
次に、ステップS17にてデータを記憶して蓄積し、そのデータのデータ情報をステップS18においてデータ管理テーブル46に登録する。
次に、ステップS19において、管理情報を受信したか否かを検索し、もし受信した場合には、ステップS20に進んでその管理情報をデータ管理テーブル46に登録する。
【0108】
その後、ステップS21に進み、その他の通信処理(例えば、蓄積の必要としないデータの通信)を行うとともに、ステップS22にて回線切断の有無を調べ、回線切断がなければステップS10に戻る。また、もし回線切断があればステップS23にて回線を切断して終了する。
【0109】
次に、図15、16、17のフローチャートを参照して、データの蓄積時の動作を説明する。
先ず、データの蓄積動作がスタートすると、システム制御部26はステップS30にて回線部および操作部からデータの検索要求があるか否かを監視する。
【0110】
そして、データの検索要求があれば、ステップS31にて通信か否かを判断する。この判断の結果、通信でなければ、ステップS32に進んで操作部から入力される相手端末番号をデータ管理テーブル46から検索する。その後、ステップS33にて、相手端末番号があるか否かを調査し、もし番号があればステップS34に進んで上記相手端末番号の一覧およびその内容の出力処理を行う。
【0111】
また、上記ステップS31の判断の結果、通信する場合はステップS35に進んで回線を接続をするとともに、ステップS36にて回線接続時に受信する回線制御情報を解読する。この解読の結果、相手端末の番号が受信されているか否かをステップS37で判断し、相手端末の番号が受信されればステップS38に進んでその相手端末番号を認識する。
【0112】
その後、ステップS39に進み、その番号をデータ管理テーブルから検索する。次に、ステップS40にて相手端末の番号が有るか否かを判断し、管理テーブルに相手端末番号があれば、ステップS41にてデータの検索をする。
次に、ステップS42にて、データがあるか否かを調べ、データがなければステップS43にて該当するデータがない旨を伝える。
【0113】
上記ステップS37の判断の結果、相手端末の番号が受信されていないとき、およびステップSステップS43にて該当するデータがない旨を伝えた後はステップS44に進み、管理情報を受信したか否かを調べる。
【0114】
ステップS44の判断の結果、管理情報を受信した場合には、ステップS45に進み、その管理情報の解読する。次に、ステップS46に進み、管理情報による管理テーブルの検索を行う。そして、次のステップS47において、該当するデータがあるか否かを調べ、なければステップS48に進んで該当するデータが無い旨を伝える。
【0115】
ステップS42およびステップS47において、データがある場合にはステップS49に進み、そのデータの一覧表の出力要求があるか否かを調べる。そして、データ一覧の出力要求がある場合はステップS50に進み、データの一覧をデータ管理テーブル46を用いて作成する。
【0116】
一覧表の具体的な作成方法は、データ管理テーブルから該当する端末のID情報とデータ情報を抽出して一覧表を作成する。その際に、データとしてはキャラクタデータを用いる。
【0117】
データの一覧を作成したら、次にステップS51に進み、その一覧表の出力方法の要求を調べる。そして、表示出力であればステップS52に進み、フォントデータを用いてキャラクタデータをビットマップに展開してビデオメモリに書き込み、そのビデオメモリのデータをモニタに出力して表示する。
【0118】
また、上記ステップS51の判断の結果が表示ではない場合は、ステップS53に進んで印刷か否かを判断する。そして、上記一覧表の出力方法の要求が印刷の場合には、ステップS54に進んで上記キャラクタデータをプリンタ用のフォントを用いて(例えば、スケーラブルフォントなど)ビットマップに展開してプリンタ出力する。
【0119】
また、上記ステップS53の判断の結果が印刷ではない場合は、ステップS55に進んで相手端末に送信するか否かを判断する。上記判断の結果、相手端末に送信する場合にはステップS56に進み、キャラクタデータで相手端末に送信する。ただし、相手端末がキャラクタデータで受信できない場合には、相手端末が受信できるデータ形態に変換して送信する。
【0120】
次に、ステップS57に進み、データの内容の出力要求があるか否かを調べ、出力要求があれば、ステップS58に進んで該当する端末の全てのデータの中でデータ指定があるか否かを調べる。ステップS58の判断の結果、データ指定があればステップS59に進んで指定されているデータを抽出し、その後ステップS60に進む。
【0121】
ステップS60では、そのデータの出力方法の要求を調べ、表示出力であればステップS61に進む。ステップS61では、上記データがキャラクタであればフォントデータを用いてビットマップに展開し、そのデータがグラフィックデータであればそのままにしてビデオメモリに書き込み、そのビデオメモリのデータをモニタに出力して表示する。
【0122】
次に、要求が印刷であれば、ステップS62にてキャラクタデータか否かを判断し、キャラクタデータの場合にはステップS63に進んでプリンタ用のフォントを用いて(例えば、スケーラブルフォントなど)ビットマップに展開し、グラフィックデータであればそのままでプリンタ出力する。ただし、表示と印刷では、解像度や色空間が異なるのでその変換処理を行う。
【0123】
次に、ステップS64にて相手端末に送信するか否かを判断し、相手端末に送信する場合には、ステップS65に進んでキャラクタデータおよびグラフィックデータで相手端末に送信する。ただし、相手端末がキャラクタデータおよびグラフィックデータで受信できない場合には相手端末が受信できるデータ形態に変換して送信する。
【0124】
その後、ステップS66に進み、その他の通信処理(例えば、蓄積の必要としないデータの通信)を行うとともに、ステップS67において、回線切断の有無を調べ、回線切断がなければステップS44に戻る。また、回線切断の指示があればステップS68にて回線を切断して終了する。
【0125】
以上のように、本実施の形態では、相手端末と接続中に上記管理情報を相手端末に送信し、こちらから送った情報をリモート制御して上記管理情報を入手させるようにすることができる。また、相手に関連する情報の中から、必要な情報のみを得るようにすることができる。
これらのことが可能になることにより、操作者が相手に関連するデータを保管する際の煩雑な手間や、あるいは通信中に情報の認識をしたり、捜しまわったりする手間を省略することができるようになる。また、データの保管や呼び出しを自動的に行うことができるので、操作者の利便性を飛躍的に向上させることができる。
また、通信中に上記のような無駄な作業時間の浪費を防ぐことができるとともに、データの紛失や不明といったトラブルによる通話の中断や再送のような無意味な通信を回避して、通信効率の向上を図ることができる。
【0126】
【発明の効果】
本発明によれば、第2の端末が、第1の端末から送信された複数のデータを、管理情報に基づいて検索し、検索したデータの一覧表をデータ情報に基づいて作成して出力するようにしたので、第2の端末において、第1の端末から送信されたデータを容易に管理することができるようになり、操作者の利便性を従来よりも飛躍的に向上させることができる。
【図面の簡単な説明】
【図1】本発明の通信端末の主要な機能の概略を示す機能構成図である。
【図2】本発明をTV電話装置に適用した一例を示すブロック図である。
【図3】アウトバンド信号(Dch)を用いて発呼し相手端末と接続する手順を説明するための図である。
【図4】呼設定メッセージ内容および伝達能力を説明する図である。
【図5】着番号を説明する図である。
【図6】Bchのインチャネル制御を説明する図である。
【図7】H221のフレームフォーマットを説明する図である。
【図8】BASのビット構成説明図である。
【図9】TCPのヘッダの構造説明図である。
【図10】IPのヘッダ情報の構造説明図である。
【図11】データ管理テーブルの説明図である。
【図12】管理情報の説明図である。
【図13】データ蓄積の動作フローチャートである。
【図14】データ蓄積の動作フローチャートである。
【図15】データ検索の動作フローチャートである。
【図16】データ検索の動作フローチャートである。
【図17】データ検索の動作フローチャートである。
【符号の説明】
▲1▼ 受信手段
▲2▼ 管理手段
▲3▼ 記憶手段
▲4▼ 識別情報判別手段
▲5▼ 一覧表生成手段
▲6▼ データ出力手段
▲7▼ 送信手段
▲8▼ 表示装置
▲9▼ プリント装置
11 モニタ
12 カメラ
13 プリンタ
14 マイク
15 スピーカ
16 画像処理部
17 音声処理部
20 画像コーデック部
24 データコーデック部
26 システム制御部
30 多重化部
32 回線インタフェース部
40 相手端末識別部
42 管理情報解読部
44 記憶部
46 データ管理テーブル
48 データ本体記憶部
50 操作部

Claims (2)

  1. 第1の通信時に、第1の端末が第2の端末に複数のデータと、上記複数のデータを読み出す際に必要となる環境の設定のためのデータ情報とを送信する手段と、
    上記第2の端末において、上記第2の端末が受信した上記複数のデータと上記データ情報とを蓄積する手段と、
    第2の通信時に、上記第1の端末が上記複数のデータの中から1つ以上のデータを指定するためのグループ指定情報を含む管理情報を上記第2の端末に送信する手段と、
    上記第2の端末において、上記第2の端末が受信した上記管理情報に基づいて上記蓄積されたデータを検索し、その検索したデータの一覧表を上記蓄積されたデータ情報に基づいて作成し、その作成したデータの一覧表を出力する手段とを有することを特徴とする通信システム。
  2. 複数のデータと、上記複数のデータを読み出す際に必要となる環境の設定のためのデータ情報とを第1の端末から第2の端末へ送信する送信処理と、
    上記第2の端末において、上記第1の端末から送信された上記複数のデータおよび上記データ情報を記憶媒体に記憶する記憶処理と、
    上記第1の端末と上記第2の端末との接続中に上記複数のデータの中から1つ以上のデータを指定するためのグループ指定情報を含む管理情報を上記第1の端末から上記第2の端末に送信し、上記第2の端末に上記管理情報を入手させる管理情報送信処理と、
    上記第2の端末において、上記管理情報に基づいて上記記憶媒体に記憶されているデータを検索し、その検索した複数のデータの一覧表を上記記憶媒体に記憶されているデータ情報に基づいて作成し、その作成したデータの一覧表を出力するデータ出力処理とを行うことを特徴とする通信制御方法。
JP2001311995A 2001-10-09 2001-10-09 通信システム及び通信制御方法 Expired - Fee Related JP3605063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001311995A JP3605063B2 (ja) 2001-10-09 2001-10-09 通信システム及び通信制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001311995A JP3605063B2 (ja) 2001-10-09 2001-10-09 通信システム及び通信制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP6122878A Division JPH07336462A (ja) 1994-06-03 1994-06-03 通信端末および通信システム

Publications (2)

Publication Number Publication Date
JP2002176507A JP2002176507A (ja) 2002-06-21
JP3605063B2 true JP3605063B2 (ja) 2004-12-22

Family

ID=19130717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001311995A Expired - Fee Related JP3605063B2 (ja) 2001-10-09 2001-10-09 通信システム及び通信制御方法

Country Status (1)

Country Link
JP (1) JP3605063B2 (ja)

Also Published As

Publication number Publication date
JP2002176507A (ja) 2002-06-21

Similar Documents

Publication Publication Date Title
US6535240B2 (en) Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US5898457A (en) TV conference communication device and method of controlling the same
US20050185601A1 (en) Video conferencing system
US5953505A (en) Communication apparatus and method for reading out stored function information in response to identifying information
AU2002355089A1 (en) Method and apparatus for continuously receiving frames from a pluarlity of video channels and for alternatively continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US6313863B1 (en) Image communication apparatus and system
US5903734A (en) Multimedia information communication apparatus which stores received information in an encoded state
US5675393A (en) Image processing apparatus with generating unit for generating image data and decoding unit for decoding image data
EP0661880B1 (en) Communications apparatus for multimedia information
JPH07203434A (ja) 画像送信装置
JP3605063B2 (ja) 通信システム及び通信制御方法
JPH0884331A (ja) 画像通信装置およびその画像通信方法
JP3927606B2 (ja) 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法
JPH07162831A (ja) テレビ会議通信装置の制御方法
JP3437191B2 (ja) 端末装置及び端末装置の制御方法
JPH06165167A (ja) 画像伝送システム、画像送信装置及び画像受信装置
JPH07336461A (ja) 画像通信装置
JPH0723377A (ja) 画像送信装置
JPH0746553A (ja) 画像通信装置及びシステム
JP3642072B2 (ja) テレビ会議装置
JP2001197458A (ja) 画像伝送システム及び画像送信装置
JPH05130601A (ja) 多地点間制御装置
JPH1028260A (ja) 映像データ伝送方法および多地点テレビ会議装置
JPH0918846A (ja) 多地点間通信装置
JP3339949B2 (ja) テレビ会議通信端末の制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071008

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081008

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees