JPH07184181A - テレビ会議通信端末装置の制御方法 - Google Patents

テレビ会議通信端末装置の制御方法

Info

Publication number
JPH07184181A
JPH07184181A JP5345493A JP34549393A JPH07184181A JP H07184181 A JPH07184181 A JP H07184181A JP 5345493 A JP5345493 A JP 5345493A JP 34549393 A JP34549393 A JP 34549393A JP H07184181 A JPH07184181 A JP H07184181A
Authority
JP
Japan
Prior art keywords
image
display
selection
displayed
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5345493A
Other languages
English (en)
Other versions
JP3305468B2 (ja
Inventor
Koichi Mori
幸一 森
Naoki Tsunoda
直規 角田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP34549393A priority Critical patent/JP3305468B2/ja
Publication of JPH07184181A publication Critical patent/JPH07184181A/ja
Application granted granted Critical
Publication of JP3305468B2 publication Critical patent/JP3305468B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【目的】 複数の画像入力装置および受信画像のうち、
表示する画像および送信する画像をより簡単な操作によ
り選択することができるテレビ会議通信端末装置の制御
方法を提供することを目的としている。 【構成】 表示画面を見ながら操作手段を操作すること
で、表示画像および送信画像を選択することができるの
で、その操作性が向上する。また、その時点で選択可能
な項目を有効選択項目として表示し、その有効選択項目
のみを選択可能にしているので、無効な選択操作が行わ
れるような事態を回避でき、操作性がより向上する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、複数の画像入力手段お
よび画像表示手段を備え、相手端末との間でテレビ会議
通信セッションを実行中に、上記複数の画像入力手段か
らの入力画像あるいは相手端末から受信した受信画像を
任意に切り換えて送信画像として相手端末に送信すると
ともに、上記画像表示手段に表示する表示画像を、上記
複数の画像入力手段からの入力画像あるいは相手端末か
ら受信した受信画像から任意に選択可能なテレビ会議通
信端末装置の制御方法に関する。
【0002】
【従来の技術】例えば、CCITT勧告H.320で規
定されているテレビ会議通信機能などを備え、遠隔地間
で映像と音声をやりとりして会議通信を実現するテレビ
会議通信端末装置が提案されている。とくに、近年で
は、回線としてISDNを用いた通信アプリケーション
として、テレビ会議通信装置が重要視されており、徐々
に普及しつつある。
【0003】このテレビ会議通信端末装置には、例え
ば、メインカメラ、サブカメラ、ビデオデッキ、およ
び、静止画入力装置などの複数の画像入力装置を備え、
それらの画像入力装置の入力画像の任意のものを選択し
て相手端末に送信するとともに、自端末に表示するもの
が実用されている。さらに、例えば、ビデオモニタ装置
の表示画面に、全面を使用する主画面の他に、より小さ
な領域を使用する副画面を設け、主画面と副画面に、複
数の画像入力装置からの入力画像および受信画像を任意
の組み合わせで表示するものも実用されている。
【0004】このようにして、複数の画像入力装置およ
び複数の表示画面(すなわち、画像表示手段)を備え、
複数の表示画面に任意の組み合わせで画像を表示できる
ようにすることで、テレビ会議通信端末装置の使い勝手
が大幅に向上する。
【0005】
【発明が解決しようとする課題】しかしながら、このよ
うな従来装置では、次のような不都合を生じていた。
【0006】すなわち、複数の画像入力装置および受信
画像のうちどれをどの表示画面に表示するか、あるい
は、どの画像を相手端末に送信するのかを選択するため
に、専用の操作ユニットを設けると、テレビ会議通信端
末装置に必要な操作ユニットの数が増えたり、あるい
は、操作ユニットに必要なキーの数が増え、機械の操作
性が損なわれるという不都合を生じる。
【0007】本発明は、かかる実情に鑑みてなされたも
のであり、複数の画像入力装置および受信画像のうち、
表示する画像および送信する画像をより簡単な操作によ
り選択することができるテレビ会議通信端末装置の制御
方法を提供することを目的としている。
【0008】
【課題を解決するための手段】本発明は、複数の画像入
力手段および画像表示手段を備え、相手端末との間でテ
レビ会議通信セッションを実行中に、上記複数の画像入
力手段からの入力画像あるいは相手端末から受信した受
信画像を任意に切り換えて送信画像として相手端末に送
信するとともに、上記画像表示手段に表示する表示画像
を、上記複数の画像入力手段からの入力画像あるいは相
手端末から受信した受信画像から任意に選択可能なテレ
ビ会議通信端末装置の制御方法において、上記送信画像
および表示画像の選択操作を入力する操作手段を備え、
この操作手段により上記送信画像および表示画像の選択
操作が指令されると上記複数の画像入力手段および受信
画像の選択項目を一覧表示し、その一覧表示中に上記送
信画像および表示画像としておのおの選択中の状態をあ
らわす選択マークを表示し、上記操作手段により上記選
択マークが移動操作されるとその操作方向に対応して上
記選択マークを上記選択項目の一覧表示中で移動し、上
記選択マークが最終的に移動した上記選択項目に対応し
た上記画像入力手段または受信画像を、それ以降、その
選択マークに対応した上記送信画像および表示画像とし
て選択するようにしたものである。
【0009】また、複数の画像入力手段および画像表示
手段を備え、相手端末との間でテレビ会議通信セッショ
ンを実行中に、上記複数の画像入力手段からの入力画像
あるいは相手端末から受信した受信画像を任意に切り換
えて送信画像として相手端末に送信するとともに、上記
画像表示手段に表示する表示画像を、上記複数の画像入
力手段からの入力画像あるいは相手端末から受信した受
信画像から任意に選択可能なテレビ会議通信端末装置の
制御方法において、上記送信画像および表示画像の選択
操作を入力する操作手段を備え、この操作手段により上
記送信画像および表示画像の選択操作が指令されると、
上記複数の画像入力手段および受信画像の選択項目のう
ち、現在画像が有効に入力されている有効選択項目を一
覧表示し、その一覧表示中に上記送信画像および表示画
像としておのおの選択中の状態をあらわす選択マークを
表示し、上記操作手段により上記選択マークが移動操作
されるとその操作方向に対応して上記選択マークを上記
有効選択項目の一覧表示中で移動し、上記選択マークが
最終的に移動した上記有効選択項目に対応した上記画像
入力手段または受信画像を、それ以降、その選択マーク
に対応した上記送信画像および表示画像として選択する
ようにしたものである。
【0010】また、前記有効選択項目は、前記選択項目
を所定態様で強調表示することで表示することができ
る。
【0011】
【作用】したがって、表示画面を見ながら操作手段を操
作することで、表示画像および送信画像を選択すること
ができるので、その操作性が向上する。また、その時点
で選択可能な項目を有効選択項目として表示し、その有
効選択項目のみを選択可能にしているので、無効な選択
操作が行われるような事態を回避でき、操作性がより向
上する。
【0012】
【実施例】以下、添付図面を参照しながら、本発明の実
施例を詳細に説明する。
【0013】図1は、本発明の一実施例にかかるテレビ
会議通信端末装置の構成例を示している。
【0014】同図において、CPU(中央処理装置)1
は、このテレビ会議通信端末装置の各部の制御処理、フ
ァクシミリ通信機能、および、テレビ会議通信機能など
の制御処理を行なうためのものであり、ROM(リード
・オンリ・メモリ)2は、CPU1が実行する制御プロ
グラムや、その制御プログラムを実行するために必要な
各種パラメータなどのデータを記憶するものであり、R
AM(ランダム・アクセス・メモリ)3は、CPU1の
ワークエリアを構成するものである。
【0015】DMA(ダイレクト・メモリ・アクセス)
制御装置4は、CPU1を介在しないで、CPU1の周
辺装置間で高速にデータをやりとりするためのものであ
り、割込制御装置5は、多数発生する割込信号のCPU
1への出力を制御するためのものであり、リアルタイム
クロック装置5は、現在時刻情報を出力するものであ
る。
【0016】スキャナ7は、所定の解像度で原稿画像を
入力するためのものであり、プリンタ8は、所定の解像
度で画像を記録出力するためのものであり、操作表示部
9は、このテレビ会議通信端末装置の機能を操作するた
めのものであり、各種の操作キーおよび表示器からな
る。磁気ディスク装置10は、各種の文書情報などを大
量に保存するためのものである。
【0017】画像符号化復号化部11は、静止画像(自
然画像)の符号化復号化機能と、原稿画像のような二値
画像の符号化復号化機能を備えている。ここで、静止画
像の符号化復号化機能としては、例えば、JPEG方式
の符号化方式のものを備えており、また、二値画像の符
号化復号化機能としては、グループ4ファクシミリ装置
機能と同じ符号化方式(MMR方式)のものを備えてい
る。
【0018】ビデオデッキ12は、録画した内容を再生
するものであり、VTRインタフェース回路13は、ビ
デオデッキ12をシステムバス(後述)に接続するため
のものであり、ビデオデッキ12から出力される映像信
号をシステムバスに出力可能なデジタルデータに変換す
る機能も備えている。ビデオモニタ14は、画像を表示
出力するためのものであり、表示制御部15は、ビデオ
モニタ14の表示画面の内容を制御するためのものであ
る。
【0019】メインカメラ16およびサブカメラ17
は、映像入力のためのものであり、ビデオカメラインタ
フェース回路18は、メインカメラ16およびサブカメ
ラ17から出力される映像信号を入力するためのもので
あり、メインカメラ16およびサブカメラ17から出力
される映像信号を対応するデジタルデータに変換してシ
ステムバスに出力する機能も備えている。
【0020】音声入出力装置19は、音声信号を入出力
するためのものであり、例えば、マイクとスピーカから
なる。音声CODEC20は、所定のアナログ音声信号
/デジタル音声データの信号変換処理を行なうためのも
のであり、そのアナログ音声信号側は、音声入出力装置
19に接続され、デジタル音声データ側は、通信制御部
21に接続されている。
【0021】ビデオCODEC22は、ビデオ信号(映
像データ)を所定形式の映像符号化信号に相互に変換す
るためのものであり、その映像符号化信号側は、通信制
御部21に接続されている。また、ビデオ信号側は、シ
ステムバスに接続されている。
【0022】通信制御部21は、ISDNに接続して、
Dチャネル(信号チャネル)における呼制御機能と、B
チャネル(情報チャネル)におけるファクシミリ通信機
能、および、テレビ会議通信機能の下位レイヤの通信制
御機能を行なうためのものである。
【0023】これらのCPU1、ROM2、RAM3、
DMA制御装置4、割込制御装置5、リアルタイムクロ
ック装置6、スキャナ7、プリンタ8、操作表示部9、
磁気ディスク装置10、画像符号化復号化部11、VT
Rインタフェース回路13、表示制御部15、ビデオカ
メラインタフェース回路18、音声CODEC20、通
信制御部21、および、ビデオCODEC22は、シス
テムバスに接続され、これらの各要素間のデータのやり
とりは、主としてこのシステムバス23を介してやりと
りされる。
【0024】また、ビデオデッキ12、メインカメラ1
6、サブカメラ17、および、音声入出力装置19の制
御信号は、CPU1と、システムバス23を介してやり
とりされている。
【0025】図2は、通信制御部21の一例を示してい
る。
【0026】同図において、ISDNインタフェース回
路25は、ISDNに接続するとともに、ISDNのレ
イヤ1の信号処理機能およびDチャネルの信号と2つの
Bチャネルの信号の統合/分離機能を備えたものであ
り、Dチャネルの信号はDチャネル伝送制御装置26と
やりとりし、また、2つのBチャネルの信号は多重化/
分離装置27とやりとりしている。
【0027】LAPDチャネル伝送制御装置26は、D
チャネルのレイヤ2の信号処理機能を実現するためのも
のである。多重化/分離装置27は、Bチャネルを用い
てやりとりする音声、ビデオ(動画)、および、汎用デ
ータなどの複数のメディアのデータを多重化し、CCI
TT勧告H.221に規定されているフレームデータを
形成して回線側に送出するとともに、受信したフレーム
データに多重化されている複数のメディアのデータを分
離するものである。この多重化/分離装置27は、音声
データを音声CODEC20とやりとりし、ビデオデー
タをビデオCODEC22を介してやりとりし、また、
グループ4ファクシミリ信号などの汎用データをLAP
B制御装置28,29とやりとりしている。LAPB制
御装置28,29は、グループ4ファクシミリ通信機能
などの通信機能の下位レイヤの機能を実現するためのも
のである。
【0028】さて、テレビ会議通信端末装置は、Bチャ
ネルにおいては、TTC標準JT−H.221で規定さ
れるマルチフレーム形式でデータをやりとりする。
【0029】図3に示すように、1つのマルチフレーム
MFLは、8個のサブマルチフレームSMF1〜SMF
8からなり、おのおののサブマルチフレームSMF1〜
SMF8は、それぞれ2つのフレームから構成されてい
る。すなわち、1つのマルチフレームMFLは、16個
のフレームFLM0〜FLM15からなる。
【0030】それぞれのフレームFLM0〜FLM15
は、図4に示すように、80オクテットのデータからな
り、それらのオクテットをビット順に配置したそれぞれ
のビット位置は、サブチャネルSCH1〜SCH8を構
成している。
【0031】また、第1オクテット〜第8オクテットの
第8ビットは、フレーム同期信号(Frame Ali
gnment Signal)FASを構成し、第9オ
クテット〜第16オクテットの第8ビットは、ビットレ
ート割当信号(Bit rate Allocation
Signal)BASを構成する。すなわち、サブチ
ャネルSCH8は、第17オクテット〜第80オクテッ
トの第8ビットに割り当てられており、この部分は、応
用チャネルAC(Application Chann
el)と呼ばれることもある。また、サブチャネルSC
H8の第17〜第24オクテットに対応した部分には、
データを暗号化するためのキー情報などをやりとりする
ための暗号チャネルのデータがセットされることがある
(オプション)。
【0032】このようにして、フレーム同期信号FAS
は、1つのフレームFLM0〜FLM15に8ビット配
置されており、そのビット割り当ては、図5に示すよう
に、マルチフレームMFLを単位として構成されてい
る。
【0033】すなわち、偶数フレームFLM0,FLM
2,…,FLM14の第2オクテット〜第8オクテット
と、それに続く奇数フレームFLM1,FLM3,…,
FLM15には、「00110111」なる8ビットの
データパターンからなる水平同期信号が配置され、奇数
フレームFLM1,FLM3,…,FLM11の第1オ
クテットには、「001011」なる6ビットのデータ
パターンからなる垂直同期信号が配置されている。
【0034】この水平同期信号と垂直同期信号を検出す
ることにより、1つのマルチフレームMFLの同期を検
出することができる。
【0035】また、第0フレーム、第2フレーム、第4
フレーム、第6フレームおよび第8フレームの第1オク
テットのビットN1,N2,N3,N4,N5は、マル
チフレーム番号の表示に用いられる。このうち、ビット
N5は、マルチフレーム番号が使用されているか否かの
表示に用いられる。このように、マルチフレーム番号の
ために使用されるデータが4ビットなので、マルチフレ
ーム番号は0〜15までの値で降順に変化し、16マル
チフレーム毎に同じマルチフレーム番号があらわれる。
【0036】また、第10フレーム、第12フレーム、
および、第13フレームの第1オクテットのビットL
1,L2,L3は、現在使用されているBチャネルのう
ち、そのフレームを運んでいるBチャネルの接続された
順番をあらわすコネクション番号を表示するために用い
られる。また、第15フレームの第1オクテットのビッ
トRは、将来の勧告のために確保(予約)されており、
その値には0がセットされる。
【0037】また、第14フレームの第1オクテットの
ビットTEAは、データ端末装置の内部的な障害によ
り、データ伝送できない状態であることを表示するため
に用いられる。
【0038】また、奇数フレームFLM1,FLM3,
…,FLM15の第3オクテットのビットAは、フレー
ム同期またはマルチフレーム同期が確立しているか、あ
るいは、同期はずれを生じているかを表示するために用
いられる。
【0039】また、奇数フレームFLM1,FLM3,
…,FLM15の第5オクテット、第6オクテット、第
7オクテット、および、第8オクテットのビットC1,
C2,C3,C4は、連続した2つのフレーム(すなわ
ち、サブマルチフレーム)のデータエラー検出(すなわ
ち、伝送路品質検出)のために参照されるCRC(巡回
冗長検査)符号を表示するためのものであり、この奇数
フレームFLM1,FLM3,…,FM15の第4オク
テットのビットEは、受信側で伝送エラーを検出したこ
とを表示するために用いられる。
【0040】また、ビットレート割当信号BASは、図
6に示すように、偶数フレームFLM0,FLM2,
…,FLM14では、能力BASあるいはBASコマン
ドをあらわす8ビットデータが配置され、それに続く奇
数フレームFLM1,FLM3,…,FLM15には、
直前のフレームで送出した能力BASあるいはBASコ
マンドの値を誤り訂正するための二重誤り訂正符号が配
置される。
【0041】また、マルチフレームMFLのデータの送
信は、フレーム番号順に行なわれ、おのおののフレーム
FLM0〜FLM15は、図7に示すように、第1オク
テットから第80オクテットのオクテット順序に送出さ
れ、それぞれのオクテットは、第1ビットが最初に送出
される。
【0042】すなわち、おのおののフレームFLM0〜
FLM15においては、第1オクテットの第1ビットが
最初に送出され、第80オクテットの第8ビットが最後
に送出される。
【0043】図8は、テレビ会議通信端末装置がBチャ
ネルを用いて音声データと動画データをやりとりすると
きに実行する伝送制御手順として適用するTTC標準J
T−H.242(CCITT勧告H.242に対応した
国内規格)の一般的な手順例を示している。
【0044】まず、発呼端末が宛先端末を発呼してDチ
ャネル上で呼設定手順を行い、1つのBチャネル(以
下、第1チャネルという)を確保し(フェーズA)、そ
の設定した第1チャネル上でPCM音声データ(A則ま
たはμ則、64Kbps)をセットしたフレームデータ
をやりとりしながらフレーム同期を行ない(フレームモ
ード)、フレーム同期が確立すると、相互に能力BAS
データおよびコマンドBASデータをやりとりし(フェ
ーズB1−1)、そのときに使用する伝送モードを決定
して、2つ目のBチャネルを確保するための付加呼設定
要求を開始する(フェーズB1−2)。
【0045】そして、伝送モードをそのときに相互に交
換した内容から、原則として、互いに共通で最も機能の
高いモードを選択し(フェーズB1−3)、発呼端末か
らその選択した動作モードで着呼端末に機能を動作させ
るよう端末機能を指定するBASコマンドを送信して、
発呼端末と着呼端末の装置機能に共通するパラメータを
設定する(フェーズB2)。これにより、第1チャネル
では、そのときに選択した伝送モードに対応した、例え
ば、音声データ(16Kbps)のデータ伝送、およ
び、動画像データ(46.4Kbps)のデータ伝送が
行われる(フェーズC)。
【0046】第1チャネルがフレームモードでデータ伝
送を開始すると、2つ目のBチャネル(以下、第2チャ
ネルという)についてDチャネル上で呼設定手順を行い
(フェーズCA)、第2チャネルが確立すると、第2チ
ャネルを使ってフレーム同期信号FASおよびビット割
当信号BASのみを含むフレームデータをやりとりして
フレーム同期およびマルチフレーム同期を確立し(フェ
ーズCB1−11)、次いで、第1チャネルと第2チャ
ネル間の同期を確立する(フェーズCB1−12)。
【0047】2つのBチャネルの同期が完了すると、発
呼端末側からBASコマンドを送出して伝送モードを設
定し(フェーズCB1−2)、その設定した内容に伝送
モードを切換え(フェーズCB1−3)、共通パラメー
タを設定する(フェーズCB3)。
【0048】このようにして、第2チャネルの初期化が
終了すると、それ以降は、第1チャネルでやりとりする
フレームデータ、および、第2チャネルでやりとりする
フレームデータが同期された状態で、2つのBチャネル
を用いて、音声データ、動画データ、および、汎用デー
タが、例えば、それぞれ56Kbps、62.4Kbp
s、および、6.4Kbpsの伝送速度が割り当てられ
状態でデータ伝送される(図9参照)。
【0049】そして、このようなデータ伝送を終了する
ときには、まず、後から確立した第2チャネルから切断
する。このとき、第1チャネルのみで行なう音声データ
伝送のために、共通モードを設定するための手順が行わ
れて(フェーズCD1)、第2チャネルはフレームモー
ドのモード0Fへのモード切換えが行われる(フェーズ
CD2)。
【0050】このときには、第1チャネルと第2チャネ
ルが非同期であり、かつ、第2チャネルではフレーム同
期信号FASとビット割当信号BASのみの伝送状態で
呼が保持されている状態であり、Dチャネルの呼切断解
放手順により第2チャネルの呼を解放できる状態になっ
ている。
【0051】また、第1チャネルでは、フェーズCD1
およびフェーズCD2の間、フレームモードで音声デー
タと動画データが合計62.4Kbpsの伝送速度で伝
送されている。また、この状態では、一方の端末のオペ
レータが通信終了すると、動画データの伝送を終了し、
この動画データの伝送容量を含めて、全ての第1チャネ
ルの伝送容量を音声伝送に使用するためにモード0Fに
切り換え(フェーズD2)、この後、Dチャネルの呼切
断解放手順により第1チャネルの呼を解放できる状態に
なっている。
【0052】これにより、第1チャネルおよび第2チャ
ネルについて、Dチャネル上で呼切断解放手順が実行さ
れて(フェーズE)、2つの端末間のテレビ会議通信が
終了する。
【0053】このように、テレビ会議通信端末装置で
は、最初に1つのBチャネル(第1チャネル)を確保し
てフレームモードを確立した後に、この第1チャネルで
音声データと動画データの伝送速度の割り当てを行なっ
て過渡的なモードでデータ伝送を行ないつつ、同時に互
いに2つ目のBチャネル(第2チャネル)の設定が可能
ならば、Dチャネルの呼設定手順により第2チャネルを
確保する。
【0054】そして、過渡的なモードで伝送している第
1チャネルと、新たに確保した第2チャネルをチャネル
同期させ、そのチャネル同期が確立した時点で、音声デ
ータと動画データの伝送速度の割り当てを再設定し、増
大したBチャネルの伝送容量を活用するために、音声デ
ータおよび動画データの符号化則(符号化方式)を変更
して、より高品質な音声データおよび動画データのやり
とりを行なうようにしている。
【0055】一方、データ伝送を終了するときには、い
ったん、第1チャネルと第2チャネルの両方を同期させ
た伝送路を使用していたモードから、第1チャネルだけ
を使用するモードへ変更する必要がある。
【0056】そこで、まず、音声データおよび動画デー
タの各符号化則を第1チャネルの62.4Kbpsの伝
送容量に最適化する方式に設定して第1チャネルのみの
伝送モードに変更するとともに、第2チャネルは、第1
チャネルとの同期状態を停止するとともに、ユーザデー
タが空き伝送状態になっているモード0Fに移行し、D
チャネルの呼切断解放手順により呼を切断/解放する。
また、第1チャネルは、音声データと動画データの2種
類のメディア伝送から、音声データだけの伝送モードで
あるモード0Fへ変更した後、Dチャネルの呼切断解放
手順により、呼を切断/解放する。なお、第1チャネル
は、音声データと動画データの2種類のメディア伝送へ
モードを切り換えずに、モード0Fへ直接モード変更し
た後に、呼切断/解放することもできる。また、呼切断
解放手順で得た課金情報などは、チャネル毎に管理す
る。
【0057】さて、本実施例では、図10に示すよう
に、ビデオモニタ14の表示画面に、全面を使用する主
画面と、一部の領域を使用する副画面の2つの画面を設
け、これらの主画面と副画面に、任意の画像(映像)を
表示できる。なお、この主画面と副画面への表示制御
は、表示制御部15の機能により実現される。
【0058】この主画面と副画面への表示画像を任意に
選択できるように、操作表示部9には、図11に示すよ
うな画面選択操作部が設けられている。この画面選択操
作部は、主画面に表示する画像を選択する操作を指令す
るための主画面選択キー9a、副画面に表示する画像を
選択する操作を指令するための副画面選択キー9b、送
信映像の種類を選択する操作を指令するための送信映像
選択キー9c、および、画面上の選択マーク(後述)を
移動するためのカーソルキー9dが設けられている。
【0059】図12は、主画面と副画面への表示内容、
および、送信する映像を選択するときに、ビデオモニタ
14に表示する映像ソース選択画面の一例を示してい
る。
【0060】この映像ソース選択画面には、主画面表
示、副画面表示、および、送信映像として現在選択され
ている画像をそれぞれ示すためのマーク(以下、主画面
表示マーク、副画面表示マーク、および、送信映像表示
マークという)の一覧表示、および、選択できる画像入
力装置(画像入力手段)の一覧表示が表示される。この
場合、画像入力装置としては、メインカメラ、サブカメ
ラ、ビデオ、静止画、および、受信映像の5個の項目が
表示されている。また、画像入力装置の一覧表示のう
ち、現在使用可能な画像入力装置をあらわす項目は、破
線で示したように強調表示(例えば、反転表示)され
る。
【0061】すなわち、この場合には、メインカメラ1
6、サブカメラ17、および、ビデオデッキ(項目名は
ビデオ)12が稼動しているとともに、相手端末から動
画情報を受信中であり、この時点では、表示または送信
できる静止画像がないことが示されている。
【0062】そして、この時点では、主画面には受信映
像が表示され、副画面にはメインカメラ16の映像が表
示され、サブカメラ17の映像が相手端末に送信されて
いることが、主画面表示マーク、副画面表示マーク、お
よび、送信映像表示マークにより、それぞれ示されてい
る。
【0063】以上の構成で、主画面選択キー9a、副画
面選択キー9b、または、送信映像選択キー9cのいず
れかが操作されると、図12に示したような映像ソース
選択画面が表示される。
【0064】この状態から、カーソルキー9dを適宜に
操作すると、最初に操作した選択キーに対応した表示マ
ークの表示位置が変化する。例えば、主画面選択キー9
aを操作した場合には、カーソルキー9dが操作される
と、その操作方向に主画面表示マークの表示位置を移動
する。このとき、移動先としては、強調表示されている
項目のみの上に限られる。
【0065】すなわち、この場合、主画面表示マーク
は、受信映像の項目の上位置に表示されており、この状
態から、カーソルキー9dを左方向に1回操作すると、
すぐ隣の静止画の項目の上には主画面表示マークは表示
されず、さらに左のビデオの項目の上位置に表示され
る。同様にして、ビデオの項目の上に主画面表示マーク
が表示されているときに、カーソルキー9dを右方向に
1回操作すると、静止画の項目を飛び越して、受信映像
の項目の上位置に主画面表示マークが移動する。
【0066】また、副画面選択キー9bを操作した場合
には、カーソルキー9dにより副画面表示マークを移動
することができ、送信映像選択キー9cを操作した場合
には、カーソルキー9dにより送信映像表示マークを移
動することができる。
【0067】そして、主画面表示マーク、副画面表示マ
ーク、および、送信映像表示マークが、最終的に位置し
ている項目に対応した映像が、それぞれ主画面および副
画面に表示されるとともに、送信映像として相手端末に
送信される。
【0068】このようにして、本実施例では、ビデオモ
ニタ14に表示されている映像ソース選択画面の内容を
見ながら、カーソルキー9dを適宜に操作することで、
主画面に表示する映像、副画面に表示する映像、およ
び、相手端末に送信する映像の内容を選択することがで
きるので、その選択操作が非常に明確で、簡単になり、
操作性が大幅に向上する。
【0069】また、映像を選択するときに、そのときに
実際に選択可能な有効な項目にのみ、表示マークを移動
させているので、ユーザが操作するときに余計な手間が
かからず、操作性が良好になる。また、そのときに実際
に選択可能な有効な項目を、無効な項目と異なる表示属
性で表示しているので、ユーザは、どの項目を選択でき
るのかを一目で理解することができ、操作性が良好にな
る。
【0070】図13は、映像ソース選択処理の一例を示
している。
【0071】まず、主画面選択キー9a、副画面選択キ
ー9b、または、送信映像選択キー9cのいずれかの選
択キーが操作されることを監視している(判断10
1)。そして、いずれかの選択キーが操作された場合
で、判断101の結果がYESになるときには、そのと
きに操作された選択キーが、主画面選択キー9a、副画
面選択キー9b、または、送信映像選択キー9cのいず
れであったかを調べる(判断102,103)。
【0072】主画面選択キー9aが操作された場合で、
判断102の結果がYESになるときには、所定の主画
面切換処理(処理104)を実行し、副画面選択キー9
bが操作された場合で、判断103の結果がYESにな
るときには、所定の副画面切換処理(処理105)を実
行し、送信映像選択キー9cが操作された場合で、判断
103の結果がNOになるときには、所定の送信映像切
換処理106を実行する。
【0073】主画面切換処理(処理104)の一例を図
14に示す。
【0074】まず、選択状態モニタ表示処理(処理20
1)を実行して、映像ソース選択画面を表示し、その状
態で、所定時間以上カーソルキー9dの操作が検出され
ない状態を監視している(判断202,203のNOル
ープ)。
【0075】カーソルキー9dが操作された場合で、判
断203の結果がYESになるときには、そのカーソル
キー9dの操作方向に位置している項目が有効項目であ
るかどうかを調べ(判断204)、判断204の結果が
NOになるときには、そのときのカーソルキー9dの操
作方向のさらに次の項目を選択し(処理205)、判断
204に戻る。
【0076】判断204の結果がYESになるときに
は、その選択項目が有効項目なので、主画面表示マーク
の表示位置を、その選択項目の上位置に移動して(処理
206)、そのときの選択項目の映像を主画面に表示変
更する主画面変更処理(処理207)を実行し、判断2
02に戻る。
【0077】そして、所定時間以上カーソルキー9dが
操作されない場合で、判断202の結果がYESになる
ときには、そのときに表示している映像ソース選択画面
を消去し(処理208)、この処理を終了する。
【0078】副画面切換処理(処理105)の一例を図
14に示す。
【0079】まず、選択状態モニタ表示処理(処理30
1)を実行して、映像ソース選択画面を表示し、その状
態で、所定時間以上カーソルキー9dの操作が検出され
ない状態を監視している(判断302,303のNOル
ープ)。
【0080】カーソルキー9dが操作された場合で、判
断303の結果がYESになるときには、そのカーソル
キー9dの操作方向に位置している項目が有効項目であ
るかどうかを調べ(判断304)、判断304の結果が
NOになるときには、そのときのカーソルキー9dの操
作方向のさらに次の項目を選択し(処理305)、判断
3204に戻る。
【0081】判断304の結果がYESになるときに
は、その選択項目が有効項目なので、副画面表示マーク
の表示位置を、その選択項目の上位置に移動して(処理
306)、そのときの選択項目の映像を副画面に表示変
更する副画面変更処理(処理307)を実行し、判断3
02に戻る。
【0082】そして、所定時間以上カーソルキー9dが
操作されない場合で、判断302の結果がYESになる
ときには、そのときに表示している映像ソース選択画面
を消去し(処理308)、この処理を終了する。
【0083】送信映像切換処理(処理106)の一例を
図14に示す。
【0084】まず、選択状態モニタ表示処理(処理40
1)を実行して、映像ソース選択画面を表示し、その状
態で、所定時間以上カーソルキー9dの操作が検出され
ない状態を監視している(判断402,403のNOル
ープ)。
【0085】カーソルキー9dが操作された場合で、判
断403の結果がYESになるときには、そのカーソル
キー9dの操作方向に位置している項目が有効項目であ
るかどうかを調べ(判断404)、判断404の結果が
NOになるときには、そのときのカーソルキー9dの操
作方向のさらに次の項目を選択し(処理405)、判断
404に戻る。
【0086】判断404の結果がYESになるときに
は、その選択項目が有効項目なので、主画面表示マーク
の表示位置を、その選択項目の上位置に移動して(処理
406)、そのときの選択項目の映像を送信映像として
相手端末に送信する送信映像変更処理(処理407)を
実行し、判断402に戻る。
【0087】そして、所定時間以上カーソルキー9dが
操作されない場合で、判断402の結果がYESになる
ときには、そのときに表示している映像ソース選択画面
を消去し(処理408)、この処理を終了する。
【0088】図17は、選択状態モニタ表示処理(処理
201,301,401)の一例を示している。
【0089】まず、メインカメラ16から同期信号が出
力されている状態で、メインカメラ16が稼動状態であ
るかどうかを調べ(判断501)、判断501の結果が
YESになるときには、映像ソース選択画面における
「メインカメラ」を有効項目に設定するとともに、その
表示項目の表示属性を有効項目に対応した表示属性に設
定し(処理502)、判断501の結果がNOになると
きには、「メインカメラ」を無効項目に設定するととも
に、その表示項目の表示属性を無効項目に対応した表示
属性に設定(処理503)する。
【0090】次に、サブカメラ17から同期信号が出力
されている状態で、サブカメラ17が稼動状態であるか
どうかを調べ(判断504)、判断504の結果がYE
Sになるときには、映像ソース選択画面における「サブ
カメラ」を有効項目に設定するとともに、その表示項目
の表示属性を有効項目に対応した表示属性に設定し(処
理505)、判断504の結果がNOになるときには、
「サブカメラ」を無効項目に設定するとともに、その表
示項目の表示属性を無効項目に対応した表示属性に設定
(処理506)する。
【0091】さらに、ビデオデッキ12から同期信号が
出力されている状態で、ビデオデッキ12が再生状態で
あるかどうかを調べ(判断507)、判断507の結果
がYESになるときには、映像ソース選択画面における
「ビデオ」を有効項目に設定するとともに、その表示項
目の表示属性を有効項目に対応した表示属性に設定し
(処理508)、判断507の結果がNOになるときに
は、「ビデオ」を無効項目に設定するとともに、その表
示項目の表示属性を無効項目に対応した表示属性に設定
(処理509)する。
【0092】そして、そのときに表示可能な静止画デー
タが保存されているかどうかを調べ(判断510)、判
断510の結果がYESになるときには、映像ソース選
択画面における「静止画」を有効項目に設定するととも
に、その表示項目の表示属性を有効項目に対応した表示
属性に設定し(処理511)、判断510の結果がNO
になるときには、「静止画」を無効項目に設定するとと
もに、その表示項目の表示属性を無効項目に対応した表
示属性に設定し(処理512)する。
【0093】さらに、そのときにビデオオン状態になっ
ているかどうかを調べ(判断513)、判断513の結
果がYESになるときには、映像ソース選択画面におけ
る「受信映像」を有効項目に設定するとともに、その表
示項目の表示属性を有効項目に対応した表示属性に設定
し(処理514)、判断513の結果がNOになるとき
には、「受信映像」を無効項目に設定するとともに、そ
の表示項目の表示属性を無効項目に対応した表示属性に
設定(処理515)する。
【0094】図18(a),(b)は、主画面変更処理
(処理207)の一例を示している。
【0095】まず、そのときに選択された項目が、「メ
インカメラ」であるか、「サブカメラ」であるか、「ビ
デオ」であるか、「静止画」であるか、「受信映像」で
あるかを調べる(判断601,602,603,60
4)。
【0096】選択された項目が「メインカメラ」であ
り、判断601の結果がYESになるときには、メイン
カメラ16の映像出力を、表示制御部15の主画面表示
系に出力する(処理605)。
【0097】選択された項目が「サブカメラ」であり、
判断602の結果がYESになるときには、サブカメラ
17の映像出力を、表示制御部15の主画面表示系に出
力する(処理606)。
【0098】選択された項目が「ビデオ」であり、判断
603の結果がYESになるときには、ビデオデッキ1
2の映像出力を、表示制御部15の主画面表示系に出力
する(処理607)。
【0099】選択された項目が「静止画」であり、判断
604の結果がYESになるときには、そのときに記憶
している静止画像データを、表示制御部15の主画面表
示系に出力する(処理608)。
【0100】選択された項目が「受信映像」であり、判
断604の結果がNOになるときには、そのときにビデ
オCODEC22から出力される受信映像データを、表
示制御部15の主画面表示系に出力する(処理60
9)。
【0101】図19(a),(b)は、副画面変更処理
(処理307)の一例を示している。
【0102】まず、そのときに選択された項目が、「メ
インカメラ」であるか、「サブカメラ」であるか、「ビ
デオ」であるか、「静止画」であるか、「受信映像」で
あるかを調べる(判断701,702,703,70
4)。
【0103】選択された項目が「メインカメラ」であ
り、判断701の結果がYESになるときには、メイン
カメラ16の映像出力を、表示制御部15の副画面表示
系に出力する(処理705)。
【0104】選択された項目が「サブカメラ」であり、
判断702の結果がYESになるときには、サブカメラ
17の映像出力を、表示制御部15の副画面表示系に出
力する(処理706)。
【0105】選択された項目が「ビデオ」であり、判断
703の結果がYESになるときには、ビデオデッキ1
2の映像出力を、表示制御部15の副画面表示系に出力
する(処理707)。
【0106】選択された項目が「静止画」であり、判断
704の結果がYESになるときには、そのときに記憶
している静止画像データを、表示制御部15の副画面表
示系に出力する(処理708)。
【0107】選択された項目が「受信映像」であり、判
断704の結果がNOになるときには、そのときにビデ
オCODEC22から出力される受信映像データを、表
示制御部15の副画面表示系に出力する(処理70
9)。
【0108】図20および図21は、送信映像変更処理
(処理407)の一例を示している。
【0109】まず、そのときに選択された項目が、「メ
インカメラ」であるか、「サブカメラ」であるか、「ビ
デオ」であるか、「静止画」であるか、「受信映像」で
あるかを調べる(判断801,802,803,80
4)。
【0110】選択された項目が「メインカメラ」であ
り、判断801の結果がYESになるときには、メイン
カメラ16を選択し(処理805)、メインカメラ16
から出力される映像信号をシステムバス23を介してビ
デオCODEC22に出力するとともに(処理80
6)、ビデオCODEC22からの出力信号を、相手端
末に送信する状態に設定する(処理807)。
【0111】選択された項目が「サブカメラ」であり、
判断802の結果がYESになるときには、サブカメラ
17を選択し(処理808)、サブカメラ17から出力
される映像信号をシステムバス23を介してビデオCO
DEC22に出力するとともに(処理809)、処理8
07に進み、ビデオCODEC22からの出力信号を相
手端末に送信する。
【0112】選択された項目が「ビデオ」であり、判断
803の結果がYESになるときには、ビデオデッキ1
2を選択し(処理810)、ビデオデッキ12から出力
される映像信号をシステムバス23を介してビデオCO
DEC22に出力するとともに(処理811)、処理8
07に進み、ビデオCODEC22からの出力信号を相
手端末に送信する。
【0113】選択された項目が「静止画」であり、判断
804の結果がYESになるときには、そのときに記憶
している静止画像データを、画像符号化復号化部11で
符号化圧縮し(処理812)、汎用データの伝送容量を
増大して(例えば、64.4Kbps)静止画像データ
を送信するための伝送モードに伝送モードを切り換え
(処理813)、処理812で形成した静止画情報を送
信する(処理814)。この送信が終了すると、伝送モ
ードを元の状態に復帰する(処理815)。
【0114】選択された項目が「受信映像」であり、判
断804の結果がNOになるときには、そのときにビデ
オCODEC22から出力される受信映像データを、ビ
デオCODEC22に出力して受信映像を折り返し(処
理816)、処理807に進む。
【0115】なお、上述した実施例では、入力画像とし
て、メインカメラ、サブカメラ、ビデオデッキ、静止
画、および、受信映像を用いているが、それ以外の種類
の画像をさらに適用することもできる。また、上述した
実施例では、副画面を1つ設けているが、それ以上の副
画面を設けることもできる。また、本発明は、副画面を
設けない場合、および、複数の独立したビデオモニタを
用いる場合についても、同様にして適用することができ
る。
【0116】
【発明の効果】以上説明したように、本発明によれば、
表示画面を見ながら操作手段を操作することで、表示画
像および送信画像を選択することができるので、その操
作性が向上する。また、その時点で選択可能な項目を有
効選択項目として表示し、その有効選択項目のみを選択
可能にしているので、無効な選択操作が行われるような
事態を回避でき、操作性がより向上するという効果を得
る。
【図面の簡単な説明】
【図1】本発明の一実施例にかかるテレビ会議通信端末
装置の構成例を示したブロック図。
【図2】通信制御部の一例を示したブロック図。
【図3】マルチフレームのフレーム構成の一例を示す概
略図。
【図4】1つのフレームの信号構成の一例を示す概略
図。
【図5】フレーム調整信号の一例を示す概略図。
【図6】ビット割当信号の一例を示す概略図。
【図7】信号の送出順序を説明するための概略図。
【図8】TTC勧告JT−H.242の一般的な手順例
を示したタイムチャート。
【図9】テレビ会議通信時の信号形式の一例を示した概
略図。
【図10】ビデオモニタに表示された主画面と副画面と
の関係を示した概略図。
【図11】画面選択操作部の一例を示した概略図。
【図12】映像ソース切換画面の一例を示した概略図。
【図13】映像ソース切換処理の一例を示したフローチ
ャート。
【図14】主画面切換処理の一例を示したフローチャー
ト。
【図15】副画面切換処理の一例を示したフローチャー
ト。
【図16】送信映像切換処理の一例を示したフローチャ
ート。
【図17】選択状態モニタ表示処理の一例を示したフロ
ーチャート。
【図18】主画面変更処理の一例を示したフローチャー
ト。
【図19】副画面変更処理の一例を示したフローチャー
ト。
【図20】送信映像変更処理の一例の一部を示したフロ
ーチャート。
【図21】送信映像変更処理の一例の他の部分を示した
フローチャート。
【符号の説明】
1 CPU(中央処理装置) 2 ROM(リード・オンリ・メモリ) 3 RAM(ランダム・アクセス・メモリ) 9 操作表示部 9a 主画面選択キー 9b 副画面選択キー 9c 送信映像選択キー 9d カーソルキー

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の画像入力手段および画像表示手段
    を備え、相手端末との間でテレビ会議通信セッションを
    実行中に、上記複数の画像入力手段からの入力画像ある
    いは相手端末から受信した受信画像を任意に切り換えて
    送信画像として相手端末に送信するとともに、上記画像
    表示手段に表示する表示画像を、上記複数の画像入力手
    段からの入力画像あるいは相手端末から受信した受信画
    像から任意に選択可能なテレビ会議通信端末装置の制御
    方法において、 上記送信画像および表示画像の選択操作を入力する操作
    手段を備え、 この操作手段により上記送信画像および表示画像の選択
    操作が指令されると、上記複数の画像入力手段および受
    信画像の選択項目を一覧表示し、その一覧表示中に上記
    送信画像および表示画像としておのおの選択中の状態を
    あらわす選択マークを表示し、上記操作手段により上記
    選択マークが移動操作されるとその操作方向に対応して
    上記選択マークを上記選択項目の一覧表示中で移動し、
    上記選択マークが最終的に移動した上記選択項目に対応
    した上記画像入力手段または受信画像を、それ以降、そ
    の選択マークに対応した上記送信画像および表示画像と
    して選択することを特徴とするテレビ会議通信端末装置
    の制御方法。
  2. 【請求項2】 複数の画像入力手段および画像表示手段
    を備え、相手端末との間でテレビ会議通信セッションを
    実行中に、上記複数の画像入力手段からの入力画像ある
    いは相手端末から受信した受信画像を任意に切り換えて
    送信画像として相手端末に送信するとともに、上記画像
    表示手段に表示する表示画像を、上記複数の画像入力手
    段からの入力画像あるいは相手端末から受信した受信画
    像から任意に選択可能なテレビ会議通信端末装置の制御
    方法において、 上記送信画像および表示画像の選択操作を入力する操作
    手段を備え、 この操作手段により上記送信画像および表示画像の選択
    操作が指令されると、上記複数の画像入力手段および受
    信画像の選択項目のうち、現在画像が有効に入力されて
    いる有効選択項目を一覧表示し、その一覧表示中に上記
    送信画像および表示画像としておのおの選択中の状態を
    あらわす選択マークを表示し、上記操作手段により上記
    選択マークが移動操作されるとその操作方向に対応して
    上記選択マークを上記有効選択項目の一覧表示中で移動
    し、上記選択マークが最終的に移動した上記有効選択項
    目に対応した上記画像入力手段または受信画像を、それ
    以降、その選択マークに対応した上記送信画像および表
    示画像として選択することを特徴とするテレビ会議通信
    端末装置の制御方法。
  3. 【請求項3】 前記有効選択項目は、前記選択項目を所
    定態様で強調表示することで表示することを特徴とする
    請求項2記載のテレビ会議通信端末装置の制御方法。
JP34549393A 1993-12-22 1993-12-22 テレビ会議通信端末装置の制御方法 Expired - Lifetime JP3305468B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34549393A JP3305468B2 (ja) 1993-12-22 1993-12-22 テレビ会議通信端末装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34549393A JP3305468B2 (ja) 1993-12-22 1993-12-22 テレビ会議通信端末装置の制御方法

Publications (2)

Publication Number Publication Date
JPH07184181A true JPH07184181A (ja) 1995-07-21
JP3305468B2 JP3305468B2 (ja) 2002-07-22

Family

ID=18376962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34549393A Expired - Lifetime JP3305468B2 (ja) 1993-12-22 1993-12-22 テレビ会議通信端末装置の制御方法

Country Status (1)

Country Link
JP (1) JP3305468B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105606A (ja) * 2007-10-23 2009-05-14 Nec Access Technica Ltd サブディスプレイ装置、サブディスプレイ通信方法、及びサブディスプレイ通信プログラム
US7903138B2 (en) 1997-09-05 2011-03-08 Nikon Corporation Information processing device, information processing method, and recording media

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903138B2 (en) 1997-09-05 2011-03-08 Nikon Corporation Information processing device, information processing method, and recording media
JP2009105606A (ja) * 2007-10-23 2009-05-14 Nec Access Technica Ltd サブディスプレイ装置、サブディスプレイ通信方法、及びサブディスプレイ通信プログラム

Also Published As

Publication number Publication date
JP3305468B2 (ja) 2002-07-22

Similar Documents

Publication Publication Date Title
JP3429789B2 (ja) 画面表示装置の制御方法
US5898457A (en) TV conference communication device and method of controlling the same
JPH06318984A (ja) マルチメディア情報送信装置、マルチメディア情報受信装置、マルチメディア通信装置、及びマルチメディア通信システム
US5917470A (en) Communication conference method and communication conference terminal
JPH08237628A (ja) 通信会議装置
JP3305468B2 (ja) テレビ会議通信端末装置の制御方法
JPH08289274A (ja) テレビ会議通信端末装置の制御方法
JPH07162831A (ja) テレビ会議通信装置の制御方法
JP3258474B2 (ja) 遠隔会議通信端末の制御方法
JP3383447B2 (ja) 会議通信端末装置
JPH0715525A (ja) マルチメディア通信端末装置
JP3328370B2 (ja) テレビ会議通信装置の制御方法
JPH0865649A (ja) マルチメディア端末装置
JP3397246B2 (ja) 音声処理装置
JP4177347B2 (ja) データ処理装置およびヘルプ表示処理の制御方法
JPH08205113A (ja) テレビ会議通信端末装置およびその制御方法
JPH1042265A (ja) テレビ会議通信端末装置
JPH09163038A (ja) 画像伝送端末装置および通信会議端末装置
JPH08221362A (ja) データ処理装置の制御方法および通信端末装置の制御方法
JPH08307845A (ja) テレビ会議通信端末装置の制御方法
JPH07154764A (ja) テレビ会議通信装置の制御方法
JPH08149445A (ja) 会議通信端末装置
JPH07111643A (ja) テレビ会議通信端末の制御方法
JPH09168008A (ja) 通信会議端末装置の伝送制御方法
JPH0879407A (ja) マルチメディア端末装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080510

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090510

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100510

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110510

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120510

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120510

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130510

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130510

Year of fee payment: 11

EXPY Cancellation because of completion of term