JP3449772B2 - 多地点間会議装置 - Google Patents

多地点間会議装置

Info

Publication number
JP3449772B2
JP3449772B2 JP01818194A JP1818194A JP3449772B2 JP 3449772 B2 JP3449772 B2 JP 3449772B2 JP 01818194 A JP01818194 A JP 01818194A JP 1818194 A JP1818194 A JP 1818194A JP 3449772 B2 JP3449772 B2 JP 3449772B2
Authority
JP
Japan
Prior art keywords
volume
multipoint
participant
multipoint conference
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01818194A
Other languages
English (en)
Other versions
JPH07226800A (ja
Inventor
茂 福永
明宏 藤井
敏久 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP01818194A priority Critical patent/JP3449772B2/ja
Publication of JPH07226800A publication Critical patent/JPH07226800A/ja
Application granted granted Critical
Publication of JP3449772B2 publication Critical patent/JP3449772B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は多地点間会議装置に関
し、特に、音量制御に係る構成の改良に関するものであ
る。
【0002】
【従来の技術】近年、ネットワークの発達と企業や組織
の分散化が進み、地理的に離れた場所にいる人々が、コ
ンピュータ資源を利用して会議や協働作業を行なう、い
わゆるCSCW(Computer Supported Cooperative Wor
k)の必要性が高まっている。
【0003】代表的なCSCW支援システムとしてテレ
ビ会議システムがある。テレビ会議システムでは、各利
用者の映像や音声をネットワークを通じて伝送して出力
することで会議を進めることができる。テレビ会議シス
テムでは、一般に、動画像や音声の他、文字等の文書デ
ータを扱うが、音声は会議内容そのもののを伝えるの
で、会議を行なう上で音声の重要度が特に大きい。
【0004】また、2地点間だけでなく、3地点間以上
の複数の地点間を接続できるテレビ会議システムも開発
されている。
【0005】多地点間会議システムの端末装置である多
地点間会議装置において、ある地点からの音声を選択し
て出力させることで装置構成を簡単にするものもある
が、会議を円滑に行なうため、各地点から伝送された音
声を混合して出力するようになされたものもある。この
ような音声の混合方法として、全ての多地点からの音声
が同程度に聞こえるように混合する方法がある。一方、
使用者が特定話者に注目して聞くこと等、任意な聴取方
法を使用者が選択できるように、各音声の音量を使用者
からの指示に応じて自由に変更しながら混合する装置も
提案されている(文献1)。
【0006】また、複数の会議をサポートできる装置の
中には、ある会議に集中している間は他の会議の音声を
出力しなかったり、音量を落として出力するような装置
もある(文献2)。かかる装置においても、このような
音量調整は音声混合手段を制御して行なう。
【0007】文献1『椎尾一郎、小林真、安藤史郎、
「Virtual Conference Room :多人数遠隔実時間マルチ
メディア会議システム(2)実現」、情報処理学会第4
7回全国大会、2E−6、pp.(1)161-162 、1993
年』 文献2『石崎健史、北原千穂、森賢二郎、木下成顕、宮
本宜則、「多地点共同作業支援環境GTWSのユーザイ
ンタフェース」、情報処理学会グループウェア研究技
法、93−GW−4、pp.69-761993年』
【0008】
【発明が解決しようとする課題】以上のように、複数の
音声の音量を使用者からの指示に応じて自由に変更しな
がら混合する多地点間会議装置においては、使用者が特
定話者に注目して聞いたり、ある会議に集中して聞いた
りできて、使用者から見ると、後述するような操作性の
問題はあるものの、利便性は良好である。
【0009】しかしながら、話者から見ると、以下のよ
うな問題を有するものであった。同一室内に全員がいる
会議の場合、話者は他の会議参加者の反応を直接確認し
ながら話を進めることができる。同様に、多地点間のテ
レビ会議であっても、他の会議参加者の反応を確認しな
がら話を進めようとする。しかしながら、伝送路を介し
て他の会議参加者の反応を確認しているため、反応が少
ない場合に、反対なのか、障害のために音声が届いてい
ないのではないか等不安を抱くことが多く、これにさら
に音量調整機能があると、この点からも聞こえていない
のではないかと考え、一段と不安要素が多くなる。すな
わち、従来の多地点間会議装置を用いている話者は、相
手会議参加者がどのように話を聞いているのかを十分に
は判断できず、従来の多地点間会議装置はこの点から問
題を有している。
【0010】また、従来の多地点間会議装置において、
会議参加者毎に音量を変更する操作を行なっており、音
量を変更しようとする会議参加者が多い場合には、その
操作は繁雑である。
【0011】例えば、装置使用者が音量を変更しようと
考える多くの場合は、注目している特定話者(会議参加
者)を換える場合であり、この場合、今まで注目してい
た特定話者の音量を下げると共に、これから注目して聞
こうとする特定話者の音量を上げることを要し、少なく
ても2回の音量操作が必要となる。さらに必要ならば、
注目話者以外の音量を下げようとし、この場合にも他の
会議参加者毎に個別の音量調整操作を行なうこととな
る。
【0012】
【課題を解決するための手段】かかる課題を解決するた
め、第1の本発明の多地点間会議装置は、他地点の各多
地点間会議装置からの音声に対する出力音量に関する音
量情報を生成する音量情報生成手段と、各音量情報をそ
れぞれ、その情報に係る他地点の多地点間会議装置に送
信する送信手段と、他地点の各多地点間会議装置から伝
送されてきた音量情報を表示する音量情報表示手段とを
備える。
【0013】また、第2の本発明の多地点間会議装置
は、少なくとも2個以上の他地点の各多地点間会議装置
からの音声に対する出力音量を設定する音量設定手段
を、以下のようにした。すなわち、この音量設定手段
は、他地点の全ての多地点間会議装置の参加者及び当該
多地点間会議装置の参加者の位置データを取り込む参加
者位置取込部と、全ての他地点の上記多地点間会議装置
に係る参加者及び当該多地点間会議装置の参加者を、
り込んだ位置データに応じた位置に含む構図の図形を表
する音量設定用図形表示部と、この音量設定用図形表
示部による表示図形上で指示位置の情報を取り込む指示
位置取込部と、この指示位置取込部によって、表示図形
上の特定の参加者図形が指示されたとき、他地点の各多
地点間会議装置に係る参加者からの音声に対する音量
、当該多地点間会議装置の参加者との相対位置に応じ
設定すると共に、指示された参加者からの音声に対す
る音量を最も大きく設定する音量設定部とを有する
【0014】
【作用】第1の本発明の多地点間会議装置は、当該装置
から送信された音声が、他の多地点間会議装置において
どのような音量をもって出力されているかの情報(設定
音量や出力音量レベル等)を当該装置で表示させようと
したものである。
【0015】このような作用によって、第1の本発明の
多地点間会議装置の使用者は、他の参加者の聞き方の程
度を知得でき、興味や関心の有無等を推測でき、安心し
ながら話すことができ、また、他の参加者も音量設定を
通じても興味や関心を話者に伝えることができる。その
結果、第1の本発明の多地点間会議装置は円滑な会議進
行に寄与できる。
【0016】第2の本発明の多地点間会議装置は、最も
音量を大きくして聴く相手参加者の指定を図形上で行な
うことができるようにして利便性を向上させると共に、
その指定によってそれ以外の他の参加者の音量も自動的
に設定させることで操作性も向上させるようにしたもの
である。
【0017】
【実施例】
(A)第1実施例 以下、本発明による多地点間会議装置の第1実施例を図
面を参照しながら詳述する。
【0018】この第1実施例の多地点間会議装置は、当
該装置から送信された音声信号に対する他装置における
音量設定の値を当該装置で表示させようとするものであ
り、音量設定値の表示を実現するための「当該装置」及
び「他装置」としての構成を共に備えている。
【0019】この第1実施例の多地点間会議装置は、ハ
ードウェア的には、例えば、ワークステーション(W
S)を中心とし、これにキーボード、マウス、スピー
カ、マイクロフォン、イメージスキャナ、タブレット、
ビデオカメラ、動画コーデック、音声コーデック等を適
宜組み合わせて構成されているものであり、又は、これ
ら構成要素が適宜組み込まれた専用的な装置であり、音
量設定値の表示という特徴面から機能を整理すると、図
1に示す機能ブロック図で表すことができる。
【0020】なお、第1実施例の多地点間会議装置(端
末装置)10は、各端末装置からのデータをサーバを経
由して送信先の各端末装置に配信する多地点間会議シス
テムや、ある端末装置が相手となる全ての端末装置に直
接データを送信する多地点間会議システムに適用するこ
とができる。また、通信方式も、パケット通信方式やメ
ッセージ通信方式等のいずれであっても良い。従って、
後述する送信手段2や受信手段5等は、これらの面から
は任意の構成をしている。
【0021】図1において、符号化手段1には、例えば
マイクロフォン等の音声捕捉手段が捕捉してデジタル化
した音声データが入力され、符号化手段1は、この音声
データを所定の符号化方式に従って符号化して送信手段
2に与える。
【0022】送信手段2は、この符号化音声データに、
図示しない入力経路から与えられた送信元や送信先のヘ
ッダ情報を付加して伝送路3に送信すると共に、音量制
御手段4から与えられた音声制御データも伝送路3に送
信する。ここで、符号化音声データ又は音声制御データ
を伝送路3に送信する際には、データの種類の情報も付
加されて送信される。
【0023】なお、例えば、パケット通信が採用されて
いる場合において、符号化音声データと音声制御データ
とを別個のパケットに挿入するようにしても良く、ま
た、同一のパケットに挿入するようにしても良い。
【0024】音量制御手段4には、他地点の多地点間会
議装置から送信されてきた音声データに対する、各多地
点間会議装置についての音量指示のためのデータが入力
される。音量指示データは、当該多地点間会議装置10
の使用者が、キーボードやマウスを用いて従来と同様に
他地点の多地点間会議装置毎に個別に入力しても良い
が、後述する第3実施例の入力方法を適用することは好
ましい。音量制御手段4は、使用者からの音量指示デー
タに従って、他地点の多地点間会議装置から送信された
音声データの音量(ボリューム)を決定し、決定した音
量制御データ(設定音量のデータ)を音声混合手段7に
引渡すと共に、上述のように送信手段2にも与える。例
えば、音量指示データが1ランク上を指示するものであ
ればそれに応じて音量制御データを形成する。なお、音
量指示データがそのまま音量制御データになるものであ
っても良い。また、音量制御手段4は、音量指示データ
が変更されたときにだけ音量制御データを送信手段2に
与えるものであっても良く、変更の有無に関係なく、所
定周期で音量制御データを送信手段2に与えるものであ
っても良い。
【0025】この第1実施例の場合、音量制御手段4が
音量情報生成手段に該当する。
【0026】受信手段5は、伝送路3を介して、他地点
の多地点間会議装置からのデータを受信するものであ
り、受信したデータが符号化音声データであれば復号化
手段6に与え、受信したデータが音量制御データであれ
ば送信元に応じて分類して設定音量表示手段11に与え
る。
【0027】復号化手段6は、符号化音声データを復号
して音声混合手段7に与えるものである。ここで、多地
点間会議システムの全体の通信方法にもよるが、復号化
手段6が、他地点の各多地点会議装置に対応した複数の
復号化部で構成されていて受信手段5が各復号化部に符
号化音声データを振り分けるものであっても良く、復号
化手段6が1個の復号化部で構成されていて復号化した
音声データを他地点の各多地点間会議装置に対応して組
み立てて音声混合手段7に並列に与えるものであっても
良い。
【0028】音声混合手段7は、他地点の各多地点間会
議装置からの音声データのレベルをそれぞれ、音量制御
手段4から与えられた音量制御データに従って可変さ
せ、その後、これらを混合して音声出力手段8に与え
る。
【0029】音声出力手段8は、音声混合手段7から与
えられた混合音声データをアナログ音声信号に変換した
り増幅したりしてスピーカやイヤホン等の発音手段を駆
動し、混合音声を発音出力させる。
【0030】設定音量表示手段(音量情報表示手段)9
は、他地点の各多地点間会議装置から送られてきた音量
制御データに基づいて、他地点の各多地点間会議装置に
おいて、当該多地点間会議装置の音声に設定された音量
を明示的に表示するものであり、他地点の各多地点間会
議装置で音量設定が変更されるたびに表示内容を更新す
るものである。この設定音量表示手段9は、発光素子を
複数並設したレベルメータ表示構成であっても良く、デ
ィスプレイ面上の全て又は一部に描画される図形の表示
を行なう構成であっても良い。なお、設定音量表示手段
9は、他地点の各多地点間会議装置から送られてきた音
量制御データを、閾値と比較して、聞いているかいない
かの二つの状態のいずれかを表示するものであっても良
い。
【0031】以上の構成において、当該多地点間会議装
置10において捕捉した音声データは、符号化手段1に
よって符号化された後、送信手段2によって、伝送路
3、従って、他の全ての多地点間会議装置に送信され
る。
【0032】また、伝送路3を介して与えられた他地点
の各多地点間会議装置からの符号化されている音声デー
タは、受信手段5によって受信されて復号化手段6に与
えられ、復号化されて音声混合手段7に与えられる。復
号化された各音声データはそれぞれ、音声混合手段7に
よって、音量制御手段4から与えられた音量制御データ
に従って音量レベルが可変され、その後、混合され音声
出力手段8に与えられ、図示しないスピーカ等の発音手
段から発音出力される。
【0033】このように発音出力される他地点の各多地
点間会議装置からの音声に対して設定されている音量に
ついてのデータ(音量制御データ)は、送信手段2に与
えられ、送信手段2によって、伝送路3、従って、他の
多地点間会議装置に返送される。
【0034】当該多地点間会議装置10が、他の多地点
間会議装置に送信した音声についても、他の全ての多地
点間会議装置から音量制御データが返送される。これら
音量制御データは、受信手段5によって受信されて分類
されて設定音量表示手段9に与えられ、この設定音量表
示手段9によって、当該多地点間会議装置10の使用者
が視認できるように表示される。
【0035】図2〜図4はそれぞれ、設定音量表示手段
9による設定音量の表示例を示すものであり、ディスプ
レイ面上での表示の場合である。図5は、これら音量表
示例の前提となる他地点の各多地点間会議装置における
音量設定の説明図である。
【0036】ここでは、図5に示すように、多地点間会
議装置10−Oからの音声(データ)AUDが、他地点
A、B、Cの各多地点間会議装置10−A、10−B、
10−Cにおいてそれぞれ、最大設定値MAXの0.
8、0.2、0.6倍の音量で聞かれており、他地点
A、B、Cの各多地点間会議装置10−A、10−B、
10−Cからそれぞれ、多地点間会議装置10−Oへそ
の設定内容(0.8、0.2、0.6)を示す音量制御
データが送信されている場合を対象としている。すなわ
ち、図2〜図4はそれぞれ、この場合における多地点間
会議装置10−Oでの設定音量表示例を示している。
【0037】図2は、参加者名(装置名、地点名)に対
応付けて、音量を数字やグラフ(レベルメータ)で表示
した例である。図2に示した内容は、これ単独がウィン
ドウを構成して表示されても良く、また、他の画像の一
部に重畳表示されても良い。この例では、音量最大を1
0として表示しており、地点Aはこちらの音声を6、地
点Bは2、地点Cは8で聞いていることが分かる。当該
多地点間会議装置10−Oの使用者は、地点A及びCに
はこちらの音声がほぼ伝わっているが、地点Bにはあま
り伝わっていないと判断でき、地点Bに話を確実に伝え
たいときは強制的に音量を大きくして出力させたり、他
のメディア(映像や文字、図形等を)を通じて意思表示
を行なったりすれば良い。
【0038】図3は、絵を用いた表示例である。図3
(A)は、音量設定値の大きさを、スピーカ(発音装置
の一種:イヤホン図形に代えても良い)の絵の大小で表
したものであり、このスピーカの絵を、他地点の会議参
加者の動画像や似顔絵画像に重畳して表示させたもので
ある。なお、音量をスピーカの色を変化させて表わすよ
うにしても良く、また、図3(B)に示すように、振動
波を表す円弧状の線の本数で表すようにしても良い。音
声が届いているかどうかのみを表わすときにも、円弧状
の線の有無によって図3(B)示す絵を適用することが
でき、また、スピーカの有無やスピーカの大きさの振動
によって図3(A)に示す絵を適用することができる。
【0039】多地点間会議装置として、図4のように参
加者が仮想的な1つの会議室に集まったような画像表示
を行なうものが既に存在するが、かかる仮想的な会議室
表示を音量設定表示にも用いることができる。なお、図
4では自分自身を表示していないが表示しても構わな
い。この会議室の中に各参加者図形(似顔絵)を表示
し、音量設定データに合わせて各参加者図形の耳の大き
さを変化させることで表示する。
【0040】また、最も大きい音量で聞いている参加者
図形の方向をそれ以外の参加者図形が見ているように表
示することで、その参加者の関心度を表示できる。この
ように表示した場合には、話者は最も関心が高い相手参
加者を容易に認識できる。
【0041】音声が届いているかどうかのみを表示する
ときは、参加者図形の耳の色を変化させたり、耳の大き
さが微妙に大きくなったり小さくなったりを繰り返す表
示をすることで実現できる。
【0042】例えば、図4からは、Bさん(地点Bの参
加者)にはこちらの音声がほとんど聞こえてなく、C
(地点Cの参加者)さんのほうを向いているためCさん
の音声を最大に出力していることが分かる。Bさんはこ
ちらの話には関心がないように推測できるので、Bさん
に確実に意見を伝えるには強制的に音量を大きくして出
力させるか、他のメディアを通じて意思表示を行なう必
要があることが分かる。一方、Cさんはこちらの音声を
大きく聞いており、またこちらを見ている表示になって
いるので、こちらの音声を最大に出力していることがわ
かり、関心度は高いことが推測できる。また、Aさんは
中程度の音量でこちらの話を聞いているが、Bさんのほ
うを向いているので最大音量で聞いているのはBさんで
あることが分かる。
【0043】上述した図2〜図4に示す表示は、ソフト
ウェア処理によって容易に得ることができる。例えば、
必要な絵のデータを固定データとして用意しておき、音
量設定データに基づいて、その大きさを変更したり、配
置位置を変更したりして表示用メモリに展開することで
得ることができる。
【0044】以上のように、第1実施例によれば、当該
装置から送信された音声信号に対する他装置における音
量設定の値を表示するようにしたので、当該装置に係る
会議参加者に、自分の音声がどの程度の音量で相手に届
いているかを視認させることができ、不安感を軽減させ
ることができると共に、各参加者の関心度を確かめなが
ら会議を進行させることができ、利便性を向上させるこ
とができる。
【0045】また、第1実施例によれば、意見を伝えた
い相手が自分の話を聞いているかどうかを話者に確認さ
せることができ、話の行き違い等を軽減させて円滑な会
議を進行させることができる。
【0046】さらに、第1実施例によれば、話者の話を
しっかりと聞いているか否かを他の会議参加者が音量を
設定することにより話者に伝えさせることができ、話者
に対する自分の関心度を明確に伝えることができ、この
点からも円滑な会議の進行に寄与できる。
【0047】さらにまた、各参加者は、だれの音声を最
も大きくして聞いているかを推測できるので、各参加者
がだれの話に関心を抱いているかを知る目安となり、こ
の点からも円滑な会議を進めることに寄与できる。
【0048】(B)第2実施例 次に、本発明による多地点間会議装置の第2実施例を図
面を参照しながら詳述する。図6は、この第2実施例の
多地点間会議装置の機能的構成を示すものであり、上述
した図1との同一、対応部分には同一符号を付して示し
ている。
【0049】第2実施例の多地点間会議装置20は、当
該装置から送信された音声信号に対する他装置における
音量出力レベルの値を当該装置で表示させようとするも
のであり、音量出力レベルの表示を実現するための「当
該装置」及び「他装置」としての構成を共に備えてい
る。
【0050】すなわち、第1実施例の多地点間会議装置
10が音量「設定値」の表示を実行させるものであるの
に対して、第2実施例の多地点間会議装置20が音量
「出力レベル」の表示を実行させるという相違がある。
そのため、第2実施例の多地点間会議装置20において
は、音量レベル検出手段21が新たに設けられており、
また、設定音量表示手段9に代えて出力音量表示手段2
2が設けられており、さらに、送信手段2及び受信手段
5が取り扱うデータが第1実施例とは異なるようになっ
ている。
【0051】図6において、送信手段2は、符号化手段
1からの符号化音声データに、図示しない入力経路から
与えられた送信元や送信先のヘッダ情報を付加して伝送
路3に送信すると共に、音量レベル検出21から与えら
れた音量レベルデータも伝送路3に送信する。ここで
も、符号化音声データ又は音量検出データを伝送路3に
送信する際には、データの種類の情報も付加されて送信
される。
【0052】この第2実施例においても、音量制御手段
4には、他地点の多地点間会議装置から送信されてきた
音声データに対する、使用者によって設定された各多地
点間会議装置についての音量指示のためのデータが入力
される。音量制御手段4は、使用者からの音量指示デー
タに従って、他地点の多地点間会議装置から送信された
音声データの音量(ボリューム)を決定し、この第2実
施例の場合、決定した音量制御データを音声混合手段7
に引渡すと共に、音量レベル検出手段21にも与える。
【0053】音量レベル検出手段21は、まず、復号化
手段6から与えられた他地点の各多地点間会議装置から
送信されてきた音声データについてそれぞれ音量レベル
を検出し(例えばリアルタイム性を損なわない所定期間
毎の平均音量レベルを求める)、次に、各音声データに
ついての音量レベルと、それに対応する音量制御データ
とに基づいて、混合された後に当該多地点間会議装置3
0から発音出力される実際の音量レベルを算出する。こ
のようにして算出された音量レベルデータが上述のよう
に送信手段2に与えられ、他地点の各多地点間会議装置
へ返送される。
【0054】この第2実施例では、音量制御手段4及び
音量レベル検出手段21が音量情報生成手段に該当す
る。
【0055】この第2実施例の受信手段5も、伝送路3
を介して、他地点の多地点間会議装置からのデータを受
信するものであるが、受信データは符号化音声データ又
は音量レベルデータである。前者であれば復号化手段6
に与え、後者であれば送信元に応じて分類して出力音量
表示手段22に与える。
【0056】出力音量表示手段(音量情報表示手段)1
6は、他地点の各多地点会議装置から送られてきた音量
レベルデータに基づいて、他地点の各多地点会議装置に
おいて、当該多地点会議装置の音声が実際に発音出力さ
れた音量を明示的に表示するものであり、ほぼリアルタ
イムに表示内容を更新するものである。なお、音量レベ
ルに比例しなくても、音声が出力されている(あるレベ
ル以上の音量がある)ときのみ表示を変化させる等、音
声が届いているかどうかを表示するようにしても良い。
表示内容が設定音量と出力音量との違いがあるが、出力
音量表示手段16による具体的な表示方法は、第1実施
例の設定音量表示手段9と同様である(図2〜図4参
照)。
【0057】以上の構成において、当該多地点間会議装
置20において捕捉した音声データは、符号化手段1に
よって符号化された後、送信手段2によって、伝送路
3、従って、他の全ての多地点間会議装置に送信され
る。
【0058】また、伝送路3を介して与えられた他地点
の各多地点間会議装置からの符号化されている音声デー
タは、受信手段5によって受信されて復号化手段6に与
えられ、復号化されて音声混合手段7及び音量レベル検
出手段21に与えられる。復号化された各音声データは
それぞれ、音声混合手段7によって、音量制御手段4か
ら与えられた音量制御データに従って音量レベルが可変
され、その後、混合され音声出力手段8に与えられ、図
示しないスピーカ等の発音手段から発音出力される。
【0059】このように発音出力された他地点の各多地
点間会議装置からの音声についての音量レベルは、音量
制御手段4からの音量制御データと復号化手段6からの
音声データとが与えられる音量レベル検出手段21によ
って算出されて送信手段2に与えられる。かくして、送
信手段2によって、伝送路3、従って、他の多地点間会
議装置に音量レベルデータが返送される。
【0060】当該多地点間会議装置20が、他の多地点
間会議装置に送信した音声についても、他の全ての多地
点間会議装置から音量レベルデータが返送される。これ
ら音量レベルデータは、受信手段5によって受信されて
分類されて出力音量表示手段22に与えられ、この出力
音量表示手段22によって、当該多地点間会議装置20
の使用者が視認できるように表示される。
【0061】従って、この第2実施例によっても、当該
装置から送信された音声信号に対する他装置における音
量情報(出力音量レベル)を表示するという機能は第1
実施例と同様であるので、第1実施例と同様な効果を得
ることができる。
【0062】すなわち、当該装置に係る会議参加者の不
安感を軽減できると共に、各参加者の関心度を確かめな
がら会議を進行させることができ、利便性を向上させる
ことができる。意見を伝えたい相手が自分の話を聞いて
いるかどうかを話者に確認させることができ、話の行き
違い等を軽減させて円滑な会議を進行できる。話者の話
をしっかりと聞いているか否かを他の会議参加者が音量
を設定することにより話者に伝えることができ、話者に
対する自分の関心度を明確に伝えられる。各参加者は、
だれの音声を最も大きくして聞いているかを推測でき、
各参加者がだれの話に関心を抱いているかを知る目安と
なり、この点からも円滑な会議を進めることができる。
【0063】なお、この第2実施例による上述の効果
は、第1実施例の効果と多少ニュアンスが異なってい
る。話者によっては、地声が大きい人もいれば地声が小
さい人もおり、そのため、音量設定値が聞き手の注目度
と一致する程度が低いこともあり得るが、出力音量は実
際に発音出力された音量であるので、聞く意識を設定音
量以上に反映していると思われる。このような意味合い
から見ると、若干構成は複雑になるが、第2実施例もか
なり有効なものである。
【0064】(C)第3実施例 次に、本発明による多地点間会議装置の第3実施例を図
面を参照しながら詳述する。図7は、この第3実施例の
多地点間会議装置の機能的構成を示すものであり、上述
した図1との同一、対応部分には同一符号を付して示し
ている。
【0065】第3実施例の多地点間会議装置30は、他
装置から送信されてきた音声信号に対する設定音量のデ
ータ(音量制御データ)の作成方法自体に特徴を有する
ものである。この第3実施例の多地点間会議装置30
が、第1及び又は第2実施例の特徴構成を備えるもので
あっても良いが、ここでは、説明を簡単化するために、
特徴構成以外は従来からの構成であるとして説明する。
【0066】すなわち、当該多地点間会議装置30にお
いて捕捉した音声データは、符号化手段1によって符号
化された後、送信手段2によって、伝送路3を介して、
他の全ての多地点間会議装置に送信され、また、伝送路
3を介して与えられた他地点の各多地点間会議装置から
の符号化されている音声データは、受信手段5によって
受信されて復号化手段6に与えられ、復号化された各音
声データはそれぞれ、音声混合手段7によって、音量制
御手段4から与えられた音量制御データに従って音量レ
ベルが可変され、その後、混合され音声出力手段8に与
えられ、図示しないスピーカ等の発音手段から発音出力
されるようになされている。
【0067】上述のように、この多地点間会議装置30
は、他装置から送信されてきた音声信号に対する設定音
量のデータ(音量制御データ)の作成方法自体に特徴を
有し、特徴構成(音量設定手段)は、音声制御手段4及
び音量指示手段31(第1実施例及び第2実施例におい
ては特徴と無関係であるので図示は省略していた)であ
る。
【0068】音声制御手段4及び音量指示手段31の構
成は、例えば、マウス等のポインティングデバイスやデ
ィスプレイやCPUやメモリ(記憶されているプログラ
ムや固定データ等を含む)等が該当する。この第3実施
例の場合、後述するような絵画像でなる音量入力用表示
画像を使用者に提示し、その音量入力用表示画像上での
カーソルの位置情報等を取り込んで最終的に音量制御デ
ータをソフトウェアによって生成するようになされてい
る。
【0069】図8は、音声制御手段4の一構成要素であ
るCPUが実行する音量入力処理を示すフローチャート
であり、図9は、音量入力用表示画像の一例を示すもの
である。
【0070】図9において、この音量入力用表示画像の
例は、会議参加者全員がひとつの仮想的な会議室に集ま
っている構図の画像であり、各参加者を似顔絵等で表わ
して会議室内に配置している。会議参加者(参加者図
形)は会議室内を自由に移動できるようになされてい
る。当該多地点間会議装置の使用者(参加者図形)の位
置データ(音量指示データの1種類を構成している)
は、音量指示手段(例えばポインティングデバイス)3
1から音量制御手段4に与えられ、この音量制御手段4
から送信手段2に与えられ、他の全ての多地点間会議装
置に伝送される。他の多地点間会議装置から伝送されて
きたその会議装置に係る会議参加者(参加者図形)の位
置データは、受信手段5が受信して音量制御手段4に与
える。音量制御手段4は、当該装置の参加者や、他地点
の参加者の参加者図形の位置データから、図9に示す音
量入力用表示画像を作成して音量指示手段(ここではデ
ィスプレイが該当する)4に与えて参加者に提示する。
【0071】なお、他の参加者図形の位置も、当該装置
で指示するものであっても良い。
【0072】一般に、会議参加者全員がひとつの仮想的
な会議室に集まっている構図の画像は、音量入力用に用
いられるのはこの実施例において始めてであるが、他の
用途では既に用いられており、一般には、音量入力モー
ド以外の処理モードであっても常時ウィンドウ表示され
ている。
【0073】次に、当該多地点間会議装置30の音量入
力処理を説明すると共に、併せて、会議参加者の操作例
を説明する。
【0074】例えば、音量入力モードを指示するファン
クションキーが押下されたときに図8に示す音量入力処
理が開始され、又は、所定周期毎に図8に示す音量入力
処理が開始される。なお、操作の判断ステップの順序は
任意のものであり、図8に示す順序に限定されるもので
はない。
【0075】音量入力処理が開始されると、まず、全て
の他地点の会議参加者の音声を均等に混合させることを
指示する均等音量操作がなされたか否かを判断する(ス
テップ50)。例えば、図9の音量入力用表示画像にお
いて、他地点の参加者図形及び当該装置の使用者の参加
者図形以外の場所にカーソルを位置させて選択操作(マ
ウスをクリック)させることで、当該装置使用者は均等
音量を指示できる。かかる操作が実行された場合には、
全ての他地点の会議参加者の音声を均等に混合させるよ
うに各音量を設定すると共に、音量入力用表示画像にお
ける他地点の参加者図形の口の大きさを設定音量に応じ
た大きさとする(ステップ51)。
【0076】均等音量の値は初期設定用値としてメモリ
に格納されており、また、音量値に応じた各種の口の大
きさの図形データ(例えばビットマップデータ)も予め
用意されて格納されている。
【0077】均等音量操作が実行されていないと判断す
ると、さらに、当該多地点間会議装置30に係る会議参
加者の視線の変更操作、すなわち、特に大きい音量で出
力したい会議参加者に視線を向ける操作を行なったか否
か判断する(ステップ52)。例えば、図9の音量入力
用表示画像において、他地点の参加者図形A、B又はC
上(但し口を除く)にカーソルを位置させて選択操作
(マウスをクリック)させることで、そのときカーソル
が位置していた参加者図形に視線を向けることを指示す
る。
【0078】ここで、視線変更操作がなされると、当該
装置使用者の図形の視線方向に対する他地点の各参加者
図形の角度(例えば絶対値)をそれぞれ算出し(ステッ
プ53)、次に、算出角度を所定の変換ルールに従って
設定音量に変換すると共に、図9の音量入力用表示画像
における他地点の参加者図形の口の大きさを設定音量に
応じた大きさとし、かつ、当該装置使用者の参加者図形
の視線を指示された他の会議参加者図形に向ける(ステ
ップ54)。
【0079】当該装置使用者図形の視線方向に対する他
地点の各参加者図形の角度は、全参加者図形の位置デー
タが既知であるので演算によって求めることができる。
なお、視線を向けた参加者図形の角度は0であるので演
算を省略できる。図9は、当該装置使用者(の図形)が
参加者(図形)Bに視線を向けた状態を示している。こ
の場合には、図10に示すように、当該装置使用者図形
と参加者図形Bとを結ぶ直線を基準とし、当該装置使用
者図形と参加者図形Aとを結ぶ直線の角度θ1、及び、
当該装置使用者図形と参加者図形Aとを結ぶ直線の角度
θ2を求める。
【0080】算出角度と設定音量との変換ルールは任意
であるが、例えば、図11に示すように選定することが
できる。なお、この変換ルール情報は、例えば変換テー
ブルの形式で格納されている。図11に示すものは、視
線を向けた参加者(図形)Bの設定音量を所定値VOL
にすると共に、視線方向からの角度ずれθ1、θ2が大
きい参加者(図形)A、Cほど設定音量を小さくし、あ
る閾値θth以上の角度ずれの参加者(図形)に対しては
最小設定音量VOLmin にするものである。
【0081】上述した視線変更操作の実行有無の判断ス
テップ52で否定結果を得ると、さらに、当該装置使用
者図形を移動させる操作がなされたか否かを判断する
(ステップ55)。例えば、図9の音量入力用表示画像
において、当該装置使用者の図形上にカーソルを位置さ
せて選択を指示し(マウスをクリック)、この選択指示
状態(クリック状態)でカーソルを移動させ、移動先で
選択指示状態を解放することを、当該装置使用者図形を
移動させる一連の操作とすることができる。
【0082】ここで、位置移動操作がなされると、視線
変更操作がなされた場合と同様に、当該装置使用者図形
の視線方向に対する他地点の各参加者図形の角度(例え
ば絶対値)をそれぞれ算出し(ステップ53)、次に、
算出角度を所定の変換ルールに従って設定音量に変換す
ると共に、図9の音量入力用表示画像における他地点の
参加者図形の口の大きさを設定音量に応じた大きさと
し、かつ、当該装置使用者の図形の視線を継続指示され
ている他の会議参加者図形に向ける(ステップ54)。
【0083】位置移動操作も実行されないと、口サイズ
の変更操作が実行されたか否かを判断する(ステップ5
6)。この判断は、他の参加者の設定音量を個別に変更
する操作が実行されたか否かの判断である。例えば、当
該装置使用者が、音量を変更したい他の参加者図形の口
にカーソルを位置させ、マウスの複数のボタンの所定の
ものを数回クリックして数段階大きくすることを指示
し、又は、マウスの他のボタンを数回クリックして数段
階小さくすることを指示するように装置を構成しても良
い。
【0084】かかる操作が実行されると、指示された他
の参加者(図形)の設定音量を指示された分だけ大きく
又は小さく変更すると共に、図9の音量入力用表示画像
におけるその会議参加者図形の口の大きさを変更された
設定音量に応じた大きさとする(ステップ57)。
【0085】以上のように、当該装置使用者は適宜操作
し、当該多地点間会議装置に音量変更動作を実行させる
ことにより、全ての他の参加者に均等に音量を設定する
こともでき、特定の他の参加者の音量をそれ以外の他の
参加者に比較して大きくすることができ、また、他の参
加者の設定音量の組み合わせを変更することができ、さ
らに、他の参加者の音量を個別に変更することができ
る。
【0086】上記第3実施例によれば、他地点の参加者
からの音声に対する音量の設定変更を、個別の参加者毎
に実行できるだけでなく、他の参加者全員に対して1回
の操作で行なうこともでき、従来に比べて操作性を良好
なものにできる。
【0087】また、第3実施例によれば、操作状況や結
果等を視認できる状態での操作により多地点参加者の音
量を調節できるので、会議の思考を妨げることなく、円
滑な会議進行に寄与できる。因に、操作状況や結果等を
音で報知することを伴う操作方法では、他の参加者の音
声が聞きにくくなったりして思考を妨げる。
【0088】さらに、第3実施例によれば、仮想的な会
議室における各参加者(図形)の位置関係にあうように
音量を設定するので、臨場感が向上し、この点からも円
滑な会議進行に寄与できる。
【0089】(D)他の実施例 (D-1) 第1及び第2実施例に対する他の実施例 上記第1実施例及び第2実施例の説明においても、種々
変形の余地(他の実施例)を示したが、さらに、以下の
ような変形実施例を挙げることができる。
【0090】上記第1実施例においては、当該装置から
送信された音声信号に対する他装置における音量設定の
値を当該装置で表示させるものを示し、上記第2実施例
においては、当該装置から送信された音声信号に対する
他装置における出力音量レベルを当該装置で表示させる
ものを示したが、これらを融合した多地点間会議装置で
あっても良い。すなわち、当該装置から送信された音声
信号に対する他装置における音量設定の値及び出力音量
レベルを当該装置で表示させるものであっても良い。
【0091】また、音量設定の値の表示と、出力音量レ
ベルの表示とを使用者が選択できる多地点間会議装置で
あっても良い。
【0092】上記第2実施例においては、音量制御手段
4からの音量制御データと復号化手段6からの音声デー
タとに基づいて、音量レベル検出手段21が、他の地点
からの音声データの出力音量レベルを算出するものを示
したが、音声混合手段7内において音声制御データに応
じて可変された混合前の音声データから出力音量レベル
を検出するようなものであっても良い。
【0093】また、第1実施例及び第2実施例に係る特
徴を有する本発明は、2地点間の会議装置にも適用でき
るものである。
【0094】(D-2) 第3実施例に対する他の実施例 上記第3実施例においては、音量入力用表示画像が、会
議参加者全員がひとつの仮想的な会議室に集まっている
構図の画像のものを示したが、他の構図の画像であって
も良い。例えば、当該装置使用者も含めた全参加者の似
顔絵や識別符号やキー対応矩形領域を同一線上に単に並
べた構図の画像や、当該装置使用者も含めた全参加者の
似顔絵や識別符号やキー対応矩形領域を同一線上に当該
装置使用者からの距離に応じて配置した構図の画像等を
挙げることができる。
【0095】要は、多地点参加者からの音量に対する設
定変更を、他の参加者全員に対して1回の操作で行なう
ことができる構図の画像であれば良い。
【0096】(D-3) 第1〜第3実施例に対する他の実施
例 本発明は、メディアとして少なくとも音声信号を含む多
地点間会議装置に広く適用できるものであり、音声信号
以外のメディアの種類は限定されるものではない。
【0097】
【発明の効果】第1の本発明の多地点間会議装置によれ
ば、他地点の各多地点間会議装置からの音声に対する出
力音量に関する音量情報を生成する音量情報生成手段
と、各音量情報をそれぞれ、その情報に係る他地点の多
地点間会議装置に送信する送信手段と、他地点の各多地
点間会議装置から伝送されてきた音量情報を表示する音
量情報表示手段とを備えたので、当該装置から送信され
た音声が、他の多地点間会議装置においてどのような音
量をもって出力されているかの情報(設定音量や出力音
量レベル等)を表示でき、使用者は話している最中でも
安心感を抱くことができ、他の参加者も音量設定を通じ
ても興味や関心を話者に伝えることができる等、円滑な
会議進行に寄与できる。
【0098】第2の本発明の多地点間会議装置によれ
ば、音量設定手段が、全ての他地点の多地点間会議装置
に係る参加者を含む構図の図形を表示し、この図形上で
特定の参加者図形が指示されたときに、全ての各参加者
からの音声に対する音量を設定すると共に、指示された
参加者に関する音量を最も大きく設定するので、最も聞
く音量を大きくする相手参加者の指定を図形上でできて
利便性が高まり、また、全ての他の参加者の音量も自動
的に設定できて操作性も向上する。
【図面の簡単な説明】
【図1】第1実施例の構成を示すブロック図である。
【図2】第1及び第2実施例の音量情報の表示例(その
1)を示す説明図である。
【図3】第1及び第2実施例の音量情報の表示例(その
2)を示す説明図である。
【図4】第1及び第2実施例の音量情報の表示例(その
3)を示す説明図である。
【図5】第1実施例の当該装置と他装置とで授受するデ
ータの説明図である。
【図6】第2実施例の構成を示すブロック図である。
【図7】第3実施例の構成を示すブロック図である。
【図8】第3実施例の音量設定に係る処理フローチャー
トである。
【図9】第3実施例の音量設定用入力画像例を示す説明
図である。
【図10】第3実施例の音量設定処理の説明図(その
1)である。
【図11】第3実施例の音量設定処理の説明図(その
2)である。
【符号の説明】
2…送信手段、4…音量制御手段、9…設定音量表示手
段、10、20、30…多地点間会議装置、21…音量
レベル検出手段、22…出力音量表示手段、31…音量
指示手段。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平1−278160(JP,A) 特開 平5−176316(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04M 3/56 H04N 7/15

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 他地点の各多地点間会議装置からの音声
    に対する出力音量に関する音量情報を生成する音量情報
    生成手段と、 各音量情報をそれぞれ、その情報に係る他地点の上記多
    地点間会議装置に送信する送信手段と、 他地点の上記各多地点間会議装置から伝送されてきた音
    量情報を表示する音量情報表示手段とを備えることを特
    徴とする多地点間会議装置。
  2. 【請求項2】 上記音量情報が、設定音量の値であるこ
    とを特徴とする請求項1に記載の多地点間会議装置。
  3. 【請求項3】 上記音量情報が、出力される音量レベル
    であることを特徴とする請求項1又は2に記載の多地点
    間会議装置。
  4. 【請求項4】 上記音量情報が、出力される音量レベル
    が所定の閾値レベル以上か否かを表すものであることを
    特徴とする請求項1又は2に記載の多地点間会議装置。
  5. 【請求項5】 上記音量情報表示手段が、 少なくても全ての他地点の上記多地点間会議装置に係る
    参加者を1個の会議室に配置した構図の図形を表示する
    ものであって、音量情報が最大の他地点の上記多地点間
    会議装置に係る参加者図形の方に、他の参加者図形の視
    線が向くように表示することを特徴とする請求項1〜4
    のいずれかに記載の多地点間会議装置。
  6. 【請求項6】 少なくとも2個以上の他地点の各多地点
    間会議装置からの音声に対する出力音量を設定する音量
    設定手段を有する多地点間会議装置において、 上記音量設定手段は、他地点の全ての多地点間会議装置の参加者及び当該多地
    点間会議装置の参加者の位置データを取り込む参加者位
    置取込部と、 全ての他地点の上記多地点間会議装置に係る参加者及び
    当該多地点間会議装置の参加者を、取り込んだ位置デー
    タに応じた位置に含む構図の図形を表示する音量設定用
    図形表示部と、 この音量設定用図形表示部による表示図形上で指示位置
    の情報を取り込む指示 位置取込部と、 この指示位置取込部によって、表示図形上の 特定の参加
    者図形が指示されたとき、他地点の各多地点間会議装置
    に係る参加者からの音声に対する音量を、当該多地点間
    会議装置の参加者との相対位置に応じて設定すると共
    に、指示された参加者からの音声に対する音量を最も大
    きく設定する音量設定部と を有することを特徴とする多
    地点間会議装置。
  7. 【請求項7】 上記音量設定用図形表示部が表示する図
    形が、全ての他地点の上記多地点間会議装置に係る参加
    者及び当該多地点間会議装置の参加者を1個の会議室に
    配置した構図の図形であり、 上記音量設定部は、当該多地点間会議装置の参加者図形
    と指示された参加者図形とを結ぶ直線を基準として、他
    の各参加者図形との角度を求め、この角度をパラメータ
    として各参加者からの音声の出力音量を設定することを
    特徴とする請求項6に記載の多地点間会議装置。
  8. 【請求項8】 上記音量設定部は、上記音量設定用図形
    表示部による表示図形上の参加者図形における口の大き
    さで設定した音量を表示させることを特徴とする請求項
    6又は7に記載の多地点間会議装置。
JP01818194A 1994-02-15 1994-02-15 多地点間会議装置 Expired - Fee Related JP3449772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01818194A JP3449772B2 (ja) 1994-02-15 1994-02-15 多地点間会議装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01818194A JP3449772B2 (ja) 1994-02-15 1994-02-15 多地点間会議装置

Publications (2)

Publication Number Publication Date
JPH07226800A JPH07226800A (ja) 1995-08-22
JP3449772B2 true JP3449772B2 (ja) 2003-09-22

Family

ID=11964451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01818194A Expired - Fee Related JP3449772B2 (ja) 1994-02-15 1994-02-15 多地点間会議装置

Country Status (1)

Country Link
JP (1) JP3449772B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392224B2 (en) 2011-07-14 2016-07-12 Ricoh Company, Limited Multipoint connection apparatus and communication system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501037B2 (ja) * 1998-02-17 2010-07-14 ソニー株式会社 通信制御システムと通信装置および通信方法
ATE456901T1 (de) * 2002-04-08 2010-02-15 Eighting Kk Netzwerk-spielverfahren, netzwerk-spielendgerät und server
JP4635549B2 (ja) * 2004-10-01 2011-02-23 ソニー株式会社 情報処理装置および方法
JP2009065336A (ja) * 2007-09-05 2009-03-26 Hitachi Communication Technologies Ltd テレビ会議システム
JP5326972B2 (ja) * 2009-09-29 2013-10-30 沖電気工業株式会社 遠隔コミュニケーションシステムおよび送信装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392224B2 (en) 2011-07-14 2016-07-12 Ricoh Company, Limited Multipoint connection apparatus and communication system

Also Published As

Publication number Publication date
JPH07226800A (ja) 1995-08-22

Similar Documents

Publication Publication Date Title
EP2439945B1 (en) Audio panning in a multi-participant video conference
US8817061B2 (en) Recognition of human gestures by a mobile phone
US8416715B2 (en) Interest determination for auditory enhancement
KR101659674B1 (ko) 보이스 링크 시스템
JP4391691B2 (ja) コンピュータネットワーク
US20120204118A1 (en) Systems and methods for conducting and replaying virtual meetings
JP2004072741A (ja) バックチャンネルビデオインタフェースによりコンテンツ及び引き渡しの制御が可能な多数参加者会議システム
GB2285895A (en) Audio conferencing system which generates a set of minutes
JPWO2008105429A1 (ja) 通信端末およびその制御方法
JP2001339764A (ja) 通信制御装置、通信装置、通信システムおよびその方法
US7949116B2 (en) Primary data stream communication
JPH0433490A (ja) テレビ会議システム
US20120204119A1 (en) Systems and methods for conducting and replaying virtual meetings
US11632627B2 (en) Systems and methods for distinguishing audio using positional information
JP3449772B2 (ja) 多地点間会議装置
JPH0738870A (ja) 多地点電子会議システムの映像音声制御方式
TW201141226A (en) Virtual conversing method
JP2000231644A (ja) 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
JP2009253625A (ja) 情報収集・テレビ会議実施制御装置、情報収集・テレビ会議実施制御方法、情報収集・テレビ会議実施制御プログラムおよびテレビ会議システム
US11902040B1 (en) Private communication in a teleconference
JP4768578B2 (ja) テレビ会議システム、及び、テレビ会議システムにおける制御方法
JPH08294103A (ja) 通信端末装置及び通信システム
JP2003274023A (ja) 通信会議システムと通信会議方法と通信会議プログラム
RU2218593C2 (ru) Способ телекоммуникаций в компьютерных сетях
JP2003339034A (ja) ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090711

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees