JP4166435B2 - 通信会議システム - Google Patents

通信会議システム Download PDF

Info

Publication number
JP4166435B2
JP4166435B2 JP2000544115A JP2000544115A JP4166435B2 JP 4166435 B2 JP4166435 B2 JP 4166435B2 JP 2000544115 A JP2000544115 A JP 2000544115A JP 2000544115 A JP2000544115 A JP 2000544115A JP 4166435 B2 JP4166435 B2 JP 4166435B2
Authority
JP
Japan
Prior art keywords
channels
audio
channel
terminal
terminal devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000544115A
Other languages
English (en)
Other versions
JP2002511714A (ja
Inventor
ヒューズ、ピーター・ジェームス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB9807745.6A external-priority patent/GB9807745D0/en
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of JP2002511714A publication Critical patent/JP2002511714A/ja
Application granted granted Critical
Publication of JP4166435B2 publication Critical patent/JP4166435B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/002Applications of echo suppressors or cancellers in telephonic connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Monitoring And Testing Of Exchanges (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Description

【0001】
発明の属する技術分野
本発明は、オーディオ通信会議システムに関する。これらは、各々が電話接続をもつ3以上の参加者が、多方向の討論に参加することができるシステムである。通信会議システムの本質的な部分は、会議“ブリッジ”と呼ばれ、ここで全ての参加者からのオーディオ信号が結合される。現在会議ブリッジは、参加者の各々からオーディオを受取り、オーディオ信号を適切に混合し、混合された信号を参加者の各々に配信することによって機能している。全ての信号処理は、ブリッジに集中しており、したがってモノラル(monaural)である(すなわち、単一のサウンドチャンネルがある)。この構成は図1に示し、後で詳しく記載することにする。このような通信会議システムの主な欠点は、オーディオ品質がモノフォニックで、概ね粗悪であり、一度にどの参加者が話しているかを判断することは、とくに参加者数が多いときは難しい。
【0002】
従来の技術
1つの例は、欧州特許明細書第0291470号に記載されている。該第0291470号明細書では入力符号のいくつかが、それらを戻りチャンネル内で結合し、各ユーザに対して、自分自身の音声の取り消し(キャンセル)を可能とする前に、同位相で反転される構成を開示している。
【0003】
発明が解決しようとする課題
本発明にしたがって、複数の端末装置の各々へのマルチチャンネル接続をもつ会議ブリッジ、および各チャンネルを別々に処理して、各出力が他の端末装置の1つを表わす複数の出力を用意する手段をもつ少なくとも1つの端末装置を含む遠隔通信システムを提供する。このマルチチャンネル方法を取り入れることによって、会議環境は、参加者自身によって個別の動作上の必要性と環境に合わせることができる。
【0004】
会議ブリッジは、コンセントレータ(集線装置)であって、現在活動状態の入力チャンネルを識別し、マルチチャンネル接続上でこれらの活動状態のチャンネルを、送信されたチャンネルを識別する制御情報と一緒に送る手段をもつコンセントレータを含むことが好ましい。これはマルチチャンネル接続によって要求されるキャパシティを低減する。活動状態のチャンネルを識別する制御情報は別々の制御チャンネル内で搬送されるか、チャンネルの活動状態にあるサブセット上でオーバーヘッドとして搬送される。好ましい構成では、所与の端末を表わすチャンネルは、この端末に与えられた出力から除かれる。これは、端末装置内の処理からこのチャンネルを除くことによって達成できるが、ブリッジから参加者へのマルチチャンネル送信からそれを除き、マルチチャンネル接続によって要求される容量をさらに低減することによって、これを達成することが好ましい。
【0005】
ここで本発明の実施形態の例を添付の図面を参照することによって例示的に記載することにする。
【0006】
発明の実施の形態
図1に示した従来のシステムでは、交換装置100内に位置する会議ブリッジは、各マイクロフォン11、21、31、などによって検出されるサウンドに応答して種々の顧客端末装置10(20、30は示されていない)から信号を受取る。これらの信号は電話通信ネットワーク(1)上を、ブリッジが設定されている交換100へ送られる。概ね信号はローカル交換(図示されていない)を経由して移動し、ローカル交換では、アナログ信号をディジタル形式に変換するのに、普通はブリッジ交換100へのオンワード送信において線形コンパンディング、例えば“A law”(例えば、欧州で使用されている)または“mu−Law”(例えば、アメリカ合衆国で使用されている)を使用する。ブリッジ交換100に到達すると、ブリッジは各到来信号11、21、31を各ディジタルコンバータ111、112、113へ送り、A Lawから線形ディジタル信号へ変換し、線形ディジタル信号をディジタル結合装置(コンバイナ)120へ送って、結合された信号を生成する。この結合された信号は、別のディジタルコンバータ110においてA lawに再び変換されて、電話ネットワーク(2)上を各端末装置10(20,30)へ送られて、各スピーカ12、22、32、などにおいてサウンドに変換される。このやり方では、交換装置100は“ブリッジ”として、1以上の端末装置30を端末10、20間の単純な2方向接続に接続することができる。
【0007】
図2ないし8に示したシステムは、アップリンク3と、制御チャンネル4およびディジタルオーディオダウンリンク5から成るダウンリンクとを含むマルチチャンネルリンクを使用して、図1の従来の会議ブリッジシステムを、いくつかのチャンネルを各参加者へ送ることができるマルチキャストシステムに置換している。オーディオダウンリンクはいくつかのチャンネル51、52を含む。適切な端末装置をもつ参加者は、後述する種々のやり方でこれらのチャンネル51、52を処理することができる。
【0008】
アップリンク3およびダウンリンク4、5に使用される送信媒体は、適切な媒体であってもよい。ISDN(統合サービスデータネットワーク)技術またはLAN(ローカルエリアネットワーク)−すなわちそれぞれ公衆および私設データネットワーク−は適切なデータレートおよび短い待ち時間(遅れ)(latency)、すなわちコーディングおよび送信バッファリングによる遅延を与えるので、好ましい送信用のオプションである。しかしながら、ISDNおよびLANはコスト高であり、現在までのところ市場における浸透度は低い。インターネットプロトコル(IP)技術が次第に一般的に使用されるようになってきているが、遅れは不十分であり、データレートは不確実である。しかしながら、これからの数年間でこの技術は急速に向上すると考えられており、好ましい遠隔通信方法になる可能性が高い。このようなシステムは、本発明を実行するのに理想的に適している。最新のインターネットタイプのモデムでは56キロビット/秒のダウン流(リンク4,5:)、および28.8キロビット/秒のアップ流を供給する。これは低コストであり、一般的にパーソナルコンピュータの小売りパッケージ内に含まれている。理想的にシステムは、上述の全て、およびバックアップとして使用する標準のアナログPSTNと動作可能であるべきである。
【0009】
信号ミキシングをユーザの端末装置か、または図2に示したような集中処理プラットフォームにおいて行うことができる。図2の端末装置10は、従来のようにマイクロフォン11およびスピーカシステム12を含む。しかしながらスピーカ12はスペーシャライズドシステム(spatialised system、空間を形成している系)であり−すなわちサウンドを異なる方向に放出することができると考えられる2以上のチャンネルをもつ。スピーカ12は立体音響のヘッドフォン、またはより複雑なシステムの形態をとってもよく、このようなより複雑なシステムは、例えば米国特許第5533129号(Gefvert)、第5307415号(Fosgate)、M.Hollier, D.Burraston, およびA. Rimellによる文献(“Spatial Sound for Telepresence”、British Telecom Technilogy Journal, October 1997)、または本発明の発明者の国際特許出願WO98/58523(1998年12月23日公開)に記載されている。
【0010】
マイクロフォン11からの出力は、端末装置10の一部を形成しているエンコーダ13によってコード化され、アップリンク3上を交換装置100へ送られる。ここでこれは他の参加者からの他の入力チャンネル21、31と結合され、コンセントレータ230で終端し、コンセントレータ230は種々の入力を、少数のチャンネル51、52、などをもつオーディオ信号に結合する。これらのチャンネルは、多数のチャンネルディジタルオーディオリンク5上で顧客装置10(20,30)へ送られ、ここで最初に各デコーダ14、24、34によってデコードされ(図3参照)、スペーシャライザ15へ供給されて(図4参照)、チャンネルのミキシングを制御して、スピーカ装置12においてスペーシャライズド信号を生成する。
【0011】
コンセントレータ230は、入力チャンネル11、21、31から有益な情報を搬送するチャンネル−一般的には言語を搬送するチャンネル−を選択し、これらのチャンネルのみを戻りリンク5上で送る。これは、搬送される情報量を低減する。制御チャンネル4は、何れのチャンネルが選択されたかを識別するデータを搬送する。端末装置において、スペーシャライザ15は制御チャンネルからのデータを使用し、もとのサウンドチャンネル11、21、31の何れを受取ったかを識別し、オーディオリンク内の“N”チャンネル51、52の何れかにおいて、各もとのチャンネルが存在し、この情報を使用してスペーシャライズド信号を構成する。スペーシャライズド信号は個々の顧客に対して、例えばスペーシャライズドシステム内の話者の数、スペーシャライズドシステム内で各参加者が位置していると考えられる場所に関する顧客の好み、および何れのチャンネルを含むかに関して調整することができる。
【0012】
とくに、ユーザは自分自身の入力11を表わすチャンネルを除くか、またはもとの話者の代わりに同時変換を選択してもよい。
【0013】
全チャンネルMの活動状態のサブセットNのみがいつでも一度に送られるので、送信効率を達成される。サブセットは、N:Mのコンセントレータ230において音声制御式ダイナミックチャンネル割り当てアルゴリズムを使用して選択される。この可能な構成は図8に示した。各入力チャンネル11、21、31は、各解析装置231、232、233によってモニタされる。解析装置231に示されているように、信号は言語検出および解析プロセス231bを受ける。これは、各入力11上に存在するか、否かを検出し、信号が言語を含む可能性がいかに高いかを示す確信値を与える。したがって低レベルの背景言語(バックグラウンドスピーチ)は、マイクロフォン11、21、31、などに明らかにアドレスされる言語に対してより低い重み付けを与えられることが保証される。さらにレベルごとに値が与えられ、マイクロフォンに方向付けられた言語が背景ノイズよりも好ましいことを確かにし、またレベル情報がスペーシャライゼーションシステムへ送られて、言語内の情報に適したコード化アルゴリズムを選択することができる。信号内の言語を検出および処理するために、最初にデコーダ231a内でデコードすることが必要な信号内の言語を処理する(言語検出システム231bがディジタルにコード化された信号を使用して動作できるときは、これを省いてもよい)。
【0014】
次に投票アルゴリズム234は、入力11、21、31から最もクリア(明瞭)な言語信号をもつものを選択し、スイッチを制御して、選択された入力チャンネル11、21、31の各々を出力チャンネル51、52の各1つへ向ける。類似のアルゴリズムは、国際電話回路においてディジタル回路乗算装置(Digital Circuit Multiplication Equipment (DCME))システムにおいて使用される。会議の参加者向けのオーディオチャンネルの内容に関するデータと、したがって入力チャンネル11、21、31と出力チャンネル51、52との間の相互連絡(コレスポンデンス)は制御チャンネル4上で送られる。その代わりに、このデータをコード化されたオーディオデータ内に埋め込むこともできる。
【0015】
話者が使用可能な出力チャンネル51、52よりも少ないときには、選択した入力チャンネルに対して低圧縮ディジタル化方式を使用し、したがって選択した各入力チャンネルに対して1以上の出力チャンネル51、52を使用することによって信号品質を向上することができる。電話品質言語は8キロビット/秒で達成することができ、システムが64キロビット/秒の能力をもつときに8人の話者を収容することができる。検出される話者がもっと少ないときには、4つの16キロビット/秒チャンネルの代わりに、64キロビット/秒の能力をもつチャンネルを使用して、‘良好な’品質の言語を送ることができ、またはビットレートの異なるチャンネルを混合したものを使用して、最初の信号品質にしたがってコード化レートを選択して、主な話者に他の話者よりも高い品質で送ることができる。レイヤードコーディング方式を使用して、データレート間で適切なスイッチングを可能にすることができる。
【0016】
端末装置10で使用されるNチャンネルデマルチプレクサおよび言語デコーダ14は図3に示した。これはオーディオダウンリンク5において送られるチャンネル51、52、53、などを受取り、デマルチプレクサ140においてそれらを分ける。次に各チャンネル51、52、などは各デコーダ141、142、143、などにおいて別々にデコードされて、スペーシャライザ15によって処理される。デコーダ141、142、などは、制御チャンネル4において搬送される制御信号の制御のもとで、使用される個々のコーディングアルゴリズム通りに別々の処理にしたがって動作することができる。
【0017】
全ての入力信号の和を含む複合信号も送ることができる。このような信号は、モノラルの受取り装置をもつユーザによって使用され、さらにスペーシャライザによって使用されて、周囲の背景信号を生成することができる。その代わりにスペーシャライザ15は、コンセントレータ230によって選択されないチャンネル11、21、31に置換してもよく、したがって“快適ノイズ(コムフォートノイズ)”;すなわち低レベルのホワイトノイズによってNチャンネルリンク5内に表わされずに、信号が全く存在しないことによって生じるボイドのオーラルインプレッション(aural impression)を避ける。
【0018】
顧客装置10はデスクトップのPCを使用して構成することができる。直ぐに使用できるPCのサウンドカード技術は、より簡単なスペーシャライジング方式に必要なオーディオインターフェイスおよび処理を用意することができる。ビルドインDSP技術を用いたより高度なサウンドカードはより高度な方式に使用することができる。スペーシャライザ15は、上述で参照したHollier他による文献に記載された人為的なオーディオ環境を生成する多数の確立された技術の1つを使用することができる。
【0019】
スペーシャライゼーション技術は次のように要約することができる。これらのスペーシャライゼーション技術は本発明で使用することができる。
【0020】
最も簡単な技術は“パニング(panning)”であり、各信号は2以上のスピーカを介して適切に重み付けをして再生され、これは要求された方向から放出していると知覚される。これは実行し易く、ロバスト(頑強)で、ヘッドフォンと共に使用することもできる。
【0021】
“アンビソニック(音波の方向感も再現する高忠実度再生)”システムはより複雑であり、波面再構成として知られている技術を使用して、現実的なスペーシャルオーディオを知覚することができる。これらは非常に良好なスペーシャルサウンドを生成できるが、これは非常に小さいリスニング領域のみに向けられており、したがって信号の聞き手のみに適している。
【0022】
ヘッドフォンリスニングでは、“両耳用(バイノーラル)”技術を使用して、非常に良好なスペーシャライゼーションを提供することができる。これらはヘッドに関係する転送機能(HRTF)フィルタの対を使用して、3D空間内の位置から放出するサウンドの耳管(ear canal)への入口に存在していたサウンドフィールドを再生成する。周辺システムに関して、正しいリスニング領域は非常に小さい。
【0023】
いくつかのスペーシャライザの出力は、図4に示したように結合でき、左および右のチャンネル12L及び12Rをもつ立体音響出力に対するスペーシャライザグループを示す。各チャンネル51、52、53は各スペーシャライザ151、152、153へ供給され、各スペーシャライザ151、152、153は、制御チャンネル4内の信号による係数選択装置150の制御のもとで、出力151L、151R、などを一連の結合装置15L、15Rの各々へ送る。出力151L、151R、などを生成するのに使用される処理は、制御信号4の制御のもとで実行され、各チャンネルは、聞き手の周りのスペースに位置するバーチャルサウンド源として現れる。
【0024】
三次元空間内のバーチャルソースの位置は自動的か、または手操作の制御によってに判断することができ、ユーザは各バーチャルサウンド源に対する好ましい位置付けを選択する。ビデオ会議では、適切なビデオ映像ウインドウに対応するように位置を設定することができる。ビデオ映像は他の手段によって送られるか、または個々のユーザによってローカルメモリから検索される静止映像であってもよい。
【0025】
スペーシャライズドラウンドがヘッドフォンではなく、スピーカ12を介して中継されるとき、スピーカ12からの信号がマイクロフォン11によってピックアップされ、再び送信され、遠隔サイト20、30、などにおいてエコーとして聞こえるのを妨ぐことが必要となる。これを達成する技術は、後で図11を参照して記載することにする。
【0026】
図5は、図4のスペシャライザの代わりの構成を示しており、図5ではスペーシャライゼーションは会議‘ブリッジ’内でコンピュータ処理される。各会議参加者は、同じスペーシャライズド信号を受取り、顧客装置を簡単にする。図5は全体的な構成において図2に類似しているが、デコーダ14およびスペーシャライザ15は交換装置200の一部であることが異なる。スペーシャライザ15からの出力はエンコーダ18へ送られ、エンコーダ18はオーディオチャンネルを必要な数(例えば、ステレオシステムの場合は2つ)だけ各顧客10、20、30へ送る。図5の構成は、ダウンリンク5内のチャンネル数が、図2の実施形態のようにコンセントレータによって選択される数(および制御チャンネル4)ではなく、スペーシャライゼーションシステム出力のオーディオチャンネル数に等しいことが必要である。図5の構成は顧客装置10も簡単にする。しかしながらこの構成では、全ての顧客装置10、20、30が類似のスペーシャライゼーションシステム、およびとくに同数のオーディオチャンネルをもつことが必要である。さらに話し手が受取った信号から話し手自身の音声を取除くこともより困難になる。その上エコー制御もより複雑になり、チャンネルコーディングがスペーシャライゼーションを劣化することがある。
【0027】
図6に示したように各アナログ接続43、45を、エンコーダ42を含む‘ブリッジ’200に向けて用意し、入力41をコンセントレータに用意することによって、従来のアナログ接続を会議に含むことができる。さらにコンセントレータ230の出力5はユニット44においてデコードおよび結合され、モノラル会議信号45をアナログユーザ40へ供給する。
【0028】
本発明は、図7に示したビデオ会議のように、各位置に何人かの参加者がいる会議状況に応用することができる。例えばネクタイピン形のクロースマイクロフォン(close microphone)11a、11b、11cを使用して、各個々の話し手からサウンドを拾い上げ、話し手位置決めシステム60を使用して、話し手の空間的位置を追跡しつづける。話し手位置決めシステム60は、サウンド源の位置を識別できるマイクロフォンのシステムを含んでもよい。サウンド源の位置と、現在使用されているネクタイピン形のマイクロフォン11の位置とを関係付けると、オーディオ手段のみによって位置を知ることができる。その代わりに、話し手位置決めシステムは、ユーザが保持しているバッジの光認識のような手段によって各ユーザの位置を検出することができる。いずれの場合でも、話し手位置決めシステム60によって検出される位置データは遠端(室B)へ送られ、室Bでは正しいスペーシャライゼーションが再構成され、スピーカ12L、12M、12R、などによって出力される。この話し手位置決めシステム60では、“ネクタイピン”形マイクロフォン31a、31b、31cが制限範囲をもち、同じ室内のスピーカから出力を検出しなくなるので、真のスペーシャル会議を達成し、関係するエコー制御問題を克服することになる。
【0029】
図2ないし4または図5の実施形態においてスピーカを使用するとき、スピーカ12とマイクロフォン11との間で音響のフィードバック(“エコー”)を制御する必要がある。このようなフィードバックが原因となって、信号はシステムへ再送信され、各ユーザは他のユーザから到来した各信号(ユーザ自身が送信した信号を含む)の1以上の遅延した形態(ディレイドバージョン)を聞く。モノフォニックシステムでは、図9に示したようなエコーキャンセラを使用してこれを達成することができる。Dによって表わされるエコー信号は室B内の装置10のスピーカ12とマイクロフォン11との間の音響経路Jによって生成される。取り消しはエコー制御ユニット16において適応フィルタを使用して、信号経路Jの合成モデルを生成し、取り消し信号D’を差し引いてエコーDを取除くことによって達成される。室A内の装置20へ戻された信号はここではエコーを含まず、室B内で生成されたサウンドのみを含む。音響経路Jの最適なモデル化は普通、信号Eのいくつかの適切な機能はゼロへ向かってドライブされるようなやり方で、音響フィルタによって達成される。このやり方の適応フィルタを使用するエコー制御はよく知られている。
【0030】
マルチチャンネルのエコーキャンセレーションは、図10に2つのチャンネルで示したように、2つの入力チャンネル51、52、したがって2つのスピーカ12L、12Rがあるので、より複雑である。このために2つの戻りチャンネル3L、3Rのエコーに対する2つのエコー経路KおよびLをモデル化することが必要である。(マイクロフォン11Lを使用する戻りチャンネル3Lに対する処理のみを示した。)正しいエコーキャンセルは、適応フィルタ161L、162Lが信号経路KおよびLをそれぞれモデル化するときのみ達成される。(2つの別のフィルタ161R、162Rは別の戻りチャンネル3Rに対して要求される)。しかしながらそれぞれ経路K、Lに対する正しいモデルを見付けるには、文献(“A better understanding and improved solution to the specific problems of stereophonic echo cancellation” (IEEE Transactions on Speech and Audio Processing, Vol 6, no 2 March 1998. Authors: J Benesty, D R Morgan and M M Sondhi))に記載されたような複雑でコスト高の信号処理をしなくてはならない。
【0031】
図4を参照して既に記載したシステムは、線形の人為的なスペーシャライゼーション方法を使用する。図11は、この線形の人為的なスペーシャライゼーション方法と、各スピーカ12L、12Rからのエコーが各マイクロフォン11L、(11R、図示されていない)において線形に結合することが、どのようにして各入力チャンネル51、52、53上で別々の適応フィルタ161L、162L、163L(161R、162R、163R)をもつことによって各出力チャンネル3L、(3R)に対してエコーの取り消しを可能にするかを示している。したがって適応フィルタ161Lは、チャンネル51へのスペーシャライザ151の結合、およびスピーカ12Lと12Rとマイクロフォン11Lとの間のエコー経路をモデル化することになる。この構成は、本発明の場合と同じ優先権を主張している本発明の発明者の現在審査中の出願において詳しく記載されている。
【図面の簡単な説明】
【図1】 従来の遠隔通信システムを示す図。
【図2】 本発明の実施形態の1つにしたがうスペーシャルオーディオ通信会議システムを示す図。
【図3】 図2の実施形態において使用されるNチャンネル言語デコーダを示す図。
【図4】 図2の実施形態において使用されるNチャンネルオーディオスペーシャライザ)を示す図。
【図5】 本発明の第2の実施形態を示す図。
【図6】 従来のPSTNチャンネルにおいて本発明をどのように使用できるかを示す図。
【図7】 ビデオ会議システムで使用する本発明の変形例を示す図。
【図8】 本発明の実施形態において使用することができる音声交換コンセントレータを示す図。
【図9】 種々の音声キャンセル技術を示す図。
【図10】 種々の音声取消し技術を示す図。
【図11】 種々の音声取消し技術を示す図。

Claims (8)

  1. 複数の端末装置の各々へのマルチチャンネルのオーディオ接続をもつ会議ブリッジを含み、各マルチチャンネルのオーディオ接続は複数の個々のオーディオチャンネルを含み、会議ブリッジは、現在活動状態の入力チャンネルを識別し、これらの活動状態のチャンネルだけを複数の個々のオーディオチャンネルとしてマルチチャンネルのオーディオ接続上で、送信されたチャンネルを識別する制御情報と一緒に送信する手段を有するコンセントレータを含み、端末装置の各々は、マルチチャンネルのオーディオ接続のそれぞれ1つを通して個々のオーディオチャンネルを受信し、各端末装置は各受信されたオーディオチャンネルを別々に処理して複数の出力を提供する手段を有し、各出力は他の端末装置のうちの1つを表わし、端末のユーザが端末で出力される複数の受信されたオーディオチャンネルの1つ以上を選択することができるように配置されたチャンネル選択手段を備えた通信会議システム。
  2. 現在活動状態の入力オーディオチャンネルが、会議ブリッジの入力オーディオチャンネルのサブセットを形成する請求項1記載のシステム。
  3. 端末装置の少なくとも1つがスペーシャライザをもち、各端末装置を表わす出力を結合し、各端末装置がバーチャルサウンド源によって表わされたスペーシャライズされたオーディオを提供する請求項1記載のシステム。
  4. 端末装置の各々は、マルチチャンネルのオーディオ接続のそれぞれ1つを通して受信された個々のオーディオチャンネルを分離するためにデマルチプレクサを含んでいる請求項1記載のシステム。
  5. 通信会議サービスを複数の端末装置に提供する方法であって、マルチチャンネルのオーディオ接続が会議ブリッジから複数の端末装置の各々に提供され、各マルチチャンネルのオーディオ接続は複数の個々のオーディオチャンネルを含み、会議ブリッジは、現在活動状態の入力チャンネルを識別し、それらの活動状態のチャンネルだけを複数の個々のオーディオチャンネルとして各端末へマルチチャンネルのオーディオ接続上で、送信されたチャンネルを識別する制御情報と一緒に送信し、複数の端末装置の各々は、各々受信された個々のオーディオチャンネルを別々に処理し、出力が各々他の端末装置のそれぞれ1つを表わすように複数の出力を提供し、端末のユーザが端末で出力される複数の受信されたオーディオチャンネルの1つ以上を選択することができるように配置された方法。
  6. 現在活動状態の入力オーディオチャンネルが、会議ブリッジの入力オーディオチャンネルのサブセットを形成する請求項5記載の方法。
  7. 端末装置の少なくとも1つがバーチャルサウンド源によって表わされるスペーシャライズされたオーディオ出力を生成するように、出力が処理される請求項5記載の方法。
  8. 端末装置の各々は、マルチチャンネルのオーディオ接続のそれぞれ1つを通して受信された個々のオーディオチャンネルを分離するためにデマルチプレクサを含んでいる請求項5記載の方法。
JP2000544115A 1998-04-08 1999-04-07 通信会議システム Expired - Fee Related JP4166435B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP98302763 1998-04-08
GBGB9807745.6A GB9807745D0 (en) 1998-04-08 1998-04-08 Teleconferencing system
GB98302763.2 1998-04-08
GB9807745.6 1998-04-08
PCT/GB1999/001061 WO1999053673A1 (en) 1998-04-08 1999-04-07 Teleconferencing system

Publications (2)

Publication Number Publication Date
JP2002511714A JP2002511714A (ja) 2002-04-16
JP4166435B2 true JP4166435B2 (ja) 2008-10-15

Family

ID=26151207

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000544116A Pending JP2002511715A (ja) 1998-04-08 1999-04-07 エコーキャンセレーション
JP2000544115A Expired - Fee Related JP4166435B2 (ja) 1998-04-08 1999-04-07 通信会議システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000544116A Pending JP2002511715A (ja) 1998-04-08 1999-04-07 エコーキャンセレーション

Country Status (6)

Country Link
US (2) US6931123B1 (ja)
EP (2) EP1070416B1 (ja)
JP (2) JP2002511715A (ja)
AU (2) AU3430099A (ja)
DE (2) DE69903012T2 (ja)
WO (2) WO1999053674A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931123B1 (en) * 1998-04-08 2005-08-16 British Telecommunications Public Limited Company Echo cancellation
US7660425B1 (en) 1999-05-25 2010-02-09 British Telecommunications Plc Acoustic echo cancellation
US7328239B1 (en) * 2000-03-01 2008-02-05 Intercall, Inc. Method and apparatus for automatically data streaming a multiparty conference session
FR2808391B1 (fr) * 2000-04-28 2002-06-07 France Telecom Systeme de reception pour antenne multicapteur
US20020103554A1 (en) * 2001-01-29 2002-08-01 Hewlett-Packard Company Interactive audio system
US7428023B2 (en) 2001-04-19 2008-09-23 Digeo, Inc. Remote control device with integrated display screen for controlling a digital video recorder
US20020149705A1 (en) * 2001-04-12 2002-10-17 Allen Paul G. Contact list for a hybrid communicator/remote control
US20030005462A1 (en) * 2001-05-22 2003-01-02 Broadus Charles R. Noise reduction for teleconferencing within an interactive television system
FI114129B (fi) * 2001-09-28 2004-08-13 Nokia Corp Konferenssipuhelujärjestely
US8144854B2 (en) * 2001-12-31 2012-03-27 Polycom Inc. Conference bridge which detects control information embedded in audio information to prioritize operations
AUPR989802A0 (en) 2002-01-09 2002-01-31 Lake Technology Limited Interactive spatialized audiovisual system
US20030223562A1 (en) * 2002-05-29 2003-12-04 Chenglin Cui Facilitating conference calls by dynamically determining information streams to be received by a mixing unit
US7391877B1 (en) * 2003-03-31 2008-06-24 United States Of America As Represented By The Secretary Of The Air Force Spatial processor for enhanced performance in multi-talker speech displays
DE10330808B4 (de) * 2003-07-08 2005-08-11 Siemens Ag Konferenzeinrichtung und Verfahren zur Mehrpunktkommunikation
DE10351793B4 (de) * 2003-11-06 2006-01-12 Herbert Buchner Adaptive Filtervorrichtung und Verfahren zum Verarbeiten eines akustischen Eingangssignals
NO319467B1 (no) * 2003-12-29 2005-08-15 Tandberg Telecom As System og fremgangsmate for forbedret subjektiv stereolyd
JP4333369B2 (ja) 2004-01-07 2009-09-16 株式会社デンソー 雑音除去装置、及び音声認識装置、並びにカーナビゲーション装置
TWI393121B (zh) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
US7903137B2 (en) * 2004-10-15 2011-03-08 Lifesize Communications, Inc. Videoconferencing echo cancellers
US8873669B1 (en) * 2004-12-20 2014-10-28 Apple Inc. Adaptable codec for selecting encoding scheme based on quality of experience
NO328256B1 (no) * 2004-12-29 2010-01-18 Tandberg Telecom As Audiosystem
US8457614B2 (en) 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
US7314393B2 (en) 2005-05-27 2008-01-01 Commscope, Inc. Of North Carolina Communications connectors with floating wiring board for imparting crosstalk compensation between conductors
US7724885B2 (en) * 2005-07-11 2010-05-25 Nokia Corporation Spatialization arrangement for conference call
US7843486B1 (en) * 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
US7835774B1 (en) * 2006-09-12 2010-11-16 Avaya Inc. Removal of local duplication voice on conference calls
DE102006048295B4 (de) 2006-10-12 2008-06-12 Andreas Max Pavel Verfahren und Vorrichtung zur Aufnahme, Übertragung und Wiedergabe von Schallereignissen für Kommunikationsanwendungen
EP1954019A1 (en) * 2007-02-01 2008-08-06 Research In Motion Limited System and method for providing simulated spatial sound in a wireless communication device during group voice communication sessions
US8391472B2 (en) * 2007-06-06 2013-03-05 Dreamworks Animation Llc Acoustic echo cancellation solution for video conferencing
US8005023B2 (en) * 2007-06-14 2011-08-23 Microsoft Corporation Client-side echo cancellation for multi-party audio conferencing
US8050398B1 (en) 2007-10-31 2011-11-01 Clearone Communications, Inc. Adaptive conferencing pod sidetone compensator connecting to a telephonic device having intermittent sidetone
US8199927B1 (en) 2007-10-31 2012-06-12 ClearOnce Communications, Inc. Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter
TW200826062A (en) * 2008-01-15 2008-06-16 Asia Vital Components Co Ltd System of inhibiting broadband noise of communication equipment room
EP2160005A1 (en) * 2008-08-28 2010-03-03 BRITISH TELECOMMUNICATIONS public limited company Decentralised spatialized audio processing
US8494841B2 (en) * 2008-10-09 2013-07-23 Telefonaktiebolaget Lm Ericsson (Publ) Common scene based conference system
US8219400B2 (en) * 2008-11-21 2012-07-10 Polycom, Inc. Stereo to mono conversion for voice conferencing
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
EP2420050B1 (en) * 2009-04-15 2013-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multichannel echo canceller
US8571192B2 (en) * 2009-06-30 2013-10-29 Alcatel Lucent Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays
US20110026745A1 (en) * 2009-07-31 2011-02-03 Amir Said Distributed signal processing of immersive three-dimensional sound for audio conferences
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US9185233B2 (en) * 2010-05-25 2015-11-10 Intel Deutschland Gmbh Audio communication device and method using fixed echo cancellation filter coefficients
EP2487891B1 (de) * 2011-02-11 2018-09-05 Deutsche Telekom AG Vermeiden eines akustischen Echos bei Vollduplexsystemen
US8175244B1 (en) 2011-07-22 2012-05-08 Frankel David P Method and system for tele-conferencing with simultaneous interpretation and automatic floor control
CN103516921A (zh) 2012-06-28 2014-01-15 杜比实验室特许公司 通过隐藏音频信号的回声控制
US20140028788A1 (en) 2012-07-30 2014-01-30 Polycom, Inc. Method and system for conducting video conferences of diverse participating devices
WO2014046916A1 (en) * 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US9031827B2 (en) 2012-11-30 2015-05-12 Zip DX LLC Multi-lingual conference bridge with cues and method of use
CN104050969A (zh) * 2013-03-14 2014-09-17 杜比实验室特许公司 空间舒适噪声
DE112015004185T5 (de) 2014-09-12 2017-06-01 Knowles Electronics, Llc Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten
US9743213B2 (en) * 2014-12-12 2017-08-22 Qualcomm Incorporated Enhanced auditory experience in shared acoustic space
CN107210824A (zh) 2015-01-30 2017-09-26 美商楼氏电子有限公司 麦克风的环境切换
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN107105366B (zh) * 2017-06-15 2022-09-23 歌尔股份有限公司 一种多通道回声消除电路、方法和智能设备
US10110994B1 (en) 2017-11-21 2018-10-23 Nokia Technologies Oy Method and apparatus for providing voice communication with spatial audio
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US10887467B2 (en) 2018-11-20 2021-01-05 Shure Acquisition Holdings, Inc. System and method for distributed call processing and audio reinforcement in conferencing environments
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US10652663B1 (en) 2019-04-30 2020-05-12 Cisco Technology, Inc. Endpoint device using the precedence effect to improve echo cancellation performance
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3825692A (en) 1972-09-29 1974-07-23 Stromberg Carlson Corp Simplified conference facility for pbx
US4734934A (en) * 1986-11-24 1988-03-29 Gte Laboratories Incorporated Binaural teleconferencing system
IT1215490B (it) 1987-05-14 1990-02-14 Sgs Microelettronica Spa Metodo di attenuazione del segnale di eco in circuiti di conversione, cosiddetti a forchetta telefonica, destinati a conferenze telefoniche, ed apparecchiatura operante secondo tale metodo.
US4956867A (en) * 1989-04-20 1990-09-11 Massachusetts Institute Of Technology Adaptive beamforming for noise reduction
US5020098A (en) * 1989-11-03 1991-05-28 At&T Bell Laboratories Telephone conferencing arrangement
US5172415A (en) * 1990-06-08 1992-12-15 Fosgate James W Surround processor
JP2792252B2 (ja) * 1991-03-14 1998-09-03 日本電気株式会社 多チャンネルエコー除去方法および装置
JP2792311B2 (ja) 1992-01-31 1998-09-03 日本電気株式会社 多チャンネルエコー除去方法および装置
JPH05316239A (ja) 1992-05-08 1993-11-26 Toshiba Corp 会議システム
JP2982504B2 (ja) * 1992-07-31 1999-11-22 日本電気株式会社 適応受信機
CA2102857C (en) * 1992-12-31 1998-06-23 Alexander Feiner Technique for reducing echoes in conference communications
US5555310A (en) * 1993-02-12 1996-09-10 Kabushiki Kaisha Toshiba Stereo voice transmission apparatus, stereo signal coding/decoding apparatus, echo canceler, and voice input/output apparatus to which this echo canceler is applied
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US5533129A (en) 1994-08-24 1996-07-02 Gefvert; Herbert I. Multi-dimensional sound reproduction system
US5596644A (en) * 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
US5761318A (en) 1995-09-26 1998-06-02 Nippon Telegraph And Telephone Corporation Method and apparatus for multi-channel acoustic echo cancellation
US6256394B1 (en) * 1996-01-23 2001-07-03 U.S. Philips Corporation Transmission system for correlated signals
US7012630B2 (en) * 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
JPH09266456A (ja) * 1996-03-28 1997-10-07 Mitsubishi Electric Corp エコーキャンセラ
US5848146A (en) * 1996-05-10 1998-12-08 Rane Corporation Audio system for conferencing/presentation room
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
JP3654470B2 (ja) * 1996-09-13 2005-06-02 日本電信電話株式会社 サブバンド多チャネル音声通信会議用反響消去方法
US6134223A (en) * 1996-09-18 2000-10-17 Motorola, Inc. Videophone apparatus, method and system for audio and video conferencing and telephony
FR2762467B1 (fr) * 1997-04-16 1999-07-02 France Telecom Procede d'annulation d'echo acoustique multi-voies et annuleur d'echo acoustique multi-voies
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US6125115A (en) * 1998-02-12 2000-09-26 Qsound Labs, Inc. Teleconferencing method and apparatus with three-dimensional sound positioning
US6931123B1 (en) * 1998-04-08 2005-08-16 British Telecommunications Public Limited Company Echo cancellation
US6442272B1 (en) * 1998-05-26 2002-08-27 Tellabs, Inc. Voice conferencing system having local sound amplification
US6327567B1 (en) * 1999-02-10 2001-12-04 Telefonaktiebolaget L M Ericsson (Publ) Method and system for providing spatialized audio in conference calls

Also Published As

Publication number Publication date
EP1070416B1 (en) 2010-11-17
JP2002511715A (ja) 2002-04-16
AU3430199A (en) 1999-11-01
EP1070416A1 (en) 2001-01-24
DE69903012T2 (de) 2003-04-30
JP2002511714A (ja) 2002-04-16
EP1070417B1 (en) 2002-09-18
DE69942944D1 (de) 2010-12-30
EP1070417A1 (en) 2001-01-24
WO1999053673A1 (en) 1999-10-21
AU3430099A (en) 1999-11-01
WO1999053674A1 (en) 1999-10-21
US7245710B1 (en) 2007-07-17
DE69903012D1 (de) 2002-10-24
US6931123B1 (en) 2005-08-16

Similar Documents

Publication Publication Date Title
JP4166435B2 (ja) 通信会議システム
US8170193B2 (en) Spatial sound conference system and method
US8503655B2 (en) Methods and arrangements for group sound telecommunication
EP0730365B1 (en) Audio communication control unit for teleconferencing systems
US5020098A (en) Telephone conferencing arrangement
EA013670B1 (ru) Способ и устройство для приема, передачи и воспроизведения звуковых событий для приложений связи
US8515091B2 (en) Forwarding an audio signal in an immersive audio conference system
JPH0974446A (ja) 音声通信制御装置
US7068792B1 (en) Enhanced spatial mixing to enable three-dimensional audio deployment
JP2588793B2 (ja) 会議通話装置
JP2662825B2 (ja) 会議通話端末装置
JP2001036881A (ja) 音声伝送システム及び音声再生装置
JP2004274147A (ja) 音場定位型多地点通話システム
ES2354141T3 (es) Sistema de teleconferencia.
JP2768055B2 (ja) 会議電話サービスの通話方式
JP2662824B2 (ja) 会議通話端末装置
Yensen et al. Synthetic stereo acoustic echo cancellation structure with microphone array beamforming for VoIP conferences
JPH11215240A (ja) 電話会議装置
JP2008311848A (ja) 音声信号処理装置、音声信号処理方法
WO1998042161A2 (en) Telephonic transmission of three-dimensional sound
JPH0736583B2 (ja) 会議通話装置
JP2004023432A (ja) インターネット電話における音声切換配分装置および音声切換配分方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees