JP3321178B2 - 音声会議システム中に空間音声環境を作る装置と方法 - Google Patents

音声会議システム中に空間音声環境を作る装置と方法

Info

Publication number
JP3321178B2
JP3321178B2 JP53188197A JP53188197A JP3321178B2 JP 3321178 B2 JP3321178 B2 JP 3321178B2 JP 53188197 A JP53188197 A JP 53188197A JP 53188197 A JP53188197 A JP 53188197A JP 3321178 B2 JP3321178 B2 JP 3321178B2
Authority
JP
Japan
Prior art keywords
space
metaphorical
site
audio
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP53188197A
Other languages
English (en)
Other versions
JP2001503165A (ja
Inventor
アンドリュー ジェイ シンガー
ショーン マイケル ホワイト
グレン ティー イーデンス
ロジャー シー マイク
ドン チャーンリー
デビー ヒンダス
ウェイン バーディック
リサ スティーフルマン
Original Assignee
インターヴァル リサーチ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターヴァル リサーチ コーポレイション filed Critical インターヴァル リサーチ コーポレイション
Publication of JP2001503165A publication Critical patent/JP2001503165A/ja
Application granted granted Critical
Publication of JP3321178B2 publication Critical patent/JP3321178B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/04—Selecting arrangements for multiplex systems for time-division multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】 発明の属する技術的分野 本発明は音声会議システムに用いられる装置と方法に
関する。
技術的背景 遠隔会議システムにより、異なるサイトにいる人々で
もまるで同じ部屋にいるかのように会って話せるように
なる。これをビジネスに応用すれば、生産性の向上と移
動に要する時間と費用の削減という点で利益となる。遠
隔会議システムは現在、ビジネスの会議、セールスの会
議、技術情報の交換等に応用されている。
一般的な遠隔会議装置では、ユーザーに複数の外部ト
ランシーバーの各々と双方向の音声コミュニケーション
リンクを与えることになる。遠隔会議装置は、外部トラ
ンシーバーから受信した音声信号に基づき音波を発生で
きる、例えばスピーカーといった音声出力装置を有して
いる。遠隔会議装置は、複数外部トランシーバーへの送
信用に、受信した音波から音声信号を発生できる、例え
ばマイクロフォンといった音声入力装置を更に有してい
る。
幾つかの遠隔会議装置が技術上知られている。ファブ
リス他に与えられた米国特許4,516,156では音声ビデオ
遠隔会議システムが開示されており、離して置いたカメ
ラが生成したビデオ画像を制御するためタッチセンシテ
ィブスクリーンが用いられる。ハイデン他に与えられた
米国特許4,953,159では音声グラフィック会議装置が開
示されており、同装置は相互の接続を確立し制御するコ
ンピュータインタフェイスを有している。プレスマン他
に与えられた米国特許4,654,872では遠隔会議システム
が開示されており、ここでは一つの局のユーザーが他の
各局との相互接続を選択的に制御する。
発明の概要 外部トランシーバーから受信した音声信号に基づい
て、ユーザーが制御し得る空間音声環境を与える音声会
議システムのニーズが存在する。
従って本発明の目的は、空間音声環境を作り出せる音
声会議システムを与えることである。
本発明の更に別の目的は、概念的に一貫したユーザー
インタフェイスを与えて音声会議システム中の空間音声
環境を制御することである。
上記目的の実行に際し本発明は、複数のサイトにおけ
る複数のユーザー間での音声コミュニケーションに関す
る方法を与える。同方法は、各サイトに一組の音声イン
ップトセンサーを与える段階を有する。各組の音声入力
センサーの近辺の音声空間は、バイノーラル（以下、双
聴覚的と略）に感知される。同方法は、各サイト毎のメ
タフォリカルな表示を与える段階を更に含んでいる。各
メタフォリカル表示は、メタフォリカル空間内で変化し
得る位置を有している。各サイトで感知された音声空間
を組み合わせる段階を実行し、少なくとも一つの合成音
声空間を形成する。この少なくとも一つの合成音声空間
は、メタフォリカル空間内の各メタフォリカル表示の位
置に従って形成される。双聴覚的に知覚できる音声環境
を、前記少なくとも一つの合成音声空間に基づいて各サ
イトに作り出す。
上記目的の実行に際し更に本発明は、複数サイトにお
ける複数ユーザー間の音声コミュニケーション用のシス
テムを与え、同システムで上記方法を実行する。
上記目的の実行に際し更に本発明は、音声会議装置に
システムを与える。同音声会議装置は、ユーザーに複数
外部トランシーバー毎との双方向の音声コミュニケーシ
ョンのリンクを与え、第一の音声信号から音波を作り出
せる音声出力装置を有し、更に、複数外部トランシーバ
ーへの送信用に、受信した音波から第二の音声信号を作
り出せる音声入力装置を有している。同システムはグラ
フィカルユーザーインタフェイス（以下、GUIと略）を
含んでおり、このGUIは各外部トランシーバーに対応す
るアイコンを、ディスプレイスペース中の対応する位置
に表し、各アイコンの対応位置をユーザーは変更するこ
とができる。同システムは、基準位置に対する各アイコ
ンの対応位置を生成するプロセッサーを更に有してお
り、GUIと関連して作動する。同システムは、複数外部
トランシーバーの各々から受信した対応音声信号を、制
御信号に従って可変的に増幅しかつ可変的に選別する音
声ミキサーを更に有しており、プロセッサーと関連して
作動し、複数の信号を組み合わせ混成音声信号を形成す
る。混成音声信号は、音声出力装置に加えられ、複数外
部トランシーバーから受信した音声信号に基づき空間音
声環境が作り出される。
上記目的の実行に際し更に本発明は、双方向のコミュ
ニケーションの方法を複数外部トランシーバーの各々に
与える。第一の音声信号が複数外部トランシーバーの各
々に送信される。外部トランシーバーの各々に対応した
アイコンが、ディスプレイ中の対応する位置に表示され
る。複数外部トランシーバーの各々に対応した音声信号
が受信される。対応する各音声信号が、基準位置に対す
る各アイコンの対応位置に従って、増幅されて選別され
る。増幅・選別された対応する音声信号を混ぜ合わせ
て、混成音声信号を形成する。混成音声信号を音声出力
装置に加え、複数外部トランシーバーから受信した音声
信号に基づき空間音声環境を作り出す。
以下の説明、付属請求項目、添付図面により、本発明
のこれらの特徴、態様、実施例についての理解がなされ
るであろう。
図面の簡単な説明 図１は、複数サイトにおける複数ユーザー間の音声コ
ミュニケーションに関するシステムの実施例のブロック
図である。
図２は、複数サイトにおける複数ユーザー間の音声コ
ミュニケーションに関するの方法のフローチャートであ
る。
図３は、本発明で使われるインタフェイスの第一実施
例を図解する。
図４は、本発明で使われるインタフェイスの代替実施
例を図解する。
図５は、本発明で使われるインタフェイスの別の実施
例のブロック図である。
図６は、本発明の実施例のブロック図である。
図７は、本発明の実施例を絵図で表したものである。
図８（ａ−ｂ）は、GUIによるディスプレイと、これ
に対応する仮想音声環境の斜視図である。
図９は、仮想音声環境を作り出す方法のフローチャー
トである。
図10は、本発明による音声会議システムの一実施例の
ブロック図である。
図11は、本発明による音声会議システムの代替実施例
のブロック図である。
本発明を実施する最適なモード 図１は、複数サイトにおける複数ユーザー間の音声コ
ミュニケーションに関するシステムの実施例のブロック
図である。図解の目的上、サイトを12、14、16の三つと
した条件で述べているが、本発明の実施例はこれに限ら
れるものではない。各サイト12、14、16毎に、近辺の音
声空間を双聴覚的に感知するため、対応した音声入力セ
ンサーのセット22、24、26を設ける。図示のように、音
声入力センサーセット22は、サイト12の音声空間を双聴
覚的に感知し、音声入力センサーのセット24は、サイト
14に位置する音声空間を双聴覚的に感知し、音声入力セ
ンサーのセット26は、サイト16に位置する音声空間を双
聴覚的に感知する。「双聴覚的な感知」とは、離れた位
置で双聴覚的に知覚し得るに充分な位相の質と精度を有
する形の音声空間を感知ないし合成することを示すこと
に注意されたい。
双聴覚的な感知は、異なる様々な音声入力センサーを
異なる様々な構成で使用して実施することができる。一
実施例の場合、感知される音声空間の空間表示を捕らえ
るために構成された複数のマイクロフォンを使って、双
聴覚的な感知を行う。複数のマイクロフォンとしては、
一対のマイクロフォン、４個のアレイ状マイクロフィ
ン、８個のアレイ状マイクロフォン等がある。使われる
マイクロフォンの数によらず、音声空間内に生成される
多重反射を捕らえるように構成するのが望ましい。そう
した構成の一つでは、一対のマイクロフォンを構成し
て、人間の二つの耳の間の平均的な頭蓋内距離をシミュ
レートする。一般的に言って、マイクロフォンの構成を
固定する必要はない。
代替的には、双聴覚的に人間の頭に関連させた代表的
な伝達関数を物理的にシミュレートする複数の音声入力
センサーを使って、音声空間の空間表示を捕らえてもよ
い。別の代替として、一対のディスプレイスメントセン
サーを使って双聴覚的な感知を行ってもよく、本センサ
ーは近辺の音声空間に応答して一対の生体鼓膜の移動を
感知する。このやり方での双聴覚的な感知のための方法
とシステムが、同時係属米国特許出願、出願番号08/47
5,349で本出願と同じ譲受人に譲受された、「生体内鼓
膜の移動を計測する着用可能な装置と同装置用の方法と
システム」に開示されており、参考までに添付する。
別の実施例では、一つのサイトの音声空間を、一個の
マイクロフォンと一個の音声信号プロセッサーを使って
双聴覚的に合成する。この場合、音声信号プロセッサー
は、離れた位置で双聴覚的に知覚し得るに充分な位相の
質と精度を有する形の音声空間を合成する。音声信号プ
ロセッサーは、所定の立体的ないし双聴覚的な人間の頭
に関連させた伝達関数を、人工的に加えることで音声空
間を形成できる。結果的に、三次元的な音声空間を一個
のマイクロフォンで形成できる。
各々のサイト12、14、16で感知された音声空間を表す
信号を、22、24、26の音声入力センサーから、送信リン
ク32、34、36を経由させ、信号プロセッサーに送信す
る。送信リンク32、34、36は、電気用ケーブル（同軸ケ
ーブル、一対の捩り線等）、光ファイバー、自由空間、
信号搬送用の他の媒体から成りたっていればよい。送信
リンク上での送信は、音声空間を代表する基本帯域電気
信号を使って達成してもよく、基本帯域電気信号は、変
調搬送波ないし変調光信号を有する。
一般的に言って、感知された音声空間を表す信号はア
ナログ、デジタルのいずれの形で送信してもよい。デジ
タル形式では、感知された音声空間を表すデジタル信号
を適切に暗号化ないし圧縮して表示できる。
信号プロセッサー30は、各サイト12、14、16毎に感知
された音声空間を、インタフェイス40から供給された制
御信号に従って、組み合わせる。インタフェイス40は、
メタフォリカル空間内の各サイト12、14、16のメタフォ
リカル表示を与える。各メタフォリカル表示の位置は、
メタフォリカル空間内で変化し得る。メタフォリカル空
間内のメタフォリカル表示に基づき、信号プロセッサー
30が、少なくとも一つの合成音声空間を形成する。
本発明の様々な実施例では、各合成音声空間をメタフ
ォリカルに表すため、メタフォリカル空間が複数のサブ
空間へと詳細に表される。各合成音声空間は、各サブ空
間内に含まれるメタフォリカル表示を有する音声空間を
組み合わせて形成する。更に、一つのサイトで感知され
た音声空間は、メタフォリカル空間内の前記一つのサイ
トのメタフォリカル表示の位置に従って、別のサイトに
おける双聴覚的に知覚されたサイトに作り出すことがで
きる。
信号プロセッサー30は合成音声環境を構成するため、
一つ以上のアナログ音声ミキサーないし一つ以上のデジ
タル音声プロセッサーを有することができる。ミキシン
グに加え、信号プロセッサー30は周波数応答の形成、セ
キュリティ上の理由からの暗号化、背景音の追加、自動
的なゲインコントロールの実行、フィードバック制御操
作の実行、立体的及び空間的な音の改善操作を行うこと
ができる。デジタル音声プロセッサーは、時分割ないし
空間分割のマルチプレクシング信号を用いて、多岐に亘
るミキシングタスクを実行してもよい。
少なくとも一つの合成音声空間を表す信号が、各送信
リンク41、42、43を経由させ、各サイト12、14、16にコ
ミュニケートされる。送信リンク32、34、36の場合のよ
うに、送信リンク41、42、43は電気用ケーブル（同軸ケ
ーブル、一対の捩り線等）、光ファイバー、自由空間、
他の適切な媒体から成ることが可能である。信号は基本
帯域、広帯域のいずれの信号も可能である。
各サイト12、14、16は、合成音声空間に基づいて双聴
覚的に知覚可能な音声環境を作り出す音声出力装置のセ
ット44、45、46を有する。音声出力装置の各セットは、
サイトの合成音声環境を提供するアレイ状スピーカー、
例えばステレオスピーカー、４個のアレイ状スピーカ
ー、８個のアレイ状スピーカー等を有することができ
る。代替的に、音声出力装置セットとして、例えばオー
バーイヤヘッドフォン、イヤフォン、骨伝導フォン、ニ
アフィールドフォンといった形のヘッドフォンが可能で
ある。
別の代替案として、音声出力装置セットはユーザーの
鼓膜をサーボする手段を提供できる。個人の鼓膜をサー
ボする方法とシステムについては、同時係属米国特許出
願、出願番号08/475,349に述べられている。
信号プロセッサー30は中央のシステムとして図示され
ているが、複数のサブシステムを使った分散型形式をと
ることも可能である。この場合、各サイトは中央の信号
プロセッサーと連動して働く信号処理サブシステムを有
することが可能であり、中央の信号プロセッサーは前記
サイトが必要とする利用可能な資源のサブセットのみを
送信する。信号処理サブシステムは、要求のあった利用
可能な資源のサブセットの組み合わせを実行する。
図２に、本発明による複数サイトの複数ユーザー間で
の音声コミュニケーションに関する方法のフローチャー
トを示す。
ブロック50に示すように、本方法は各サイトに音声入
力センサーを与える段階を有している。ブロック52に示
すように、各サイトのメタフォリカルな表示を与える段
階が実行される。各メタフォリカル表示はメタフォリカ
ル空間内で可変な位置を有する。音声入力センサーの各
セット近辺の音声空間を双聴覚的に感知する段階がブロ
ック54に示すように実行される。ブロック56に示す如
く、各サイトで感知された音声空間を組み合わせる段階
が実行され、少なくとも一つの合成音声空間が形成され
る。この合成音声空間は、メタフォリカル空間内のメタ
フォリカル表示に従って形成される。少なくとも一つの
合成音声空間に基づいて各サイトに双聴覚的に知覚可能
な音声環境を作り出す段階が、ブロック58に示すよう
に、実行される。
図３に、本発明で使われるインタフェイスの第一実施
例を示す。本実施例のインタフェイスの場合、メタフォ
リカル表示は各サイトの物理的な表示の形式となってい
る。例えば、インタフェイスは物理的オブジェクトを１
セット含むことができ、各オブジェクトは人物ないしグ
ループを表す。物理的オブジェクトは個人ないしグルー
プの表示であれば、文字、文字に近いもの、任意のもの
が可能である。更に、物理的オブジェクトは、人物ない
しグループに対してどのような大きさであってもよい。
本実施例のインタフェイスは、複数サイトの各々をメ
タフォリカルに表す複数の物理的オブジェクトを有して
いる。各物理的オブジェクトは、物理的空間内で可変な
位置を有する。図解のため、図１のサイト12、14、16を
メタフォリカルに表す三つの物理的オブジェクト62、6
4、66を示す。物理的オブジェクト62、64、66は、物理
的空間を与える平面68上に位置する。物理的空間は、二
つの音声空間を表す二つのサブ空間70、72に表されて、
このサブ空間が合成される。
物理的オブジェクト62、64、66の各々は、物理的空間
内での自身の位置を感知するセンサー82、84、86を有し
ている。センサー82、84、86は、光学的センサー、電磁
気的センサー、電気的センサー、機械的センサー、超音
波センサー等で、物理的オブジェクト62、64、66の位置
を感知できる。センサー82、84、86は、サブ空間70、72
に対する各オブジェクトの物理的位置の変化を素早く決
定できるように、動的に位置を感知することが好まし
い。各オブジェクトの物理的位置を動的に感知すること
により、合成音声空間を動的に変化させ、サブ空間70、
72に対するオブジェクトの構成を反映することができ
る。
図４に、物理的メタフォリカル表示を利用したインタ
フェイスの代替実施例を示す。この場合、複数の平面9
0、92を含んでおり、同平面は物理的空間を二つのサブ
空間94、96で表す。サブ空間94は一つの合成音声空間の
表示であり、サブ空間96は別の合成音声空間の表示であ
る。図４では、平面90、92の二つだけしか示していない
が、代替実施例で利用する平面の数はいくつでもよいこ
とに注意されたい。
図３、４の平面で与えられる二次元の物理的なメタフ
ォリカル空間の代替として、物理的オブジェクトの位置
を任意の三次元空間内で感知することが可能である。こ
の三次元空間は、形成されるべき合成音声空間をいくつ
でも表す所定のやり方で表すことができる。
図５に、複数サイトの各々の視覚的なメタフォリカル
表示を利用したインタフェイスの実施例を示す。インタ
フェイスは、少なくとも一つのグラフィカルオブジェク
トを表示するディスプレイ装置100を有している。この
少なくとも一つのグラフィカルオブジェクトが、複数サ
イトの少なくとも一つの表示をメタフォリカルに表す。
複数のグラフィカルオブジェクトが表示され、各グラフ
ィカルオブジェクトが複数サイトの各々と対応すること
が好ましい。ディスプレイ装置100は、入力装置104を有
するコンピュータ102で駆動される。入力装置104は、マ
ウス、トラックボール、タッチスクリーン、ペン等のポ
インティング装置を有することができる。コンピュータ
102は、ディスプレイ装置100上の各グラフィカルオブジ
ェクトの位置を決める手段を与える。
この形式の好適実施例では、ディスプレイ装置100は
グラフィカルオブジェクトのセットを表し、このグラフ
ィカルオブジェクトは複数の個人ないしグループを文
字、文字に近いもの、ないし任意の形のいずれかで表し
たものである。ディスプレイ装置100は更に、合成され
るべき各音声空間を図で表したエリアを表す。エリアは
ディスプレイ装置100の全画面上に表してもよい。代替
的に、エリアをディスプレイ装置100の画面上で、一つ
ないし複数のウィンドウ内ないしシミュレートした三次
元空間表示で表してもよい。
画面上に表されたエリアに対する各オブジェクトの位
置を、ユーザーは入力装置104を使って操作する。オブ
ジェクトの位置を使い、対応する合成音声空間を動的に
変化させ、表されたエリアに対するオブジェクトの構成
を反映させる。
オブジェクトは表す個人ないしグループに対しどんな
大きさでもよいことに注意されたい。更に、複数のオブ
ジェクトを使って、個人ないしグループと合成音声空間
との関わり合いに関する種々のアスペクトを表してもよ
い。例えば、一つのオブジェクトは、合成音声空間に対
する個人ないしグループの寄与度合を表してもよく、こ
の場合、第二のオブジェクトは個人ないしグループが合
成音声空間を聴く能力を表す。
図５のインタフェイスは、複数サイトの原文通りのメ
タフォリカル表示を与えるのに利用できる。この場合コ
ンピュータ102は、少なくとも一つのニーモニックオブ
ジェクトの状態空間モデルを維持する制御プログラムを
実行する。この少なくとも一つのニーモニックオブジェ
クトは、少なくとも一つのサイトをメタフォリカルに表
示する。制御プログラムは、複数サイトを表す複数のニ
ーモニックオブジェクトのために状態空間モデルを維持
することが好ましい。入力装置104は、状態空間モデル
内の少なくとも一つのニーモニックオブジェクトの状態
を変更するため、原文通りのコマンドを受信する手段を
与える。ディスプレイ装置100は、状態空間モデル内の
少なくとも一つのニーモニックオブジェクトの状態に関
する原文通りの指示を表すための手段を与える。
更に特定すればコンピュータ102は、入力装置104を経
由して原文通りのコマンドを受信する。原文通りのコミ
ュニケーションは、入力装置104内のボタンを押して達
成してもよい。この場合、ボタンにユーザーが発するコ
マンドをラベル表示してもよい。代替として入力装置10
4は、ディスプレイ装置100上に表示されたコマンドの選
択を容易にするポインティング装置、例えば、マウス、
トラックボール、ペン、タッチスクリーン、ボデーポジ
ションセンサー等を有することができる。別の代替策と
して、原文通りのコマンドを入力装置104内のキーボー
ドを打つことで達成することができる。更に別の代替策
では、入力装置104内に言語認識装置を使い、口頭での
コマンド入力が可能となる。
入力装置104経由でコンピュータが受信した原文通り
のコマンドを使い、状態空間モデルを変更する。ニーモ
ニックに表されたエリアないしエリアセットに対する各
ニーモニックオブジェクトの状態を使い、表されたエリ
アで定義された少なくとも一つの合成音声空間の形式を
動的に変化させる。
インタフェイスに関する先の実施例のように、ニーモ
ニックオブジェクトは、サイトに関係する個人ないしグ
ループを表す文字、文字に近いもの、任意のものでよ
い。更に、ニーモニックオブジェクトは、オブジェクト
が表す人々ないし空間に対しどんなニーモニック関係で
も可能である。又、複数のオブジェクトは、個人ないし
グループの音声空間との関わり合いに関する種々のアス
ペクト、例えば、合成音声空間に対し寄与するのみであ
る、合成音声空間に聴き入るだけであるとかいうことを
表してもよい。
インタフェイスの実施例は、空間メタフォーを利用し
て各サイトをメタフォリカルに表してもよい。この場
合、インタフェイスは音声ディスプレイを有し、このデ
ィスプレイ上には、音声オブジェクトが表されたエリア
ないしエリアのセットと共にディスプレイされる。
視覚的なメタフォリカル表示を利用した本発明の好適
実施例を説明する。この好適実施例が教示するものはこ
こで述べた他のメタフォリカル表示と共に適用可能なこ
とに注意されたい。
音声会議装置に使う空間音声環境を作り出すシステム
の実施例を、図６のブロック図に示す。複数の音源110
を音声ミキサー112に加える。音源110の例としては、離
れた位置からマイクロフォンに話しかける人の音声信
号、電話の受話器、音楽再生装置、ラジオ、テレビから
の音声等が含まれる。音声ミキサー112は各音源を、制
御ライン114沿いに受信した制御信号に従って、可変的
に増幅しかつ可変的に選別することができる。制御信号
を、GUI120に応答してプロセッサー116が生成する。
GUI120は、各音源110を表すアイコンを、ディスプレ
イスペースの対応位置に表示できる。ディスプレイスペ
ースは二次元ディスプレイ装置、例えばコンピュータモ
ニターないしこれと同等以上のものの上にディスプレイ
できる。GUI120は更に、ユーザーが各表示アイコンの対
応位置を変更するのを可能とする。こうした変更は、マ
ウス、トラックボール、ジョイスティックを使用するク
リックアンドドラッグ操作、ないし代替制御装置を使っ
た代替操作で実行可能である。空間音声環境中における
ユーザーの基準位置は、基準アイコンで表される。音源
のアイコンの場合と同様の方法で、空間音声環境中にお
けるユーザーの仮想位置が変更されるよう、基準アイコ
ンの位置をGUI120で変更することができる。
GUI120を使ってなされた変更に応じて、プロッセサー
116は基準位置に対する各アイコンの対応位置に従った
制御信号を生成する。制御信号は、各音源110の増幅を
音声ミキサー112で制御する第一信号を有している。第
一信号は、対応するアイコンの位置と基準位置との間の
距離に基づいて、各音源110が増幅されると言った形で
形成される。この目的には、様々な距離測定基準が使用
できる。好適実施例では、デカルト座標による距離ない
し所定の座標軸に沿って測定された距離を内蔵してい
る。デカルト座標による距離測定は、各座標表示軸にお
ける基準位置と対応する音源アイコンとの間の差の二乗
を合計したものの平方根として定義される。より一般的
に言えば、測定基準はどのような数学的基準に基づくこ
ともでき、例えば座標値の差をｐ乗した合計値のｐ乗根
と定める一般的なｐ−ノルム基準も可能である。使われ
る基準が如何なるものであれ、各音源110を可変的に増
幅すると、基準アイコンにより近い表示アイコンを有す
る音源の可聴強度は相対的に増し、基準アイコンにより
遠いアイコンを有する音源の強度は低下することにな
る。
制御信号は更に、各音源110の選別を音声ミキサー112
で制御する第二信号を有している。基準位置に対するア
イコンの方向に基づいて各音源110が選別される、と言
った形で第二信号を形成する。好適実施例では、対応す
るアイコン位置と基準位置とで表される点を結ぶ線分
と、基準位置から発する垂直線分とがなす角度に従っ
て、各音源を選別する。立体的な音声環境を作り出す実
施例では、右チャンネルの強さと左チャンネルの強さは
角度によってそれぞれ変わる。別の実施例では、音源ア
イコン位置と基準位置の間の水平距離に基づいて、各音
源を選別する。立体的音声環境に使う特定の選別機能に
よらず、可変的な選別をすると、一方のチャンネルの強
さが増すと他方のチャンネルの強さは低下し、ディスプ
レイに対して一貫した空間音声表示を与えることにな
る。他の実施例は四つの音声環境を含んでおり、音源11
0を適切に選別することにより四つの音声チャンネルが
作り出される。空間音声環境を作り出すのに使われるチ
ャンネル数に従って、様々な選別機能を処方できること
に当業者に気付くであろう。
各音源110を可変的に増幅・選別した後、音声ミキサ
ー112は組み合わせた音源から混成音声信号を形成す
る。混成音声信号は音声出力装置122に加えられ、仮想
音声空間を作り出す音波が作り出される。本発明の好適
実施例では、音声出力装置122は適当に離して置いた複
数のスピーカーから成る。立体的音声環境の場合、音声
出力装置122は二つの離れたスピーカーから成る。４個
の音源の仮想音声空間の場合、音声出力装置122はユー
ザーを取り囲む４個の独立したスピーカーから成る。
図６のシステムは音声入力装置124を有しており、空
間音声環境を作り出すために、ユーザーは類似システム
中の類似音声ミキサーに加えるための音源を生成できる
ようになる。マイクロフォン等から成る音声入力装置12
4の場合、システムは複数ユーザー間での音声会議用に
使用できる。結果的にでき上がったシステムの場合、各
ユーザーをディスプレイ中の対応位置に置くGUI120で、
各ユーザーは自分の空間音声環境を自分の好みで変えら
れるようになる。
本発明の実施例の絵図の例を図７に示す。本実施例は
電気的制御の可能な音声ミキサー130を有しており、こ
のミキサーは複数の音源から入ってくる複数の線132と
連結されている。音声ミキサー130は、コンピュータ134
が生成した制御信号で制御される。コンピュータ134は
コンピュータモニター136といった表示装置とマウス140
ないしキーボード142といった入力装置を有している。
適当なソフトウェアないしファームウェアプログラムを
実行するコンピュータ134の場合、基準アイコンと音源
アイコンがモニター136の対応位置に表示される。マウ
ス140により、選定したアイコン位置を変更するための
クリックアンドドラッグ操作が可能となる。コンピュー
タ134は、基準位置に対する各アイコンの対応位置に従
って、制御信号与える変更を処理する。音声ミキサー13
0は、音源を可変的に増幅、選別、混合して立体的な音
声信号を与える。立体的音声信号の第一チャンネル144
は第一スピーカー146に、立体的音声信号の第二チャン
ネル150は第二スピーカー152に加えられる。二つのスピ
ーカー146、152が空間音声環境を与える。図６の実施例
のように、本実施例もマイクロフォン154を有し、ユー
ザーは発明の類似実施例に加えるための音源を生成でき
るようになる。
図8aは、図8bの斜視図に示された空間音声環境を作り
出すGUIによる表示例を示す。図解のため図8bの斜視図
に示すように、音源として３個所に離れて位置し参照符
号を160、162、164とする人物Ａ、Ｂ、Ｃ、電話受話器1
66、音楽再生装置170が含まれている。図8aに示すよう
に、各音源は対応するアイコン、３つに離れて位置する
人物を表すアイコン172、174、176、電話受話器のアイ
コン180、音楽再生装置のアイコン182、としてGUIで表
される。ユーザー184は、基準アイコン186で表す。
空間音声環境は、一対のスピーカー190から発せられ
る音波で作られる。仮想音声空間中の各音源の位置は、
基準アイコン上の対応するアイコンの位置に基づく。図
の条件で、音楽再生装置は後方左側で離れた位置にある
のをユーザー184は望んでいる。それ故、ユーザーは音
楽再生装置のアイコン182を基準アイコン186から離れた
左に置く。人物Ｃのアイコン176は基準アイコン186の近
くに置かれているが、図解の便宜上、人物Ｃである164
とユーザーは現在会話しているからである。参照符号17
2、174で示される人物Ａ、Ｂのアイコンは基準アイコン
から離れてディスプレイの両側に置かれる。これによ
り、いずれの人物Ａ、Ｂもユーザーの注意を口頭で得る
ことができ、更にユーザーは両人物Ａ、Ｂを空間上識別
できることになる。
本発明により、複数の音源から仮想音声空間を作る方
法を図９のフローチャートに示す。各音源を表すアイコ
ンを表示する段階をブロック194で実行する。この表示
段階は、基準のアイコンを基準位置に表示する段階を更
に含むことが可能である。ブロック196で各音源は、基
準位置に対して対応するアイコンの位置に従って、増幅
される。先に論じたように各音源は、対応するアイコン
の位置と基準位置との間の距離に従って増幅されるが、
好適実施例ではデカルト座標による距離ないし所定の座
標軸に沿って距離が採用される。図8aに戻ると、電話器
のアイコン180と基準アイコン186の間のデカルト座標に
よる距離は参照符号200で示され、垂直軸に沿って測っ
た距離は参照符号202で示されている。
基準位置に対するアイコンの位置に従って音源を選別
する段階を、ブロック204で実行する。先に論じたよう
に本段階は、電話器アイコン180に対して参照符号206で
示したように、アイコン位置と基準位置とを結ぶ線分
と、基準位置を通過する水平線分とがなす角度に従っ
て、各音源を選別することで実行される。代替として各
音源を、アイコンの位置と基準位置との間をある座標
軸、例えば水平軸に沿って測定した距離に従って選別す
ることが可能である。
ブロック210で、増幅・選別した音源を混合する。混
合された音源を表す音波はブロック212で作られる。こ
の音波で空間音声環境を作り出す。
本発明に従い、図10に音声会議システムの実施例のブ
ロック図を図示する。システムは３つの空間音声システ
ム220、222、224を条件として図示されている。各空間
音声システムの音声入力装置は、他の２つの空間音声シ
ステムの音声ミキサーへの入力として加えられる。例え
ば、空間音声システム220の音声入力装置226は、空間音
声システム222の音声ミキサー230と空間音声システム22
4の音声ミキサー232へ連結される。それ故、マイクロフ
ォンから成る音声入力装置226について言えば、空間音
声システム220のユーザーは、空間音声システム222、22
4のユーザーと口頭でコミュニケートできる。
結果的に、各空間音声システムの音声ミキサーは、他
の２つの空間音声システムの音声ミキサーの音声入力装
置に連結されることになる。更に特定すれば、空間音声
システム220について言えば、音声ミキサー234は音声入
力装置236と音声入力装置240とに連結されている。それ
故、空間音声システム220のユーザーは、他のユーザー
を表すアイコンの位置をGUI242を使って変更することに
より、他の２つのユーザーの空間音声位置を変更するこ
とができる。
本発明による音声会議システムの代替実施例のブロッ
ク図を図11に示す。図解のため、システムは３つの空間
音声システム250、252、254を条件として図示する。本
実施例では、音声システム250、252、254を繋ぐため
に、音声ミキサー256とプロセッサー260を中央に置く。
こうした配置は、自分の基準アイコンの基準位置を各ユ
ーザーが変更できる場合に助けとなる。更に特定する
と、各ユーザーは対応するGUI上の共通のディスプレイ
スペースを見ることになる。あるユーザーが自分の基準
アイコンの位置を変更すると、中央のプロセッサー260
は、他のGUIに前記ユーザーを表すアイコンの位置を変
更するよう命ずる。中央のプロセッサー260は、音声ミ
キサー256に加えるために、各アイコンの互いに対する
相対的位置に従った制御信号を生成する。制御信号に応
じて、音声ミキサーは可変的に各音源を増幅・選別し、
音声出力装置に加えるための混成音声信号を形成する。
勿論、図10、11に示した３人からなるユーザー例は音
声会議システムの実施例を単に図解するためであり、音
声会議システムの実施例はどんな複数のユーザーにも使
用できる。更に、音声会議システムの実施例は一般的な
いかなる送信器・受信器のペア、即ちトランシーバーと
も繋ぐことができる。
先に述べた本発明のバージョンは、首尾一貫した空間
表示中に音源の表示を動かしたり置いたりすることで、
ユーザーに音声環境を整理操作を可能にすると言った点
を始めとした多くの利点を有する。例えば、人物の表示
をよりユーザーに近づけユーザー表示の左に動かすと、
前記人物の音声表示をよりユーザーに近づけユーザー表
示の左に動かすことになる。これは音声環境に対するユ
ーザーの完全な制御を可能とし、その音声空間を簡単か
つ素早く再配置する余裕を提供することになる。これは
又、首尾一貫した音声と概念的な表示を通して仮想コミ
ュニケーション空間を創造する新たなモデルを与えるこ
とになる。
以上、本発明を実施する最適なモードを詳しく述べて
きたが、本発明に関わる技術分野に精通する当業者は、
以下の請求項で定義される本発明を実施するに際し、種
々の代替デザイン及び実施例があることを理解できるで
あろう。
フロントページの続き (72)発明者 ホワイト ショーン マイケル アメリカ合衆国 カリフォルニア州 94303 パロアルト エッジウッド ド ライヴ 2029 (72)発明者 イーデンス グレン ティー アメリカ合衆国 カリフォルニア州 94062 レッドウッド シティーカレー ラ コート 25 (72)発明者 マイク ロジャー シー アメリカ合衆国 カリフォルニア州 94062 レッドウッド シティースプリ ングデイル ウェイ 136 (72)発明者 チャーンリー ドン アメリカ合衆国 カリフォルニア州 94062 ウッドサイド スカイロンダ ドライヴ 23 (72)発明者 ヒンダス デビー アメリカ合衆国 カリフォルニア州 94127 サン フランシスコ ユエーバ ブエナ アベニュー 315 (72)発明者 バーディック ウェイン アメリカ合衆国 カリフォルニア州 94002 ベルモント シックススアベニ ュー 1432 (72)発明者 スティーフルマン リサ アメリカ合衆国 マサチューセッツ州 02139 ケンブリッジ エイムズ スト リート 20 イ―15―352 (56)参考文献 特開 平８−46704（ＪＰ，Ａ) 特開 平１−303852（ＪＰ，Ａ) 特開 平２−206272（ＪＰ，Ａ) 特開 平９−23275（ＪＰ，Ａ) 米国特許5020098（ＵＳ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/16 G06F 3/00 H04L 12/18 H04M 3/56

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項１】複数サイトの複数ユーザー間の音声コミュ
    ニケーションのためのシステムにおいて、各サイトに設
    けられ近接した音声空間を双聴覚的に感知する音声入力
    センサーのセットと、各サイトのメタフォリカルな表示
    を提供する手段であって、ユーザーが各メタフォリカル
    表示をメタフォリカル空間内である位置まで移動させる
    ことのできるそのような手段と、各サイトで感知される
    音声空間を組み合わせて少なくとも１つの合成音声空間
    を形成する手段であって、前記少なくとも１つの合成音
    声空間をメタフォリカル空間内の各メタフォリカル表示
    の位置に従って形成するそのような手段と、少なくとも
    １つの合成音声空間に基づき双聴覚的に知覚できる音声
    環境を各サイトに生成する手段とから成り、前記メタフ
    ォリカル表示を提供するための手段が、少なくとも１つ
    のサイトの物理的表示を与え、前記メタフォリカル表示
    を提供するための手段が、前記少なくとも１つのサイト
    をメタフォリカルに表示する少なくとも１つの物理的オ
    ブジェクトと、物理的空間内の前記少なくとも１つの物
    理的オブジェクトの位置を感知するための手段とを包含
    し、各物理的オブジェクトは物理的空間内で可変な位置
    を有し、前記少なくとも１つの物理的オブジェクトが複
    数の平面上に位置できることを特徴とするシステム。
  2. 【請求項２】複数サイトの複数ユーザー間の音声コミュ
    ニケーションのためのシステムにおいて、各サイトに設
    けられ近接した音声空間を双聴覚的に感知する音声入力
    センサーのセットと、各サイトのメタフォリカルな表示
    を提供する手段であって、ユーザーが各メタフォリカル
    表示をメタフォリカル空間内である位置まで移動させる
    ことのできるそのような手段と、各サイトで感知される
    音声空間を組み合わせて少なくとも１つの合成音声空間
    を形成する手段であって、前記少なくとも１つの合成音
    声空間をメタフォリカル空間内の各メタフォリカル表示
    の位置に従って形成するそのような手段と、少なくとも
    １つの合成音声空間に基づき双聴覚的に知覚できる音声
    環境を各サイトに生成する手段とから成り、あるサイト
    の前記音声入力センサーのセットが、人間の両耳の間の
    所定の頭蓋内距離を模して構成された１対のマイクロフ
    ォンを含んでいることを特徴とするシステム。
  3. 【請求項３】複数サイトの複数ユーザー間の音声コミュ
    ニケーションのためのシステムにおいて、各サイトに設
    けられ近接した音声空間を双聴覚的に感知する音声入力
    センサーのセットと、各サイトのメタフォリカルな表示
    を提供する手段であって、ユーザーが各メタフォリカル
    表示をメタフォリカル空間内である位置まで移動させる
    ことのできるそのような手段と、各サイトで感知される
    音声空間を組み合わせて少なくとも１つの合成音声空間
    を形成する手段であって、前記少なくとも１つの合成音
    声空間をメタフォリカル空間内の各メタフォリカル表示
    の位置に従って形成するそのような手段と、少なくとも
    １つの合成音声空間に基づき双聴覚的に知覚できる音声
    環境を各サイトに生成する手段とから成り、あるサイト
    の前記音声入力センサーのセットが、双聴覚的に頭部に
    関連させた所定の伝達関数を物理的に模した１対のセン
    サーを含んでいることを特徴とするシステム。
  4. 【請求項４】複数サイトの複数ユーザー間の音声コミュ
    ニケーションのためのシステムにおいて、各サイトに設
    けられ近接した音声空間を双聴覚的に感知する音声入力
    センサーのセットと、各サイトのメタフォリカルな表示
    を提供する手段であって、ユーザーが各メタフォリカル
    表示をメタフォリカル空間内である位置まで移動させる
    ことのできるそのような手段と、各サイトで感知される
    音声空間を組み合わせて少なくとも１つの合成音声空間
    を形成する手段であって、前記少なくとも１つの合成音
    声空間をメタフォリカル空間内の各メタフォリカル表示
    の位置に従って形成するそのような手段と、少なくとも
    １つの合成音声空間に基づき双聴覚的に知覚できる音声
    環境を各サイトに生成する手段とから成り、あるサイト
    の前記音声入力センサーのセットが、近接する音声空間
    に応答する１対の生体内鼓膜の変位を感知するための１
    対の変位センサーを含んでいることを特徴とするシステ
    ム。
  5. 【請求項５】複数サイトの複数ユーザー間の音声コミュ
    ニケーションのためのシステムにおいて、各サイトに設
    けられ近接した音声空間を双聴覚的に感知する音声入力
    センサーのセットと、各サイトのメタフォリカルな表示
    を提供する手段であって、ユーザーが各メタフォリカル
    表示をメタフォリカル空間内である位置まで移動させる
    ことのできるそのような手段と、各サイトで感知される
    音声空間を組み合わせて少なくとも１つの合成音声空間
    を形成する手段であって、前記少なくとも１つの合成音
    声空間をメタフォリカル空間内の各メタフォリカル表示
    の位置に従って形成するそのような手段と、少なくとも
    １つの合成音声空間に基づき双聴覚的に知覚できる音声
    環境を各サイトに生成する手段とから成り、前記音声空
    間を組み合わせて合成音声空間を形成する手段が、サイ
    トの内の１つで感知される音声空間を、双聴覚的に頭部
    に関連させた所定の伝達関数と重ね合わすための手段を
    含んでいることを特徴とするシステム。
  6. 【請求項６】複数サイトの複数ユーザー間の音声コミュ
    ニケーションのためのシステムにおいて、各サイトに設
    けられ近接した音声空間を双聴覚的に感知する音声入力
    センサーのセットと、各サイトのメタフォリカルな表示
    を提供する手段であって、ユーザーが各メタフォリカル
    表示をメタフォリカル空間内である位置まで移動させる
    ことのできるそのような手段と、各サイトで感知される
    音声空間を組み合わせて少なくとも１つの合成音声空間
    を形成する手段であって、前記少なくとも１つの合成音
    声空間をメタフォリカル空間内の各メタフォリカル表示
    の位置に従って形成するそのような手段と、少なくとも
    １つの合成音声空間に基づき双聴覚的に知覚できる音声
    環境を各サイトに生成する手段とから成り、前記双聴覚
    的に知覚できる音声環境を生成するための手段が、ユー
    ザーの鼓膜をサーボする手段を含むことを特徴とするシ
    ステム。
  7. 【請求項７】複数の外部トランシーバーの各々に対して
    対応する双方向音声コミュニケーションリンクをユーザ
    ーに提供する音声会議装置であり、前記音声会議装置は
    加えられた第１音声信号から音波を生成できる音声出力
    装置を含み、かつ前記音声会議装置は、複数の外部トラ
    ンシーバーに送信するために受信した音波から第２音声
    信号を生成できる音声入力装置を更に含んでいる、その
    ような音声会議装置に付帯して使用されるシステムにお
    いて、当該システムが、ディスプレイスペースの対応す
    る位置の各外部トランシーバーに対応するアイコンを表
    示するが、そこでは各アイコンの対応する前記位置をユ
    ーザーが変更することができるというグラフィカルユー
    ザーインターフェースと、前記グラフィカルユーザーイ
    ンターフェースに関連して操作され、基準位置に対する
    各アイコンの対応する位置に従って制御信号を発生させ
    るプロセッサーと、前記プロセッサーに関連して操作さ
    れ、複数の外部トランシーバーの各々から受信した対応
    する音声信号を制御信号に従って可変的に増幅かつ選別
    し、その組み合わせから混成音声信号を形成するオーデ
    ィオミキサーとから成り、前記混成音声信号は前記音声
    出力装置に加えられ、複数の外部トランシーバーから受
    信される前記音声信号に基づいて空間音声環境を作り出
    すことを特徴とするシステム。
  8. 【請求項８】複数の外部トランシーバーの各々と双方向
    コミュニケーションを行うための方法であって、第１音
    声信号を複数外部トランシーバーの各々に伝達する段階
    と、ディスプレイスペースの対応する位置に外部トラン
    シーバーの各々に対応するアイコンを表示する段階と、
    複数外部トランシーバーの各々からの対応する音声信号
    を受信する段階と、基準位置に対して対応するアイコン
    の対応する位置に従って各音声信号を増幅かつ選別する
    段階と、増幅かつ選別された対応する音声信号を混ぜ合
    わせ混成音声信号を形成する段階と、混成音声信号を音
    声出力装置に加えて複数外部トランシーバーから受信さ
    れる音声信号に基づいて空間的音声環境を創造する段階
    とから成ることを特徴とする方法。
JP53188197A 1996-03-04 1997-03-03 音声会議システム中に空間音声環境を作る装置と方法 Expired - Fee Related JP3321178B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/610,638 US5889843A (en) 1996-03-04 1996-03-04 Methods and systems for creating a spatial auditory environment in an audio conference system
US610,638 1996-03-04
PCT/US1997/003324 WO1997033450A1 (en) 1996-03-04 1997-03-03 Methods and systems for creating a spatial auditory environment in an audio conference system

Publications (2)

Publication Number Publication Date
JP2001503165A JP2001503165A (ja) 2001-03-06
JP3321178B2 true JP3321178B2 (ja) 2002-09-03

Family

ID=24445843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53188197A Expired - Fee Related JP3321178B2 (ja) 1996-03-04 1997-03-03 音声会議システム中に空間音声環境を作る装置と方法

Country Status (6)

Country Link
US (1) US5889843A (ja)
EP (1) EP0879545A1 (ja)
JP (1) JP3321178B2 (ja)
KR (1) KR100436362B1 (ja)
AU (1) AU2064897A (ja)
WO (1) WO1997033450A1 (ja)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956491A (en) 1996-04-01 1999-09-21 Marks; Daniel L. Group communications multiplexing system
US6005919A (en) 1996-10-25 1999-12-21 Radionics, Inc. Jaw and circular collimator
US6408327B1 (en) * 1998-12-22 2002-06-18 Nortel Networks Limited Synthetic stereo conferencing over LAN/WAN
GB2349055B (en) * 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
US6459769B1 (en) 1999-05-03 2002-10-01 Sherwood Services Ag Movable miniature multi-leaf collimator
US6466250B1 (en) * 1999-08-09 2002-10-15 Hughes Electronics Corporation System for electronically-mediated collaboration including eye-contact collaboratory
US20040193722A1 (en) * 1999-08-30 2004-09-30 Donovan Kevin Remington Joseph Bartholomew Universal instant messaging system for the internet
US6559863B1 (en) * 2000-02-11 2003-05-06 International Business Machines Corporation System and methodology for video conferencing and internet chatting in a cocktail party style
US20120105740A1 (en) 2000-06-02 2012-05-03 Oakley, Inc. Eyewear with detachable adjustable electronics module
US7461936B2 (en) 2000-06-02 2008-12-09 Oakley, Inc. Eyeglasses with detachable adjustable electronics module
US7150526B2 (en) * 2000-06-02 2006-12-19 Oakley, Inc. Wireless interactive headset
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7522734B2 (en) * 2000-10-10 2009-04-21 The Board Of Trustees Of The Leland Stanford Junior University Distributed acoustic reverberation for audio collaboration
GB2374506B (en) * 2001-01-29 2004-11-17 Hewlett Packard Co Audio user interface with cylindrical audio field organisation
US20030227476A1 (en) * 2001-01-29 2003-12-11 Lawrence Wilcock Distinguishing real-world sounds from audio user interface sounds
GB2374507B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface with audio cursor
GB2374502B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Distinguishing real-world sounds from audio user interface sounds
GB0127776D0 (en) * 2001-11-20 2002-01-09 Hewlett Packard Co Audio user interface with multiple audio sub-fields
GB2376123B (en) * 2001-01-29 2004-06-30 Hewlett Packard Co Facilitation of speech recognition in user interface
GB2372923B (en) * 2001-01-29 2005-05-25 Hewlett Packard Co Audio user interface with selective audio field expansion
US7184559B2 (en) * 2001-02-23 2007-02-27 Hewlett-Packard Development Company, L.P. System and method for audio telepresence
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
AUPR989802A0 (en) 2002-01-09 2002-01-31 Lake Technology Limited Interactive spatialized audiovisual system
US7532732B2 (en) * 2002-06-28 2009-05-12 Intel Corporation Method and apparatus for VoIP telephony call announcement
CA2494661A1 (en) * 2002-07-26 2004-02-05 Oakley, Inc. Wireless interactive headset
GB2415071B (en) * 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
GB2392284B (en) * 2002-08-06 2005-11-16 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
US7509321B2 (en) * 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
US7117453B2 (en) * 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
US7383497B2 (en) * 2003-01-21 2008-06-03 Microsoft Corporation Random access editing of media
US7904797B2 (en) * 2003-01-21 2011-03-08 Microsoft Corporation Rapid media group annotation
US7617094B2 (en) 2003-02-28 2009-11-10 Palo Alto Research Center Incorporated Methods, apparatus, and products for identifying a conversation
US7698141B2 (en) 2003-02-28 2010-04-13 Palo Alto Research Center Incorporated Methods, apparatus, and products for automatically managing conversational floors in computer-mediated communications
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム
US7213206B2 (en) * 2003-09-09 2007-05-01 Fogg Brian J Relationship user interface
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
JP2005326987A (ja) * 2004-05-13 2005-11-24 Sony Corp オーディオ信号伝送システム、オーディオ信号伝送方法、サーバー、ネットワーク端末装置、プログラム及び記録媒体
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
USD523442S1 (en) * 2004-05-27 2006-06-20 Sony Computer Entertainment Inc. Computer generated image for a display panel or screen
US8687820B2 (en) * 2004-06-30 2014-04-01 Polycom, Inc. Stereo microphone processing for teleconferencing
JP2006025281A (ja) * 2004-07-09 2006-01-26 Hitachi Ltd 情報源選択システム、および方法
US7720212B1 (en) 2004-07-29 2010-05-18 Hewlett-Packard Development Company, L.P. Spatial audio conferencing system
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
WO2006060279A1 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
US7761304B2 (en) 2004-11-30 2010-07-20 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
US7627599B2 (en) * 2005-05-20 2009-12-01 Palo Alto Research Center Incorporated Method, apparatus, and program product for visualizing tree structured information
US7822607B2 (en) * 2005-08-26 2010-10-26 Palo Alto Research Center Incorporated Computer application environment and communication system employing automatic identification of human conversational behavior
US7397060B2 (en) * 2005-11-14 2008-07-08 Macronix International Co., Ltd. Pipe shaped phase change memory
US7593354B2 (en) * 2006-03-22 2009-09-22 Musigy Usa, Inc. Method and system for low latency high quality music conferencing
US8533630B2 (en) * 2006-09-05 2013-09-10 Intel Corporation Method and apparatus for controlling an array of input/output devices
US20080094885A1 (en) * 2006-10-24 2008-04-24 Macronix International Co., Ltd. Bistable Resistance Random Access Memory Structures with Multiple Memory Layers and Multilevel Memory States
WO2008076774A2 (en) 2006-12-14 2008-06-26 Oakley, Inc. Wearable high resolution audio visual interface
US20080252637A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
US20080253547A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Audio control for teleconferencing
US20080256452A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Control of an object in a virtual representation by an audio-only device
EP2009891B1 (fr) * 2007-06-26 2019-01-16 Orange Transmission de signal audio dans un système de conférence audio immersive
USD607003S1 (en) 2007-09-04 2009-12-29 Apple Inc. Graphical user interface for a display screen or portion thereof
US7844724B2 (en) * 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US7769806B2 (en) * 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
DE102007052154A1 (de) * 2007-10-31 2009-05-07 Robert Bosch Gmbh Audiomodul zur akustischen Überwachung eines Überwachungsbereichs, Überwachungssystem für den Überwachungsbereich, Verfahren zur Erzeugung einer Klangumgebung sowie Computerprogramm
US9602295B1 (en) 2007-11-09 2017-03-21 Avaya Inc. Audio conferencing server for the internet
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US8351589B2 (en) * 2009-06-16 2013-01-08 Microsoft Corporation Spatial audio for audio conferencing
US8363810B2 (en) * 2009-09-08 2013-01-29 Avaya Inc. Method and system for aurally positioning voice signals in a contact center environment
US8144633B2 (en) * 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US8547880B2 (en) * 2009-09-30 2013-10-01 Avaya Inc. Method and system for replaying a portion of a multi-party audio interaction
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
CN101877643B (zh) * 2010-06-29 2014-12-10 中兴通讯股份有限公司 多点混音远景呈现方法、装置及系统
US8744065B2 (en) 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
USD668263S1 (en) * 2010-10-08 2012-10-02 Apple Inc. Display screen or portion thereof with icon
US11120818B2 (en) 2010-11-12 2021-09-14 Nokia Technologies Oy Processing audio with a visual representation of an audio source
US9736312B2 (en) 2010-11-17 2017-08-15 Avaya Inc. Method and system for controlling audio signals in multiple concurrent conference calls
US9801570B2 (en) 2011-06-22 2017-10-31 Massachusetts Eye & Ear Infirmary Auditory stimulus for auditory rehabilitation
EP2815266B1 (en) 2012-02-17 2020-08-19 Oakley, Inc. Systems and methods for removably coupling an electronic device to eyewear
AU345903S (en) * 2012-03-05 2012-12-05 Apple Inc Display screen for an electronic device
US20140215332A1 (en) * 2013-01-31 2014-07-31 Hewlett-Packard Development Company, Lp Virtual microphone selection corresponding to a set of audio source devices
WO2014149631A2 (en) 2013-03-15 2014-09-25 Oakley, Inc. Electronic ornamentation for eyewear
USD755843S1 (en) 2013-06-10 2016-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
CN205691887U (zh) 2013-06-12 2016-11-16 奥克利有限公司 模块化通信系统和眼镜通信系统
US10219094B2 (en) * 2013-07-30 2019-02-26 Thomas Alan Donaldson Acoustic detection of audio sources to facilitate reproduction of spatial audio spaces
US20150189457A1 (en) * 2013-12-30 2015-07-02 Aliphcom Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
US10587978B2 (en) 2016-06-03 2020-03-10 Nureva, Inc. Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
WO2017210785A1 (en) * 2016-06-06 2017-12-14 Nureva Inc. Method, apparatus and computer-readable media for touch and speech interface with audio location
EP3465392B1 (en) 2016-06-06 2021-02-17 Nureva Inc. Time-correlated touch and speech command input
WO2019066782A1 (en) * 2017-09-26 2019-04-04 Hewlett-Packard Development Company, L.P. IDENTIFICATIONS OF PARTICIPANTS IN A TELEPHONE CONFERENCE
US10674266B2 (en) 2017-12-15 2020-06-02 Boomcloud 360, Inc. Subband spatial processing and crosstalk processing system for conferencing
US10154364B1 (en) 2018-09-09 2018-12-11 Philip Scott Lyren Moving an emoji to move a location of binaural sound
US10499179B1 (en) 2019-01-01 2019-12-03 Philip Scott Lyren Displaying emojis for binaural sound
US11252490B2 (en) 2019-08-21 2022-02-15 Haier Us Appliance Solutions, Inc. Appliance suite equipped with a synced sound system
US11533578B2 (en) * 2021-02-25 2022-12-20 Microsoft Technology Licensing, Llc Virtual environment audio stream delivery

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4516156A (en) * 1982-03-15 1985-05-07 Satellite Business Systems Teleconferencing method and system
US4645872A (en) * 1982-04-01 1987-02-24 John Hopkins University Videophone network system
US4516165A (en) * 1982-12-27 1985-05-07 International Business Machines Corporation Error recovery procedure using selective erasure
US4734934A (en) * 1986-11-24 1988-03-29 Gte Laboratories Incorporated Binaural teleconferencing system
US4953159A (en) * 1989-01-03 1990-08-28 American Telephone And Telegraph Company Audiographics conferencing arrangement
US5020098A (en) * 1989-11-03 1991-05-28 At&T Bell Laboratories Telephone conferencing arrangement
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor

Also Published As

Publication number Publication date
AU2064897A (en) 1997-09-22
WO1997033450A1 (en) 1997-09-12
KR100436362B1 (ko) 2004-07-16
JP2001503165A (ja) 2001-03-06
US5889843A (en) 1999-03-30
EP0879545A1 (en) 1998-11-25
KR19990087511A (ko) 1999-12-27

Similar Documents

Publication Publication Date Title
JP3321178B2 (ja) 音声会議システム中に空間音声環境を作る装置と方法
Härmä et al. Augmented reality audio for mobile and wearable appliances
US10694313B2 (en) Audio communication system and method
CN110337318B (zh) 混合现实装置中的虚拟和真实对象记录
US8160265B2 (en) Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
JP4546151B2 (ja) 音声コミュニケーション・システム
JP4745375B2 (ja) 対話型立体的オーディオビジュアル・システム
US20150189457A1 (en) Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields
CN108702571A (zh) 音频通信系统和方法
JP2008543143A (ja) 音響変換器のアセンブリ、システムおよび方法
CN110035250A (zh) 音频处理方法、处理设备、终端及计算机可读存储介质
JP2008543144A (ja) 音響信号用装置、システム、方法
JP7070910B2 (ja) テレビ会議システム
Cohen et al. Spatial soundscape superposition and multimodal interaction
WO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
US20230370801A1 (en) Information processing device, information processing terminal, information processing method, and program
JP7472091B2 (ja) オンライン通話管理装置及びオンライン通話管理プログラム
WO2022054900A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
Aoki et al. Design and control of shared conferencing environments for audio telecommunication using individually measured HRTFs
JP2006094315A (ja) 立体音響再生システム
CN117083882A (zh) 信息处理装置、信息处理方法和程序
Cohen et al. Cyberspatial audio technology
JPH07264700A (ja) 音像定位装置
WO2022054603A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
Cohen et al. Spatial soundscape superposition, Part II: Signals and systems

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080621

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090621

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130621

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees