JP3027793B2 - 仮想空間共有装置 - Google Patents
仮想空間共有装置Info
- Publication number
- JP3027793B2 JP3027793B2 JP6182058A JP18205894A JP3027793B2 JP 3027793 B2 JP3027793 B2 JP 3027793B2 JP 6182058 A JP6182058 A JP 6182058A JP 18205894 A JP18205894 A JP 18205894A JP 3027793 B2 JP3027793 B2 JP 3027793B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- voice
- users
- alter ego
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【産業上の利用分野】本発明は，利用者が自分の意思で
自由に移動できるような３次元仮想空間と，その仮想空
間内に他の利用者の分身とを表現できる端末を複数台，
通信網を介して接続し，利用者の音声と，仮想空間内の
位置情報とを他の装置に分配することによって，複数の
利用者が同一の仮想空間を遠隔地で共有し，各利用者に
他の利用者の音声がミキシングされて聴取できる仮想空
間共有装置に関するものである。
自由に移動できるような３次元仮想空間と，その仮想空
間内に他の利用者の分身とを表現できる端末を複数台，
通信網を介して接続し，利用者の音声と，仮想空間内の
位置情報とを他の装置に分配することによって，複数の
利用者が同一の仮想空間を遠隔地で共有し，各利用者に
他の利用者の音声がミキシングされて聴取できる仮想空
間共有装置に関するものである。
【０００２】
【従来の技術】一般に複数の装置間で音声を相互に送り
あう場合，２つの方式がある。 (1) 分散接続方式 装置間を論理的または物理的にメッシュ接続する方式で
ある。各装置は自分の音声を接続装置に同報し，各装置
で接続装置から受信した音声をミキシングする。この分
散接続型トポロジを図９に示す。各装置は他のすべての
装置からの音声を受信するので，任意に相手の音圧レベ
ルを設定してミキシングすることができる。しかし，相
手の映像を装置のモニタに表示する際の表示位置に基づ
いて相手の音声を左右どちらのスピーカに出力するかを
制御する方式や，特定の相手の声だけ小さく出力するよ
う制御する方式は提案されているが，相手の分身の位置
情報によって音声品質を制御する方式はない。
あう場合，２つの方式がある。 (1) 分散接続方式 装置間を論理的または物理的にメッシュ接続する方式で
ある。各装置は自分の音声を接続装置に同報し，各装置
で接続装置から受信した音声をミキシングする。この分
散接続型トポロジを図９に示す。各装置は他のすべての
装置からの音声を受信するので，任意に相手の音圧レベ
ルを設定してミキシングすることができる。しかし，相
手の映像を装置のモニタに表示する際の表示位置に基づ
いて相手の音声を左右どちらのスピーカに出力するかを
制御する方式や，特定の相手の声だけ小さく出力するよ
う制御する方式は提案されているが，相手の分身の位置
情報によって音声品質を制御する方式はない。
【０００３】(2) 集中接続方式 音声ミキサを設け，音声ミキサを中心にして各端末を論
理的または物理的にスター接続する方式である。各端末
は自分の音声を音声ミキサに送信し，音声ミキサが受信
した各端末からの音声をミキシングして各端末に分配す
る方式である。集中接続型トポロジを図１０に示す。本
方式では，音声ミキサから端末への情報量が分散方式に
比べて少なくて済むという特長がある。一般のミキサは
すべての端末からの音声を加算すると，端末数が多い場
合には雑音がひどくなるため，受信音圧レベルの高い上
位何人かの音声を優先的に加算するか，先着何人かの音
声を優先的に加算するかのどちらかの制御を行ってお
り，利用者対応に音声品質をダイナミックに変更して加
算するミキサは見当たらない。
理的または物理的にスター接続する方式である。各端末
は自分の音声を音声ミキサに送信し，音声ミキサが受信
した各端末からの音声をミキシングして各端末に分配す
る方式である。集中接続型トポロジを図１０に示す。本
方式では，音声ミキサから端末への情報量が分散方式に
比べて少なくて済むという特長がある。一般のミキサは
すべての端末からの音声を加算すると，端末数が多い場
合には雑音がひどくなるため，受信音圧レベルの高い上
位何人かの音声を優先的に加算するか，先着何人かの音
声を優先的に加算するかのどちらかの制御を行ってお
り，利用者対応に音声品質をダイナミックに変更して加
算するミキサは見当たらない。
【０００４】
【発明が解決しようとする課題】本発明の目的は，分散
接続方式における各装置，または集中接続方式における
音声ミキサ装置において，利用者対応に音声ミキサを有
することにより，利用者毎に最適の音場を提供すること
にある。
接続方式における各装置，または集中接続方式における
音声ミキサ装置において，利用者対応に音声ミキサを有
することにより，利用者毎に最適の音場を提供すること
にある。
【０００５】
【課題を解決するための手段】図１は，本発明の原理ブ
ロック図である。図中の１０は仮想空間共有装置，１は
回線インタフェース部，２は音声・位置情報分配手段，
３，３’，…は音声品質優劣付与手段，４は音声加算手
段を表す。
ロック図である。図中の１０は仮想空間共有装置，１は
回線インタフェース部，２は音声・位置情報分配手段，
３，３’，…は音声品質優劣付与手段，４は音声加算手
段を表す。
【０００６】仮想空間共有装置１０は，利用者が自分の
意思で自由に移動できるような仮想空間とその仮想空間
内に利用者の分身とを表現できる装置を複数台，通信網
を介して接続し，複数の利用者が同一の仮想空間を遠隔
地で共有するための装置である。
意思で自由に移動できるような仮想空間とその仮想空間
内に利用者の分身とを表現できる装置を複数台，通信網
を介して接続し，複数の利用者が同一の仮想空間を遠隔
地で共有するための装置である。
【０００７】音声・位置情報分配手段２は，利用者の音
声と仮想空間内の分身の位置情報および／または視線の
向き情報とを，回線インタフェース部１を経て他の装置
に分配する手段である。音声品質優劣付与手段３，
３’，…は，音声加算手段４でミキシングする他の利用
者の音声品質に優劣を付ける手段である。音声加算手段
４は，利用者対応に他の利用者の音声をミキシングする
手段である。
声と仮想空間内の分身の位置情報および／または視線の
向き情報とを，回線インタフェース部１を経て他の装置
に分配する手段である。音声品質優劣付与手段３，
３’，…は，音声加算手段４でミキシングする他の利用
者の音声品質に優劣を付ける手段である。音声加算手段
４は，利用者対応に他の利用者の音声をミキシングする
手段である。
【０００８】音声品質優劣付与手段３，３’，…は，例
えば以下の情報をもとに他の利用者の音声品質に優劣を
付ける。
えば以下の情報をもとに他の利用者の音声品質に優劣を
付ける。
【０００９】(1) 各利用者の分身の位置情報と視線の向
き情報を用いて，他の利用者が利用者の視野内にいるか
視野外にいるかに応じて音声品質に優劣を付ける。(2) 各利用者の分身の位置情報と視線の向き情報を用い
て，利用者の位置座標と他の利用者の位置座標とを結ぶ
直線と当該利用者の視線とでできる角度の大小に応じて
音声品質に優劣を付ける。
き情報を用いて，他の利用者が利用者の視野内にいるか
視野外にいるかに応じて音声品質に優劣を付ける。(2) 各利用者の分身の位置情報と視線の向き情報を用い
て，利用者の位置座標と他の利用者の位置座標とを結ぶ
直線と当該利用者の視線とでできる角度の大小に応じて
音声品質に優劣を付ける。
【００１０】(3) 各利用者の分身の位置情報と視線の向
き情報を用いて，利用者の位置座標と他の利用者の位置
座標とを結ぶ直線まで両利用者の視線を回転させ，両回
転角の和の大小に応じて音声品質に優劣を付ける。
き情報を用いて，利用者の位置座標と他の利用者の位置
座標とを結ぶ直線まで両利用者の視線を回転させ，両回
転角の和の大小に応じて音声品質に優劣を付ける。
【００１１】(4) 上記(1) 〜(3) のいくつかを組み合わ
せて音声品質に優劣を付ける。
せて音声品質に優劣を付ける。
【００１２】
【作用】本発明では，複数の利用者が共有できる３次元
仮想空間等を対象にしており，仮想空間共有装置１０が
音声ミキサ機能を有する。各利用者は自分の意思で自由
に仮想空間内を移動できるため，自分と相手の位置関係
や顔の向きが常時変化する。この位置情報と視線の向き
情報を利用して自分と相手との距離の遠近や視線の一致
度等に応じて相手の音声品質を変えて聴取することによ
って，移動しても常に自分のまわりの声や音が大きく聞
こえたり，声の聞こえる方向がすぐに分かったり，お互
いの対話意思が通じたりするような現実に近い環境を仮
想空間内で実現することができる。
仮想空間等を対象にしており，仮想空間共有装置１０が
音声ミキサ機能を有する。各利用者は自分の意思で自由
に仮想空間内を移動できるため，自分と相手の位置関係
や顔の向きが常時変化する。この位置情報と視線の向き
情報を利用して自分と相手との距離の遠近や視線の一致
度等に応じて相手の音声品質を変えて聴取することによ
って，移動しても常に自分のまわりの声や音が大きく聞
こえたり，声の聞こえる方向がすぐに分かったり，お互
いの対話意思が通じたりするような現実に近い環境を仮
想空間内で実現することができる。
【００１３】
【実施例】以下，本発明の実施例を図を用いて説明す
る。すべての装置は仮想空間を共有するために，同一の
仮想空間モデルを有し，各利用者は自分の意思で自由に
仮想空間内を移動できる。他の利用者も同じ仮想空間内
を移動できるので，それを認知するため，自分の仮想空
間内に他の利用者の分身を用意し，各利用者は位置情報
（仮想空間内の位置座標）と視線の向きを常時他の装置
に送信する。各装置は受信した他の利用者の位置情報と
視線の向き情報から，仮想空間内の該当位置に当該利用
者の分身を顔の向きを考慮して移動させる。
る。すべての装置は仮想空間を共有するために，同一の
仮想空間モデルを有し，各利用者は自分の意思で自由に
仮想空間内を移動できる。他の利用者も同じ仮想空間内
を移動できるので，それを認知するため，自分の仮想空
間内に他の利用者の分身を用意し，各利用者は位置情報
（仮想空間内の位置座標）と視線の向きを常時他の装置
に送信する。各装置は受信した他の利用者の位置情報と
視線の向き情報から，仮想空間内の該当位置に当該利用
者の分身を顔の向きを考慮して移動させる。
【００１４】図２，図３，図４，図５は仮想空間を上か
ら見た図で，分身ａに着目した場合の音声品質の優劣の
付け方の例を示している。ここでは簡単のため，音圧レ
ベルだけで優劣を付ける例を説明する。
ら見た図で，分身ａに着目した場合の音声品質の優劣の
付け方の例を示している。ここでは簡単のため，音圧レ
ベルだけで優劣を付ける例を説明する。
【００１５】図２の例では，レベルの優劣の付け方とし
て分身ａを中心にした同心円を描き，半径の小さい円に
いる分身によい品質の音声を与える。ここでは５段階の
品質差を設けている。すなわち，最も近い分身ｂの音声
に一番良い品質（損失率０ｄｂ）を与え，次に分身ｃの
音声に二番目によい品質（損失率−１０ｄｂ）を与え
る。以下，分身ｄとｅの音声（損失率−２０ｄｂ），分
身ｆの音声（損失率−３０ｄｂ），分身ｇとｈの音声
（損失率−４０ｄｂ）の順に品質を落としていく。他の
すべての分身についても個々に同様の処理を行う。ここ
では，レベルの優劣の付け方として最も簡単な同心円と
したが，人間の聴覚特性を利用して，同じ距離にいても
自分より前方の人の音声を後方にいる人の音声より品質
を良くするなど，さまざまなバリエーションがある。
て分身ａを中心にした同心円を描き，半径の小さい円に
いる分身によい品質の音声を与える。ここでは５段階の
品質差を設けている。すなわち，最も近い分身ｂの音声
に一番良い品質（損失率０ｄｂ）を与え，次に分身ｃの
音声に二番目によい品質（損失率−１０ｄｂ）を与え
る。以下，分身ｄとｅの音声（損失率−２０ｄｂ），分
身ｆの音声（損失率−３０ｄｂ），分身ｇとｈの音声
（損失率−４０ｄｂ）の順に品質を落としていく。他の
すべての分身についても個々に同様の処理を行う。ここ
では，レベルの優劣の付け方として最も簡単な同心円と
したが，人間の聴覚特性を利用して，同じ距離にいても
自分より前方の人の音声を後方にいる人の音声より品質
を良くするなど，さまざまなバリエーションがある。
【００１６】図３の例では，レベルの優劣の付け方とし
て分身ａの視線の向きから分身ａの視野を求め，視野に
入っている分身からの音声の品質を優先的に向上させ
る。ここでは２段階の品質差を設けている。すなわち，
視野に入っている分身ｂ，ｄ，ｇの音声の音圧レベルを
上げ（損失率０ｄｂ），視野に入っていない分身ｃ，
ｅ，ｆ，ｈの音声の音圧レベルを下げる（損失率−４０
ｄｂ）。同様にして，他のすべての分身についても個々
に同様の処理を行う。ここで，各分身の視野角度はあら
かじめシステムで決めておく。
て分身ａの視線の向きから分身ａの視野を求め，視野に
入っている分身からの音声の品質を優先的に向上させ
る。ここでは２段階の品質差を設けている。すなわち，
視野に入っている分身ｂ，ｄ，ｇの音声の音圧レベルを
上げ（損失率０ｄｂ），視野に入っていない分身ｃ，
ｅ，ｆ，ｈの音声の音圧レベルを下げる（損失率−４０
ｄｂ）。同様にして，他のすべての分身についても個々
に同様の処理を行う。ここで，各分身の視野角度はあら
かじめシステムで決めておく。
【００１７】図４の例では，分身ａと他の分身との間を
直線で結び，当該直線と分身ａの視線となす角θを求め
る。この角度が小さい分身からの音声の品質を優先的に
向上させる。ここでは５段階の品質差を設けている。す
なわち，分身ａの視線上にいる分身ｄ（θ＝０）の音声
の音圧レベルを上げ（損失率０ｄｂ），以下，−４５度
≦θ≦４５度の分身ｇ，ｅには損失率−１０ｄｂ，−９
０度≦θ＜−４５度または４５度＜θ≦９０度の分身
ｃ，ｆには損失率−２０ｄｂ，−１３５度≦θ＜−９０
度または９０度＜θ≦１３５度の分身ｉには損失率−３
０ｄｂ，−１８０度≦θ＜−１３５度または１３５度＜
θ≦１８０度の分身ｈには損失率−４０ｄｂとする。他
のすべての分身についても個々に同様の処理を行う。
直線で結び，当該直線と分身ａの視線となす角θを求め
る。この角度が小さい分身からの音声の品質を優先的に
向上させる。ここでは５段階の品質差を設けている。す
なわち，分身ａの視線上にいる分身ｄ（θ＝０）の音声
の音圧レベルを上げ（損失率０ｄｂ），以下，−４５度
≦θ≦４５度の分身ｇ，ｅには損失率−１０ｄｂ，−９
０度≦θ＜−４５度または４５度＜θ≦９０度の分身
ｃ，ｆには損失率−２０ｄｂ，−１３５度≦θ＜−９０
度または９０度＜θ≦１３５度の分身ｉには損失率−３
０ｄｂ，−１８０度≦θ＜−１３５度または１３５度＜
θ≦１８０度の分身ｈには損失率−４０ｄｂとする。他
のすべての分身についても個々に同様の処理を行う。
【００１８】図５の例では，分身ａと他の分身との間を
直線で結び，分身ａの視線を当該直線に一致するまで回
転させ，回転角αを求める。回転の方向はαが小さくな
る方向とする。同様に，他の分身の視線を当該直線に一
致するまで回転させ，回転角βを求める。回転の方向は
βが小さくなる方向とする。次に，両回転角の和α＋β
＝θを求める。この角度が小さい分身によい品質の音声
を与える。ここでは５段階の品質差を設けている。すな
わち，分身ａの視線の向きが対向（一致）している分身
ｄ（θ＝０度）の音声の音圧レベルを上げ，以下，０度
＜θ≦４５度の分身ｃには損失率−１０ｄｂ，４５度＜
θ≦９０度の分身ｅには損失率−２０ｄｂ，９０度＜θ
≦１３５度の分身ｆには損失率−３０ｄｂ，１３５度＜
θ≦１８０度の分身ｂには損失率−４０ｄｂとする。他
のすべての分身についても個々に同様の処理を行う。
直線で結び，分身ａの視線を当該直線に一致するまで回
転させ，回転角αを求める。回転の方向はαが小さくな
る方向とする。同様に，他の分身の視線を当該直線に一
致するまで回転させ，回転角βを求める。回転の方向は
βが小さくなる方向とする。次に，両回転角の和α＋β
＝θを求める。この角度が小さい分身によい品質の音声
を与える。ここでは５段階の品質差を設けている。すな
わち，分身ａの視線の向きが対向（一致）している分身
ｄ（θ＝０度）の音声の音圧レベルを上げ，以下，０度
＜θ≦４５度の分身ｃには損失率−１０ｄｂ，４５度＜
θ≦９０度の分身ｅには損失率−２０ｄｂ，９０度＜θ
≦１３５度の分身ｆには損失率−３０ｄｂ，１３５度＜
θ≦１８０度の分身ｂには損失率−４０ｄｂとする。他
のすべての分身についても個々に同様の処理を行う。
【００１９】損失率を決める図２，図３，図４，図５の
各処理は単独で実現しても良いし，組み合わせて実現し
ても良い。例えば，図２と図３と図５を組み合わせる
と，自分の視界の中にいる相手のうち，自分との距離が
近い相手ほど，また，こちらを向いている相手ほど大き
な声で聴取できる装置を実現できる。
各処理は単独で実現しても良いし，組み合わせて実現し
ても良い。例えば，図２と図３と図５を組み合わせる
と，自分の視界の中にいる相手のうち，自分との距離が
近い相手ほど，また，こちらを向いている相手ほど大き
な声で聴取できる装置を実現できる。
【００２０】図６は集中接続方式における仮想空間共有
装置の構成例を示している。簡単のため，仮想空間共有
装置が３台の端末を収容する場合について示している。
図６において，１０は仮想空間共有装置，１１〜１３は
回線インタフェース部，１４は位置情報分配部，１５〜
１７は損失決定部，１８〜２０は音声加算部，２１〜２
６は損失挿入部，３０〜３２は受信音声転送用内部バ
ス，３３〜３５は受信位置情報転送用内部バス，３６〜
３８は送信音声転送用内部バス，３９〜４１は送信位置
情報転送用内部バス，４２〜４７は挿入損失通知用内部
バス，５１〜５６は損失挿入後音声転送用内部バス，６
０〜６２は通信回線を表す。
装置の構成例を示している。簡単のため，仮想空間共有
装置が３台の端末を収容する場合について示している。
図６において，１０は仮想空間共有装置，１１〜１３は
回線インタフェース部，１４は位置情報分配部，１５〜
１７は損失決定部，１８〜２０は音声加算部，２１〜２
６は損失挿入部，３０〜３２は受信音声転送用内部バ
ス，３３〜３５は受信位置情報転送用内部バス，３６〜
３８は送信音声転送用内部バス，３９〜４１は送信位置
情報転送用内部バス，４２〜４７は挿入損失通知用内部
バス，５１〜５６は損失挿入後音声転送用内部バス，６
０〜６２は通信回線を表す。
【００２１】仮想空間共有装置１０は，端末とは例えば
ＩＳＤＮ（ＩＮＳ６４等），回線６０，６１，６２を介
して音声と位置情報の送受信を行う。まず，回線６０，
６１，６２から受信したデータは，それぞれ回線インタ
フェース部１１，１２，１３で受信する。回線インタフ
ェース部１１は，受信したデータを解析し，音声であれ
ば，内部バス３０を介して音声を損失挿入部２４，２６
へ転送する。同様に，回線インタフェース部１２は，受
信したデータを解析し，音声であれば，内部バス３１を
介して音声を損失挿入部２２，２５へ転送する。同様
に，回線インタフェース部１３は，受信したデータを解
析し，音声であれば，内部バス３２を介して音声を損失
挿入部２１，２３へ転送する。
ＩＳＤＮ（ＩＮＳ６４等），回線６０，６１，６２を介
して音声と位置情報の送受信を行う。まず，回線６０，
６１，６２から受信したデータは，それぞれ回線インタ
フェース部１１，１２，１３で受信する。回線インタフ
ェース部１１は，受信したデータを解析し，音声であれ
ば，内部バス３０を介して音声を損失挿入部２４，２６
へ転送する。同様に，回線インタフェース部１２は，受
信したデータを解析し，音声であれば，内部バス３１を
介して音声を損失挿入部２２，２５へ転送する。同様
に，回線インタフェース部１３は，受信したデータを解
析し，音声であれば，内部バス３２を介して音声を損失
挿入部２１，２３へ転送する。
【００２２】回線インタフェース部１１，１２，１３
は，受信したデータが位置情報と視線の向き情報であれ
ば，内部バス３３，３４，３５を介して位置情報と視線
の向き情報を位置情報分配部１４および損失決定部１
５，１６，１７へ転送する。
は，受信したデータが位置情報と視線の向き情報であれ
ば，内部バス３３，３４，３５を介して位置情報と視線
の向き情報を位置情報分配部１４および損失決定部１
５，１６，１７へ転送する。
【００２３】位置情報分配部１４は，内部バス３３から
受けた位置情報をコピーして内部バス４０，４１を介し
て回線インタフェース部１２，１３へ転送する。また，
位置情報分配部１４は，内部バス３４から受けた位置情
報をコピーして内部バス３９，４１を介して回線インタ
フェース部１１，１３へ転送する。また，位置情報分配
部１４は，内部バス３５から受けた位置情報をコピーし
て内部バス３９，４０を介して回線インタフェース部１
１，１２へ転送する。
受けた位置情報をコピーして内部バス４０，４１を介し
て回線インタフェース部１２，１３へ転送する。また，
位置情報分配部１４は，内部バス３４から受けた位置情
報をコピーして内部バス３９，４１を介して回線インタ
フェース部１１，１３へ転送する。また，位置情報分配
部１４は，内部バス３５から受けた位置情報をコピーし
て内部バス３９，４０を介して回線インタフェース部１
１，１２へ転送する。
【００２４】損失決定部１５は内部バス３３，３４，３
５を介して受けた位置情報と視線の向き情報から，回線
インタフェース部１１が収容している端末の利用者に与
えるべき他の利用者の音声の損失率を，図２，図３，図
４，図５で説明した処理に従って計算する。この損失率
に基づいて，損失決定部１５は，内部バス４３，４２を
介して，回線インタフェース部１２，１３が収容してい
る端末の利用者に対応する損失挿入部２２，２１に対
し，損失挿入の指示を出す。同様に，損失決定部１６は
内部バス４５，４４を介して，回線インタフェース部１
１，１３が収容している端末の利用者に対応する損失挿
入部２４，２３に対し，損失挿入の指示を出す。同様
に，損失決定部１７は内部バス４７，４６を介して，回
線インタフェース部１１，１２が収容している端末の利
用者に対応する損失挿入部２６，２５に対し，損失挿入
の指示を出す。
５を介して受けた位置情報と視線の向き情報から，回線
インタフェース部１１が収容している端末の利用者に与
えるべき他の利用者の音声の損失率を，図２，図３，図
４，図５で説明した処理に従って計算する。この損失率
に基づいて，損失決定部１５は，内部バス４３，４２を
介して，回線インタフェース部１２，１３が収容してい
る端末の利用者に対応する損失挿入部２２，２１に対
し，損失挿入の指示を出す。同様に，損失決定部１６は
内部バス４５，４４を介して，回線インタフェース部１
１，１３が収容している端末の利用者に対応する損失挿
入部２４，２３に対し，損失挿入の指示を出す。同様
に，損失決定部１７は内部バス４７，４６を介して，回
線インタフェース部１１，１２が収容している端末の利
用者に対応する損失挿入部２６，２５に対し，損失挿入
の指示を出す。
【００２５】音声加算部１８は，内部バス５１，５２を
介して損失を挿入済みの音声を加算し，内部バス３６を
介して回線インタフェース部１１に転送する。回線イン
タフェース部１１は，回線６０を介して端末に送信す
る。また，音声加算部１９は，内部バス５３，５４を介
して損失を挿入済みの音声を加算し，内部バス３７を介
して回線インタフェース部１２に転送する。回線インタ
フェース部１２は，回線６１を介して端末に送信する。
また，音声加算部２０は，内部バス５５，５６を介して
損失を挿入済みの音声を加算し，内部バス３８を介して
回線インタフェース部１３に転送する。回線インタフェ
ース部１３は，回線６２を介して端末に送信する。
介して損失を挿入済みの音声を加算し，内部バス３６を
介して回線インタフェース部１１に転送する。回線イン
タフェース部１１は，回線６０を介して端末に送信す
る。また，音声加算部１９は，内部バス５３，５４を介
して損失を挿入済みの音声を加算し，内部バス３７を介
して回線インタフェース部１２に転送する。回線インタ
フェース部１２は，回線６１を介して端末に送信する。
また，音声加算部２０は，内部バス５５，５６を介して
損失を挿入済みの音声を加算し，内部バス３８を介して
回線インタフェース部１３に転送する。回線インタフェ
ース部１３は，回線６２を介して端末に送信する。
【００２６】図７は，図６に示す集中型仮想空間共有装
置に接続する端末の構成例を示している。図中，７０は
端末，７１は回線インタフェース部，７２はキーボード
やマウス等の操作器，７３は操作器インタフェース部，
７４は仮想空間モデル視点移動処理部，７５は他分身移
動処理部，７６はディスプレイ等の仮想空間表示部，７
７は音声出力用のスピーカ，７８は音声入力用のマイク
を表す。
置に接続する端末の構成例を示している。図中，７０は
端末，７１は回線インタフェース部，７２はキーボード
やマウス等の操作器，７３は操作器インタフェース部，
７４は仮想空間モデル視点移動処理部，７５は他分身移
動処理部，７６はディスプレイ等の仮想空間表示部，７
７は音声出力用のスピーカ，７８は音声入力用のマイク
を表す。
【００２７】端末７０の回線インタフェース部７１は，
通信網を介して図６に示す仮想空間共有装置１０に接続
される。操作器７２の操作によって３次元仮想空間にお
ける利用者の位置や視線の向きを変えることができるよ
うになっている。例えば，操作器７２としてマウスを用
いる場合，マウスボタンを押した状態でマウスを回転さ
せると，視線の向きが変えられたとみなされる。なお，
このような操作器７２の代わりに，移動や視線の向きを
検知するセンサ等を用いることもできる。操作器インタ
フェース部７３は，操作器７２から入力した利用者の分
身の位置情報や視線の向き情報を，回線インタフェース
部７１および通信網を介して仮想空間共有装置１０へ送
る。また，仮想空間モデル視点移動処理部７４にも同様
の情報を送る。
通信網を介して図６に示す仮想空間共有装置１０に接続
される。操作器７２の操作によって３次元仮想空間にお
ける利用者の位置や視線の向きを変えることができるよ
うになっている。例えば，操作器７２としてマウスを用
いる場合，マウスボタンを押した状態でマウスを回転さ
せると，視線の向きが変えられたとみなされる。なお，
このような操作器７２の代わりに，移動や視線の向きを
検知するセンサ等を用いることもできる。操作器インタ
フェース部７３は，操作器７２から入力した利用者の分
身の位置情報や視線の向き情報を，回線インタフェース
部７１および通信網を介して仮想空間共有装置１０へ送
る。また，仮想空間モデル視点移動処理部７４にも同様
の情報を送る。
【００２８】仮想空間モデル視点移動処理部７４は，操
作器インタフェース部７３から送られた利用者の分身の
位置情報や視線の向き情報に基づいて，仮想空間におけ
る視点を移動させ，視野に入る映像を仮想空間表示部７
６に表示する。なお，この表示方法については，本発明
の要旨ではないので詳しい説明を省略する。他分身移動
処理部７５は，回線インタフェース部７１を介して仮想
空間共有装置１０から受信した他の利用者の分身の位置
情報および視線の向き情報により，他の利用者の分身を
仮想空間内で移動させ，仮想空間表示部７６に表示す
る。
作器インタフェース部７３から送られた利用者の分身の
位置情報や視線の向き情報に基づいて，仮想空間におけ
る視点を移動させ，視野に入る映像を仮想空間表示部７
６に表示する。なお，この表示方法については，本発明
の要旨ではないので詳しい説明を省略する。他分身移動
処理部７５は，回線インタフェース部７１を介して仮想
空間共有装置１０から受信した他の利用者の分身の位置
情報および視線の向き情報により，他の利用者の分身を
仮想空間内で移動させ，仮想空間表示部７６に表示す
る。
【００２９】回線インタフェース部７１で受信した音声
は，スピーカ７７に出力される。また，マイク７８から
入力した当該利用者の音声は，回線インタフェース部７
１を介して，仮想空間共有装置１０へ送信される。
は，スピーカ７７に出力される。また，マイク７８から
入力した当該利用者の音声は，回線インタフェース部７
１を介して，仮想空間共有装置１０へ送信される。
【００３０】図６および図７は，集中接続方式を採用す
る場合の構成例であったが，分散接続方式の場合にも原
理は同様である。図８に分散型仮想空間共有装置の構成
例を示す。図８に示す構成例は，相手端末数が３の場合
の例である。図８において，１００は仮想空間共有装置
（端末），１１０は回線インタフェース部，１１１はパ
ケット組立・分解部，１２０は操作器，１２１は操作器
インタフェース部，１３０は損失決定部，１４１，１４
２，１４３は損失挿入部，１５０は音声加算部，１６０
は他分身移動処理部，１６１は仮想空間モデル視点移動
処理部，１７０はディスプレイ等の仮想空間表示部，１
８０は音声出力用のスピーカ，１９０は音声入力用のマ
イクを表す。
る場合の構成例であったが，分散接続方式の場合にも原
理は同様である。図８に分散型仮想空間共有装置の構成
例を示す。図８に示す構成例は，相手端末数が３の場合
の例である。図８において，１００は仮想空間共有装置
（端末），１１０は回線インタフェース部，１１１はパ
ケット組立・分解部，１２０は操作器，１２１は操作器
インタフェース部，１３０は損失決定部，１４１，１４
２，１４３は損失挿入部，１５０は音声加算部，１６０
は他分身移動処理部，１６１は仮想空間モデル視点移動
処理部，１７０はディスプレイ等の仮想空間表示部，１
８０は音声出力用のスピーカ，１９０は音声入力用のマ
イクを表す。
【００３１】集中接続方式の場合には，図７に示す各端
末７０が，図６に示す仮想空間共有装置１０との間で位
置情報や音声情報の送受信を行い，仮想空間共有装置１
０内で各利用者対応の音声ミキシングを行うのに対し，
図８に示す分散接続方式の場合には，各利用者の端末で
ある仮想空間共有装置１００内で，他の利用者から送ら
れてきた音声・位置情報により音声品質の優劣を付け，
他の利用者の音声に損失挿入部１４１，１４２，１４３
で損失を与えた後，音声加算部１５０でミキシングして
スピーカ１８０に出力する。基本的な原理や動作等につ
いては，前述した例と同様である。
末７０が，図６に示す仮想空間共有装置１０との間で位
置情報や音声情報の送受信を行い，仮想空間共有装置１
０内で各利用者対応の音声ミキシングを行うのに対し，
図８に示す分散接続方式の場合には，各利用者の端末で
ある仮想空間共有装置１００内で，他の利用者から送ら
れてきた音声・位置情報により音声品質の優劣を付け，
他の利用者の音声に損失挿入部１４１，１４２，１４３
で損失を与えた後，音声加算部１５０でミキシングして
スピーカ１８０に出力する。基本的な原理や動作等につ
いては，前述した例と同様である。
【００３２】
【発明の効果】以上説明したように，本発明によれば，
仮想空間共有装置において，他の装置から受信する利用
者の音声をミキシングする時に，音声と同時に受信する
各利用者の分身の位置情報と視線の向き情報を利用して
自分と他の利用者との距離の遠近や視線の一致度等に応
じて他の利用者の音声品質を変えることによって，移動
しても常に自分のまわりの声や音が大きく聞こえたり，
声の聞こえる方向がすぐに分かったり，お互いの対話意
思が通じたりするような現実に近い環境を仮想空間内で
実現することができる。
仮想空間共有装置において，他の装置から受信する利用
者の音声をミキシングする時に，音声と同時に受信する
各利用者の分身の位置情報と視線の向き情報を利用して
自分と他の利用者との距離の遠近や視線の一致度等に応
じて他の利用者の音声品質を変えることによって，移動
しても常に自分のまわりの声や音が大きく聞こえたり，
声の聞こえる方向がすぐに分かったり，お互いの対話意
思が通じたりするような現実に近い環境を仮想空間内で
実現することができる。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】距離の遠近による利用者間優先度付けの例を示
す図である。
す図である。
【図３】視野の内外による利用者間優先度付けの例を示
す図である。
す図である。
【図４】視線の向きによる利用者間優先度付けの例を示
す図である。
す図である。
【図５】視線の一致度による利用者間優先度付けの例を
示す図である。
示す図である。
【図６】集中型仮想空間共有装置の構成例を示す図であ
る。
る。
【図７】集中型仮想空間共有装置に接続する端末の構成
例を示す図である。
例を示す図である。
【図８】分散型仮想空間共有装置の構成例を示す図であ
る。
る。
【図９】分散接続方式による装置接続トポロジの例を示
す図である。
す図である。
【図１０】集中接続方式による装置接続トポロジの例を
示す図である。
示す図である。
１０ 仮想空間共有装置 １ 回線インタフェース部 ２ 音声・位置情報分配手段 ３，３’，… 音声品質優劣付与手段 ４ 音声加算手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04M 3/56
Claims (3)
- 【請求項１】 利用者が自分の意思で自由に移動でき，
かつ視線の向きを変えることができるような仮想空間と
当該仮想空間内に利用者の分身とを表現できる装置を複
数台，通信網を介して接続し，複数の利用者が同一の仮
想空間を遠隔地で共有することを支援する仮想空間共有
装置において， 利用者の音声と仮想空間内の分身の位置情報と利用者の
視線の向き情報とを他の装置に分配する音声・位置情報
分配手段と， 利用者対応に他の利用者の音声をミキシングする音声加
算手段と， 各利用者の分身の位置情報と視線の向き情報を用いて，
他の利用者が利用者の視野内にいるか視野外にいるかに
応じて，前記音声加算手段でミキシングする他の利用者
の音声品質に優劣を付ける音声品質優劣付与手段とを有
することを特徴とする仮想空間共有装置。 - 【請求項２】 利用者が自分の意思で自由に移動でき，
かつ視線の向きを変えることができるような仮想空間と
当該仮想空間内に利用者の分身とを表現できる装置を複
数台，通信網を介して接続し，複数の利用者が同一の仮
想空間を遠隔地で共有することを支援する仮想空間共有
装置において， 利用者の音声と仮想空間内の分身の位置情報と利用者の
視線の向き情報とを他の装置に分配する音声・位置情報
分配手段と， 利用者対応に他の利用者の音声をミキシングする音声加
算手段と， 各利用者の分身の位置情報と視線の向き情報を用いて，
利用者の位置座標と他の利用者の位置座標とを結ぶ直線
と，当該利用者の視線とでできる角度の大小に応じて，
前記音声加算手段でミキシングする他の利用者の音声品
質に優劣を付ける音声品質優劣付与手段とを有すること
を特徴とする仮想空間共有装置。 - 【請求項３】 利用者が自分の意思で自由に移動でき，
かつ視線の向きを変えることができるような仮想空間と
当該仮想空間内に利用者の分身とを表現できる装置を複
数台，通信網を介して接続し，複数の利用者が同一の仮
想空間を遠隔地で共有することを支援する仮想空間共有
装置において， 利用者の音声と仮想空間内の分身の位置情報と利用者の
視線の向き情報とを他の装置に分配する音声・位置情報
分配手段と， 利用者対応に他の利用者の音声をミキシングする音声加
算手段と， 各利用者の分身の位置情報と視線の向き情報を用いて，
利用者の位置座標と他の利用者の位置座標とを結ぶ直線
まで両利用者の視線を回転させ，両回転角の和の大小に
応じて，前記音声加算手段でミキシングする他の利用者
の音声品質に優劣を付ける音声品質優劣付与手段とを有
することを特徴とする仮想空間共有装置。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6182058A JP3027793B2 (ja) | 1994-08-03 | 1994-08-03 | 仮想空間共有装置 |
| US08/509,091 US5736982A (en) | 1994-08-03 | 1995-08-01 | Virtual space apparatus with avatars and speech |
| DE69521369T DE69521369T2 (de) | 1994-08-03 | 1995-08-02 | Anzeigeverfahren für einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens |
| EP99112201A EP0942396B1 (en) | 1994-08-03 | 1995-08-02 | Shared virtual space display method and apparatus using said method |
| DE69531009T DE69531009T2 (de) | 1994-08-03 | 1995-08-02 | Anzeigeverfahren für einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens |
| DE69525551T DE69525551T2 (de) | 1994-08-03 | 1995-08-02 | Anzeigeverfahren fur einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens |
| CA002155254A CA2155254C (en) | 1994-08-03 | 1995-08-02 | Virtual space display method and virtual space sharing apparatus using the same |
| EP95112163A EP0696018B1 (en) | 1994-08-03 | 1995-08-02 | Shared virtual space display method and apparatus using said method |
| EP99112202A EP0942397B1 (en) | 1994-08-03 | 1995-08-02 | Shared virtual space display method and apparatus using said method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6182058A JP3027793B2 (ja) | 1994-08-03 | 1994-08-03 | 仮想空間共有装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0846704A JPH0846704A (ja) | 1996-02-16 |
| JP3027793B2 true JP3027793B2 (ja) | 2000-04-04 |
Family
ID=16111614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6182058A Expired - Lifetime JP3027793B2 (ja) | 1994-08-03 | 1994-08-03 | 仮想空間共有装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3027793B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4688267B2 (ja) * | 2000-09-20 | 2011-05-25 | 株式会社バンダイナムコゲームス | ゲーム装置及び情報記憶媒体 |
| JP4529528B2 (ja) * | 2004-04-26 | 2010-08-25 | ヤマハ株式会社 | 音像定位端末 |
| JP2006164212A (ja) | 2004-11-10 | 2006-06-22 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4419073B2 (ja) * | 2004-11-11 | 2010-02-24 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2006230578A (ja) * | 2005-02-23 | 2006-09-07 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
| JP4997022B2 (ja) * | 2007-08-15 | 2012-08-08 | ヤフー株式会社 | 仮想空間提供サーバ及びシステム |
| US9191234B2 (en) | 2009-04-09 | 2015-11-17 | Rpx Clearinghouse Llc | Enhanced communication bridge |
| JP5594152B2 (ja) * | 2011-01-11 | 2014-09-24 | 富士通株式会社 | Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 |
-
1994
- 1994-08-03 JP JP6182058A patent/JP3027793B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0846704A (ja) | 1996-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0942397B1 (en) | Shared virtual space display method and apparatus using said method | |
| US6330022B1 (en) | Digital processing apparatus and method to support video conferencing in variable contexts | |
| US7533346B2 (en) | Interactive spatalized audiovisual system | |
| US20050280701A1 (en) | Method and system for associating positional audio to positional video | |
| CN102469220A (zh) | 用于控制多路并发电话会议中的音频信号的方法和系统 | |
| JP3638146B2 (ja) | テレビ会議システム及びそれに用いる端末、接続制御方法並びに接続制御プログラム | |
| JP3027793B2 (ja) | 仮想空間共有装置 | |
| JP2001016563A (ja) | ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 | |
| JP3452348B2 (ja) | 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体 | |
| JP3139615B2 (ja) | ３次元仮想空間音通信方法とその装置 | |
| JP3019291B2 (ja) | 仮想空間共有装置 | |
| JP2006094315A (ja) | 立体音響再生システム | |
| JPH04238475A (ja) | ハンドセット形テレビ装置とそれを用いたテレビ電話装置 | |
| JP3070719B2 (ja) | 仮想空間共有方法およびこの方法を実施する装置 | |
| JP3296471B2 (ja) | 音場制御方法および装置 | |
| JP2000236330A (ja) | クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置 | |
| JPH09288645A (ja) | 大部屋的仮想オフィスシステム | |
| JP2023155921A (ja) | 情報処理装置、情報処理端末、情報処理方法、およびプログラム | |
| JPH11136369A (ja) | 多地点間接続音声制御装置 | |
| JP3203614B2 (ja) | 画像通信システムにおける仮想共有表示方法 | |
| JPH08125760A (ja) | 情報処理装置 | |
| JP2000244487A (ja) | 多人数参加型仮想空間コミュニケーションシステム | |
| WO2023176389A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
| JPH10285567A (ja) | 通信会議装置 | |
| JP3182736B2 (ja) | 仮想空間表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 13 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |