JP5971316B2 - 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム - Google Patents

情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム Download PDF

Info

Publication number
JP5971316B2
JP5971316B2 JP2014244272A JP2014244272A JP5971316B2 JP 5971316 B2 JP5971316 B2 JP 5971316B2 JP 2014244272 A JP2014244272 A JP 2014244272A JP 2014244272 A JP2014244272 A JP 2014244272A JP 5971316 B2 JP5971316 B2 JP 5971316B2
Authority
JP
Japan
Prior art keywords
user
sound data
information processing
real space
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014244272A
Other languages
English (en)
Other versions
JP2016048534A (ja
Inventor
幸大 鬼丸
幸大 鬼丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2014244272A priority Critical patent/JP5971316B2/ja
Publication of JP2016048534A publication Critical patent/JP2016048534A/ja
Application granted granted Critical
Publication of JP5971316B2 publication Critical patent/JP5971316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術に関し、特に現実空間上の各ユーザの位置に応じて特定される仮想空間上のそれぞれの位置を考慮して、現実空間でユーザが発した音を再生する仕組みにおいて、音を発したユーザと同一の場所に存在するユーザに対しては当該音の再生を制御することの可能な情報処理システム、その制御方法、及びプログラム、並びに情報処理
装置、その制御方法、及びプログラムに関する。
従来、ヘッドマウントディスプレイ（以下、ＨＭＤという。）やスマートフォンで撮影した現実の世界（以下、現実空間という。）の画像に、コンピュータで生成された仮想の世界（以下、仮想空間という。）の画像を重畳させて、ＨＭＤやスマートフォンの画面に表示する技術が存在する。この技術は例えば、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲという。）技術や拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術などである。
このＭＲ技術を用いて、複数の拠点にいるユーザが同一の仮想空間を閲覧する仕組みが考えられている。これは、同一の仮想空間を拠点ごとに用意し、ＭＲ技術を用いて当該仮想空間を同時に閲覧するものである。この仕組みにおいて他拠点のユーザとコミュニケーションを行う場合には、音声チャットや電話会議等の音声通信を用いる。ところが、複数のユーザの音声が他拠点のユーザに対して一斉に送信される場合、この音声を受信したユーザには複数の音声が一斉に再生されることになるので、当該ユーザは再生された音声が誰の音声なのかを聞き分けることが難しいという問題がある。
そこで下記の特許文献１では、ユーザごとの位置を仮想空間上にあらかじめ設定しておき、発話者と他のユーザとの位置関係に応じた聞こえ方で、他のユーザに音声を再生する仕組みが開示されている。更には、誰から誰に話しかけているのかを検出し、話しかけている相手に対しては音量を大きくして再生する。この従来技術によれば、発話した音声を聞き分けることが容易となり、会話の内容を把握しやすくすることができる。
特開２００１−２７４９１２号公報
ところで、ＭＲ技術では、ＨＭＤを装着したユーザが仮想空間を自由に歩き回ることができる。これを実現するためにＭＲ技術では、ＨＭＤを装着したユーザの現実空間における位置及び姿勢を取得し、取得した位置及び姿勢から仮想空間における位置及び姿勢を特定し、特定した位置及び姿勢から見た仮想空間をユーザに提示している。これにより、ユーザは自由な位置から仮想空間を閲覧することができる。これは、複数の拠点の各ユーザがＭＲ技術を用いて同一の仮想空間を閲覧する場合も同様である。
つまり、ＭＲ技術を用いると、仮想空間におけるユーザの位置は現実空間におけるユーザの動作に応じて変化してしまう。そのため、複数の拠点の各ユーザがＭＲ技術を用いて同一の仮想空間を閲覧する場合に特許文献１の仕組みを利用したとしても、あらかじめ設定された仮想空間上のユーザの位置と、仮想空間上の現在のユーザの位置との間にずれが生じてしまう問題がある。
更に、ユーザが現実空間を自由に移動できるということは、特許文献１のように仮想空間上のユーザ間の距離は等間隔ではない。現実空間では発話者との距離に応じて音声の聞こえ方、すなわち音量が変化するはずであるから、どの音声も均一な音量で再生するとユーザに違和感を生じさせてしまう問題もある。
本発明は、現実空間上の各ユーザの位置に応じて特定される仮想空間上のそれぞれの位置を考慮して、現実空間でユーザが発した音を再生する仕組みにおいて、音を発したユーザと同一の場所に存在するユーザに対しては当該音の再生を制御することの可能な仕組みを提供することを目的とする。
上記の目的を達成するために本発明の情報処理システムは、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムであって、ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段と、前記第１のユーザが発した音を示す音データを取得する音データ取得手段と、前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段とを備え、前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを前記第２のユーザに対して再生しないことを特徴とする。
また、本発明の情報処理システムは、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムであって、ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段と、前記第１のユーザが発した音を示す音データを取得する音データ取得手段と、前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段とを備え、前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とする。
本発明によれば、現実空間上の各ユーザの位置に応じて特定される仮想空間上のそれぞれの位置を考慮して、現実空間でユーザが発した音を再生する仕組みにおいて、音を発したユーザと同一の場所に存在するユーザに対しては当該音の再生を制御することが可能となる。
本発明の実施形態における遠隔ＭＲシステムのシステム構成の一例を示す図である。 各拠点に構成されるＭＲシステムのシステム構成の一例を示す図である。 情報処理装置１０１、サーバ装置１０２のハードウェア構成の一例を示す図である。 情報処理装置１０１、サーバ装置１０２の機能構成の一例を示す図である。 遠隔ＭＲシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 情報処理装置１０１が取得したユーザの位置及び姿勢と、ユーザが発した音声とをサーバ装置１０２に送信する処理のフローチャートの一例を示す図である。 位置姿勢音声テーブル７００のテーブル構成の一例を示す図である。 他の拠点の情報処理装置１０１から送信されたユーザの音声の音量を決定する処理のフローチャートの一例を示す図である。 仮想空間上に設定された音源から発した音声の音量が減衰しない範囲と、当該音源と当該音声を聞くユーザとの距離の一例を示す図である。 仮想空間におけるユーザ間の距離や音量を減少させる割合を算出するための式の一例を示す図である。 遠隔ＭＲシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 遠隔ＭＲシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 第２の実施形態における、他の拠点の情報処理装置１０１から送信されたユーザの音声の音量を決定する処理のフローチャートの一例を示す図である。 仮想音源設定処理のフローチャートの一例を示す図である。 発声したユーザの位置及び姿勢に応じて、当該ユーザの前方に音源が設定される場合の一例を示す図である。 音量バランス調整処理のフローチャートの一例を示す図である。 右耳側と左耳側に再生する音声の音量を算出するための式の一例を示す図である。
以下、図面を参照しながら、本発明の実施形態の一例について説明する。
図１は、本発明の実施形態における遠隔ＭＲシステムのシステム構成の一例を示す図である。図１に示す遠隔ＭＲシステムは、ＭＲ技術を用いて、複数の拠点のユーザに同一の仮想空間を閲覧させるシステムである。遠隔ＭＲシステムは、情報処理装置１０１にＨＭＤ１０３とヘッドセット１０４とが相互にデータ通信可能に接続される複数のＭＲシステムと、サーバ装置１０２とを含む。情報処理装置１０１とＨＭＤ１０３との接続は、有線接続であってもよいし、無線接続であってもよい。また、本実施形態では、２つの拠点である拠点Ａ及び拠点ＢにＭＲシステムがそれぞれ構築されている。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。また、拠点間の距離は問わない。本発明のＭＲシステムが異なる場所で動作できればよい。
情報処理装置１０１は、汎用的なコンピュータである。情報処理装置１０１は、ＨＭＤ１０３で撮影（撮像）された現実空間の画像（以下、現実空間画像という。）と、情報処理装置１０１で生成された仮想空間の画像（以下、仮想空間画像という。）とを重畳した画像（以下、複合現実画像という。）を生成し、ＨＭＤ１０３に送信する。尚、ＭＲ技術に関しては従来技術を用いるため、詳細な説明は省略する。また、情報処理装置１０１は、パーソナルコンピュータであってもよいし、サーバのような大型のコンピュータであってもよい。更には、携帯電話やタブレット端末といった携帯端末であってもよい。コンピュータの種類は特に問わない。また、拠点ごとに情報処理装置１０１を設置せず、１台の情報処理装置１０１で処理してもよい。すなわち、１台の情報処理装置１０１が本実施形態における拠点Ａと拠点ＢのＭＲシステムを構築してもよい。
ＨＭＤ１０３は、ヘッドマウントディスプレイである。ＨＭＤ１０３は、ユーザの頭部に装着する装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。ＨＭＤ１０３は、ＨＭＤ１０３のビデオカメラで撮影された現実空間画像を情報処理装置１０１に送信する。そして、情報処理装置１０１から送信されてきた複合現実画像を受信し、ディスプレイに表示する。ＨＭＤ１０３では、右目用と左目用のディスプレイを設けているので、視差によって立体感を得ることができる。尚、ＨＭＤ１０３で撮影する現実空間画像とＨＭＤ１０３で表示する複合現実画像は、動画（映像）が望ましいが、所定の間隔で撮影された画像であってもよい。
ヘッドセット１０４は、マイクロフォン（以下、マイクという。）とヘッドフォンから成る装置である。ユーザは前述したＨＭＤ１０３とヘッドセット１０４とを装着し、ＭＲシステムを利用する。ヘッドセット１０４は、マイクでユーザが発した音声を取得し、音声データとして情報処理装置１０１に送信する。また、情報処理装置１０１から送信された当該ユーザとは異なるユーザ（他のユーザ）の音声データをヘッドフォンで再生する。尚、音声を発したユーザに当該ユーザ自身の音声データを再生してもよい。また、音声データは、本実施例においては２チャンネル（ステレオ）であるものとして説明を行う。
尚、本実施形態ではＨＭＤ１０３とヘッドセット１０４とが別々の装置であるが、これらが１つの装置であってもよい。すなわち、ＨＭＤ１０３がマイクとヘッドフォンを備えていてもよい。また、ヘッドセット１０４のマイクとヘッドフォンが別々の装置であってもよい。すなわち、マイクが各拠点の居室内に設置されており、これによってユーザの音声を収集する。そして、ユーザはヘッドフォンを装着するような形態であってもよい。更には、ヘッドフォンの代わりにスピーカーを用いてもよい。このスピーカーは、ステレオ音源を再生可能なスピーカーであることが望ましい。
サーバ装置１０２は、各拠点に設置される情報処理装置１０１を管理するサーバである。サーバ装置１０２は、情報処理装置１０１から送信された情報を他の情報処理装置１０１に送信する。つまり、サーバ装置１０２は、いわゆる中継役である。本実施形態では、サーバ装置１０２が中継を行うものとして説明を行うが、各拠点の情報処理装置１０１同士が相互に通信する形態であってもよい。この場合にはサーバ装置１０２は不要となる。
図２は、各拠点のＭＲシステムのシステム構成の一例を示す図である。前述した通り、情報処理装置１０１にはＨＭＤ１０３とヘッドセット１０４とが通信可能に接続されている。更に、情報処理装置１０１には赤外線カメラ２０２が接続されている。赤外線カメラ２０２は、赤外線を用いた光学式のセンサである。赤外線カメラ２０２は、現実空間に赤外線を照射し、現実空間の物体で反射した赤外線を撮影することにより、現実空間における物体の位置及び姿勢を特定する。この赤外線カメラ２０２を用いて、現実空間におけるＨＭＤ１０３（すなわちユーザ）の位置及び姿勢（向きや傾き、視線の方向等）を特定する。ＨＭＤ１０３には、オプティカルマーカ２０１という赤外線を反射する物体を備えており、赤外線カメラ２０２はこのオプティカルマーカ２０１で反射した赤外線を撮影することで、ＨＭＤ１０３の位置及び姿勢を特定できるようになっている。ユーザがどのような位置や姿勢であっても、当該ユーザが装着するＨＭＤ１０３のオプティカルマーカ２０１を撮影または検知できるように、ＭＲシステムでは赤外線カメラ２０２を複数台設置することが望ましい。また、位置及び姿勢を特定可能なＨＭＤ１０３は、赤外線カメラ２０２の撮影範囲に存在するＨＭＤ１０３である。
尚、本実施形態においては、現実空間におけるＨＭＤ１０３の位置及び姿勢を特定するために、赤外線カメラ２０２を用いるが、ＨＭＤ１０３の現実空間における位置及び姿勢を特定できるのであれば、これに限らない。例えば、磁気センサを用いてもよいし、ＨＭＤ１０３が撮影した画像を解析して位置及び姿勢を特定してもよい。
図３は、情報処理装置１０１とサーバ装置１０２とＨＭＤ１０３の各ハードウェア構成の一例を示す図である。
まず、情報処理装置１０１及びサーバ装置１０２は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、システムバス３０４、入力コントローラ３０５、ビデオコントローラ３０６、メモリコントローラ３０７、通信Ｉ／Ｆコントローラ３０８、メディアコントローラ３０９、汎用バス３１０、入力デバイス３１１、外部メモリ３１２等を備える。尚、サーバ装置１０２は、前述した通り、ＨＭＤ１０３とヘッドセット１０４と赤外線カメラ２０２とは接続されていない。
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。
また、ＲＯＭ３０２あるいは外部メモリ３１２には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
また、入力コントローラ（入力Ｃ）３０５は、キーボードやマウス等のポインティングデバイス（入力デバイス３１１）からの入力を制御する。
情報処理装置１０１のビデオコントローラ（ＶＣ）３０６は、ＨＭＤ１０３が備える右目・左目ディスプレイ３２２等の表示器への表示を制御する。右目・左目ディスプレイ３２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ３２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。一方、サーバ装置１０２のビデオコントローラ３０６は、液晶ディスプレイ等の表示器への表示を制御する（不図示）。
メモリコントローラ（ＭＣ）３０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ３１２へのアクセスを制御する。
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。特に、情報処理装置１０１の通信Ｉ／Ｆコントローラ３０８は、赤外線カメラ２０２との通信も制御する。
情報処理装置１０１のメディアコントローラ３０９は、ヘッドセット１０４のヘッドフォンへ音声データを出力するため、及びヘッドセット１０４のマイクから音声を入力するために使用される。ヘッドフォンやマイクに対する音声や音声データの入出力は、例えば外部出力端子（例えば、ステレオミニプラグ）を用いて行われる。サーバ装置１０２のメディアコントローラ３０９も同様の機能を有するが、本実施形態では用いない。
情報処理装置１０１の汎用バス３１０は、情報処理装置１０１に接続されるＨＭＤ１０３の右目・左目ビデオカメラ３２１で撮影した画像を取り込むために使用される。右目・左目ビデオカメラ３２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。また、右目・左目ビデオカメラ３２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明の情報処理装置１０１、サーバ装置１０２が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ３１２に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ３１２に格納されている。
図４は、情報処理装置１０１とサーバ装置１０２の機能構成を示す機能構成図である。尚、図４の情報処理装置１０１とサーバ装置１０２の機能構成は一例であり、用途や目的に応じて様々な構成例がある。
情報処理装置１０１は機能部として、通信制御部４１１と、位置姿勢特定部４１２と、仮想音源設定部４１３と、仮想距離測定部４１４と、音量決定部４１５と、音量バランス調整部４１６と、仮想空間画像生成部４１７と、複合現実画像生成部４１８と、音声再生部４１９とを備える。
通信制御部４１１は、サーバ装置１０２、ＨＭＤ１０３、ヘッドセット１０４、赤外線カメラ２０２等の装置と情報の送受信を行うための機能部である。位置姿勢特定部４１２は、現実空間におけるユーザの位置及び姿勢を含む情報であって赤外線カメラ２０２から取得した情報（以下、赤外線情報という。）に基づいて、仮想空間におけるユーザの位置及び姿勢を特定するための機能部である。
仮想音源設定部４１３は、仮想空間上に仮想的な音源（以下、仮想音源という。）を設定するための機能部である。当該音源は、情報処理装置１０１が取得した音声データを再生するための仮想的な音源である。仮想距離測定部４１４は、仮想音源設定部４１３で設定された音源と位置姿勢特定部４１２で特定された位置との距離を測定（算出）するための機能部である。
音量決定部４１５は、仮想距離測定部４１４で測定された距離に応じてユーザに再生する音声データの音量を決定するための機能部である。音量バランス調整部４１６は、音量決定部４１５で決定された音量で音声データを再生する際に、左右のチャンネルの音量を調整し、ある方向から音声が聞こえてくるようにするための機能部である。本実施形態では、２チャンネルの音声データを元に説明を行うが、これに限らない。
仮想空間画像生成部４１７は、位置姿勢特定部４１２で特定された仮想空間上の位置及び姿勢に基づいて、仮想空間上に仮想的なカメラ（以下、仮想カメラという。）を設定し、当該仮想カメラから見た仮想空間を撮影し、仮想空間画像を生成するための機能部である。
複合現実画像生成部４１８は、通信制御部４１１を通じてＨＭＤ１０３の右目・左目ビデオカメラから取得した現実空間画像と、仮想空間画像生成部４１７で生成した仮想空間画像とを重畳して、複合現実画像を生成するための機能部である。
音声再生部４１９は、音量決定部４１５と音量バランス調整部４１６で調整された音声データを、通信制御部４１１を通じてヘッドセット１０４のヘッドフォンに再生するための機能部である。
サーバ装置１０２は機能部として、通信制御部４２１、位置姿勢情報管理部４２２、音声情報管理部４２３を備える。
通信制御部４２１は、情報処理装置１０１等の装置と情報の送受信を行うための機能部である。位置姿勢情報管理部４２２は、情報処理装置１０１から送信されたユーザの位置及び姿勢を情報処理装置１０１に接続されたＨＭＤ１０３と関連づけて管理しておくための機能部である。
音声情報管理部４２３は、情報処理装置１０１から送信されたユーザの音声データを情報処理装置１０１に接続されたＨＭＤ１０３と関連づけて管理しておくための機能部である。
図５は、本実施形態における遠隔ＭＲシステムで同一の仮想空間を閲覧している様子の一例を示す図である。本実施形態では、この２つの拠点を基に説明を行う。
図１で前述した通り、本実施形態では２つの拠点で同一の仮想空間を閲覧している。１つはユーザＡがいる拠点Ａであり、もう１つはユーザＢがいる拠点Ｂである。各拠点におけるＭＲシステムが同一の仮想空間をＭＲ技術によって提供される。尚、本実施形態では、閲覧する仮想空間は同一であるが、当該仮想空間は拠点ごとの情報処理装置１０１にそれぞれ用意されているものとして説明を行う。すなわち、仮想空間の大きさやその仮想空間に配置される３次元モデル、更に当該３次元モデルを配置する位置等を各拠点の情報処理装置１０１に記憶させておき、これを各拠点のユーザが同時に閲覧するということである。
図５の５００は、ユーザＡ５０１が拠点ＡでＭＲ技術を体験している様子を示す平面図である。ユーザＡ５０１は、前述したＨＭＤ１０３とヘッドセット１０４とをユーザＡ５０１の頭部に装着し、情報処理装置１０１から送信される複合現実画像を、ＨＭＤ１０３の右目・左目ディスプレイ３２２を通じて閲覧している。ユーザＡ５０１が閲覧する複合現実画像には、拠点ＢにいるユーザＢ５１１を示す３次元モデル（ユーザＢ５０２）と、閲覧対象の２つの３次元モデル５０４とが表示されている。ユーザＢ５１１は、拠点Ａにはいないので３次元モデルとしてユーザＢ５０２が表現されている。ユーザＢ５０２を表示するためには、ユーザＢ５１１のいる拠点Ｂに設置された赤外線カメラ２０２から取得した位置及び姿勢を利用してユーザＢ５１１の３次元モデルを生成し、これを表示すればよい。またユーザＡ５０１は、ユーザＢ５０２の方向５０３を向いている。そのため、ユーザＡ５０１がＨＭＤ１０３を通じて閲覧している複合現実画像は、図５の５２０に示す複合現実画像となる。
一方、図５の５１０はユーザＢ５１１が拠点ＢでＭＲ技術を体験している様子を示す平面図である。ユーザＢ５１１も、前述したＨＭＤ１０３とヘッドセット１０４とを装着し、情報処理装置１０１から送信される複合現実画像を、ＨＭＤ１０３の右目・左目ディスプレイ３２２を通じて閲覧している。ユーザＢ５１１が閲覧する複合現実画像には、拠点ＡにいるユーザＡ５０１を示す３次元モデル（ユーザＡ５１２）と、閲覧対象の２つの３次元モデル５０４とが表示されている。ユーザＡ５０１は、拠点Ｂにはいないので３次元モデルとしてユーザＡ５１２が表現されている。ユーザＡ５１２を表示するためには、ユーザＡ５０１のいる拠点Ａに設定された赤外線カメラ２０２から取得した位置及び姿勢を利用してユーザＡ５０１の３次元モデルを生成し、これを表示すればよい。またユーザＢ５１１は、ユーザＡ５１２の方向５１３を向いている。そのため、ユーザＢ５１１がＨＭＤ１０３を通じて閲覧している複合現実画像は、図５の５３０に示す複合現実画像となる。
次に、情報処理装置１０１が取得したユーザの位置及び姿勢と、ユーザが発した音声とをサーバ装置１０２に送信する処理の流れについて、図６のフローチャートを用いて説明する。
まず、ステップＳ６０１では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続されたＨＭＤ１０３の右目・左目ビデオカメラ３２１で撮像した現実空間画像をＨＭＤ１０３から受信（取得）する。
ステップＳ６０２では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続された赤外線カメラ２０２が特定した赤外線情報であって、ユーザが装着するＨＭＤ１０３の現実空間上の位置及び姿勢を含む赤外線情報を受信（取得）する（位置取得手段）。そして、ステップＳ６０３では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ６０２で受信した赤外線情報に基づいて、ユーザが装着するＨＭＤ１０３の仮想空間上における位置と姿勢を特定（取得）する（位置特定手段）。現実空間と仮想空間はあらかじめ位置合わせ（対応付け）がなされている。そのため、現実空間における位置及び姿勢がわかればそれに対応する仮想空間における位置及び姿勢も特定できる。赤外線情報を用いたＨＭＤ１０３の位置と姿勢の特定方法は、従来技術であるため詳細な説明は省略する。
ステップＳ６０４では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ６０３で特定した位置及び姿勢を示す情報（以下、位置姿勢情報という。）をサーバ装置１０２に送信する。ステップＳ６０５では、サーバ装置１０２のＣＰＵ３０１は、情報処理装置１０１から送信された位置姿勢情報を受信する。そして、ステップＳ６０６では、サーバ装置１０２のＣＰＵ３０１は、ステップＳ６０５で受信した位置姿勢情報を、当該位置姿勢情報を送信してきた情報処理装置１０１に接続されているＨＭＤ１０３と関連づけて一時記憶する。より具体的には、ＨＭＤ１０３を識別するＨＭＤ番号を特定し、当該特定したＨＭＤ番号を持つ位置姿勢音声テーブル７００（図７参照）のレコードの位置姿勢情報７０２に、受信した位置姿勢情報を格納する。ＨＭＤ番号はＨＭＤ１０３を一意に識別するための識別番号である。特に図示しないが、情報処理装置１０１と情報処理装置１０１に接続されるＨＭＤ１０３のＨＭＤ番号とを関連づけるテーブルをあらかじめ保持しておけば、ＨＭＤ番号を特定することが可能である。
位置姿勢音声テーブル７００は、サーバ装置１０２の外部メモリ３１２等に記憶され、ＨＭＤ番号７０１と、位置姿勢情報７０２と、音声データ７０３とを含む。ＨＭＤ番号７０１は、ＨＭＤ１０３ごとに一意に割り振られた識別番号を示す。ＨＭＤ番号７０１には、前述したステップＳ６０５で受信した位置姿勢情報や、後述するステップＳ６０９で受信する音声の情報を送信してきた情報処理装置１０１に接続されているＨＭＤ１０３の識別番号を格納する。位置姿勢情報７０２は、ＨＭＤ１０３の位置及び姿勢を示す情報が格納される。より具体的には、ＨＭＤ１０３の仮想空間上の座標と、ＨＭＤ１０３の向きを示すベクトル情報とが格納される。音声データ７０３は、ＨＭＤ１０３を装着するユーザが発した音声の波形データ（以下、音声データという。）を一時保存した場所を示すファイルパスを格納する。
図６に説明を戻す。ステップＳ６０４の処理が完了したら、ステップＳ６０７では、情報処理装置１０１のＣＰＵ３０１は、ＨＭＤ１０３を装着するユーザが更に装着しているヘッドセット１０４のマイクから当該ユーザの音声を受信（取得）する（音声取得手段）。このとき、音声をサンプリングしデジタルデータへ量子化およびそのデジタルデータの圧縮処理を実行し音声データを作成する。
そして、ステップＳ６０８では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ６０７で作成した音声データをサーバ装置１０２に送信する。ステップＳ６０９では、サーバ装置１０２のＣＰＵ３０１は、情報処理装置１０１から送信された音声データを受信し、ステップＳ６１０では、サーバ装置１０２のＣＰＵ３０１は、受信した音声データを、当該音声データを送信してきた情報処理装置１０１に接続されているＨＭＤ１０３と関連づけて一時記憶する。より具体的には、音声データを送信してきた情報処理装置１０１に接続されているＨＭＤ１０３を特定し、ＨＭＤ１０３のＨＭＤ番号７０１のレコードの音声データ７０３に、受信した音声データを一時記憶した場所のファイルパスを格納する。
以上により、情報処理装置１０１からサーバ装置１０２に対して、情報処理装置１０１に接続されたＨＭＤ１０３の位置及び姿勢や、ＨＭＤ１０３を装着するユーザの音声データがサーバ装置１０２に送信される。この一連の処理は、ＭＲシステムが動作している間は繰り返し実行されるため、リアルタイムに情報がサーバ装置１０２に送信される。
次に、他の拠点の情報処理装置１０１から送信されたユーザの音声の音量を決定する処理の流れについて、図８のフローチャートを用いて説明する。
まず、ステップＳ８０１では、サーバ装置１０２のＣＰＵ３０１は、位置姿勢音声テーブル７００の位置姿勢情報７０２及び音声データ７０３に格納された位置姿勢情報及び音声データを情報処理装置１０１に送信する。送信する位置姿勢情報及び音声データは、これらを送信する情報処理装置１０１に接続されているＨＭＤ１０３とは異なるＨＭＤ１０３（すなわち、音声を発したユーザのＨＭＤ１０３。以下、他のＨＭＤ１０３という。）に関連する位置姿勢情報及び音声データである。すなわち、拠点Ｂの情報処理装置１０１に位置姿勢情報及び音声データを送信する場合には、拠点ＡのＨＭＤ１０３に関連する位置姿勢情報及び音声データを送信する。前述した通り、情報処理装置１０１ごとに、情報処理装置１０１に接続されるＨＭＤ１０３のＨＭＤ番号を関連づけて管理しているので、送信先の情報処理装置１０１を特定し、当該特定した情報処理装置１０１に関連するＨＭＤ番号７０１以外のレコードの位置姿勢情報及び音声データを送信すればよい。
ステップＳ８０２では、情報処理装置１０１のＣＰＵ３０１は、サーバ装置１０２から送信された他のＨＭＤ１０３の位置姿勢情報及び音声データを受信する。すなわち、音声を発したユーザの仮想空間上の位置及び姿勢と、当該ユーザが発した音声を示す音声データとを取得する。
ステップＳ８０３では、情報処理装置１０１のＣＰＵ３０１は、後述するステップＳ８０４乃至ステップＳ８０８の処理を、他のＨＭＤ１０３の数だけ繰り返し実行する。他のＨＭＤの数は、他の拠点の情報処理装置１０１と通信してカウントしてもよいし、あらかじめ情報処理装置１０１に記憶させておいてもよい。または、サーバ装置１０２から取得するような形態であってもよい。
ステップＳ８０４では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０２で受信した他のＨＭＤ１０３の位置姿勢情報７０２を取得する。
ステップＳ８０５では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０４で取得した位置姿勢情報７０２（すなわち、音声を発したユーザの位置及び姿勢）に基づいて、仮想空間上に仮想音源を設定する。すなわち、位置姿勢情報７０２が示す仮想空間上の位置には、位置姿勢情報７０２に対応するＨＭＤ１０３が存在するはずである。そのＨＭＤ１０３を装着するユーザが音声を発した場合には、この音声の音源は位置姿勢情報７０２が示す位置に相当する。よって、ステップＳ８０５では取得した位置姿勢情報７０２に基づいて、仮想空間上に仮想音源を設定している。位置姿勢情報７０２が示す位置でなくとも、音声を聞くユーザに違和感のない位置であればよい。
ステップＳ８０６では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０５で設定した仮想音源から、情報処理装置１０１に接続されているＨＭＤ１０３の位置姿勢情報が示す仮想空間上の位置までの距離を計測する。情報処理装置１０１に接続されているＨＭＤ１０３の位置姿勢情報（すなわち、音声を発したユーザとは異なるユーザの仮想空間上の位置及び姿勢）は、前述したステップＳ６０２及びステップＳ６０３で取得及び特定しているので、これを用いる。そして、ステップＳ８０７では、情報処理装置１０１のＣＰＵ３０１は、他のＨＭＤ１０３を装着するユーザが発した音声を示す音声データを再生する際の音量（パラメータ）をステップＳ８０６で計測した距離に応じて決定する（パラメータ決定手段）。
音量の算出方法について、図９と図１０とを用いて具体的に説明する。図９に示す図では、ユーザＢがユーザＡの発した音声を聞く場合を想定している。すなわち、図５の拠点ＡでユーザＡ５０１が発した音声を拠点ＢでユーザＢ５１１が聞く場合である。
音声の音量の算出方法の一例として、仮想音源の位置座標からの距離に比例して音量を減少させる方法がある。
仮想音源の位置（以下、音源位置という。）をユーザＡ５１２の仮想空間上の位置である図９の９０１とする。この座標をＡ＝［Ａｘ Ａｙ Ａｚ］とする。また、ステップＳ６０３で特定されたユーザＢ５１１の仮想空間上の座標をＵ＝［Ｕｘ Ｕｙ Ｕｚ］とした場合に、音源位置９０１とユーザＢ５１１との距離９０２であるＬは図１０の式１によって求められる。
音源位置９０１から発せられるユーザＡの音声が元の音量で聞こえる音源からの距離９０３をｒ１とする。また、音源位置９０１から発せられる音声が聞こえなくなる音源からの距離をｒ２とした場合、ユーザＢ５１１に再生する元の音量に対する音量の割合ｐは図１０の式２、式３、式４によって求められる。ｒ１＜Ｌ＜ｒ２の場合には図１０の式２、Ｌ＜ｒ１の場合には式３、Ｌ＞ｒ２の場合には式４を用いる。こうして求めた割合ｐで音量を調節する。
また、他の音量の算出方法の一例として、点音源における音圧レベル（ｄＢ）の減衰を利用した方法を説明する。
上記ｒ１地点における音圧レベルをＬｐ１（ｄＢ）とし、音源位置９０１からユーザＢ５１１までの距離を式１で求めたＬを使用した場合、ユーザＢ５１１に再生する音圧レベルのＬｐ２（ｄＢ）は図１０の式５によって求められる。
そして、音声が聞こえなくなる音圧レベルをＬｐ３（ｄＢ）と設定した場合、ユーザＢ５１１に再生する元の音量に対する割合ｐは図１０の式６、式７、式８によって求められる。Ｌｐ２＞Ｌｐ３の場合には図１０の式６、Ｌｐ２＞Ｌｐ１の場合には図１０の式７、Ｌｐ２＜Ｌｐ３の場合には図１０の式８を用いる。こうして求めた割合ｐで音量を調節し、最終的な音量とする。尚、仮想音源からの距離に応じた音量の決定方法はこれらに限らない。
また、前述したように居室内にマイクを設置し、ユーザはヘッドフォンを装着するような場合、ユーザとマイクとの距離によって音量の減衰が発生する。すなわち、マイクを通じて取得した音声データは音量が減衰している。そのため、ステップＳ８０７で音量を決定する際には、減衰した音量を補った後に上述した音量の決定を行うことが望ましい。
更には、ユーザが装着するヘッドセット１０４のマイクで取得した音声データを、当該ユーザと同一拠点にいる他のユーザにはこの音声データを再生しなくてもよい。そのため、ステップＳ８０７でこの音声データについては音量を０にしてしまってもよい。または、後述するステップＳ８１３で再生しないことも考えられる。更には、ステップＳ８０１音声データを送信しないことも考えられる。前述した同一拠点であるか否かは、ＨＭＤ１０３ごとにどの拠点の情報処理装置１０１と接続されているのかを示す属性情報を情報処理装置１０１ごと、またはサーバ装置１０２で保持しておき、この属性情報を用いて同一拠点か否かを判定すればよい。
ステップＳ８０８では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０７で音量を決定した音声データの左右の音量のバランスを調整する。すなわち、音像定位を変化（調整）させる。音声データは、ステレオで録音されており、左チャンネルと右チャンネルの２チャンネルで構成されている。この左右のチャンネルの音量を調整することで、あたかも正面以外の場所から音声が聞こえてくるようになる。この仕組みを用いて、ステップＳ６０３で特定した位置及び姿勢とステップＳ８０５で設定した仮想音源との位置関係によって、左右のチャンネルの音量を調整する。例えば、特定した位置及び姿勢に対して仮想音源が右側にあれば、右側から聞こえてくるように調整し、特定した位置及び姿勢に対して仮想音源が左側にあれば、左側から聞こえてくるように調整する。
他のＨＭＤ１０３の数だけステップＳ８０４乃至ステップＳ８０８の処理が終了したら、ループを抜けてステップＳ８０９に進める。ステップＳ８０９では、情報処理装置１０１のＣＰＵ３０１は、他のＨＭＤ１０３を装着するユーザの発声状態を示す３次元モデルを生成し、これを仮想空間に配置する。例えば図５の発声状態バー５３１に示すような３次元モデルを生成し、仮想空間上の当該発声を行ったユーザの近傍に表示させる。発声状態バー５３１は、音量の割合を示す。すなわち、ステップＳ８０７で算出した音量の割合ｐに応じてバーの長さを変える。図５に示す発声状態バー５３１は、割合ｐが「１」の場合を示す。一方、図１１に示す発声状態バー５３１は、割合ｐが「０．６」の場合を示す。
図１１を説明する。図１１は、図５と同様に拠点Ａと拠点Ｂにおいて同一の仮想空間を共有している図である。図５と同様の箇所については同じ符号を付している。
図５と異なる点について説明する。１１００と１１１０に示す通り、ユーザＡとユーザＢとの仮想空間上の距離が図５よりも離れていることがわかる。また、ユーザＡ５０１はユーザＢ５０２の方向である方向１１０１を向いており、ユーザＢ５１１はユーザＡ５１２の方向である方向１１１１を向いている。この状態で各ユーザが閲覧している複合現実画像は、１１２０と１１３０に示す通りである。図５よりも遠くにユーザＡ５１２とユーザＢ５０２が配置されていることがわかる。すなわち、音声を発したユーザＡとユーザＢとの仮想空間上における距離が離れているので、現実空間と同様に音量を下げる。その音量を下げた割合、すなわちステップＳ８０７で算出した割合ｐに応じて、発声状態バー５３１の長さを変える。図１１では、図５よりも離れているので発声状態バー５３１が短くなっていることがわかる。こうして音量の割合を表示することで、万が一声が聞こえない場合であっても、他のユーザが何か喋っていることをユーザに認識させることが可能となる。
ステップＳ８１０では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ６０３で特定した位置及び姿勢や、ステップＳ８０２で受信した他のＨＭＤの位置姿勢情報に基づいて、仮想空間画像を生成する。より具体的には、ステップＳ８０２で受信した他のＨＭＤの位置姿勢情報を用いて他のユーザを示す３次元モデルを生成して、仮想空間に配置する。そして、ステップＳ６０３で特定した位置及び姿勢が示す仮想空間上の位置と向きで仮想カメラを設置し、当該仮想カメラから見た仮想空間を撮像して、仮想空間画像を生成する。
ステップＳ８１１では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ６０１で取得した現実空間画像とステップＳ８１０で生成した仮想空間画像とを重畳させて、複合現実画像を生成する。そして、ステップＳ８１２では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８１１で生成した複合現実画像を情報処理装置１０１に接続されたＨＭＤ１０３に送信する。ＨＭＤ１０３はこれを受信すると、右目・左目ディスプレイ３２２に表示し、ユーザに対して複合現実画像を提示する。
ステップＳ８１３では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０７で決定した音量、及びステップＳ８０８で調整したバランスで音声データを再生する（音声再生手段）。すなわち、音声を発したユーザとは異なるユーザに対して、ステップＳ８０７及びステップＳ８０８で決定された音量で、ステップＳ８０２で取得した音声データを再生する。再生すると、情報処理装置１０１に接続されたヘッドセット１０４のヘッドフォンに送信され、ユーザの耳に他のＨＭＤ１０３を装着したユーザの声が再生される。ここで、左右のチャンネルが調整されている場合には、仮想空間上に設定された音源との位置関係に応じた聞こえ方で音声が再生される。
図１２を説明する。図１２も図５と同様に拠点Ａと拠点Ｂにおいて同一の仮想空間を共有している図である。図１２についても図５と同様の箇所については同じ符号を付している。
図５と異なる点について説明する。１２００と１２１０に示す通り、ユーザＡとユーザＢの位置は同じだが、ユーザＡ５０１は３次元モデル５０４の方向１２０１を向いている。ユーザＢ５１１は図５と同様にユーザＡ５１２の方向１２１１を向いている。この状態で各ユーザが閲覧している複合現実画像は、１２２０と１２３０に示す通りである。ユーザＡ５０１はユーザＡ５０１から見て左側にある３次元モデル５０４を見ているので、ユーザＢ５０２がユーザＡ５０１から見て右側に存在している。この状態でユーザＢ５１１が発声すると、音量は図５の場合と変わらないが左右のチャンネルごとに音量が調整され、ユーザＡ５０１から見て右側からユーザＢ５１１の音声が聞こえてくるように感じる。このようにすることで、たとえ離れた拠点で同一の仮想空間を共有する場合であっても、現実空間と同様の体験をユーザに提供することが可能となる。
次に、第２の実施形態について説明を行う。前述した実施形態では、音声を発したユーザの仮想空間上の位置に仮想音源を設定していた。しかしながら、ユーザがどの向きに対して音声を発したのかによって、当該ユーザとは異なるユーザの聞こえ方は変わるはずである。そこで、第２の実施形態ではユーザの向きに応じて音源を設定する仕組みについて説明する。
第２の実施形態は、前述した実施形態の変形例であるので、共通する部分の説明は省略する。以下、前述した実施形態と異なる部分について説明を行う。
まず、第２の実施形態における、他の拠点の情報処理装置１０１から送信されたユーザの音声の音量を決定する処理の流れについて、図１３に示すフローチャートを用いて説明する。尚、図１３は前述した図８の変形例である。そのため、図８と共通する部分については、説明を省略する。
ステップＳ１３０１では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０４で取得した位置姿勢情報７０２に基づいて、仮想空間上に仮想音源を設定する処理を実行する。仮想音源設定処理の詳細は、後述する図１４に示す。
ステップＳ１３０２では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０７で音量を決定した音声データの左右の音量のバランスを調整する処理を実行する。音量バランス調整処理の詳細は、後述する図１６に示す。
次に、仮想音源設定処理の詳細について、図１４に示すフローチャートを用いて説明する。
ステップＳ１４０１では、情報処理装置１０１のＣＰＵ３０１は、他のＨＭＤ１０３の仮想空間上における位置姿勢情報を取得する。前述したステップＳ８０２で他のＨＭＤ１０３の位置姿勢情報を受信しているので、これを取得する。
ステップＳ１４０２では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１４０１で取得した位置姿勢情報を用いて、仮想音源を設定する位置を特定する。仮想音源を設定する位置は、音声を発したユーザの仮想空間上における位置から、当該ユーザが向いている方向（前方）に所定距離だけ離れた位置である。本実施形態では、この所定距離をＤメートルとする。すなわち、音声を発したユーザの仮想空間上における位置から前方Ｄメートル離れた位置を仮想音源の位置とする。図１５は、発声したユーザの位置及び姿勢に応じて、当該ユーザの前方に音源が設定される場合の一例を示す図である。前述した図９と共通する部分については、同じ番号を振ってある。ステップＳ１４０２では、音声を発したユーザの前方に仮想音源を設定するため、ユーザＡ５１２が１５０１に示す方向を向いていた場合には、例えば仮想音源は１５０２に示す位置となる。こうすると、ユーザＢ５１１と仮想音源との距離が離れるので、前述したステップＳ８０７の処理により、ユーザＢ５１１に再生する音声データの音量が小さくなる。
ステップＳ１４０３では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１４０２で特定した仮想空間上の位置を仮想音源として設定する。すなわち、音声を発したユーザの姿勢（向き）を考慮した仮想音源から当該ユーザの音声データを再生する。こうすれば、音声を発したユーザと当該ユーザとは異なるユーザとの距離だけでなく、音声を発した方向によって音声の聞こえ方を調整することができる。
次に、音量バランス調整処理の詳細について、図１６に示すフローチャートを用いて説明する。
ステップＳ１６０１では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続されたＨＭＤ１０３を装着するユーザの左耳の位置を仮想空間上で特定する。ステップＳ６０３で特定した、ＨＭＤ１０３の仮想空間における位置及び姿勢と、あらかじめ記憶されたＨＭＤ１０３から左耳までの距離とを用いて、仮想空間におけるユーザの左耳の位置を特定する。
ステップＳ１６０２では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１３０１で設定された仮想音源の位置から、ステップＳ１６０１で特定された左耳の位置までの仮想空間上における距離を算出する。本実施形態では、この距離をｄＬとする。
ステップＳ１６０３では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続されたＨＭＤ１０３を装着するユーザの右耳の位置を仮想空間上で特定する。ステップＳ６０３で特定した、ＨＭＤ１０３の仮想空間における位置及び姿勢と、あらかじめ記憶されたＨＭＤ１０３から右耳までの距離とを用いて、仮想空間におけるユーザの右耳の位置を特定する。
ステップＳ１６０４では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１３０１で設定された仮想音源の位置から、ステップＳ１６０３で特定された右耳の位置までの仮想空間上における距離を算出する。本実施形態では、この距離をｄＲとする。
ステップＳ１６０５では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１６０２及びステップＳ１６０４で算出したそれぞれの距離を比較し、ｄＬ＞ｄＲであるか否かを判定する。すなわち、右耳の方が仮想音源に近いか否かを判定する。ｄＬ＞ｄＲであると判定した場合には、ステップＳ１６０６に処理を進める。ｄＬ＞ｄＲでない、つまりｄＬ＜ｄＲであると判定した場合には、ステップＳ１６０７に処理を進める。ステップＳ１６０５はｄＬ＜ｄＲであるか否かを判定してもよい。この場合には、ｄＬ＜ｄＲであるならステップＳ１６０７に処理を進め、ｄＬ＜ｄＲでないならステップＳ１６０６に処理を進める。
ステップＳ１６０６では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０７で音量を決定した音声データのチャンネルのうち、右チャンネルの音量が左チャンネルの音量よりも大きくなるように調整する。ステップＳ１６０６における右チャンネルと左チャンネルの音量の算出方法の一例を図１７に示す。ステップＳ８０７で決定した音量をＶとした場合、左チャンネルの音量（ｖＬ）は、図１７の式９によって求められる。一方、右チャンネルの音量（ｖＲ）は図１７の式１０によって求められる。式９及び式１０に示す通り、ステップＳ１６０６では左チャンネルの音量を小さくすることで、右チャンネルの音量が左チャンネルの音量よりも大きくなるように調整している。尚、本実施形態における右チャンネルと左チャンネルの音量の調整方法はあくまで一例である。
ステップＳ１６０７では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ８０７で音量を決定した音声データのチャンネルのうち、左チャンネルの音量が右チャンネルの音量よりも大きくなるように調整する。ステップＳ１６０７における右チャンネルと左チャンネルの音量の算出方法の一例を図１７に示す。ステップＳ８０７で決定した音量をＶとした場合、左チャンネルの音量（ｖＬ）は、図１７の式１１によって求められる。一方、右チャンネルの音量（ｖＲ）は図１７の式１２によって求められる。式１１及び式１２に示す通り、ステップＳ１６０７では右チャンネルの音量を小さくすることで、左チャンネルの音量が右チャンネルの音量よりも大きくなるように調整している。尚、本実施形態における右チャンネルと左チャンネルの音量の調整方法はあくまで一例である。以上のようにして、音声データの右チャンネルと左チャンネルの音量を調整し、音声が聞こえてくる方向を制御する。
以上説明したように、本実施形態によれば、現実空間上のユーザの位置に応じて特定される仮想空間上の位置を考慮して、ユーザが発した音声を再生することの可能な効果を奏する。
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
１０１ 情報処理装置
１０２ サーバ装置
１０３ ＨＭＤ
１０４ ヘッドセット
２０１ オプティカルマーカ
２０２ 赤外線カメラ
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ システムバス
３０５ 入力コントローラ
３０６ ビデオコントローラ
３０７ メモリコントローラ
３０８ 通信Ｉ／Ｆコントローラ
３０９ メディアコントローラ
３１０ 汎用バス
３１１ 入力デバイス
３１２ 外部メモリ

Claims (16)

  1. 第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムであって、
    ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段と、
    前記第１のユーザが発した音を示す音データを取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段と
    を備え、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを前記第２のユーザに対して再生しないことを特徴とする情報処理システム。
  2. 第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムであって、
    ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段と、
    前記第１のユーザが発した音を示す音データを取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段と
    を備え、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とする情報処理システム。
  3. 前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータとして音量を決定し、
    前記音データ再生手段は、前記第２のユーザに対して、前記パラメータ決定手段で決定された音量で、前記音データ取得手段で取得した音データを再生することを特徴とする請求項１または２に記載の情報処理システム。
  4. 前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータとして、音データを構成するチャンネルごとの音量を決定し、
    前記音データ再生手段は、前記第２のユーザに対して、前記パラメータ決定手段で決定されたチャンネルごとの音量で、前記音データ取得手段で取得した音データを再生することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
  5. 前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づく距離を用いて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
  6. 前記位置特定手段は、更に前記第１のユーザの向きと、前記第２のユーザの現実空間上の向きとを取得し、当該取得した現実空間上のそれぞれの向きに基づいて、前記仮想空間におけるそれぞれの向きを更に特定し、
    前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置及び向きに基づいて、前記第１のユーザの前方に相当する仮想空間上の位置に仮想音源の位置を設定すると共に、当該仮想音源の位置から前記音データ取得手段で取得した音データを再生する際のパラメータを決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
  7. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムの制御方法であって、
    前記情報処理システムの音データ取得手段が、前記第１のユーザが発した音を示す音データを取得する音データ取得ステップと、
    前記情報処理システムの位置特定手段が、前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定ステップと、
    前記情報処理システムのパラメータ決定手段が、前記位置特定ステップで特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得ステップで取得した音データを再生する際のパラメータを決定するパラメータ決定ステップと、
    前記情報処理システムの音データ再生手段が、前記第２のユーザに対して、前記パラメータ決定ステップで決定されたパラメータを用いて前記音データ取得ステップで取得した音データを再生する音データ再生ステップと
    を備え、
    前記音データ再生ステップは、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得ステップで取得した音データを前記第２のユーザに対して再生しないことを特徴とする情報処理システムの制御方法。
  8. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムの制御方法を実行可能なプログラムであって、
    前記情報処理システムを、
    前記第１のユーザが発した音を示す音データを取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段
    として機能させ、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを前記第２のユーザに対して再生しないことを特徴とするプログラム。
  9. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムの制御方法であって、
    前記情報処理システムの音データ取得手段が、前記第１のユーザが発した音を示す音データを取得する音データ取得ステップと、
    前記情報処理システムの位置特定手段が、前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定ステップと、
    前記情報処理システムのパラメータ決定手段が、前記位置特定ステップで特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得ステップで取得した音データを再生する際のパラメータを決定するパラメータ決定ステップと、
    前記情報処理システムの音データ再生手段が、前記第２のユーザに対して、前記パラメータ決定ステップで決定されたパラメータを用いて前記音データ取得ステップで取得した音データを再生する音データ再生ステップと
    を備え、
    前記音データ再生ステップは、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得ステップで取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とする情報処理システムの制御方法。
  10. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理システムの制御方法を実行可能なプログラムであって、
    前記情報処理システムを、
    前記第１のユーザが発した音を示す音データを取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段
    として機能させ、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とするプログラム。
  11. 第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理装置であって、
    ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段と、
    前記第１のユーザが発した音を示す音データを、当該音データを有する他の情報処理装置から取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段と
    を備え、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを前記第２のユーザに対して再生しないことを特徴とする情報処理装置。
  12. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理装置の制御方法であって、
    前記情報処理装置の音データ取得手段が、前記第１のユーザが発した音を示す音データを、当該音データを有する他の情報処理装置から取得する音データ取得ステップと、
    前記情報処理装置の位置特定手段が、前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定ステップと、
    前記情報処理装置のパラメータ決定手段が、前記位置特定ステップで特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得ステップで取得した音データを再生する際のパラメータを決定するパラメータ決定ステップと、
    前記情報処理装置の音データ再生手段が、前記第２のユーザに対して、前記パラメータ決定ステップで決定されたパラメータを用いて前記音データ取得ステップで取得した音データを再生する音データ再生ステップと
    を備え、
    前記音データ再生ステップは、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得ステップで取得した音データを前記第２のユーザに対して再生しないことを特徴とする情報処理装置の制御方法。
  13. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理装置の制御方法を実行可能なプログラムであって、
    前記情報処理装置を、
    前記第１のユーザが発した音を示す音データを、当該音データを有する他の情報処理装置から取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段
    として機能させ、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを前記第２のユーザに対して再生しないことを特徴とするプログラム。
  14. 第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理装置であって、
    ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段と、
    前記第１のユーザが発した音を示す音データを、当該音データを有する他の情報処理装置から取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段と
    を備え、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とする情報処理装置。
  15. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理装置の制御方法であって、
    前記情報処理装置の音データ取得手段が、前記第１のユーザが発した音を示す音データを、当該音データを有する他の情報処理装置から取得する音データ取得ステップと、
    前記情報処理装置の位置特定手段が、前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定ステップと、
    前記情報処理装置のパラメータ決定手段が、前記位置特定ステップで特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得ステップで取得した音データを再生する際のパラメータを決定するパラメータ決定ステップと、
    前記情報処理装置の音データ再生手段が、前記第２のユーザに対して、前記パラメータ決定ステップで決定されたパラメータを用いて前記音データ取得ステップで取得した音データを再生する音データ再生ステップと
    を備え、
    前記音データ再生ステップは、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とする情報処理装置の制御方法。
  16. ユーザが存在する現実空間上の場所を示す属性情報を当該ユーザごとに記憶する記憶手段を備え、第１のユーザと、当該第１のユーザとは現実空間上の離れた位置に存在し、現実空間を移動可能な第２のユーザとが共通の仮想空間を共有するための情報処理装置の制御方法を実行可能なプログラムであって、
    前記情報処理装置を、
    前記第１のユーザが発した音を示す音データを、当該音データを有する他の情報処理装置から取得する音データ取得手段と、
    前記第１のユーザの現実空間上の位置と、前記第２のユーザの現実空間上の位置とを取得し、当該取得したそれぞれの位置に基づいて、前記仮想空間におけるそれぞれの位置を特定する位置特定手段と、
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音データ取得手段で取得した音データを再生する際のパラメータを決定するパラメータ決定手段と、
    前記第２のユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段
    として機能させ、
    前記音データ再生手段は、前記第１のユーザに対応する前記属性情報が示す場所と、前記第２のユーザに対応する前記属性情報が示す場所とが同一である場合に、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で前記第２のユーザに対して再生することを特徴とするプログラム。
JP2014244272A 2013-12-25 2014-12-02 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム Active JP5971316B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014244272A JP5971316B2 (ja) 2013-12-25 2014-12-02 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013266203 2013-12-25
JP2013266203 2013-12-25
JP2014174718 2014-08-29
JP2014174718 2014-08-29
JP2014244272A JP5971316B2 (ja) 2013-12-25 2014-12-02 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016134810A Division JP6323505B2 (ja) 2013-12-25 2016-07-07 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016048534A JP2016048534A (ja) 2016-04-07
JP5971316B2 true JP5971316B2 (ja) 2016-08-17

Family

ID=55649375

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014244272A Active JP5971316B2 (ja) 2013-12-25 2014-12-02 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP2016134810A Active JP6323505B2 (ja) 2013-12-25 2016-07-07 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016134810A Active JP6323505B2 (ja) 2013-12-25 2016-07-07 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム

Country Status (1)

Country Link
JP (2) JP5971316B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6739254B2 (ja) * 2016-07-01 2020-08-12 株式会社コーエーテクモゲームス プログラム、情報処理装置、情報処理方法、及びサーバ装置
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6918189B2 (ja) * 2016-11-18 2021-08-11 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR20180087643A (ko) 2017-01-25 2018-08-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR101963244B1 (ko) * 2017-03-20 2019-03-28 ㈜라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
WO2018174500A1 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
JP6722786B1 (ja) * 2019-02-05 2020-07-15 凸版印刷株式会社 空間情報管理装置
JP7287257B2 (ja) 2019-12-06 2023-06-06 トヨタ自動車株式会社 画像処理装置、表示システム、プログラムおよび画像処理方法
JP7157271B1 (ja) * 2022-04-14 2022-10-19 株式会社Acw-Deep 多拠点空間共有システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
JP2004274147A (ja) * 2003-03-05 2004-09-30 Hitachi Communication Technologies Ltd 音場定位型多地点通話システム
JP2005032078A (ja) * 2003-07-08 2005-02-03 Nri & Ncc Co Ltd 通信プログラム及び通信方法
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
JP4426484B2 (ja) * 2005-03-11 2010-03-03 株式会社日立製作所 音声会議システム、会議端末および音声サーバ
JP4992591B2 (ja) * 2007-07-25 2012-08-08 日本電気株式会社 通信システム及び通信端末
JP4637889B2 (ja) * 2007-10-10 2011-02-23 ヤフー株式会社 仮想空間放送装置
US8359547B2 (en) * 2008-10-01 2013-01-22 Nintendo Co., Ltd. Movable user interface indicator of at least one parameter that is adjustable with different operations for increasing and decreasing the parameter and/or methods of providing the same
JP5355017B2 (ja) * 2008-10-01 2013-11-27 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP2011066467A (ja) * 2009-09-15 2011-03-31 Brother Industries Ltd テレビ会議端末装置、テレビ会議端末装置の音声制御方法、音声制御プログラム
WO2011158493A1 (ja) * 2010-06-15 2011-12-22 パナソニック株式会社 音声通信システム、音声通信方法及び音声通信機器
JP5363448B2 (ja) * 2010-10-28 2013-12-11 株式会社スクウェア・エニックス パーティチャットシステム，パーティチャットシステム用プログラム，及び情報記録媒体
JP2012216073A (ja) * 2011-03-31 2012-11-08 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2013175929A (ja) * 2012-02-24 2013-09-05 Nikon Corp 情報出力装置、及び情報出力方法

Also Published As

Publication number Publication date
JP2016201817A (ja) 2016-12-01
JP2016048534A (ja) 2016-04-07
JP6323505B2 (ja) 2018-05-16

Similar Documents

Publication Publication Date Title
JP6323505B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US11531518B2 (en) System and method for differentially locating and modifying audio sources
CN111466124B (zh) 用于渲染用户的视听记录的方法，处理器系统和计算机可读介质
KR102197544B1 (ko) 공간화 오디오를 가진 혼합 현실 시스템
KR102419065B1 (ko) 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
US11343633B2 (en) Environmental condition based spatial audio presentation
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US20140328505A1 (en) Sound field adaptation based upon user tracking
US10754608B2 (en) Augmented reality mixing for distributed audio capture
TW201248192A (en) Apparatus, systems and methods for shared viewing experience using head mounted displays
KR101963244B1 (ko) 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
US11792581B2 (en) Using Bluetooth / wireless hearing aids for personalized HRTF creation
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
US11924317B1 (en) Method and system for time-aligned media playback
CN116684777A (zh) 音频处理、模型训练方法、装置、设备及存储介质
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
CN115604408A (zh) 虚拟场景下的视频录制方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160627

R150 Certificate of patent or registration of utility model

Ref document number: 5971316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250