JP5664215B2

JP5664215B2 - 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム

Info

Publication number: JP5664215B2
Application number: JP2010285143A
Authority: JP
Inventors: 尋史津田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2015-02-04
Anticipated expiration: 2030-12-21
Also published as: JP2012133591A

Description

この発明は、拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラムに係り、特に、現実の空間をカメラで撮影した映像中に拡張現実感用ＣＧ（コンピュータグラフィック）を追加表示するとき、表示位置が同カメラで撮影できない場合や同表示位置に高精度が要求される場合に用いて好適な拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラムに関する。

拡張現実感システムでは、現実の空間をカメラで撮影した映像中に拡張現実感用ＣＧ（コンピュータグラフィック）が追加表示される。現実の空間を撮影した映像（以下、「現実空間映像」という）中における拡張現実感用ＣＧの追加表示位置を決定する場合、現実の空間内に特定の目印（以下、「マーカ」という）を配置し、現実空間映像中のマーカ部分を画像認識技術によって抽出し、この抽出した位置が拡張現実感用ＣＧの表示位置とされる。ところが、この場合、現実空間を撮影するカメラからマーカが隠れてしまい、同マーカを撮影できない状況では、拡張現実感用ＣＧを表示する位置を決定することができなくなるという問題点がある。

また、拡張現実感用ＣＧの表示位置を決定する場合、他の方法では、ＧＰＳ（Global
Positioning System 、汎世界測位システム）を用いて現実空間の任意の座標を認識し、この座標が拡張現実感用ＣＧの表示位置とされる。しかしながら、ＧＰＳを用いた拡張現実感システムでは、ＧＰＳによる位置捕捉の精度が低いことにより、指定した座標と実際に拡張現実感用ＣＧを表示する位置とが数十センチから数メートルずれることがあり、拡張現実感用ＣＧの表示位置の精度が十分ではないという問題点がある。また、ＧＰＳは室内では使用できないので、同システムが室内では使用できないという問題点がある。

また、この種の関連技術としては、たとえば非特許文献１に記載された拡張現実感システムがある。
この拡張現実感システムでは、入力された画像からマーカの領域が抽出され、このマーカの理想スクリーン座標系における４頂点座標値が求められ、さらにパターン認識によりマーカが識別される。次に、得られた４頂点座標値から、マーカの３次元位置情報、具体的には、マーカ座標系からカメラ座標系への座標変換行列が求められる。そして、得られた座標変換行列を用いて、ＨＭＤ（Head Mounted Display、頭部搭載型ディスプレイ）の左右のスクリーンの適切な位置に仮想物体が描画される。

また、特許文献１に記載された実マーカオブジェクトを識別する拡張現実システムでは、実環境から画像データが収集され、同画像データから仮想画像データが生成される。上記画像データに基づいて実環境の既定マーカオブジェクトが識別され、同既定マーカオブジェクトに対応する仮想画像の位置において、オブジェクト画像データに上記仮想画像データが重ね合わせられる。

また、特許文献２に記載された複合現実感表示システムでは、画像合成処理部により、撮像ユニットで得た、指標を含む現実空間画像と、仮想空間画像生成装置で生成された仮想空間画像とが合成され、合成された画像情報が表示装置に表示される。表示装置では、撮像ユニットからの画像情報のうちの一部であって、現実空間画像内の指標の位置情報を認識するのに必要な画像データを仮想空間画像生成装置に送信する。仮想空間画像生成装置では、上記指標の位置情報が認識され、認識された指標の位置情報を利用して、仮想空間画像が生成され、生成した画像情報を表示装置に送信する。

また、特許文献３に記載された複合現実感システムでは、位置検出部により、現実空間における操作者の位置及び方向が検出される。音響センサにより、現実空間で発生した音響が検出される。音響認識手段により、音響センサで検出された音響の操作者から見た音源方向、及び、当該音響が操作者による操作指示か否かが認識される。起動手段により、音響認識手段で認識された所定の音源方向からの操作指示に基づいて仮想空間に対する処理が起動される。操作者が装着した表示部に、現実空間と仮想空間とが重畳されてリアルタイムで表示される。

また、特許文献４に記載された画像処理装置では、現実物体の位置情報、仮想物体の位置情報及び視点の位置情報を用いて、現実物体、仮想物体及び視点のそれぞれの位置関係が求められ、求められた位置関係が予め定められた条件を満たすか否かが判断される。満たすと判断された場合には、音データが示す音を調整すべく、音データが調整され、調整後の音データに基づいた音信号が生成されて出力される。これにより、音源としての現実物体が発する現実音が、仮想物体の配置位置を鑑みて適宜変更されて提示される。

特開２００６−３１３５４９号公報特開２００７−２１９０８２号公報特開２００８−０６５６７５号公報特開２００９−１１６６９０号公報

加藤博一他、「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、１９９９、Ｖｏｌ．４、Ｎｏ．４、p.607-616

しかしながら、上記関連技術では、次のような課題があった。
すなわち、非特許文献１に記載された拡張現実感システムでは、マーカとなる目印がカメラで認識されない限り、拡張現実感の映像が表示されないので、上記の問題点を改善するものではない。

また、特許文献１に記載された拡張現実システムでは、仮想オブジェクトの追跡、及び、仮想オブジェクトへの特定の実環境の挿入の際に柔軟性が高められ、忠実性が向上するが、この発明とは構成や処理方法が異なり、上記の問題点は改善されない。

特許文献２に記載された複合現実感表示システムでは、現実空間画像の中から指標が短い処理時間で検出され、現実空間画像と仮想空間画像とが迅速に合成されるが、この発明とは構成や処理方法が異なり、上記の問題点は改善されない。

特許文献３に記載された複合現実感システムでは、操作者の位置と音源の方向の情報が使用され、音源との距離は取得していないため、距離に合わせて、表示する拡張現実感の映像のサイズを変更するといった処理は不可能であるという課題がある。

特許文献４に記載された画像処理装置では、操作者の位置と音源の位置とが取得されていることが前提とされ、操作者と音源との位置に合わせて、音源から発生される音響の音量が変更されるものであり、上記の問題点を改善するものではない。

この発明は、上述の事情に鑑みてなされたもので、マーカを撮影できない状況でも拡張現実感用ＣＧを表示する位置を高精度で決定することができ、室内でも使用可能な拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラムを提供することを目的としている。

上記課題を解決するために、この発明の第１の構成は、撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想的に作成された拡張現実感用の仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システムに係り、特定の音を収集し、該特定の音の収集位置を起点として、該特定の音の発生位置までの距離と該発生位置の方向とを算出することで、空間座標系上での前記発生位置を解析し、該発生位置を含む範囲の映像が前記撮影手段により取得された場合に、この撮影された映像内における前記特定の音の発生位置を表示位置として前記仮想空間映像を追加すると共に、前記特定の音の収集位置から発生位置までの前記距離に応じて、表示する前記仮想空間映像のサイズを変更制御する追加表示位置決定手段が設けられていることを特徴としている。

この発明の第２の構成は、撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システムに用いられる拡張現実感表示方法に係り、追加表示位置決定手段が、特定の音を収集し、該特定の音の収集位置を起点として、該特定の音の発生位置までの距離と該発生位置の方向とを算出することで、空間座標系上での前記発生位置を解析し、該発生位置を含む範囲の映像が前記撮影手段により取得された場合に、この撮影された映像内における前記特定の音の発生位置を表示位置として前記仮想空間映像を追加すると共に、前記特定の音の収集位置から発生位置までの前記距離に応じて、表示する前記仮想空間映像のサイズを変更制御する追加表示位置決定処理を行うことを特徴としている。

この発明の構成によれば、仮想空間映像の表示位置を示すマーカが撮影手段から隠れていても、同仮想空間映像の表示位置を高精度で検知することができ、拡張現実感の映像を表示することができる。
加えて、特定の音の収集位置から発生位置までの距離に応じて、仮想空間映像の表示サイズを変更制御することができるので、現実感の拡張を一段と効果的に図ることができる。

この発明の一実施形態である拡張現実感表示システムの要部の電気的構成を示すブロック図である。図１の張現実感表示システムにおける提供者の作業を示すフローチャートである。図１の張現実感表示システムの動作を示すフローチャートである。利用者に向けて表示する映像の例を示す図である。

上記追加表示位置決定手段は、上記特定の音（マーカ用音）のパターン及び同パターンに対応する上記仮想空間映像（拡張現実感用ＣＧ）を設定するための特定音及び仮想空間映像設定手段（マーカ用音設定装置）と、同特定音及び仮想空間映像設定手段（マーカ用音設定装置）による設定に基づいて、上記特定の音（マーカ用音）を発生する特定音発生手段（マーカ用音発生装置）と、同特定音発生手段（マーカ用音発生装置）から発生する上記特定の音（マーカ用音）を収集して上記特定の音（マーカ用音）の上記発生位置（空間座標、マーカ位置）を解析する特定音発生位置解析手段（マーカ位置通知装置）と、同特定音発生位置解析手段（マーカ位置通知装置）で解析された上記特定の音（マーカ用音）の上記発生位置（空間座標、マーカ位置）を上記仮想空間映像（拡張現実感用ＣＧ）の上記表示位置として決定する表示位置決定手段（拡張現実感映像表示装置）とから構成されている拡張現実感表示システムを実現する。

また、上記特定音及び仮想空間映像設定手段（マーカ用音設定装置）は、上記特定の音（マーカ用音）の上記パターンを登録する特定音登録手段（マーカ用音データベース）と、上記仮想空間映像（拡張現実感用ＣＧ）を登録する仮想空間映像登録手段（拡張現実感用ＣＧデータベース）と、上記特定音登録手段（マーカ用音データベース）及び仮想空間映像登録手段（拡張現実感用ＣＧデータベース）を参照して、上記特定の音（マーカ用音）及び同特定の音（マーカ用音）に対応する上記仮想空間映像（拡張現実感用ＣＧ）を選択するための音及び映像設定手段（マーカ用音設定部）とから構成されている。

また、上記特定音発生手段（マーカ用音発生装置）は、特定音振り分け手段（マーカ用音振り分け部）と、複数の音発生手段（マーカ用音発生部）とを有し、上記音及び映像設定手段（マーカ用音設定部）は、上記特定の音のパターン、及び同特定の音のパターンと上記各音発生手段（マーカ用音発生部）との組み合わせの情報を出力する構成とされ、上記特定音振り分け手段（マーカ用音振り分け部）は、上記音及び映像設定手段（マーカ用音設定部）から出力される上記特定の音のパターン、及び同特定の音のパターンと上記各音発生手段（マーカ用音発生部）との組み合わせの情報に基づいて、上記各音発生手段（マーカ用音発生部）へ該当する上記特定の音のパターンを送信する構成とされ、上記各音発生手段（マーカ用音発生部）は、上記特定音振り分け手段（マーカ用音振り分け部）から上記特定の音のパターンを受信し、指定されたパターンの上記特定の音を発生する構成とされている。

また、上記特定音発生位置解析手段（マーカ位置通知装置）は、特定音収集手段（音収集部）と、表示位置解析手段（マーカ位置解析部）とを有し、上記特定音収集手段（音収集部）は、上記各音発生手段（マーカ用音発生部）から発生した上記特定の音を含む周囲の音を収集する構成とされ、上記音及び映像設定手段（マーカ用音設定部）は、上記特定の音のパターンの情報を、上記表示位置解析手段（マーカ位置解析部）へ送信する構成とされ、上記表示位置解析手段（マーカ位置解析部）は、上記特定音収集手段（音収集部）で収集された上記周囲の音、及び上記音及び映像設定手段（マーカ用音設定部）から送信される上記特定の音のパターンの情報を受信し、上記周囲の音の中から上記特定の音のパターンを抽出して解析し、上記特定の音（マーカ用音）の発生位置（空間座標、マーカ位置）を算出する構成とされている。

また、上記表示位置決定手段（拡張現実感映像表示装置）は、映像内表示位置判別手段（映像内マーカ位置判別部）と、拡張現実感映像作成手段（拡張現実感映像作成部）とを有し、上記映像内表示位置判別手段（映像内マーカ位置判別部）は、上記撮影手段（映像取得部）の撮影方向を検知し、上記表示位置解析手段（マーカ位置解析部）で算出された上記特定の音（マーカ用音）の発生位置（空間座標、マーカ位置）の情報及び上記撮影手段（映像取得部）の撮影方向に基づいて、現実空間映像内に上記特定の音（マーカ用音）の発生位置（空間座標、マーカ位置）が含まれるか否かを表す映像内発生位置の有無の情報を算出し、上記現実空間映像内に上記発生位置（空間座標、マーカ位置）が含まれている場合には映像内発生位置を算出すると共に、映像内発生位置の有無、及び映像内発生位置の情報を上記拡張現実感映像作成手段（拡張現実感映像作成部）へ送信する構成とされ、上記音及び映像設定手段（マーカ用音設定部）は、選択された上記特定の音（マーカ用音）及び同特定の音（マーカ用音）に対応する上記仮想空間映像（拡張現実感用ＣＧ）の情報を上記拡張現実感映像作成手段（拡張現実感映像作成部）へ送信する構成とされ、上記表示位置解析手段（マーカ位置解析部）は、上記発生位置（空間座標、マーカ位置）に対応した上記特定の音（マーカ用音）のパターンの情報を上記拡張現実感映像作成手段（拡張現実感映像作成部）へ送信する構成とされ、上記拡張現実感映像作成手段（拡張現実感映像作成部）は、上記音及び映像設定手段（マーカ用音設定部）から送信される上記特定の音（マーカ用音）及び同特定の音（マーカ用音）に対応する上記仮想空間映像（拡張現実感用ＣＧ）の情報、上記表示位置解析手段（マーカ位置解析部）から送信される上記発生位置（空間座標、マーカ位置）に対応する上記特定の音（マーカ用音）のパターンの情報、上記撮影手段（映像取得部）で得られた上記現実空間映像、及び、上記映像内表示位置判別手段（映像内マーカ位置判別部）から送信される上記特定の音（マーカ用音）の発生位置（空間座標、マーカ位置）の情報及び映像内発生位置の有無の情報を受信し、上記映像内発生位置の有無の情報が有を示す場合、上記発生位置（空間座標、マーカ位置）に対応した上記特定の音（マーカ用音）のパターンの情報、及び上記特定の音（マーカ用音）に対応する上記仮想空間映像（拡張現実感用ＣＧ）の情報に基づいて、上記映像内発生位置に追加表示するための上記仮想空間映像（拡張現実感用ＣＧ）を決定し、同映像内発生位置に該当する上記仮想空間映像（拡張現実感用ＣＧ）を追加した上記拡張現実感映像を作成する構成とされている。

実施形態

図１は、この発明の一実施形態である拡張現実感表示システムの要部の電気的構成を示すブロック図である。
この形態の拡張現実感表示システムは、同図に示すように、拡張現実感映像表示装置１０と、マーカ用音発生装置２０と、マーカ位置通知装置３０と、マーカ用音設定装置４０とから構成されている。マーカ用音設定装置４０は、マーカ用音（特定の音）のパターン及び同パターンに対応する拡張現実感用ＣＧ（仮想的に作成された拡張現実感用の仮想空間映像）を設定するためのものであり、特に、この実施形態では、マーカ用音設定部４１と、マーカ用音データベース４２と、拡張現実感用ＣＧデータベース４３とを備えている。マーカ用音データベース４２は、マーカ用音のパターンを登録する。拡張現実感用ＣＧデータベース４３は、上記拡張現実感用ＣＧを登録する。マーカ用音設定部４１は、マーカ用音データベース４２及び拡張現実感用ＣＧデータベース４３を参照して、マーカ用音及び同マーカ用音に対応する拡張現実感用ＣＧを提供者の操作により選択する。

マーカ用音発生装置２０は、マーカ用音設定装置４０による設定に基づいて、上記マーカ用音を発生するためのものであり、特に、この実施形態では、マーカ用音振り分け部２１と、マーカ用音発生部２２₁ ，２２₂ ，…，２２_n とを備えている。また、マーカ用音設定装置４０のマーカ用音設定部４１は、マーカ用音のパターン、及び同マーカ用音のパターンとマーカ用音発生部２２₁ ，２２₂ ，…，２２_n との組み合わせの情報を出力する。マーカ用音振り分け部２１は、マーカ用音設定部４１から出力される上記マーカ用音のパターン、及び同マーカ用音のパターンとマーカ用音発生部２２₁ ，２２₂ ，…，２２_n との組み合わせの情報に基づいて、各マーカ用音発生部２２₁ ，２２₂ ，…，２２_n へ該当するマーカ用音のパターンを送信する。マーカ用音発生部２２₁ ，２２₂ ，…，２２_n は、マーカ用音振り分け部２１から上記マーカ用音のパターンを受信し、指定されたパターンのマーカ用音を発生する。

マーカ位置通知装置３０は、マーカ用音発生装置２０から発生するマーカ用音を収集して同マーカ用音の発生位置（空間座標）を解析するためのものであり、特に、この実施形態では、音収集部３１と、マーカ位置解析部３２とを備えている。また、マーカ用音設定装置４０のマーカ用音設定部４１は、マーカ用音のパターンの情報を、マーカ位置解析部３２へ送信する。音収集部３１は、マイクロホンなどで構成され、各マーカ用音発生部２２₁ ，２２₂ ，…，２２_n から発生したマーカ用音を含む周囲の音を収集する。マーカ位置解析部３２は、音収集部３１で収集された周囲の音、及びマーカ用音設定部４１から送信されるマーカ用音のパターンの情報を受信し、周囲の音の中からマーカ用音のパターンを抽出して解析し、マーカ用音の発生位置（空間座標）を算出する。この場合、マーカ位置解析部３２は、音源分離技術を用いて音源の方向及び距離を求めることにより、マーカ用音の発生位置（空間座標）を算出する。

拡張現実感映像表示装置１０は、マーカ位置通知装置３０で解析されたマーカ用音の発生位置（空間座標）を拡張現実感用ＣＧの表示位置として決定するためのものであり、特に、この実施形態では、映像表示部１１と、拡張現実感映像作成部１２と、映像取得部（カメラ）１３と、映像内マーカ位置判別部１４とを備えている。映像内マーカ位置判別部１４は、映像取得部（カメラ）１３の撮影方向を検知し、マーカ位置解析部３２で算出されたマーカ用音の発生位置（空間座標）の情報及び同映像取得部（カメラ）１３の撮影方向に基づいて、現実空間映像内にマーカ用音の発生位置（空間座標）が含まれるか否かを表す映像内発生位置の有無の情報を算出し、上記現実空間映像内に上記発生位置（空間座標）が含まれている場合には映像内発生位置を算出すると共に、映像内発生位置の有無、及び映像内発生位置の情報を拡張現実感映像作成部１２へ送信する。

また、マーカ用音設定装置４０のマーカ用音設定部４１は、選択されたマーカ用音及び同マーカ用音に対応する拡張現実感用ＣＧの情報を拡張現実感映像作成部１２へ送信する。また、マーカ位置通知装置３０のマーカ位置解析部３２は、上記発生位置（空間座標）に対応したマーカ用音のパターンの情報を拡張現実感映像作成部１２へ送信する。拡張現実感映像作成部１２は、マーカ用音設定部４１から送信されるマーカ用音及び同マーカ用音に対応する拡張現実感用ＣＧの情報、マーカ位置解析部３２から送信される上記発生位置（空間座標）に対応するマーカ用音のパターンの情報、映像取得部（カメラ）１３で得られた現実空間映像、及び、映像内マーカ位置判別部１４から送信されるマーカ用音の発生位置（空間座標）の情報及び映像内発生位置の有無の情報を受信する。そして、拡張現実感映像作成部１２は、上記映像内発生位置の有無の情報が有を示す場合、上記発生位置（空間座標）に対応したマーカ用音のパターンの情報、及びマーカ用音に対応する拡張現実感用ＣＧの情報に基づいて、上記映像内発生位置に追加表示するための拡張現実感用ＣＧを決定し、同映像内発生位置に、該当する拡張現実感用ＣＧを追加した拡張現実感映像を作成して映像表示部１１へ送出する。映像表示部１１は、たとえば液晶表示装置などで構成されている。この拡張現実感表示システムは、拡張現実感表示プログラムに基づいて機能するコンピュータで構成されている。

図２は、図１の張現実感表示システムにおける提供者の作業を示すフローチャート、図３は、図１の張現実感表示システムの動作を示すフローチャート、及び図４が、利用者に向けて表示する映像の例を示す図である。
これらの図を参照して、この形態の張現実感表示システムに用いられる拡張現実感表示方法の処理内容について説明する。
この張現実感表示システムでは、マーカ用音の発生位置（空間座標）が解析され、同発生位置を含む範囲の映像が映像取得部（カメラ）１３により取得された場合に、この撮影された映像内におけるマーカ用音の発生位置を表示位置として、現実空間映像内に拡張現実感用ＣＧ（仮想空間映像）が追加される（追加表示位置決定処理）。

すなわち、この拡張現実感表示システムを使用するための準備として、提供者は、マーカ用音のパターンと対応する拡張現実感用ＣＧをマーカ用音設定装置４０にて設定する。この場合、図２に示すように、提供者は、マーカ用音設定装置４０のマーカ用音データベース４２に、マーカ用音として使用する音のパターンを任意の数だけ登録する（ステップＡ１）。また、提供者は、マーカ用音設定装置４０の拡張現実感用ＣＧデータベース４３に、拡張現実感用として使用するコンピュータグラフィック（ＣＧ）を任意の数だけ登録する（ステップＡ２）。提供者は、マーカ用音設定装置４０のマーカ用音設定部４１を通してマーカ用音データベース４２から、今回使用する音を一つ選択すると共に、マーカ用音設定装置４０のマーカ用音設定部４１を通して拡張現実感用ＣＧデータベース４３から、選択したマーカ用音に対応して表示する拡張現実感用ＣＧを選択する（ステップＡ３，Ａ４、特定音及び仮想空間映像設定処理）。

提供者は、マーカ用音設定装置４０のマーカ用音設定部４１にて、選択したマーカ用音を発生させるマーカ用音発生部をマーカ用音発生部２２₁ ，２２₂ ，…，２２_n の中から選択する（ステップＡ５）。使用するマーカ用音と拡張現実感用ＣＧの組み合わせを複数設定する場合は、マーカ用音（ステップＡ３）、マーカ用音発生部（ステップＡ４）及び拡張現実感用ＣＧ（ステップＡ５）の選択を繰り返し実施する（ステップＡ６）。

設定の終了後、マーカ用音設定装置４０のマーカ用音設定部４１にて、拡張現実感映像作成部１２へのマーカ用音のパターン、マーカ用音のパターンに対応した拡張現実感用ＣＧの情報、マーカ用音振り分け部２１へのマーカ用音のパターンと同マーカ用音のパターンとマーカ用音発生部の組み合わせの情報、及び、マーカ位置解析部３２へのマーカ用音のパターンの情報の送信を行う（ステップＡ７）。この送信後、拡張現実感表示装置１０では、拡張現実感映像作成部１２にて、マーカ用音のパターンと同マーカ用音のパターンに対応した拡張現実感用ＣＧの情報がセットで登録される（ステップＡ８ａ）。マーカ用音発生装置２０では、マーカ用音振り分け部２１にて、それぞれのマーカ用音発生部へ指定されたマーカ用音のパターンが送信され、それぞれのマーカ用音発生部ではマーカ用音が登録される（ステップＡ８ｂ）。マーカ位置通知装置３０では、マーカ位置解析部３２にて、マーカ位置の解析時に抽出すべきマーカ用音のパターンが登録される（ステップＡ８ｃ）。

次に、利用者が拡張現実感の映像を得る場合、図３に示すように、マーカ用音、拡張現実感用ＣＧ、及びマーカ用音を発生するマーカ用音発生部の設定が完了済み、かつマーカ用音発生装置２０のマーカ用音発生部がマーカ用音を発生させている状態で（特定音発生処理）、マーカ位置通知装置３０では、音収集部３１にて、同マーカ位置通知装置３０の周囲の音を収集する（ステップＢ１ａ）。この周囲の音には、マーカ用音発生装置２０の各マーカ用音発生部から発生しているマーカ用音が含まれている（ステップＢ１ｂ）。マーカ位置通知装置３０では、マーカ位置解析部３２にて、音収集部３１が収集した周囲の音の中から、マーカ位置解析部３２に登録されているマーカ用音のパターンに基づいて、マーカ用音が抽出及び解析され、マーカ位置が算出される。マーカ位置解析部３２では、抽出したマーカ用音のパターンの情報を拡張現実感映像作成部１２へ、及び、マーカ位置の情報を映像内マーカ位置判別部１４へ送信する（ステップＢ２、特定音発生位置解析処理）。

拡張現実感表示装置１０では、映像取得部（カメラ）１３にて、現実空間映像が取得され、拡張現実感映像作成部１２へ送信される（ステップＢ３）。また、拡張現実感映像表示装置１０では、映像内マーカ位置判別部１４にて、映像取得部（カメラ）１３が取得する現実空間映像内にマーカが含まれるかの映像内マーカの有無の判定と（ステップＢ４ａ）、マーカが含まれている場合（［ＹＥＳ］）、映像内マーカ位置を算出し（表示位置決定処理）、拡張現実感映像作成部１２へ送信する。一方、現実空間映像内にマーカが含まれていない場合（［ＮＯ］）、映像内マーカの有無の情報のみ拡張現実感映像作成部１２へ送信する（ステップＢ４ｂ）。この後、拡張現実感表示装置１０では、拡張現実感映像作成部１２にて、映像取得部（カメラ）１３から受信した現実空間映像、映像内マーカ位置判別部１４から受信したマーカ位置、マーカ位置解析部３２から受信したマーカ用音のパターン、及び、拡張現実感映像作成部１２に登録されているマーカ用音のパターンに対応した拡張現実感用ＣＧに基づいて拡張現実感の映像が作成され、映像表示部１１へ送信する（ステップＢ５）。映像表示部１１にて、利用者に向けて拡張現実感の映像が表示される（ステップＢ６）。

映像表示部１１では、図４中の映像Ｅに示すように、張現実感表示システムが停止状態のとき、“マーカ音発生源”が表示され、同マーカ音発生源に対して距離Ｘの位置にいる利用者に提示される。また、映像Ｓに示すように、同システムが稼働状態（１）のとき、“表示オブジェクト”が表示され、マーカ音発生源に対して距離Ｘの位置にいる利用者に提示される。また、映像Ｌに示すように、同システムが稼働状態（２）のとき、マーカ音発生源に対して距離Ｘ／２の位置にいる利用者に対して、稼働状態（１）の場合よりも大きい“表示オブジェクト”が表示されて提示され、距離に合わせて、表示する拡張現実感の映像のサイズが変更される。

以上のように、この実施形態では、マーカ用音の発生位置が解析され、同発生位置を含む範囲の映像が映像取得部（カメラ）１３により取得された場合に、この撮影された映像内におけるマーカ用音の発生位置を表示位置として、現実空間映像内に拡張現実感用ＣＧが追加されるので、拡張現実感用ＣＧの表示位置を示すマーカが映像取得部１３から隠れていても、拡張現実感用ＣＧの表示位置が検知され、拡張現実感の映像が表示される。また、マーカ位置解析部３２により、音源分離技術を用いて音源の方向及び距離を求めることにより、マーカ用音の発生位置（空間座標）が算出されるので、拡張現実感用ＣＧの表示位置が高精度で求められる。また、この張現実感表示システムは、音を発信する設備があれば動作が可能なので、屋外、屋内共に同等精度で拡張現実感の映像を提供することができる。

以上、この発明の実施形態を図面により詳述してきたが、具体的な構成は同実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更などがあっても、この発明に含まれる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。

（付記１）
撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想的に作成された拡張現実感用の仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システムであって、
特定の音の発生位置を解析し、該発生位置を含む範囲の映像が前記撮影手段により取得された場合に、この撮影された映像内における前記特定の音の発生位置を表示位置として前記仮想空間映像を追加する追加表示位置決定手段が設けられている拡張現実感表示システム。

（付記２）
前記追加表示位置決定手段は、
前記特定の音のパターン及び該パターンに対応する前記仮想空間映像を設定するための特定音及び仮想空間映像設定手段と、
該特定音及び仮想空間映像設定手段による設定に基づいて、前記特定の音を発生する特定音発生手段と、
該特定音発生手段から発生する前記特定の音を収集して前記特定の音の前記発生位置を解析する特定音発生位置解析手段と、
該特定音発生位置解析手段で解析された前記特定の音の前記発生位置を前記仮想空間映像の前記表示位置として決定する表示位置決定手段とから構成されている付記１記載の拡張現実感表示システム。

（付記３）
前記特定音及び仮想空間映像設定手段は、
前記特定の音の前記パターンを登録する特定音登録手段と、
前記仮想空間映像を登録する仮想空間映像登録手段と、
前記特定音登録手段及び仮想空間映像登録手段を参照して、前記特定の音及び該特定の音に対応する前記仮想空間映像を選択するための音及び映像設定手段とから構成されている付記２記載の拡張現実感表示システム。

（付記４）
前記特定音発生手段は、
特定音振り分け手段と、複数の音発生手段とを有し、
前記音及び映像設定手段は、
前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報を出力する構成とされ、
前記特定音振り分け手段は、
前記音及び映像設定手段から出力される前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報に基づいて、前記各音発生手段へ該当する前記特定の音のパターンを送信する構成とされ、
前記各音発生手段は、
前記特定音振り分け手段から前記特定の音のパターンを受信し、指定されたパターンの前記特定の音を発生する構成とされている付記３記載の拡張現実感表示システム。

（付記５）
前記特定音発生位置解析手段は、
特定音収集手段と、表示位置解析手段とを有し、
前記特定音収集手段は、前記各音発生手段から発生した前記特定の音を含む周囲の音を収集する構成とされ、
前記音及び映像設定手段は、
前記特定の音のパターンの情報を、前記表示位置解析手段へ送信する構成とされ、
前記表示位置解析手段は、
前記特定音収集手段で収集された前記周囲の音、及び前記音及び映像設定手段から送信される前記特定の音のパターンの情報を受信し、前記周囲の音の中から前記特定の音のパターンを抽出して解析し、前記特定の音の発生位置を算出する構成とされている付記４記載の拡張現実感表示システム。

（付記６）
前記表示位置決定手段は、
映像内表示位置判別手段と、拡張現実感映像作成手段とを有し、
前記映像内表示位置判別手段は、
前記撮影手段の撮影方向を検知し、前記表示位置解析手段で算出された前記特定の音の発生位置の情報及び前記撮影手段の撮影方向に基づいて、現実空間映像内に前記特定の音の発生位置が含まれるか否かを表す映像内発生位置の有無の情報を算出し、
前記現実空間映像内に前記発生位置が含まれている場合には映像内発生位置を算出すると共に、映像内発生位置の有無、及び映像内発生位置の情報を前記拡張現実感映像作成手段へ送信する構成とされ、
前記音及び映像設定手段は、
選択された前記特定の音及び該特定の音に対応する前記仮想空間映像の情報を前記拡張現実感映像作成手段へ送信する構成とされ、
前記表示位置解析手段は、
前記発生位置に対応した前記特定の音のパターンの情報を前記拡張現実感映像作成手段へ送信する構成とされ、
前記拡張現実感映像作成手段は、
前記音及び映像設定手段から送信される前記特定の音及び該特定の音に対応する前記仮想空間映像の情報、前記表示位置解析手段から送信される前記発生位置に対応する前記特定の音のパターンの情報、前記撮影手段で得られた前記現実空間映像、及び、前記映像内表示位置判別手段から送信される前記特定の音の発生位置の情報及び映像内発生位置の有無の情報を受信し、前記映像内発生位置の有無の情報が有を示す場合、前記発生位置に対応した前記特定の音のパターンの情報、及び前記特定の音に対応する前記仮想空間映像の情報に基づいて、前記映像内発生位置に追加表示するための前記仮想空間映像を決定し、該映像内発生位置に該当する前記仮想空間映像を追加した前記拡張現実感映像を作成する構成とされている付記５記載の拡張現実感表示システム。

（付記７）
撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システムに用いられる拡張現実感表示方法であって、
追加表示位置決定手段が、特定の音の発生位置を解析し、該発生位置を含む範囲の映像が前記撮影手段により取得された場合に、この撮影された映像内における前記特定の音の発生位置を表示位置として前記仮想空間映像を追加する追加表示位置決定処理を行う拡張現実感表示方法。

（付記８）
前記追加表示位置決定処理では、
特定音及び仮想空間映像設定手段が、前記特定の音のパターン及び該パターンに対応する前記仮想空間映像を設定する特定音及び仮想空間映像設定処理と、
特定音発生手段が、前記特定音及び仮想空間映像設定手段による設定に基づいて、前記特定の音を発生する特定音発生処理と、
特定音発生位置解析手段が、該特定音発生手段から発生する前記特定の音を収集して前記特定の音の前記発生位置を解析する特定音発生位置解析処理と、
表示位置決定手段が、該特定音発生位置解析手段で解析された前記特定の音の前記発生位置を前記仮想空間映像の前記表示位置として決定する表示位置決定処理とを行う付記７記載の拡張現実感表示方法。

（付記９）
前記特定音及び仮想空間映像設定処理では、
前記特定の音の前記パターンを登録する特定音登録手段と、
前記仮想空間映像を登録する仮想空間映像登録手段とを設けておき、
音及び映像設定手段が、前記特定音登録手段及び仮想空間映像登録手段を参照して、前記特定の音及び該特定の音に対応する前記仮想空間映像を選択する付記８記載の拡張現実感表示方法。

（付記１０）
前記特定音発生処理では、
特定音振り分け手段と、複数の音発生手段とを設けておき、
前記音及び映像設定手段が、前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報を出力し、
前記特定音振り分け手段が、前記音及び映像設定手段から出力される前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報に基づいて、前記各音発生手段へ該当する前記特定の音のパターンを送信し、
前記各音発生手段が、前記特定音振り分け手段から前記特定の音のパターンを受信し、指定されたパターンの前記特定の音を発生する付記９記載の拡張現実感表示方法。

（付記１１）
前記特定音発生位置解析処理では、
特定音収集手段と、表示位置解析手段とを設けておき、
前記特定音収集手段が、前記各音発生手段から発生した前記特定の音を含む周囲の音を収集し、
前記音及び映像設定手段が、前記特定の音のパターンの情報を、前記表示位置解析手段へ送信し、
前記表示位置解析手段が、前記特定音収集手段で収集された前記周囲の音、及び前記音及び映像設定手段から送信される前記特定の音のパターンの情報を受信し、前記周囲の音の中から前記特定の音のパターンを抽出して解析し、前記特定の音の発生位置を算出する付記１０記載の拡張現実感表示方法。

（付記１２）
前記表示位置決定処理では、
映像内表示位置判別手段と、拡張現実感映像作成手段とを設けておき、
前記映像内表示位置判別手段が、前記撮影手段の撮影方向を検知し、前記表示位置解析手段で算出された前記特定の音の発生位置の情報及び前記撮影手段の撮影方向に基づいて、現実空間映像内に前記特定の音の発生位置が含まれるか否かを表す映像内発生位置の有無の情報を算出し、前記現実空間映像内に前記発生位置が含まれている場合には映像内発生位置を算出すると共に、映像内発生位置の有無、及び映像内発生位置の情報を前記拡張現実感映像作成手段へ送信し、
前記音及び映像設定手段が、選択された前記特定の音及び該特定の音に対応する前記仮想空間映像の情報を前記拡張現実感映像作成手段へ送信し、
前記表示位置解析手段が、前記発生位置に対応した前記特定の音のパターンの情報を前記拡張現実感映像作成手段へ送信し、
前記拡張現実感映像作成手段が、前記音及び映像設定手段から送信される前記特定の音及び該特定の音に対応する前記仮想空間映像の情報、前記表示位置解析手段から送信される前記発生位置に対応する前記特定の音のパターンの情報、前記撮影手段で得られた前記現実空間映像、及び、前記映像内表示位置判別手段から送信される前記特定の音の発生位置の情報及び映像内発生位置の有無の情報を受信し、
前記映像内発生位置の有無の情報が有を示す場合、前記発生位置に対応した前記特定の音のパターンの情報、及び前記特定の音に対応する前記仮想空間映像の情報に基づいて、前記映像内発生位置に追加表示するための前記仮想空間映像を決定し、該映像内発生位置に該当する前記仮想空間映像を追加した前記拡張現実感映像を作成する付記１１記載の拡張現実感表示方法。

（付記１３）
コンピュータを、付記１乃至６のいずれか一に記載の拡張現実感表示システムとして機能させる拡張現実感表示プログラム。

この発明は、カメラなどの撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想的に作成された拡張現実感用の仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システム全般に適用できる。また、この発明は、音を自由に発生することが可能な環境があれば、たとえば家庭用メディアやアミューズメント施設など、娯楽に関する用途に適用できる。また、この発明は、たとえば水中など、視界が限定される場合での用途に適応できる。また、この発明は、画像を配置できる壁や柱などがなく、画像マーカを配置できないような空間における用途に適用できる。

１０拡張現実感映像表示装置（拡張現実感表示システムの一部）
１１映像表示部（拡張現実感映像表示装置の一部）
１２拡張現実感映像作成部（拡張現実感映像作成手段）
１３映像取得部（カメラ）（撮影手段）
１４映像内マーカ位置判別部（映像内表示位置判別手段）
２０マーカ用音発生装置（特定音発生手段）
２１マーカ用音振り分け部（特定音振り分け手段）
２２₁ ，２２₂ ，…，２２_n マーカ用音発生部（音発生手段）
３０マーカ位置通知装置（特定音発生位置解析手段）
３１音収集部（特定音収集手段）
３２マーカ位置解析部（表示位置解析手段）
４０マーカ用音設定装置（仮想空間映像設定手段）
４１マーカ用音設定部（音及び映像設定手段）
４２マーカ用音データベース（特定音登録手段）
４３拡張現実感用ＣＧデータベース（仮想空間映像登録手段）

Claims

撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想的に作成された拡張現実感用の仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システムであって、
特定の音を収集し、該特定の音の収集位置を起点として、該特定の音の発生位置までの距離と該発生位置の方向とを算出することで、空間座標系上での前記発生位置を解析し、該発生位置を含む範囲の映像が前記撮影手段により取得された場合に、この撮影された映像内における前記特定の音の発生位置を表示位置として前記仮想空間映像を追加すると共に、前記特定の音の収集位置から発生位置までの前記距離に応じて、表示する前記仮想空間映像のサイズを変更制御する追加表示位置決定手段が設けられていることを特徴とする拡張現実感表示システム。
前記追加表示位置決定手段は、
前記特定の音のパターン及び該パターンに対応する前記仮想空間映像を設定するための特定音及び仮想空間映像設定手段と、
該特定音及び仮想空間映像設定手段による設定に基づいて、前記特定の音を発生する特定音発生手段と、
該特定音発生手段から発生する前記特定の音を収集して空間座標系上での前記特定の音の前記発生位置を解析する特定音発生位置解析手段と、
該特定音発生位置解析手段で解析された前記特定の音の前記発生位置を前記仮想空間映像の前記表示位置として決定する表示位置決定手段とから構成されていることを特徴とする請求項１記載の拡張現実感表示システム。
前記特定音及び仮想空間映像設定手段は、
前記特定の音の前記パターンを登録する特定音登録手段と、
前記仮想空間映像を登録する仮想空間映像登録手段と、
前記特定音登録手段及び仮想空間映像登録手段を参照して、前記特定の音及び該特定の音に対応する前記仮想空間映像を選択するための音及び映像設定手段とから構成されていることを特徴とする請求項２記載の拡張現実感表示システム。
前記特定音発生手段は、
特定音振り分け手段と、複数の音発生手段とを有し、
前記音及び映像設定手段は、
前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報を出力する構成とされ、
前記特定音振り分け手段は、
前記音及び映像設定手段から出力される前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報に基づいて、前記各音発生手段へ該当する前記特定の音のパターンを送信する構成とされ、
前記各音発生手段は、
前記特定音振り分け手段から前記特定の音のパターンを受信し、指定されたパターンの前記特定の音を発生する構成とされていることを特徴とする請求項３記載の拡張現実感表示システム。
前記特定音発生位置解析手段は、
特定音収集手段と、表示位置解析手段とを有し、
前記特定音収集手段は、前記各音発生手段から発生した前記特定の音を含む周囲の音を収集する構成とされ、
前記音及び映像設定手段は、
前記特定の音のパターンの情報を、前記表示位置解析手段へ送信する構成とされ、
前記表示位置解析手段は、
前記特定音収集手段で収集された前記周囲の音、及び前記音及び映像設定手段から送信される前記特定の音のパターンの情報を受信し、前記周囲の音の中から前記特定の音のパターンを抽出して解析し、空間座標系上での前記特定の音の発生位置を算出する構成とされていることを特徴とする請求項４記載の拡張現実感表示システム。
前記表示位置決定手段は、
映像内表示位置判別手段と、拡張現実感映像作成手段とを有し、
前記映像内表示位置判別手段は、
前記撮影手段の撮影方向を検知し、前記表示位置解析手段で算出された前記特定の音の発生位置の情報及び前記撮影手段の撮影方向に基づいて、現実空間映像内に前記特定の音の発生位置が含まれるか否かを表す映像内発生位置の有無の情報を算出し、
前記現実空間映像内に前記発生位置が含まれている場合には映像内発生位置を算出すると共に、映像内発生位置の有無、及び映像内発生位置の情報を前記拡張現実感映像作成手段へ送信する構成とされ、
前記音及び映像設定手段は、
選択された前記特定の音及び該特定の音に対応する前記仮想空間映像の情報を前記拡張現実感映像作成手段へ送信する構成とされ、
前記表示位置解析手段は、
前記発生位置に対応した前記特定の音のパターンの情報を前記拡張現実感映像作成手段へ送信する構成とされ、
前記拡張現実感映像作成手段は、
前記音及び映像設定手段から送信される前記特定の音及び該特定の音に対応する前記仮想空間映像の情報、前記表示位置解析手段から送信される前記発生位置に対応する前記特定の音のパターンの情報、前記撮影手段で得られた前記現実空間映像、及び、前記映像内表示位置判別手段から送信される前記特定の音の発生位置の情報及び映像内発生位置の有無の情報を受信し、前記映像内発生位置の有無の情報が有を示す場合、前記発生位置に対応した前記特定の音のパターンの情報、及び前記特定の音に対応する前記仮想空間映像の情報に基づいて、前記映像内発生位置に追加表示するための前記仮想空間映像を決定し、該映像内発生位置に該当する前記仮想空間映像を追加した前記拡張現実感映像を作成する構成とされていることを特徴とする請求項５記載の拡張現実感表示システム。
撮影手段により現実の空間を撮影して得られた現実空間映像内に、仮想空間映像を追加することにより拡張現実感映像を作成して表示する拡張現実感表示システムに用いられる拡張現実感表示方法であって、
追加表示位置決定手段が、特定の音を収集し、該特定の音の収集位置を起点として、該特定の音の発生位置までの距離と該発生位置の方向とを算出することで、空間座標系上での前記発生位置を解析し、該発生位置を含む範囲の映像が前記撮影手段により取得された場合に、この撮影された映像内における前記特定の音の発生位置を表示位置として前記仮想空間映像を追加すると共に、前記特定の音の収集位置から発生位置までの前記距離に応じて、表示する前記仮想空間映像のサイズを変更制御する追加表示位置決定処理を行うことを特徴とする拡張現実感表示方法。
前記追加表示位置決定処理では、
特定音及び仮想空間映像設定手段が、前記特定の音のパターン及び該パターンに対応する前記仮想空間映像を設定する特定音及び仮想空間映像設定処理と、
特定音発生手段が、前記特定音及び仮想空間映像設定手段による設定に基づいて、前記特定の音を発生する特定音発生処理と、
特定音発生位置解析手段が、前記特定音発生手段から発生する前記特定の音を収集して空間座標系上での前記特定の音の前記発生位置を解析する特定音発生位置解析処理と、
表示位置決定手段が、前記特定音発生位置解析手段で解析された前記特定の音の前記発生位置を前記仮想空間映像の前記表示位置として決定する表示位置決定処理とを行うことを特徴とする請求項７記載の拡張現実感表示方法。
前記特定音及び仮想空間映像設定処理では、
前記特定の音の前記パターンを登録する特定音登録手段と、
前記仮想空間映像を登録する仮想空間映像登録手段とを設けておき、
音及び映像設定手段が、前記特定音登録手段及び仮想空間映像登録手段を参照して、前記特定の音及び該特定の音に対応する前記仮想空間映像を選択することを特徴とする請求項８記載の拡張現実感表示方法。
前記特定音発生処理では、
特定音振り分け手段と、複数の音発生手段とを設けておき、
前記音及び映像設定手段が、前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報を出力し、
前記特定音振り分け手段が、前記音及び映像設定手段から出力される前記特定の音のパターン、及び該特定の音のパターンと前記各音発生手段との組み合わせの情報に基づいて、前記各音発生手段へ該当する前記特定の音のパターンを送信し、
前記各音発生手段が、前記特定音振り分け手段から前記特定の音のパターンを受信し、指定されたパターンの前記特定の音を発生することを特徴とする請求項９記載の拡張現実感表示方法。