WO2023223507A1

WO2023223507A1 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: WO2023223507A1
Application number: PCT/JP2022/020847
Authority: WO
Inventors: 大安藤; 卓佐野; 俊一瀬古
Original assignee: 日本電信電話株式会社
Priority date: 2022-05-19
Filing date: 2022-05-19
Publication date: 2023-11-23

Abstract

この発明の一態様に係る情報処理装置は、通信部、点群データ管理部、音情報解析部、属性変更部、および仮想空間構築部を具備する。通信部は、環境センサおよび音響センサを備える現実世界情報取得装置と通信する。点群データ管理部は、現実世界情報取得装置から取得された現実空間の３Ｄ点群データを格納する。音情報解析部は、現実世界情報取得装置から取得された周囲音の音情報データを解析して当該音情報データの種別を求める。属性変更部は、点群データ管理部に格納された３Ｄ点群データの属性情報を音情報データの種別に基づいて変更する。仮想空間構築部は、属性情報を変更された３Ｄ点群データに基づいて仮想空間映像を構築する。

Description

情報処理装置、情報処理方法、およびプログラム

　この発明の一態様は、ＸＲ（仮想現実（ＶＲ：Virtual Reality）、拡張現実（ＡＲ：Augmented Reality）、ＭＲ（複合現実：Mixed Reality）等）と呼ばれる、仮想空間（Virtual Space）構築技術に用いられる情報処理装置、情報処理方法、およびプログラムに関する。

　コンピュータを用いて仮想空間をクリエイトする技術が注目されている。仮想空間は、例えば複数の人がログイン可能なコンピュータサーバに、ＣＧ（Computer Graphics）技術等を用いて構築される。ＶＲ（Virtual Reality）は、その代表的なテクノロジーであり、例えば、クエストゲームのシーン等の仮想的世界を表現するのに応用されている。近年ではそれに加えて、現実空間（現実世界）での測定データをもとに、３Ｄの仮想空間に現実空間を忠実に再現することが試みられている。

　現実空間を測定して得られた３Ｄ点群データは、現実空間を仮想空間に表現するのに適している。さらに、現実空間の音情報を、仮想空間に反映することが考えられる。例えば、３Ｄ点群データと音情報とを同時に計測し、３Ｄ点群データで構築した仮想空間に音情報を反映することで、リアルなデジタルツインを作成することができる。

　仮想空間に音情報を反映する手法としては、収集された音情報を仮想空間側で音響的に再生することが先ず考えられる。しかし、仮想空間側の人物が耳が不自由であったり、音を再生する機器にトラブルが発生したりすると、仮想空間側で音情報を認識することが難しい。そこで、音情報を何らかの手段で視覚化し、仮想空間側に視覚的に重畳するという手法が検討されている。音情報の視覚化に関しては例えば非特許文献１、２が知られている。

　非特許文献１は、オンラインゲームの効果音を視覚化することについての一例である。オンラインゲームでは、効果音データやこれを視覚化する際の視覚化データ（ＣＧ）が予めゲームサーバに格納される。非特許文献１の技術は、効果音視覚化機能がＯＮになれば、該当する効果音を表す視覚化データをゲーム世界データ（ＣＧ）に重畳してユーザ端末に送信する。ユーザ端末は、ゲームサーバから受信したデータをモニタに表示するという技術である。

　非特許文献２は、音声を文字に変換することについての一例である。この機器は、マイクから入力された人間の音声（発話）を認識して文字情報に変換し、変換後の文字を端末のモニタにテキストで表示するというものである。

"［サウンドエフェクトを視覚化］アプデで強化された内容とは（フォートナイト）"，[online]，［令和4年5月2日検索］,インターネット，<URL:https://hebi-pan.com/fn-visual/> "ポケトーク（登録商標）mimi（SOURCENEXT社）"，[online]，［令和4年5月2日検索］,インターネット，<URL:https://pocketalkmimi.jp>

　非特許文献１のような、オンラインゲームで効果音を視覚化する技術では、予め用意された効果音データを視覚化できるのがせいぜいで、現実空間から取得された音情報を実時間で、適時、視覚化することは難しい。効果音も、視覚化データも、ゲームのプログラムとともに前もって用意されたものがメモリにロードされ使いまわしされるにすぎないからである。まして、ゲームのビジュアルデータはＣＧで予め用意されたオブジェクトであるので、「点の集まり」である３Ｄ点群データに音情報を視覚化して重畳することは、さらに困難である。

　非特許文献２のような音声文字変換技術では、そもそも、車のクラクションのような人工音や、風の音や雨の音などの自然音、あるいは周囲の音（環境音）を視覚化することはできない。この技術は、例えば耳の不自由な人のコミュニケーションを改善するために、人の発する発話（会話音声）を認識し文字化するもので、環境音などを仮想空間で視覚化することは想定されていない。

　この発明は上記事情に着目してなされたもので、その目的は、現実空間の音を仮想空間に反映できる技術を提供することにある。

　この発明の一態様によれば、現実空間の音を仮想空間に反映できる技術を提供することができる。

図１は、実施形態に係わる情報処理装置が適用されるシステムの一例を示す図である。図２は、仮想空間管理サーバ１、現実世界情報取得装置２、およびユーザ端末３の一例を示す機能ブロック図である。図３は、仮想空間管理サーバ１、現実世界情報取得装置２、およびユーザ端末３に係わるデータの流れを示す図である。図４は、仮想空間管理サーバ１、現実世界情報取得装置２、およびユーザ端末３に係わるデータの流れを示す図である。図５は、仮想空間管理サーバ１のプロセッサ７０の処理手順の一例を示すフローチャートである。

　以下、図面を参照してこの発明に係わる実施形態を説明する。導入として、先ず、３Ｄ点群データについて説明する。　
　現実空間を測定し、現実空間を模した仮想空間を構築する手法の一つに、３Ｄ点群データを用いる手法がある。３Ｄ点群データは、例えばＬｉＤＡＲ（Light Detection and Ranging）を用いて取得することができる。ＬｉＤＡＲは、対象物にレーザ光を照射し、その往復時間を計測することで、物体までの距離や方向、位置、形状などを測定するデバイスである。レーザ光のスキャン結果を点で表し、収集された無数の点（点群）を点描することで、現実空間の物体の画像イメージを生成することができる。

　ところで、一般に３Ｄ点群データは、３次元座標値（Ｘ，Ｙ，Ｚ）や色の情報（Ｒ，Ｇ，Ｂ）などの属性情報を持つ「単なる点の集まり」であり、このような性質のデータに、視覚化された情報を重畳することは難しい。つまり、３Ｄ点群データに音情報データを重畳することは難しい。以下では、このような困難を解決し得る技術について説明する。

　図１は、実施形態に係わる情報処理装置が適用されるシステムの一例を示す図である。このシステムは、情報処理装置としての仮想空間管理サーバ１を中核とする。仮想空間管理サーバ１は、ネットワーク４を介して現実世界情報取得装置２にアクセスすることが可能であり、さらに、ユーザ端末３が、ネットワーク４を介して仮想空間管理サーバ１にアクセスすることができる。

　図１において、現実世界情報取得装置２は、例えば交差点や公園などに設置され、設置場所の周辺の環境情報を取得する。実施形態において、３Ｄ点群データ、および音情報データを環境情報として想定する。現実世界情報取得装置２は、環境センサとしての測定部２１と、音響センサとしての周囲音収集部２２とを備える。測定部２１は、現実空間の３Ｄ点群データを取得する。周囲音収集部２２は、現実空間の音情報データを取得する。３Ｄ点群データ、および音情報データは、ネットワーク４経由で仮想空間管理サーバ１に伝送される。

　仮想空間管理サーバ１は、ネットワーク４を介して３Ｄ点群データおよび音情報データを取得し、これらのデータから仮想空間映像を構築する。ユーザ端末３は、ネットワーク４を介して仮想空間管理サーバ１にアクセスし、仮想空間映像を取得する。

　仮想空間管理サーバ１は、プロセッサ７０およびメモリ６０を具備する情報処理装置（コンピュータ）である。加えて、仮想空間管理サーバ１は、ストレージ５０と、ネットワーク４との通信インタフェースとして機能する通信部８０とを備える。

　通信部８０は、ネットワーク４経由で現実世界情報取得装置２と通信して、３Ｄ点群データと、音情報データを取得する。取得された３Ｄ点群データ（符号５１）はストレージ５０に格納される。

　ストレージ５０は、さらに、プログラム５２を記憶する。プログラム５２は、仮想空間管理サーバ１のＯＳ（Operation System）によりメモリ６０にロードされ、プロセッサ７０により実行される。プログラム５２は、プロセッサ７０を、点群データ管理部１０、音情報解析部２０、仮想空間構築部３０、および、属性変更部４０として機能させる。

　点群データ管理部１０は、現実世界情報取得装置２から取得された現実空間の３Ｄ点群データを、例えばストレージ５０に格納する。　
　音情報解析部２０は、現実世界情報取得装置２から取得された周囲音の音情報データを解析して、当該音情報データの種別を求める。　
　属性変更部４０は、点群データ管理部１０に格納された３Ｄ点群データの属性情報を前記音情報データの種別に基づいて変更する。　
　仮想空間構築部３０は、属性情報を変更された３Ｄ点群データに基づいて仮想空間映像を構築する。

　図２は、仮想空間管理サーバ１、現実世界情報取得装置２、およびユーザ端末３の一例を示す機能ブロック図である。図２において、現実世界情報取得装置２の測定部２１は例えばＬｉＤＡＲであり、現実空間をレーザ光でスキャンして３Ｄ点群データを得る。

　周囲音収集部２２は例えば３６０度マイクであり、現実世界情報取得装置２が設置された場所の周囲の音を収集して音情報データを生成する。３Ｄ点群データおよび音情報データは、現実世界情報取得装置２の通信部２３と仮想空間管理サーバ１の通信部８０との間に形成された通信リンクを介して仮想空間管理サーバ１に送信される。

　ユーザ端末３は、モニタ３１ａに接続された映像表示部３１、スピーカ３２ａに接続された音声再生部３２、キーボード（ＫＢ）３３ａ等に接続されたＩ／Ｏ部３３、および通信部３４を備える。映像表示部３１は、仮想空間管理サーバ１から受信した３Ｄ点群データによる仮想空間映像をモニタ３１ａに表示する。音声再生部３２は、スピーカ３２ａから音響を再生する。Ｉ／Ｏ部３３は、ＫＢ３３ａからのユーザの入出力操作を受け付ける。

　仮想空間管理サーバ１は、通信部８０と、点群データ管理部１０、音情報解析部２０、仮想空間構築部３０、および、属性変更部４０を備える。　
　点群データ管理部１０は、点群データ取得部１０ａ、および位置確定部１０ｂを備える。　
　点群データ取得部１０ａは、現実世界情報取得装置２の測定部２１から３Ｄ点群データを取得し、ストレージ５０に３Ｄ点群データ５１として格納する。　
　位置確定部１０ｂは、現実世界情報取得装置２の設置位置を取得する。

　音情報解析部２０は、音情報取得部２０ａ、解析部２０ｂ、および、音情報解析ルール管理部２０ｃを備える。　
　音情報取得部２０ａは、周囲音収集部２２からの音情報データを取得する。　
　音情報解析ルール管理部２０ｃは、音情報データの解析ルールを管理する。　
　解析部２０ｂは、取得された音情報データを、音情報解析ルール管理部２０ｃの解析ルールに基づいて解析して、当該音情報データの種別を算出する。

　属性変更部４０は、点群データ属性変更部４０ａ、および、点群データ属性変更ルール管理部４０ｂを備える。　
　点群データ属性変更ルール管理部４０ｂは、３Ｄ点群データの属性の変更ルールを管理する。　
　点群データ属性変更部４０ａは、点群データ管理部１０に格納された３Ｄ点群データの属性情報を、点群データ属性変更ルール管理部４０ｂの変更ルールに基づいて変更する。

　仮想空間構築部３０は、点群データ映像化管理部３０ａ、および、点群データ映像化部３０ｂを備える。　
　点群データ映像化部３０ｂは、属性情報を変更された３Ｄ点群データを映像化して、仮想空間の映像データを生成する。　
　点群データ映像化管理部３０ａは、点群データ映像化部３０ｂによる３Ｄ点群データの映像化を、現実世界情報取得装置２の設置位置に基づいて管理する。

　図３は、仮想空間管理サーバ１、現実世界情報取得装置２、およびユーザ端末３に係わるデータの流れを示す図である。　
　図３において、現実世界情報取得装置２は、測定部２１により取得した装置周囲の３Ｄ点群データと、周囲音収集部２２により収集した装置周囲の音情報データとを、通信部２３から仮想空間管理サーバ１に送信する。

　仮想空間管理サーバ１は、受信した３Ｄ点群データを点群データ管理部１０に送り、管理する。点群データ管理部１０の位置確定部１０ｂは、現実世界情報取得装置２の位置情報を３Ｄ点群データから抽出し、音情報解析部２０に渡す。

　音情報解析部２０の音情報取得部２０ａは、音情報データおよび位置情報を取得し、解析部２０ｂに渡す。解析部２０ｂは、音情報解析ルール管理部２０ｃの解析ルールに基づいて音情報データを解析し、音情報データの種別を判定する。特に、解析部２０ｂは、位置情報に対応付けて音情報データの種別を判定する。つまり、音情報データの種別は位置情報ごとに判定され、その結果は属性変更部４０に渡される。

　属性変更部４０の点群データ属性変更部４０ａは、３Ｄ点群データの属性情報を、解析部２０ｂから通知された音情報データの種別に応じて変更する。その際、点群データ属性変更ルール管理部４０ｂの変更ルールが参照される。３Ｄ点群データに対する属性情報の変更内容は、位置情報とともに仮想空間構築部３０に通知される。

　仮想空間構築部３０の点群データ映像化部３０ｂは、元の（属性を変更しない）３Ｄ点群データに、属性変更部４０により属性を変更された３Ｄ点群データを重畳し、仮想空間映像を構築する。仮想空間映像を構築することは、点群データ映像化管理部３０ａにより現実世界情報取得装置２の設置位置に基づいて管理される。属性変更後の仮想空間映像は、通信部８０からユーザ端末３に送信される。

　ユーザ端末３は、Ｉ／Ｏ部３３を介して与えられたユーザからの指示等に基づいて機能し、通信部３４で受信した属性変更後の仮想空間映像を、モニタ３１ａに表示する。音声再生部３２は、音情報の再生を行う。

　図４は、仮想空間管理サーバ１、現実世界情報取得装置２、およびユーザ端末３に係わるデータの流れを示す図である。現実世界情報取得装置２で収集された３Ｄ点群データと音情報データは、仮想空間管理サーバ１に送信される。仮想空間管理サーバ１は、音情報データの種別を解析し、この種別に基づいて３Ｄ点群データの属性を変更する。属性変更後の３Ｄ点群データに基づいて作成された仮想空間映像は、ユーザ端末３に送信され、モニタ３１ａに表示される。

　図５は、仮想空間管理サーバ１のプロセッサ７０の処理手順の一例を示すフローチャートである。図５において、プロセッサ７０は、現実空間の３Ｄ点群データを現実世界情報取得装置２から取得し（ステップＳ１）、ストレージに格納する（ステップＳ２）。また、プロセッサ７０は、周囲音の音情報データを現実世界情報取得装置２から取得し（ステップＳ３）、解析して、音情報データの種別を算出する（ステップＳ４）。　
　さらに、プロセッサ７０は、音情報データの種別に基づいて３Ｄ点群データの属性情報を変更し（ステップＳ５）、この、属性情報を変更した３Ｄ点群データから仮想空間映像を構築する（ステップＳ６）。

　次に、上記構成における作用を複数の動作例に分けて説明する。　
　＜動作例１＞
　この動作例では、現実世界情報取得装置２が交差点に設置されることを想定とする。この動作例では、仮想空間管理サーバ１が、現実世界情報取得装置２で収取された交差点の人口音を解析する。

　（１）現実空間情報の取得：
　まず、現実世界情報取得装置２を、現実空間の交差点近くに設置する。現実世界情報取得装置２は、測定部２１で周囲をセンシングし、３Ｄ点群データを取得する。また、周囲音収集部２２が現実世界情報取得装置２の周囲の音情報を収集する。取得された３Ｄ点群データと音情報データは、仮想空間管理サーバ１に送信される。

　（２）点群データの保管：
　仮想空間管理サーバ１は、現実世界情報取得装置２から受信した３Ｄ点群データをストレージ５０に格納し、位置確定部１０ｂで、３Ｄ点群データの送信元である交差点の位置情報を記録する。

　（３）音情報の解析：
　仮想空間管理サーバ１は、現実世界情報取得装置２から受信した装置周囲の音情報データを、位置確定部１０ｂから通知された位置情報と共に音情報解析部２０で解析する。解析に利用される解析ルールは、音情報解析ルール管理部２０ｃにより管理される。＜動作例１＞の解析ルールは、その音情報が車のクラクション等の人工音かどうかを判定し（ルール（ａ））、および、その強弱を判定する（ルール（ｂ））というものである。

　また、＜動作例１＞では、当該交差点で、大きなクラクション音が鳴らされたとし、（ａ：人工音である）、（ｂ：音の強度：大）と判定されたものとする。

　（４）点群データの属性変更のルール：
　仮想空間管理サーバ１の点群データ属性変更部４０ａは、音情報の位置情報と判定種別に基づいて、３Ｄ点群データの属性データを変更する。変更する内容（ルール）は、点群データ属性変更ルール管理部４０ｂに規定されている。例えば「人工音」に関しては、「大」なら「赤」、「中」なら「オレンジ」、「小」なら「黄色」と規定されているとする。

　（５）点群データの属性の変更：
　＜動作例１＞では、当該音情報データが（ａ：人工音である）、（ｂ：音の強度：大）と判定された。これに応じて点群データ属性変更部４０ａは、位置確定部１０ｂに記録された座標から例えば周囲３ｍ範囲の３Ｄ点群データの色の属性情報を「赤」となる数値に変更するという内容の［位置情報と属性変更内容］を仮想空間構築部３０に送る。

　（６）属性変更後の仮想空間映像の構築：
　仮想空間構築部３０の点群データ映像化部３０ｂは、点群データ属性変更部４０ａから通知された［位置情報と属性変更内容］に基づき、ストレージ５０から読み出した３Ｄ点群データのうち、該当する座標の点の属性を変更する。関係するすべての点の属性の変更が完了すると、点群データ映像化部３０ｂは、この新たな点群データを用いて仮想空間映像データを作成する。この仮想空間映像データを映像化すると、仮想空間内における、現実世界情報取得装置２が設置された交差点の周囲が赤い点群で表示されることとなる。

　（７）属性変更後の仮想空間映像の表示：
　現実世界情報取得装置２が設置された仮想空間内の交差点の周囲が、赤い点群で表示された［属性変更後の仮想空間映像データ］、がユーザ端末３に送信される。ユーザ端末３は、これを受信し、映像化して、モニタ３１ａに表示する。このようにすることで、ユーザは、当該交差点の近くで、大きな人工音が鳴らされたことを、仮想空間内において視覚的に認識することが可能となる。

　＜動作例２＞
　この動作例では、現実世界情報取得装置２が公園に設置されることを想定する。この動作例２では、仮想空間管理サーバ１が、現実世界情報取得装置２で収集された公園の自然音を解析する。

　（１）現実空間情報の取得：
　まず、現実世界情報取得装置２を、現実空間の公園内に設置する。現実世界情報取得装置２は、測定部２１で周囲をセンシングし、３Ｄ点群データを取得する。また、周囲音収集部２２が現実世界情報取得装置２の周囲の音情報を収集する。取得された３Ｄ点群データと音情報データは、仮想空間管理サーバ１に送信される。

　（２）点群データの保管：
　仮想空間管理サーバ１は、現実世界情報取得装置２から受信した３Ｄ点群データをストレージ５０に格納し、位置確定部１０ｂで、３Ｄ点群データの送信元である公園の位置情報を記録する。

　（３）音情報の解析：
　仮想空間管理サーバ１は、現実世界情報取得装置２から受信した装置周囲の音情報データを、位置確定部１０ｂから通知された位置情報と共に音情報解析部２０で解析する。解析に利用される解析ルールは、音情報解析ルール管理部２０ｃにより管理される。＜動作例１＞の解析ルールは、その音情報が風の音等の自然音かどうかを判定し（ルール（ａ））、および、その強弱を判定する（ルール（ｂ））というものである。

　また、＜動作例２＞では、当該公園内で、「ざわざわ」という感じの風の音が集音されたとし、（ａ：自然音である）、（ｂ：音の強度：中）と判定されたものとする。

　（４）点群データの属性変更のルール：
　仮想空間管理サーバ１の点群データ属性変更部４０ａは、音情報の位置情報と判定種別に基づいて、３Ｄ点群データの属性データを変更する。変更する内容（ルール）は、点群データ属性変更ルール管理部４０ｂに規定されている。例えば「自然音」に関しては、「大」なら「周囲５ｍ」、「中」なら「周囲３ｍ」、「小」なら「周囲１ｍ」の点群データの位置情報を１０％内で変動する、と規定されているとする。

　（５）点群データの属性の変更：
　＜動作例２＞では、当該音情報データが（ａ：自然音である）、（ｂ：音の強度：中）と判定された。これに応じて点群データ属性変更部４０ａは、位置確定部１０ｂに記録された座標から例えば周囲３ｍ範囲の３Ｄ点群データの座標を１０％内の数値に変動させるという内容の［位置情報と属性変更内容］を仮想空間構築部３０へ送る。

　（６）属性変更後の仮想空間映像の構築：
　仮想空間構築部３０の点群データ映像化部３０ｂは、点群データ属性変更部４０ａから通知された［位置情報と属性変更内容］に基づき、ストレージ５０から読み出した３Ｄ点群データのうち、該当する座標の点の属性を変更する。関係するすべての点の属性の変更が完了すると、点群データ映像化部３０ｂは、この新たな点群データを用いて仮想空間映像データを作成する。この仮想空間映像データを映像化すると、仮想空間内における、現実世界情報取得装置２が設置された公園内の位置の周囲の点群が「揺れた」感じで表示されることとなる。

　（７）属性変更後の仮想空間映像の表示：
　現実世界情報取得装置２が設置された仮想空間内の公園内の位置の周囲が、「揺れた」感じで表示された［属性変更後の仮想空間映像データ］が、ユーザ端末３に送信される。ユーザ端末３は、これを受信し、映像化して、モニタ３１ａに表示する。このようにすることで、ユーザは、当該公園内で、「中くらいの自然音」が聞こえたことを、視覚的に認識することが可能となる。

　＜動作例３＞
　この動作例では、仮想空間管理サーバ１の音情報解析部２０が、例えば、音情報解析機能を有する外部のＡＩ（Artificial Intelligence）システムを利用することを想定する。　
　動作例１、２では、仮想空間管理サーバ１の音情報解析部２０により音情報データを解析した。これに代えて、外部のＡＩシステム等と連携することで、音情報解析機能の性能を向上できることが期待される。これを実現するには、例えば音情報解析部２０に外部ＡＩシステムとのインタフェース機能を実装し、外部のＡＩシステムに音情報データを送信して、この音情報データの種別を含む解析結果を受信することになる。

　＜動作例４＞
　この動作例では、仮想空間管理サーバ１がさらにテキスト変更機能を備え、音情報をテキストに変換する機能を併せ持つことを想定する。　
　動作例１、２では、仮想空間管理サーバ１の点群データ属性変更部４０ａにより点群データの属性を変更した。これだけでなく、仮想空間側の映像表現をよりリッチなものにするためには、例えば音声文字変換機能により、点群データの属性を変更することと併用しても良い。例えば、音情報解析部２０に音声文字変換機能を追加で実装し、文字変換した結果（テキスト）を仮想空間構築部３０に送り、テキスト情報を重畳した仮想空間映像を構築するとよい。

　＜動作例５＞
　この動作例では、仮想空間管理サーバ１がさらに映像データ追加機能を備え、音情報を映像データに変換する機能を併せ持つことを想定する。　
　動作例１、２では、仮想空間管理サーバ１の点群データ属性変更部４０ａにより点群データの属性を変更した。これだけでなく、仮想空間側の映像表現をよりリッチなものにするためには、音情報の種別に対応するＣＧ（Computer Graphics）画像を用意し、ストレージ５０などに記憶させる。そして、３Ｄ点群データの属性を変更することと並行して、ＣＧ画像を読み出して仮想空間映像に重畳するようにする。

　このケースでは、例えば音情報解析部２０に、音情報に対応するＣＧ画像を格納する音情報ＣＧ格納機能を追加し、音情報データの種別に対応したＣＧ画像を仮想空間構築部３０に送り、ＣＧ画像を重畳した仮想空間映像を構築するとよい。

　＜動作例６＞
　この動作例では、現実世界情報取得装置２が可搬型であり、自由に移動であることを想定する。

　動作例１では、現実世界情報取得装置２が交差点に設置されることを想定した。また動作例２では、現実世界情報取得装置２が公園に設置されることを想定した。いずれも現実世界情報取得装置２は、固定的に設置されていた。

　ところで近年、簡易的なＬｉＤＡＲ測定機能を実装するモバイル端末（スマートフォン等）が知られている。そこで、将来的には、現実世界情報取得装置２を可搬型にすることも可能となる可能性がある。このようなケースでは、仮想空間管理サーバ１内の位置確定部１０ｂに位置推定機能を追加し、現実世界情報取得装置２の現在位置を推定した後、位置を記録するとよい。

　以上述べたように、実施形態では、現実空間の情報取得装置として、３Ｄ点群データ測定機能と周囲音を収集するマイク等を備えた現実世界情報取得装置２を、交差点や公園などに設置する。

　また、仮想空間管理サーバ１は、現実世界情報取得装置２から受信した音情報データを解析し、その種別を判定する。音情報データの種別に応じて、仮想空間管理サーバ１は、受信した３Ｄ点群データの属性を変更し３Ｄ点群データによる仮想空間映像を構築する。例えば、音情報データの種別が人工音（車のクラクション等）と判定された場合には、３Ｄ点群データの対応する位置の点の色情報を赤色に変更する。また、音情報データの種別が自然音（風の音など）と判定された場合には、対応する位置の点の座標値情報を一定の範囲で変更する。

　生成された仮想空間映像データは、ユーザ端末３に送信される。ユーザ端末３において、音情報データに基づいて属性を変更された３Ｄ点群データによる仮想空間映像が表示される。これにより、ユーザは、現実空間の音情報が視覚的に反映された３Ｄ点群データによる仮想空間を体験することが可能になる。

　実施形態によれば、ユーザは、３Ｄ点群による仮想空間内において、周囲音情報を視覚化された情報として認識できるようになる。これにより、仮想空間の音声再生装置に異常があったり、仮想空間側の人が聴覚が不自由であったりする場合でも、現実空間の周囲音情報を認識することが可能になる。
　これらのことから、実施形態によれば、現実空間の音を仮想空間に反映できる技術を提供することが可能になる。

　なお、この発明は、上記実施形態そのままに限定されるものではない。　
　例えば、＜動作例１＞では、音情報データが人工音か否かを音情報解析部２０により判定した。音情報解析の性能がさらに向上すると、その人工音の種別（クラクション音か、衝突音か等）までも音情報解析部２０で判定できることが期待される。これが可能になった場合には、例えば区別可能な人工音の種別が増加したことに応じて、点群データ属性変更部４０ａでの変更パターンも増やすことが考えられる。

　また、＜動作例２＞では、音情報データが自然音か否かを音情報解析部２０により判定した。音情報解析の性能がさらに向上すると、その自然音の種別（風の音か、雨の音か等）までも音情報解析部２０で判定できることが期待される。これが可能になった場合には、例えば区別可能な自然音の種別が増加したことに応じて、点群データ属性変更部４０ａでの変更パターンも増やすことが考えられる。

　また、本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。さらに、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

　１…仮想空間管理サーバ
　２…現実世界情報取得装置
　３…ユーザ端末
　４…ネットワーク
　１０…点群データ管理部
　１０ａ…点群データ取得部
　１０ｂ…位置確定部
　２０…音情報解析部
　２０ａ…音情報取得部
　２０ｂ…解析部
　２０ｃ…音情報解析ルール管理部
　２１…測定部
　２２…周囲音収集部
　２３…通信部
　３０…仮想空間構築部
　３０ａ…点群データ映像化管理部
　３０ｂ…点群データ映像化部
　３１…映像表示部
　３１ａ…モニタ
　３２…音声再生部
　３２ａ…スピーカ
　３３…Ｉ／Ｏ部
　３３ａ…キーボード
　３４…通信部
　４０…属性変更部
　４０ａ…３点群データ属性変更部
　４０ｂ…３点群データ属性変更ルール管理部
　５０…ストレージ
　５１…３Ｄ点群データ
　５２…プログラム
　６０…メモリ
　７０…プロセッサ
　８０…通信部。

Claims

　環境センサおよび音響センサを備える現実世界情報取得装置と通信する通信部と、
　前記現実世界情報取得装置から取得された現実空間の３Ｄ点群データを格納する点群データ管理部と、
　前記現実世界情報取得装置から取得された周囲音の音情報データを解析して当該音情報データの種別を求める音情報解析部と、
　前記点群データ管理部に格納された３Ｄ点群データの属性情報を前記音情報データの種別に基づいて変更する属性変更部と、
　前記属性情報を変更された３Ｄ点群データに基づいて仮想空間映像を構築する仮想空間構築部とを具備する、情報処理装置。
　前記点群データ管理部は、
　　前記環境センサから前記３Ｄ点群データを取得する点群データ取得部と、
　　前記取得された３Ｄ点群データを格納する点群データ格納部と、
　　現実世界情報取得装置の設置位置を取得する位置確定部とを備える、請求項１に記載の情報処理装置。
　前記音情報解析部は、
　　前記音響センサから前記音情報データを取得する音情報取得部と、
　　前記音情報データの解析ルールを管理する音情報解析ルール管理部と、
　　前記取得された音情報データを前記解析ルールに基づいて解析して、当該音情報データの種別を算出する解析部とを備える、請求項１に記載の情報処理装置。
　前記音情報解析部は、
　　音情報解析機能を備えるＡＩシステムとのインタフェース機能と、
　　前記取得された音情報データを前記ＡＩシステムに送信し、当該ＡＩシステムによる前記音情報データの解析結果を受信する機能とを備える、請求項１に記載の情報処理装置。
　前記属性変更部は、
　　前記３Ｄ点群データの属性の変更ルールを管理する点群データ属性変更ルール管理部と、
　　前記点群データ管理部に格納された３Ｄ点群データの属性情報を前記変更ルールに基づいて変更する点群データ属性変更部と、を備える、請求項１に記載の情報処理装置。
　前記仮想空間構築部は、
　　前記属性情報を変更された３Ｄ点群データを映像化して仮想空間の映像データを生成する点群データ映像化部と、
　　前記３Ｄ点群データの映像化を、現実世界情報取得装置の設置位置に基づいて管理する点群データ映像化管理部とを備える、請求項１に記載の情報処理装置。
　プロセッサとストレージとを具備する情報処理装置の前記プロセッサにより実行される情報処理方法において、
　前記プロセッサが、環境センサおよび音響センサを備える現実世界情報取得装置と通信する過程と、
　前記プロセッサが、前記現実世界情報取得装置から取得された現実空間の３Ｄ点群データを前記ストレージに格納する過程と、
　前記プロセッサが、前記現実世界情報取得装置から取得された周囲音の音情報データを解析して当該音情報データの種別を求める過程と、
　前記プロセッサが、前記ストレージに格納された３Ｄ点群データの属性情報を前記音情報データの種別に基づいて変更する過程と、
　前記プロセッサが、前記属性情報を変更された３Ｄ点群データに基づいて仮想空間映像を構築する過程とを具備する、情報処理方法。
　コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の前記各部として機能させる、プログラム。