JP7473489B2 - 出力制御装置、出力制御システム、および制御方法 - Google Patents

Description

本開示は出力制御装置、出力制御システム、および制御方法に関する。

スピーカからの音声の出力を制御することによって、当該音声で形成される音の定位、すなわち「音像」の位置を制御する技術が従来から存在する。

特開２０１５－１６７８７号公報

ところで、近年、ＡＲ（Augmented Reality：拡張現実）またはＭＲ（Mixed Reality：複合現実）等において、ユーザにより臨場感のある視覚的および聴覚的体験を提供するための技術が求められている。

本開示の一態様は、移動体の搭乗者に臨場感のある映像および音声を提供することを目的とする。

上記の課題を解決するために、本開示の一態様に係る出力制御装置は、移動体の内部空間に設置されたディスプレイおよびスピーカを制御する出力制御装置であって、前記移動体の現実空間での位置である現実位置と、前記移動体の現実空間での向きとを特定する位置方向特定部と、仮想音源となる３次元オブジェクトである音源オブジェクトを３次元マップに配置した仮想空間を規定する仮想空間データを記憶装置から読み込む読込部と、前記移動体の前記現実位置および前記現実空間での向きに応じて、前記移動体の前記仮想空間での位置である仮想位置と、前記移動体の仮想空間での向きと、を決定する仮想位置決定部と、前記移動体の前記仮想位置および前記仮想空間での向きと、前記ディスプレイの設置位置とに基づいて、前記仮想空間の一部の領域の画像または一部のオブジェクトの画像を前記ディスプレイに表示させる表示制御部と、前記スピーカから音声を出力させる音声出力制御部と、を備え、前記音声出力制御部は、前記移動体の前記仮想空間での向きと、前記移動体の仮想位置と前記音源オブジェクトとの相対的な位置関係と、に基づいて前記スピーカからの出力音声により形成される音像の位置を制御する。

上記の課題を解決するために、本開示の一態様に係る制御方法は、移動体の内部空間に設置されたディスプレイおよびスピーカを制御するための制御方法であって、前記移動体の現実空間での位置である現実位置と、前記移動体の現実空間での向きとを特定する位置方向特定ステップと、仮想音源となる３次元オブジェクトである音源オブジェクトを３次元マップに配置した仮想空間を規定する仮想空間データを記憶装置から読み込む読込ステップと、前記移動体の前記現実位置および前記現実空間での向きに応じて、前記移動体の前記仮想空間での位置である仮想位置と、前記移動体の仮想空間での向きと、を決定する仮想位置決定ステップと、前記移動体の前記仮想位置および前記仮想空間での向きと、前記ディスプレイの設置位置とに基づいて、前記仮想空間の一部の領域の画像または一部のオブジェクトの画像を前記ディスプレイに表示させる表示制御ステップと、前記スピーカから音声を出力させる音声出力制御ステップと、を含み、前記音声出力制御ステップでは、前記移動体の前記仮想空間での向きと、前記移動体の仮想位置と前記音源オブジェクトとの相対的な位置関係と、に基づいて前記スピーカからの出力音声により形成される音像の位置を制御する。

前記の構成および処理によれば、現実空間での移動体の位置と向きに応じて、仮想空間での移動体の位置および向きを決定することができる。そして、この仮想空間での移動体の位置および向きに応じた画像をディスプレイに表示させることができる。さらに、仮想空間に配置されている音源オブジェクトを仮想的な音源としたときの、仮想空間での移動体と音源オブジェクトとの位置関係および方向に応じた位置に、該音源オブジェクトに対応する音声の音像を形成させることができる。

したがって、現実空間に存在する移動体の搭乗者に対して、本来は仮想的な音源である音源オブジェクトがあたかも本当に存在する音源であり、音を発しているかのような体験をさせることができる。すなわち、移動体の搭乗者に臨場感のある映像および音声を提供することができる。

前記出力制御装置において、前記位置方向特定部は、前記移動体の前記現実位置と前記現実空間での向きとを定期的に更新してもよく、前記仮想位置決定部は、更新後の前記現実位置および前記現実空間での向きに応じて前記仮想位置と前記仮想空間での向きとを更新してもよく、前記表示制御部は、更新後の前記仮想位置および前記仮想空間での向きに基づいて更新された前記一部の領域の画像または前記一部のオブジェクトの画像を前記ディスプレイに表示させてもよく、前記音声出力制御部は、更新後の前記仮想位置および前記仮想空間での向きに基づいて、前記音像の位置を更新してもよい。

前記の構成によれば、出力制御装置は、移動体の現実位置および現実の向きが変化した場合、変化後の現実位置および現実空間での向きを特定することができる。移動体の仮想位置および仮想空間での向きは、現実位置および現実空間での向きに応じて決定される。そして、ディスプレイに表示する領域の画像またはオブジェクトの画像と、スピーカが出力する音声で形成される音像の位置は、移動体の仮想位置および仮想空間での向きに応じて決定される。

したがって、前記の構成によれば、移動体の現実位置および現実の向きが変化した場合、当該変化を反映した画像表示および音声出力を実現することができる。

前記出力制御装置において、前記音声出力制御部は、前記仮想空間において前記仮想位置と前記音源オブジェクトとの距離が遠いほど、当該音源オブジェクトに対応する音声の出力音量が小さくなるように前記スピーカを制御してもよい。

前記の構成によれば、音の大きさで、移動体と音源オブジェクトとの位置関係を表すことができる。したがって、移動体の搭乗者により臨場感のある音響を体感させることができる。

前記出力制御装置において、前記仮想位置決定部は、前記仮想空間における任意の基準点と前記仮想位置との位置関係が、前記現実空間における任意の基準点と前記現実位置との位置関係と相似するように前記仮想位置を決定してもよく、前記表示制御部が前記ディスプレイに表示させる前記一部の領域の画像または前記一部のオブジェクトの画像は、前記仮想空間が前記現実空間と同一スケールで表示されるように決定されてもよい。

前記の構成によれば、移動体の搭乗者に、現実空間と仮想空間とが融合したかのような視覚的効果を与えることができる。

上記の課題を解決するために、本開示の一態様に係る制御システムは、前記出力制御装置と、前記移動体の前記現実位置に係るデータを測定する測位装置と、前記記憶装置と、前記ディスプレイと、前記スピーカと、を備え、前記出力制御装置の前記位置方向特定部は、前記測位装置から取得した前記現実位置に係るデータに基づいて、前記移動体の前記現実位置と、前記移動体の現実空間での向きとを特定する。前記の構成によれば、前記出力制御装置と同様の効果を奏する。

本開示の一態様によれば、移動体の搭乗者に臨場感のある映像および音声を提供することができる。

本開示の実施形態１に係る出力制御システムの動作の一例を示す図である。 前記出力制御システムを構成する各種装置の要部構成を示すブロック図である。 本開示の実施形態１に係る仮想空間の具体例を示した図である。 本開示の実施形態１に係る移動体におけるディスプレイおよびスピーカの設置例を示す図である。 本開示の実施形態１に係る出力制御装置における処理の流れを示すフローチャートである。 仮想空間における移動体と音源オブジェクトとの相対的な位置関係の変化と、現実空間における音像の位置の変化とを示す図である。 本開示の実施形態２に係る出力制御システムを構成する各種装置の要部構成を示すブロック図である。 本開示の実施形態２に係る出力制御システムにおける、バイブレータの設置例を示した図である。 本開示の実施形態３に係る出力制御システムを構成する各種装置の要部構成を示すブロック図である。

〔実施形態１〕
本実施形態に係る出力制御システムは、移動体の内部空間における画像および音声の出力を制御するシステムである。出力制御システムは、移動体の搭乗者に、現実世界とリンクした仮想空間の画像および音声を提供する。すなわち、出力制御システム１００は、移動体の内部空間においてＭＲ（Mixed Reality：複合現実）を実現する。

以下、本実施形態に係る出力制御システムを構成する各種装置の構成および動作について、図１～図６を用いて詳細に説明する。なお、本明細書における「画像」とは、静止画と動画の両方を含むこととする。また、本明細書における「音声」とは、人の声に限らず、効果音、環境音、ＢＧＭ等を含む全ての音を意味することとする。

≪システムの動作例≫
始めに、出力制御システム１００の動作概要を説明する。図１は、本実施形態に係る出力制御システム１００の動作の一例を示す図である。図１は、出力制御システム１００を搭載した移動体９の内部空間を、該内部空間に滞在する搭乗者Ｐ１の背後から見た図である。図１に示す通り、移動体９の内部空間には、座席Ｓ１と、運転席Ｓ２と、ディスプレイ４と、スピーカ５とが設置されている。なお、出力制御システム１００において座席Ｓ１および運転席Ｓ２は必須の構成ではない。また、ディスプレイ４およびスピーカ５の数は図１に示した例に限定されない。

（移動体９の内部空間）
図１に示す移動体９の内部空間の場合、ディスプレイ４は運転席の正面、および座席Ｓ１の背面以外の、少なくとも２つの壁面に設けられている。また、図１の場合、運転席の正面はディスプレイ４ではなく窓になっている。なお、図１の例の場合、座席Ｓ１の背面の壁の構造は問わない。座席Ｓ１のうち１つには、移動体９の内部空間に滞在する搭乗者Ｐ１が座っている。以降、「移動体９の内部空間に滞在する搭乗者」のことを、単に「搭乗者」と称する。出力制御システム１００はディスプレイ４それぞれに、仮想空間の風景を描画した画像を表示させる。また、出力制御システム１００はスピーカ５それぞれに、仮想空間を表現するための音声を出力させる。

（仮想空間）
本明細書において「仮想空間」とは、所定範囲の３次元マップと、当該３次元マップに配置される種々の３次元オブジェクトとで構成される３次元の空間モデルを意味する。詳しくは後述するが、出力制御システム１００は、移動体９の現実空間での位置および向きに応じて、移動体９の仮想空間での位置および向きを決定する。以降、便宜上、現実空間での位置のことを「現実位置」と称する。また、仮想空間での位置のことを「仮想位置」と称する。また、現実空間での向きを「現実の向き」、仮想空間での向きのことを「仮想の向き」と称する。出力制御システム１００は、決定した移動体９の仮想位置および仮想の向きに応じて、ディスプレイ４における画像表示と、スピーカ５における音声出力とを制御する。

なお、本明細書において、現実空間と仮想空間の異同は問わない。例えば、仮想空間は、実際に移動体９が走行する現実空間を忠実にコピーした空間モデルであってもよいし、海の底または空中等、現実には移動体９が走行し得ないような空間を模した空間モデルであってもよい。また、仮想空間には、現実空間に存在するものまたは事象を模したマップおよびオブジェクトと、現実空間に存在しないものまたは事象を模したマップおよびオブジェクトとが混在していてもよい。

（表示制御と音声出力制御）
出力制御システム１００は、移動体９の仮想位置および仮想の向きから見えると仮定される仮想空間の風景を描画した画像を生成する。出力制御システム１００は生成した画像をディスプレイ４に表示させる。例えば、出力制御システム１００において描画される仮想空間の領域は、移動体９の仮想位置および仮想の向きと、現実空間におけるディスプレイ４の位置および向きと、ディスプレイ４の大きさおよび形状と、に応じて決定される。

本実施形態では、特段の記載が無い限り、仮想空間の３次元マップおよび仮想空間の３次元オブジェクトはそれぞれ、いずれも風景として描画され得る（すなわち、透明ではない）マップおよびオブジェクトであることとする。しかしながら、仮想空間の３次元マップの少なくとも一部は、ディスプレイ４に表示されない透明のマップであってもよい。また、仮想空間の３次元オブジェクトの少なくとも一部は、ディスプレイ４に表示されない透明のオブジェクトであってもよい。

また、出力制御システム１００は、仮想空間を表現するための音声をスピーカ５から出力させる。出力制御システム１００は、移動体９の仮想位置および仮想の向きに搭乗者が居ると仮定した場合に聞こえると仮定される音声を特定し、当該音声を、当該仮想位置および仮想の向きでの聞こえ方を再現するように、スピーカ５から出力させる。

より具体的には、出力制御システム１００は、スピーカ５を制御することによって、出力音声により形成される音像の位置を制御する。例えば、出力制御システム１００は、移動体９の内部空間での音像の形成位置が、移動体９の仮想位置および仮想の向きから音源オブジェクトへの方向と同じ方向になるように、スピーカ５を制御する。図１の例では、ディスプレイ４に表示されたマンモス（すなわち、仮想空間上のオブジェクト）から音声が発せられていることを表現するため、出力制御システム１００はスピーカ５を制御してマンモスの表示の近くに音像を形成させる。

（移動体９の動きと画像および音声の変化）
出力制御システム１００は、移動体９の現実位置および現実の向きを随時特定し、これらに応じて移動体９の仮想位置および仮想の向きを随時更新する。さらに、出力制御システム１００は、更新後の仮想位置および仮想の向きに応じて、ディスプレイ４に表示させる画像と、スピーカ５に出力させる音声および該音声の音像の位置も随時更新する。このように、出力制御システム１００は、移動体９の動作に応じて、ディスプレイ４それぞれの表示と、スピーカ５それぞれの音声出力とをリアルタイムに変化させることができる。

例えば移動体９が走行中の場合、出力制御システム１００は、例えば移動体９の走行に合わせて移り変わる仮想空間の風景を表示することができる。また例えば、出力制御システム１００は、移動体９と音声の発生源であると仮定されているオブジェクトとの間の相対的な位置と、方向との移り変わりを、音像の形成位置の変化で表現することができる。これにより、出力制御システム１００は搭乗者Ｐ１に、移動体９があたかも仮想空間内を走行しているかのような画像および立体音響を体験させることができる。

≪要部構成≫
次に、出力制御システム１００を構成する各種装置の構成を説明する。図２は、本実施形態に係る出力制御システム１００を構成する各種装置の要部構成を示すブロック図である。出力制御システム１００は、出力制御装置１Ａと、測位装置２と、記憶装置３と、ディスプレイ４と、スピーカ５とを含む。少なくとも、出力制御装置１Ａと、ディスプレイ４と、スピーカ５は移動体９の内部空間に設置されている。また、本実施形態の例では、測位装置２および記憶装置３も移動体９の内部空間に設置されている。なお、記憶装置３は出力制御装置１Ａに含まれていてもよい。

（測位装置２）
測位装置２は、移動体９の現実位置に係る情報を収集する。測位装置２は測定により得られた情報（測定データとも称する）を出力制御装置１Ａに出力する。測位装置２の具体的な構造は特に限定されない。例えば、測位装置２は、移動体９の周囲の構造物を探知するＬｉＤＡＲ（Light Detection and Ranging）であってもよい。この場合、測定データとは、移動体９の周囲の構造物の、大きさおよび形状を示す情報である。また、測位装置２は、ＧＰＳ受信機であってもよい。この場合、測定データとは、ＧＰＳ衛星から受信する、緯度および経度を示す情報である。

（記憶装置３）
記憶装置３は、出力制御装置１Ａの動作に必要な各種情報を記憶する装置である。記憶装置３は少なくとも、仮想空間データ３１と、音源設定情報３２と、音声データ３３とを含む。また、記憶装置３は地図データ３４を含んでいてもよい。

仮想空間データ３１は、仮想空間の構築に係る各種データの集合である。仮想空間データ３１には、例えば、仮想空間のマップデータと、仮想空間に配置されるオブジェクトのデータと、が含まれる。仮想空間データ３１は予め作成されて記憶装置３に記憶される。本実施形態では、記憶装置３は１種類の仮想空間データ３１を記憶していることとする。しかしながら、記憶装置３は複数種類の仮想空間データ３１を記憶していてもよい。

（仮想空間の具体例）
図３は、仮想空間の具体例を示した図である。なお、図３は２次元の絵で仮想空間を模式的に示しているが、実際の仮想空間は３次元モデルである。また、図３では仮想空間における移動体９の位置および向きも併せて示している。

仮想空間には、仮想音源に設定されているオブジェクトである音源オブジェクトが１つ以上配置されている。「仮想音源」とは、仮想空間における音の発生源である。なお、ここで言う「音の発生源」とは、実際に音が発生するのではなく、あくまで音が発生するという設定を意味する。

図３の例では、マンモスのオブジェクトＢ１と、ビルのオブジェクトＢ２と、家屋のオブジェクトＢ３とがそれぞれ、音源オブジェクトである。このように、音源オブジェクトは動かないオブジェクトであってもよいし、規則的または不規則的に動くオブジェクトであってもよい。図３の例以外でも、例えば仮想空間が道路と町中を表現した空間である場合、音源オブジェクトは、踏切等、配置位置が変化しないオブジェクトであってもよいし、電車、自動車、または人等の配置位置が変化するオブジェクトであってもよい。

なお、音源オブジェクトは描画され得る、すなわち、ディスプレイ４に表示され得るオブジェクトであってもよいし、描画されない透明のオブジェクトであってもよい。例えば図３に示すマンモスのオブジェクトＢ１は、ディスプレイ４に表示され得るオブジェクト、かつ音源オブジェクトであってもよい。また例えば、図３に示すマンモスのオブジェクトＢ１は、ディスプレイ４に表示され得るオブジェクトであるが、音源オブジェクトでないこととしてもよい。そして、マンモスの音声または足音等、オブジェクトＢ１に関連する音声の音源オブジェクトは、オブジェクトＢ１とは異なる透明オブジェクトとして配置されていてもよい。

仮想空間データ３１に含まれるオブジェクトのうち、どのオブジェクトが音源オブジェクトであるかは、音源設定情報３２によって規定されている。音源設定情報３２は、音源オブジェクトに対する音声データ３３の割り当てを示す情報である。より具体的に言えば、音源設定情報３２は、音源オブジェクトであるオブジェクトの識別情報と、音声データ３３の識別情報と、を対応付けて記録した情報である。オブジェクトの識別情報とは、例えば、仮想空間データ３１において各オブジェクトに割り振られているＩＤである。音声データ３３の識別情報とは、例えば、音声データ３３のファイル名である。

音源設定情報３２には、音声データ３３の音量を示す情報が含まれていてもよい。例えば、音源設定情報３２は、音源オブジェクトの識別情報に対して、音声データ３３の識別情報と、当該音声データ３３の設定音量を示す情報と、を対応付けて記録した情報であってもよい。設定音量とは、移動体９の仮想位置から音源オブジェクトまでの距離がゼロである場合の、音声データ３３の再生音量を示す。設定音量は、例えば１～１００の数値で設定することができる。この場合、１が最も小さい音量であり、１００が最も大きい音量であってよい。

音声データ３３は、スピーカ５から出力される音声のデータである。音声データ３３は出力制御装置１Ａによって読み出され、後述する音声出力制御部１５において再生およびエフェクトの付加等の加工を受けた後に、スピーカ５から出力される。音源設定情報３２が音声データ３３の設定音量を含む場合、音声出力制御部１５は、仮想空間における移動体９の仮想位置から音源オブジェクトまでの距離に応じて、音声データ３３の音量を減衰させてもよい。

地図データ３４は、移動体９が走行し得る地域の地形、道路形状、目印となる構造物等の情報を含むデータである。出力制御システム１００において地図データ３４の取得方法は特に限定されない。例えば移動体９にカーナビゲーションシステムが備えられている場合、予め記憶装置３を当該カーナビゲーションシステムと接続させておき、地図データ３４をダウンロードさせておいてもよい。

なお、地図データ３４は、測位データから移動体９の現実位置を特定するときに用いられる。したがって、測位データから移動体９の現実位置が直接分かる場合は、記憶装置３は地図データ３４を記憶していなくてもよい。例えば、測位装置２がＧＰＳ受信機である場合、測位データは緯度および経度を示しているため、地図データ３４は必須の情報ではない。

（出力制御装置１Ａ）
出力制御装置１Ａは、ディスプレイ４およびスピーカ５を統括的に制御する装置である。出力制御装置１Ａは、移動体９の現実位置および現実の向きに応じて画像を生成して、ディスプレイ４に供給する。また、出力制御装置１Ａは、移動体９の現実位置および現実の向きに応じてスピーカ５から出力させる音声を決定し、該音声のスピーカ５からの出力態様を決定する。ここで、「音声の出力態様」とは、例えば、該音声により形成される音像の位置である。出力制御装置１Ａは、スピーカ５に出力すべき音声を供給するとともに、出力制御装置１Ａが決定した位置に音像が出来るようにスピーカ５における音声出力を制御する。

（出力制御装置１Ａの詳細な構成）
出力制御装置１Ａは、より詳細には、位置方向特定部１１と、読込部１２と、空間処理部１３と、表示制御部１４と、音声出力制御部１５と、を含む。

位置方向特定部１１は、測位装置２から取得した測位データから現実位置および現実の向きを特定する。位置方向特定部１１は、特定した現実位置を示す情報、および、特定した現実の向きを示す情報を、空間処理部１３に供給する。

位置方向特定部１１は現実位置を、例えば以下のように特定する。測位装置２がＬｉＤＡＲである場合、位置方向特定部１１はＬｉＤＡＲの測位データと、記憶装置３に記憶された地図データ３４とを照合することによって、移動体９の現実位置を特定する。一方、測位装置２がＧＰＳ受信機であり、測位データがすでに移動体９の現実位置（例えば、緯度および経度）を示す情報である場合、位置方向特定部１１は得られた測位データを、そのまま現実位置を示す情報とする。

位置方向特定部１１は現実の向きを、例えば以下のように特定する。測位装置２がＬｉＤＡＲである場合、現実位置を特定する際の測位データと地図データ３４との照合で、現実の向きも同時に特定することができる。測位装置２がＬｉＤＡＲ以外の装置である場合、位置方向特定部１１はまず、測位データからの現実位置の特定を複数回行い、これらの現実位置を比較することで、現実位置の移動方向を特定する。位置方向特定部１１は移動体９の現実位置の移動方向を移動体９の進行方向、すなわち移動体９の現実の向きであると特定する。なお、複数回特定した現実位置が変化していなかった場合、すなわち、移動体９が移動していない場合は、位置方向特定部１１は前回特定した現実の向きをそのまま採用してよい。

読込部１２は、記憶装置３から仮想空間データ３１を読み込んで空間処理部１３に供給する。読込部１２における仮想空間データ３１の読み込みのタイミング、および空間処理部１３への供給のタイミングは特に限定されない。例えば、読込部１２は、空間処理部からの要求を受けて仮想空間データ３１を読み込んで空間処理部に供給してもよいし、仮想空間データ３１が更新される度に、仮想空間データ３１を読み込んで空間処理部１３に供給してもよい。また、記憶装置３に複数種類の仮想空間データ３１が記憶されている場合、読込部１２はいずれの仮想空間データ３１を読み込むかを決定してもよい。

空間処理部１３は、仮想空間データ３１を用いた種々の処理を実行する。空間処理部１３は、より詳しくは、仮想位置決定部１３１と、音源決定部１３２と、表示画像作成部１３３と、を含む。

仮想位置決定部１３１は、位置方向特定部１１から供給された移動体９の現実位置および現実の向きに応じて、移動体９の仮想位置および仮想の向きを決定する。仮想位置決定部１３１は、仮想位置を示す情報および仮想の向きを示す情報を、音声出力制御部１５と、音源決定部１３２と、表示画像作成部１３３とに供給する。

仮想位置決定部１３１における仮想位置および仮想の向きの具体的な決定方法は、仮想空間データ３１の種類および特徴に応じて適宜定められてよい。例えば、仮想位置決定部１３１は、現実空間における任意の１点と、仮想空間における任意の１点とをそれぞれ基準点と規定しておき、仮想空間における基準点と仮想位置との位置関係が、現実空間における基準点と現実位置との位置関係と相似するように、仮想位置を決定することが望ましい。なお、前述の基準点の定め方は特に限定しないが、例えば地図上の特定の緯度および経度の点を基準点としてもよいし、位置方向特定部１１と仮想位置決定部１３１とが最初に決定する現実位置および仮想位置を、後の基準点としてもよい。

なお、後述する表示画像作成部１３３において、仮想空間が現実空間と同一のスケールで描画される場合、仮想位置決定部１３１は、移動体９の仮想位置が移動体９の現実位置と略一致するように決定してもよいまた、仮想位置決定部１３１は、移動体９の仮想の向きを、移動体９の現実の向きと略一致するように決定してもよい。これにより、現実空間での移動体９の位置と、仮想空間での移動体９の位置とをリンクさせることができる。

音源決定部１３２は、移動体９の仮想位置（および、仮想向き）に搭乗者が居る場合に音声が聞こえる、と仮定される音源オブジェクトを選定する。換言すると、音源決定部１３２は、音声出力される音声データ３３に対応する音源オブジェクトを決定する。音源決定部１３２は、例えば、仮想空間上で移動体９の仮想位置から所定範囲内に存在している音源オブジェクトを選定する。音源決定部１３２は選定した音源オブジェクトの識別情報を仮想空間データ３１に基づき特定する。音源決定部１３２は特定した音源オブジェクトの識別情報を、音声出力制御部１５に供給する。

音源決定部１３２は、音源オブジェクトに割当てられている音声データ３３の設定音量と、移動体９の仮想位置から音源オブジェクトまでの距離と、に基づいて、音源オブジェクトを選定してもよい。例えば、音源決定部１３２は下記手順１～手順４の処理を行うことで、音源オブジェクトを選定してもよい。
手順１：移動体９の仮想位置から各音源オブジェクトまでの距離をそれぞれ算出する。
手順２：音源設定情報３２から、各音源オブジェクトに対応する音声データ３３の設定音量を特定する。
手順３：音源オブジェクト毎に、手順１で算出した距離と設定音量とに基づいて再生音量を特定する。例えば、音源決定部１３２は、手順１で算出した距離が遠いほど、手順２で特定した設定音量を減衰させてよい。なお、距離がゼロである場合は設定音量がそのまま再生音量になる。
手順４：再生音量が閾値以上となる音源オブジェクトを、「音声出力される音声データ３３に対応する音源オブジェクト」として選定する。

なお、「移動体９の仮想位置から各音源オブジェクトまでの距離」は絶対距離であってもよいし、相対距離であってもよい。また、手順１と手順２は順不同で実行されてよい。また、手順４における閾値は適宜設定されてよい。また、音源決定部１３２は、手順３で特定した再生音量を音声出力制御部１５に伝えてもよい。

以上の手順によれば、例えば仮想空間上で、移動体９との距離が大きく離れている音源オブジェクトであっても、当該音源オブジェクトに割り当てられている音声データ３３の再生音量が閾値以上であれば、当該音声データ３３を出力対象とすることができる。したがって、例えば花火やサイレンなど、遠くから聞こえる音声についてより正確に再現することができる。

表示画像作成部１３３は、移動体９の仮想位置および仮想向きに応じて、ディスプレイ４に表示させる画像を作成する。表示画像作成部１３３は作成した画像を表示制御部１４に供給する。なお、表示画像作成部１３３は表示制御部１４に、供給した画像の表示タイミングを指示してもよい。また、ディスプレイ４が複数ある場合、表示画像作成部１３３は画像を供給する際に、当該画像をいずれのディスプレイ４に表示させるかも表示制御部１４に指示してよい。

例えば、表示画像作成部１３３は仮想空間に、ディスプレイ４それぞれに対応する視野を有する仮想カメラを配置し、該仮想カメラの撮影範囲を、該仮想カメラに対応するディスプレイ４の表示画像として描画する。仮想カメラの位置、向き、および視野の形状および広さは、以下の（１）～（３）に基づき決定される。

（１）移動体９の仮想位置および仮想の向き
（２）現実空間における各ディスプレイ４の位置および向き
（３）各ディスプレイ４の大きさおよび形状
なお、出力制御システム１００は、搭乗者の頭部の位置を撮影または測定等で検出可能な車内カメラおよび／または車内センサを含んでいてもよい。また、出力制御装置１Ａは、前記車内カメラおよび／または車内センサと接続されていてもよい。出力制御装置１Ａの空間処理部１３は、車内カメラの撮影画像、および／または車内センサの測定結果に基づいて搭乗者の頭部の位置を特定してもよい。

空間処理部１３が搭乗者の頭部の位置を特定する場合、表示画像作成部１３３は、上記（１）～（３）に加え、搭乗者の頭部の位置に基づき撮影画像から切り出す領域を決定してもよい。これにより、搭乗者の背の高さに応じた画像をディスプレイ４に表示させることができる。

具体的に、表示画像について図１の例を挙げて説明する。移動体９の進行方向を「前方」、進行方向と反対方向を「後方」とすると、図１に示す現実空間では、移動体９において運転席Ｓ２のある方向が前方である。そして、ディスプレイ４は移動体９の内部空間の右壁面および後方の壁面に、それぞれ略垂直に設置されている。この場合、表示画像作成部１３３は、内部空間の右壁面に設置されたディスプレイ４のために、仮想空間上での移動体９の右方向の風景を描画した画像を作成する。また、表示画像作成部１３３は、内部空間の後方の壁面に設置されたディスプレイ４のために、仮想空間上での移動体９の後方の風景を描画した画像を作成する。

これにより、図１に示すように、２台のディスプレイ４によって、仮想空間上での移動体９の右側から後方にかけての風景が表示される。すなわち、搭乗者Ｐ１の視点では、運転席の窓から見える現実の風景とともに、各ディスプレイ４から仮想空間の風景を見ることができる。なお、ここで言う「仮想空間の風景」には、当然ながらマップだけではなくオブジェクトも含まれる。例えば、３次元マップの一部または全部が描画されない透明のマップである場合、表示画像作成部１３３は、仮想空間の一部のオブジェクトを描画した画像を作成し、これを表示制御部１４に出力してよい。

なお、表示画像作成部１３３は、仮想空間が現実空間と同一スケールで表示されるように、仮想カメラの倍率を決定してもよい。換言すると、表示画像作成部１３３はディスプレイ４において、仮想空間が現実空間と同一スケールで表示されるように、仮想空間の風景を拡大または縮小して描画してもよい。これにより、移動体の搭乗者に、現実空間と仮想空間とが融合したかのような視覚的効果を与えることができる。また、移動体９が走行中である場合でも、現実空間の風景と、仮想空間の風景とが同じ速度で動くこととなるため、搭乗者が所謂「３Ｄ酔い」を引き起こすことを防ぐことができる。

表示制御部１４は、空間処理部１３の表示画像作成部１３３から供給された画像をディスプレイ４に表示させる。表示画像作成部１３３から各ディスプレイ４に対する画像の表示タイミングが指示されている場合、表示制御部１４は当該指示にしたがって、指定されたタイミングで各ディスプレイ４に画像を表示させる。また、ディスプレイ４が複数台ある場合、表示制御部１４は、いずれの画像を、いずれのディスプレイ４に表示させるかについても、空間処理部１３の指示にしたがって制御する。

音声出力制御部１５は、音声出力および音像の形成に係る種々の処理を実行する。音声出力制御部１５は、より詳しくは、再生部１５１と、音像制御部１５２と、割当決定部１５３とを含む。

再生部１５１は、音源決定部１３２が決定した音源オブジェクトに割り当てられた音声データ３３を再生する。より詳しくは、再生部１５１はまず、音源決定部１３２が決定した音源オブジェクトの識別情報をキーとして記憶装置３の音源設定情報３２を検索することで、当該音源オブジェクトに割当てられている音声データ３３を特定する。次に、再生部１５１は、特定した音声データ３３を記憶装置３から読み出して再生する。再生部１５１は音声を再生しつつ、順次、音像制御部１５２に供給する。なお、再生部１５１は再生する音声を、割当決定部１５３にも順次供給してよい。

なお、音源決定部１３２が決定した音源オブジェクトが複数ある場合、すなわち、再生する音声データ３３が複数ある場合は、再生部１５１は複数の音声データ３３を別個に再生しつつ、別個に音像制御部１５２（および割当決定部１５３）に供給する。また、音声出力制御部１５が音源決定部１３２から音声データ３３の再生音量を示す情報を受信した場合、再生部１５１は各音声データ３３を、それぞれ決定された再生音量で再生してよい。

音像制御部１５２は、出力音声の音像の形成位置を決定する。なお、再生部１５１から同時に複数の音声が供給されている場合、音像制御部１５２は各音声について、それぞれ別個に音像の形成位置を決定してよい。音像制御部１５２による音像の形成位置の決定はリアルタイムで行われてよい。すなわち、音像制御部１５２は、出力する音声データ３３の音像の形成位置をリアルタイムで制御してよい。

具体的には、音像制御部１５２は、少なくとも下記（１）および（２）に基づいて音像の位置を決定する。

（１）仮想位置決定部１３１が決定した移動体９の仮想の向き
（２）移動体９の仮想位置と音源オブジェクトとの相対的な位置関係
音像制御部１５２はさらに、後述する割当決定部１５３の決定したスピーカ５の割り当てに基づいて音像の位置を補正してもよい。

割当決定部１５３は、再生部１５１から順次供給される音声をどのスピーカ５から出力させるか（すなわち、再生音声をどのスピーカ５に割り当てるか）をリアルタイムで決定する。なお、移動体９に１台しかスピーカ５が搭載されていない場合、音声出力制御部１５は割当決定部１５３を含んでいなくてもよい。また、再生部１５１から同時に複数の音声が供給されている場合、割当決定部１５３は各音声についてのスピーカ５の割り当てをそれぞれ別個に決定してよい。また、割当決定部１５３は決定したスピーカ５の割当を音像制御部１５２にフィードバックしてもよい。

このように、音声出力制御部１５において、出力対象の音声データ３３の再生、音像の形成位置の決定、および各スピーカ５への割り当てが決まると、音声出力制御部１５は、各スピーカ５に対し、前述の割り当てに応じて音声出力を指示する。このとき、音声出力制御部１５は、各スピーカ５からの実際の出力音量と、出力態様とも併せて指示する。これにより、音声出力制御部１５は、スピーカ５を用いて音像制御部１５２が決定した位置に音像を作ることができる。

（ディスプレイ４およびスピーカ５）
ディスプレイ４は、出力制御装置１Ａの制御に従って画像を表示する表示装置である。ディスプレイ４の種類は特に限定されない。例えば、ディスプレイ４は透明ディスプレイであってもよい。スピーカ５は、出力制御装置１Ａの制御に従って音声を出力する音声出力装置である。スピーカ５の種類は特に限定されないが、スピーカ５は１台または複数台の協働によって、音の定位、すなわち音像を形成することが可能な音声出力装置である。また、スピーカ５は、音声出力の方向および音量等を調整することで、音像が形成される位置を変化させることが可能な音声出力装置である。

図４は、移動体９におけるディスプレイ４およびスピーカ５の設置例を示す図である。図４は移動体９を移動体９の天井面から見下ろした図である。ディスプレイ４およびスピーカ５は、例えば図４に示すように、移動体９の壁面に、搭乗者Ｐ１が座る座席Ｓ１を取り囲むように設置される。

より具体的な例を挙げると、ディスプレイ４は例えば、移動体９の内部空間において、進行方向の壁面を除いた３面の壁面のうち、１つ以上の壁面に、各壁面と略並行に設置される。スピーカ５は例えば、移動体９の内部空間における１つ以上の壁面、および／または天井面に設置される。なお、ディスプレイ４およびスピーカ５の設置位置はこれらの例に限られない。例えば、ディスプレイ４および／またはスピーカ５のうちいくつかは、移動体９の床面に設置されてもよい。

ディスプレイ４の設置位置、ディスプレイ４の大きさ、およびディスプレイ４の形状は、移動体９の動作に支障がない範囲で自由に定められてよい。例えば、移動体９が手動運転である場合、図１および図４に示すように、運転席Ｓ２の前面は窓にしておき、内部空間の他の壁面にディスプレイ４を設置するようにしてもよい。また例えば、移動体９が完全な自動運転である場合、運転席Ｓ２は存在しないため、移動体９の内部空間の壁面全てにディスプレイ４を設置してもよい。ただし、前述したＭＲを実現する場合は、移動体９の少なくとも一部の窓から、現実世界の風景が見えるようにディスプレイ４を設置することが望ましい。

ディスプレイ４が設置される高さ、およびディスプレイ４の向きは特に限定されない。しかしながら、ディスプレイ４は、搭乗者Ｐ１がディスプレイ４に映る画像を観賞し易い高さおよび向きで設置されることが望ましい。また、スピーカ５が設置される高さおよびスピーカ５の向きも特に限定されないが、スピーカ５は、スピーカ５それぞれが協働することによって、音像を適切な位置に形成できる高さおよび向きで設置される。なお、図１および図４の例では、ディスプレイ４とスピーカ５とは別個の装置であるが、ディスプレイ４とスピーカ５は一体に構成された装置であってもよい。

≪処理の流れ≫
図５は、出力制御装置１Ａにおける処理の流れを示すフローチャートである。なお、図５に示す処理の開始タイミングは特に限定されない。例えば、出力制御装置１Ａは、移動体９のエンジンが駆動したときに図５の処理を開始してもよい。また、出力制御装置１Ａは、移動体９に備えられた入力装置（図示せず）等を介して搭乗者または移動体９の運転手等が所定の入力操作を行ったことをトリガとして、図５の処理を開始してもよい。

始めに、読込部１２は記憶装置３から仮想空間データ３１を読み込む（Ｓ１１）。読込部１２は読み込んだ仮想空間データ３１を空間処理部１３に供給する。

次に、位置方向特定部１１は、測位装置２から取得した測位データに基づいて、移動体９の現実位置と、現実の向きとを特定する（Ｓ１２）。位置方向特定部１１は特定した現実位置および現実の向きを空間処理部１３に供給する。

空間処理部１３の仮想位置決定部１３１は、供給された現実位置および現実の向きから、仮想位置および仮想の向きを決定する（Ｓ１３）。仮想位置決定部１３１は決定した仮想位置および仮想の向きを、音声出力制御部１５と、音源決定部１３２と、表示画像作成部１３３とに供給する。

以降、Ｓ２１～Ｓ２３に示す表示制御に係る処理と、Ｓ３１～Ｓ３３に示す音声出力制御に係る処理と、は順不同、または並行して実行される。

表示画像作成部１３３は、仮想空間データ３１が規定する仮想空間における、仮想カメラの配置点および仮想カメラの向きを決定する（Ｓ２１）。仮想カメラは、ディスプレイ４の台数分配置され向きが決定される。

次に、表示画像作成部１３３は、仮想空間のうち、各仮想カメラに映る領域をそれぞれ描画することにより、各ディスプレイ４に表示させる画像を作成する（Ｓ２２）。表示画像作成部１３３は作成した画像を表示制御部１４に供給する。表示制御部１４は表示画像作成部１３３から供給された画像を、ディスプレイ４に表示させる（Ｓ２３）。

一方、音源決定部１３２は、仮想位置決定部１３１から供給された仮想位置および仮想の向きに応じて、割当てられた音声を出力する音源オブジェクトを決定する（Ｓ３１）。音源決定部１３２は決定した音源オブジェクトの識別情報を音声出力制御部１５に供給する。

音声出力制御部１５の再生部１５１は、供給された識別情報から、再生する音声データ３３を特定し、該音声データを再生する。再生部１５１は音声を再生しつつ音像制御部１５２（および割当決定部１５３）に順次供給する。

音像制御部１５２は、移動体９の仮想の向きと、移動体９の仮想位置および音源オブジェクトの相対的な位置関係と、に基づいて、出力する音声の音像の位置を決定する（Ｓ３２）。音像制御部１５２は決定した音像の形成位置を、割当決定部１５３に伝える。割当決定部１５３は、再生部１５１の再生している音声を出力するスピーカ５を決定する。すなわち、割当決定部１５３は再生音声を１つ以上のスピーカ５に割り当てる。音声出力制御部１５は、割当決定部１５３が決定したスピーカ５の割り当てで、音像制御部１５２が決定した位置に音像が形成されるように、各スピーカ５を制御する（Ｓ３３）。

出力制御装置１Ａは、Ｓ２１～Ｓ２３に示す表示制御に係る処理と、Ｓ３１～Ｓ３３に示す音声出力制御に係る処理とが終了した後、または、これらの処理を実行中の間に、再びＳ１２の処理を実行する。すなわち、位置方向特定部１１によるＳ１２の処理は定期的に行われる。そして、Ｓ１２において更新された現実位置および現実の向きに応じて、Ｓ１２以降の処理が再び実行される。すなわち、現実位置および現実の向きが更新されると、仮想位置および仮想の向きが更新され、それによってディスプレイ４に表示される仮想空間の領域が更新されるとともに、スピーカ５の出力音声が形成する音像の位置が更新される。また、スピーカ５から出力される音声の音像の位置も更新されてよい。

このように、図５のＳ１２以降の処理を繰り返すことによって、出力制御装置１Ａは、移動体９が走行中の場合、随時変化する移動体９の現実位置および現実の向きに応じて、ディスプレイ４の表示およびスピーカ５の音声出力をリアルタイムで制御することができる。

≪仮想音源の位置と音像の位置≫
図６は、仮想空間における移動体９と音源オブジェクトとの相対的な位置関係の変化と、現実空間における音像の位置の変化とを示す図である。図中の移動体９の各部については、図３と同様であるので説明を繰り返さない。また、図６の例では２つのスピーカ５を用いて音像を形成させているが、ある音声を１つの、または３つ以上のスピーカ５から出力させることで、該音声の音像を形成させてもよい。

図６では、便宜上、移動体９と音源オブジェクトとの位置関係は仮想空間上での位置関係を示しており、移動体９の内部空間については現実空間で起こる事象を示している。また、図６では上段の図から中段の図、中段の図から下段の図へと時間が経過しているものとする。

図６の上段から中段に示すように、仮想空間上の移動体９から見て音源オブジェクトが後方に移動したとする。この場合、音像も、同様に後方に移動する。また、図６の中段から下段に示すように、移動体９に対し音源オブジェクトが右後方に移動したとする。この場合、音像も同様に右後方に移動する。

前述の通り、ディスプレイ４には音源オブジェクトを含む画像が表示されている。したがって、図６に示すように音像の位置を変化させることによって、音源オブジェクトの表示位置とリンクするように、音像の位置を変化させることができる。したがって、搭乗者Ｐ１に、より臨場感のある音響を体感させることができる。

なお、音声出力制御部１５は、仮想空間において移動体９と音源オブジェクトとの距離が遠くなるほど、該音源オブジェクトに対応する音声が小さく出力されるように、スピーカ５からの出力音量を制御してもよい。

例えば、音源設定情報３２が音声データ３３の設定音量を含む情報であり、音源決定部１３２において各音声データ３３の再生音量を特定している場合、移動体９の仮想位置から音源オブジェクトまでの距離が遠くなるほど、再生部１５１における音声データ３３の再生音量は小さくなる。したがって、音声出力制御部１５は、スピーカ５の音量の増幅量を変化させずともスピーカ５からの実際の出力音量を小さくすることができる。

また例えば、音声出力制御部１５は、音源決定部１３２から、移動体９の仮想位置から音源オブジェクトまでの距離を示す情報を取得してもよい。そして、当該距離が遠くなるほど、当該音源オブジェクトに対応する音声の出力音量が小さくなるように、各スピーカ５を制御してもよい。

これにより、音像の位置だけでなく、音の大きさでも、現実空間の移動体９と、仮想空間の音源オブジェクトとの位置関係を表すことができる。したがって、搭乗者により臨場感のある音響を体感させることができる。

なお、音像制御部１５２は、仮想空間において移動体９と音源オブジェクトとの距離が遠くなるほど、該音源オブジェクトに対応する音声の高さが低くなるように、スピーカ５から出力される音声にエフェクトをかけてもよい。これにより、例えば救急車のサイレン等の音響効果を再現することができる。したがって、搭乗者により臨場感のある音響を体感させることができる。

〔実施形態２〕
本開示に係る出力制御装置は、音声出力に応じて振動子の動作を制御してもよい。以下、本開示の第２の実施形態について、図７および図８に基づき説明する。説明の便宜上、前述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは、以降の実施形態においても同様である。

図７は、本実施形態に係る出力制御システム２００を構成する各種装置の要部構成を示すブロック図である。出力制御システム２００は、バイブレータ６と、出力制御装置１Ｂとを含む点で、出力制御システム１００と異なる。なお、出力制御システム２００は、出力制御システム１００と同様に、搭乗者の頭部の位置を検出可能な車内カメラおよび／または車内センサを含んでいてもよい。また、出力制御装置１Ｂは、前記車内カメラおよび／または車内センサと接続されていてもよい。

バイブレータ６は、搭乗者Ｐ１に振動を与える振動子である。出力制御システム２００は、複数のバイブレータ６を備えていてもよい。図８は、出力制御システム２００におけるバイブレータ６の設置例を示した図である。図８に示す通り、バイブレータ６は例えば、座席Ｓ１の背面および座面、ならびに、座席Ｓ１に搭乗者Ｐ１が座ったときに搭乗者Ｐ１の足が接する床面に設置されてよい。

出力制御装置１Ｂは、振動制御部１６を含む点で、実施形態１に係る出力制御装置１Ａと異なる。出力制御装置１Ｂにおいて、音声出力制御部１５は、スピーカ５を動作させるときに、振動制御部１６に当該スピーカ５への指示に応じた動作指示を出力する。

振動制御部１６は、音声出力制御部１５の指示にしたがってバイブレータ６の動作を制御する。例えば、振動制御部１６は、どのバイブレータの、どの位置の振動子を、どのような態様で振動させるかを制御する。なお、ここで言う振動の態様とは、振動の強さ、振動の間隔、振動および停止のタイミング等を示す。

音声出力制御部１５から振動制御部１６への指示内容、指示タイミング、ならびに、振動制御部１６におけるバイブレータ６の制御内容は、特に限定されない。例えば、音声出力制御部１５は、振動制御部１６への指示に、各スピーカ５からの出力音量を示す情報を含めてもよい。そして、振動制御部１６は、各スピーカ５からの出力音量に応じて、バイブレータ６の振動位置および／または振動の強さを決定してもよい。

例えば、図８において搭乗者Ｐ１の左側の３台のスピーカ５からの音量が、搭乗者Ｐ１の前の２台、および右側の３台のスピーカ５からの音量よりも大きく設定されている場合、振動制御部１６は、座席Ｓ１の背面のバイブレータ６の左側を、同バイブレータ６の右側よりも強く振動させてもよい。

以上の処理によれば、搭乗者Ｐ１に対して、音声データ３３の出力に伴って、当該音声データ３３の出力態様に連動する振動による刺激を与えることができる。例えば、音声データ３３が重低音または衝撃音等である場合、搭乗者に当該音声データ３３の出力とともに振動を与えることにより、実際に音が発生した場合に人間が体感する減少をより正確に再現することができる。したがって、搭乗者Ｐ１に、より臨場感のある音声を提供することができる。

〔実施形態３〕
出力制御システム１００および２００では、仮想空間を描画した画像がディスプレイ４の全面に表示されていた。しかしながら、本開示に係る出力制御システムは、現実世界を撮影した画像の一部に、仮想空間または該仮想空間に含まれているオブジェクトを重畳した画像を作成して、当該画像をディスプレイ４に表示させてもよい。すなわち、本開示に係る出力制御システムは、ＡＲ（Augmented Reality：拡張現実）空間における仮想体験を搭乗者に提供するシステムであってもよい。

また、出力制御システム１００および２００では、予め記憶された音声データ３３をスピーカ５で再生していた。しかしながら、本開示に係る出力制御システムは、現実世界で発生した音と、音像の位置を調整した音声データ３３とをスピーカ５から出力してもよい。以下、本開示の第３の実施形態について、図９に基づき説明する。

≪要部構成≫
図９は、本実施形態に係る出力制御システム３００を構成する各種装置の要部構成を示すブロック図である。出力制御システム３００は、カメラ７、マイク８、および出力制御装置１Ｃを備える点で、出力制御システム１００および２００と異なる。なお、出力制御システム３００において、マイク８は必須の構成ではない。また、測位装置２がカメラである場合、測位装置２がカメラ７の機能を兼ねていてもよい。

なお、出力制御システム３００は、搭乗者の頭部の位置を検出可能な車内カメラおよび／または車内センサを含んでいてもよい。そして、出力制御装置１Ｃは、前記車内カメラおよび／または車内センサと接続されていてもよい。

カメラ７は、移動体９の周囲の現実空間を撮影する。カメラ７は１台であっても複数台であってもよいが、１台または複数台のカメラ７によって移動体９の周囲３６０°の画像が撮影できることが好ましい。カメラ７は撮影画像を出力制御装置１Ｃに供給する。

マイク８は、移動体９の周囲の現実空間で発生した音声を取得するためのマイクである。マイク８は１台であっても複数台であってもよいが、１台または複数台のマイク８によって、移動体９の周囲３６０°の音声を取得できることが望ましい。マイク８は取得した音声の音声データを出力制御装置１Ｃに供給する。本実施形態では、以降「移動体９の周囲の現実空間で発生した音声」のことを、音声データ３３と区別するため「環境音」と称する。しかしながら、本明細書における環境音は単なる物音ではなく、人の発話音声等あらゆる音が含まれていてよい。

出力制御装置１Ｃはカメラ７から撮影画像を取得する。また、出力制御装置１Ｃはマイク８から環境音を取得する。出力制御装置１Ｃの空間処理部１３は、表示画像作成部１３４を含む。出力制御装置１Ｃの音声出力制御部１５は、割当決定部１５４を含む。

表示画像作成部１３４は、カメラ７の撮影画像と仮想空間の一部の領域またはオブジェクトを描画した画像とを合成することで、各ディスプレイ４に表示させる画像を作成する。以降、特段の説明が無い箇所については、表示画像作成部１３４は実施形態１および２に記載の表示画像作成部１３３と同様の処理を実行することとする。

音声出力制御部１５の割当決定部１５３は、音声データ３３の割り当てに加え、マイク８から取得した環境音の割り当ても決定する。なお、出力制御システム３００にマイク８が含まれていない場合、割当決定部１５３は実施形態１および２に係る割当決定部１５３と同様の処理を実行してよい。

なお、出力制御装置１Ｃに前述の車内カメラおよび／または車内センサが接続されている場合、出力制御装置１Ｃの空間処理部１３は、車内カメラの撮影画像、および／または車内センサの測定結果に基づいて搭乗者の頭部の位置を特定してもよい。

（表示画像の作成）
表示画像作成部１３４は、カメラ７から取得した撮影画像からディスプレイ４それぞれに表示させる領域を切り出す。表示画像作成部１３４は、撮影画像から切り出す領域を、下記（１）～（３）に基づいて決定することが望ましい。

（１）移動体９の現実位置および現実の向き（すなわち、進行方向）
（２）現実空間における各ディスプレイ４の位置および向き
（３）各ディスプレイ４の大きさおよび形状
なお、空間処理部１３が搭乗者の頭部の位置を特定可能な場合、表示画像作成部１３４は、上記（１）～（３）に加え、搭乗者の頭部の位置に基づき撮影画像から切り出す領域を決定してもよい。

（現実の風景と仮想空間の風景の合成）
表示画像作成部１３４は、撮影画像から切り出した画像に仮想空間の一部の領域またはオブジェクトの画像を合成することで、ディスプレイ４に表示させる画像を作成する。これにより、表示画像作成部１３４は、現実空間の風景と、仮想空間の風景またはオブジェクトとを合成することができる。なおこの場合、撮影画像から切り出した画像と仮想空間の画像とを合成する方法は特に限定されない。また、撮影画像から切り出した画像と仮想空間の画像との表示の割合およびレイアウトも特に限定されない。

具体例を挙げると、例えば表示画像作成部１３４は、撮影画像から、各ディスプレイ４が窓であった場合に移動体９の内部空間から見ることのできる領域を切り出してもよい。そして、切り出した画像、すなわち現実の風景の画像に、仮想空間上のあるオブジェクトの画像を合成して表示させてもよい。

以上の処理によれば、出力制御システム３００は搭乗者に、現実世界に仮想空間の一部（前述の具体例では、あるオブジェクト）が現れたかのように見せることができる。すなわち、出力制御システム３００は搭乗者に拡張現実（ＡＲ）を体感させることができる。また、出力制御システム３００がマイク８を含む場合、出力制御システム３００は、現実世界の環境音とともに、仮想空間を表現する音声を出力することができる。したがって、出力制御システム３００は搭乗者に拡張現実（ＡＲ）を体感させることができる。

（実施形態３の変形例）
なお、図９では一例として、実施形態１に係る出力制御システム１００に、本実施形態の特徴的構成を組み合わせた出力制御システム３００を示している。しかしながら、出力制御システム３００は、実施形態２に係る出力制御システム２００の構成を含み、実施形態２において説明した処理を合わせて実行するシステムであってもよい。

〔実施形態４〕
前記各実施形態では、測位装置２は移動体９に搭載されている装置であった、しかしながら、出力制御システム１００、２００、および３００において、測位装置２は移動体９とは別個に設置された装置であってもよい。

例えば、実施形態１～３にて説明した測位装置２は、道路近傍に設置された外部カメラであってもよい。外部カメラは道路を走行する移動体９を撮影する。外部カメラは通信機能を備えており、出力制御装置１Ａ、１Ｂ、または１Ｃと通信可能である。また、出力制御装置１Ａ、１Ｂ、または１Ｃは通信部を備えている。出力制御装置１Ａ、１Ｂ、または１Ｃは当該通信部を介して道路上の前記外部カメラと通信することにより、該外部カメラの撮影画像を取得する。そして、位置方向特定部１１は前記外部カメラの撮影画像と、地図データ３４とから、移動体９の現実位置および現実の向きを特定する。

また例えば、測位装置２は、現実空間に点在する通信基地局であってもよい。この場合、出力制御装置１Ａ、１Ｂ、または１Ｃは通信部を備え、少なくとも３点の前記通信基地局と同時に通信を行う。そして、位置方向特定部１１は、通信基地局と、移動体９との相対的位置関係から移動体９の現実位置を特定する。また、位置方向特定部１１は前述の通り現実位置を複数回特定し、その位置が変化した方向を、移動体９の進行方向、すなわち移動体９の現実の向きと特定する。

以上の構成によれば、移動体９に測位装置２を搭載しなくとも、例えば監視カメラまたは基地局等から取得する情報を用いて、移動体９の現実位置を特定することができる。したがって、移動体９に搭載する部品数を削減することができる。

〔ソフトウェアによる実現例〕
出力制御装置１Ａ、１Ｂ、および１Ｃの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、出力制御装置１Ａ、１Ｂ、および１Ｃは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

１００、２００、３００ 出力制御システム
１Ａ、１Ｂ、１Ｃ 出力制御装置
２ 測位装置
３ 記憶装置
４ ディスプレイ
５ スピーカ
６ バイブレータ
７ カメラ
８ マイク
９ 移動体
１１ 位置方向特定部
１２ 読込部
１３ 空間処理部
１３１ 仮想位置決定部
１３２ 音源決定部
１３３、１３４ 表示画像作成部
１４ 表示制御部
１５ 音声出力制御部
１５１ 再生部
１５２ 音像制御部
１５３ 割当決定部
１６ 振動制御部
３１ 仮想空間データ
３２ 音源設定情報
３３ 音声データ
３４ 地図データ

Claims (6)

1. 移動体の内部空間に設置されたディスプレイおよびスピーカを制御する出力制御装置であって、
   前記移動体の現実空間での位置である現実位置と、前記移動体の現実空間での向きとを特定する位置方向特定部と、
   仮想音源となる３次元オブジェクトである音源オブジェクトを３次元マップに配置した仮想空間を規定する仮想空間データを記憶装置から読み込む読込部と、
   前記移動体の前記現実位置および前記現実空間での向きに応じて、前記移動体の前記仮想空間での位置である仮想位置と、前記移動体の仮想空間での向きと、を決定する仮想位置決定部と、
   前記移動体の前記仮想位置および前記仮想空間での向きと、前記ディスプレイの設置位置とに基づいて、前記仮想空間の一部の領域の画像または一部のオブジェクトの画像を前記ディスプレイに表示させる表示制御部と、
   前記スピーカから音声を出力させる音声出力制御部と、を備え、
   前記音声出力制御部は、前記移動体の前記仮想空間での向きと、前記移動体の仮想位置と前記音源オブジェクトとの相対的な位置関係と、に基づいて前記スピーカからの出力音声により形成される音像の位置を制御することを特徴とする、出力制御装置。
2. 前記位置方向特定部は、前記移動体の前記現実位置と前記現実空間での向きとを定期的に更新し、
   前記仮想位置決定部は、更新後の前記現実位置および前記現実空間での向きに応じて前記仮想位置と前記仮想空間での向きとを更新し、
   前記表示制御部は、更新後の前記仮想位置および前記仮想空間での向きに基づいて更新された前記一部の領域の画像または前記一部のオブジェクトの画像を前記ディスプレイに表示させ、
   前記音声出力制御部は、更新後の前記仮想位置および前記仮想空間での向きに基づいて、前記音像の位置を更新することを特徴とする、請求項１に記載の出力制御装置。
3. 前記音声出力制御部は、前記仮想空間において前記仮想位置と前記音源オブジェクトとの距離が遠いほど、当該音源オブジェクトに対応する音声の出力音量が小さくなるように前記スピーカを制御することを特徴とする、請求項１または２に記載の出力制御装置。
4. 前記仮想位置決定部は、前記仮想空間における任意の基準点と前記仮想位置との位置関係が、前記現実空間における任意の基準点と前記現実位置との位置関係と相似するように前記仮想位置を決定し、
   前記表示制御部が前記ディスプレイに表示させる前記一部の領域の画像または前記一部のオブジェクトの画像は、前記仮想空間が前記現実空間と同一スケールで表示されるように決定されることを特徴とする、請求項１～３のいずれか１項に記載の出力制御装置。
5. 請求項１～４のいずれか１項に記載の出力制御装置と、
   前記移動体の前記現実位置に係るデータを測定する測位装置と、
   前記記憶装置と、
   前記ディスプレイと、
   前記スピーカと、を備え、
   前記出力制御装置の前記位置方向特定部は、前記測位装置から取得した前記現実位置に係るデータに基づいて、前記移動体の前記現実位置と、前記移動体の現実空間での向きとを特定することを特徴とする、出力制御システム。
6. 移動体の内部空間に設置されたディスプレイおよびスピーカを制御するための制御方法であって、
   前記移動体の現実空間での位置である現実位置と、前記移動体の現実空間での向きとを特定する位置方向特定ステップと、
   仮想音源となる３次元オブジェクトである音源オブジェクトを３次元マップに配置した仮想空間を規定する仮想空間データを記憶装置から読み込む読込ステップと、
   前記移動体の前記現実位置および前記現実空間での向きに応じて、前記移動体の前記仮想空間での位置である仮想位置と、前記移動体の仮想空間での向きと、を決定する仮想位置決定ステップと、
   前記移動体の前記仮想位置および前記仮想空間での向きと、前記ディスプレイの設置位置とに基づいて、前記仮想空間の一部の領域または一部のオブジェクトの画像を前記ディスプレイに表示させる表示制御ステップと、
   前記スピーカから音声を出力させる音声出力制御ステップと、を含み、
   前記音声出力制御ステップでは、前記移動体の前記仮想空間での向きと、前記移動体の仮想位置と前記音源オブジェクトとの相対的な位置関係と、に基づいて前記スピーカからの出力音声により形成される音像の位置を制御することを特徴とする、制御方法。

Images