JP6646967B2 - 制御装置、再生システム、補正方法、及び、コンピュータプログラム - Google Patents

Description

本発明は、制御装置、再生システム、補正方法、及び、コンピュータプログラムに関する。

近年、視聴者が見たい範囲を選びながらコンテンツを鑑賞できる自由視点型の映像を提供するための構成の研究・開発が盛んに行われている。また、その自由視点型の映像コンテンツを楽しむためのデバイスとしてヘッドトラッキング型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）やハンドヘルド型のディスプレイが実用化されている。自由視点型の映像コンテンツとなる全周囲画像は、ＣＧ（Computer Graphics）等から構成される仮想空間や複数台のカメラで同時撮影した画像をつなぎ合わせたもの等がある。

一方で、全周囲の動画像に対応する音響コンテンツをヘッドトラッキング型のヘッドフォンを用いて提示する構成が知られている（特許文献１）。この手法では、ヘッドトラッキングの結果に応じて音源に頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）を畳みこむことで、ヘッドフォンでも全周囲の映像に整合した音響を提示している。

また、別の全周囲の音響提示としてサラウンドに代表されるような、複数のスピーカを使用者の周囲を囲むように配置する手法が知られている。

特開２００２−１７１４６０号公報

自由視点型の映像コンテンツをＨＭＤ等の可動式の表示装置に表示させる場合、ＨＭＤに設置される頭部の動きを検出する装置は長時間使用すると誤差の蓄積により現実空間の座標軸とＨＭＤに表示される画像空間の座標軸がずれてきてしまう恐れがある。したがって、ＨＭＤ等の可動式の表示装置と位置が固定された複数のスピーカを用いた構成では、ＨＭＤに表示される画像空間の座標軸と、複数スピーカから出力される音の音響空間の座標軸が必ずしも一致しないという課題がある。ＨＭＤに表示される画像空間の座標軸と、複数スピーカから出力される音の音響空間の座標軸が一致しない場合、視聴者に違和感を与え、自由視点型の映像コンテンツの再生において、臨場感を低減させる要因となり得る。

本発明は上述した課題を解決するためになされたものであり、音響空間の座標軸と画像空間の座標軸を一致させることができる技術を提供することを目的とする。

上記目的を達成するため、本発明による制御装置は以下の構成を有する。即ち、
表示装置の向きに応じた画像を表示する前記表示装置により表示される画像に対応する画像空間の座標軸方向と、前記表示装置により表示される画像に関連する音を出力する複数の出力装置により出力される音に対応する音響空間の座標軸方向とを一致させる設定を行う設定手段と、
前記設定手段による前記設定の後に、前記表示装置の動きの検出結果に基づいて前記画像空間の座標軸方向と前記表示装置の向きとの差を推定することで前記画像空間の座標軸方向を特定する特定手段と、
前記音響空間の座標軸方向と前記特定手段により特定された前記画像空間の座標軸方向とのずれを検出する、ずれ検出手段と、
前記ずれ検出手段により検出されたずれが補正されるように、前記表示装置による画像の表示と前記複数の出力装置による音の出力との少なくとも何れかの制御を行う制御手段とを有する。

本発明によれば、音響空間の座標軸と画像空間の座標軸を一致させることができる技術を提供することができる。

高臨場感再生システムの構成を示すブロック図 音響出力部の配置例を示す模式図 画像空間と音響空間の座標軸のずれを模式的に示す図 制御装置のハードウェア構成を示すブロック図 高臨場感再生システムによる信号処理の流れを示すフローチャート 高臨場感再生システムの構成を示すブロック図 高臨場感再生システムの構成を示すブロック図 全周囲の画像からの切り出し領域を変更する様子を示す模式図 高臨場感再生システムの構成を示すブロック図 補正可能領域において画像を切り出す様子を示す模式図 高臨場感再生システムによる信号処理の流れを示すフローチャート 高臨場感再生システムの構成を示すブロック図 高臨場感再生システムによる信号処理の流れを示すフローチャート

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜＜実施形態１＞＞
（高臨場感再生システム）
図１は本発明の実施形態１に係る高臨場感再生システム１００の構成をブロック図で表したものである。本実施形態の高臨場感再生システム１００は、音響出力装置１１０、表示装置１２０、制御装置１３０を備える。

音響出力装置１１０は、複数の音響出力部（音響信号出力部）１１１〜１１８を備える。音響出力部１１１〜１１８は、それぞれ例えば、スピーカで構成することができ、入力された波形信号に対応する音響（音声）を空間に出力する。本実施形態においては、複数の音響出力部１１１〜１１１８は、図２に示すように、使用者（ユーザ）を囲むように水平面上でに８個のスピーカを、等角度間隔（４５度）で同心円状に設置した場合の例を説明する。ここで音響空間の座標軸は、例えば、音響出力部１１１と音響出力部１１５を結ぶ軸と、その軸に直交する音響出力部１１３および音響出力部１１７を結ぶ軸を指す。図２のような場合、コンテンツの信号は、例えば、４５度程度の指向性をもつガンマイクを放射状に８本並べて収音することによって得られる。

表示装置１２０は、動き検出部１２１、表示部１２２、収音部１２３を備える。表示装置１２０は、動きに応じた画像を表示する。本実施形態において、表示装置１２０は、図２に示すように使用者の頭部に装着して使用するＨＭＤ（Head Mounted Display）である。表示対象のコンテンツは実空間を撮像装置によって撮像した全周囲画像である。表示対象の画像は静止画像だけでなく動画像も含む。ここで、システムの動作を開始した当初は、コンテンツの画像空間の座標軸と音響空間の座標軸とは一致しているものとする。

動き検出部１２１は、使用者の頭部の動きを検出し、検出結果を出力する。動き検出部１２１は、例えば、加速度センサー、電子コンパス、傾きセンサー、ＧＰＳ（Global Positioning System）を備え、各センサーで検出した値を用いて使用者の頭部の回転、傾き、移動などの動きを検出する。

表示部１２２は、使用者の眼前に設置されたディスプレイであり、制御装置１３０から入力された画像を表示する。

収音部１２３は、表示装置１２０に設置された複数の無指向性マイクロフォンからなるマイクロフォンアレイである。収音部１２３は、音響出力部１１１〜１１８から出力された音響信号を収音する。

制御装置１３０は、座標軸ずれ検出部１３１、座標軸ずれ補正部１３２、画像生成部１３３、位置算出部１３４を備える。

座標軸ずれ検出部１３１は、表示部１２２に表示されている画像の画像空間の座標軸と、後述の位置算出部１３４から入力される表示装置１２０に対するそれぞれの音響出力部１１１〜１１８の方向から座標軸とのずれを検出する。座標軸ずれ検出部１３１は、収音部１２３において収音された収音結果と、表示装置１２０が表示する画像とに基づいて、表示装置１２０が表示する画像による画像空間の座標軸と、音響出力装置１１０が出力する音響による音響空間の座標軸とのずれを検出する。図３を用いて簡単に説明する。ずれ量βは、例えば角度で表される、本実施形態では音響空間の座標軸Ｍと画像空間の座標軸Ｉの水平方向の回転ずれの大きさである。回転ずれは、初期ずれおよび誤差の蓄積などによって発生する。座標軸ずれ検出部１３１は、検出した座標軸のずれ量βを出力する。

座標軸ずれ補正部１３２は、座標軸ずれ検出部１３１から入力されたずれ量βに基づいて座標軸ずれを小さくするように座標軸の補正を行う。すなわち、検出したずれ量に応じて検出された動き量を補正する。例えば、後述する画像生成部１３３に入力する全周囲画像の画像空間の座標軸を音響空間の座標軸に一致するように回転させる。

画像生成部１３３は、入力された全周囲画像から一部を切り出し出力する。画像生成部１３３は、動き検出部１２１の出力結果に応じて使用者があたかも画像空間内にいるかのように使用者の頭部位置移動に応じて切り出す画像の位置を変更する。

位置算出部１３４は、収音部１２３において収音された音響信号から、表示装置１２０に対する音響出力部の方向を算出する。マルチチャネルの音響信号を用いた音源方向の推定や音源追跡の方式は様々なものが知られているが、例えば、ビームフォーマ等を用いて算出することができる。このとき音響出力部の方向を算出するための信号としてコンテンツ信号を用いることができる。音響出力部１１１〜１１８へ入力される信号のうち、特定のチャネルの信号が他のチャネルに比べて十分に大きいとき、その時間区間の信号を用いてそのチャネルの信号が出力されている音響出力部の方向を算出することができる。

（制御装置のハードウェア構成）
図４は、制御装置１３０のハードウェア構成例を模式的に示すブロック図である。制御装置１３０は、例えば、パーソナルコンピュータ（ＰＣ）や組込みシステム、タブレット端末等により実現される。

図４において、ＣＰＵ９９０は中央演算処理装置であり、オペレーティングシステム（ＯＳ）やアプリケーションプログラム等に基づいて他の構成要素と協働し、制御装置１３０全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本Ｉ／Ｏプログラム等のコンピュータプログラム、基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。

外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、メディア（記録媒体）９９４に記憶されたコンピュータプログラム等を本システムにロードすることができる。メディア９９４には、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク、ＵＳＢメモリ、フラッシュメモリ等が含まれる。ストレージ９９５は大容量メモリとして機能する装置であり、本実施形態ではＳＳＤ（ソリッドステートドライブ）を用いている。ストレージ９９５には、ＯＳ、アプリケーションプログラム等が格納される。ストレージ９９５はハードディスク装置等の他の装置により実現することもできる。

操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する制御装置１３０の応答出力等を表示したりする表示装置である。インターフェイス（Ｉ／Ｆ）９９８は音響出力装置１１０や表示装置１２０とのデータのやり取りを中継する装置である。システムバス９９９は、制御装置１３０内のデータの流れを司るデータバスである。

なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

（信号処理）
続いて信号処理のフローを図５を用いて説明する。以下の各ステップは、制御装置１３０のＣＰＵ９９０の制御に基づき実行される。

はじめに、音響出力部１１１〜１１８から出力された音声が収音部１２３において収音される（Ｓ１００）。収音された複数チャネルの収音信号は位置算出部１３４へ出力される。

続いて位置算出部１３４において、表示装置１２０に対する音響出力部の方向を算出する（Ｓ１１０）。算出された音響出力部の向きを座標軸ずれ検出部１３１へ出力する。ここで、例えば、音響出力部から音が出力されていないタイミングでは音響出力部の向きが算出できない。音響出力部の向きが算出できない場合、座標軸ずれ検出部１３１に対してずれ量０を出力するような制御信号を出力する。

続いて座標軸ずれ検出部１３１において画像空間の座標軸と音響空間の座標軸のずれを検出する（Ｓ１２０）。座標軸ずれ検出部１３１では、入力された表示装置１２０に対する音響出力部の向きから表示装置１２０に対する音響空間の座標軸を推定する。さらに、入力された画像生成部１３３が切り出した画像の位置から、表示装置１２０に対する画像空間の座標軸を推定する。二つの推定された座標軸のずれ量を座標軸ずれ補正部１３２へ出力する。

続いて、動き検出部１２１において、ＨＭＤの動きが検出される（Ｓ１３０）。検出された頭部の動き情報は画像生成部１３３へ出力される。

続いて、座標軸ずれ補正部１３２において、座標軸ずれ検出部１３１において検出されたずれ量に基づいて座標軸ずれ補正（Ｓ１４０）が行われる。本実施形態では、検出した座標軸のずれの大きさに応じて、表示する画像を回転させる。例えば、座標軸ずれ補正部１３２では入力されたずれ量に基づいてずれ量が小さくなるように、コンテンツ画像の画像空間の座標軸を回転させる。つまり、図３においてコンテンツの全周囲画像は時計回りにβ分だけ回転する。座標軸を回転させたコンテンツ画像は画像生成部１３３へ出力される。

続いて、画像生成部１３３において、使用者の頭部（表示装置１２０）の向きに応じて画像空間から画像が切り出される（Ｓ１５０）。切り出された画像は表示部１２２に出力される。このようにして、表示装置の動きに応じて生成された画像の表示制御が行われる。

続いて、音響出力部１１１〜１１８からにおいて音響信号が出力され、表示部１２２において画像生成部１３３から入力された画像が表示される（Ｓ１６０）。

そして、コンテンツ再生の終了を判定し（Ｓ２００）、終了の場合（Ｓ２００でＹＥＳ）は再生を終了し、終了でない場合（Ｓ２００でＮＯ）はＳ１００に戻る。このようにして、Ｓ１００からＳ１６０の処理は再生が終了するまで繰り返される。

上記のように、本実施形態では、表示装置１２０が表示する画像による画像空間の座標軸と、音響出力装置１１０が出力する音響による音響空間の座標軸とのずれを検出して補正する。このため、提示される画像空間の座標軸と音響空間の座標軸のずれを補正することで、臨場感を損ねることなくコンテンツを提供することができる。

（その他の構成）
本実施形態において、音響出力装置１１０は水平に８つのスピーカを配置した例を説明したが、スピーカの配置はこれに限られない。例えば、鉛直方向にスピーカを配置してもよく、あるいは、ドーム(半球)型、円筒型にスピーカを配置するようにしてもよい。このとき、鉛直方向も含めた３軸の座標軸ずれ補正を行うようにしてもよい。

また、本実施形態において、表示装置１２０がＨＭＤである場合の例を説明したが、ハンドヘルド型のディスプレイ装置、例えば携帯ゲーム機、携帯電話機、タブレット型ＰＣなどの表示装置でもよい。

また、本実施形態において、コンテンツ画像は実空間を撮像あるいは録音したものである場合の例を説明したが、仮想空間内を任意の視点で切り出したり、音声を合成したものでもよい。

また、本実施形態において、座標軸ずれ検出部１３１、座標軸ずれ補正部１３２、画像生成部１３３および位置算出部１３４が１つの制御装置１３０内に配置された例を説明したが、分散して配置されていてもよい。例えば、画像生成部１３３および位置算出部１３４は表示装置１２０内にあってもよい。

また、本実施形態において、収音部１２３は複数の無指向性マイクロフォンとしたが、複数の指向性マイクロフォンであってもよく、指向性が異なる方向に向くように配置されるようになっていてもよい。その場合、位置算出部１３４では、入力される複数チャネルの信号の強度と、指向性のマイクロフォンの向きに応じて表示装置１２０に対する音響出力部の向きを算出するようにしてもよい。

また、本実施形態では、音響出力部の方向を検出する際に、コンテンツ信号のレベルが大きい時間区間に音源方向を特定する例を説明した。しかし、方向推定に使用するいくつかの周波数帯域において特定のチャネルの信号が他のチャネルに比べて十分大きい時に音源方向を特定するようにしてもよい。このようにすることで、音響出力部から異なる信号が出力されていれば同時に複数の音響出力部の方向を検出することができる。

また、本実施形態では、音響出力部の方向を検出する際にコンテンツ信号を用いたが、コンテンツ以外の測定用信号を用いるようにしてもよい。人が聞こえない、あるいは気にならないような信号を用いてもよく、レベルの低い計測用信号を長時間繰り返し出力し、繰り返し信号を同期加算することで方向推定に十分なＳ／Ｎを得るようにしてもよい。他にも、可聴帯域外の信号やマスキング効果によって人にはあまり感じない周波数の信号を使って方向を検出するようにしてもよい。

また、図２において音響出力装置１１０と表示装置１２０と制御装置１３０はわかりやすさのため実線で示しているが、装置間のデータのやりとりは有線／無線を問わず任意の方式を用いて行ってよい。データのやり取りを無線で行うときは、それぞれの装置に無線の送受信機を設ける。このような無線通信方式として、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮを利用することができる。

音源方向推定は、収音部１２３が動いている間、つまり使用者が頭部を動かしている間は収音部１２３から見ると、見かけ上、音響出力部が動いている状態となり、推定精度が低下することが考えられる。そのため座標軸ずれを検出するステップ（Ｓ１２０）は、使用者の動きがシステムにより定められた閾値よりも小さいときにのみ実行するようにしてもよい。ここで、各動きセンサーの精度や収音部１２３のマイクロフォンの性能・配置などはシステムによって異なるため、閾値はシステムごとに十分な音源位置推定精度が得られるように決定される。

また、音響出力部以外から発せられた音響信号も方向推定の妨げとなる。例えば、使用者の声や動作による動作音も妨げの一因となるし、使用者が複数人いる場合は他の使用者の動作音なども方向推定の妨げとなる。そこで、音響出力部以外から発せられた外部音声を検出する外部音声検出部をさらに設け、外部音声が検出された場合には、座標位置ずれ検出を行うステップ（Ｓ１２０）は実行しないようにしてもよい。

また、本実施形態では、表示装置１２０に対する音響出力装置１１０の方向取得に音響信号を用いる例を説明したが、表示装置１２０と音響出力装置１１０との相対的な位置関係を取得できるならば、収音部１２３を用いた構成に限られない。例えば、可視光や電波、赤外線など他の信号を用いてもよい。例えば、図６（ａ）に示すように、表示装置１２０に収音部１２３に代えて撮像部１２４を設けるようにしてもよい。位置算出部１３４では撮像部１２４で撮像された撮像画像から音響出力部を認識し、表示装置１２０に対する音響出力部の位置検出を行う。ここで、画像認識で複数の音響出力部を個別に特定するため、音響出力部の筐体表面にマーカなどを付けておいてもよい。また、撮像部１２４はどの向きを向いていても音響出力部を撮像できるようになっていることが望ましい。

また、本実施形態においては、表示装置１２０に対する音響出力装置１１０の方向を算出したが、逆に音響出力装置１１０から表示装置１２０の向きを算出してもよい。例えば図６（ｂ）に示すように音響出力装置１１０に撮像部１１９を備え、位置算出部１３４は撮像部１１９で撮像した画像から音響出力装置１１０に対する表示装置１２０の向きを検出するようにしてもよい。このように、表示装置１２０と音響出力装置１１０との相対的な位置関係を取得し、取得した位置関係に基づいて座標軸のずれを検出することで、座標軸のずれを効果的に補正することができる。

また、本実施形態において、座標軸ずれ補正部１３２は必ず座標軸ずれ補正を行う例を説明したが、ずれ量が小さい場合には座標軸ずれ補正を行わないようにしてもよい。また、本実施形態において、座標軸ずれ補正部１３２は画像空間の座標軸が音響空間の座標軸に近づくように補正を行う例を説明したが、音響空間の座標軸が画像空間の座標軸に近づくように構成してもよい（詳細は実施形態４に記載）。

＜＜実施形態２＞＞
本実施形態では、ユーザが座標軸のずれの補正を知覚しにくいタイミングに座標軸のずれを補正することで、高い臨場感を保つことが可能とする構成例を説明する。

（高臨場感再生システム）
図７は、実施形態２に係る高臨場感再生システム１００の構成を示すブロック図である。本実施形態に係る高臨場感再生システム１００は、実施形態１の構成とほぼ同様のため、共通する構成については詳細な説明を省略し、相違点を中心に説明する。

実施形態１（図１）と同様に、本実施形態に係る高臨場感再生システム１００は音響出力装置１１０、表示装置１２０、制御装置１３０を備え、各装置は、実施形態１と同様の機能要素を有する。本実施形態では、動き検出部１２１の検出結果は、画像生成部１３３に加え座標軸ずれ補正部１３２へも出力される点が実施形態１と異なる。

本実施形態では、座標軸ずれ補正部１３２は、動き検出部１２１から入力される使用者の頭部動きの有無に応じて補正を行うか否かを決定する。頭部動きのある場合には補正を行うようにし、動きの無い場合には補正を行わないようにする。ずれ補正を行う場合、画像生成部１３３にずれ量を出力する。

画像生成部１３３は、入力された全周囲の画像から動き検出部１２１の出力に応じて一部を切り出し出力する。ここで座標ずれ補正部１３２から座標軸のずれ量が入力された場合、画像の切り出し領域をずれ量に応じて変更する。

図８は、全周囲の画像から切り出す切り出し領域を変更する様子を示す図である。例えば図８（ａ）に示すように、画像生成部１３３では、全周囲の画像を展開した画像空間１０００から切り出し領域１００１を切り出し出力する。ここで、動き検出部１２１で検出した頭部の回転量をαとすると、図８（ｂ）に示すように切り出し領域１００１はα分画像空間内を移動する。さらに、座標軸ずれ補正部１３２からずれ量βが入力されると、画像生成部１３３では図８（ｃ）に示すように切り出し領域１００１はα＋β分画像空間内を移動するようにする。切り出した画像は表示部１２２に出力する。

（信号処理）
続いて信号処理のフローを図５を用いて説明する。本実施形態の信号処理のフローは、実施形態１と同様に、図５のフローチャートにより示される。以下の各ステップは、制御装置１３０のＣＰＵ９９０の制御に基づき実行される。Ｓ１００およびＳ１１０、Ｓ１２０は、実施形態１とほぼ同様であるため説明は省略する。

続いて、動き検出部１２１において、使用者の頭部の動き検出が行われる（Ｓ１３０）。検出された頭部の動き情報は、画像生成部１３３および座標軸ずれ補正部１３２へ出力される。

続いて、座標軸ずれ補正部１３２から、補正用のずれ量が出力される(Ｓ１４０)。座標軸ずれ補正部１３２では頭部動きがない場合、補正が行われないようにずれ量０が出力される。

続いて、画像生成部１３３において、画像の切り出しが行われる（Ｓ１５０）。Ｓ１４０で検出した頭部の動き量とずれ量に応じて画像空間から画像を切り出し、表示部１２２へ出力する。Ｓ１６０以降の処理は実施形態１と同様のため説明は省略する。

以上のように、本実施形態では、頭部が静止している間は座標軸ずれの補正を実施せず、表示装置１２０が動きが検出されたこと、すなわち、使用者が頭部を動かしたことに応じて、座標軸のずれを補正する。このため、使用者に補正を知覚されにくく、臨場感を損なわずに補正を行うことができる。

（その他の構成）
本実施形態において、座標軸ずれ補正部１３２はわかりやすさのため、頭部の動きの有無で補正を行うか否かを決定したが、頭部の微小な揺れ等の場合には補正を行わないようにしてもよい。例えば、頭部の回転速度がシステムに応じて定められた閾値よりも小さい場合には補正を行わないようにし、回転速度が閾値を超えた場合に補正を行うようにするようにしてもよい。この閾値はシステム構成によって異なるためシステムごとに事前に決定されるようにするとよい。

本実施形態において、頭部の回転量αとずれ量βに特に制約は設けなかったが、αに対して一度に補正するずれ量を小さく設定し、頭部回転を検出するたびに少しずつ補正を行うようにすることでさらに補正を知覚しにくくすることができる。

さらに、使用者の視線を検出する視線検出部を備え、視線の動きの有無を判定してずれ補正を行うか否かを決定してもよい。例えば、使用者が同じ姿勢を維持することに疲れ体勢を変える場合、視線は同じ位置を見ているが頭部は動いてしまうということがある。そのような場合に補正を行ってしまうと使用者は補正を知覚してしまい不快に感じる。したがって、頭部の回転方向と視線方向が同じ時は補正を行うようにし、頭部の回転方向と視線の方向が逆の時には補正を行わないようにしてもよい。

＜＜実施形態３＞＞
次に、表示する画像の視覚的に知覚しにくい領域を加工して、座標軸のずれを補正することにより、高い臨場感を維持する構成を説明する。そのような構成の一例として、本実施形態では、検出した座標軸のずれの大きさに応じて、表示する画像の一部を伸縮させる例を説明する。なお、本実施形態では、複数の使用者が同時に試聴する場合において、補正可能な画像区間を検出し、視野がその画像区間を通過した際に補正を行う。

（高臨場感再生システム）
図９は、実施形態３に係る高臨場感再生システムの構成を示すブロック図である。本実施形態に係る高臨場感再生システム１００は、実施形態１の構成とほぼ同様のため、共通する構成については詳細な説明を省略し、相違点を中心に説明する。

実施形態１（図１）と同様に、本実施形態に係る高臨場感再生システム１００は音響出力装置１１０、表示装置１２０、制御装置１３０を備えている。表示装置１２０は、使用者ごとに頭部に装着されており、音響出力装置１１０は一つの装置を複数の使用者が共通に利用する。音響出力装置１１０、表示装置１２０は実施形態１と同様の機能要素を有するが、表示装置１２０の動き検出部１２１は、実施形態２（図７）と同様に、画像生成部１３３に加え、座標軸ずれ補正部１３２にも動き検出結果を出力する。

制御装置１３０は、実施形態１（図１）の構成に加えて、さらに画像区間検出部１３５を備える。画像区間検出部１３５は、画像空間において補正を実施可能な画像空間上の画像領域を検出する。ここで補正可能な画像領域とは、画像の伸縮による違和感の少ない領域をいう。画像区間検出部１３５は、例えば、青空などの領域のような平坦な領域を補正可能領域として検出・出力する。ここで平坦な画像領域とは、例えば、近接する画素との、色味や輝度等の色成分の差分が小さい領域をいう。本実施形態では、少なくとも仰角方向に対して連続して切り出し区間よりも大きい範囲において平坦な画像領域を補正可能領域とする。

座標軸ずれ補正部１３２は、使用者ごとに補正を行う。このとき音響空間の座標軸は複数の使用者に共通のため補正を行うことはできない。したがって、座標軸ずれ補正部１３２は画像区間の座標軸を音響空間の座標軸に近づけるように補正を行う。座標軸ずれ補正部１３２は入力されたずれ量、画像区間検出の結果および動き検出の結果から画像生成部１３３へ画像切り出しおよび領域の伸縮の情報を出力する。

画像生成部１３３は、入力された情報から表示部１２２で表示する画像を生成する。図１０は、例えば、図１０（ａ）に示すように切り出し領域１００１が補正可能領域１００２を通過するように移動する場合、補正情報を出力する。図１０（ｂ）は、切り出し領域１００１全体を示している。図１０（ｃ）に示すように、補正可能領域１００２を切り出し領域１００１内に含む間、切り出し領域１００１は通常の切り出し領域の幅ｗにずれ量βを加えたｗ＋βの領域を切り出す。続いて、図１０（ｄ）に示すように、切り出された領域のうち補正可能領域１００２の領域をγ/（γ＋β）の比率で伸縮する。ここでγは補正可能領域の幅である。画像生成部１３３は以上のように生成された画像を出力する。

（信号処理）
続いて、信号処理のフローを図１１を用いて説明する。以下の各ステップは、制御装置１３０のＣＰＵ９９０の制御に基づき実行される。

Ｓ１００からＳ１２０は前述の実施形態（図５）と同様のため説明を省略する。続いて、画像区間検出部１３５において補正可能領域の検出が行われる（Ｓ１７０）。現在の切り出し領域１００１周辺の補正可能領域を検出して座標軸ずれ補正部１３２へ出力する。

続くＳ１３０は、前述の実施形態とほぼ同様のため説明を省略する。続いて、座標軸ずれ補正部１３２において、座標軸ずれ補正のための情報が生成される（Ｓ１４０）。生成された補正情報は画像生成部１３３へ出力される。

続いて、画像生成部１３３において画像空間が切り出され、座標軸ずれ補正を行った画像が生成される（Ｓ１５０）。前述のように、本実施形態では、画像を加工しても視覚的に知覚しにくい補正可能領域において画像を伸縮する。入力された補正情報を元に生成された画像は表示部１２２へ出力される。Ｓ１６０以降の処理は実施形態１と同様のため説明は省略する。

以上のようにして、伸縮が目立ちにくい領域を補正可能領域として抽出し、画像切り出し領域が補正可能領域を通過した際に伸縮することで、使用者に補正を知覚されにくく、臨場感を損なわずに補正を行うことができる。

また、本実施形態では、複数の表示装置１２０を有する高臨場感再生システム１００において、表示装置１２０の各々について、画像空間の座標軸を音響空間の座標軸に近づける。このため、それぞれ独立に行動する複数の使用者に対して同時に臨場感の高いコンテンツを提供することができる。

（その他の構成）
本実施形態において、補正可能領域として画像の平坦な部分を検出したが、画像の伸縮が視覚的に知覚しづらい部分ならばその他の領域でもよい。

また、本実施形態において、画像生成部１３３では補正可能領域の画像を伸縮させて座標軸ずれの補正を行う例を説明したが、画像の一部を削除して補正を行ってもよい。その場合、画像区間検出部１３５では削除可能な領域を検出する。例えば、パターンの繰り返しがある領域を検出し、そのパターンのうち１つを削除することができる。また、画像空間内の近距離にある被写体のエッジを検出し、その周囲を補正可能領域として検出するようになっていてもよい。その場合、画像生成部１３３において近距離にある被写体の周囲の背景の一部が削除される。

また、本実施形態において、補正可能領域は空間を検出したが、動画像については時間領域で補正可能領域を検出してもよい。例えば、画像区間検出部１３５はシーン切れ目検出部であって、再生コンテンツのシーンの切れ目を検出し、そのタイミングで画像空間の座標軸を回転するようにしてもよい。シーンの切れ目の検出は、例えば、全周囲画像に対して隣接フレームとの輝度差を元に、輝度の変化が大きい時に当該フレームをシーンの切れ目として検出する。これにより、コンテンツの臨場感を失わずに、画像空間と音響空間との間の座標軸のずれを補正することができる。

＜＜実施形態４＞＞
前述の実施形態では、画像空間の座標軸を前記音響空間の座標軸に近づけることにより、座標軸のずれを補正する例を説明した。本実施形態では、音響空間の座標軸を前記画像空間の座標軸に近づける例を説明する。具体的には、補正可能な音声区間を検出し、検出した音声区間で補正を行い、加えてずれ情報を記憶する構成を説明する。

（高臨場感再生システム）
図１２は、実施形態４に係る高臨場感再生システムの構成を示すブロック図である。本実施形態に係る高臨場感再生システム１００は、前述した実施形態１の構成とほぼ同様のため、共通する構成については詳細な説明を省略し、相違点を中心に説明する。

実施形態１（図１）と同様に、本実施形態に係る高臨場感再生システム１００は音響出力装置１１０、表示装置１２０、制御装置１３０を備えており、音響出力装置１１０は実施形態１と同様の機能要素を有する。表示装置１２０は、実施形態１の構成に加えて、さらに磁気検出部（地磁気検出部）１２５を備える。磁気検出部１２５は、表示装置１２０周辺の磁場の向きを検出する検出部であり、例えば電子コンパスにより実現される。磁気検出部１２５は、検出した表示装置１２０に対する地磁気の向きを制御装置１３０へ出力する。

制御装置１３０は、実施形態１（図１）の構成に加えて、さらに音声区間検出部１３６および、座標軸記憶部１３７を備える。音声区間検出部１３６は、入力された音響信号の補正可能区間を検出する。音声区間検出部１３６は、補正可能区間として例えば無音区間を検出し、座標軸ずれ補正部１３２へ出力する。

座標軸ずれ補正部１３２では、座標軸ずれ検出部１３１から入力されたずれ量から、音響空間の座標軸が画像空間の座標軸に近づくように音響信号を補正する。例えば、検出した座標軸のずれの大きさに応じて、音量や位相のパンニングによって音響空間の座標軸を回転させることができる。図２のような状況において、座標軸ずれ補正部１３２から各音響出力部１１１〜１１８に出力される信号をＳｉｇ１〜Ｓｉｇ８とする。ここで、音響空間を隣接するスピーカ配置角度の半分２２．５度だけ回転させる場合、音響出力部１１１に入力されるはずの信号を音響出力部１１１および音響出力部１１２へ半分ずつ出力する。同様にして、他のチャネルの信号も隣のスピーカと半分ずつ出力する。したがって音響出力部１１１へ入力される信号をＳｉｇ１’とすると、Ｓｉｇ１’は以下の［数１］のように表すことができる。
［数１］
Ｓｉｇ１’＝１／２×（Ｓｉｇ１＋Ｓｉｇ２）
このように音響出力部１１１〜１１８へ出力される８ｃｈの音響信号に対してそれぞれパンニングを行うことで音響空間の座標軸を補正することができる。座標軸ずれ補正部１３２では、音声区間検出部１３６において無音区間を検出した際に上述の音響空間の座標軸の補正を実行する。出力される音響の無音区間に座標軸のずれを補正することで、座標軸のずれの補正を使用者に知覚されずに臨場感を保つことができる。

座標軸記憶部１３７は、磁気検出部１２５から入力された地磁気の向きに対する、座標軸ずれ補正部１３２で補正され一致した、音響空間の座標軸及び画像空間の座標軸の相対的な角度を記憶する。座標軸記憶部１３７は、再度電源を入れ直した時などに記憶した座標軸と地磁気の向きとの相対的な角度、及び、磁気検出部１２５から取得した地磁気の向きを出力する。

（信号処理）
続いて、信号処理のフローを図１３を用いて説明する。以下の各ステップは、制御装置１３０のＣＰＵ９９０の制御に基づき実行される。Ｓ１００からＳ１２０は上述の実施形態とほぼ同様のため説明は省略する。

続いて、音声区間検出部１３６において音響出力部に出力される信号の無音区間を検出する（Ｓ１８０）。無音区間検出の結果を座標軸ずれ補正部１３２へ出力する。続く、Ｓ１３０は、上述の実施形態とほぼ同様のため説明は省略する。

続いて、座標軸ずれ補正部１３２において、音響空間の座標軸が画像空間の座標軸に近づくように補正を行う（Ｓ１４０）。補正を行った音響信号は、音響出力装置１１０に出力される。

続くＳ１５０からＳ１６０は、実施形態１と同様のため説明は省略する。そして、コンテンツ再生の終了を判定し（Ｓ２００）、終了の場合（Ｓ２００でＹＥＳ）はＳ１９０へ進み、終了でない場合（Ｓ２００でＮＯ）はＳ１００に戻る。

Ｓ１９０では、座標軸記憶部１３７において補正され、一致した画像空間および音響空間の座標軸と地磁気の向きとの差が記憶される。記憶された差の情報は、次の再生開始時あるいは再度電源が入れられた際の座標軸ずれ補正の初期値として用いられる。

以上のように無音区間を検出し、そのタイミングで音響空間の座標軸を画像空間の座標軸に近づけることで、使用者に補正を知覚されにくく、臨場感を損なわずに補正を行うことができる。また、地磁気と画像空間および音響空間の座標軸の差分を記憶することで、電源を入れ直した際でも音響空間の座標軸と画像空間の座標軸が大きくずれることなく、臨場感を損なわれることがない。

（その他の構成）
本実施形態では、音声区間検出部１３６は無音区間を検出し、無音区間に音響空間を回転させて座標軸のずれを補正したが、座標軸のずれの補正が知覚されにくいならば、座標軸の補正を行うタイミングはこれに限られない。例えば、出力される音響が等方性を有する時間区間に座標軸のずれを補正してもよい。この場合は、８ｃｈの音響信号が同じような信号の場合を検出する。例えば、８ｃｈの音響信号のスペクトルを比較しスペクトルの差分量が小さい区間を音響信号が等方性を持つ区間として検出する。音声区間検出部１３６は音響信号の等方性を検出する等方性検出装置であってもよい。使用者から見て音響空間が等方的な場合、音響空間を補正しても使用者に知覚されることはない。

本実施形態において音響信号のコンテンツは８つの音響出力部１１１〜１１８に出力する８ｃｈの波形信号を仮定したが、例えば音源ごとの波形信号と音源の位置を持っているオブジェクトベースのコンテンツとしてもよい。オブジェクトベースのコンテンツの場合、音源の信号と音源の位置とスピーカの配置から各スピーカに出力される信号が生成される。そこで、音源ごとの情報を取得する音源情報取得部を備え、音源ごとに無音区間を検出し、音源ごとに独立に座標軸ずれ補正するようになっていてもよい。このように、出力される音響の音源ごとに座標軸のずれを補正することで、様々な種類の音響を対象に座標軸のずれの補正を行うことができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：高臨場感再生システム、１１０：音響出力装置、１２０：表示装置、１３０：制御装置

Claims (17)

1. 表示装置の向きに応じた画像を表示する前記表示装置により表示される画像に対応する画像空間の座標軸方向と、前記表示装置により表示される画像に関連する音を出力する複数の出力装置により出力される音に対応する音響空間の座標軸方向とを一致させる設定を行う設定手段と、
   前記設定手段による前記設定の後に、前記表示装置の動きの検出結果に基づいて前記画像空間の座標軸方向と前記表示装置の向きとの差を推定することで前記画像空間の座標軸方向を特定する特定手段と、
   前記音響空間の座標軸方向と前記特定手段により特定された前記画像空間の座標軸方向とのずれを検出する、ずれ検出手段と、
   前記ずれ検出手段により検出されたずれが補正されるように、前記表示装置による画像の表示と前記複数の出力装置による音の出力との少なくとも何れかの制御を行う制御手段とを有することを特徴とする制御装置。
2. 前記ずれ検出手段は、前記複数の出力装置から出力された音を前記表示装置に設置された収音部により収音した収音結果に基づいて特定された前記音響空間の座標軸方向と、前記特定手段により特定された前記画像空間の座標軸方向と、のずれを検出することを特徴とする請求項１に記載の制御装置。
3. 前記ずれ検出手段は、前記表示装置に設置された撮像部により前記出力装置が撮像された撮像画像と、前記出力装置に設置された撮像部により前記表示装置を撮像した撮像画像との少なくとも何れかに基づいて特定された前記音響空間の座標軸方向と、前記特定手段により特定された前記画像空間の座標軸方向と、のずれを検出することを特徴とする請求項１又は２に記載の制御装置。
4. 前記制御手段は、前記ずれ検出手段により前記ずれが検出された場合に、前記表示装置により表示される画像及び前記複数の出力装置により出力される音の少なくとも何れかに基づいて決定したタイミングで前記制御を行うことを特徴とする請求項１乃至３の何れか１項に記載の制御装置。
5. 前記表示装置の動きを検出する動き検出手段を有し、
   前記制御手段は、前記ずれ検出手段により前記ずれが検出された場合に、前記動き検出手段による前記表示装置の動きの検出に応じたタイミングで前記制御を行うことを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
6. 前記制御手段は、前記ずれ検出手段により前記ずれが検出された場合に、前記複数の出力装置により出力される音が無音又は等方性を有する音であるタイミングで前記制御を行うことを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
7. 前記制御手段は、前記ずれ検出手段により前記ずれが検出された場合に、前記複数の出力装置により出力される音と前記表示装置により表示される画像とに係るコンテンツのシーンの変化に応じたタイミングで前記制御を行うことを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
8. 前記制御手段は、前記ずれが補正されるように、前記画像空間の座標軸方向と前記音響空間の座標軸方向とを近づける制御を行うことを特徴とする請求項１乃至５の何れか１項に記載の制御装置。
9. 前記制御手段により行われる前記制御には、前記表示装置に入力される全周囲画像内の領域であって前記表示装置により表示される画像に対応する領域を、前記表示装置の動きの検出結果と前記ずれ検出手段による前記ずれの検出結果とに基づいて変更する処理が含まれることを特徴とする請求項１乃至８の何れか１項に記載の制御装置。
10. 前記制御手段により行われる前記制御には、前記表示装置により表示される画像を、前記表示装置の動きの検出結果と前記ずれ検出手段による前記ずれの検出結果とに基づいて回転させる処理が含まれることを特徴とする請求項１乃至９の何れか１項に記載の制御装置。
11. 前記制御手段により行われる前記制御には、前記表示装置により表示される画像の一部を、前記ずれ検出手段により検出された前記ずれの大きさに応じて伸縮又は削除する処理が含まれることを特徴とする請求項１乃至１０の何れか１項に記載の制御装置。
12. 前記制御手段により行われる前記制御には、前記複数の出力装置により出力される音の音量及び位相の少なくとも何れかを、前記ずれ検出手段により検出された前記ずれの大きさに応じて変更する処理が含まれることを特徴とする請求項１乃至１１の何れか１項に記載の制御装置。
13. ヘッドマウントディスプレイとして構成される前記表示装置と、
    それぞれ異なる位置に配置される複数のスピーカとして構成される前記複数の出力装置と、
    請求項１乃至１２の何れか１項に記載の制御装置とを有することを特徴とする再生システム。
14. 表示装置の向きに応じた画像を表示する前記表示装置により表示される画像に対応する画像空間の座標軸方向と、前記表示装置により表示される画像に関連する音を出力する複数の出力装置により出力される音に対応する音響空間の座標軸方向とを一致させる設定を行う設定工程と、
    前記設定工程による前記設定の後に、前記表示装置の動きの検出結果に基づいて前記画像空間の座標軸方向と前記表示装置の向きとの差を推定することで前記画像空間の座標軸方向を特定する特定工程と、
    前記音響空間の座標軸方向と前記特定工程により特定された前記画像空間の座標軸方向とのずれを検出する、ずれ検出工程と、
    前記ずれ検出工程において検出されたずれが補正されるように、前記表示装置による画像の表示と前記複数の出力装置による音の出力との少なくとも何れかの制御を行う制御工程とを有することを特徴とする制御方法。
15. 前記ずれ検出工程は、前記複数の出力装置から出力された音を前記表示装置に設置された収音部により収音した収音結果に基づいて特定された前記音響空間の座標軸方向と、前記特定工程により特定された前記画像空間の座標軸方向と、のずれを検出することを特徴とする請求項１４に記載の制御方法。
16. 前記制御工程は、前記ずれ検出工程において前記ずれが検出された場合に、前記表示装置により表示される画像及び前記複数の出力装置により出力される音の少なくとも何れかに基づいて決定したタイミングで前記制御を行うことを特徴とする請求項１４又は１５に記載の制御方法。
17. コンピュータを請求項１乃至１２の何れか１項に記載の制御装置が有する各手段として機能させるためのコンピュータプログラム。

Images