JP6499805B2

JP6499805B2 - 映像表示装置および映像表示方法

Info

Publication number: JP6499805B2
Application number: JP2018510198A
Authority: JP
Inventors: 隆金丸; 伸宏福田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2016-04-08
Filing date: 2016-04-08
Publication date: 2019-04-10
Anticipated expiration: 2036-04-08
Also published as: JPWO2017175366A1; WO2017175366A1

Description

本発明は、映像表示装置および映像表示方法に関するものである。

特許文献１には「ユーザが把持して画面を見ることが可能な表示装置に仮想世界の画像を表示し、当該表示装置の姿勢や動きに応じて当該仮想世界に対する操作が行われる場合に、当該表示装置の姿勢や動きによる操作を容易にすることが可能な情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法を提供することを課題として、可搬型表示装置本体の姿勢および／または動きに応じたデータに基づいて、少なくとも実空間の所定方向周りの当該可搬型表示装置の回転方向および回転量を算出し、当該回転量を所定の比率で補正した補正回転量を算出する。そして、仮想世界に設定された所定方向に対応する方向を基準として、回転方向および補正回転量に基づいた操作指示方向を算出して仮想世界に対する所定の処理を行い、仮想世界の少なくとも一部を含む第１画像を可搬型表示装置に表示する」技術を開示している（要約抜粋）。

特許文献２には「演出において表示する仮想カメラの視点から見た三次元の画像を遊技者の視点に連動させるために、遊技者の頭部の動きを検出するカメラ等の検出手段を設ける場合に、遊技者が頭部を積極的に動かすことを遊技者に自然に促して、興趣深い遊技機およびその演出制御方法を提供することを課題として、遊技機の演出制御部の三次元画像生成部が、所定の表示オブジェクトと、表示オブジェクトを遮蔽する遮蔽オブジェクトと、を少なくとも仮想空間に配置して画像を生成し、遮蔽オブジェクトが、仮想空間において表示オブジェクトと仮想カメラの視点との中間位置に配置されて、遊技者が表示オブジェクトを視認するのを遮蔽するように仮想カメラの視点に追従して移動および／または停止する」技術を開示している（要約抜粋）。

特開２０１２−２５２４６８号公報特開２０１４−３９６３０号公報

特許文献１に記載の技術は、例えばコンピュータグラフィックス（ＣＧ）により構築した世界（以降、仮想世界とする）の表示方法について、ユーザの回転移動量を補正することにより、少ない回転移動でも広い視野の映像を提示する方法について記載されているが、ユーザ体験を高める上で重要な因子である映像表示以外の感覚提示方法については言及されていないため、仮想世界への没入感を高めるための改善の余地がある。

特許文献２に記載の技術は、ユーザの顔の移動量に応じて視点位置や表示オブジェクトの位置、および音響効果を変化させる遊技機における映像表示方法について記載されているが、正面方向の映像提示を前提とし、また、ユーザの顔向きの検出をカメラで行っているため、広視野域への映像・音声表示について考慮されていない。

以上の先行技術文献によれば、映像表示装置を設置するための物理的空間や映像の表示範囲が限定される状況において、ユーザを仮想空間に没入させる機器の実現には公知の技術では十分でないといえる。

本発明はこのような事情に鑑みてなされたものであり、映像表示装置を設置するための物理的空間や映像の表示範囲が限定される状況において、広い視野を有する仮想空間を使用者に提示し、映像表示と異なる感覚刺激を用いてユーザを仮想空間へ没入させる機能を実現する映像表示技術の提供を目的とする。

前述の課題を解決するために、例えば、ユーザの頭位変化を検知する頭位変化検出部と、頭位変化に基づいて視線方向および回転速度を算出する方向算出部と、視線方向に基づいて映像信号を生成する映像データ処理部と、回転速度に基づいて音声信号を生成する音声データ処理部と、映像信号と音声信号とを出力する出力部と、を有し、音声データ処理部は、映像信号の変化に基づいて音声信号を生成することを特徴とする映像表示装置を提供する。

本発明の技術によれば、限られた設置スペースや表示投影範囲が限定される状況においても、広い視野を有する仮想空間を提供し、ユーザが表示映像から受ける違和感や映像酔いを低減した仮想空間体験が可能な映像表示を実現できる。このほかの課題、構成および効果等は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る映像表示装置１の一例を示す模式図本発明の実施形態に係る映像表示装置１の一例を示す模式図本発明の実施形態に係る映像表示装置１の一例を示す模式図第一実施形態の映像表示装置１の構成の一例を示す機能ブロック図第一実施形態における映像および音声表示処理の一例を示すフローチャート首振り動作時に補正を加える映像表示処理の一例を示すフローチャート映像表示の補正方法の一例を示すグラフ首振り動作時に音声出力を行う音声出力処理の一例を示すフローチャート呈示する音声データの一例を示すグラフ呈示する音声データの一例を示すグラフ首振り動作の異なる種類を検出する方法について説明するためのグラフ首振り速度と補正量の相関の一例を説明するためのグラフ第二実施形態の映像表示装置１の構成の一例を示す機能ブロック図第二実施形態における音声表示処理の一例のフローチャート第三実施形態の映像表示装置１の構成の一例を示す機能ブロック図ユーザの視線方向に応じて情報収集装置の方向を制御する処理の一例を示すフローチャート第三実施形態における映像および音声表示処理の一例を示すフローチャート

以下、本発明の実施形態について図面を用いて説明する。以下では、全図を通じて同一の構成に対しては同一の符号を付与して重複する説明を省略する。

［構成の説明］
図１には本発明で説明する技術を使用する映像表示装置１について説明する。図１（ａ）はユーザが着席して使用することを想定した映像表示装置１の外観および演出方法である。据置き型の本体部１０とユーザの視線方向の検出と音声表示を行う端末部２０、映像表示を行う複数の表示部３０によって構成され、表示部３０が投影をおこなうスクリーンを保持する部材上にユーザを取り囲む形態で設置する。映像表示装置１の上面の空間は解放されており、正面および左右側面、下面のスクリーンに夫々個別の表示部３０から映像を投射する。下面スクリーンへの投射はユーザの正面のスクリーンの裏側下方から入射させ、鏡などで光路を上方に反射させる。スクリーンの保持部材も下面の投射を考慮して加工されている。図１（ｂ）はユーザの全身が収まる形での使用を想定した映像表示装置１の外観および演出方法である。据え置き型の本体部１０と端末部２０は図１（ａ）同様で、スクリーンの配置は、ユーザの背面および上面が開放されており、正面、側面、床面に夫々に対する表示部３０からの映像が投射される。床面の投射位置は床下に投射用の空間を設けることで下方向から投射するのでも良い。図１（ｃ）は図１（ｂ）のシステムを上方から俯瞰した図であり、点線は表示部３０からユーザ正面および左右側面へのスクリーンの映像投射の様子を示している。上述した演出方法のように各スクリーンをつなぎ合わせて全ての表示部３０から同期した映像を投射することで、ユーザは複数の映像表示を一体として認識可能とする効果が得られる。いずれの図も配線の表記は省略したが、各表示部３０は本体部１０に有線あるいは無線で接続されてデータ送受信機能を有し、夫々が投射する面の映像データを受信する。端末部２０も本体部１０に有線あるいは無線で接続されて音声データを受信する。上記の設置例では、複数の表示部３０が一つの本体部１０により制御され、各々個別のスクリーンに投影する形態を示したが、1台の表示部が複数のスクリーンへの映像を投射するような形態であっても良いし、また、本体部１０に相当する機器が表示部３０と１対１対応して複数ある形態でも良い。

以上のような映像表示装置１による表現方法においてはユーザの上面および背面には映像表示可能なスクリーンが無いのだが、それでも臨場感のある体験を可能とするために、例えば全方位の映像を提示したいという課題がある。本発明は限られた映像表示範囲であっても広視野をユーザに提供可能とする映像表示装置、表示方法およびプログラムに関係する。

第一の実施形態はユーザに視覚刺激となる映像表示と同時に、聴覚刺激となる音声表示を伴わせて課題解決を実現する装置および方法である。図２には、第一の実施形態の映像表示装置１の機能ブロックの一例を示す。映像表示装置１は、装置本体部１０、映像表示装置のユーザが装着する端末部２０、表示部３０から構成される。

装置本体部１０は所謂パーソナルコンピュータやゲームマシンに相当し、下記に示す機能を有する。センサデータ受信部１０１は端末部２０で取得した位置・方向を推定するための計測データを受信し、方向推定部１０２に送信する。計測データは本実施形態では端末部２０で検知する加速度や地磁気のデータである。方向推定部１０２はセンサデータ受信部１０１から受信したデータから端末部２０の方向を推定し、推定結果をメモリ１１０に書き込む、もしくは制御部１０３へ送信する。制御部１０３は表示データ生成に必要な演算や機能ブロック間のデータ送受信、メモリ１１０へのデータ読み書きを行う、いわゆるプロセッサである。映像データ処理部１０４は制御部１０３の処理結果に基づいてユーザに提示する映像を生成し、表示映像送信部１０６に送信する。表示映像送信部１０６は映像データ処理部１０４によって作成された映像データを表示部３０に伝送する。なお、作成する映像データは、例えばカメラで撮影した実写動画像や、本体部１０で任意に生成が可能なＣＧにより構築した映像、あるいは実写にＣＧを融合させた映像である。音声データ処理部１０５は制御部１０３の処理結果に基づいてユーザに提示する音声データを作成し、表示音声送信部１０７に送信する。作成する音声データとは、例えば実写動画像に含まれる音声データや、仮想世界の背景音やオブジェクトの動きに合わせた音声データ、あるいはユーザの動作に起因してフィードバックされる音声データである。表示音声送信部１０７は音声データ処理部１０５によって作成された音声データを端末部２０に伝送する。メモリ１１０は一時的あるいは恒久的にデータを保存するための記録素子であり、例えば不揮発性メモリやハードディスクドライブ（ＨＤＤ）等が相当する。

端末部２０はユーザの頭部に装着し、頭の位置や向き等を計測する機能および、例えば音声表示である映像以外の感覚刺激表示機能を有する。加速度センサ２０１および地磁気センサ２０２は一定時間間隔で加速度および地磁気の向きを三次元で計測する。センサデータ送信部２０３は本体部１０と通信する機能を有し、加速度センサおよび地磁気センサの計測結果を本体部へ送信する。表示音声受信部２０４は本体部１０との通信機能を有し、本体部１０の表示音声送信部１０７から送信された音声データを受信して音声表示部２０５へ転送する。音声表示部２０５はユーザに音声出力を提示する例えばヘッドフォンである。なお端末部２０は、計測機能に関する機能ブロックと音声出力機能に関する機能ブロックとを別個に構成しても良い。

表示部３０は例えばプロジェクターやモニタ端末であり映像表示の機能を有する。表示映像受信部３０１は本体部から送信される映像データを映像表示部３０２へ転送する。映像表示部３０２はユーザに示す映像を表示する。例えばプロジェクターであればスクリーンへの投射、モニタ画面であればモニタ画面への表示である。他、図中の表記では割愛するが、表示面のサイズや画質を調整する機能を備えて良い。また図２においては表示部３０を一つ記載したが、図１にて示したように、投影面が複数ある装置構成において、複数の表示部が単一の本体部に接続される構成でも良く、同期して異なる投影面へ映像表示を行うことが可能である。

なお、これらの機能ブロックの構成はハードウェアとして実現するのでも良く、ソフトウェアとして処理される事でも良い。また、本体部１０と端末部２０および表示部３０のデータ送受信方法には一般的な通信方法を用いれば良く、例えば本体部１０と端末部２０とは無線通信方式を用いることでユーザの挙動に結線による制約がなくなる効果がある。

図３は第一の実施形態において、ユーザの首振り動作を検出して映像、音声を表示する処理のフローチャートである。ステップ（以降Ｓと表記）３０１のセンサデータ取得処理では、加速度センサ２０１および地磁気センサ２０２からデータを取得し、センサデータ送信部２０３が得られたセンサデータを本体部１０へ送信してＳ３０２へ進む。計測時間間隔（センサがデータを取得するタイミング）は端末部にメモリを有して予め設定された間隔値で駆動するようにしても良いし、別途コマンド送受信の機能を有して起動時に本体部から計測時間間隔を指定するようにしても良い。方向推定処理Ｓ３０２では本体部はセンサデータ受信部１０１が受信したデータを用いて方向推定部１０２がユーザの視線方向を推定、得られた方向データは一時的あるいは恒久的に記録可能なメモリ１１０に保存してＳ３０３へ進む。方向の推定方法は汎用的な手法を用いることで構わないが、例えば加速度データおよび地磁気データから算出される座標系を表示する仮想空間の座標系に一致させるなどの演算処理を必要とする。首振り動作判定処理Ｓ３０３では制御部１０３がメモリ１１０に記録された方向データを読み出し、首振り動作の有無と、その方向や速度などの特徴を判定してＳ３０４へ進む。判定は例えば、過去一定回数分の方向推定結果をメモリ１１０に保持しておき、その間の変化率が所定の値を超えたかどうかで行う。設定値保存処理Ｓ３０４では制御部１０３は判定結果をメモリ１１０に保存し、視線方向算出のための補正値を動的に変化させる場合には、所定の補正値算出演算を行って算出結果をメモリ１１０に保存してＳ３０５およびＳ３０８へ進む。補正値算出演算は例えば、Ｓ３０３で算出した変化率の大きさに比例させるなどである。映像生成処理Ｓ３０５では映像データ処理部１０４が表示映像を作成してＳ３０６へ進む。映像データ送信処理Ｓ３０６では表示映像送信部１０６が表示部３０に映像データを送信してＳ３０７へ進む。映像表示処理Ｓ３０７では表示部３０の表示映像受信部３０１が受信した映像を映像表示部３０２が映像表示して処理を終了する。音声生成処理Ｓ３０８では音声データ処理部１０５が表示音声を作成してＳ３０９へ進む。音声データ送信処理Ｓ３０９では表示音声送信部１０７が生成された音声データを端末部２０へ送信してＳ３１０へ進む。音声表示処理Ｓ３１０では、表示音声受信部２０４が音声データを受信し、音声表示部２０５で音声を出力して処理を終了する。

図３に示した処理の例では一連の処理手順を説明する形で表記したが、必ずしもこれらの処理は一連の動作として順次実行する必要はない。例えば、補正値を算出するまでの処理はタイミングＳ３０１に示したセンサによるデータ取得をトリガとして繰り返し実行するが、映像の生成から表示の処理はセンサの処理とは非同期でユーザの視聴体験を満足させるに十分に短い時間間隔に基づき、秒間３０フレームの画像を提示するなどして良い。映像データ処理部１０４や音声データ処理部１０５は都度表示の更新を行うタイミングでメモリ１１０に記録された補正値を参照すればよい。補正値算出までの処理の実行頻度を表示処理の実行頻度以上として実施することで、表示処理の度に確実に最新のユーザの動作を反映可能とする効果が得られる。

図４は映像生成処理（Ｓ３０５）で実行する、ユーザの首振り動作に伴う映像生成処理の一例を示す。視線方向算出処理Ｓ４０１では映像データ処理部１０４が制御部１０３を介してメモリ上から補正値を読み出し、ユーザの視線方向情報を算出してＳ４０２へ進む。視点設定処理Ｓ４０２では視点位置を仮想空間内のカメラ位置として設定し、およびＳ４０１で決定した視線方向情報を仮想空間内のカメラの向きとして設定を行い、Ｓ４０３へ進む。視体積設定処理Ｓ４０３では、仮想世界いずれの範囲を描画対象とするかの設定を行いＳ４０４へ進む。例えば描画を行う視点位置からの距離の設定や、投射方法に透視投影を選択するなどの設定を行う。ビューポート設定Ｓ４０４では、表示対象となる画面範囲のうち、いずれの範囲の映像を描画対象とするかの設定を行いＳ４０５へ進む。描画対象は表示部３０と投影面（スクリーン）の関係により決定すればよく、例えば表示部３０の投影領域が投影するスクリーンの表示領域と等しくなるよう設置する場合は、表示ウィンドウサイズを映像描画の対象とする。描画処理Ｓ４０５ではＳ４０２からＳ４０４での設定を用いてＣＧ描画処理を行い、処理を終了する。上記の処理により、ユーザの首振り角度の検出結果によって補正された視線方向の映像表示を可能とする。

図５には視線方向の補正方法の一例を示す。座標軸の横軸がユーザの視線方向であり、原点が０度、つまり映像表示装置１の正面に正対している状態であり、横軸右を左回りの回転方向、左を右回りの回転方向とする。座標軸の縦軸は仮想世界の視線方向であり、上方を左回りの回転方向、下方を右回りの回転方向とする。この時、グラフの破線は、補正を行わない（α＝０）状態であり、表示画像を変化させずにユーザの視線方向と仮想世界の視線方向が一致する場合を示す。一方で、実線で示した処理は補正値を固定倍率αとして、ユーザが装置正面に正対している状態をθ＝０とした場合に、視線方向θに対してθ×αの視線方向を中心とした映像を生成、表示する。これによりユーザの首振り角度θに応じて、仮想世界の水平方向の視野が一定倍率で広くする効果が得られる。

このような一定倍率での補正方法によれば、実世界でのユーザの向きと表示画像の視線方向との関係は一意であり、提供する予定の視野範囲を表示画面の幅に合わせやすい効果がある。例えば、ユーザがスクリーン等の表示面の中央に正対しているときに表示画像を仮想世界の正面（０°）方向を提示し、表示画面の一方の端点で仮想世界の背面（１８０°）方向を表示すれば、有限の表示範囲に全方位の映像提示が可能となる。

上述した映像表示方法では、ユーザが自身の回転角の知覚と、映像の変化のズレに違和感を感じる可能性がある。

そこで、異なる感覚器への刺激を同時に提示することによって違和感を低減する。

図６には音声生成処理（Ｓ３０８）で実行する、ユーザの首振り動作に伴う音声出力処理の一例を示す。首振り動作発生判定処理Ｓ６０１では音声データ処理部１０５において制御部１０３の首振り判定処理結果を参照して、首振りが行われたと判定すればＳ６０２へ進み、行われていないならば本処理フローを終了する。効果音再生中判定処理Ｓ６０２では、効果音の再生が行われていれば処理フローを終了し、行われていなければＳ６０３へ進む。この判定は再生開始時および再生終了時に再生状態を管理することで実現可能である。効果音再生処理Ｓ６０３では効果音の再生を開始して、処理を終了する。再生処理とは、例えば、該当の効果音データは所定の音声データを予めメモリ１１０に展開しておき、再生デバイスが再生用に保持するメモリ領域に転送することで実行される。

図７には上記で記した効果音再生処理方法の一例を示す。Ｓ６０１で首振り発生の判定をし、かつＳ６０２で効果音の再生が無いと判定した時点を動作開始時刻としている。図７（ａ）はユーザが正面向かって左方向への首振り動作を行った場合の再生内容であり、まず左耳用の音量について最大音量δまでの上昇下降を行い、所定時間経過後に右耳用の音量について最大音量δまでの上昇下降を行う。図７（ｂ）はユーザが正面向かって右方向への首振り動作を行った場合の再生内容であり、まず右耳用の音量について最大音量δまでの上昇下降を行い、所定時間経過後に左耳用の音量について最大音量δまでの上昇下降を行う。なお、図７（ａ）および図７（ｂ）では左右２チャンネルのステレオ音声出力フォーマットを例に説明しているが、５．１チャンネル音声などそれより高次の音声フォーマットにおいて、主となる左右音声出力チャネルに同様の処理をおこなうことでも良い。以上の処理によって、首振り動作に起因して、映像変化に同期した方向変化の知覚を誇張・増強する音声データの表示を行うことで、ユーザの方向知覚と映像表示内容の差による違和感をなくす、あるいは低減する効果を得られる。

図７（ａ）および図７（ｂ）の例では三角形状の波形を用いて説明したが、最大音量δを一定時間継続するような台形形状の波形としても良いし、音声の周波数やテンポ等に変化をつけて前後方向の奥行き感の演出を付与することでも良い。

Ｓ６０２〜Ｓ６０３の再生中処理を代替する処理方法として、例えば左方向の効果音再生中に、右方向の首振り動作が生じた場合、先に再生している左方向用の効果音再生を中断して、右方向用の効果音を再生するなどしても良い。また、Ｓ６０３の効果音再生処理は、例えばホワイトノイズの音声データを予め音量０で繰り返し再生しておき、左右音量の音量レベルを図７（ａ）および図７（ｂ）で示したとおりに調整を行う方法としても同様の効果を実現可能である。
Ｓ６０３の効果音再生処理を代替する処理方法として、例えば、ユーザが正面向かって左方向への首振り動作を行った場合に、図７（ｂ）で示される右耳用の音量が先行する音声再生処理を行い、ユーザが正面向かって右方向への首振り動作を行った場合に、図７（ａ）で示される左耳用の音量が先行する音声再生処理を行うとしても良い。以上の処理によって、ユーザの首振り動作に同期して水平方向への聴覚変化がユーザの方向感覚を錯覚させ映像表示内容の差による違和感をなくす、あるいは低減する効果を得られる。

図８を用いて首振り動作の加速度検出結果を用いた音声表示方法について説明する。図８のグラフには、ユーザがある視線方向Ａから別の視線方向Ｂまで視線移動をするとして、高速に視線方向を変更した場合の位置情報の軌跡を実線で、低速で変更した場合の位置情報の軌跡を破線で示している。首振り動作判定処理Ｓ３０３にて、常時所定の時間分の視線方向情報をメモリ１１０に保持しておくことで、首振り動作発生判定処理Ｓ６０１では、首振り動作検出時刻において加速度値を算出できる。この加速度値に基づいて想定されるＳ字カーブを決定し、効果音再生処理Ｓ６０３にて音声データ処理部１０５が再生する効果音の長さを変更するように処理しても良い。また、音声データ処理部１０５で音声再生中においても、首振り動作の加速度情報を常に参照可能である。これに基づいて想定されるＳ字カーブを常に補正して、音声再生速度を調整することで首振り動作の完了と音声再生を終了するタイミングを同期させることが可能となる。以上の処理によれば、任意の首振り動作に対して、より再生音声との一体感が得られ、違和感をなくす、あるいは低減した視野の拡張を可能とする効果が得られる。高速、および低速の首振り速度の区分は固定の閾値をメモリに保持して用いることで判断しても良く、あるいは、使用者の動作の過去の経験から区分けの閾値を変動させるなどしても良い。また、本実施例では高速と低速の２段階としたが、より多くの段階に区分するのでも良い。

図９を用いて、補正値を変動させる映像表示の補正方法について説明する。視線方向算出処理Ｓ４０１にて、映像データ処理部１０４が首振り動作判定処理Ｓ３０３で記録される首振り動作の水平方向速度の情報に基づいて、補正量αの割合を増加させる。図９のグラフは横軸にユーザの首振り動作の水平方向速度をとり、右側が左回転の角速度、左側を右回転の角速度とする。縦軸に補正量αの値をとり、上方が左回転の補正量、下方を右回転の補正量の大きさとする。この例では、図中の実線で示したように所定の速度Ｖ１までは補正量α＝１とする。すなわちある程度の首振り速度までは、ユーザの視線方向と表示映像の視線方向は一致させる。Ｖ１からＶ２までの速度において増加割合を一定上昇させる。これにより高速な首振り速度となった時の補正量を上げることで、効率的に全方位を見渡せるように補正を行う。一方で、常時、映像表示内容の把握は可能な状態にするため、速度Ｖ２以上においては再び補正量を一定にする。この映像表示方法によれば、映像表示内容の把握が可能な状態を保ちつつ、より少ない首振り動作によって広視野の映像表示とする効果が得られる。割合を増加させる速度Ｖ１、補正量の上限値、および補正上限に到達する速度Ｖ２はユーザの個人特性、例えば動体視力の良さ等を考慮して、個人毎に設定値を可変としても良い。

補正値を変動させる方法を実施する場合、ユーザの視線方向と画面に表示するＣＧ画像の視線方向とにズレが生じ、首振り動作を繰り返し行う間に、表示範囲の端点に視線が達してそれ以上の視界範囲外の視聴が困難になる事が考えられる。このような困難を回避するため、ユーザが正面から画面の左右外側に向かっての首振り動作時には図９で説明した補正値取得処理を実施し、逆にユーザの正面に視線方向を戻すときは、ユーザの正面を向く視線方向と仮想世界の正面方向とが再度一致するように、補正値を設定するのでも良い。こうすることで常に正面方向を一意に維持することができるため、首振り動作を繰り返している間に正面から外れた位置が正面となってしまい、首振り動作が画面の端に到達してそれ以上実行不可能になる状態を回避する効果が得られる。

以上で説明した第一の実施形態によれば、ユーザの首振り動作を起点として、角度を補正した視線方向の映像を表示し、かつ、水平方向の動きの知覚を増強する音声を表示することが可能である。これにより限られた映像表示範囲においても、ユーザの首振り動作に対して違和感をなくした、あるいは低減した広視野範囲の映像表現を可能とする効果が得られる。

なお、ユーザの方向推定を行う手法は本実施例で説明したセンサの組み合わせに限定する必要は無く、例えば加速度センサのみで推定を行っても良いし、加速度センサとジャイロセンサを組み合わせるなどでも良い。あるいはカメラなどの撮像手段によって顔部分を撮影した画像から向きを推定するなどでも良い。

呈示する音声データは、例えばホワイトノイズ音のようなユーザが意識的に内容を聞き取る必要のない音声でも良いし、あるいはユーザの可聴域外の音声、例えば20kHzのトーン音でも良い。可聴域外の音声による実施であれば、ユーザは通常音声の視聴を可能にしつつ期待する効果が得られる。

また、以上の説明では首振り動作として水平方向の視点移動に関しての処理について説明したが、垂直方向の視点移動については補正を行わずに映像表示を行うことで良い。水平方向に限定することにより、映像酔いの可能性をさらに低減する効果が得られる。もちろん、図１（ｂ）のように映像の表示範囲が広く、例えば全天周画像の表示を行いたい場合は垂直方向についても同様の映像出力の補正と効果音生成を行うことでユーザの違和感をなくした、あるいは低減した広視野範囲の映像表現を可能とする効果が得られる。また、図１（ｂ）のように、ユーザが直立姿勢で使用し、仮想空間内を移動するような演出をおこなう場合、前後方向の仮想空間内の移動においても、一定の前後方向への加速をトリガとして上述した方法と同様に前後方向への移動を増強する効果音を再生するようにしても良い。

［第二実施形態］
映像表示装置１の使用形態として、例えば仮想空間から音声データが生成されない場合が考えられる。この時、ユーザに対してユーザが在席している場の周囲の音声（環境音）を呈示して、ユーザの違和感をなくした、あるいは低減した広視野範囲の映像表現の実現が可能である。図１０には第二実施形態の映像表示装置の機能ブロック構成を示す。第一実施形態と重複する機能ブロックについては説明を省略する。端末部２０の音声収集部２０６は例えば集音用のマイクであり、周辺の音声を入力としてデジタルデータに変換しメモリ２０８に記録する。音声データ送信部２０７は音声収集部２０６でデジタル化された音声データを読み出し、本体部１０に送信する。データの送受信は一般的なデータ通信形式で行えば良く、本体部１０と端末部２０の接続方法（有線あるいは無線）に適合するものを用いる。本体部１０の音声データ受信部１０８は、端末部２０から送信された音声データを受信し、データを本体部１０が有するメモリ１１０に記録、もしくは、音声データ処理部１０５へ転送する。音声データ処理部１０５では音声データ受信部１０８を介して受信した音声データを、方向推定部１０２から得られる方向データおよび補正値αに基づいて加工し、表示用音声データを生成する。生成した表示用音声データのユーザへ提示するまでの処理経緯は第一実施形態にて説明した処理と同様である。

なお図１０における端末部の音声収集部２０６および音声データ送信部２０７から成る音声収集機能については、他の機能との分割が可能であり、別端末として構成するのでも良く、また、複数の音声収集機能を用いることでも良い。複数の音声収集機能を用いれば、三次元空間での精緻な音源位置の把握を可能とする効果が得られる。

図１１は第二実施形態において音声データ処理部１０５が実施する音声生成処理（Ｓ３０８）のフローチャートである。集音データ読出し処理Ｓ１１０１では音声収集部２０６が取得し、音声データ送信部２０７および音声データ受信部１０８を介して記録される環境音のデータをメモリ１１０から読み出してＳ１１０２へ進む。補正値読出し処理Ｓ１１０２では音声データ処理部１０５は視線方向の補正値αをメモリ１１０から読み出してＳ１１０３へ進む。出力音声データ生成処理Ｓ１１０３では音声データ処理部１０５はＳ１１０２で取得した補正値αに応じて表示映像の視線方向の変化と合致するよう左右の音声データを加工してＳ１１０４へ進む。例えば、ステレオ音声出力を行う場合には、左右の音量バランスをαの固定倍とし、すなわち正面に正対している（α＝０）場合は、左右均等な音量バランスで表示音声を生成し、正面から左方向を向いている（α＞０）場合には、左側の音量レベルを高めて右側の音量レベルを下げるように生成し、逆に右方向を向いている（α＜０）場合は左側の音量レベルを下げて右側の音量レベルを上げるように生成する。音声出力処理Ｓ１１０４では図６を用いて説明した音声データ処理部１０５による首振り動作判定に応じた効果音再生処理を実施して処理を終了する。Ｓ１１０３で生成した音声とＳ１１０４で生成した効果音とは加算されてユーザに表示される。Ｓ１１０３の処理のみで視線方向を錯覚させる十分な効果が得られる場合には、音声出力処理Ｓ１１０４を行わないことでも良い。

以上の処理により、環境音を利用して、ユーザの違和感をなくした、あるいは低減した広視野範囲の映像表現を可能とする効果が得られる。また、映像表示装置１を使用して仮想空間を体感している最中においても、現実世界の環境音の変化も認識でき、装置使用時の利便性を向上する効果が得られる。

なお、音声収集部が複数ある場合には、例えば左右音声データを受信後、音声データ処理部１０５は各音声収集部の位置を考慮して、複数の音源データを出力用の単一の左右音声に統合する。複数の音声の音源位置特定および統合処理については任意の処理方法を実施することで良い。音声データ処理部１０５は統合後に上述の左右音声レベルの補正処理を行えばよい。また、音声出力フォーマットが５．１チャンネルなど高次のフォーマットである場合は、例えば主となる左右音声出力チャネルに同様の音声レベルの補正処理を行っても良い。

［第三実施形態］
映像表示装置１の使用形態として、通信ネットワークを介して遠隔地の状況を把握するための表示装置とする使用方法が考えられる。例えば、一方向に映像音声データを送信して遠隔地の映像を監視する用途や、双方向に映像音声データを送信して遠隔地にいる別ユーザとのテレビ電話会議の用途などである。この時、ユーザの首振り動作を遠隔地に伝え、遠隔地の映像音声を視線方向に基づいてユーザに表示することで、映像表示装置１のユーザは自身があたかも通信先の遠隔地に存在するかのような臨場感を得ることを可能とする。図１２には本実施形態における映像表示装置１の機能ブロック構成を示す。先の実施例と同様の機能については説明を省略する。映像表示装置１の本体部１０には以下に示す機能を追加する。制御部１０３はユーザの視線方向の推定結果を遠隔地の情報収集装置２に送信する。ネットワーク通信部１０９は遠隔地の情報収集装置２とのデータ送受信を制御する。６０は例えばインターネットなどの通信ネットワークである。

情報収集装置２は本体部４０、データ収集部５０とからなり、遠隔地の情報を取得し、映像表示装置１へと送信する機能を担う。本体部４０は所謂パーソナルコンピュータで良く、以下の機能ブロックから構成される。方向データ送信部４０１は映像表示装置１から受信した方向情報をデータ収集部５０に伝送する。映像データ受信部４０２はデータ収集部５０により取得した映像データを受信し、メモリ１１０に記録する、あるいは制御部１０３に転送する。音声データ受信部１０８はデータ収集部５０によって収集された音声データをメモリ１１０に保存するか、制御部１０３に転送する。

データ収集部５０は設置された場所の周囲の映像を取得する機能を実現するため、以下の構成からなる。方向データ受信部５０１は本体部４０を介して得られるユーザの視線方向の推定結果データを受信し、方向調整部５０２に送信する。方向調整部５０２は取得した視線方向にデータ収集部５０の向きを調整する、例えば電動の雲台であって水平方向の全方位を方向指定できれば良い。撮像部５０３は、例えばデジタルカメラやＣＭＯＳセンサであり、データ収集部５０の向いている方向の映像情報を取得する。撮像データ送信部５０４は、撮像部５０３によって取得した映像データを本体部４０へ送信する。音声収集部２０６は情報収集装置２の周囲の音声情報の取得を行う、例えばマイクである。音声データ送信部２０７は音声収集部２０６によって取得した音声データを本体部４０へ送信する。なお、データ収集部５０の構成として、音声収集機能に関する機能ブロックは、必ずしも方向調整機能と撮像機能と一体になっている必要はなく、別構成としても良い。別構成とする場合は、音声収集部２０６の向きや配置の情報を予め映像表示装置１に入力しておく必要がある
図１３にはユーザの首振り動作によりデータ収集部５０の制御を行う際の処理フローを示す。センサデータ取得処理Ｓ３０１および方向推定処理Ｓ３０２、首振り動作判定処理Ｓ３０３、設定値保存処理Ｓ３０４については実施形態１と同様である。方向推定処理Ｓ３０２が完了した際にＳ３０３のみではなくＳ１３０１にも進む。視線方向算出処理Ｓ１３０１では、制御部１０３がメモリ１１０に記録された視線方向データおよび補正値を読み出し、補正した方向データを算出してＳ１３０２へ進む。補正値の算出方法については例えば実施形態１ないし実施形態２にて説明した処理を適用して良い。方向情報送信処理Ｓ１３０２では制御部１０３からネットワーク通信部１０９および通信ネットワーク６０を介して情報収集装置２へ補正した方向データ情報を送信する。情報収集装置２では制御部１０３が前記補正した方向データを受信し、本体部４０の有するメモリ１１０に記録してＳ１３０３へ進む。位置制御処理Ｓ１３０３では、まず情報収集装置２の制御部１０３より方向データ送信部４０１を介して該方向データをデータ収集部５０に送信する。次にデータ収集部５０の方向データ受信部５０１が該方向データを受信して方向調整部５０２に伝送すると、方向調整部５０２では受信した方向データに応じてデータ収集部５０の方向を制御する。この処理により、遠隔地に設置された情報収集装置２がユーザの視線方向を補正した向きからの映像および音声情報を収集可能とする。

図１４には情報収集装置２で取得した映像および音声情報を映像表示装置１にて表示を行う際の処理フローを示す。データ送信処理Ｓ１４０１では、情報収集装置２から映像表示装置１へ映像および音声データを送信してＳ１４０２へ進む。これにはデータ収集部５０において撮像部５０３が撮影した映像データを、撮像データ送信部５０４が本体部４０へ送信する。また音声収集部２０６が取得する音声データを、音声データ送信部２０７が本体部４０へ送信する。本体部４０では、送信された映像および音声データを、夫々映像データ受信部４０２および音声データ受信部１０８が受信し、メモリ１１０に記録する。制御部１０３はこれら記録された映像および音声データをストリームデータとしてネットワーク通信部１０９を介して、映像表示装置１に送信する。映像表示装置１ではネットワーク通信部１０９を経て受信した映像データおよび音声データがメモリ上にバッファされる。

画像データ読出し処理Ｓ１４０２では、本体部１０の制御部１０３がメモリ１１０から映像データおよび音声データを分離し、映像データ処理部１０４と音声データ処理部１０５に転送してＳ１４０３およびＳ１４０４へ進む。映像生成処理Ｓ１４０３では、映像データ処理部１０４が表示画像を作成してＳ３０６へ進む。このとき本実施形態によれば、表示画像は撮像部５０３にて取得した実画像データであるため、例えば表示タイミングを示すタイムスタンプが付与されていれば本体部１０が有する発振素子（図中には未記載）を元にした時間情報に基づいて画像データを選択、出力を行う。受信画像データのみ使用する場合には、第一実施形態で述べたようなＣＧ作成処理は不要であるが、例えば実画像データにＣＧで描画したオブジェクトを重畳して表示する場合には図４を用いて説明した画像生成処理と同様の処理によって実画像とＣＧ画像をミックスした画像データを生成する。音声生成処理Ｓ１４０４では、音声データ処理部１０５が表示音声を作成してＳ３０９へ進む。表示音声は音声収集部２０６にて取得した音声データであり、例えば表示タイミングを示すタイムスタンプが付与されていれば本体部１０が有する発振素子（図中には未記載）を元にした時間情報に基づいて画像データを選択する。これに加えて、第一実施形態にて説明した効果音再生処理で首振り動作に起因する映像変化に同期した、方向変化の知覚を増強した音声データの表示を行う。映像データ送信処理Ｓ３０６、映像表示処理Ｓ３０７、音声データ送信処理Ｓ３０９、音声表示処理Ｓ３１０の処理内容は実施形態１にて説明した処理と同様である。

以上の実施形態によれば、遠隔地における情報収集用途で映像表示装置１を使用する場合においても、ユーザの首振り動作を起点として、角度を補正した視線方向の映像を表示し、かつ、水平方向の動きの知覚を増強する音声を表示することが可能である。これにより、限られた映像表示範囲においても、ユーザの首振り動作に対して違和感をなくした、あるいは低減した広視野範囲の映像表現を行う効果が得られる。

以上の実施形態では、表示部３０や表示面は個別の構成の実施形態を用いて説明を行ったが、例えばヘッドマウントディスプレイのように、ユーザの装着する端末部２０に映像表示機能を有する映像表示装置においても同様の実施内容によって同じ効果を得られる。

１：映像表示装置、２：情報収集装置、１０：本体部、２０：端末部、３０：表示部、４０：本体部、５０：データ収集部、６０：通信ネットワーク、１０１：センサデータ受信部、１０２：方向推定部、１０３：制御部、１０４：映像データ処理部、１０５：音声データ処理部、１０６：表示映像送信部、１０７：表示音声送信部、１０８：音声データ受信部、１０９：ネットワーク通信部、２０１：加速度センサ、２０２：地磁気センサ、２０３：センサデータ送信部、２０４：表示音声受信部、２０５：音声表示部、２０６：音声収集部、２０７：音声データ送信部、３０１：表示映像受信部、３０２：映像表示部、４０１：方向データ送信部、４０２：映像データ受信部、５０１：方向データ受信部、５０２：方向調整部、５０３：撮像部、５０４：撮像データ送信部

Claims

頭位変化を検知する頭位変化検出部と、
前記頭位変化に基づいて視線方向および回転速度を算出する方向算出部と、
前記視線方向に基づいて映像信号を生成する映像データ処理部と、
前記回転速度に基づいて音声信号を生成する音声データ処理部と、
前記映像信号と前記音声信号とを出力する出力部と、
を含み、
前記音声データ処理部は、前記映像信号の変化に基づいて前記音声信号を生成し、
前記映像データ処理部は、前記視線方向の変化量より大きな変化量に基づいて前記映像信号を生成し、
前記音声データ処理部は、左回転に対しては左側音声出力の音量を先に上昇させ、その後に右側音声出力の音量を上昇させ、右回転に対しては右側音声出力の音量を先に上昇させ、その後に左側音声出力の音量を上昇させることを特徴とする映像表示装置。
頭位変化を検知する頭位変化検出部と、
前記頭位変化に基づいて視線方向および回転速度を算出する方向算出部と、
前記視線方向に基づいて映像信号を生成する映像データ処理部と、
前記回転速度に基づいて音声信号を生成する音声データ処理部と、
前記映像信号と前記音声信号とを出力する出力部と、
装置周辺の音声情報を取得する音声情報収集部と、
を含み、
前記音声データ処理部は、
前記映像信号の変化に基づいて前記音声信号を生成し、
前記視線方向に基づいて前記装置周辺の音声情報を加工した周辺加工音声信号を生成し、前記回転速度に基づいて生成された音声信号と前記周辺加工音声信号とを合成し、
前記回転速度に基づいて音声信号を生成する処理が、左回転に対しては左側音声出力の音量を先に上昇させ、その後に右側音声出力の音量を上昇させる処理であり、右回転に対しては右側音声出力の音量を先に上昇させ、その後に左側音声出力の音量を上昇させる処理であることを特徴とする映像表示装置。
請求項１又は２に記載の映像表示装置であって、
前記視線方向および前記回転速度の算出処理を、前記映像信号を生成する処理と同じかあるいはそれ以上の頻度で実行することを特徴とする映像表示装置。
請求項２に記載の映像表示装置であって、
前記映像データ処理部は、前記視線方向の変化量より大きな変化量に基づいて前記映像信号を生成する処理であることを特徴とする映像表示装置。
頭位変化を検知する頭位変化検出ステップと、
前記頭位変化に基づいて視線方向および回転速度を算出する方向算出ステップと、
前記視線方向に基づいて映像信号を生成する映像データ処理ステップと、
前記回転速度と前記映像信号の変化とに基づいて音声信号を生成する音声データ処理ステップと、
前記映像信号と前記音声信号とを出力する出力ステップと
を含み、
前記音声データ処理ステップは、前記映像信号の変化に基づいて前記音声信号を生成し、
前記映像データ処理ステップは、前記視線方向の変化量より大きな変化量に基づいて前記映像信号を生成し、
前記音声データ処理ステップは、左回転に対しては左側音声出力の音量を先に上昇させ、その後に右側音声出力の音量を上昇させ、右回転に対しては右側音声出力の音量を先に上昇させ、その後に左側音声出力の音量を上昇させることを特徴とする映像表示方法。
頭位変化を検知する頭位変化検出ステップと、
前記頭位変化に基づいて視線方向および回転速度を算出する方向算出ステップと、
前記視線方向に基づいて映像信号を生成する映像データ処理ステップと、
前記回転速度に基づいて音声信号を生成する音声データ処理ステップと、
前記映像信号と前記音声信号とを出力する出力ステップと、
装置周辺の音声情報を取得する音声情報収集ステップと、
を含み、
前記音声データ処理ステップは、
前記映像信号の変化に基づいて前記音声信号を生成し、
前記視線方向に基づいて前記装置周辺の音声情報を加工した周辺加工音声信号を生成し、前記回転速度に基づいて生成された音声信号と前記周辺加工音声信号とを合成し、
前記回転速度に基づいて音声信号を生成する処理は、左回転に対しては左側音声出力の音量を先に上昇させ、その後に右側音声出力の音量を上昇させる処理であり、右回転に対しては右側音声出力の音量を先に上昇させ、その後に左側音声出力の音量を上昇させる処理であることを特徴とする映像表示方法。