JP2024125698A - ヘッドマウントディスプレイおよび画像表示方法 - Google Patents

Abstract

【課題】立体視を実現するディスプレイにおいて、撮影画像を適切に表示させる。【解決手段】ヘッドマウントディスプレイの画像処理部７０において、撮影画像取得部７２はステレオカメラ１１０による撮影画像を取得し、状態情報取得部８４は撮影画像を用いてヘッドマウントディスプレイ１００と周囲の実物体の位置情報を取得する。投影面制御部７６は、ユーザと実物体の距離分布に基づき投影面を制御する。表示画像生成部８０は、投影面に撮影画像を投影し、表示用仮想カメラから見た様子を表す表示画像を生成する。【選択図】図９

Description

この発明は、立体視を実現するヘッドマウントディスプレイ、および画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイにおいて、視差を有するステレオ画像を左目用、右目用として表示させることにより、ユーザには表示された画像が立体的に見え、画像世界への没入感を高めることができる。

また実空間を撮影するカメラをヘッドマウントディスプレイに設け、その撮影画像にコンピュータグラフィクスを合成することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現する技術も実用化されている。当該撮影画像はまた、遮蔽型のヘッドマウントディスプレイに表示させることにより、ユーザが周囲の様子を確認したり、ゲームのプレイエリアを設定したりする際にも有用となる。

ヘッドマウントディスプレイにリアルタイムの撮影画像を表示させる場合、ステレオ画像をどのように生成するかが問題になる。具体的には、元の撮影画像の視点を、表示世界を見るユーザの視点に変換したり、当該視点からの視差を与えたりする処理が適切でないと、撮影画像が不自然に見えたり、プレイエリアを設定しづらかったりすることが起こり得る。場合によっては、映像酔いなどユーザの体調不良につながる危険もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイなど立体視を実現するディスプレイにおいて、撮影画像を適切に表示させる技術を提供することにある。

上記課題を解決するために、本発明のある態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、搭載されたカメラによる撮影画像のデータを取得する撮影画像取得部と、ユーザと実物体の距離の分布に応じて、表示対象の仮想３次元空間に投影面を設定する投影面制御部と、投影面に撮影画像を表し、それを仮想カメラから見てなる像を描画することにより、当該撮影画像を含む表示画像を生成する表示画像生成部と、表示画像のデータを表示パネルに出力する出力部と、を備えたことを特徴とする。

本発明の別の態様は画像表示方法に関する。この画像表示方法はヘッドマウントディスプレイが、搭載されたカメラによる撮影画像のデータを取得するステップと、ユーザと実物体の距離の分布に応じて、表示対象の仮想３次元空間に投影面を設定するステップと、投影面に撮影画像を表し、それを仮想カメラから見てなる像を描画することにより、当該撮影画像を含む表示画像を生成するステップと、表示画像のデータを表示パネルに出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイなど立体視を実現するディスプレイにおいて、撮影画像を適切に表示させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態の画像表示システムの構成例を示す図である。 本実施の形態の画像表示システムにおけるデータの経路を模式的に示す図である。 本実施の形態においてヘッドマウントディスプレイの表示世界を形成する３次元空間と、撮影画像から生成される表示画像の関係を説明するための図である。 本実施の形態において、表示上の物の位置に対する投影面の影響を説明するための図である。 本実施の形態において、投影面を実物体に合わせて設定した場合の、表示上の物の位置について説明するための図である。 本実施の形態に利用できるVisual SLAMの原理を概説するための図である。 本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態におけるヘッドマウントディスプレイが備える、画像処理部の機能ブロックの構成を示す図である。 本実施の形態においてヘッドマウントディスプレイの表示処理部が、シースルー画像を含む表示画像を生成、出力する処理手順を示すフローチャートである。 本実施の形態における投影面マップのデータ形式として、キューブマップを用いる例を説明するための図である。 本実施の形態における投影面制御部が、投影面マップに施すフィルタ処理の例を説明するための図である。 本実施の形態において、ｉ番目の位置情報ｐ_ｉのラプラシアンΔｐ_ｉの変化に対する、対応する対角要素Ｄ_ｉの変化の例を示す図である。 本実施の形態において表示画像生成部が投影面マップから投影面を生成する処理を説明するための図である。 本実施の形態でシースルー画像に合成する仮想オブジェクトを例示する図である。 本実施の形態におけるシースルー画像と投影面の組み合わせを例示する図である。

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面に、実空間を左右の視点から撮影するステレオカメラ１１０を備える。本実施の形態では、ステレオカメラ１１０が撮影している動画像を、少ない遅延で表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。例えばヘッドマウントディスプレイ１００は、コンテンツの画像を表示していない期間を自動でシースルーモードとする。

これによりユーザは、コンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードはこのほか、ユーザが明示的に操作を行ったことを契機に開始させてもよいし、プレイエリアの設定時やユーザがプレイエリアから逸脱した時など、状況に応じて、開始させたり終了させたりしてよい。

ここでプレイエリアは、ヘッドマウントディスプレイ１００により仮想世界を見ているユーザが動き回ることのできる実世界の範囲であり、例えば周囲の物に衝突することなく安全な移動が保証される範囲である。なお図示する例でステレオカメラ１１０は、筐体１０８の前面下方に設けられているが、その配置は特に限定されない。またステレオカメラ１１０以外のカメラが設けられていてもよい。

ステレオカメラ１１０による撮影画像は、コンテンツの画像としても利用できる。例えばカメラの視野にある実物体に合わせた位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、ＡＲやＭＲを実現できる。また撮影画像を表示に含めるか否かによらず、撮影画像を解析し、その結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることもできる。

例えば、撮影画像にステレオマッチングを施すことにより、被写体の像の対応点を抽出し、三角測量の原理で被写体までの距離を取得してもよい。あるいはVisual SLAM（Simultaneous Localization and Mapping）など周知の技術により、周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。Visual SLAMは、カメラが搭載された移動体の自己位置推定と環境地図の作成を、撮影画像を用いて同時に行う技術である。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

図２は、本実施の形態における画像表示システムの構成例を示す。画像表示システム１０において、ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェースによりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

コンテンツ処理装置２００は、基本的に、コンテンツを処理して表示画像を生成し、ヘッドマウントディスプレイ１００に送信することで表示させる情報処理装置である。典型的にはコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野で表示画像を生成する。

例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつ、ゲームの舞台である仮想世界を表す画像を生成し、ＶＲ（仮想現実：Virtual Reality）を実現する。ただし本実施の形態においてコンテンツ処理装置２００が処理するコンテンツは特に限定されず、上述のとおりＡＲやＭＲであってもよいし、映画などあらかじめ表示画像が制作されているものであってもよい。

図３は、本実施の形態の画像表示システム１０におけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおり、ステレオカメラ１１０と表示パネル１２２を備える。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルである。本実施の形態において表示パネル１２２は、ユーザの左目および右目に正対する左右の領域に、動画像のフレームを構成する左目用および右目用の画像をそれぞれ表示する。

左目用画像と右目用画像を、両眼の間隔に対応する視差を有するステレオ画像とすることにより、表示対象を立体的に見せることができる。表示パネル１２２は、左目用のパネルと右目用のパネルを左右に並べてなる２つのパネルで構成してもよいし、左目用画像と右目用画像を左右に接続した画像を表示する１つのパネルであってもよい。

ヘッドマウントディスプレイ１００はさらに、画像処理用集積回路１２０を備える。画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。

図では、ステレオカメラ１１０が撮影した画像を表示に含めるケースにおける、２通りのデータ経路を矢印で示している。ＡＲやＭＲを実現する場合、一般にはステレオカメラ１１０による撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示する画像表示システム１０においてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、シースルーモードの場合、矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で表示に適した画像に補正したうえ表示パネル１２２に表示させることができる。矢印Ａの経路によれば、矢印Ｂの経路と比較しデータの伝送経路が格段に短くなるため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。

ただし本実施の形態におけるシースルーモードのデータ経路を矢印Ａに限定する主旨ではない。つまり矢印Ｂの経路を採用し、ステレオカメラ１１０により撮影された画像を、一旦、コンテンツ処理装置２００に送信してもよい。そして、コンテンツ処理装置２００側で表示画像として補正したうえで、ヘッドマウントディスプレイ１００に返すことで表示に至る構成としてもよい。

いずれにしろ本実施の形態では好適には、ステレオカメラ１１０による撮影画像を行単位など１フレームより小さい単位で順次、パイプライン処理することにより、表示までの時間を最小限にする。これにより、頭部の動きに対し映像が遅れて表示され、ユーザが違和感や映像酔いを覚える可能性を低くできる。

図４は、ヘッドマウントディスプレイ１００の表示世界を形成する３次元空間と、撮影画像から生成される表示画像の関係を説明するための図である。なお以後の説明では、シースルーモードか否かによらず、表示画像に変換された撮影画像をシースルー画像と呼ぶ。図の上段は、表示画像生成時に構成される仮想的な３次元空間（以後、表示世界と呼ぶ）を俯瞰した状態を示している。仮想カメラ２６０ａ、２６０ｂは、表示画像を生成するための仮想的なレンダリングカメラであり、ユーザの左視点、右視点に対応する。図の上方向が奥行き方向（仮想カメラ２６０ａ、２６０ｂからの距離）を表す。

シースルー画像２６８ａ、２６８ｂは、ヘッドマウントディスプレイ１００前方の室内の様子をステレオカメラ１１０が撮影した画像に対応し、左目用、右目用の表示画像の１フレーム分を示している。当然、ユーザが顔の向きを変化させれば、シースルー画像２６８ａ、２６８ｂの視野も変化する。シースルー画像２６８ａ、２６８ｂを生成するため、ヘッドマウントディスプレイ１００は例えば、表示世界における所定の距離Ｒｉに撮影画像２６４を配置する。

例えばヘッドマウントディスプレイ１００は、仮想カメラ２６０ａ、２６０ｂをそれぞれ中心とする半径Ｒｉの球の内面に、ステレオカメラ１１０が撮影した左視点、右視点の撮影画像２６４を表すことが考えられる。そしてヘッドマウントディスプレイ１００は、仮想カメラ２６０ａ、２６４ｂから撮影画像２６４を見てなる像を描画することにより、左目用、右目用のシースルー画像２６８ａ、２６８ｂを生成する。

これにより、ステレオカメラ１１０による撮影画像２６４は、表示世界を見るユーザの視点での画像に変換される。また同じ被写体の像は、左目用のシースルー画像２６８ａでは右寄りに、右目用のシースルー画像２６８ｂでは左寄りに表れる。左視点、右視点の撮影画像は元々、視差を持って撮影されているため、シースルー画像２６８ａ、２６８ｂにおいても、被写体の像はその実際の位置（距離）に応じて、様々なずれ量で表れる。これによりユーザは、被写体の像に距離感を知覚する。

このように、撮影画像２６４を仮想的な面上に表し、それをユーザに対応する視点から見た状態を表示画像とすると、被写体の配置や構造を正確にトレースした３次元の仮想世界を構築せずとも、奥行き感のある撮影画像を表示できる。また撮影画像２６４を表す面（以後、投影面と呼ぶ）を仮想カメラ２６０から所定距離を保つ球面とすれば、実世界に存在する物の像を、方角によらず一様な品質で表すことができる。結果として、小さい処理負荷での低遅延性と臨場感を両立させることができる。一方、このような手法によれば、投影面の設定によって仮想カメラ２６０からの視差が変化し、物の位置が実際と異なって見える箇所が表れ得る。

図５は、表示上の物の位置に対する投影面の影響を説明するための図である。同図（ａ）および（ｂ）はそれぞれ、図４の上段に示した表示世界の３次元空間を、上側および右側から見た様子を模式的に示しており、投影面２７４を、ユーザの頭部を中心とする球面としている。上述のとおり、ステレオカメラ１１０を構成する左カメラ２７０ａ、右カメラ２７０ｂで撮影された画像は、投影面２７４にそれぞれ投影され、仮想カメラ２６０ａ、２６０ｂにより左右視点の表示画像に変換される。

例えば実世界においてユーザの正面にある実物体２７６は、左カメラ２７０ａによる撮影画像では像２７８ａとして表され、右カメラ２７０ｂによる撮影画像では像２７８ｂとして表される。ここで例えば（ａ）に示すように、仮想カメラ２６０ａ、２６０ｂ、ひいてはユーザの両目の間隔が、ステレオカメラ１１０の左カメラ２７０ａ、右カメラ２７０ｂの間隔より狭いとすると、投影面２７４上での像２７８ａ、２７８ｂの見かけの視差は、実物体２７６を直接見たときの本来の視差より広くなる。

その結果、表示画像を見たユーザには、実物体２７６が実際より手前にあるように知覚される（表示上物体２８０）。定性的には、図示するように実物体２７６が投影面２７４より手前にあれば、表示上物体２８０は実際より近くにあるように見える。逆に実物体が投影面２７４より奥にあれば、表示上物体２８０は実際より遠くにあるように見える。

また（ｂ）に示すように、仮想カメラ２６０ａ、２６０ｂ、ひいてはユーザの視点が、ステレオカメラ１１０（左カメラ２７０ａ、右カメラ２７０ｂ）より上方にあるとすると、表示上物体２８０は実際より高い位置にあるように見える。定性的には、図示するように実物体２７６が投影面２７４より手前にあれば、表示上物体２８０は実際より高い位置に見え、逆に実物体２７６が投影面２７４より奥にあれば、表示上物体２８０は実際より低い位置に見える。

ステレオカメラ１１０と仮想カメラ２６０ａ、２６０ｂが図示した以外の位置関係を有していても、左右のカメラの間隔や位置の差に起因して、表示上物体２８０の位置ずれが発生し得る。またその位置ずれは、投影面２７４が実物体２７６から乖離するほど大きくなる。そこで本実施の形態では、投影面を実物体に極力近づけることにより、全体的に位置ずれの少ないシースルー画像を生成する。

図６は、投影面を実物体に合わせて設定した場合の、表示上の物の位置について説明するための図である。図の表し方は図５と同様であるが、投影面２９０は、ヘッドマウントディスプレイ１００（厳密には仮想カメラ２６０ａ、２６０ｂ）から実物体２７６までの距離に応じて設定する。図では実物体２７６の周囲に存在する実物体２９２も示しており、投影面２９０は基本的に、それらに沿うような面とする。

投影面２９０によれば、実物体２７６の像は、本来の実物体２７６と同じ距離に形成される。したがって（ａ）に示すように仮想カメラ２６０ａ、２６０ｂの間隔がステレオカメラ１１０の左カメラ２７０ａ、右カメラ２６０ｂの間隔と異なっていても、像の見かけの距離は、実物体２７６を直接見たときの本来の距離と同じとなる。また（ｂ）に示すように、仮想カメラ２６０ａ、２６０ｂの高さがステレオカメラ１１０（左カメラ２７０ａ、右カメラ２７０ｂ）と異なっていても、像の見かけの高さは実物体２７６と同じとなる。

原理的には、表示画像の画素の粒度で、ユーザの周囲に存在する全ての物の位置に合わせて投影面を設定することにより、ディスプレイを介さずに実世界を見ているのと同じ状態を作り出せる。しかしながらユーザが動いたり視野が変化したりするのを許容する場合は特に、視野内の実物体までの距離を逐次測定し、リアルタイムかつ詳細に投影面に反映させていくには膨大な処理負荷が生じ、ユーザの動きに表示が追随しないなど別の問題が発生し得る。また距離の測定値に誤差やノイズが生じると、投影面が影響を受け、表示上の像が突然変形するなど却って不自然に見えてしまうことも考えられる。

そこで本実施の形態では、投影面の設定根拠となる実物体までの距離の解像度をある程度抑えつつ、適切に平滑化した面を投影面として設定することにより、少ない処理負荷でも位置ずれの少ないシースルー画像を安定的に表示できるようにする。この際、例えば図の（ｂ）に示す投影面２９４のように、一部の投影面については、距離の測定値によらず、想定される実物体の性質に合った位置や形状で固定の面を設定することにより、処理の負荷をより抑えるとともに、距離の測定精度が表示画像全体へ与える影響を抑える。

図の例で投影面２９４は、天井の像を投影する面として設定される。例えば投影面２９４は、仮想カメラ２６０ａ、２６０ｂからの距離が１．５ｍの球面とする。床や壁など、およその位置や形状が判明している実物体についても同様に、それぞれの特性に合わせて投影面を設定できる。これにより、それらの実物体の距離が測定されなくとも、撮影画像をおよそ適切な位置に投影できる。また距離の測定精度が悪化しても、その影響を受けないため、表示画像全体が歪むような誤差の伝搬を回避できる。さらに天井の場合は特に、物が設置されるなどによる凹凸の変化が起きにくいため、投影面を一様な面としても位置ずれが視認されにくい。

実物体の距離の計測値に応じて投影面を設定する場合、上述したVisual SLAMの結果を流用することで、さらに処理負荷の増大を抑えられる。図７は、Visual SLAMの原理を概説するための図である。カメラ２２は移動体に設けられ、視野範囲の実空間２６を、位置や姿勢を変えながら動画撮影している。ここで、ある時刻に撮影されたフレーム２０ａと、時間Δｔ後に撮影されたフレーム２０ｂで、同じ実物体上のポイント２４を表す特徴点２８ａ、２８ｂが抽出されたとする。なお撮影画像中の特徴点は、コーナー検出法等の公知の手法で検出できる。

各フレーム平面における、対応する特徴点２８ａ、２８ｂの位置座標のずれは、時間Δｔにおけるカメラ２２の位置と姿勢の変化に依存する。具体的には、カメラ２２の回転運動および並進運動による変化分を表す行列をそれぞれＲ、Ｔとし、各時刻のカメラ２２からポイント２４までの３次元ベクトルをＰ１、Ｐ２とすると、次の関係式が成り立つ。
Ｐ１＝Ｒ・Ｐ２＋Ｔ

この関係を利用し、時間的に前後する２つのフレームにおける、対応する特徴点を複数抽出して連立方程式を解くことにより、その間のカメラ２２の位置と姿勢の変化を特定できる。また導出結果の誤差を再帰的計算で最小化する処理により、ポイント２４など、実空間２６における実物体表面の３次元情報を、環境地図として生成できる。なおカメラ２２をステレオカメラ１１０とすると、ポイント２４等の３次元位置座標は、各時刻で独立して求められるため、対応点の抽出などの演算がより容易になる。

またVisual SLAMのアルゴリズムは多数、提案されており、そのいずれを採用しても構わない。いずれにしろ図示する原理によれば、動画像のフレームレートと同じレートで、カメラ２２の位置や姿勢を導出できるとともに、検出された特徴点の単位で、実物体の３次元位置座標を求めることができる。本実施の形態においては、当該Visual SLAMにより逐次生成されるデータを利用して、実物体までの距離を所定のレートで取得し、投影面に反映させる。

図８は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ（Central Processing Unit）１３６、ＧＰＵ（Graphics Processing Unit)１３８、メインメモリ１４０、表示部１４２を含む。これらの各部はバス１５２を介して相互に接続されている。バス１５２にはさらに、音声出力部１４４、通信部１４６、モーションセンサ１４８、ステレオカメラ１１０、および記憶部１５０が接続される。なおバス１５２の構成は限定されず、例えば複数のバスをインターフェースで接続した構成としてもよい。

ＣＰＵ１３６は、記憶部１５０に記憶されているオペレーティングシステムを実行することによりヘッドマウントディスプレイ１００の全体を制御する。またＣＰＵ１３６は、記憶部１５０から読み出されてメインメモリ１４０にロードされた、あるいは通信部１４６を介してダウンロードされた、各種プログラムを実行する。ＧＰＵ１３８は、ＣＰＵ１３６からの描画命令にしたがって画像の描画や補正を行う。メインメモリ１４０は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

表示部１４２は、図３で示した表示パネル１２２を含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。音声出力部１４４は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

通信部１４６は、コンテンツ処理装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）など既知の無線通信技術、あるいは有線通信技術により通信を実現する。モーションセンサ１４８はジャイロセンサ、加速度センサ、角加速度センサなどを含み、ヘッドマウントディスプレイ１００の傾き、加速度、角速度などを取得する。ステレオカメラ１１０は、図１で示したとおり、周囲の実空間を左右の視点から撮影するビデオカメラの対である。記憶部１５０はＲＯＭ（Read Only Memory）などのストレージで構成される。

図９は、本実施の形態におけるヘッドマウントディスプレイ１００が備える、画像処理部の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図８に示した回路構成で実現でき、ソフトウェア的には、記憶部１５０からメインメモリ１４０にロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

またヘッドマウントディスプレイ１００は、図示した以外の機能を有していてもよい。さらに、図示する機能ブロックのうちの一部は、コンテンツ処理装置２００が備えていてもよい。ヘッドマウントディスプレイ１００において、画像処理部７０は、図３の画像処理用集積回路１２０によって実現し得る。

ヘッドマウントディスプレイ１００において画像処理部７０は、ステレオカメラ１１０やモーションセンサ１４８から各種データを取得するデータ取得部７１、撮影画像の投影面を制御する投影面制御部７６、投影面の位置情報の分布を記憶する投影面マップ記憶部７８、表示画像のデータを生成する表示画像生成部８０、および、表示画像のデータを出力する出力制御部８２を備える。画像処理部７０はさらに、ヘッドマウントディスプレイ１００や実物体の状態情報を逐次取得する状態情報取得部８４、実物体の位置に係るデータを格納する物体情報記憶部８６、仮想オブジェクトを配置するオブジェクト配置部８８、および、仮想オブジェクトのデータを格納するオブジェクトデータ記憶部９０を備える。

データ取得部７１は、ステレオカメラ１１０やモーションセンサ１４８が継続的に取得している各種データを、所定のレートで取得する。詳細にはデータ取得部７１は、撮影画像取得部７２とセンサデータ取得部７４を備える。撮影画像取得部７２は、ステレオカメラ１１０による撮影画像のデータを所定のフレームレートで取得する。センサデータ取得部７４は、モーションセンサ１４８による加速度や角加速度などの計測値のデータを所定のレートで取得する。

状態情報取得部８４は、撮影画像取得部７２から撮影画像のデータを逐次取得し、上述したVisual SLAMを実行してヘッドマウントディスプレイ１００の位置や姿勢、周囲にある実物体の３次元位置情報など、実世界における物体の状態を所定のレートで取得する。状態情報取得部８４はまた、センサデータ取得部７４からモーションセンサ１４８による計測値を逐次取得し、Visual SLAMによる解析結果と統合することにより、状態情報の精度を高めてよい。

なお上述した状態情報を逐次取得できる限り、状態情報取得部８４が行う実物体の検出手法や、検出結果の表現形式は特に限定されない。例えば状態情報取得部８４は、TOF(Time Of Flight）により実物体までの距離を検出してもよい。TOFは、赤外線などの参照光の照射から、反射光の観測までの経過時間に基づき、被写体の距離を求める周知の技術である。物体情報記憶部８６は、状態情報取得部８４により取得された、実物体の３次元位置情報、例えば環境地図のデータを格納する。状態情報取得部８４は最新の取得データに基づき、物体情報記憶部８６に格納されたデータを適宜更新、修正してよい。

投影面制御部７６は、シースルー画像を含む表示画像を生成する期間において、撮影画像の投影面を制御する。投影面制御部７６は基本的に、物体情報記憶部８６に格納された実物体の位置情報と、状態情報取得部８４が取得しているヘッドマウントディスプレイ１００の位置情報に基づき、ヘッドマウントディスプレイ１００から実物体までの距離を求め、それに対応するように投影面を設定する。結果として、ユーザが動くなどして実物体との距離に変化が生じると、投影面もそれに応じて変化する。ただし上述のとおり、天井など所定の実物体に対応する一部の投影面については、固定とするなど設定規則を異ならせてよい。

投影面制御部７６は、ヘッドマウントディスプレイ１００、ひいてはユーザの頭部を中心とし、視野より広い所定範囲の方位（好適には全方位）に対し投影面の位置の分布を表した投影面マップを生成し、投影面マップ記憶部７８に格納する。全方位など広い方位に対し投影面の位置情報を準備しておくことにより、ユーザが突然振り向くなど視野が急に変化しても、投影対象の領域を変化させるのみで最新の撮影画像を適切に投影でき、表示までの遅延を最小限にできる。

投影面マップに表される投影面の位置情報の表現形式は、ヘッドマウントディスプレイ１００（あるいは左右の仮想カメラ）からの距離値を一意に定めるパラメータであればよく、距離値自体でなくてよい。例えば位置情報は、ヘッドマウントディスプレイ１００から投影面までの距離の逆数で表してもよい。距離の逆数は、左右の画像に生じる視差と比例するため、距離の変動におけるスケールファクタの面で都合がよい。すなわち近くにある物は、距離の少しの変動で視差が大きく変化し、見かけの距離感も大きく影響を受けるのに対し、遠くにある物は、距離の変動幅が同じでも距離感への影響が小さい。

投影面の位置情報を距離の逆数で表すことにより、実物体の遠近に応じて投影面の調整幅の単位を最適化でき、距離の取得精度に対して頑健性のある投影面を安定して設定できる。なお投影面制御部７６は好適には、ユーザ自身の手など、実空間において動きを有する実物体の位置情報を投影面設定の根拠から除外する。これにより、動く物に影響されて投影面が変動し、表示画像の広い範囲に影響が及ぶのを防止できる。

オブジェクト配置部８８は、シースルー画像に仮想オブジェクトの像を合成する期間において、表示すべき仮想オブジェクトを表示世界の３次元空間に配置する。ＡＲやＭＲを実現する場合、オブジェクト配置部８８は、物体情報記憶部８６から実物体の３次元位置情報を取得し、それに対応するように、仮想オブジェクトの３次元での位置や姿勢を決定する。オブジェクトデータ記憶部９０は、表示すべき仮想オブジェクトの配置規則や３次元モデルのデータを格納する。

表示画像生成部８０は、シースルーモードなど撮影画像を表示に含める期間において、投影面マップ記憶部７８から最新の投影面マップを読み出し、対応する投影面を生成する。そして表示画像生成部８０は、撮影画像取得部７２から取得した撮影画像を、当該投影面上に投影する。そして表示画像生成部８０は、状態情報取得部８４が取得した、ヘッドマウントディスプレイ１００の位置や姿勢の情報に応じて仮想カメラを設定し、投影した撮影画像を仮想カメラから見た様子をシースルー画像として表す。

シースルー画像に仮想オブジェクトの像を合成する場合、表示画像生成部８０は、オブジェクト配置部８８が配置した仮想オブジェクトを、仮想カメラから見た様子をコンピュータグラフィクスとして表し合成する。表示画像生成部８０はまた、ＶＲなど撮影画像を含まないコンテンツ画像を生成してよい。ＡＲ、ＭＲ、ＶＲなどのコンテンツ画像を生成する場合は特に、図示する機能の少なくとも一部をコンテンツ処理装置２００が担ってよい。

出力制御部８２は、表示画像のデータを所定のフレームレートで表示画像生成部８０から取得し、表示に必要な処理を施して表示パネル１２２に出力する。当該表示画像は、左目用、右目用の画像対で構成される。出力制御部８２は、接眼レンズを介して見たときに歪みのない画像が視認されるように、歪曲収差や色収差を打ち消す方向に表示画像を補正してよい。出力制御部８２はそのほか、表示パネル１２２に対応する各種データ変換を行ってよい。

次に、以上の構成によって実現できるヘッドマウントディスプレイ１００の動作を説明する。図１０は、ヘッドマウントディスプレイ１００の画像処理部７０が、シースルー画像を含む表示画像を生成、出力する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着した状態で、シースルー画像の表示が必要となった段階で開始される。

これに応じてデータ取得部７１は、ステレオカメラ１１０による撮影画像と、モーションセンサ１４８による計測値（センサデータ）の取得を開始する（Ｓ１０）。状態情報取得部８４は、撮影画像のデータを用いてVisual SLAMを実行し、ヘッドマウントディスプレイ１００の位置や姿勢の追跡と環境地図の生成を開始する（Ｓ１２）。一方、投影面制御部７６は、所定の投影面マップを初期状態として準備する（Ｓ１４）。

例えば投影面制御部７６は、全方位で同じ位置情報の値を有する投影面マップを初期状態として設定する。これは投影面の初期状態を球の内面としていることに対応する。このとき球の半径は、一般的なプレイエリアの範囲などを考慮し２ｍなどとする。そして投影面制御部７６は、投影面マップを更新するか否かを決定し、更新する場合（Ｓ１６のＹ）、物体情報記憶部８６に格納される実物体の３次元位置情報とヘッドマウントディスプレイ１００の位置情報に基づき、投影面マップを更新する（Ｓ１８）。

投影面制御部７６は例えば、ヘッドマウントディスプレイ１００、すなわちユーザの頭部の速度が、動いていると見なせる所定値以上の期間に限り、投影面マップの更新を決定する。ユーザが動いている期間は多くの場合、ヘッドマウントディスプレイ１００と実物体との距離に変化があるため、投影面の更新が必要となる。ユーザが静止している期間であっても、Visual SLAMの処理により実物体の３次元情報は適宜更新、修正され得るが、それを即座に投影面に反映させると、静止しつつ画像に注目しているユーザが表示の変化に気づく可能性が高くなる。

ユーザが動いている期間に限定して投影面マップを更新することにより、ユーザに気づかれずに表示を適正化させることができる。ユーザが静止しており投影面マップを更新しない期間においては（Ｓ１６のＮ）、投影面制御部７６はＳ１８の更新処理をスキップする。表示画像生成部８０は、最新の投影面マップに基づき仮想的な投影面を導出し、直近で得られた撮影画像を投影する（Ｓ２０）。

そして表示画像生成部８０は、ヘッドマウントディスプレイ１００の位置および姿勢に対応する仮想カメラから、投影後の撮影画像を見た様子を表示画像として表したうえ、出力制御部８２を介して表示パネル１２２に出力する（Ｓ２２）。シースルー画像に仮想オブジェクトの像を合成する場合、表示画像生成部８０はさらに、オブジェクト配置部８８が配置した仮想オブジェクトを仮想カメラから見た様子を描画し、シースルー画像と合成する。

また上述のとおり、出力制御部８２はＳ２２において、ヘッドマウントディスプレイ１００の接眼レンズの歪みに応じた補正を施すなど必要な処理を行ってよい。シースルー画像を含む画像の表示を停止させる必要がなければ（Ｓ２４のＮ）、投影面制御部７６は必要に応じて投影面マップを更新し、表示画像生成部８０はそれを用いて表示画像を生成し出力する処理を繰り返す（Ｓ１６、Ｓ１８、Ｓ２０、Ｓ２２）。

撮影画像のフレームが順次収集されVisual SLAMが進捗するにつれ、実物体の位置情報が新たに取得されたり、修正されたりする。投影面制御部７６はそれに応じて投影面マップを更新することにより、周囲にある実物体の位置に対応する投影面が構築される。特徴点が乏しい壁などの実物体に対応する投影面については、初期状態から更新されない可能性もあるが、初期状態の投影面を適切に設定しておくことにより、更新の有無によらず極力不自然さの少ない画像を表示できる。

また投影面制御部７６は、後述するフィルタリング処理により、投影面の急な凹凸を抑えるように投影面マップを更新していく。これにより、投影面の凹凸に起因し、シースルー画像における像が不連続になったり歪んだりしないようにする。ユーザ操作などにより、シースルー画像を含む画像の表示を停止させる必要が生じたら、画像処理部７０は図示する処理を終了させる（Ｓ２４のＹ）。

図１１は、投影面マップのデータ形式としてキューブマップを用いる例を説明するための図である。（ａ）は方位（緯度、経度）を変数とする極座標系とキューブマップの面の関係を示している。キューブマップの面３０２は、任意の半径を有する極座標系３００に外接する仮想的な立方体を構成する面である。極座標系３００の中心は、ヘッドマウントディスプレイ１００の重心など、頭部の位置として設定される所定の代表点３０４とする。

極座標系３００においてある方位を表す座標３０６は、代表点３０４から座標３０６への直線がキューブマップの面３０２で交わる位置３０８にマッピングされる。（ｂ）は、キューブマップの面３０２を６面の展開図で示している。キューブマップの面３０２における２次元の位置座標は、代表点３０４からの方位と一対一の関係を有する。つまりキューブマップの各画素に対しパラメータの値を表すことにより、方位とパラメータが対応づけられる。

このようなキューブマッピング技術は、パノラマ画像を２次元データに展開する手段の一つとして知られている。本実施の形態では、キューブマップの画素値を投影面の位置情報とした投影面マップを生成する。ただし投影面マップのデータ形式はキューブマップに限定されず、例えば極座標系を用いてもよいし、円柱面やトーラス面などパノラマ画像を表現する手法のいずれを応用してもよい。ただしキューブマップはその他の表現形式と比較し、演算やデータ読み出しにかかる負荷が低く、境界条件の調整も容易である。

なお投影面の位置情報は、マップ上に離散的に表すのに限らず、方位に対する連続関数で表してもよい。例えば投影面制御部７６は、実物体の３次元位置座標に球面調和関数をフィッティングさせ投影面の位置情報としてもよい。この場合、位置情報をキューブマップなどの２次元分布で表す態様に比べ、次数によっては演算負荷が減る可能性がある。またデータを格納するためのメモリ容量や読み出しにかかる負荷を軽減できる。

キューブマップを用いる場合、投影面制御部７６はまず、代表点３０４を始点に、実物体３１０表面に検出された特徴点の３次元位置座標までの距離Ｒとその方位を求める。そして投影面制御部７６は、それらのデータに基づき、マップ上の各画素に対応する離散的な方位に対し投影面の位置情報を決定し、マップ平面に書き込む。投影面マップの解像度は、例えばキューブマップの各面に対し６４×６４画素などとする。

実物体３１０の特徴点が、マップに位置情報を表すべき方位にあるとは限らないため、投影面制御部７６は周囲の特徴点の位置座標を用いて、所定の方位の位置情報をフィルタ処理により導出する。さらに投影面制御部７６は、時間方向にもフィルタ処理を施して投影面の位置情報を決定することにより、新たに得られた実物体の位置座標や距離の測定値のノイズなどにより投影面が急に変化しないようにする。

なおコンテンツの処理などにおいて、検出された離散的な３次元位置座標に基づき、実物体の３次元モデルを構築する場合、投影面制御部７６は、当該３次元モデルの情報を用いて投影面マップを生成してもよい。この場合、ヘッドマウントディスプレイ１００から実物体までの距離が高密度に得られるため、投影面マップの解像度もより高くできる。これにより、実物体の表面形状に合致するような投影面を生成できる一方、投影面の細かい凹凸により表示画像にアーチファクトが発生しやすくなる。

定性的には、実物体の実際の位置や表面形状と投影面との一致度合いを高めるほど、像の距離感を正確に表現できるようになる一方、その形状に歪みやノイズが表れやすくなる。そこで投影面制御部７６は、投影面の位置情報の勾配の変化（２階微分）が所定範囲内に収まるように、ＪＯＲ法（Jacobi Over Relaxation Method）等を用いて投影面マップにフィルタ処理を施す。

図１２は、投影面制御部７６が投影面マップに施すフィルタ処理の例を説明するための図である。（ａ）、（ｂ）の上段は、投影面マップにおける位置情報ｐ（例えばヘッドマウントディスプレイ１００からの距離の逆数）の、横方向（ｘ方向）の変化例を、下段は、投影面マップのうち対応する領域の２次元（ｘ方向、ｙ方向）の画素列を模式的に示している。

（ａ）に示すフィルタリング前の位置情報分布では、位置ｘ１とｘ２近傍で位置情報ｐが大きく変化することにより、隣接する画素で勾配の変化が大きくなる。これに対し投影面制御部７６は（ｂ）に示すように、位置情報ｐの変化を周囲の画素に波及させて勾配の変化を所定値以下に抑えつつ、変化の波及範囲ｗが所定値内に収まるようにフィルタ処理を施す。例えば投影面制御部７６は、次の漸化式を所定回数、実行する。

ここでＰは、投影面マップにおける全画素の位置情報ｐを１次元の数列で表した位置情報ベクトルである。Ａは位置情報ベクトルＰの各要素（各位置情報ｐ）のラプラシアン、すなわちｘ方向、ｙ方向の２階微分の和を求めるための行列である。つまり（Ａ・Ｐ）は実質的には、マップ平面の各画素に対し４近傍のラプラシアンフィルタを適用した結果を表す。

ωは、ヘッドマウントディスプレイ１００が動いている期間にのみ、フィルタリング操作を有効とするための係数である。例えばヘッドマウントディスプレイ１００の速度が、静止していると見なせる所定範囲内にあればω＝０、それ以外であればω＝１とする。ただしヘッドマウントディスプレイ１００の速度に応じてωを０から１まで漸増させることにより、速度の境界値付近での連続性を担保してもよい。係数ωにより、ユーザが静止し、表示画像を注視している可能性の高い期間に投影面が調整され、表示画像が不自然に動いて見えないようにする。なおヘッドマウントディスプレイ１００が静止しているか否かの判定に用いるパラメータ（係数ωを制御するパラメータ）は、ヘッドマウントディスプレイ１００の速度に限らず、ヘッドマウントディスプレイ１００の角速度または加速度としてもよいし、速度、角速度、加速度の２つ以上の組み合わせとしてもよい 。

Ｄは、各位置情報のラプラシアンに応じて、フィルタ処理による調整量をそれぞれ制御するための対角行列である。図１３は、ｉ番目の位置情報ｐ_ｉのラプラシアンΔｐ_ｉの変化に対する、対応する対角要素Ｄ_ｉの変化の例を示している。この例では要素Ｄ_ｉは、Δｐ_ｉがしきい値Ｌ_ｔｈ以下のときは０、しきい値Ｌ_ｔｈを越えたら、Δｐ_ｉの増加に応じて漸増し１で飽和する値としている。ただしΔｐ_ｉに対する要素Ｄ_ｉの変化は線形に限らない。このようなＤ_ｉを対角要素とする行列Ｄによれば、対応する位置情報ｐ_ｉの勾配の変化が大きいときは大きい幅で位置情報ｐ_ｉの調整がなされ、しきい値Ｌ_ｔｈ以下に収まった時点で調整が停止する。

投影面制御部７６はフィルタ処理を所定の頻度で実施し、１回のフィルタ処理において上記漸化式を所定回数、適用することにより、位置情報ｐの変化を周囲の画素に波及させ勾配の変化を均していく。例えば投影面制御部７６は、１／３０秒ごとにフィルタ処理を実行し、１回のフィルタ処理で上記演算を最大８回実施する。

このようなフィルタ処理により、投影面マップにおける位置情報ｐの勾配の変化は、およそしきい値Ｌ_ｔｈより小さい値に均される。また漸化式の演算回数に上限を設けることにより、凹凸の波及範囲を限定する。これにより、実物体までの距離の分布を踏襲しつつ、急な凹凸を抑えた投影面を生成でき、およそ正しい距離感でアーチファクトの少ない画像を表示できる。キューブマップを用いた場合、各面を構成する位置情報は連続したメモリ領域に格納される。したがって位置情報ベクトルＰの生成が容易であり高速演算を実現しやすい。

なおしきい値Ｌ_ｔｈは、周囲の環境や表示の目的などに応じて適正値をあらかじめ設定しておく。ここでしきい値Ｌ_ｔｈは、投影面マップ全体で固定値としてもよいし、マップ平面で分布を設けてもよい。例えば、多少のアーチファクトより投影面の位置合わせ精度を優先したい実物体の像の領域については、しきい値Ｌ_ｔｈを他の領域より大きくしてもよい。

図１４は、表示画像生成部８０が投影面マップから投影面を生成する処理を説明するための図である。表示画像において物の距離を正確に表現するには、仮想カメラ２６０ａ、２６０ｂのそれぞれに対し、視点から実物体までの距離に応じて投影面を設定する必要がある。一方、投影面制御部７６は（ａ）に示すように、ヘッドマウントディスプレイ１００の重心など、ユーザの頭部３２０として設定される所定の代表点を中心とした投影面３２２を想定して投影面マップを生成する。

つまり投影面マップは、ユーザの頭部３２０からの方位に対して投影面３２２までの距離を示す情報である。そのため例えば、頭部３２０から破線矢印方向の投影面までの距離ｄｈは、投影面マップから即座に得られる。一方、左カメラ２７０ａ、右カメラ２７０ｂから同じ方向における投影面３２２までの距離ｄｌ、ｄｒを取得するには、いくらかの幾何学計算が必要になる。ＧＰＵ１３８を用いて表示画像の生成までを画素単位で並列処理する場合は特に、このような計算が処理負荷を増大させる。

そこで本実施の形態では、（ｂ）に示すように、頭部３２０を中心として得られる投影面３２２を、仮想カメラ２６０ａ、２６０ｂの視点からの投影面に流用する。すなわち表示画像生成部８０は、投影面マップを、仮想カメラ２６０ａ、２６０ｂの視点からの方位に対する位置情報と見なし、投影面３２４ａ、３２４ｂを生成する。結果として生成される投影面３２４ａ、３２４ｂは、図示するように、元の投影面３２２を、仮想カメラ２６０ａ、２６０ｂの視点が中心となるように平行移動させた面となる。

このようにすると、各仮想カメラ２６０ａ、２６０ｂからの方位に対して即座に、投影面までの距離（例えば距離ｄｌ’、ｄｒ’）が得られるため、投影面の生成を高速に行え、表示までの遅延を抑えられる。距離ｄｌ’、ｄｒ’は、本来の投影面までの距離ｄｌ、ｄｒとは異なるが、上述のフィルタ処理により投影面を滑らかにしておくことで、その誤差が表示画像に与える影響を少なくできる。

図１５は、本実施の形態でシースルー画像に合成する仮想オブジェクトを例示している。プレイエリアオブジェクト６０は、床面部６２と境界面部６４を含む。床面部６２は、床面におけるプレイエリアの範囲を表す。境界面部６４はプレイエリアの境界面を表し、例えば床面に対し垂直に交わる面で構成される。床面部６２と境界面部６４は例えば、半透明の格子形状のオブジェクトとして表す。

表示画像生成部８０は実際には、図示するようなプレイエリアオブジェクト６０を、シースルー画像と融合するように重畳させて表示画像とする。このため状態情報取得部８４は、撮影画像やセンサデータに基づき実際の床面を検出する。例えば状態情報取得部８４は、センサデータに含まれる加速度センサの出力と撮影画像との対応に基づき、検出された物体の面のうち、重力と垂直な面を特定することで床面を検出する。さらに状態情報取得部８４は、床面を基準としてユーザの周囲に存在する家具や壁などの障害物の面を特定し、それらの面で囲まれた領域の内側に、プレイエリアの境界面を設定する。

オブジェクト配置部８８は、プレイエリアに対応する床面に対し床面部６２を配置し、プレイエリアの境界面に境界面部６４を配置する。表示画像生成部８０は、これまで述べたようにシースルー画像を生成し、同じ仮想カメラから見たプレイエリアオブジェクト６０の様子を描画して合成する。これにより、ユーザはゲームの開始前などに、周囲を見回しながらプレイエリアを確認できる。表示画像生成部８０はさらに、床面部６２により表される、検出された床面の高さや、境界面部６４により表されるプレイエリア境界を調整するユーザ操作を受け付けてもよい。

ユーザが必要に応じて調整操作を行うと、オブジェクト配置部８８は、それに応じて適宜、床面部６２や境界面部６４の配置を更新し、表示画像生成部８０により表示画像へ反映させる。これらの状況において、シースルー画像における床面や周囲の実物体の像の距離感が実際と乖離していると、プレイエリアオブジェクト６０とも乖離して見え、ユーザが混乱したり適切な調整ができなかったりすることが考えられる。

これを踏まえ投影面制御部７６は、投影面の少なくとも一部を、検出された実際の床面に沿った位置および形状としてもよい。例えば投影面制御部７６は、ゲームの開始前などプレイエリアを設定している期間において、ユーザの直下に存在し検出された高さを有する、床面に対応する面を投影面の一部として生成する。当該床面に対応する面は例えば、ユーザを中心に所定距離内の範囲とする。これにより、撮影画像において床が視野に入っている間は、少なくとも床の像が、対応する投影面に投影される。

このとき投影面制御部７６は、それ以外の方位の範囲については、これまで述べたように特徴点の位置情報に基づき投影面を設定してよい。あるいは天井や壁など、特徴点が乏しい面やおよその位置や形状が判明している面については、固定の投影面を導入してもよい。床面を優先した投影面を設けることにより、場合によっては、その範囲にある物の像が歪んで見えたり距離がずれて見えたりする可能性があるが、床面部６２と床の像の一致が保証されることにより、ユーザにとってプレイエリアの認識や調整が容易になる。

図１６は、シースルー画像と投影面の組み合わせを例示している。（ａ）、（ｂ）は異なる投影面を経て、それぞれ生成されたシースルー画像であり、投影面までの距離を表す等高線を重畳させている。ここで（ａ）の投影面は、これまで述べた手法で実物体の特徴点に合わせて生成された面、（ｂ）の投影面は、ユーザの直下から２ｍ以内の範囲を床面に合わせ、それ以外を球面としている。

（ａ）の例では、視線方向に延びる部屋の奥行きを反映するように、画像中央で距離が最大になるとともに、視線の右下に置かれた椅子の影響を反映した形状の投影面が形成されている。この場合、生成される左右視点のシースルー画像では、椅子や壁など部屋の全体が適切な距離感で表現される。（ｂ）の例では、少なくとも近景の床については、正しい距離感で歪みのない像を表現できる。このためプレイエリアオブジェクトの像と合成した際、両者のずれが視認されにくくなる。

以上述べた本実施の形態によれば、ヘッドマウントディスプレイが備えるカメラによる撮影画像を、ユーザから実物体までの距離の分布に対応するように生成した面に投影し、それを仮想カメラから見た状態の表示画像を生成する。この際、実物体の位置情報として、ヘッドマウントディスプレイの追跡処理で得られる情報を利用する。これにより処理負荷の増大を抑えつつ、実世界を直接見た状態に近い距離感で、実物体の像を視認させることができる。

また実物体の距離の分布に基づき、フィルタリング処理を経由して滑らかな投影面を生成する。これにより、検出された実物体の距離の分布に急な凹凸や誤差が生じていても、表示画像への影響を小さくできる。また実物体の位置情報取得の粒度が粗くても適切に全天周の投影面を生成できるため、急な振り向きなどユーザの任意の動きに表示を対応させることができる。さらにユーザの頭を中心として投影面の位置情報を生成しておき、仮想カメラを中心とした投影面に流用しても大きな誤差が生じないため、投影面の位置情報生成の処理負荷を抑えられる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 画像表示システム、 ７０ 画像処理部、 ７２ 撮影画像取得部、 ７４ センサデータ取得部、 ７６ 投影面制御部、 ７８ 投影面マップ記憶部、 ８０ 表示画像生成部、 ８２ 出力制御部、 ８４ 状態情報取得部、 ８６ 物体情報記憶部、 ８８ オブジェクト配置部、 ９０ オブジェクトデータ記憶部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ 画像処理用集積回路、 １２２ 表示パネル、 １３６ ＣＰＵ、 １３８ ＧＰＵ、 ２００ コンテンツ処理装置。

Claims (13)

1. 搭載されたカメラによる撮影画像のデータを取得する撮影画像取得部と、
   ユーザと実物体の距離の分布に応じて、表示対象の仮想３次元空間に投影面を設定する投影面制御部と、
   前記投影面に前記撮影画像を表し、それを仮想カメラから見てなる像を描画することにより、当該撮影画像を含む表示画像を生成する表示画像生成部と、
   前記表示画像のデータを表示パネルに出力する出力部と、
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記投影面制御部は、ユーザの頭部を中心とする所定範囲の方位に対し前記投影面の位置情報の分布を表した投影面マップを、前記距離の分布の変化に応じて更新し、
   前記表示画像生成部は、前記投影面マップに基づき生成した投影面に前記撮影画像を表すことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記投影面制御部は前記投影面マップとして、ユーザの頭部を中心とする仮想的な立方体の面で構成されるキューブマップに、前記投影面の位置情報の分布を表すことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記投影面制御部は、前記投影面マップにおいて、前記投影面の位置情報を、ユーザの頭部から投影面までの距離の逆数で表すことを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
5. 前記撮影画像に基づき前記ヘッドマウントディスプレイと実物体の３次元位置情報を逐次取得する状態情報取得部をさらに備え、
   前記投影面制御部は、前記３次元位置情報の変化に基づき前記投影面マップを更新することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
6. 前記投影面制御部は、ユーザの頭部の速度、角速度、加速度の少なくとも１つが所定値以上の期間に限定して、前記投影面マップを更新することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記投影面制御部は、前記投影面の一部として、前記３次元位置情報の変化によらず前記仮想３次元空間において固定の面を設定することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
8. 前記投影面制御部は、前記投影面マップにおいて、前記位置情報を表す数値の２階微分値を軽減させるフィルタ処理を、所定の頻度で実施することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
9. 前記状態情報取得部はさらに、実世界にある床面の高さを検出し、
   前記投影面制御部は、ユーザの直下に存在し検出された高さを有する所定の距離内の面を、前記投影面の一部とすることを特徴とする請求項５に記載のヘッドマウントディスプレイ。
10. ユーザの可動範囲を規定するプレイエリアを示す仮想オブジェクトを、前記床面に対応させて配置するオブジェクト配置部をさらに備え、
    前記表示画像生成部は、前記投影面に表した前記撮影画像からなる表示画像に、前記プレイエリアを示す仮想オブジェクトの像を合成することを特徴とする請求項９に記載のヘッドマウントディスプレイ。
11. 前記表示画像生成部は、前記投影面マップを、左右の前記仮想カメラの視点からの方位に対する位置情報と見なすことにより、各仮想カメラに対し前記投影面を生成することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
12. 搭載されたカメラによる撮影画像のデータを取得するステップと、
    ユーザと実物体の距離の分布に応じて、表示対象の仮想３次元空間に投影面を設定するステップと、
    前記投影面に前記撮影画像を表し、それを仮想カメラから見てなる像を描画することにより、当該撮影画像を含む表示画像を生成するステップと、
    前記表示画像のデータを表示パネルに出力するステップと、
    を含むことを特徴とする、ヘッドマウントディスプレイによる画像表示方法。
13. 搭載されたカメラによる撮影画像のデータを取得する機能と、
    ユーザと実物体の距離の分布に応じて、表示対象の仮想３次元空間に投影面を設定する機能と、
    前記投影面に前記撮影画像を表し、それを仮想カメラから見てなる像を描画することにより、当該撮影画像を含む表示画像を生成する機能と、
    前記表示画像のデータを表示パネルに出力する機能と、
    をヘッドマウントディスプレイが備えるコンピュータに実現させることを特徴とするコンピュータプログラム。

Images