JP2024015868A - ヘッドマウントディスプレイおよび画像表示方法 - Google Patents

Abstract

【課題】立体視を実現するディスプレイにおいて、重畳画像を容易かつ自然に視認させる。
【解決手段】
ヘッドマウントディスプレイ１００において撮影画像取得部５２はステレオカメラによる撮影画像のデータを取得し、物体分布取得部５４は、撮影画像を解析して、視野内の３次元空間に存在する物体の距離の分布を取得する。重畳画像制御部６０は、距離の分布に基づき、３次元空間における重畳画像の仮想距離を決定する。表示画像生成部６６の重畳画像描画部６４は、仮想距離に配置された状態の重畳画像を表示画像に合成する。
【選択図】図７

Description

この発明は、視野内に重畳画像を表示するヘッドマウントディスプレイ、および画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。

また実空間を撮影するビデオカメラをヘッドマウントディスプレイに設け、その撮影画像にコンピュータグラフィクスを合成することにより、拡張現実や複合現実を実現する技術も実用化されている。また当該撮影画像を即時表示すれば、密閉式のヘッドマウントディスプレイであっても、ユーザは周囲の様子を容易に確認できる。さらに光透過型のウェアラブルディスプレイにより、実世界を見ながら情報を確認することも可能になっている。

上記のような技術において、メインとなる実空間や仮想空間の様子を立体視している最中に、ダイアログボックス、ヘルプ画面、コントロールパネル、インジケータなどの各種情報を重畳表示させたい場合がある。そのような重畳画像は表示内容の特性上、２次元のシンプルな構造の窓状の画像を、他の表示と関わりなく前面に出現させるのが一般的である。しかしながらメインの画像を立体視している状況においては、そのような重畳画像が不自然に見えたり、焦点が合いづらかったりすることが起こり得る。場合によっては、ユーザは、映像酔いなどの体調不良に陥る可能性もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイなど立体視を実現するディスプレイにおいて、重畳画像を容易かつ自然に視認させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、立体視を実現するヘッドマウントディスプレイであって、視野内の３次元空間の状態に応じて、表示すべき重畳画像の仮想距離を決定する重畳画像制御部と、３次元空間において仮想距離に配置させた状態の重畳画像を含む表示画像のデータを生成する表示画像生成部と、表示画像のデータを表示パネルに出力する出力制御部と、を備えたことを特徴とする。

本発明の別の態様は画像表示方法に関する。この画像表示方法は、立体視を実現するヘッドマウントディスプレイが、視野内の３次元空間の状態に応じて、表示すべき重畳画像の仮想距離を決定するステップと、３次元空間において仮想距離に配置させた状態の重畳画像を含む表示画像のデータを生成するステップと、表示画像のデータを表示パネルに出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイなど立体視を実現するディスプレイにおいて、重畳画像を容易かつ自然に視認させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態の画像表示システムの構成例を示す図である。 本実施の形態の画像表示システムにおけるデータの経路を模式的に示す図である。 本実施の形態においてヘッドマウントディスプレイが表示するシースルーモードの画像と、重畳画像を合成した画像を模式的に示す図である。 本実施の形態において３次元空間の奥行き方向の軸を考慮したときの、重畳画像の位置と、左目用、右目用の画像の例を示す図である。 本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態におけるヘッドマウントディスプレイの機能ブロックの構成を示す図である。 本実施の形態において、物体分布取得部が撮影画像から取得する距離分布情報を説明するための図である。 本実施の形態において重畳画像制御部が、重畳画像の仮想距離を導出する手順を示すフローチャートである。 本実施の形態における、視野の転回による重畳画像の変化を説明するための図である。 本実施の形態においてヘッドマウントディスプレイが重畳画像を表示させる処理手順を示すフローチャートである。

本実施の形態は、３次元空間の像を立体視している状態で、別途準備された画像を重畳表示させる装置に関する。３次元空間は実空間でも仮想空間でもよい。実空間を表す像はカメラにより撮影された画像でもよいし、光学系を透過してなる像でもよい。すなわち本実施の形態の装置は、重畳画像のみを表示してもよいし、３次元空間の画像を表示しつつ重畳画像を合成してもよい。以後は主に、ヘッドマウントディスプレイに撮影画像を含む画像を表示させつつ、重畳画像を合成する態様について説明する。

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０を備える。本実施の形態では、ステレオカメラ１１０が撮影している動画像を、少ない遅延で表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。例えばヘッドマウントディスプレイ１００は、コンテンツの画像を表示していない期間を自動でシースルーモードとする。

これによりユーザは、コンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードはこのほか、ユーザが明示的に操作を行ったことを契機として、開始させたり終了させたりしてもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、実世界での突発的な事象に対処するなど必要な作業を行える。なお図示する例でステレオカメラ１１０は、筐体１０８の前面下方に設けられているが、その配置は特に限定されない。またステレオカメラ１１０以外のカメラが設けられていてもよい。

ステレオカメラ１１０による撮影画像は、コンテンツの画像としても利用できる。例えばカメラの視野にある実物体に合わせた位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。また撮影画像を表示に含めるか否かによらず、撮影画像を解析し、その結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることもできる。

例えば、撮影画像にステレオマッチングを施すことにより、被写体の像の対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはVisual SLAM（Simultaneous Localization and Mapping）など周知の技術により、周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

図２は、本実施の形態における画像表示システムの構成例を示す。画像表示システム１０において、ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェースによりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

コンテンツ処理装置２００は、基本的に、コンテンツを処理して表示画像を生成し、ヘッドマウントディスプレイ１００に送信することで表示させる情報処理装置である。典型的にはコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野で表示画像を生成する。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつ、ゲームの舞台である仮想世界を表す画像を生成し、ＶＲ（仮想現実：Virtual Reality）を実現する。

本実施の形態においてコンテンツ処理装置２００が処理するコンテンツは特に限定されず、上述のとおりＡＲやＭＲを実現してもよいし、映画などあらかじめ表示画像が制作されているものであってもよい。以後の説明では、シースルーモードで表示される実空間のリアルタイムでの画像以外の画像を、「コンテンツ画像」とする。

図３は、本実施の形態の画像表示システム１０におけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおり、ステレオカメラ１１０と表示パネル１２２を備える。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルである。本実施の形態において表示パネル１２２は、ユーザの左目および右目に正対する左右の領域に、動画像のフレームを構成する左目用および右目用の画像をそれぞれ表示する。

左目用画像と右目用画像を、両眼の間隔に対応する視差を有するステレオ画像とすることにより、表示対象を立体的に見せることができる。表示パネル１２２は、左目用のパネルと右目用のパネルを左右に並べてなる２つのパネルで構成してもよいし、左目用画像と右目用画像を左右に接続した画像を表示する１つのパネルであってもよい。

ヘッドマウントディスプレイ１００はさらに、画像処理用集積回路１２０を備える。画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。

図では、ステレオカメラ１１０が撮影した画像を表示に含めるケースにおける、２通りのデータ経路を矢印で示している。ＡＲやＭＲを実現する場合、一般にはステレオカメラ１１０による撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示する画像表示システム１０においてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、シースルーモードの場合、矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で表示に適した画像に補正したうえ表示パネル１２２に表示させることができる。矢印Ａの経路によれば、矢印Ｂの経路と比較しデータの伝送経路が格段に短くなるため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。

ただし本実施の形態におけるシースルーモードのデータ経路を矢印Ａに限定する主旨ではない。つまり矢印Ｂの経路を採用し、ステレオカメラ１１０により撮影された画像を、一旦、コンテンツ処理装置２００に送信してもよい。そして、コンテンツ処理装置２００側で表示画像として補正したうえで、ヘッドマウントディスプレイ１００に返すことで表示に至る構成としてもよい。

いずれにしろ本実施の形態では好適には、ステレオカメラ１１０による撮影画像を行単位など１フレームより小さい単位で順次、パイプライン処理することにより、表示までの時間を最小限にする。これにより、頭部の動きに対し映像が遅れて表示され、ユーザが違和感や映像酔いを覚える可能性を低くする。

図４は、ヘッドマウントディスプレイ１００が表示するシースルーモードの画像と、重畳画像を合成した画像を模式的に示している。画像２５０は、シースルーモードにおける画像（以後、シースルー画像と呼ぶ）の１フレームであり、ヘッドマウントディスプレイ１００前方の室内の様子を、ステレオカメラ１１０が撮影した画像に対応する。実際には上述のとおり、同じ物の像が視差分だけ水平方向にずれた、左目用、右目用の画像対が生成され、表示パネル１２２の左右の領域に表示される。また撮影画像から表示画像を生成する際、適宜画角が補正されるものとする。

当然、ユーザが顔の向きを変化させれば、シースルー画像２５０の視野も変化する。この状態においてヘッドマウントディスプレイ１００は、ユーザからの要求やシステム上の必要性などに応じて、重畳画像２５４を合成した画像２５２を表示する。図の例では、ユーザにログインのためのアドレスとパスワードを入力させるダイアログボックスを表示させている。ユーザが、ダイアログボックスに対し必要な情報を入力すると、ヘッドマウントディスプレイ１００は重畳画像２５４を非表示とし、元のシースルー画像２５０に表示を戻す。

図示するように、立体視を実現している表示画像の一部に重畳画像２５４を表す場合、表示対象の３次元空間を考慮した設定が必要になる。具体的には、奥行き方向の軸を含めて重畳画像２５４のオブジェクトの位置を決定し、それに対応する視差で、左右の画像対を生成することが求められる。なお以後の説明では、３次元空間に配置される重畳画像のオブジェクトも「重畳画像」と表現する場合がある。

図５は、３次元空間の奥行き方向の軸を考慮したときの、重畳画像の位置と、左目用、右目用の画像の例を示している。図の上段は、表示画像生成時に構成される仮想的な３次元空間を俯瞰した状態を示している。カメラ２６０ａ、２６０ｂは、表示画像を生成するための仮想的なレンダリングカメラであり、図の上方向が奥行き方向（カメラ２６０ａ、２６０ｂからの距離）を表す。重畳画像を表示しない通常状態において、ヘッドマウントディスプレイ１００は、仮想空間における所定の距離Ｄｉにシースルー画像２６４を配置する。

なおシースルー画像２６４は、ステレオカメラ１１０が撮影したステレオ画像を用いて、左目用、右目用のそれぞれを生成してよい。重畳画像２６７を表示する必要が生じたら、ヘッドマウントディスプレイ１００は例えば、仮想空間における距離Ｄｓに重畳画像２６６を配置する。シースルー画像２６４のみの場合、および重畳画像２６６を追加で配置した場合のどちらにおいても、カメラ２６０ａ、２６４ｂから見た像を描画することにより、左目用、右目用の表示画像が生成される。

図の下段には、左目用の表示画像２６８ａ、右目用の表示画像２６８ｂを模式的に示している。ただし両者においてシースルー画像は省略し、重畳画像２６７のみを表している。カメラ２６０ａ、２６０ｂが視差を有することにより、重畳画像２６７は左右の表示画像２６８ａ、２６８ｂの平面上で、水平方向にずれた位置に表される。当該ずれ量は、３次元空間における重畳画像２６６の距離Ｄｓに依存して変化する。これによりユーザは、重畳画像２６７に距離感を知覚する。

同図においてシースルー画像２６４は、同一距離に位置する一平面として示されているが、立体視を実現している場合、物体の像はその実際の位置に応じて、様々なずれ量で左目用、右目用画像に表される。これによりユーザの認識上、像の位置が奥行き方向に分布を持つことになる。当該分布は、ユーザがいる場所や、向いている方向によって大きく変化し得る。例えば物が置かれていない遠くの壁を見ているユーザが、近くのテーブルへ視線を移したら、当然、像の距離の分布が大きく変化する。

このような不規則な変化に対し、重畳画像２６６の距離Ｄｓを固定とすると、３次元空間の表現上、矛盾が生じる可能性がある。例えば、一部が重畳画像２６６と重なっている実物体が、距離感としては重畳画像２６６より手前にあるにも関わらず、重畳画像２６６に隠蔽されているといった不自然な画像が表示される。このような画像は、目の焦点の合わせづらさや映像酔いの原因となり得る。

空間的に矛盾が生じないよう、重畳画像２６６を常時、カメラ２６０ａ、２６０ｂの至近距離に配置することも考えられる。しかしながらこの場合、遠くにのみ物体があるような視野では、重畳画像２６６との奥行き方向の距離が離れすぎて、やはり焦点が合わせづらく、見づらさや眼精疲労を起こし得る。このような不具合は、シースルー画像における実物体に限らず、光透過型のウェアラブルディスプレイで見える実物体や、仮想世界におけるオブジェクトなどと、重畳画像との位置関係においても同様に起こり得る。

そこで本実施の形態では、重畳画像に与える仮想的な距離を、視野内の３次元空間の状態に応じて決定する。例えばヘッドマウントディスプレイ１００は、視野内の３次元空間に存在する物体までの距離の分布を取得し、当該分布に基づき重畳画像の仮想距離を決定する。これにより、メインの画像世界からシームレスに重畳画像の表示状態へ移行でき、各種情報を無理なく視認させることができる。

図６は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ（Central Processing Unit）１３６、ＧＰＵ（Graphics Processing Unit)１３８、メインメモリ１４０、表示部１４２を含む。これらの各部はバス１５２を介して相互に接続されている。バス１５２にはさらに、音声出力部１４４、通信部１４６、モーションセンサ１４８、ステレオカメラ１１０、および記憶部１５０が接続される。なおバス１５２の構成は限定されず、例えば複数のバスをインターフェースで接続した構成としてもよい。

ＣＰＵ１３６は、記憶部１５０に記憶されているオペレーティングシステムを実行することによりヘッドマウントディスプレイ１００の全体を制御する。またＣＰＵ１３６は、記憶部１５０から読み出されてメインメモリ１４０にロードされた、あるいは通信部１４６を介してダウンロードされた、各種プログラムを実行する。ＧＰＵ１３８は、ＣＰＵ１３６からの描画命令にしたがって画像の描画や補正を行う。メインメモリ１４０は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

表示部１４２は、図３で示した表示パネル１２２を含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。音声出力部１４４は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

通信部１４６は、コンテンツ処理装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）など既知の無線通信技術、あるいは有線通信技術により通信を実現する。モーションセンサ１４８はジャイロセンサ、加速度センサ、角加速度センサなどを含み、ヘッドマウントディスプレイ１００の傾き、加速度、角速度などを取得する。ステレオカメラ１１０は、図１で示したとおり、周囲の実空間を左右の視点から撮影するビデオカメラの対である。記憶部１５０はＲＯＭ（Read Only Memory）などのストレージで構成される。

図７は、本実施の形態におけるヘッドマウントディスプレイ１００の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図６に示した回路構成で実現でき、ソフトウェア的には、記憶部１５０からメインメモリ１４０にロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

またヘッドマウントディスプレイ１００は、図示した以外の機能を有していてもよい。さらに、図示する機能ブロックのうちの一部は、コンテンツ処理装置２００が備えていてもよい。ヘッドマウントディスプレイ１００において、画像処理部５０は、図３の画像処理用集積回路１２０によって実現し得る。

ヘッドマウントディスプレイ１００において画像処理部５０は、撮影画像のデータを取得する撮影画像取得部５２、視野内にある物体の距離の分布を取得する物体分布取得部５４、重畳画像の状態を制御する重畳画像制御部６０、表示画像のデータを生成する表示画像生成部６６、および、表示画像のデータを出力する出力制御部７０を備える。ヘッドマウントディスプレイ１００はさらに、ヘッドマウントディスプレイ１００の動きに係る情報を取得する動き情報取得部６８、および、周囲の３次元空間における物体の配置を表す環境地図を格納する環境地図記憶部７２を備える。

撮影画像取得部５２は、ステレオカメラ１１０のイメージセンサから、撮影画像のデータを所定のフレームレートで取得する。物体分布取得部５４は、撮影画像の各フレームを解析し、視野内の３次元空間に存在する物体までの距離の分布を取得する。例えば物体分布取得部５４は、撮影画像を構成するステレオ画像から、周知の技術により対応点を抽出する。対応点は、ステレオ画像において抽出できる特徴点のうち、同じ像上のポイントを表す特徴点の対である。

物体分布取得部５４は、抽出した対応点に基づき、三角測量の原理により当該ポイントまでの距離を導出する。一般的には１フレーム分のステレオ画像において、対応点が多数、抽出される。重畳画像の仮想距離の制御を目的とする場合、物体分布取得部５４は、撮影画像のうち、重畳画像が合成される領域、または当該領域から所定範囲の領域に限定して対応点を抽出し、距離の分布を求めてもよい。

画像平面上、重畳画像から離れた位置にある像は、奥行き方向の距離がどのようであっても、見づらさへの影響が小さい。したがって、重畳画像に近い領域に限って物体の距離分布を取得し、それに応じて仮想距離を調整すれば、より効率的に多大な効果が得られる。また撮影画像を解析し、被写体や特徴点までの距離を導出する手法には様々なものがあり、物体分布取得部５４は、そのいずれを採用してもよい。

物体分布取得部５４は、対応点ごとに得られる距離値のヒストグラムを、物体の距離の分布として取得する。定性的には３次元空間において、当該距離の分布が及ぶ範囲の手前に重畳画像の仮想距離を設定すれば、物体の像と重畳画像に矛盾が生じないことになる。物体分布取得部５４は、距離の分布が及ぶ範囲のうち手前側の距離を表す指標を導出し、重畳画像制御部６０に所定のレートで通知する。

以後、当該指標を「最短距離指標」と呼ぶ。物体分布取得部５４は例えば、ヒストグラムが及ぶ距離範囲において、距離値の２５パーセント点を最短距離指標とする。ヒストグラムの２５パーセントを除外して最短距離の指標とすることにより、対応点から導出した距離値に含まれる誤差の影響を軽減できる。ただしパーセント点の数値は限定されない。

ヘッドマウントディスプレイ１００が、上述したVisual SLAMの機能を有する場合、物体分布取得部５４は、Visual SLAMの機能の一部であってもよい。Visual SLAMは、ステレオ画像で得られる対応点により、物体上の特徴点の３次元位置座標を取得するとともに、時系列順のフレームにおいて特徴点を追跡することにより、ステレオカメラ１１０の位置姿勢と環境地図を並行して取得する技術である。環境地図は、３次元空間における物体の特徴点の分布を表すデータである。この場合、物体分布取得部５４は、Visual SLAMで得られる物体の３次元位置座標に基づき、距離分布を取得し最短距離指標を導出してもよい。

環境地図記憶部７２は、Visual SLAMなどにより生成された環境地図を格納する。動き情報取得部６８は、モーションセンサ１４８により構成され、ヘッドマウントディスプレイ１００（およびステレオカメラ１１０）の位置や姿勢に係る情報を所定のレートで取得する。動き情報取得部６８によるステレオカメラ１１０の位置姿勢の情報は、環境地図の作成に利用できる。

また一旦、環境地図を作成すれば、各時間ステップにおけるヘッドマウントディスプレイ１００の位置や姿勢に応じて、視野内にある物体の距離の分布は、当該環境地図から取得できる。したがって物体分布取得部５４は例えば、動き情報取得部６８からヘッドマウントディスプレイ１００の位置姿勢情報を所定のレートで取得し、対応する視野内に存在する物体の距離の分布を、環境地図記憶部７２に格納された環境地図から取得してもよい。

撮影画像から物体の距離分布を求める場合、物体分布取得部５４は、家具や設備など、３次元空間に設置され動きのない物に限定して距離分布を取得してもよい。例えばユーザの手など至近距離に表れやすい動く物の距離を考慮してしまうと、重畳画像に許容される距離が限定されたり変動したりする。また、そのような物が視野内に存在するのは一時的な場合が多いため、考慮の必要性が低い。したがって物体分布取得部５４は、動き情報取得部６８による測定結果に基づき、ヘッドマウントディスプレイ１００に動きがない期間における距離の分布の変化は、最短距離指標に反映させないようにしてもよい。

なおメインの表示対象が仮想空間の場合、物体分布取得部５４は、当該仮想空間の構成を規定するゲームなどのプログラム上での設定に応じて環境地図のデータを取得し、環境地図記憶部７２に格納しておく。これにより上述と同様、ヘッドマウントディスプレイ１００の位置姿勢の情報に応じて、視野内にある仮想物体の距離の分布を取得できる。また光透過型ディスプレイの場合は、ステレオカメラが搭載されていれば、これまで述べたヘッドマウントディスプレイ１００と同様の処理で距離分布を取得できる。

重畳画像制御部６０は、重畳画像の表示が必要な期間において、物体の距離の分布、ひいては最短距離指標に基づき、重畳画像の仮想距離を決定する。上述のとおり重畳画像制御部６０は基本的に、物体の距離の分布が及ぶ範囲の手前に重畳画像の距離を設定する。重畳画像制御部６０はまた、当該仮想距離に応じて、３次元空間での重畳画像のサイズを決定する。具体的には重畳画像制御部６０は、仮想距離が大きいほど、重畳画像のサイズを大きくする。

これにより、仮想距離によらず重畳画像の見かけ上のサイズ（表示画像上でのサイズ）を同一とし、文字などの視認性が変化しないようにする。重畳画像制御部６０は、重畳画像の描画に必要なモデルデータを格納する重畳画像データ記憶部６２を備える。重畳画像データ記憶部６２は例えば、重畳画像に表す文字データ、文字や図形の配置、背景の形状、表示画像上でのサイズ、色などのデータを、重畳画像の識別情報と対応づけて格納する。

ユーザがほぼ同じ方向を向いていても、視野の微小な動きにより最短距離指標は細かく変動し得る。これに応じて仮想距離を変化させると、重畳画像が必要以上に変動し却って見づらくなることが考えられる。そこで重畳画像制御部６０は、最短距離指標を継続して収集し、それぞれがどの距離区分に属するかを集計する。そして重畳画像制御部６０は、最短距離指標が所定割合以上集中した距離区分に対し、あらかじめ設定された距離値を、最適な仮想距離として取得する。このようにフレーム周期より長い周期で距離の分布を捉え、確率論で最適な仮想距離を導出することにより、重畳画像の配置の精度を高められ、高頻度で設定し直す必要がなくなる。

重畳画像制御部６０は、視野が大きく変化し、結果的に距離分布情報が大きく変化したら、重畳画像の仮想距離を変化させるように表示画像生成部６６に要求してもよい。重畳画像制御部６０は、最短距離指標の変化に合わせ最適な仮想距離を常に導出し続けてもよいし、必要に応じて断続的に最適な仮想距離を導出してもよい。

重畳画像制御部６０はまた、動き情報取得部６８による測定結果に基づき、ヘッドマウントディスプレイ１００の動きに応じて静止後の視野を予測し、仮想距離を静止前に決定してもよい。これに応じて表示画像における重畳画像を変化させておけば、ヘッドマウントディスプレイ１００の静止時には、新たな距離で適切に重畳画像を見せることができる。この場合、物体分布取得部５４は、環境地図を用いて、予測される視野内にある物体の距離の分布を取得し、最短距離指標を導出する。

重畳画像制御部６０は、表示すべき重畳画像のモデルデータと最適な仮想距離の情報を、表示画像生成部６６に供給する。以後、重畳画像制御部６０は、最短距離指標から導出した仮想距離にしきい値以上の変化が生じたとき、あるいは随時、その時点での最適な仮想距離の情報を、表示画像生成部６６に提供する。

表示画像生成部６６はシースルーモードにおいて、シースルー画像からなる表示画像のデータを生成する。ただし上述のとおり、表示画像生成部６６が生成するメインの画像はシースルー画像に限らない。表示画像生成部６６はまた、重畳画像の表示が必要な期間において、決定された仮想距離に配置させた重畳画像を含む表示画像を生成する。具体的には表示画像生成部６６は、仮想距離に対応するずれ量（視差）で、左目用、右目用の表示画像に重畳画像を表す。

表示画像生成部６６は、重畳画像の表示が必要な期間において機能する重畳画像描画部６４を備える。重畳画像描画部６４は上述のとおり、仮想距離に対応する視差を有するように、元の表示画像上に重畳画像を描画する。仮想距離の変化を表示に反映させる場合、重畳画像描画部６４は、表示画像平面における重畳画像のサイズはそのままで、視差を変化させる。

重畳画像描画部６４はまた、重畳画像描画の開始や停止のタイミングを制御する。例えば重畳画像描画部６４は、重畳画像を表示させる必要性が生じてから所定時間後に重畳画像の描画を開始し表示画像として表す。所定時間とは例えば１秒程度であり、これにより、その間に収集できる物体の距離分布による重畳画像の距離の設定精度と、表示の低遅延性とのバランスをとる。

重畳画像描画部６４はまた、重畳画像を表示中に、適切な仮想距離が変化したことを重畳画像制御部６０からの情報に基づき検知した場合、重畳画像を一時的に非表示としたうえ、変化後の仮想距離で重畳画像を再描画する。この際、重畳画像描画部６４は、変化前の重畳画像をフェードアウトさせたうえ、変化後の重畳画像をフェードインさせることにより、距離の変化が目立たないようにしてもよい。

あるいは重畳画像描画部６４は、動き情報取得部６８による測定結果に基づき、ヘッドマウントディスプレイ１００が動いていると見なされる期間に限り、表示上の重畳画像の仮想距離を変化させてもよい。頭部が動き視野が大きく変化する期間は、表示画像に対する注目の度合いが低くなるため、その間に仮想距離を変更しておくことによりユーザに気づかれにくくなる。あるいは重畳画像描画部６４は、表示画像における重畳画像の仮想距離を、目標とする仮想距離に徐々に到達させてもよい。この場合、ユーザには、重畳画像がサイズを変化させながら奥行き方向に移動しているように見えることになる。

出力制御部７０は、表示画像生成部６６から表示画像のデータを取得し、所定の処理を施して表示パネル１２２に出力する。当該表示画像は、左目用、右目用の画像対で構成され、場合によってそれぞれに重畳画像が合成されている。出力制御部７０は、接眼レンズを介して見たときに歪みのない画像が視認されるように、歪曲収差や色収差を打ち消す方向に表示画像を補正してよい。出力制御部７０はそのほか、表示パネル１２２に対応する各種データ変換を行ってよい。

図８は、物体分布取得部５４が撮影画像から取得する距離分布情報を説明するための図である。物体分布取得部５４は、まず撮影画像のフレーム２７０から対応点（例えば対応点２７２）を抽出する。図では１つのフレームを示しているが、実際にはステレオカメラ１１０によって撮影されたステレオ画像から、対応する特徴点を抽出する。

続いて物体分布取得部５４は、対応点の視差に基づき、それぞれが表す物体上のポイントまでの距離を求め、距離に対し対応点の度数を表したヒストグラム２７４を生成する。そして物体分布取得部５４は、例えば矢印で示したような所定のパーセント点（例えば２５パーセント点）の距離値を求め、それを最短距離指標とする。物体分布取得部５４は、例えば１５Ｈｚ、３０Ｈｚといったレートで、その間のフレームにおける対応点の距離を集計し、最短距離指標を導出する。

図９は、重畳画像制御部６０が、重畳画像の仮想距離を導出する手順を示すフローチャートである。まず重畳画像制御部６０は、物体分布取得部５４から最短距離指標ｄを取得し（Ｓ１０）、あらかじめ設定した距離区分のうち該当する距離区分に振り分ける（Ｓ１２）。距離区分は、レンダリングカメラからの距離を大まかに分けてなる距離の範囲であり、重畳画像の仮想距離を決定する単位でもある。

距離区分を２つとする場合、例えば近距離の区分として０＜ｄ≦１．２ｍ、遠距離の区分として１．５ｍ＜ｄの範囲を準備する。最短距離指標ｄが中間にあり、どちらの距離区分にも属さなければ、重畳画像制御部６０は当該最短距離指標ｄを振り分けなくてよい。なお本実施の形態において距離区分の数や境界値は限定されない。また距離区分を設けず、最短距離指標ｄから直接、仮想距離を決定してもよい。ただしこの場合、仮想距離の細かい変動が表示に反映されないよう、表示上の変化の機会を限定的にするなどの工夫がより重要となる。

続いて重畳画像制御部６０は、振り分けた最短距離指標の数が所定割合に達した距離区分があるかどうかを確認し、そのような距離区分がない間は、Ｓ１０、Ｓ１２の処理を繰り返す（Ｓ１４のＮ）。こうして最短距離指標の振り分け数を増やしていき、特定の距離区分で振り分け数が所定割合に達したら（Ｓ１４のＹ）、重畳画像制御部６０は、当該距離区分にあらかじめ対応づけられた仮想距離を、最適な仮想距離として取得する（Ｓ１６）。ここで所定割合とは、他の距離区分と比較して十分確率が高いと見なせる割合であり、例えば８０％などとする。

上述の例で、近距離の区分０＜ｄ≦１．２ｍには、仮想距離として例えば０．５ｍを対応づけておく。遠距離の区分１．５ｍ＜ｄには、仮想距離として例えば１．５ｍを対応づけておく。つまりこのケースでは、Ｓ１４のＹにおける判定結果に応じて、０．５ｍおよび１．５ｍのどちらかが仮想距離として選択される。各距離区分に対応づける仮想距離は、当該距離区分の手前側の境界に近いほど、重畳画像と物体との空間的な矛盾を防ぎやすくなる。

図示する処理手順により、最短距離指標ｄが変動していても、各距離区分に属する確率に有意な差があれば、確率の高い距離区分を採用して仮想距離を決めることができ、重畳画像の表示が不適切になる可能性を低くできる。最短距離指標ｄに大きな変動がなければ、当然、ある距離区分に振り分け数が集中するため、重畳画像の仮想距離を短時間で決定できる。

図１０は、視野の転回による重畳画像の変化を説明するための図である。図は、ユーザの視点２８０から広がるシースルー画像の視野２８２ａ、２８２ｂと、周囲にある物体（例えば物体２８４）の位置関係を、俯瞰図で模式的に示している。シースルー画像の視野が視野２８２ａにあるとき、視野内の物体は比較的ユーザの近くに分布している。シースルーモードでは、それらの物体の像がビュースクリーン２８６ａに射影され、表示される。

ビュースクリーン２８６ａ上に黒く示したように、重畳画像２８８ａを表す場合、重畳画像制御部６０は、３次元空間における重畳画像のオブジェクト２９０ａの仮想距離Ｄ１を決定する。この際、重畳画像制御部６０は、物体が分布する範囲の手前に重畳画像のオブジェクト２９０ａが位置するように仮想距離Ｄ１を決定する。仮想距離Ｄ１の決定には、点線で示した、重畳画像２８８ａの表示領域に対応する画角内、あるいはそれから所定範囲の画角内の物体の分布を考慮すればよい。

ここでユーザが頭部を右方向に転回し、シースルー画像の視野が視野２８２ｂに変化したとする。視野２８２ｂにおいて、物体は比較的、ユーザから遠くに分布している。この状態でビュースクリーン２８６ｂに重畳画像２８８ｂを表す場合、重畳画像制御部６０は、重畳画像のオブジェクト２９０ｂの仮想距離Ｄ２を新たに決定する。

視野２８２ａと比較し視野２８２ｂでは、重畳画像２８８ｂの表示領域に対応する画角内で物体が遠くに分布しているため、適切な仮想距離Ｄ２は仮想距離Ｄ１より大きくなる。このような変化に対し、重畳画像制御部６０は、仮想距離の変化の割合と同じ割合で、重畳画像のオブジェクト２９０ｂのサイズを縦横双方向に拡大する。これにより、ビュースクリーン２８６ｂ上での重畳画像２８８ｂのサイズは同一に保たれ、仮想距離によらず文字などの見やすさが維持される。

図では視野２８２ａと視野２８２ｂを代表的に示しているが、実際には視野２８２ａから視野２８２ｂへ大きく変化する過渡期の状態や、視野２８２ａあるいは視野２８２ｂと略同一の視野であるが小さく変化している状態などが存在し得る。前者の場合、ある段階で仮想距離をＤ１からＤ２へ切り替える必要がある。この切り替えを即時に表示に反映させると、ユーザがそれまで見ていた重畳画像が突然、移動することになり、見づらさや違和感を与えることが考えられる。

そこで表示画像生成部６６の重畳画像描画部６４は、仮想距離Ｄ１で表示させていた重畳画像２８８ａを、視野の転回開始と同時にフェードアウトさせて非表示とし、仮想距離Ｄ２が決定したら、その距離での重畳画像２８８ｂをフェードインさせる。また上述のとおり重畳画像描画部６４は、視野２８２ａから視野２８２ｂへの過渡期において、ユーザの頭部の動きが所定値以上の期間に、仮想距離Ｄ２への移動を完了させてもよい。場合によっては、重畳画像描画部６４は、視野２８２ａから視野２８２ｂへの過渡期において、仮想距離Ｄ１から仮想距離Ｄ２へ、重畳画像を徐々に移動させてもよい。

次に、これまで述べた構成によって実現できる、ヘッドマウントディスプレイの動作を説明する。図１１は、ヘッドマウントディスプレイ１００が重畳画像を表示させる処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着し、シースルー画像を見ている状態で、重畳画像を表示させる必要が生じたときに開始される。

まず物体分布取得部５４は、ステレオカメラ１１０による撮影画像の各フレームに基づき、視野内にある物体の距離分布情報の収集を開始する（Ｓ２０）。そして重畳画像制御部６０は、図９で示した処理手順により、最適な仮想距離の導出を開始する（Ｓ２２）。Ｓ２０、Ｓ２２の処理は、重畳画像が表示される期間、あるいは視野が大きく転回したことが判明した後の所定期間に継続して行われる。

表示画像生成部６６の重畳画像描画部６４は、重畳画像を表示させる必要が生じてからの時間経過を監視し、１秒など所定時間が経過するまで待機する（Ｓ２４のＮ）。所定時間が経過したら（Ｓ２４のＹ）、重畳画像描画部６４はそれまでに得られた仮想距離の最適値に応じた視差で、重畳画像を表示画像に合成し、出力制御部７０を介して表示パネル１２２に表示させる（Ｓ２６）。

仮想距離を変更すべき所定の条件を満たさない期間は（Ｓ２８のＮ）、重畳画像の表示を停止させる必要がない限り、重畳画像描画部６４は後続のシースルー画像に対し、同じ位置に重畳画像を描画し続ける（Ｓ３２のＮ）。仮想距離を変更すべき所定の条件とは例えば、物体分布取得部５４が取得する最短距離指標や、重畳画像制御部６０が導出する仮想距離が、しきい値以上変化したときである。あるいは、動き情報取得部６８が取得する、ヘッドマウントディスプレイ１００の動き量や速度がしきい値以上となったときなどでもよい。それらのいずれか、または組み合わせを条件としてもよい。

そのような条件が満たされたら（Ｓ２８のＹ）、表示画像生成部６６の重畳画像描画部６４は、表示上で重畳画像を変位させる処理を実施する（Ｓ３０）。具体的には重畳画像描画部６４は、それまで表示していた重畳画像を一旦、非表示として、変更後の仮想距離で重畳画像を再表示させてもよいし、変更前の仮想距離から変更後の仮想距離へ重畳画像を徐々に移動させてもよい。また重畳画像描画部６４は、ヘッドマウントディスプレイ１００が所定の速度以上となっている期間に変位処理を実施してもよい。

以後、重畳画像の表示を停止させる必要がない限り、重畳画像描画部６４は後続のシースルー画像に対し、変更後の位置に重畳画像を描画し続け（Ｓ３２のＮ、Ｓ２８のＮ）、必要に応じて重畳画像を変位させる（Ｓ２８のＹ、Ｓ３０）。重畳画像の表示を停止させる必要が生じたら、重畳画像に係る全ての処理を停止させる（Ｓ３２のＹ）。重畳画像を表示させる必要が生じる都度、ヘッドマウントディスプレイ１００は同様の処理を繰り返す。

以上述べた本実施の形態によれば、立体視を実現するヘッドマウントディスプレイにおいて、視野内の３次元空間における物体の距離の分布に応じて、重畳画像の仮想距離を調整する。これにより、その特性上、隠蔽が好ましくない重畳画像を、３次元空間においても物体の手前にあるようにして、自然に見せることができる。また物体と同程度の距離に重畳画像を配置することにより焦点が合わせやすい。結果としてユーザは、重畳画像の表示前と同様の感覚で、無理なく重畳画像を視認できる。

また３次元空間における距離を変更しても、重畳画像の見かけのサイズを不変とする制御により、重畳画像の内容の視認性を維持できる。さらに視野内の物体の分布情報を継続的に収集し、統計処理により確からしい最適仮想距離を導出する。これにより、頭部の動きによる物体の分布情報の変動の影響を抑えられ、重畳画像が繰り返し変位したり、重畳画像の表示までに過度な時間を要したりすることが起こりにくい。

また仮想距離の切り替えにおいては、切り替え前の重畳画像を一旦、フェードアウトさせ、切り替え後の重畳画像をフェードインさせる。さらに頭部の速度が大きい期間に、切り替え後の重畳画像の表示を開始する。これらの処理により、重畳画像が突然変位することで生じる違和感を抑えられ、最適な状態への移行を円滑に達成できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 画像表示システム、 ５２ 撮影画像取得部、 ５４ 物体分布取得部、 ６０ 重畳画像制御部、 ６２ 重畳画像データ記憶部、 ６４ 重畳画像描画部、 ６６ 表示画像生成部、 ６８ 動き情報取得部、 ７０ 出力制御部、 ７２ 環境地図記憶部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ 画像処理用集積回路、 １２２ 表示パネル、 １３６ ＣＰＵ、 １３８ ＧＰＵ、 ２００ コンテンツ処理装置。

Claims (14)

1. 立体視を実現するヘッドマウントディスプレイであって、
   視野内の３次元空間の状態に応じて、表示すべき重畳画像の仮想距離を決定する重畳画像制御部と、
   前記３次元空間において前記仮想距離に配置させた状態の前記重畳画像を含む表示画像のデータを生成する表示画像生成部と、
   前記表示画像のデータを表示パネルに出力する出力制御部と、
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 視野内の３次元空間に存在する物体までの距離の分布を取得する物体分布取得部をさらに備え、
   前記重畳画像制御部は、前記距離の分布に基づき、前記重畳画像の仮想距離を決定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記物体分布取得部は、前記表示画像の平面において前記重畳画像を表すべき領域、または当該領域から所定範囲の領域に像が表れる物体の前記距離の分布を取得することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. ユーザの視線方向の実空間の撮影画像を取得する撮影画像取得部をさらに備え、
   前記物体分布取得部は、前記撮影画像に基づき、実物体の前記距離の分布を取得し、
   前記表示画像生成部は、前記撮影画像上に前記重畳画像を表した前記表示画像のデータを生成することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
5. 前記ヘッドマウントディスプレイの位置姿勢を所定のレートで取得する動き情報取得部と、
   ３次元空間における物体の特徴点の分布を表す環境地図を格納する環境地図記憶部と、
   をさらに備え、
   前記物体分布取得部は、前記ヘッドマウントディスプレイの位置姿勢に対応する視野内に存在する物体までの距離の分布を、前記環境地図から取得することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
6. 前記物体分布取得部は、前記物体の特徴点までの距離のヒストグラムを取得したうえ、当該ヒストグラムにおける、所定のパーセント点の値を取得し、
   前記重畳画像制御部は、前記パーセント点が所定割合以上集中した距離区分に基づき、前記重畳画像の仮想距離を決定することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
7. 前記表示画像生成部は、前記重畳画像の表示開始を決定してから所定時間後に、当該時間内に決定された前記仮想距離に従い、前記表示画像に前記重畳画像を表すことを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
8. 前記重畳画像制御部は、前記仮想距離が大きいほど、前記重畳画像の３次元空間でのサイズを大きくすることを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
9. 前記表示画像生成部は、視野の変化による前記状態の変化に対応するように、前記重畳画像の前記仮想距離を変更することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
10. 前記ヘッドマウントディスプレイの動きを取得する動き情報取得部をさらに備え、
    前記表示画像生成部は、前記ヘッドマウントディスプレイが所定速度以上の動きを有する期間に、前記仮想距離の変更を完了させることを特徴とする請求項９に記載のヘッドマウントディスプレイ。
11. 前記表示画像生成部は、前記仮想距離の変更において、変更前の前記重畳画像をフェードアウトさせたうえ、変更後の前記重畳画像をフェードインさせることを特徴とする請求項９に記載のヘッドマウントディスプレイ。
12. 前記表示画像生成部は、前記３次元空間における前記重畳画像の位置を、目標とする前記仮想距離に徐々に到達させることを特徴とする請求項９に記載のヘッドマウントディスプレイ。
13. 立体視を実現するヘッドマウントディスプレイが、
    視野内の３次元空間の状態に応じて、表示すべき重畳画像の仮想距離を決定するステップと、
    前記３次元空間において前記仮想距離に配置させた状態の前記重畳画像を含む表示画像のデータを生成するステップと、
    前記表示画像のデータを表示パネルに出力するステップと、
    を含むことを特徴とする、ヘッドマウントディスプレイによる画像表示方法。
14. 立体視を実現するヘッドマウントディスプレイにおいて、
    視野内の３次元空間の状態に応じて、表示すべき重畳画像の仮想距離を決定する機能と、
    前記３次元空間において前記仮想距離に配置させた状態の前記重畳画像を含む表示画像のデータを生成する機能と、
    前記表示画像のデータを表示パネルに出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images