JP6348665B2 - ヘッドマウントディスプレイ、表示制御方法及びプログラム - Google Patents

Description

本発明は、ヘッドマウントディスプレイ、表示制御方法及びプログラムに関する。

例えば特許文献１〜３に記載されているような、ユーザが頭部に装着して映像を観賞等するためのヘッドマウントディスプレイ（ＨＭＤ）が知られている。このようなＨＭＤのなかには、カメラが搭載されており、表示部の前方を撮影した映像を表示させることでユーザが表示部の前方を視認できるものがある。

また、虹彩検出などによりユーザの視線方向を追跡する視線トラッキングに関する技術も知られている。

特開２００４−２０５７１１号公報 特開２０１２−２８８９号公報 特開２０１３−２１０５８８号公報

カメラが撮影する映像では、カメラの光軸の近くにある被写体の像ほど鮮明に映る。そのためユーザの視線方向上の位置にカメラの光軸の近くにある被写体の像が表示されるようにすると、ユーザは鮮明な映像を視覚できることとなる。

しかし従来のＨＭＤでは、表示部に表示される映像内においてカメラの光軸の近くにある被写体の像は中心に固定的に表示されるようになっていた。そのため、ユーザが表示部に表示される映像の中心以外に視線方向を移すと、ユーザは鮮明な映像を視覚することができなかった。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、表示部に表示される映像内においてカメラの光軸の近くにある被写体の像が表示される位置を変えることができるヘッドマウントディスプレイ、表示制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係るヘッドマウントディスプレイは、ユーザが装着するヘッドマウントディスプレイであって、前記ユーザの眼前に配置された表示部と、前記表示部の前方を撮影するカメラと、前記カメラの光軸の向きを制御するカメラ制御部と、前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記表示部に表示させる表示制御部と、を含む。

本発明の一態様では、前記ユーザの視線方向を検出する検出部、をさらに含み、前記カメラ制御部は、前記ユーザの視線方向に応じて、前記カメラの光軸の向きを制御する。

この態様では、前記カメラの光軸の向きが変化した際には、前記撮影画像内における前記部分画像が切り出される位置は、前記カメラの光軸が変化した向きとは逆の向きに変化してもよい。

あるいは、前記表示制御部は、前記ユーザの視線方向上の位置に前記カメラの光軸上の被写体の像が表示されるよう制御してもよい。

また、本発明の一態様では、前記カメラ制御部は、前記カメラが撮影する撮影画像に所定の画像が含まれる場合に前記カメラの光軸の向きの制御を開始する。

また、本発明に係る表示制御方法は、ユーザが装着するヘッドマウントディスプレイが備えるカメラの光軸の向きを制御するステップと、前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させるステップと、を含む。

また、本発明に係るプログラムは、ユーザが装着するヘッドマウントディスプレイが備えるカメラの光軸の向きを制御する手順、前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させる手順、をコンピュータに実行させる。

本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 実空間内に配置された椅子とぬいぐるみの一例を示す図である。 撮影画像の一例を示す図である。 部分画像の一例を示す図である。 撮影画像の一例を示す図である。 部分画像の一例を示す図である。 撮影画像の一例を示す図である。 部分画像の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。

図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

本実施形態に係るＨＭＤ１２には、例えば図２に示すように、制御部３０、記憶部３２、入出力部３４、表示部３６、音声出力部３８、センサ部４０、カメラ部４２、駆動部４４、が含まれる。

制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。

入出力部３４は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。

表示部３６は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像や、カメラ部４２が撮影する映像などを表示させる。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

音声出力部３８は、例えばスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。

センサ部４０は、本実施形態では例えば、視線センサ４０ａ、移動・回転センサ４０ｂ、装着・脱着センサ４０ｃ、などのセンサを含む。

本実施形態に係る視線センサ４０ａは、例えば公知の虹彩検出技術等により、ＨＭＤ１２を装着するユーザの視線方向を所定のフレームレート（例えば、１／６０秒間隔）で追跡可能なカメラなどである。

また本実施形態に係る移動・回転センサ４０ｂは、例えば加速度センサやモーションセンサなどのセンサであり、ＨＭＤ１２の姿勢、回転量、移動量などの計測結果を所定のフレームレートで、制御部３０に出力する。そして制御部３０は、当該計測結果に基づいて、単位時間あたりのＨＭＤ１２の移動量及び回転量、すなわちＨＭＤ１２の速度及び角速度を特定する。

装着・脱着センサ４０ｃは、例えばユーザによるＨＭＤ１２の装着又は脱着を検出可能な赤外線センサ等である。

なおセンサ部４０が、視線センサ４０ａ、移動・回転センサ４０ｂ、装着・脱着センサ４０ｃ、以外のセンサを含んでいてもよい。

カメラ部４２は、例えばデジタルカメラなどのカメラであり、所定のフレームレートでＨＭＤ１２を装着するユーザの周辺の様子を撮影する。本実施形態に係るカメラ部４２は、左目用の画像を撮影するための左目用カメラ４２ａと、右目用の画像を撮影するための右目用カメラ４２ｂと、を含むステレオカメラである。左目用カメラ４２ａ及び右目用カメラ４２ｂは、それぞれ、例えばレンズ及び撮像素子などを含んで構成される。そして本実施形態では、図１に示すように、左目用カメラ４２ａ及び右目用カメラ４２ｂが、表示部３６の上方に、表示部３６の前方を撮影できるよう横に並んで配置されている。また本実施形態では、左目用カメラ４２ａも右目用カメラ４２ｂもその光軸の向きを自在に変更することができるようになっている。例えばカメラが備えるレンズの光軸の向きが自在に変更可能になっている。

駆動部４４は、モータ等であり、例えば、制御部３０から受け付ける位置制御信号に応じて、カメラ部４２が備える左目用カメラ４２ａや右目用カメラ４２ｂの向きを変化させる。

本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって生成される映像を表す映像信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。

ＨＭＤ１２と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

本実施形態では、上述のように、ゲームプログラムの実行や光ディスクに記録された映画等のコンテンツの再生などによってエンタテインメント装置１４で生成される映像が表示部３６に表示される。また本実施形態では、上述のように、カメラ部４２が撮影した、ＨＭＤ１２を装着するユーザの前方の映像も表示部３６に表示される。本実施形態では、ＨＭＤ１２を装着するユーザは、例えばコントローラ２２への操作により、エンタテインメント装置１４で生成される映像が表示されるか、カメラ部４２が撮影した映像が表示されるかを適宜切り替えることができるようになっている。

以下、カメラ部４２が撮影した映像が表示部３６に表示される状況についてさらに説明する。

図３は、ＨＭＤ１２を装着するユーザが存在する実空間内に配置されている物体の一例を示す図である。ここでは例えば、ユーザが存在する実空間内には、図３に示すように、椅子５０、及び、椅子５０に乗せられたぬいぐるみ５２が配置されていることとする。

そして本実施形態では、上述のように、ＨＭＤ１２を装着したユーザが、ぬいぐるみ５２が置かれた椅子５０の方を向くと、左目用カメラ４２ａは、例えば図４に示す撮影画像５４−１をフレーム画像として含む映像を撮影する。図４に示す撮影画像５４−１には、椅子５０の像及びぬいぐるみ５２の像が含まれている。

そして本実施形態では、視線センサ４０ａが検出するユーザの視線方向に応じて、撮影画像５４−１の一部を占める領域が、切り出し領域５６−１として特定される。図４には、ユーザの左目の視線方向がまっすぐ前を向いている際における切り出し領域５６−１の一例が示されている。このように本実施形態では、ユーザの左目の視線方向がまっすぐ前を向いている際には、撮影画像５４−１の中心の領域が切り出し領域５６−１として特定される。

そして本実施形態では、図４に示す撮影画像５４−１から切り出し領域５６−１を占める画像を切り出した、図５に例示する部分画像５８−１が左目用の画像として表示部３６に表示されることとなる。

そして本実施形態では、ユーザが左目の視線方向を変えると、視線方向が変化した向きに左目用カメラ４２ａの光軸の向きが変わることとなる。

例えば、ユーザが左目の視線方向をまっすぐ前よりも上に向けたことを視線センサ４０ａが検出したとする。そうすると、この視線方向の変化に応じて、左目用カメラ４２ａの光軸が上に向くよう制御される。このようにして左目用カメラ４２ａの光軸が上に向いた際に左目用カメラ４２ａが撮影する撮影画像５４−２の一例を図６に示す。ここでは左目用カメラ４２ａの光軸が上を向いたので、図６に示す撮影画像５４−２内における椅子５０やぬいぐるみ５２の像の位置は、図４に示す撮影画像５４−１内における椅子５０やぬいぐるみ５２の像の位置よりも相対的に下となる。

そして本実施形態では、左目用カメラ４２ａの光軸の向きに応じた撮影画像５４−２内の領域が切り出し領域５６−２として特定される。例えば、左目用カメラ４２ａの光軸の向きが変化した際には、撮影画像５４−２内における切り出し領域５６−２は、左目用カメラ４２ａの光軸の向きが変化した向きとは逆の向きに変化することとなる。例えばユーザの視線方向が上を向くことに応じて、左目用カメラ４２ａの光軸が上を向いた際には、図６に示す撮影画像５４−２内における、中心よりも下の領域が切り出し領域５６−２として特定される。

そして本実施形態では、図６に例示する撮影画像５４−２から切り出し領域５６−２を占める画像を切り出した、図７に例示する部分画像５８−２が表示部３６に表示されることとなる。

一方、ユーザが左目の視線方向をまっすぐ前よりも下に向けたことを視線センサ４０ａが検出したとする。そうすると、この視線方向の変化に応じて、左目用カメラ４２ａの光軸が下に向くよう制御される。このようにして左目用カメラ４２ａの光軸が下に向いた際に左目用カメラ４２ａが撮影する撮影画像５４−３の一例を図８に示す。ここでは左目用カメラ４２ａの光軸が下を向いたので、図８に示す撮影画像５４−３内における椅子５０やぬいぐるみ５２の像の位置は、図４に示す撮影画像５４−１内における椅子５０やぬいぐるみ５２の像の位置よりも相対的に上となる。

そしてこのように、ユーザの視線方向が下を向くことに応じて、左目用カメラ４２ａの光軸が下を向いた際には、図８に示す撮影画像５４−３内における中心よりも上の領域が切り出し領域５６−３として特定されることとなる。

そして上述のように、図８に例示する撮影画像５４−３から切り出し領域５６−３を占める画像を切り出した、図９に例示する部分画像５８−３が表示部３６に表示されることとなる。

本実施形態では、撮影画像５４−２や撮影画像５４−３が撮影された場合に表示部３６に表示される実空間内における視野範囲は、撮影画像５４−１が撮影された場合に表示部３６に表示される実空間内における視野範囲と同じになる。そのため、図５に示す部分画像５８−１も、図７に示す部分画像５８−２も、図９に示す部分画像５８−３も、概ね同じ画像となる。

このように本実施形態では、左目の視線方向が変化しても、それに応じて左目用カメラ４２ａの光軸の向きが変化し、さらには撮影画像５４内における切り出し領域５６の位置が変化する。このようにして本実施形態によれば、左目の視線方向が変化しても、表示部３６に表示される実空間内における視野範囲は変化しないこととなる。

また一般的に、レンズ等の光学系の特性として、カメラ部４２が撮影する映像においては、カメラの光軸の近くにある被写体の像ほど鮮明に映る。例えばカメラが備えるレンズの光軸の近くにある被写体の像ほど解像度が高いこととなる。そして左目用カメラ４２ａの光軸の近くにある被写体の像ほど撮影画像５４の中心に配置される。そのため、図４に示す撮影画像５４−１、図６に示す撮影画像５４−２、又は、図８に示す撮影画像５４−３のそれぞれについて、撮影画像５４の中心付近に配置されている被写体の像は鮮明に映ることとなる。

図４には、撮影画像５４−１の中心の位置Ｐ１が示されている。図４に示す撮影画像５４−１では、位置Ｐ１の付近に配置されている被写体の像が鮮明に映ることとなる。図６には、撮影画像５４−２の中心の位置Ｐ２が示されている。位置Ｐ２は撮影画像５４−２内の切り出し領域５６−２の中心よりは上に位置することとなる。図６に示す撮影画像５４−２では、位置Ｐ２の付近に配置されている被写体の像が鮮明に映ることとなる。図８には、撮影画像５４−３の中心の位置Ｐ３が示されている。位置Ｐ３は撮影画像５４−３内の切り出し領域５６−３の中心よりは下に位置することとなる。図８に示す撮影画像５４−３では、位置Ｐ３の付近に配置されている被写体の像が鮮明に映ることとなる。

そして本実施形態では、撮影画像５４の中心付近に配置されている被写体の像が、部分画像５８内におけるユーザの視線方向上の位置に配置されることとなる。

例えば図５に示す部分画像５８−１には、図４に示す撮影画像５４−１内の位置Ｐ１に相当する位置Ｑ１が示されている。位置Ｑ１は部分画像５８−１の中心に位置する。本実施形態ではユーザの左目の視線方向がまっすぐ前を向いている場合に図５に示す部分画像５８−１が表示されるので、ユーザの左目の視線方向上に部分画像５８−１の中心である位置Ｑ１付近の鮮明な被写体の像が配置されることとなる。

また例えば図７に示す部分画像５８−２には、図６に示す撮影画像５４−２内の位置Ｐ２に相当する位置Ｑ２が示されている。上述のように位置Ｐ２は図６に示す撮影画像５４−２内の切り出し領域５６−２の中心より上に位置するため、位置Ｑ２は部分画像５８−２の中心より上に位置することとなる。本実施形態ではユーザの左目の視線方向がまっすぐ前よりも上を向いている場合に図７に例示する部分画像５８−２が表示されるので、ユーザの左目の視線方向上に部分画像５８−２の中心よりも上である位置Ｑ２付近の鮮明な被写体の像が配置されることとなる。

また例えば図９に示す部分画像５８−３には、図８に示す撮影画像５４−３内の位置Ｐ３に相当する位置Ｑ３が示されている。上述のように位置Ｐ３は図８に示す撮影画像５４−３内の切り出し領域５６−３の中心より下に位置するため、位置Ｑ３は部分画像５８−３の中心より下に位置することとなる。本実施形態ではユーザの左目の視線方向がまっすぐ前よりも下を向いている場合に図９に示す部分画像５８−３が表示されるので、ユーザの左目の視線方向上に部分画像５８−３の中心よりも下である位置Ｑ３付近の鮮明な被写体の像が配置されることとなる。

以上のようにして本実施形態では、左目用カメラ４２ａの光軸の向きに応じて撮影画像５４内において部分画像５８が切り出される位置が変化する。このようにして本実施形態では、表示部３６に表示される映像内において左目用カメラ４２ａの光軸の近くにある被写体の像が表示される位置を変えることができることとなる。

また本実施形態では、ユーザの視線方向に応じてカメラ部４２が備えるカメラの光軸の向きが変化する。そのため本実施形態では、ユーザが視線方向に応じた位置に鮮明な被写体の像を配置できることとなる。また本実施形態に係るＨＭＤ１２によれば、部分画像５８が表示される際に、ユーザの視線方向上に鮮明な被写体の像が配置されるので、ユーザに鮮明な映像を視覚させることができることとなる。

なお以上の例では、ユーザの視線方向が上又は下を向いた場合について説明したが、ユーザの視線方向が例えば左や右などといったその他の方向を向いた場合についても同様である。

また以上、左目の視線方向の変化に応じて左目用カメラ４２ａの光軸の向きの制御及び左目用の画像として表示される部分画像５８が切り出される切り出し領域５６の位置の特定が行われることについて説明した。同様にして、右目の視線方向の変化に応じて右目用カメラ４２ｂの光軸の向きの制御及び右目用の画像として表示される部分画像５８が切り出される切り出し領域５６の位置の特定が行われてももちろん構わない。

また本発明は、カメラ部４２が１つのカメラしか備えておらず、表示部３６が二次元画像しか表示できない場合においても適用可能である。例えば、視線センサ４０ａが検出する両目又はいずれか片方の目の視線方向の変化に応じて、当該カメラの光軸の向きの制御や切り出し領域５６の特定が行われるようにしても構わない。また、撮影画像５４の面積に対する切り出し領域５６の面積の比率は図４、図６、及び、図８に示されているものに限定されない。

以下、本実施形態に係るＨＭＤ１２の機能並びに本実施形態に係るＨＭＤ１２で実行される処理についてさらに説明する。

図１０は、本実施形態に係るＨＭＤ１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１２で、図１０に示す機能のすべてが実装される必要はなく、また、図１０に示す機能以外の機能が実装されていても構わない。

図１０に示すように、本実施形態に係るＨＭＤ１２は、機能的には例えば、検出部６０、カメラ制御部６２、撮影画像生成部６４、切り出し領域特定部６６、部分画像生成部６８、表示制御部７０、を含む。検出部６０は、視線センサ４０ａを主として実装される。カメラ制御部６２は、制御部３０及び駆動部４４を主として実装される。撮影画像生成部６４は、カメラ部４２を主として実装される。切り出し領域特定部６６、部分画像生成部６８は、制御部３０を主として実装される。表示制御部７０は、制御部３０及び表示部３６を主として実装される。

そして以上の機能は、コンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部３０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給される。

検出部６０は、本実施形態では例えば、所定のフレームレートでユーザの視線方向を検出する。

カメラ制御部６２は、本実施形態では例えば、所定のフレームレートでカメラ部４２が備えるカメラの光軸の向きを制御する。本実施形態では、カメラ制御部６２は、検出部６０が検出するユーザの視線方向に応じてカメラの光軸の向きを制御する。本実施形態では、カメラ制御部６２は、検出部６０が検出するユーザの左目の視線方向に応じて左目用カメラ４２ａの光軸の向きを制御し、検出部６０が検出するユーザの右目の視線方向に応じて右目用カメラ４２ｂの光軸の向きを制御する。カメラ制御部６２は、上述の通り、検出部６０が検出するユーザの視線方向が変化した向きにカメラの光軸の向きを変化させてもよい。なおこのときユーザの視線方向が変化した向き及び角度とカメラの光軸が変化する向き及び角度が一致するようにしてもよい。またユーザの視線方向が変化した向き及び角度とカメラの光軸が変化する向き及び角度が一致しなくても構わない。

撮影画像生成部６４は、本実施形態では例えば、撮影画像５４を生成する。本実施形態では上述のように、所定のフレームレートで左目用の撮影画像５４と右目用の撮影画像５４とが生成されることとなる。

切り出し領域特定部６６は、本実施形態では例えば、撮影画像５４内における切り出し領域５６の位置を特定する。ここで切り出し領域特定部６６は、所定のフレームレートでカメラ部４２が備えるカメラの光軸の向きに基づいて、撮影画像５４内における切り出し領域５６の位置を特定してもよい。また切り出し領域特定部６６は、検出部６０が検出する視線方向に基づいて切り出し領域５６の位置を所定のフレームレートで特定してもよい。

本実施形態では上述の通り、カメラ部４２が備えるカメラの光軸が変化した際には、撮影画像５４内における切り出し領域５６の位置はカメラ部４２が備えるカメラの光軸が変化した向きとは逆の向きに変化する。

なお切り出し領域特定部６６は、直前のフレームに生成された撮影画像５４内の切り出し領域５６が占める画像の視野範囲と視野範囲が同じとなる切り出し領域５６を特定するようにしてもよい。

また切り出し領域特定部６６が、切り出し領域５６の位置とカメラの光軸の向きとの対応関係、あるいは、切り出し領域５６の位置とユーザの視線方向との対応関係を示すデータを保持するようにしてもよい。そして切り出し領域特定部６６が、視線方向又はカメラ部４２が備えるカメラの光軸の向きと、保持しているデータと、に基づいて、撮影画像５４内における切り出し領域５６の位置を特定してもよい。

部分画像生成部６８は、本実施形態では例えば、部分画像５８を生成する。部分画像生成部６８は、例えば、撮影画像５４内から切り出し領域５６を占める画像を部分画像５８として切り出すことで、部分画像５８を生成する。

表示制御部７０は、本実施形態では例えば、カメラ部４２が備えるカメラが撮影する撮影画像５４から切り出される、カメラ部４２が備えるカメラの光軸の向きに応じた一部である部分画像５８を表示部３６に表示させる。表示制御部７０は、本実施形態では、部分画像生成部６８が生成する部分画像５８を表示部３６に表示させる。なお、上述のように、カメラの光軸の向きが変化した際に、撮影画像５４内における部分画像５８が切り出される切り出し領域５６の位置は、カメラの光軸が変化した向きとは逆の向きに変化するようにしてもよい。また上述のように、表示制御部７０が、ユーザの視線方向上の位置にカメラの光軸上の被写体の像が表示されるよう制御してもよい。

ここで、本実施形態に係るＨＭＤ１２において所定のフレームレートで行われる表示制御処理の流れの一例を、図１１に例示するフロー図を参照しながら説明する。なお以下の説明では、左目用の画像である部分画像５８を所定のフレームレートで表示部３６に表示させる処理の流れの一例について説明する。

まず、検出部６０が、ユーザの左目の視線方向を検出する（Ｓ１０１）。

そして、カメラ制御部６２が、Ｓ１０１に示す処理で検出された視線方向に基づいて、左目用カメラ４２ａの向きを決定する（Ｓ１０２）。

そして、切り出し領域特定部６６が、Ｓ１０２に示す処理で決定された左目用カメラ４２ａの向きに基づいて、撮影画像５４内における切り出し領域５６の位置を特定する（Ｓ１０３）。

そしてカメラ制御部６２が、Ｓ１０２に示す処理で決定された向きに向くよう左目用カメラ４２ａの向きを制御する（Ｓ１０４）。

そして撮影画像生成部６４が、Ｓ１０３に示す処理で向きが制御された左目用カメラ４２ａが撮影する撮影画像５４を生成する（Ｓ１０５）。

そして部分画像生成部６８が、Ｓ１０５に示す処理で撮影された撮影画像５４からＳ１０３に示す処理で特定された位置の切り出し領域５６を占める画像を部分画像５８として切り出すことで、部分画像５８を生成する（Ｓ１０６）。

そして表示制御部７０が、Ｓ１０６に示す処理で生成された部分画像５８を表示部３６に表示させる（Ｓ１０７）。

そして本処理例では、上述したように、Ｓ１０１〜Ｓ１０７に示す処理が所定のフレームレートで繰り返し実行されることとなる。

また本処理例に示す処理と同様にして、右目用の画像である部分画像５８が所定のフレームレートで表示部３６に表示されることとなる。

なお以上の説明では、左目用カメラ４２ａの向きと右目用カメラ４２ｂの向きは、独立に制御されることとしたが、左目用カメラ４２ａの向きと右目用カメラ４２ｂの向きが連動して制御されるようにしても構わない。

なお所定のフレームレートで行われる表示制御処理の流れは、図１１に示すものに限定されない。例えば、Ｓ１０３に示す処理が、Ｓ１０４の処理とＳ１０５に示す処理の間や、Ｓ１０５に示す処理とＳ１０６に示す処理の間に実行されても構わない。

なお、本発明は上述の実施形態に限定されるものではない。

例えばカメラ部４２が備えるカメラが撮影する撮影画像５４に所定の画像が含まれることが判定される場合に、カメラ制御部６２が、カメラの光軸の向きの制御を開始するようにしてもよい。この場合、カメラの光軸の向きの制御の開始に応じて、切り出し領域５６の位置の変化も併せて開始されることとなる。このようにすれば、視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供されるか否かを撮影される画像に応じて制御できることとなる。

具体的には例えば、公知の形状認識技術等により、撮影画像５４に本の像などといった所定の物体の像が含まれると判定された場合に、カメラ制御部６２がカメラの光軸の向きの制御を開始してもよい。また例えば、公知の文字認識技術等により、撮影画像５４に所定数以上の文字の画像が含まれると判定された場合に、カメラ制御部６２がカメラの光軸の向きの制御を開始してもよい。また例えば、撮影画像５４にスマートフォンの画像が含まれると判定された場合に、カメラ制御部６２がカメラの光軸の向きの制御を開始してもよい。人間は一般的に、スマートフォンを見る場合や本を読む場合などのように、文字を目で追う際には、頭部が動かず視線方向が激しく動く傾向にある。そのため以上のようにすると、ユーザの視線方向が激しく動く可能性が高い場合に、視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供できることとなる。

また例えば、ＨＭＤ１２を装着するユーザが下を向いたと判定された場合に、上述したカメラの光軸の向きの制御が開始されてもよい。こうすれば例えば本を読む場合やスマートフォンを見る場合などといったユーザが手元を見る場合に、ユーザの視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供できることとなる。

ここで例えば、ＨＭＤ１２を装着するユーザが下を向いたことの判定は、カメラ部４２が撮影する撮影画像５４、又は、撮影画像５４とセンサ部４０の検出結果との組合せに基づいて行われるようにしてもよい。例えば、公知の画像解析技術によって撮影画像５４内において床の像が配置されている領域が特定されるようにしてもよい。そして撮影画像５４全体の面積に対する特定された領域の面積の比率が所定値よりも大きい際に、ＨＭＤ１２を装着するユーザが下を向いたと判定されてもよい。また例えば、移動・回転センサ４０ｂの計測結果に基づいて、ＨＭＤ１２を装着するユーザが下を向いたことの判定が行われるようにしてもよい。

またＨＭＤ１２を装着するユーザが下を向いたことの判定は、カメラ２０ａが撮影する画像に基づいて行われるようにしても構わない。

また例えば、視線センサ４０ａが、ユーザの視線方向がまっすぐ前よりも下を向いたことを検出した際、例えば水平方向に対して斜め下４５度よりも下を向いたことが検出された際に、カメラの光軸の向きの制御が開始されてもよい。こうすれば、ユーザの視線方向が下を向いた場合に、視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供できることとなる。

また例えば、視線センサ４０ａが認識する虹彩に基づいて、ＨＭＤ１２を装着しているユーザが特定され、当該ユーザがＨＭＤ１２を装着したことがあるか否かが判定されるようにしてもよい。そして、特定されたユーザがＨＭＤ１２を装着したことがないと判定された場合は、当該ユーザについてのキャリブレーションが実行され、その結果が記憶部３２に記憶されるようにしてもよい。一方、特定されたユーザがＨＭＤ１２を装着したことがあると判定された場合は、再度のキャリブレーションが実行されることなく、記憶部３２に記憶されているキャリブレーションの結果が利用されるようにしてもよい。

またＨＭＤ１２は例えば、視線センサ４０ａが検出する視線方向の解像度が高くなるような画像処理が実行された画像が表示部３６に表示されるようにしてもよい。

またＨＭＤ１２とエンタテインメント装置１４の役割分担は上述のものに限定されない。例えば、エンタテインメント装置１４が撮影画像５４に基づいて部分画像５８を生成してもよい。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (4)

1. ユーザが装着するヘッドマウントディスプレイであって、
   前記ユーザの眼前に配置された表示部と、
   前記表示部の前方を撮影するカメラと、
   前記ユーザの視線方向を検出する検出部と、
   前記ユーザの視線方向に応じて、前記カメラの光軸の向きを制御するカメラ制御部と、
   前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記表示部に表示させる表示制御部と、を含み、
   前記カメラの光軸の向きが変化した際には、前記撮影画像内における前記部分画像が切り出される位置は、前記カメラの光軸が変化した向きとは逆の向きに変化する、
   ことを特徴とするヘッドマウントディスプレイ。
2. 前記カメラ制御部は、前記カメラが撮影する撮影画像に所定の画像が含まれる場合に前記カメラの光軸の向きの制御を開始する、
   ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. ヘッドマウントディスプレイを装着するユーザの視線方向に応じて、前記ヘッドマウントディスプレイが備えるカメラの光軸の向きを制御するステップと、
   前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させるステップと、を含み、
   前記カメラの光軸の向きが変化した際には、前記撮影画像内における前記部分画像が切り出される位置は、前記カメラの光軸が変化した向きとは逆の向きに変化する、
   ことを特徴とする表示制御方法。
4. ヘッドマウントディスプレイを装着するユーザの視線方向に応じて、前記ヘッドマウントディスプレイが備えるカメラの光軸の向きを制御する手順、
   前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させる手順、をコンピュータに実行させ、
   前記カメラの光軸の向きが変化した際には、前記撮影画像内における前記部分画像が切り出される位置は、前記カメラの光軸が変化した向きとは逆の向きに変化する、
   ことを特徴とするプログラム。

Images