WO2017022769A1

WO2017022769A1 - ヘッドマウントディスプレイ、表示制御方法及びプログラム

Info

Publication number: WO2017022769A1
Application number: PCT/JP2016/072678
Authority: WO
Inventors: 勇一郎中村; 泰史奥村
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2015-08-04
Filing date: 2016-08-02
Publication date: 2017-02-09
Also published as: US10685211B2; US20200250400A1; US20220335734A1; US11763578B2; EP3333616A1; US11417126B2; US20240005680A1; EP3333616A4; US20180204050A1

Abstract

周辺の物体との接近をユーザが把握しやすくなるヘッドマウントディスプレイ、表示制御方法及びプログラムを提供する。ＨＭＤ（１２）を装着するユーザの眼前には表示部（３６）が配置されている。ＨＭＤ（１２）は、ユーザと当該ユーザの周辺の物体との接近に応じて、表示部（３６）を制御することで表示部（３６）よりも前方をユーザに視認させる。

Description

ヘッドマウントディスプレイ、表示制御方法及びプログラム

　本発明は、ヘッドマウントディスプレイ、表示制御方法及びプログラムに関する。

　例えば特許文献１～３に記載されているような、ユーザが頭部に装着して映像を観賞等するためのヘッドマウントディスプレイ（ＨＭＤ）が知られている。

　このようなＨＭＤのなかには、ユーザの眼前に配置された表示部の前方をユーザが視認できるか否かを制御できるものがある。例えばカメラが搭載されたビデオシースルー型のＨＭＤのなかには、表示部の前方を撮影した映像を表示させることでユーザが表示部の前方を視認できるものがある。また例えば表示部が光透過性を有する光学シースルー型のＨＭＤでは、表示されている映像を消すことで、ユーザは表示部の前方を視認できることとなる。一方、例えばゲームのプレイ状況を表す映像や映画の映像などといったコンテンツの映像などが表示されている場合においてはユーザが表示部の前方を視認できないことがある。

特開２００４－２０５７１１号公報特開２０１２－２８８９号公報特開２０１３－２１０５８８号公報

　そして従来のＨＭＤでは、ユーザは、表示部の前方をユーザが視認できる状況と視認できない状況とを、例えばスイッチを操作するなどして手作業で切り替える必要があった。

　そのためＨＭＤを装着しているユーザは、表示部の前方を視認できない状況である際には、ユーザと周辺の物体とが接近してもそのことを把握しにくいという実情があった。

　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、周辺の物体との接近をユーザが把握しやすくなるヘッドマウントディスプレイ、表示制御方法及びプログラムを提供することにある。

　上記課題を解決するために、本発明に係るヘッドマウントディスプレイは、ユーザが装着するヘッドマウントディスプレイであって、前記ユーザの眼前に配置された表示部と、前記ユーザと当該ユーザの周辺の物体との接近に応じて、前記表示部を制御することで前記表示部の前方を前記ユーザに視認させる制御部と、を含む。

　本発明の一態様では、前記表示部の前方を撮影するカメラ、をさらに含み、前記制御部は、前記ユーザと当該ユーザの周辺の物体との接近に応じて、前記カメラが撮影した映像が前記表示部に表示されるよう制御する。

　この態様では、前記カメラはステレオカメラであり、前記ステレオカメラが撮影する画像に基づいて、前記ユーザと前記物体との接近を検出する検出部、をさらに含み、前記制御部は、前記検出部により検出される接近に応じて、前記カメラが撮影した映像が前記表示部に表示されるよう制御してもよい。

　この態様では、前記検出部は、前記ステレオカメラが撮影する画像に基づいて特定される、前記ユーザと前記物体との間の距離に基づいて、前記ユーザと前記物体との接近を検出してもよい。

　また、前記ヘッドマウントディスプレイに含まれる前記カメラとは別体のカメラが撮影する画像に基づいて、前記ユーザと前記物体との接近を検出する検出部、をさらに含み、前記制御部は、前記検出部により検出される接近に応じて、前記カメラが撮影した映像が前記表示部に表示されるよう制御してもよい。

　また、本発明の一態様では、前記表示部は、光透過性を有し、前記制御部は、前記ユーザと当該ユーザの周辺の物体との接近に応じて、前記表示部による映像の表示を抑制してもよい。

　また、本発明に係る表示制御方法は、ヘッドマウントディスプレイを装着するユーザと当該ユーザの周辺の物体との接近に応じて、前記ユーザの眼前に配置された表示部を制御することで前記表示部よりも前方を前記ユーザに視認させるステップ、を含む。

　また、本発明に係るプログラムは、ヘッドマウントディスプレイを装着するユーザと当該ユーザの周辺の物体との接近に応じて、前記ユーザの眼前に配置された表示部を制御することで前記表示部よりも前方を前記ユーザに視認させる手順、を実行させる。

本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。プレイ画像の一例を示す図である。撮影画像の一例を示す図である。本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示す図である。

　以下、本発明の一実施形態について、図面を参照しながら説明する。

　図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。

　図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

　本実施形態に係るＨＭＤ１２には、例えば図２に示すように、制御部３０、記憶部３２、入出力部３４、表示部３６、音声出力部３８、センサ部４０、カメラ部４２、が含まれる。

　制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

　記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。

　入出力部３４は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。

　表示部３６は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像や、カメラ部４２が撮影する映像などを表示させる。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

　音声出力部３８は、例えばスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。

　センサ部４０は、例えば加速度センサやモーションセンサなどのセンサであり、ＨＭＤ１２の姿勢、回転量、移動量などの計測結果を所定のフレームレート（例えば、１／６０秒間隔）で、制御部３０に出力する。そして制御部３０は、当該計測結果に基づいて、単位時間あたりのＨＭＤ１２の移動量及び回転量、すなわちＨＭＤ１２の速度及び角速度を特定する。このようにして本実施形態では、所定のフレームレートでＨＭＤ１２の移動量及び回転量を特定できるようになっている。またセンサ部４０が、例えばユーザによるＨＭＤ１２の装着又は脱着を検出可能な赤外線センサ等のセンサを含んでいてもよい。

　カメラ部４２は、例えばデジタルカメラなどのカメラであり、所定のフレームレートでＨＭＤ１２を装着するユーザの周辺の様子を撮影する。図１に示すように、本実施形態に係るカメラ部４２は、表示部３６の上方に、表示部３６の前方を撮影できるように２つ配置されている。また本実施形態に係るカメラ部４２は、例えば左目用の画像を撮影するためのレンズ及び右目用の画像を生成するためのレンズを備えたステレオカメラである。そして本実施形態に係るカメラ部４２は、撮影する画像に基づいて、例えばユーザとユーザの周辺の物体との間の距離を特定できるようになっている。なお本実施形態では、カメラ部４２とユーザの周辺に存在する物体との間の距離を、ユーザと当該物体との間の距離として取り扱うこととする。

　本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって生成される映像を表す映像信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

　本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

　本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。

　ＨＭＤ１２と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

　本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

　図３は、例えばＨＭＤ１２のユーザがゲームをプレイしている際にＨＭＤ１２の表示部３６に表示されるプレイ画像５０の一例を示す図である。図３に示すプレイ画像５０は、例えばゲームプログラムを実行するエンタテインメント装置１４が生成してＨＭＤ１２に出力された映像を構成する左目用のフレーム画像、あるいは、右目用のフレーム画像である。図３に示すプレイ画像５０は、例えば、３人のプレイヤ（ここでは例えば、プレイヤＡ、プレイヤＢ、及び、プレイヤＣ）のそれぞれに対応付けられるキャラクタオブジェクト５２が配置されている仮想空間内の視点から視線方向を見た様子を表している。また図３に示すプレイ画像５０には、それぞれのプレイヤのパワーゲージ５４も配置されている。

　そして本実施形態では、ＨＭＤ１２を装着しているユーザは、コントローラ２２を操作することによって当該ゲームにおける各種の操作入力を行えるようになっている。またＨＭＤ１２を装着しているユーザは、頭部を移動させることや回転させることによっても当該ゲームにおける各種の操作入力を行えるようになっている。例えば図３に示すプレイ画像５０が表示されている際に、ユーザが頭部を動かすと、頭部が動いた方向に仮想空間内に配置された視点が移動する。また例えばユーザが頭部を回転させると、頭部が回転した方向に動いた方向に仮想空間内に配置された視点の視線方向が回転する。

　そして本実施形態では、ユーザが、当該ユーザの周辺の物体に接近すると、ＨＭＤ１２の表示部３６に表示されている映像が、カメラ部４２が撮影した映像に切り替わる。図４は、カメラ部４２が撮影した映像を構成する左目用のフレーム画像、あるいは、右目用のフレーム画像である撮影画像５６の一例を示す図である。図４に示すように、撮影画像５６には、図１に示すエンタテインメント装置１４やディスプレイ１８などといった、ＨＭＤ１２を装着するユーザの前方に配置されている物体の像が含まれている。このようにして本実施形態によれば、ユーザが当該周辺の物体に接近すると、表示部３６の前方の様子が表示部３６に表示されるため、ユーザは、当該ユーザと周辺の物体との接近を把握しやすくなる。

　以下、本実施形態に係るＨＭＤ１２の機能並びに本実施形態に係るＨＭＤ１２で実行される処理についてさらに説明する。

　図５は、本実施形態に係るＨＭＤ１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１２で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。

　図５に示すように、本実施形態に係るＨＭＤ１２は、機能的には例えば、映像受信部６０、撮影画像生成部６２、検出部６４、表示制御部６６、を含む。映像受信部６０は、入出力部３４を主として実装される。撮影画像生成部６２は、カメラ部４２を主として実装される。検出部６４は、制御部３０又はカメラ部４２を主として実装される。表示制御部６６は、制御部３０及び表示部３６を主として実装される。

　そして以上の機能は、コンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部３０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給される。

　映像受信部６０は、本実施形態では例えば、エンタテインメント装置１４が生成して出力する映像を受信する。本実施形態では例えば、エンタテインメント装置１４が、記憶されているプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像を生成する。そしてエンタテインメント装置１４は、本実施形態では例えば、生成された映像を表す映像信号を中継装置１６に送信する。すると中継装置１６は、本実施形態では例えば、当該映像信号を受信して、ＨＭＤ１２に送信する。なおこのとき中継装置１６は、当該映像信号をディスプレイ１８に送信してもよい。また中継装置１６は、エンタテインメント装置１４から受信した映像信号を所定の形式に変換した上でディスプレイ１８に送信してもよい。そしてディスプレイ１８は、中継装置１６から送信された映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。

　撮影画像生成部６２は、本実施形態では例えば、所定のフレームレートで撮影画像５６を生成する。本実施形態では上述のように、所定のフレームレートで左目用の画像と右目用の画像とが生成されることとなる。

　検出部６４は、本実施形態では例えば、ユーザと当該ユーザの周辺の物体との接近を検出する。本実施形態では例えば、上述した所定のフレームレートで、撮影画像生成部６２が生成する左目用の画像と右目用の画像とに基づいて、撮影画像５６に像が含まれている物体までの距離を特定する。本実施形態に係る検出部６４は例えば、撮影画像５６を構成する複数の画素のそれぞれについて、当該画素が表す物体の表面上の位置までの距離の分布を特定できるようになっている。そして検出部６４は、本実施形態では例えば、このようにして各画素について特定された距離のうちの最も短い距離を特定する。以下、このようにして特定される距離を物体最短距離と呼ぶこととする。そして本実施形態では、検出部６４は、特定された物体最短距離に基づいて、ユーザと当該ユーザの周辺の物体とが接近した状態であるか否かを特定する。

　表示制御部６６は、本実施形態では例えば、上述した所定のフレームレートで表示部３６の表示を制御する。表示制御部６６は、本実施形態では例えば、検出部６４によってユーザと当該ユーザの周辺の物体との接近が検出された際には、撮影画像５６が強制的に表示部３６に表示されるよう制御する。このように表示制御部６６は、本実施形態では、ユーザと当該ユーザの周辺の物体との接近に応じて、表示部３６を制御することで表示部３６の前方をユーザに視認させる役割を担っている。一方本実施形態では、検出部６４によって、ユーザと当該ユーザの周辺の物体とが接近した状態ではないと特定された際には、プレイ画像５０が表示されるよう表示部３６を制御する。

　また本実施形態では、カメラ部４２が撮影した映像が強制的に表示部３６に表示される強制状態であるか、カメラ部４２が撮影した映像が強制的には表示部３６に表示されない非強制状態であるかが、強制状態管理フラグによって管理されることとする。そして本実施形態では、表示制御部６６が、強制状態管理フラグを保持していることとする。本実施形態では、ＨＭＤ１２が上述の強制状態である場合は、強制状態管理フラグの値は「１」となり、ＨＭＤ１２が上述の非強制状態である場合は、強制状態管理フラグの値は「０」となることとする。

　ここで、本実施形態に係るＨＭＤ１２において所定のフレームレートで行われる表示制御処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。

　まず、撮影画像生成部６２が、撮影画像５６を生成する（Ｓ１０１）。そして、検出部６４が、Ｓ１０１に示す処理で生成された撮影画像５６に基づいて、上述の物体最短距離を特定する（Ｓ１０２）。

　そして、検出部６４が、表示制御部６６が保持する強制状態管理フラグの値を確認する（Ｓ１０３）。強制状態管理フラグの値が「０」であることが確認された場合は、検出部６４は、Ｓ１０２に示す処理で特定された物体最短距離が第１の閾値（ここでは例えば５０ｃｍ）よりも短いか否かを判定する（Ｓ１０４）。

　Ｓ１０２に示す処理で特定された物体最短距離が第１の閾値以上である場合は（Ｓ１０４：Ｎ）、Ｓ１０８に示す処理に進む。Ｓ１０２に示す処理で特定された物体最短距離が第１の閾値よりも短い場合は（Ｓ１０４：Ｙ）、表示制御部６６は、保持している強制状態管理フラグの値を「１」に変更する（Ｓ１０５）。そしてＳ１０８に示す処理に進む。

　Ｓ１０３に示す処理で強制状態管理フラグの値が「１」であることが確認された場合は、検出部６４は、Ｓ１０２に示す処理で特定された物体最短距離が第２の閾値（ここでは例えば１００ｃｍ）よりも長いか否かを判定する（Ｓ１０６）。

　Ｓ１０２に示す処理で特定された物体最短距離が第２の閾値以下である場合は（Ｓ１０６：Ｎ）、Ｓ１０８に示す処理に進む。Ｓ１０２に示す処理で特定された物体最短距離が第２の閾値よりも長い場合は（Ｓ１０６：Ｙ）、表示制御部６６は、保持している強制状態管理フラグの値を「０」に変更する（Ｓ１０７）。そしてＳ１０８に示す処理に進む。

　そして表示制御部６６は、保持している強制状態管理フラグの値に応じた画像が表示部３６に表示されるよう制御する（Ｓ１０８）。ここでは例えば、強制状態管理フラグの値が「１」である場合は、表示制御部６６は、Ｓ１０１に示す処理で生成された撮影画像５６を表示させる。一方強制状態管理フラグの値が「０」である場合は、表示制御部６６は、このフレームにおいて表示されるべきフレーム画像を表示させる。

　そして本処理例では、上述したように、Ｓ１０１～Ｓ１０８に示す処理が所定のフレームレートで繰り返し実行されることとなる。

　以上で説明したように、本処理例では、ＨＭＤ１２が非強制状態から強制状態に変更される物体最短距離の閾値（第１の閾値）が、ＨＭＤ１２が強制状態から非強制状態に変更される物体最短距離の閾値（第２の閾値）よりも短い。そのため本処理例によれば、撮影画像５６が表示される状態とプレイ画像５０が表示される状態とが短期間で交互に切り替わってしまう事態の発生を防ぐことができる。

　また本実施形態では、上述したように、検出部６４が所定のフレームレートで上述の物体最短距離を特定する必要があるため、撮影画像５６が表示部３６に表示されていない状況でも、撮影画像生成部６２は所定のフレームレートで撮影画像５６を生成する。このように本実施形態では、ユーザと当該ユーザの前方の物体との接近に応じて表示される撮影画像５６を、ユーザと当該ユーザの前方の物体との接近の検出にも用いている。そのため本実施形態では、ユーザと当該ユーザの前方の物体との接近の検出のための赤外線センサ等の測距装置をＨＭＤ１２に別途設ける必要がない。その結果本実施形態では、ＨＭＤ１２の部品点数や制作コストの削減が可能となる。

　もちろん、センサ部４０が、ユーザと当該ユーザの前方の物体との接近の検出のための測距装置を含んでいてもよい。そして、検出部６４が、当該測距装置が測定するユーザと当該ユーザの周辺の物体との間の距離に基づいて、ユーザと当該物体との接近を検出してもよい。またこの場合に、撮影画像５６が表示部３６に表示されない際には、撮影画像生成部６２が撮影画像５６を生成しなくても構わない。

　また例えば、検出部６４が、ユーザの手足の可動範囲内に物体があることを検出することができても構わない。そして、ユーザの手足の可動範囲内に物体があることが検出されたことに応じて、ＨＭＤ１２が非強制状態から強制状態に変更されても構わない。

　また例えば、検出部６４が、カメラ部４２とは別体であるカメラ２０ａが撮影する画像に基づいて、ユーザと物体との接近を検出してもよい。そして表示制御部６６が、カメラ２０ａが撮影する画像に基づいて検出された接近に応じて、カメラ部４２が撮影した映像が表示部３６に表示されるよう制御してもよい。例えば、カメラマイクユニット２０は、ステレオカメラであるカメラ２０ａが備える２つのレンズのそれぞれが生成する画像を中継装置１６経由でＨＭＤ１２に送信してもよい。そしてＨＭＤ１２の検出部６４が、カメラ２０ａが備える２つのレンズのそれぞれが同一フレームにおいて撮影した２つの画像に基づいて、ＨＭＤ１２とＨＭＤ１２に最も接近している物体との距離を物体最短距離として特定してもよい。ここでカメラマイクユニット２０が、物体最短距離を特定して、特定された物体最短距離を示すデータを中継装置１６経由でＨＭＤ１２に送信しても構わない。そして特定された物体最短距離に基づいて、上述したＳ１０３～Ｓ１０８と同様の処理が実行されるようにしてもよい。

　また例えば、ＨＭＤ１２が非強制状態であっても、ユーザの操作に応じて、表示部３６に撮影画像５６が表示されるようにしてもよい。

　また例えば、ＨＭＤ１２が非強制状態であっても、プレイ画像５０の一部、例えば、パワーゲージ５４のみが撮影画像５６に重畳されて表示されるようにしてもよい。また例えば、ＨＭＤ１２が非強制状態であっても、プレイ画像５０が縮小されて撮影画像５６とともに表示されてもよい。こうすればＨＭＤ１２が非強制状態であっても、エンタテインメント装置１４が生成する画像をユーザは視認できることとなる。

　また本発明は、上述したような、カメラ部４２が搭載されたビデオシースルー型のＨＭＤ１２に限らず、表示部３６が光透過性を有する光学シースルー型のＨＭＤ１２にも適用可能である。例えばＨＭＤ１２が非強制状態から強制状態に変更された際に、光学シースルー型のＨＭＤ１２の表示制御部６６が、映像の表示を抑制することで、表示部３６の前方をユーザに視認させるようにしてもよい。例えばＨＭＤ１２が非強制状態から強制状態に変更された際に、表示される映像が暗くなるようにしたり、映像の表示が停止されるようにしたりしてもよい。

　なお、ＨＭＤ１２が非強制状態から強制状態に変更されるトリガや、強制状態から非強制状態に変更されるトリガは、ユーザと当該ユーザの周辺の物体との接近の検出には限定されない。

　例えば、ＨＭＤ１２を装着するユーザが下を向いたことの検出に応じて、ＨＭＤ１２が非強制状態から強制状態に変更されても構わない。ここでＨＭＤ１２を装着するユーザが下を向いたことの検出は、例えば、センサ部４０に含まれる加速度センサやモーションセンサ等のセンサによって測定可能なＨＭＤ１２の向きに基づいて行うことが可能である。具体的には例えば、ＨＭＤ１２が水平方向に対して斜め下４５度よりも下を向いたことをセンサ部４０が検出した際に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。

　また例えば、カメラ部４２が撮影する撮影画像５６、又は撮影画像５６とセンサ部４０の検出結果との組合せに基づいて、ＨＭＤ１２を装着するユーザが下を向いたことが検出されてもよい。また例えば、カメラ２０ａが撮影する画像に基づいて、ＨＭＤ１２を装着するユーザが下を向いたことが検出されてもよい。具体的には例えば、公知の画像解析技術によって撮影画像５６内において床の像が配置されている領域が特定されるようにしてもよい。そして撮影画像５６全体の面積に対する特定された領域の面積の比率が所定値よりも大きい際に、ＨＭＤ１２を装着するユーザが下を向いたと判定され、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。

　ＨＭＤ１２を装着しているユーザは手元を見たい場合には下を向く可能性が高い。そのため以上で説明したように、ＨＭＤ１２を装着するユーザが下を向いたことの検出に応じて、ＨＭＤ１２が非強制状態から強制状態に変更されるようにすれば、ＨＭＤ１２を装着しているユーザは下を向くことで手元を視認できることとなる。

　また例えば、ＨＭＤ１２が瞳孔検出機能等によりユーザの視線方向を追跡可能なカメラを搭載していてもよい。そして視線トラッキング技術により、ユーザの視線方向が下を向いた、例えば水平方向に対して斜め下４５度よりも下を向いたことが検出された場合に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。こうすればユーザは頭部を動かしていなくても視線方向を下に向けることで、例えば手元などといった表示部３６よりも前方を視認することができる。

　また例えば、撮影画像５６に、コントローラ２２の画像が含まれていることが検出された場合に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。例えばコントローラ２２がＬＥＤを備えており、撮影画像５６に、当該ＬＥＤの画像が含まれていることが検出された場合に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。こうすればユーザはコントローラ２２が置いてある場所を見ることで、コントローラ２２を容易に手にとることができることとなる。

　また撮影画像５６に、コントローラ２２の画像が含まれていることが検出された場合に、ＨＭＤ１２が強制状態から非強制状態に変更されて、エンタテインメント装置１４がメニューの表示やゲームプログラムの実行の開始を行うようにしてもよい。また例えば、コントローラ２２の画像が含まれていることが検出されてから所定の時間が経過した際に、エンタテインメント装置１４がゲームプログラムの実行を開始するようにしてもよい。こうすれば例えばユーザがコントローラ２２を手に取ることで、スタート操作等の明示的な操作を行うことなく、ゲームのプレイが開始されることとなる。

　また例えば、撮影画像５６に、スマートフォン等の携帯端末の画像が含まれていることが検出された場合に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。例えば、携帯端末に表示されている所定の画像が撮影画像５６に含まれていることが検出された場合に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。こうすればＨＭＤ１２を装着しているユーザは、前方に所定の画像が表示されている携帯端末をかざすことで、当該携帯端末を視認できることとなる。

　また例えば、ＨＭＤ１２が、スマートフォン等の携帯端末と通信可能な無線通信インタフェースを備えていてもよい。そして例えば、スマートフォンへの着信などといったイベントの発生の検出に応じて、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。当該イベントの発生は、例えば、スマートフォンから送信される信号の受信、スマートフォンが発する音声の受付、スマートフォンから発せられる光の認識、などで検出可能である。こうすればユーザはスマートフォンに着信があった際などといったイベントの発生の際に、ＨＭＤ１２を脱着することなくスマートフォンをスムーズに操作できることとなる。

　また例えば、ＨＭＤ１２が、エンタテインメント装置１４との接続が切断されたことの検出に応じて、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。こうすればＨＭＤ１２を装着するユーザの視界が突然真っ暗になる、あるいは、表示部３６に異常な映像が表示されることを防ぐことができる。ＨＭＤ１２とエンタテインメント装置１４との接続の切断は、例えばケーブルの不具合、抜け、無線接続の不具合、エンタテインメント装置１４のハングアップ、電源の不具合などが原因となりうる。なおＨＭＤ１２がエンタテインメント装置１４や中継装置１６からの電源の供給を受けられなくなった場合には、ＨＭＤ１２は、内蔵のバッテリーから電源の供給を受けるようにしてもよい。またＨＭＤ１２が、エンタテインメント装置１４と接続されたことの検出に応じて、ＨＭＤ１２が強制状態から非強制状態に変更されるようにしてもよい。

　また例えば、映像表示システム１０が、ＨＭＤ１２と中継装置１６とを接続するケーブル、エンタテインメント装置１４と中継装置１６とを接続するケーブル、中継装置１６とディスプレイ１８とを接続するケーブルのひっぱりやからまりを検出可能であってもよい。また映像表示システム１０が、エンタテインメント装置１４とカメラマイクユニット２０とを接続するケーブルや、エンタテインメント装置１４とコントローラ２２とを接続するケーブルのひっぱりやからまりを検出可能であってもよい。そしてケーブルのひっぱりやからまりの検出に応じて、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。そしてケーブルのひっぱりやからまりが解消されたことの検出に応じて、ＨＭＤ１２が強制状態から非強制状態に変更されるようにしてもよい。

　なお、ＨＭＤ１２が非強制状態から強制状態に変更された際に、表示制御部６６が、実行されているゲームのポーズや、再生されている映画等のコンテンツの一時停止が行われるようエンタテインメント装置１４を制御してもよい。例えば上述のＳ１０５に示す処理の際に、表示制御部６６が、実行されているゲームのポーズや、再生されている映画等のコンテンツの一時停止が行われるようエンタテインメント装置１４を制御してもよい。具体的には例えば、表示制御部６６が、エンタテインメント装置１４に停止信号を送信し、停止信号を受信したエンタテインメント装置１４がゲームのポーズや再生されている映画の一時停止を実行してもよい。

　またＨＭＤ１２が強制状態から非強制状態に変更された際に、表示制御部６６が、実行されているゲームの再開や、再生されている映画等のコンテンツの再生が行われるようエンタテインメント装置１４を制御してもよい。例えば上述のＳ１０７に示す処理の際に、表示制御部６６が、実行されているゲームの再開や、再生されている映画等のコンテンツの再生が行われるようエンタテインメント装置１４を制御してもよい。

　このようにすれば、強制状態となりエンタテインメント装置１４が生成する映像が表示されなくなった際に、ユーザの意図と無関係にゲームが進行したりコンテンツが再生されたりすることを防ぐことができる。

　またセンサ部４０が、心拍数、呼吸、発汗等の、バイタルサインを測定可能なセンサを含んでいてもよい。そして、バイタルサインの測定結果に応じて、ＨＭＤ１２が非強制状態から強制状態に変更されたり強制状態から非強制状態に変更されたりしてもよい。例えば心拍数が所定値を超えた場合に、ＨＭＤ１２が非強制状態から強制状態に変更されるようにしてもよい。こうすれば例えばユーザの身体に異変が生じた際にユーザに現実空間の映像を提示できることとなる。

　また以上でいくつかの例を挙げて説明したように、表示制御部６６は、カメラ部４２が撮影する撮影画像５６に基づいて、撮影画像５６が表示部３６に表示されるか否かを制御するようにしてもよい。こうすれば条件を適切に設定することで、ユーザが視認すべき状況がユーザの前方において発生した際に、その状況をユーザに視認させることができることとなる。

　なお、本発明は上述の実施形態に限定されるものではない。

　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims

　ユーザが装着するヘッドマウントディスプレイであって、
　前記ユーザの眼前に配置された表示部と、
　前記ユーザと当該ユーザの周辺の物体との接近に応じて、前記表示部を制御することで前記表示部の前方を前記ユーザに視認させる制御部と、
　を含むことを特徴とするヘッドマウントディスプレイ。
　前記表示部の前方を撮影するカメラ、をさらに含み、
　前記制御部は、前記ユーザと当該ユーザの周辺の物体との接近に応じて、前記カメラが撮影した映像が前記表示部に表示されるよう制御する、
　ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
　前記カメラはステレオカメラであり、
　前記ステレオカメラが撮影する画像に基づいて、前記ユーザと前記物体との接近を検出する検出部、をさらに含み、
　前記制御部は、前記検出部により検出される接近に応じて、前記カメラが撮影した映像が前記表示部に表示されるよう制御する、
　ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
　前記検出部は、前記ステレオカメラが撮影する画像に基づいて特定される、前記ユーザと前記物体との間の距離に基づいて、前記ユーザと前記物体との接近を検出する、
　ことを特徴とする請求項３に記載のヘッドマウントディスプレイ。
　前記ヘッドマウントディスプレイに含まれる前記カメラとは別体のカメラが撮影する画像に基づいて、前記ユーザと前記物体との接近を検出する検出部、をさらに含み、
　前記制御部は、前記検出部により検出される接近に応じて、前記カメラが撮影した映像が前記表示部に表示されるよう制御する、
　ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
　前記表示部は、光透過性を有し、
　前記制御部は、前記ユーザと当該ユーザの周辺の物体との接近に応じて、前記表示部による映像の表示を抑制する、
　ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
　ヘッドマウントディスプレイを装着するユーザと当該ユーザの周辺の物体との接近に応じて、前記ユーザの眼前に配置された表示部を制御することで前記表示部よりも前方を前記ユーザに視認させるステップ、
　を含むことを特徴とする表示制御方法。
　ヘッドマウントディスプレイを装着するユーザと当該ユーザの周辺の物体との接近に応じて、前記ユーザの眼前に配置された表示部を制御することで前記表示部よりも前方を前記ユーザに視認させる手順、
　をコンピュータに実行させることを特徴とするプログラム。