WO2023234097A1 - ヘッドマウントディスプレイおよびコンテンツ表示システム - Google Patents

Abstract

ヘッドマウントディスプレイ（ＨＭＤ）１００の筐体１０８の下方外面には、電源ボタン１１０および機能ボタン１１２が配設される。電源ボタン１１０は、所定の電源からＨＭＤ１００の各部への電力供給のオン・オフを切り替えるためのボタンである。機能ボタン１１２は、ＨＭＤ１００の動作に関する複数の機能のうちいずれかの機能を選択的に割当可能なボタンである。

Description

ヘッドマウントディスプレイおよびコンテンツ表示システム

　本発明は、ヘッドマウントディスプレイおよびコンテンツ表示システムに関する。

　ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツ（以下「ＶＲコンテンツ」とも呼ぶ。）が知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、ＶＲコンテンツとして表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

　ヘッドマウントディスプレイは今後一層の普及が見込まれており、ヘッドマウントディスプレイの利便性を高めることが求められている。本発明の１つの目的は、ヘッドマウントディスプレイの利便性を高める技術を提供することにある。

　上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、電源ボタンと、電源ボタンとは異なるボタンであって、本ヘッドマウントディスプレイの動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである機能ボタンとを備える。

　本発明の別の態様は、コンテンツ表示システムである。このコンテンツ表示システムは、ヘッドマウントディスプレイと、表示制御部と、を備える。ヘッドマウントディスプレイは、電源ボタンと、電源ボタンとは異なるボタンであって、本ヘッドマウントディスプレイの動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである機能ボタンとを含む。複数の機能は、表示部に表示されるコンテンツの画面遷移を制御する機能を含む。コンテンツの画面遷移を制御する機能が機能ボタンに割り当てられた場合、機能ボタンを相対的に短時間押下する操作がコンテンツの画面を第１方向に遷移させる操作となり、機能ボタンを相対的に長時間押下する操作がコンテンツの画面を第１方向とは逆の第２方向に遷移させる操作となり、表示制御部は、機能ボタンが押下された状態が継続する場合、機能ボタンが押下された状態が継続中であることを示唆する画像を表示部に表示させる。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

実施例におけるコンテンツ表示システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 コンテンツ表示システムの動作を示すフローチャートである。 機能ボタンの設定画面の例を示す図である。 コンテンツ表示システムの動作を示すフローチャートである。 セットアップ画面の例を示す図である。 セットアップ画面の例を示す図である。

　図１は、実施例におけるコンテンツ表示システム１の構成例を示す。コンテンツ表示システム１は、情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが持って手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とが連携しつつ動作する情報処理システムである。ＨＭＤ１００は、ＶＲヘッドセットとも言える。出力装置１５はテレビであってよい。

　情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。情報処理装置１０は、ネットワーク２経由で、他の情報処理装置やサーバと接続され得る。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

　記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてもよい。情報処理装置１０はゲームソフトウェア等のアプリケーションを実行して、アプリケーションの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。

　ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネル（表示部とも言える）に画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

　ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよく、別の画像を表示させてもよい。例えば、ＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。また、情報処理装置１０は、ＨＭＤ１００の初期設定と、ＨＭＤ１００の正しい装着とを支援する内容のセットアップ画面を出力装置１５に表示させてもよい。

　情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。入力デバイス１６は、情報処理装置１０およびＨＭＤ１００に対するコントローラとして利用される。例えば、情報処理装置１０がゲームを実行する際には、入力デバイス１６は、ゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸の角速度センサを含む慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備え、所定の周期（たとえば８００Ｈｚ）でセンサデータを情報処理装置１０に送信する。

　ＨＭＤ１００には、複数の撮像部１４が搭載される。複数の撮像部１４は、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含むように、ＨＭＤ１００の前面の異なる位置に異なる姿勢で取り付けられる。撮像部１４は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有してもよく、非可視光センサを有してもよい。複数の撮像部１４は、同期したタイミングで、ユーザの前方を所定の周期（例えば１２０フレーム／秒）で撮影し、実空間を撮影した画像データを情報処理装置１０に送信する。

　図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

　筐体１０８の前方側外面には、撮像部１４として、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。ユーザの顔正面方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられ、撮像装置１４ｃは、カメラ光軸が右斜め下を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が左斜め下を向くように前方側外面の左下隅に取り付けられる。

　このように複数の撮像部１４が設置されることで、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含む。すなわち、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄを含む撮像部１４は、ＨＭＤ１００を装着したユーザの正面方向の現実空間を撮像し、言い換えれば、ユーザの視野内の現実空間を撮像する。以下では、ＨＭＤ１００の撮像部１４により撮像された画像のデータを「撮影画像データ」とも呼ぶ。

　ＨＭＤ１００は、ＩＭＵ（慣性計測装置）が検出したセンサデータおよび撮像部１４が撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０で生成されたアプリケーション（ゲーム等）の画像データおよび音声データを受信する。

　図３も、ＨＭＤ１００の外観形状の例を示す。同図は、ＨＭＤ１００を下側から見た場合の形状を示している。筐体１０８の下方外面には、ＨＭＤ１００を装着したユーザから見て左側から、マイク１２６、電源ボタン１１０、機能ボタン１１２が隣り合う位置に並べて配設される。マイク１２６は、ユーザが発した音声を電気信号（「音声データ」とも呼ぶ。）に変換する音響機器である。電源ボタン１１０は、所定の電源（例えば不図示のバッテリー等）からＨＭＤ１００の各部（例えば後述の制御部１２０や表示パネル１３０）への電力供給のオン・オフを切り替えるボタンである。機能ボタン１１２は、ＨＭＤ１００の動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである。

　図４は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。制御部１２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を備えてもよい。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。ＩＭＵ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。ＩＭＵ１２４は、少なくとも３軸の加速度センサおよび３軸の角速度センサを含んでよい。ＩＭＵ１２４は、所定の周期（例えば８００Ｈｚ）で各軸成分の値（「センサデータ」とも呼ぶ。）を検出する。

　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線通信または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

　制御部１２０は、各種アプリケーション（ゲーム等）の画像データや音声データを情報処理装置１０から受け取ると、画像データを表示パネル１３０に供給して表示させ、また音声データを音声出力部１３２（スピーカ等）に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂを含み、各表示パネルに一対の視差画像が表示される。また、制御部１２０は、ＩＭＵ１２４からのセンサデータ、マイク１２６からの音声データ、撮像部１４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。

　図５は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、処理部２００および通信部２０２を備える。処理部２００は、取得部２１０、アプリケーション実行部２２０、画像生成部２２２、画像出力部２２４、音声出力部２２８、音声転送部２３０、機能設定部２３２を備える。取得部２１０は、撮影画像取得部２１２、センサデータ取得部２１４、音声データ取得部２１５、操作情報取得部２１６を備える。

　通信部２０２は、所定の通信プロトコルにしたがって外部装置と通信する。外部装置は、ＨＭＤ１００、出力装置１５、入力デバイス１６、不図示のサーバや他の情報処理装置を含む。例えば、通信部２０２は、入力デバイス１６から送信される操作情報およびセンサデータを受信し、取得部２１０に供給する。また通信部２０２は、ＨＭＤ１００から送信される撮影画像データおよびセンサデータを受信し、取得部２１０に供給する。

　情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図５に示す様々な機能が実現される。コンピュータは、プログラムがロードされるメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ（ＣＰＵやＧＰＵ等）、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図８に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　撮影画像取得部２１２は、ＨＭＤ１００から送信された撮影画像データを取得し、アプリケーション実行部２２０および画像生成部２２２に提供する。センサデータ取得部２１４は、入力デバイス１６およびＨＭＤ１００から送信されたセンサデータを取得し、アプリケーション実行部２２０および画像生成部２２２に提供する。

　音声データ取得部２１５は、外部装置（ＨＭＤ１００以外の装置）から送信され、ネットワーク２を経由して伝送されたリモートのユーザの音声データ（以下「外部音声データ」とも呼ぶ。）を取得し、音声出力部２２８に提供する。また、音声データ取得部２１５は、ＨＭＤ１００から送信された、ＨＭＤ１００を装着したユーザの音声データ（以下「ユーザ音声データ」とも呼ぶ。）を取得し、音声転送部２３０に提供する。

　操作情報取得部２１６は、入力デバイス１６から送信された、入力デバイス１６に入力されたユーザの操作を示す操作情報を取得する。また、操作情報取得部２１６は、ＨＭＤ１００から送信された、ＨＭＤ１００（例えば機能ボタン１１２）に入力されたユーザの操作を示す操作情報を取得する。操作情報取得部２１６は、取得した操作情報をＨＭＤ１００の各部に提供する。

　アプリケーション実行部２２０は、操作情報取得部２１６から入力された操作情報や、センサデータ取得部２１４から入力されたセンサデータ等に基づいて、アプリケーションを実行し、例えば、ＶＲゲームを進行する。

　画像生成部２２２と画像出力部２２４は、表示部（具体的には、ＨＭＤ１００の表示パネル１３０と出力装置１５のディスプレイの少なくとも一方）における電子コンテンツの表示を制御する表示制御部２２６として機能する。具体的には、画像生成部２２２は、撮影画像取得部２１２から入力された撮影画像データや、アプリケーション実行部２２０によるアプリケーションの実行結果等に基づいて、ＨＭＤ１００に表示させる表示用の画像データ（例えばＶＲ画像データ）を生成する。画像出力部２２４は、画像生成部２２２により生成された表示用の画像データをＨＭＤ１００へ送信して、その表示パネル１３０に表示させる。

　また、画像生成部２２２は、アプリケーション実行部２２０によるアプリケーションの実行結果等に基づいて、出力装置１５に表示させる表示用の画像データを生成する。この画像データは、例えば、ＨＭＤ１００のセットアップ方法を説明するコンテンツの画像データであってもよい。画像出力部２２４は、画像生成部２２２により生成された表示用の画像データを出力装置１５へ送信して表示させる。なお、画像出力部２２４は、ＨＭＤ１００へ送信する画像データをさらに出力装置１５へ送信して表示させてもよい。

　音声出力部２２８は、音声データ取得部２１５により取得された、リモートのユーザの音声データ（外部音声データ）と、アプリケーションの音声データとをＨＭＤ１００へ送信することにより、これらの音声データに基づく音声をＨＭＤ１００で再生させる。

　音声転送部２３０は、音声データ取得部２１５により取得された、ＨＭＤ１００を装着したユーザの音声データ（ユーザ音声データ）をネットワーク２を経由して外部装置（例えばリモートのユーザの装置）へ送信することにより、ユーザ音声データに基づく音声を外部装置で再生させる。

　機能設定部２３２は、ＨＭＤ１００の機能ボタン１１２に対する特定の機能の割り当てを指示する操作が操作情報取得部２１６により取得された場合、機能ボタン１１２に対して割り当てられた機能に応じた設定処理を実行する。

　以上の構成によるコンテンツ表示システム１の動作を説明する。
　図６は、コンテンツ表示システム１の動作を示すフローチャートである。ＨＭＤ１００を装着したユーザは、入力デバイス１６を使用して、機能ボタン１１２に割り当てる機能の設定画面の表示を要求する操作を入力する。入力デバイス１６は、設定画面が要求されたことを示す操作情報を情報処理装置１０へ送信する。この操作情報が情報処理装置１０の操作情報取得部２１６により取得されると（Ｓ１０のＹ）、情報処理装置１０の画像生成部２２２は、機能ボタン１１２の設定画面のデータを生成する。情報処理装置１０の画像出力部２２４は、機能ボタン１１２の設定画面のデータをＨＭＤ１００へ送信する。ＨＭＤ１００の制御部１２０は、機能ボタン１１２の設定画面を表示パネル１３０に表示させる（Ｓ１１）。

　図７は、機能ボタン１１２の設定画面の例を示す。設定画面４０は、機能ボタン１１２に割り当て可能な機能として予め定められた複数の機能の中からいずれかの機能をユーザが任意に選択可能なよう構成される。実施例では、機能ボタン１１２に割り当て可能な複数の機能は、以下の（１）～（３）の機能を含む。

　（１）ビデオシースルー機能。具体的には、撮像部１４により撮像されたユーザの正面方向が映る画像を表示パネル１３０に表示させる機能。
　ユーザは、ＨＭＤ１００を被っていると、即座に外を確認することが難しい。また、外を確認するためにＨＭＤ１００を一旦頭部から外すと、再度ベストな被り位置に戻すのは大変である。機能ボタン１１２にビデオシースルー機能を割り当てた場合、ユーザは、ＨＭＤ１００を被った状態で機能ボタン１１２を押下すれば、ＨＭＤ１００を被ったまま外の様子を確認できる。実施例では、機能ボタン１１２に割り当て可能な複数の機能のうちビデオシースルー機能がデフォルト機能として定められている。

　（２）マイクミュート機能。具体的には、マイク１２６へ入力されたユーザの音声を外部へ伝達することを遮断する機能。
　ＨＭＤ１００の機能ボタン１１２の押下により、マイク１２６のミュートとミュート解除とを容易に切替可能にすることで、他のユーザとボイスチャットを行うユーザにとってのＨＭＤ１００の利便性を高めることができる。

　（３）画面遷移制御機能。具体的には、表示部に表示されるコンテンツの画面遷移を制御する機能。この表示部は、出力装置１５のディスプレイであってもよく、ＨＭＤ１００の表示パネル１３０であってもよい。表示部に表示されるコンテンツの中には、ＨＭＤ１００の被り方を学ぶコンテンツ等、ユーザが入力デバイス１６を手に持たない状態で進行させたいコンテンツがある。このようなコンテンツの表示時、ＨＭＤ１００の機能ボタン１１２の押下により、コンテンツの画面遷移（例えば進むまたは戻る）を容易に制御可能にすることで、ＨＭＤ１００の利便性を高めることができる。例えば、入力デバイス１６を把持しない状態でコンテンツの画面遷移をユーザが制御したい場合に、ユーザは入力デバイス１６を一旦把持する必要がなくなり、ユーザの負担を低減できる。

　図６に戻り、ユーザは、設定画面４０において、機能ボタン１１２に割り当てる所望の機能を選択し、所定の決定操作を入力デバイス１６に入力する。例えば、ユーザは、ＨＭＤ１００を装着してＶＲコンテンツを視聴し、またＶＲゲームをプレイする場合に、（１）ビデオシースルー機能または（２）マイクミュート機能を選択する。また、ユーザは、複数の画面を切り替えつつストーリーが進行するコンテンツ（例えばＨＭＤ１００の装着方法を学ぶコンテンツ）を出力装置１５で視聴する場合に、（３）画面遷移制御機能を選択する。

　情報処理装置１０の操作情報取得部２１６によりその決定操作が取得されると（Ｓ１２のＹ）、情報処理装置１０の機能設定部２３２は、そのとき設定画面４０において選択されていた機能を機能ボタン１１２に割り当てるべき機能として識別する。機能設定部２３２は、機能ボタン１１２に割り当てるべき機能に応じた設定処理を実行する（Ｓ１３）。

　例えば、設定画面４０において、ユーザが、機能ボタン１１２への割当機能としてビデオシースルー機能を選択したとする。この場合、機能設定部２３２は、撮影画像取得部２１２により取得された、ＨＭＤ１００の撮像部１４による撮影画像データに基づいてＨＭＤ１００の表示用画像を生成するよう画像生成部２２２を設定する。ここでのＨＭＤ１００の表示用画像は、ユーザの正面方向の現実空間が映る画像である。

　別の例として、設定画面４０において、ユーザが、機能ボタン１１２への割当機能としてマイクミュート機能を選択したとする。この場合、機能設定部２３２は、音声データ取得部２１５により取得された、ＨＭＤ１００を装着したユーザの音声データを外部装置へ転送しないよう音声転送部２３０を設定する。変形例として、機能設定部２３２は、ＨＭＤ１００から送信されたユーザの音声データを取得または出力しないように音声データ取得部２１５を設定することでミュートを実現してもよい。または、機能設定部２３２は、外部から入力された音声に基づく電気信号（音声データ）を出力しないようＨＭＤ１００のマイク１２６を設定することでミュートを実現してもよい。

　さらに別の例として、設定画面４０において、ユーザが、機能ボタン１１２への割当機能として画面遷移制御機能を選択したとする。この場合、機能設定部２３２は、機能ボタン１１２を相対的に短時間押下する操作（以下「短押し操作」とも呼ぶ。）を、コンテンツの画面を第１方向に遷移させる操作として認識するようアプリケーション実行部２２０、および／または、画像生成部２２２を設定する。

　また、機能設定部２３２は、機能ボタン１１２を相対的に長時間押下する操作（以下「長押し操作」とも呼ぶ。）を、コンテンツの画面を第１方向とは逆の第２方向に遷移させる操作として認識するようアプリケーション実行部２２０、および／または、画像生成部２２２を設定する。短押し操作は、機能ボタン１１２を第１時間（例えば０．５秒）未満押下する操作であってもよい。長押し操作は、機能ボタン１１２を第１時間より長い第２時間（例えば２秒）以上押下する操作であってもよい。

　実施例での第１方向は、時間経過とともに複数の画面を順次切り替えつつ進行するコンテンツにおける時間経過の方向と言え、時系列に画面を並べた場合の次の画面の方向とも言える。第２方向は、上記コンテンツにおける時間遡行の方向と言え、時系列に画面を並べた場合の前の画面の方向とも言える。すなわち、実施例では、機能ボタン１１２の短押し操作が次の画面に進むことを指示する操作となり、機能ボタン１１２の長押し操作が前の画面に戻ることを指示する操作となる。

　設定画面４０において機能ボタン１１２への割当機能を決定する操作が未入力であれば（Ｓ１２のＮ）、Ｓ１３の機能割当処理をスキップする。また、設定画面４０の表示が要求されなければ（Ｓ１０のＮ）、Ｓ１１以降の処理をスキップして図６に示す処理を終了する。

　図８も、コンテンツ表示システム１の動作を示すフローチャートである。ユーザは、ＨＭＤ１００の表示パネル１３０に表示されたコンテンツ、または、出力装置１５に表示されたコンテンツの視聴時、機能ボタン１１２に割り当てた機能を使用する場合に機能ボタン１１２を押下する。機能ボタン１１２が押下された場合（Ｓ２０のＹ）、ＨＭＤ１００の制御部１２０は、通信制御部１２８を介して、機能ボタン１１２が押下されたことを示す操作情報を情報処理装置１０へ送信する。情報処理装置１０の操作情報取得部２１６は、機能ボタン１１２が押下されたことを示す操作情報を取得し、機能ボタン１１２が押下されたことを情報処理装置１０の各部に通知する。

　機能ボタン１１２にビデオシースルー機能が割り当てられていた場合（Ｓ２１のＹ）、情報処理装置１０の処理部２００は、今回の機能ボタン１１２の押下操作を契機に、ビデオシースルー機能のオン・オフを切り替える（Ｓ２２）。例えば、ビデオシースルー機能がオフの状態で機能ボタン１１２の押下操作が入力されると、ビデオシースルー機能をオンに切り替える。ビデオシースルー機能がオンの間、画像生成部２２２は、アプリケーション実行部２２０によるアプリケーションの実行結果に基づくコンテンツの画像（例えばＶＲゲーム画像）に代えて、ＨＭＤ１００の撮像部１４による撮影画像データに基づく表示用画像であって、すなわち、ユーザの正面方向の現実空間を示す表示用画像を生成する。情報処理装置１０の画像出力部２２４は、ユーザの正面方向の現実空間を示す表示用画像をＨＭＤ１００の表示パネル１３０に表示させる。

　一方、ビデオシースルー機能がオンの状態で機能ボタン１１２の押下操作が入力されると、ビデオシースルー機能をオフに切り替える。ビデオシースルー機能がオフに戻されると、画像生成部２２２は、アプリケーション実行部２２０によるアプリケーションの実行結果に基づくコンテンツの画像（例えばＶＲゲーム画像）の生成を再度開始する。情報処理装置１０の画像出力部２２４は、ＨＭＤ１００の表示パネル１３０において、アプリケーションの実行結果に基づくコンテンツの画像の表示を再開させる。なお、情報処理装置１０は、ＨＭＤ１００の機能ボタン１１２が押下された場合だけでなく、入力デバイス１６において所定の操作（特定のボタンの押下等）が入力された場合にも、ビデオシースルー機能をオンからオフに切り替えてもよい。

　機能ボタン１１２にマイクミュート機能が割り当てられていた場合（Ｓ２１のＮ）（Ｓ２３のＹ）、情報処理装置１０の処理部２００は、今回の機能ボタン１１２の押下操作を契機に、マイクミュート機能のオン・オフを切り替える（Ｓ２４）。例えば、マイクミュート機能がオフの状態で機能ボタン１１２の押下操作が入力されると、マイクミュート機能をオンに切り替える。マイクミュート機能がオンの間、音声転送部２３０は、音声データ取得部２１５により取得されたユーザ音声データを、ネットワーク２を介してリモートの外部装置へ送信することを抑制する。

　一方、マイクミュート機能がオンの状態で機能ボタン１１２の押下操作が入力されると、マイクミュート機能をオフに切り替える。マイクミュート機能がオフに戻されると、音声転送部２３０は、音声データ取得部２１５により取得されたユーザ音声データを、ネットワーク２を介してリモートの外部装置へ送信することを再開する。

　機能ボタン１１２に画面遷移制御機能が割り当てられ（Ｓ２３のＮ）、かつ、機能ボタン１１２の操作が短押し操作である場合（Ｓ２５のＮ）、画像生成部２２２は、現在表示中のコンテンツの画面に対する次の画面を示す画像を生成する。画像出力部２２４は、次の画面を示す画像を出力装置１５に表示させる（Ｓ２６）。機能ボタン１１２の操作が長押し操作である場合（Ｓ２５のＹ）、画像生成部２２２は、現在表示中のコンテンツの画面に対する１つ前の画面を示す画像を生成する。画像出力部２２４は、１つ前の画面を示す画像を出力装置１５に表示させる（Ｓ２７）。機能ボタン１１２に対する押下操作が未入力であれば（Ｓ２０のＮ）、Ｓ２１以降の処理をスキップして図８の処理を終了する。

　図９は、セットアップ画面４２の例を示す。セットアップ画面４２は、出力装置１５に表示された、ＨＭＤ１００のセットアップ方法（頭部への被り方等）を学ぶコンテンツ内の１つの画面である。ユーザは、出力装置１５に表示されたこのコンテンツを視聴しつつ、ＨＭＤ１００の出力機構部１０２や装着機構部１０４を手に持って、ＨＭＤ１００の装着を試行する。ここでは、機能ボタン１１２に画面遷移制御機能が割り当てられていることとする。

　セットアップ画面４２の表示中にユーザが機能ボタン１１２に対する短押し操作を入力すると、セットアップ画面４４に遷移する。図１０は、セットアップ画面４４の例を示す。セットアップ画面４４は、上記コンテンツ内の１つの画面であり、時間軸上でセットアップ画面４２の次の画面である。

　セットアップ画面４４の表示中、ユーザが機能ボタン１１２を押下した状態を継続すると、画像生成部２２２は、押下時間インジケータ４６を配置したセットアップ画面４４を生成し、言い換えれば、セットアップ画面４４に押下時間インジケータ４６を配置する。押下時間インジケータ４６は、機能ボタン１１２が押下された状態が継続中であることを示唆する画像であり、かつ、機能ボタン１１２の押下時間の長さを示唆する画像である。画像出力部２２４は、押下時間インジケータ４６を配置したセットアップ画面４４を出力装置１５に送信して、出力装置１５に表示されたセットアップ画面４４を更新する。押下時間インジケータ４６は、機能ボタン１１２の押下時間が長押し操作の条件となる時間を満たした場合に円を一周するように更新される。

　セットアップ画面４４での機能ボタン１１２の押下時間が、長押し操作の条件となる所定時間以上（例えば２秒以上）になると、画像生成部２２２は再びセットアップ画面４２を生成し、画像出力部２２４は、セットアップ画面４２をＨＭＤ１００に再度表示させる。セットアップ画面４４での機能ボタン１１２の押下時間が、短押しの条件となる第１時間以上（例えば０．５秒以上）、かつ、長押し操作の条件となる第２時間未満（例えば２秒未満）の場合、すなわち、長押し操作の条件となる第２時間に達する前に機能ボタン１１２の押下が終了すると、セットアップ画面４２への画面遷移はキャンセルされ、セットアップ画面４４の表示が維持される。

　実施例のコンテンツ表示システム１によると、複数の機能の中から、ユーザが視聴するコンテンツの種類や、コンテンツの視聴状況等に適合する機能をＨＭＤ１００の機能ボタンに割り当てることができ、ＨＭＤ１００の利便性を高めることができる。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　実施例では言及していないが、情報処理装置１０により実行されるアプリケーションが、機能ボタン１１２の機能を動的に設定してもよい。言い換えれば、機能ボタン１１２の機能は、ＨＭＤ１００または出力装置１５に表示されるコンテンツに応じて動的に設定されてもよい。例えば、図９や図１０に示したＨＭＤ１００の被り方を学ぶコンテンツ（ここでは「対象コンテンツ」と呼ぶ。）のプログラムは、機能ボタン１１２に画面遷移制御機能を割り当てるよう実装されてもよい。情報処理装置１０の機能設定部２３２は、対象コンテンツのプログラムにしたがって、機能ボタン１１２に割り当てられた画面遷移制御機能に応じた設定処理を実行してもよい。これにより、対象コンテンツの再生時に、機能ボタン１１２に画面遷移制御機能が自動的に割り当てられる。ユーザは、機能ボタン１１２に画面遷移制御機能を手動で割り当てなくても、対象コンテンツの視聴時、機能ボタン１１２を操作することにより、対象コンテンツの画面遷移を制御することができる。

　実施例に記載の情報処理装置１０の機能は、ＨＭＤ１００に実装されてもよい。言い換えれば、ＨＭＤ１００は、実施例に記載の情報処理装置１０の機能を含んでもよい。また、実施例では、撮像部１４がＨＭＤ１００に取り付けられたが、撮像部１４は、ＨＭＤ１００以外の別の位置に取り付けられてもよい。

　上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

　上記実施例および変形例に記載の技術思想は、以下の各項目に記載の態様のように表現することができる。
［項目１］
　電源ボタンと、
　前記電源ボタンとは異なるボタンであって、本ヘッドマウントディスプレイの動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである機能ボタンと、
　を備えるヘッドマウントディスプレイ。
　このヘッドマウントディスプレイによると、複数の機能の中から、ユーザが視聴するコンテンツの種類や、コンテンツの視聴状況等に適合する機能を機能ボタンに割り当てることができ、ヘッドマウントディスプレイの利便性を高めることができる。
［項目２］
　ヘッドマウントディスプレイを装着したユーザの正面方向を撮像する撮像部と、
　前記ユーザの眼前で画像を表示する表示部と、をさらに備え、
　前記複数の機能は、前記撮像部により撮像された前記ユーザの正面方向が映る画像を前記表示部に表示させる機能を含む、
　項目１に記載のヘッドマウントディスプレイ
　この態様によると、ユーザは、任意のタイミングで機能ボタンを操作して外の様子を確認でき、ヘッドマウントディスプレイの利便性を高めることができる。
［項目３］
　マイクをさらに備え、
　前記複数の機能は、前記マイクに入力される音声のミュート機能を含む、
　項目１または２に記載のヘッドマウントディスプレイ。
　この態様によると、ユーザは、任意のタイミングで機能ボタンを操作して外部への音声伝達を抑制でき、ヘッドマウントディスプレイの利便性を高めることができる。
［項目４］
　前記複数の機能は、表示部に表示されるコンテンツの画面遷移を制御する機能を含む、
　項目１から３のいずれかに記載のヘッドマウントディスプレイ。
　この態様によると、視聴中のコンテンツに対する多様な操作手段をユーザに提供でき、例えば、ユーザが入力デバイスを把持できない状況等における操作性の低下を抑制できる。
［項目５］
　前記電源ボタンと前記機能ボタンとが、隣り合う位置に設けられた、
　項目１から４のいずれかに記載のヘッドマウントディスプレイ。
　この態様によると、ヘッドマウントディスプレイの筐体上の特定の領域で操作が完結しやすくなり、操作性を向上させることができる。
［項目６］
　ヘッドマウントディスプレイと、
　表示制御部と、を備え、
　前記ヘッドマウントディスプレイは、
　電源ボタンと、
　前記電源ボタンとは異なるボタンであって、本ヘッドマウントディスプレイの動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである機能ボタンと、を含み、
　前記複数の機能は、表示部に表示されるコンテンツの画面遷移を制御する機能を含み、
　前記コンテンツの画面遷移を制御する機能が前記機能ボタンに割り当てられた場合、前記機能ボタンを相対的に短時間押下する操作が前記コンテンツの画面を第１方向に遷移させる操作となり、前記機能ボタンを相対的に長時間押下する操作が前記コンテンツの画面を前記第１方向とは逆の第２方向に遷移させる操作となり、
　前記表示制御部は、前記機能ボタンが押下された状態が継続する場合、前記機能ボタンが押下された状態が継続中であることを示唆する画像を表示部に表示させる、
　コンテンツ表示システム。
　このコンテンツ表示システムによると、機能ボタンに対する短押し操作と長押し操作で画面遷移の態様が異なる場合に、操作入力ミスを防止しやすくなり、ユーザの意図に反した画面遷移が生じることを防止しやすくなる。

　本開示の技術は、ヘッドマウントディスプレイや情報処理システム等に適用できる。

　１　コンテンツ表示システム、　１０　情報処理装置、　１５　出力装置、　１００　ＨＭＤ、　１１０　電源ボタン、　１１２　機能ボタン、　１２６　マイク、　１３０　表示パネル、　２２６　表示制御部、　２３２　機能設定部。

Claims (6)

1. 　電源ボタンと、
   　前記電源ボタンとは異なるボタンであって、本ヘッドマウントディスプレイの動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである機能ボタンと、
   　を備えるヘッドマウントディスプレイ。
2. 　ヘッドマウントディスプレイを装着したユーザの正面方向を撮像する撮像部と、
   　前記ユーザの眼前で画像を表示する表示部と、をさらに備え、
   　前記複数の機能は、前記撮像部により撮像された前記ユーザの正面方向が映る画像を前記表示部に表示させる機能を含む、
   　請求項１に記載のヘッドマウントディスプレイ。
3. 　マイクをさらに備え、
   　前記複数の機能は、前記マイクに入力される音声のミュート機能を含む、
   　請求項１に記載のヘッドマウントディスプレイ。
4. 　前記複数の機能は、表示部に表示されるコンテンツの画面遷移を制御する機能を含む、
   　請求項１に記載のヘッドマウントディスプレイ。
5. 　前記電源ボタンと前記機能ボタンとが、隣り合う位置に設けられた、
   　請求項１に記載のヘッドマウントディスプレイ。
6. 　ヘッドマウントディスプレイと、
   　表示制御部と、を備え、
   　前記ヘッドマウントディスプレイは、
   　電源ボタンと、
   　前記電源ボタンとは異なるボタンであって、本ヘッドマウントディスプレイの動作に関する複数の機能のうちいずれかの機能を選択的に割り当て可能なボタンである機能ボタンと、を含み、
   　前記複数の機能は、表示部に表示されるコンテンツの画面遷移を制御する機能を含み、
   　前記コンテンツの画面遷移を制御する機能が前記機能ボタンに割り当てられた場合、前記機能ボタンを相対的に短時間押下する操作が前記コンテンツの画面を第１方向に遷移させる操作となり、前記機能ボタンを相対的に長時間押下する操作が前記コンテンツの画面を前記第１方向とは逆の第２方向に遷移させる操作となり、
   　前記表示制御部は、前記機能ボタンが押下された状態が継続する場合、前記機能ボタンが押下された状態が継続中であることを示唆する画像を表示部に表示させる、
   　コンテンツ表示システム。

Images