JP6489984B2 - カラオケ装置及びカラオケ用プログラム - Google Patents

Description

本発明は、伴奏に合わせて歌唱を楽しむカラオケ装置、及び、カラオケ装置あるいはゲーム装置等の情報処理装置に実装することでカラオケ機能を実現するカラオケ用プログラムに関する。

従来、宴会の場等では、伴奏に合わせて歌唱を行うカラオケが行われている。カラオケを行うためのカラオケ装置では、演奏に同期して歌詞を表示することで歌唱の補助を行う機能がよく知られている。ユーザーは歌詞を記憶していなくてもモニタ画面に表示される歌詞を視認することで、歌唱すべき歌詞を確認することが可能である。このようなカラオケ装置の歌詞表示機能について各種の改良が行われている。

特許文献１には、大画面の表示部を使用して歌唱を楽しむ環境下において、視認しやすい歌詞を提供することのできるカラオケ装置が開示されている。このカラオケ装置では、検出した歌唱者の位置に基づいて、表示部の表示領域内に表示される画像情報の大きさを変更する。画像情報に歌詞情報を含めることで、歌唱者の位置に適した表示領域内の位置に歌詞を表示することが可能となっている。

特許文献２には、ユーザーの頭部に装着するヘッドマウントディスプレイを使用したカラオケシステムが開示されている。ヘッドマウントディスプレイに歌詞を表示することで、ユーザーの位置の自由度が高まり、ユーザーは所望の位置でカラオケを楽しむことができる。

特開２０１５−６９０４２号公報 特開２００１−２２３６２号公報

近年、画像処理技術の高度化に伴い、ＨＭＤ（ヘッドマウントディスプレイ）を利用した仮想空間が一般家庭でも利用可能な環境が整ってきている。これは、情報処理装置に搭載されたＣＰＵ、ＧＰＵ等の演算処理能力の向上、記憶容量の大容量化等を理由としている。仮想空間では、ＨＭＤを装着したユーザーの頭部の動きに応じて映像を表示することで、ユーザーは仮想空間内にいるような感覚を味わうことが可能であって、特に、ゲーム分野において注目を集めている。特許文献２ではＨＭＤを使用しているものの、ＨＭＤで歌詞を表示する程度に留まるものであった。

ところで仮想空間では、ＨＭＤを装着したユーザーがあたかもその場にいるような仮想感覚を楽しむことが可能である。出願人は仮想空間を使用して歌唱を楽しむカラオケ装置を新たに開発している。ユーザーは仮想空間の体験と歌唱を同時に楽しむことが可能となる。このような場合、ユーザーによっては仮想空間の体験に集中する、あるいは、歌唱に集中することが考えられるが、どちらに集中していたか、また、どの程度、集中していたのかを認知させる手段は存在していなかった。本発明は、このような課題を前提とするものであり、仮想空間と歌唱を同時に体験させるカラオケにおいて、仮想空間の体験、歌唱のどちらに集中（没入）していたかを、映像の変化によってユーザーに通知することを１つの目的としている。

そのため、本発明に係るカラオケ装置は、以下の構成を採用することとしている。
楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、を実行可能とし、
表示処理は、演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、背景映像、歌詞表示領域、歌詞の少なくとも何れか１つを変更することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示部はユーザーの頭部に装着するヘッドセットに配置され、
表示処理は、ヘッドセットの移動に応じて映像を移動させ、
視線判定処理は、表示部に表示される映像の所定位置をユーザーの視線通過位置として視線を判定することを特徴とする。

さらに本発明に係るカラオケ装置において、
視線判定処理は、ユーザーの眼球の動きを検出することでユーザーの視線を判定することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、歌詞表示領域、歌詞について、色、透過率、位置、大きさの少なくとも１つを変更することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、背景映像のコントラスト、色、明度、彩度の少なくとも１つを変更することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、背景映像の再生速度を変更することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、背景映像の種類を変更することを特徴とする。

また本発明に係るカラオケ用プログラムは、
楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、を情報処理装置に実行させ、
表示処理は、演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、背景映像、歌詞表示領域、歌詞の少なくとも何れか１つを変更することを特徴とする。

本発明に係るカラオケ装置またはカラオケ用プログラムは、背景映像の視認と歌唱を同時に体験させる際、どちらにどの程度集中していたかを判定し、背景映像、歌詞表示領域、歌詞の少なくとも何れか１つに変更を加えることで、利用時の趣向性向上を図ることが可能となる。特に、背景映像としてユーザーに仮想空間を体験させる形態において有効である。

本実施形態で使用するゲームシステムを示す図 本実施形態で使用するゲーム装置を示すブロック図 本実施形態で使用するＨＭＤ（ヘッドマウントディスプレイ）を示す斜視図 本実施形態で使用するコントローラを示す正面図、側面図 本実施形態の楽曲再生処理を示すフロー図 本実施形態で使用する楽曲情報のデータ構成を示す図 本実施形態のコントローラの操作部、機能、初期設定の対応関係を示す表 本実施形態における視野映像形成を説明するための模式図 コントローラの配置と、歌詞表示オブジェクト及びコントローラオブジェクトの表示関係を説明するための図 歌詞表示オブジェクト、コントローラオブジェクトの正面図、側面図 実際の視野映像（追従、非透過、コントローラオブジェクト表示） 実際の視野映像（追従、非透過、コントローラオブジェクト非表示） 実際の視野映像（追従、透過、コントローラオブジェクト表示） 実際の視野映像（固定、非透過、コントローラオブジェクト表示） 本実施形態の背景映像変更処理を示すフロー図 本実施形態の背景映像変更処理による視野映像の変更形態を示す図 第１変形例について説明するための図

本発明について、ゲームシステムを使用する形態を例にとって説明する。図１は、本実施形態で使用するゲームシステムを示す図である。ゲームシステムは、ゲーム装置１、ＨＭＤ３、コントローラ４を有して構成されている。ゲーム装置１は、通常の使用形態においてモニタ２２にゲーム画面を表示することで、ユーザーに視覚的な情報を提供することが可能である。本実施形態では、ＨＭＤ３（ヘッドマウントディスプレイ）で映像を表示することで、ユーザーに視覚的な情報（視野映像）を提供する。ゲーム装置１は、プログラムを変更することで異なる機能を実現することが可能である。本実施形態では、カラオケ用プログラムを起動することで、ＨＭＤ３による仮想空間を使用したカラオケを行うことが可能である。なお、カラオケ用プログラムを起動したゲーム装置１は、本発明のカラオケ装置に相当している。ユーザーはゲーム装置１で再生される演奏音をヘッドホン３２で聴取し、マイクロホン３３を使用して歌唱を行う。マイクロホン３３に入力された歌唱音声は、演奏音とミキシングされヘッドホン３２から放音される。

また、ユーザーは、コントローラ４（「操作装置」に相当）を使用して、ゲーム装置１に各種命令を指示することが可能となっている。ゲーム装置１とコントローラ４間は無線接続されており、ユーザーはケーブルによる煩わしさを伴うことなく操作を行うことが可能となっている。本実施形態では、ユーザーの頭部の動きに応じてＨＭＤ３に表示させる映像を変化させ、ユーザーに仮想空間を体験させることを可能としている。ユーザーの頭部の動きは、カメラ２１で映像を撮影し、実空間内でのＨＭＤ３の配置を検出することで検出される。また、本実施形態では、実空間内でのコントローラ４の配置も検出し、仮想空間内で利用することとしている。

図２は、本実施形態で使用するゲーム装置１を示すブロック図である。ゲーム装置１は、各構成を統括して制御するためのＣＰＵ１０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ１１を備えている。これらＣＰＵ１０、メモリ１１は、ゲーム装置１における制御部を構成する。また、本実施形態のゲーム装置１は、各種音声の入出力を行う音響制御部１５を有している。音響制御部１５は、カラオケ用プログラムの実行時、楽曲情報に含まれる演奏情報に基づいて演奏を行う。また、音響制御部１５には、マイクロホン３３が接続されており、入力された歌唱音声を、演奏された演奏音とミキシングして、ヘッドホン３２Ｒ、３２Ｌから音響出力する。

また、ゲーム装置１は、モニタ２２に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部１３、再生する映像を一時的に蓄積するビデオＲＡＭ１２、再生された映像上に歌詞を表示する、あるいは、映像効果を付与する映像制御部１４を備えている。映像制御部１４は、再生された映像をモニタ２２、あるいは、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに表示出力する。モニタ２２、ＨＭＤ３にはそれぞれ異なる映像を表示出力することが可能である。また、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌには、視差を有する映像を表示出力することで、ユーザーに立体視させることが可能である。

また、映像制御部１４は、カメラ２１に接続され、カメラ２１で撮影した映像を取り込むことが可能である。特に本実施形態では、図１で説明したようにカメラ２１で撮影された映像から、実空間内でのＨＭＤ３の配置、及び、コントローラ４の配置を検出している。配置検出の精度向上を図るため、ＨＭＤ３にはＬＥＤ３５、３６が、コントローラ４にはＬＥＤ４７が設けられている。撮影された映像から、ＬＥＤ３５、３６、４７を認識することで、実空間内におけるＨＭＤ３、コントローラ４の配置を正確に検出することが可能となっている。また、ＬＥＤ３５、３６、４７の点灯により、周囲が暗い環境下でも配置検出を行うことが可能となっている。

また、ゲーム装置１は、各種プログラム、及び、プログラムで使用する各種情報を記憶する記憶部としてのハードディスク１９を有する。また、ディスク媒体を再生するための媒体再生部２０も有しており、ディスク媒体に記憶されたプログラムを実行することも可能である。ゲーム装置１は、ＬＡＮ４０に接続する通信手段としてのＬＡＮ通信部１８を備えている。ＬＡＮ４０は、家庭内のルータ４１に接続されており、インターネットと通信することが可能である。図２の例では、ゲーム装置１は、ＬＡＮ通信部１８、ルータ４１を介し、各種情報を管理するサーバ装置５と通信を行う接続形態となっている。また、ゲーム装置１は、無線ＬＡＮを実現可能な第１無線通信部１６を有しており、無線によりインターネット接続することも可能である。さらにゲーム装置１は、近距離無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の第２無線通信部１７を備えている。ゲーム装置１は、この第２無線通信部１７を使用してコントローラ４と無線通信を行う。

図３は、本実施形態で使用するＨＭＤ３（ヘッドマウントディスプレイ）を示す斜視図である。左側の図は、ＨＭＤ３を装着するユーザーを後方から眺めた斜視図であり、右側の図は、ＨＭＤ３を装着するユーザーを前方から眺めた斜視図である。ＨＭＤ３は、右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌ（「表示部」に相当）を格納したＨＭＤ筐体３７、ユーザーの頭部に装着するためのヘッドバンド３４を有して構成されている。本実施形態では、ＨＭＤ筐体３７とヘッドバンド３４でヘッドセットを構成している。ＨＭＤ筐体３７の前面には、配置検出用のため４つのＬＥＤ３５ａ〜３５ｄが設けられている。また、ヘッドバンド３４にも配置検出用のＬＥＤ３６ａ〜３６ｄが４箇所、設けられている。このようにＨＭＤ３の周囲に配置検出用のＬＥＤを設けたことで、ユーザーがどの方向を向いた場合であっても、実空間内での頭部の配置（頭部が向いている方向を含む）を検出することが可能である。

ヘッドバンド３４には、ユーザーに対して音を聴取させるため、ヘッドホン３２Ｒ、３２Ｌが取り付けられている。また、左側のヘッドホン３２Ｌには、アームを介してユーザーの歌唱音声を取り込むためのマイクロホン３３が取り付けられている。このような構成によってユーザーは、どの方向を向いていてもヘッドホン３２Ｒ、３２Ｌにより演奏音等を聴取することが可能であり、また、マイクロホン３３を手で持つことなく歌唱を行うことが可能となっている。

図４は、本実施形態で使用するコントローラを示す正面図、側面図である。本実施形態のコントローラ４は、ゲーム装置１と無線接続され、ゲーム装置１に対して各種指示を出すことが可能である。図４（Ａ）は、コントローラ４の正面図であり、図４（Ｂ）は、図４（Ａ）のコントローラ４を右側から眺めた側面図であり、図４（Ｃ）は、図４（Ａ）のコントローラ４を上側から眺めた側面図である。コントローラ４は、ユーザーが両手で把持する２つのグリップ４１Ｒ、４１Ｌと、その間に設けられた接続部４２を有して形作られている。

左グリップ４１Ｌには、ゲーム操作において上下左右方向を入力するための十字キー４４が設けられている。右グリップ４１Ｒにはボタン群４５が設けられている。この例では、ボタン群４５は、「Ａ」〜「Ｄ」が表記された４つのボタンで構成されている。接続部４２には、２つのアナログスティック４３Ｒ、４３Ｌが設けられている。ユーザーはこのアナログスティック４３Ｒ、４３Ｌを使用して、多段階の方向を指示することが可能である。コントローラ４の上方には、右第１ボタン４６Ｒ１、右第２ボタン４６Ｒ２、左第１ボタン４６Ｌ１、左第２ボタン４６Ｌ２が設けられている。これらボタンは、ユーザーがグリップ４１Ｒ、４１Ｌを握ったときに、人差し指で操作し易い位置に設けられている。

また、図４（Ｃ）に示されるように、接続部４２には、配置検出用のＬＥＤ４７が設けられている。ＬＥＤ４７は、図１に示すようにユーザーがモニタ２２に対峙した場合、モニタ２２の近傍に設置されたカメラ２１で撮影しやすい位置に設けられている。ゲーム装置１は、カメラ２１で撮影された映像から、このＬＥＤ４７の形や色を識別することで、実空間内でのコントローラ４の配置（コントローラ４の方向を含む）を検出する。

以上、説明したゲームシステムの構成を使用して仮想空間内での歌唱を行うことが可能である。そのため、ゲーム装置１ではカラオケ用プログラムを起動することになる。カラオケ用プログラムは、サーバ装置５からダウンロードしてハードディスク１９に記憶したもの、あるいは、ディスク媒体に記憶されたものを使用することが可能である。ゲーム装置１においてカラオケ用プログラムを起動することで楽曲再生処理が開始される。なお、カラオケ用プログラムは、ユーザーはＨＭＤ３を装着した状態で使用することを前提とし、カラオケ用プログラムで出力される映像はＨＭＤ３に、音はヘッドホン３２に出力される。

図５は、本実施形態の楽曲再生処理を示すフロー図である。まず、ＨＭＤ３に表示されたユーザーインターフェイスを使用して歌唱する楽曲を選択する（Ｓ１０１）。本実施形態では、楽曲が選択された後、サーバ装置５１から対応する楽曲情報を受信することとしているが、ゲーム装置１側に記憶しておいてもよい。

図６は、カラオケ用プログラムで使用する楽曲情報のデータ構成を示す図である。楽曲情報は、選曲等を行うために付与されたメタ情報と、演奏、歌詞表示を行うための実情報を含んで構成されている。メタ情報には、楽曲を管理するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名、区間識別情報等を含んで構成されている。区間識別情報は、前奏、Ａメロ、Ｂメロ、間奏等、楽曲の進行に対応した区間種別を示す情報である。この区間識別情報を使用することで、楽曲再生中、現在再生している区間種別を判定することが可能である。

実情報は、演奏情報、歌詞情報、基準音高情報、背景映像情報を含んで構成されている。楽曲を再生する際、演奏情報を音響制御部１５に演奏させることで、歌唱伴奏としての演奏音をヘッドホン３２Ｒ、３２Ｌから音響出力することが可能である。また、楽曲を再生する際、歌詞情報を映像再生部１３で再生し、ＨＭＤ３に映像出力することで、ユーザーの歌唱補助を行うことが可能である。

背景映像情報は、ＨＭＤ３で表示する背景映像として使用される情報である。本実施形態の背景映像情報は、実際の風景やコンサート映像等を撮像した情報である。本実施形態では、背景映像を使用して仮想空間を形成するため、ある視点から複数のカメラで複数方向を撮影し、映像を繋ぎ合わせることで背景映像情報を形成している。カメラ２１で検出したＨＭＤ３の配置に応じて、背景映像情報中の映像を表示することで、ユーザーに仮想空間を体感させることが可能となっている。なお、本実施形態では、視差を有する映像を右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに表示することで、立体感のある仮想空間を体感させることが可能となっている。本実施形態の背景映像情報は、楽曲情報に含まれた構成としており、楽曲と背景映像が一対一の関係になっている。背景映像情報は、このような形態に限られるものではなく、楽曲情報と独立した形態としてもよい。その場合、楽曲情報のジャンルに対応した背景映像情報を使用する、あるいは、ユーザーが選択した背景映像情報を使用すること等が考えられる。

楽曲の選択後、選択された楽曲情報に基づいて再生が開始される（Ｓ１０２）。楽曲情報の再生は、楽曲情報に含まれる演奏情報を音響制御部１５に演奏させ、歌詞情報、背景映像情報を映像再生部１３に再生させる処理である。楽曲再生中、ユーザーはコントローラ４を使用して操作を行うことが可能である。図７は、本実施形態のコントローラ４の操作部、機能、初期設定の対応関係を示した表である。左第１ボタン４６Ｌ１は、歌詞表示オブジェクト６１の透過／非透過を切り替えるための操作部に割り当てられている。左第１ボタン４６Ｌ１を押下する毎に歌詞表示オブジェクト６１の透過、非透過が交互に切り替えられる。左第２ボタン４６Ｌ２は、歌詞表示オブジェクト６１を仮想空間内の所定位置に固定する固定モードと、実空間でのコントローラ４の配置に追従させる追従モードを切り替えるための操作部である。左第２ボタン４６Ｌ２を押下する毎に固定モードから追従モード、もしくは、追従モードから固定モードに切り替えられる。右第１ボタン４６Ｒ１は、コントローラオブジェクト６２（本発明の「操作オブジェクト」に相当）の表示／非表示を切り替えるための操作部に割り当てられている。右第１ボタン４６Ｒ１を押下する毎にコントローラオブジェクト６２の表示、非表示が交互に切り替えられる。

楽曲再生開始時には、これら操作部は初期設定が適用される。なお、コントローラ４の各機能に対する操作部の割り当て、並びに初期設定の割り当ては、ユーザーが設定変更できるようにしてもよい。楽曲の再生が開始される（Ｓ１０２）と、図７の初期設定を読み出してＨＭＤ３に表示する映像（視野映像６０）を形成が行われる。視野映像６０は、楽曲に対応する背景映像情報を使用して形成される。図８は、本実施形態における視野映像６０の形成を説明するための模式図である。図６で説明したように背景映像情報は、ある視点から複数のカメラで複数方向を撮影し、映像を繋ぎ合わせることで形成された映像である。図８には、ＨＭＤ３を装着したユーザーの周囲に背景映像情報を模式的に示している。ここでは、図面上、分かり易いようにユーザーの側面のみに背景映像情報を表示しているが、実際には半球状、あるいは全球状にユーザーを取り囲む映像となる。ＨＭＤ３で表示される映像は、カメラ２１で検出したＨＭＤ３の配置に基づいて決定される。すなわち、ＨＭＤ３の向いている配置、具体的にはＨＭＤ３の向いている方向に対応した背景映像情報中の領域が視野映像６０として切り出される。したがって、ＨＭＤ３を装着するユーザーの頭部の動きによって視野映像６０が変化することとなり、ユーザーは背景映像情報によって形成される仮想空間を体験することが可能である。

さらに本実施形態では、カメラ２１で検出したコントローラ４の配置に基づいて、視野映像６０に歌詞表示オブジェクト６１と、コントローラオブジェクト６２を表示可能としている。本実施形態におけるコントローラ４の配置検出は、図８で示す背景映像情報を基準とした座標系ＸＹＺについて、Ｘ方向，Ｙ方向，Ｚ方向の位置、及び，Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量をコントローラ４の配置情報として検出する。本実施形態では、ＨＭＤ３についても同様に、背景映像情報を基準とした座標系ＸＹＺについて、Ｘ方向，Ｙ方向，Ｚ方向の位置、及び，Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量をＨＭＤ３の配置情報として検出する。このようなＨＭＤ３の配置情報、コントローラ４の配置情報に基づいて、ＨＭＤ３に対するコントローラ４の相対的な配置を検出することが可能である。このように本実施形態におけるコントローラ４の配置情報、ＨＭＤ３の配置情報は、実空間における位置（Ｘ方向，Ｙ方向，Ｚ方向の位置）と方向（Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量）といった複数の項目を含んでいるが、配置情報としては、これら項目の内、検出しない、あるいは、使用しない項目を設けてもよい。

検出された相対的な配置は、視野映像６０中に表示するコントローラオブジェクト６２の表示に使用される。コントローラオブジェクト６２が視野映像６０に表示された場合、ユーザーは自分の手に握っているコントローラ４を仮想空間中で観察することが可能となる。さらに本実施形態では、コントローラオブジェクト６２に対応して歌詞表示オブジェクト６１を配置している。この歌詞表示オブジェクト６１は、楽曲再生中、再生された歌詞を表示するオブジェクトであり、コントローラオブジェクト６２に対応して配置されるため、コントローラ４の移動に応じて移動する。

図９は、コントローラ４の配置と、歌詞表示オブジェクト６１及びコントローラオブジェクト６２の表示関係を説明するための図である。ＨＭＤ３には、カメラ２１で検出したＨＭＤ３の配置に基づいて切り出された背景映像情報が視野映像として表示される。実際には、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに視差を有する視野映像６０を表示することで、ユーザーに立体映像による仮想空間を体感させることとしている。図９は、ＨＭＤ３を装着するユーザーの正面にコントローラ４を配置した場合の表示例であり、実空間において検出されたコントローラ４の配置を使用してコントローラオブジェクト６２、歌詞表示オブジェクト６１、そして視線カーソル６３が視野映像６０内に表示される。なお、視線カーソル６３は非表示とする、あるいは、ユーザーの操作によって表示／非表示を切り換え可能としてもよい。

視線カーソル６３は、視野映像６０の上下方向及び左右方向の略中央に位置し、仮想空間内でユーザーの視線を示すための指標である。実際には、ユーザーは眼球を移動させることで、視野映像６０内で視線を変更することが可能であるが、本実施形態では、視野カーソル６３が位置する視野映像６０の上下及び左右方向の略中央を簡易的に視線の通過位置とみなしている。

図１０は、歌詞表示オブジェクト６１、コントローラオブジェクト６２の正面図、側面図である。歌詞表示オブジェクト６１、コントローラオブジェクト６２は、コンピュータグラフィックによる３次元オブジェクトとして形成されている。また、両者は所定の位置関係で配置されている。図１０の左は歌詞表示オブジェクト６１とコントローラオブジェクト６２の正面図、図１０の右は歌詞表示オブジェクト６１とコントローラオブジェクト６２の正面図である。歌詞表示オブジェクト６１は、矩形をした板状のオブジェクトであり、正面には歌詞文字が表示される。一方、コントローラオブジェクト６２は、コントローラ４を模した板状のオブジェクトである。本実施形態では、コントローラオブジェクト６２の上方に、側面からみたときに所定の角度を設けて歌詞表示オブジェクト６１を配置している。

カラオケ用プログラムを起動したゲーム装置１では、仮想空間を体験しつつ歌唱を行うことが可能である。その際、ユーザーの視線に基づき背景映像を変更する背景映像変更処理を開始する（Ｓ２００）。この背景映像変更処理は、ユーザーの視線に基づき、ユーザーが歌唱に集中（没入）していたか、仮想空間の体験に集中（没入）していたかを判定し、判定に従ってユーザーが視認する背景映像（仮想空間）に変更を加える処理である。背景映像変更処理の詳細は、後で詳しく説明する。

楽曲の再生開始後は、Ｓ１１１〜Ｓ１１６（追従モード）、Ｓ１２１〜Ｓ１２４（固定モード）をフレーム期間で繰り返し実行することで、動的な視野映像６０が形成される。本実施形態では、初期状態として追従モードが設定されているため、モード判定（Ｓ１１０）の結果、追従モード側（Ｓ１１１〜Ｓ１１６）の処理が実行される。まず、カメラ２１でＨＭＤ３の配置を検出（Ｓ１１１）し、ＨＭＤ３の向く方向を使用して、背景映像情報中、視野映像６０として切り出す領域を決定する（Ｓ１１２）。次に、カメラ２１でコントローラ４の配置を検出し（Ｓ１１３）、ＨＭＤ３に対するコントローラ４の相対的な配置が算出される（Ｓ１１４）。算出した相対的な配置に基づき、視野映像６０内におけるコントローラオブジェクト６２の配置を決定する（Ｓ１１５）。表示処理（Ｓ１１６）では、Ｓ１１２で決定した視野映像６０内にコントローラオブジェクト６２を表示するとともに、コントローラオブジェクト６２に対応する位置に歌詞表示オブジェクト６１を表示する。歌詞表示オブジェクト６１上には、楽曲の再生進行にしたがって歌詞情報が表示される。歌詞情報の表示は、通常のカラオケと同様に、表示した歌詞の色替えを行うことで、歌唱すべき歌詞を確認可能としている。

なお、左第１ボタン４６Ｌ１の操作により、歌詞表示オブジェクト６１が透過に切り替えられた場合、表示処理（Ｓ１１６）では、歌詞表示オブジェクト６１を透過させた状態で表示し、歌詞表示オブジェクト６１の背後の視野映像６０を視認しやすいように表示する。歌詞表示オブジェクト６１を非透過とした場合、歌詞表示オブジェクト６１上に表示される歌詞文字が読み取りやすくなる。一方、歌詞表示オブジェクト６１を透過とした場合、歌詞文字は読み取りにくくなるが、背景映像は視認しやすくなる。本実施形態では、ユーザーの操作により、歌詞表示オブジェクト６１を透過、非透過に切り換え可能とすることで、歌詞の読み取りを優先させるか、背景映像の視認性を優先させるかを自在に切り替えることを可能としている。

また、右第１ボタン４６Ｒ１の操作により、コントローラオブジェクト６２が非表示に切り替えられた場合、表示処理（Ｓ１１６）では、コントローラオブジェクト６２を非表示とする。コントローラオブジェクト６２を表示することで、ユーザーが把持しているコントローラ４と同様であって、コントローラ４の動きに追従するコントローラオブジェクト６２を仮想空間内で視認できるため、仮想空間に対する没入感を向上させることが可能である。しかしながら、背景映像を楽しみたいユーザーにとっては、コントローラオブジェクト６２が視界を遮るため煩わしさを感じる場合もある。そのため、本実施形態では、ユーザーの操作によるコントローラオブジェクト６２の表示、非表示を切り替え可能としている。

図１１〜図１３には、追従モードにおける実際の視野映像６０が示されている。なお、各図には、理解を助けるため、歌詞表示オブジェクト６１とコントローラオブジェクト６２とを囲んだ破線と符号を付加している。後で説明する図１４についても同様である。

図１１（Ａ）、図１１（Ｂ）は、共に、歌詞表示オブジェクト６１が非透過、コントローラオブジェクト６２が表示に設定されている場合の視野映像６０である。ユーザーは、把持するコントローラ４に対応するコントローラオブジェクト６２を視野映像６０中に視認するとともに、コントローラオブジェクト６２の上方に位置する歌詞表示オブジェクト６１に表示される歌詞を確認しながら歌唱を行うことが可能である。歌詞表示オブジェクト６１は、非透過となっているため、歌詞表示オブジェクト６１上に表示される歌詞文字は読み取りやすくなっている。

図１２は、歌詞表示オブジェクト６１が非透過、コントローラオブジェクト６２が非表示に設定されている場合の視野映像６０である。この場合、コントローラオブジェクト６２は、視野映像６０中に表示されないが、ユーザーが把持するコントローラ４の移動に追従して歌詞表示オブジェクト６１も移動する。コントローラオブジェクト６２で視野映像６０が阻害されないため、ユーザーは視野映像６０による仮想空間を楽しむことが可能である。

図１３は、歌詞表示オブジェクト６１が透過、コントローラオブジェクト６２が表示に設定されている場合の視野映像６０である。この設定では、歌詞表示オブジェクト６１は透過状態となっているため、ユーザーは歌詞表示オブジェクト６１の背後に位置する映像を視認することが可能である。図１１〜図１３で説明した設定以外に、歌詞表示オブジェクト６１を透過、コントローラオブジェクト６２を非表示に設定することも可能である。なお、本実施形態では、歌詞表示オブジェクト６１に表示される歌詞文字の周辺は非透過だが、歌詞文字のギリギリの位置まで透過にしてもよい。

以上説明した追従モードでは、ユーザーが実空間でコントローラ４を移動させることで歌詞表示オブジェクト６１（コントローラオブジェクト６２が伴う場合もある）を、視野映像６０中の好きな位置に配置することが可能である。したがって、ユーザーが視野映像６０中、注目したい箇所がある場合、当該箇所を避けるように歌詞表示オブジェクト６１を配置させることも可能である。さらには、コントローラ４を移動させることで歌詞表示オブジェクト６１を視野映像６０から外すことも可能であり、歌詞表示が必要としない場合、あるいは背景映像だけを楽しみたい場合にも対応することが可能である。また、歌詞表示オブジェクト６１は板状のオブジェクトであるため、コントローラ４を傾ける僅かな操作で、歌詞表示オブジェクト６１が占める範囲を小さく抑えることも可能である。また、歌詞表示オブジェクト６１は、コントローラ４とＨＭＤ３の相対的な配置にしたがって表示されるため、コントローラ４とＨＭＤ３間の距離を可変させることで、歌詞表示オブジェクト６１の大きさを変更することも可能である。通常の空間と同様、大きく見たい場合には、コントローラ４を顔に近づけることで、歌詞表示オブジェクト６１が拡大して表示される。

一方、モード判定（Ｓ１１０）の結果、固定モードに設定されている場合、Ｓ１２１〜Ｓ１２４の処理が実行される。本実施形態の固定モードは、図８に示す背景映像情報の座標系上の所定位置に歌詞表示オブジェクト６１を固定して表示するモードである。したがって、コントローラ４の位置とは無関係に、背景映像情報で形成される仮想空間の所定位置に歌詞表示オブジェクト６１が表示される。この場合、まず、カメラ２１でＨＭＤ３の配置を検出（Ｓ１２１）することで、背景映像情報中、視野映像６０として切り出す領域を決定する（Ｓ１２２）。次に、カメラ２１でコントローラ４の配置を検出する（Ｓ１２３）。そして、Ｓ１２２で決定した視野映像６０内にコントローラオブジェクト６２を表示するとともに、背景映像情報で形成する仮想空間内の所定位置に歌詞表示オブジェクト６１が配置された表示処理（Ｓ１２３）を実行する。固定モードの場合も、追従モードの場合と同様、歌詞表示オブジェクト６１の透過、非透過、コントローラオブジェクト６２の表示、非表示の設定に従って、表示処理（Ｓ１２４）が実行される。

図１４は、固定モードにおける実際の視野映像６０を示した図である。この例では、背景映像情報中の所定位置（芝生の上）に歌詞表示オブジェクト６１を配置した形態となっている。歌詞表示オブジェクト６１は、実空間におけるコントローラ４の配置とは無関係に、予め定められた仮想空間内の所定位置に配置される。なお、この例では、非透過で歌詞表示オブジェクト６１を表示させている。ユーザーは背景映像情報中、歌詞表示オブジェクト６１が配置された方に目を向ける（ＨＭＤ３を向ける）ことで、歌詞表示オブジェクト６１を視認することが可能である。固定モードでは、ユーザーは、いわば仮想空間内に配置された看板のように、歌詞表示オブジェクト６１を観察することが可能である。なお、図１４の例では、コントローラオブジェクト６２を表示させた設定であって、コントローラオブジェクト６２は、実空間でのコントローラ４の配置に追従して表示される。

以上説明した固定モードでは、背景映像情報で形成される仮想空間内の所定位置に歌詞表示オブジェクト６１を表示することとしている。ユーザーは、歌詞表示オブジェクト６１の位置にＨＭＤ３を向けることで、視野映像６０内に歌詞表示オブジェクト６１を表示させ、歌詞を確認することが可能である。本実施形態では、歌詞表示オブジェクト６１を仮想空間内の所定位置（図８の座標系での所定位置）に位置させることとしているが、任意の位置に変更可能としてもよい。例えば、追従モードから固定モードに変更したときの、歌詞表示オブジェクト６１の位置に固定することが考えられる。ユーザーは追従モードを使用して、歌詞表示オブジェクト６１を固定したい位置に移動させ、追従モードから固定モードに切り替えることで歌詞表示オブジェクト６１を固定することで、仮想空間内の好みの位置に歌詞表示オブジェクト６１を固定表示することが可能となる。また、本実施形態の固定モードでは、同じ箇所に歌詞表示オブジェクト６１を表示することとしているが、楽曲の進行に応じて歌詞表示オブジェクト６１の位置を変更することとしてもよい。

ＨＭＤ３に表示する視野映像６０の形成は、フレーム毎に、Ｓ１１１〜Ｓ１１６（追従モード時）、または、Ｓ１２１〜Ｓ１２４（固定モード時）毎に実行することで、ＨＭＤ３を装着するユーザーに対して仮想空間を体験させることが可能である。その際、歌詞表示オブジェクト６１によってユーザーに歌唱すべき歌詞を観察させることができる。楽曲について演奏情報の演奏終了（Ｓ１１７：Ｙｅｓ）が判定されると、楽曲再生処理の先頭に戻って、次に再生する楽曲をユーザーに選択させる。

では、本実施形態の背景映像変更処理について詳しく説明する。背景映像変更処理は、ユーザーの視線に応じて背景映像に変更を加える処理である。具体的には、ユーザーの視線が歌詞表示領域内に位置しているか否かによって、ユーザーが歌唱に集中（没入）していたか、仮想空間の体験に集中（没入）していたかを判定し、判定結果に基づいてユーザーに視認させる背景映像に変更が加えられる。

図１５は、本実施形態の背景映像変更処理を示すフロー図である。背景映像変更処理において、ユーザーが歌唱、仮想空間のどちらに集中していたかの判定は、ユーザーの視線がどこに位置していたかを使用して行われる。本実施形態では、ユーザーの視線を視線カーソル６３の位置、すなわち、視野映像６０の上下及び左右方向の中央を視線通過位置とみなし、視線が歌詞表示オブジェクト６１に位置しているか否か、具体的には、具体的には、ユーザーの視点位置（眼の位置）と観察位置を結ぶ視線上に歌詞表示オブジェクト６１が位置しているか否かによって判定することとしている。

まず、視線滞在時間Ｔ１の初期化（Ｓ２０１）を行う。そして、区間カウント値Ｔを初期化して区間カウント値Ｔのカウントを開始する（Ｓ２０２）。そして、仮想空間内における視線を、視野映像６０内での視線カーソル６３の位置（視線が通過する位置）に基づいて検出する（Ｓ２０３）。次に、検出した視線に基づいて、視線が歌詞表示領域に位置しているか否かを判定する視線判定処理を実行する（Ｓ２０４）。本実施形態では、歌詞表示領域に歌詞表示オブジェクト６１の占める領域を使用している。

例えば、図１１（Ａ）のように視線カーソル６３が歌詞表示オブジェクト６１に向いている場合（Ｓ２０４：Ｙｅｓ）は、ユーザーの視線は、歌詞表示領域内であると判定し、視線滞在時間Ｔ１をカウントする（Ｓ２０５）。一方、図１１（Ｂ）のように視線カーソル６３が歌詞表示オブジェクト６１に向いていない場合（Ｓ２０４：Ｎｏ）は、ユーザーの視線は、歌詞表示領域内に位置していないと判定し、視線滞在時間Ｔ１のカウントは行わない。Ｓ２０３〜Ｓ２０５の処理を１区間内で繰り返し実行することで、１区間においてユーザーの視線が歌詞表示領域となる歌詞表示オブジェクトを向いていた時間を示す視線滞在時間Ｔ１が得られる。なお、１区間としては、所定時間（例えば、３０秒）とする他、楽曲情報に含まれる区間識別情報を使用して、前奏、Ａメロ、Ｂメロ、間奏等、楽曲の進行に応じた区間を使用することが考えられる。

区間カウント値Ｔが区間境界となった場合（Ｓ２０６）、算出した視線滞在時間Ｔ１に基づき、ユーザーの視線が歌詞表示オブジェクト６１に向いていたか、それ以外の背景映像に向いていたかを判定する（Ｓ２０７）。歌詞表示オブジェクト６１を向いていた時間は、視線滞在時間Ｔ１として得られる。一方、それ以外を向いていた時間は、区間カウント値Ｔから視線滞在時間Ｔ１を引いた値で得られる。したがって、それ以外を向いていた時間Ｔ−Ｔ１が視線滞在時間Ｔ１よりも大きい場合（Ｓ２０７：Ｙｅｓ）、ユーザーの視線は、主に歌詞表示オブジェクト６１以外の背景映像に向いていたこととなる。一方、それ以外を向いていた時間Ｔ−Ｔ１が視線滞在時間Ｔ１以下の場合（Ｓ２０７：Ｎｏ）、ユーザーの視線は、主に歌詞表示オブジェクト６１に向いていたこととなる。

本実施形態の背景映像変更処理は、視線が背景映像、歌詞映像のどちらに向いていたかを判定し、背景映像のコントラストに変更を加えることとしている。図１６は、コントラストを変更したときの視野映像６０を示した図である。本実施形態では、標準コントラストを有する視野映像６０ａから、コントラストを４段階下げた視野映像６０ｅまで変更することが可能となっている。楽曲の再生直後は、標準コントラストの状態で開始される。区間中、ユーザーの視線が主に歌詞表示オブジェクト６１を向いていた場合（Ｓ２０７：Ｎｏ）、次の区間では、背景映像のコントラストは低く設定される（Ｓ２０９）。一方、区間中、ユーザーの視線が主に歌詞表示オブジェクト６１以外を向いていた場合（Ｓ２０７：Ｎｏ）、次の区間では、視野映像６０のコントラストは高く設定される（Ｓ２０８）。なお、視野映像６０ａの状態（コントラストは最高状態）のときに、ユーザーの視線が主に歌詞表示オブジェクト６１以外を向いていた場合（Ｓ２０７：Ｙｅｓ）、あるいは、視野映像６０ｅの状態（コントラストは最低状態）のときに、ユーザーの視線が主に歌詞表示オブジェクト６１を向いていた場合（Ｓ２０７：Ｎｏ）、コントラストは変更せずに現状を維持する。

このようにユーザーの視線が何処に集中していたかによって、背景映像のコントラストを変更するため、ユーザーは自分が背景映像の変化によって、歌詞あるいは背景映像のどちらに集中しているかを認識することが可能となる。コントラストの変更後、演奏が終了していない場合（Ｓ２１０：Ｎｏ）、視線滞在時間Ｔ１の（Ｓ２０１）と、区間カウント値の初期化（Ｓ２０２）を行い、次の区間の判定を実行する。一方、演奏が終了（Ｓ２１０：Ｙｅｓ）に伴い、この背景映像変更処理も終了する。

以上、本発明の一実施形態について説明を行ったが、本発明はこの実施形態のみに限定されるものではなく、各種変形例を採用することが可能である。以下に各種変形例について説明を行う。

（第１変形例）
本実施形態では、背景映像変化処理として、ユーザーの視線に基づき、視野映像６０のコントラストを変更することとしているが、変化させる対象は、視野映像６０のコントラストのみならず、視野映像６０の色、明度、彩度等、各種項目、あるいは、その組み合わせを使用することが可能である。また、本実施形態では、視野映像６０の標準状態から開始して、ユーザーの視線が歌詞表示領域内にあると判定された場合、視野映像６０を劣化させる方向に変化させているが、このような形態に代え、視野映像６０が劣化した状態から開始して、ユーザーの視線が歌詞表示領域内にあると判定された場合、視野映像６０を改善させる方向に変化させることとしてもよい。また、視野映像６０のコントラストのような画像エフェクトを変化させることに代え、背景映像情報の種類を変化させることも考えられる。

図１７は、第１変形例について、楽曲の進行に伴う視野映像６０の変化（分岐）の様子を説明するための図である。この例では、楽曲は進行上、４つの区間（区間Ａ〜区間Ｄ）に分けられている。再生開始直後の区間Ａでは、背景映像情報Ａを使用して、視野映像６０ａがユーザーに対して表示される。この区間Ａにおいて、ユーザーの視線が主に歌詞表示領域を向いていた場合、次の区間Ｂでは、背景映像情報Ｂ１を使用して、視野映像６０ｂがユーザーに対して表示される。一方、区間Ａにおいて、ユーザーの視線が主に歌詞表示領域以外（背景映像）を向いていた場合、次の区間Ｂでは、背景映像情報Ｂ２を使用して、視野映像６０ｂがユーザーに対して表示される。背景映像情報Ｂ１と背景映像情報Ｂ２をストーリー上異なる形態としておくことで、ユーザーの視線に基づき、ストーリーの展開を異ならせることが可能となる。同様に区間Ｃでは、区間Ｂでの視線の判定結果に基づき、使用する背景映像情報Ｃ１〜Ｃ４が使用され、区間Ｄでは、区間Ｃでの視線の判定結果に基づき、使用する背景映像情報Ｄ１〜Ｄ８が使用されることになる。このように、背景映像としての視野映像６０は、コントラストのような画像エフェクトを変更することに代え、再生する背景映像情報を変更することとしてもよい。

また、背景映像の変更としては、再生する背景映像情報の再生速度を変更することとしてもよい。例えば、ユーザーの視線が主に歌詞表示領域を向いている場合、背景映像情報の再生速度を遅く（あるいは停止）し、ユーザーの視線が背景映像を向いている場合、通常（あるいは早い）の再生速度とすることが考えられる。このような場合、ユーザーが背景映像に注目している程、背景映像の先の展開を見ることが可能となり、先の展開を確認したいユーザーの視線を背景映像に注目させることが可能となる。なお、このような形態とは逆に、ユーザーの視線が主に歌詞表示領域を向いている場合、背景映像情報の再生速度を早くする形態も考えられる。

（第２変形例）
前述した実施形態では、視線に基づき、背景映像としての視野映像６０に変更を加えることとしているが、視線に基づいて変更を加える対象は、背景映像に限られるものでは無く、歌詞表示オブジェクト６１、あるいは、表示する歌詞に変更を加えることとしてもよい。歌詞表示オブジェクト６１に変更を加える場合、歌詞表示領域としての歌詞表示オブジェクト６１の色、透過率、大きさ、位置等の内、少なくとも１つを変更することが考えられる。例えば、ユーザーの視線が、主に歌詞表示領域を向いていない場合、歌詞表示オブジェクト６１の大きさを小さく変更することで、視野映像６０中、背景映像の占める割合を増加させていくことが考えられる。また、歌詞に変更を加える場合も同様に、歌詞の色、透過率、大きさ、位置、あるいは、楽曲の進行に同期した色替えの有無のような表現形態の内、少なくとも１つを変更することが考えられる。

（第３変形例）
視線に基づく変更を行う場合には、ユーザーに対して通知を行うこととしてもよい。本実施形態の機能に不慣れなユーザーは、視野映像６０が変化した場合、何故、変化したかが分からない場合がある。視線に基づいて視野映像６０を変化させる際、ユーザーに対して、歌詞表示オブジェクト６１に注目していたため、あるいは、背景映像に注目していたためといった変化の理由を通知してもよい。通知の形態は、歌詞表示オブジェクト６１上に表示する、あるいは、別のオブジェクトを設けて表示する、あるいは、ヘッドホン３２Ｒ、３２Ｌによる音響出力として通知するといったように、ユーザーの仮想空間への没入感を損なわないように通知することが好ましい。

（第４変形例）
前述した本実施形態では、視野映像６０の上下及び左右方向の略中央（視線カーソル６３の位置）を簡易的に視線通過位置とみなすことで視線を検出しているが、実際のユーザーの視線は、ユーザーが眼球を運動させることで、視野映像６０内でも移動する。ユーザーの視線を正確に検出するため、センサーを使用してユーザーの実際の視線を検出してもよい。例えば、ＨＭＤ筐体３７の内部に赤外線センサーを搭載し、ユーザーの眼球の動きを検出することで、視野映像６０内の視線を正確に検出することが考えられる。ユーザーの眼球の動きを検出する場合、ＨＭＤ３を使用して行う形態に限らず、モニタを視認しながら行う従来のカラオケ装置に適用することも可能である。例えば、図１のモニタ２２を直接視認しながら歌唱を行う形態のカラオケでは、例えば、カメラ２１でユーザーの眼球の動きを検出し、モニタ２２の何処（歌詞表示領域もしくはそれ以外の領域）を見ているかを判定し、評価を行うこととしてもよい。

（第５変形例）
前述した実施形態では、ユーザーの視線が歌詞表示領域（歌詞表示オブジェクト６１）を向いていることに基づいて判定を行っているが、視線が視野映像６０中の背景映像を向いていることを条件として判定を行うこととしてもよい。なお、本実施形態では、視野映像６０内に歌詞表示オブジェクト６１以外にコントローラオブジェクト６２も表示している。視線がコントローラオブジェクト６２を向いている場合には背景映像を向いていることとしてカウントしないことが好ましい。

（第６変形例）
前述した実施形態では、視線が歌詞表示オブジェクト６１に位置している場合、歌詞表示領域を向いていると判定しているが、歌詞表示オブジェクト６１よりも狭い領域であって、実際に歌詞文字が表示されている領域を歌詞表示領域として使用することとしてもよい。さらに、歌唱すべき歌詞文字（色替えが行われている部分）を中心とする所定領域を、歌詞表示領域として使用することとしてもよい。

（第７変形例）
前述した実施形態では、ユーザーの操作により、歌詞表示オブジェクト６１の透過、非透過を切り替えることとしているが、歌詞表示オブジェクト６１の透過、非透過は自動で切り替えるようにしてもよい。例えば、前奏、間奏、後奏といった歌唱しない区間では、歌詞表示オブジェクト６１を透過状態に自動で切り替えることで、ユーザーは、当該区間中、歌詞表示オブジェクト６１に阻害されない視野映像を楽しむことが可能となる。このような区間は、図６で説明した楽曲情報中の区間識別情報で判定することが可能である。あるいは、マイクロホン３３に入力される歌唱音声の有無で、ユーザーが歌唱していない期間を判定し、歌詞表示オブジェクト６１を透過状態に切り替えてもよい。

また、固定モードから追従モードに切り替えた際、コントローラ４がＨＭＤ３の近くに位置していると、大きな歌詞表示オブジェクト６１が目の前に表示されてユーザーを驚かしてしまうことが考えられる。したがって、コントローラ４とＨＭＤ３の距離に応じて歌詞表示オブジェクト６１の透過、非透過を切り替えてもよい。例えば、コントローラ４がＨＭＤ３から所定距離以内に位置している場合は、歌詞表示オブジェクト６１を透過状態とすることで、目の前に大きな歌詞表示オブジェクト６１が表示されても支障を抑制することが可能となる。あるいは、背景映像情報において、歌詞表示オブジェクト６１が所定領域に位置した場合には、歌詞表示オブジェクト６１を透過状態に切り替えてもよい。

（第８変形例）
前述した実施形態では、背景映像情報はカメラで撮影した実際の映像を使用した形態であるが、背景映像情報をコンピュータグラフィックによる３次元オブジェクトとして形成することとしてもよい。このような形態では、形成された仮想空間内を自由に移動することも可能である。前述の実施形態は固定の視点であるのに対し、第８変形例では自由な視点で仮想空間を体験することが可能となる。視点の移動は、例えば、コントローラ４の左アナログスティック４３Ｌを仮想空間内の移動用に割り当て、左アナログスティック４３Ｌを倒した方向に仮想空間を移動すること、あるいは、再生進行に伴って所定の経路で移動させること等が考えられる。このような場合、視線に基づく背景映像の変更は、３次元オブジェクトの種類、数、大きさ、色を変更する形態とすることが可能となる。例えば、ユーザーの視線が、歌詞表示領域以外（背景映像）を主に向いている場合には、視野映像６０内に表示する３次元オブジェクトの数を増やし、主に歌詞表示領域に向いている場合には、視野映像６０内に表示する３次元オブジェクトの数を減らすといった表現形態を取ることも可能となる。

（第９変形例）
前述の実施形態では、ＨＭＤ３に対するコントローラ４の相対的な方向、ＨＭＤ３とコントローラ４間の距離、ＨＭＤ３に対するコントローラ４の傾きを使用して、歌詞表示オブジェクト６１、コントローラオブジェクト６２を表示させているが、歌詞表示オブジェクト６１、コントローラオブジェクト６２の表示には、ＨＭＤ３に対するコントローラ４の相対的な方向のみを使用することでもよい。視野映像６０中、ＨＭＤ３に対するコントローラ４の相対的な方向に対応した位置に歌詞表示オブジェクト６１、コントローラオブジェクト６２を表示することが可能である。さらに、距離を加えることで大きさを変更することが可能であり、さらに傾きを加えることで見え方を変更することが可能となり、仮想現実性の向上を図ることが可能となる。

（第１０変形例）
前述の実施形態では、ＨＭＤ３、及び、コントローラ４の位置検出について、カメラ２１で撮影した映像を使用した形態としているが、ＨＭＤ３、及び、コントローラ４の位置検出はこのような形態に限られるものではなく、ジャイロ等、各種センターを利用して検出する形態を採用してもよい。また、前述の実施形態では、操作装置として、ゲーム装置１用のコントローラ４を使用しているが、操作装置はコントローラ４に限られるものではなく、ゲーム装置１（情報処理装置）に対して各種指令を出すことのできるデバイスを採用することが可能である。例えば、ユーザーが手に装着して使用するグローブ状のデバイス等を操作装置として使用してもよい。

以上、本実施形態ではゲームシステムを例に取って説明を行ったが、本発明はゲームシステムに限らず、従来のカラオケ装置、パーソナルコンピュータ等の各種情報処理装置に適用することが可能である。また、本実施形態のゲーム装置１や各種情報処理装置で実行され、本発明の機能を実現可能なカラオケ用プログラムについても本発明の範疇に属する。

１：ゲーム装置 ３４：ヘッドバンド
３：ＨＭＤ ３５、３６：ＬＥＤ
４：コントローラ（操作装置） ３７：ＨＭＤ筐体
５：サーバ装置 ４１：ルータ
１０：ＣＰＵ ４１Ｌ：左グリップ
１１：メモリ ４１Ｒ：右グリップ
１２：ビデオＲＡＭ ４２：接続部
１３：映像再生部 ４３Ｌ：左アナログスティック
１４：映像制御部 ４３Ｒ：アナログスティック
１５：音響制御部 ４４：十字キー
１６：第１無線通信部 ４５：ボタン群
１７：第２無線通信部 ４６Ｌ１：左第１ボタン
１８：ＬＡＮ通信部 ４６Ｌ２：左第２ボタン
１９：ハードディスク ４６Ｒ１：右第１ボタン
２０：媒体再生部 ４６Ｒ２：右第２ボタン
２１：カメラ ４７：ＬＥＤ
２２：モニタ ５１：サーバ装置
３１Ｌ：左目用ディスプレイ ６０：視野映像
３１Ｒ：右目用ディスプレイ ６１：歌詞表示オブジェクト
３２（３２Ｒ、３２Ｌ）：ヘッドホン ６２：コントローラオブジェクト
３３：マイクロホン ６３：視線カーソル

Claims (8)

1. 楽曲を演奏する演奏処理と、
   背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
   表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、を実行可能とし、
   表示処理は、演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、背景映像、歌詞表示領域、歌詞の少なくとも何れか１つを変更することを特徴とする
   カラオケ装置。
2. 表示部はユーザーの頭部に装着するヘッドセットに配置され、
   表示処理は、ヘッドセットの移動に応じて映像を移動させ、
   視線判定処理は、表示部に表示される映像の所定位置をユーザーの視線通過位置として視線を判定することを特徴とする
   請求項１に記載のカラオケ装置。
3. 視線判定処理は、ユーザーの眼球の動きを検出することでユーザーの視線を判定することを特徴とする
   請求項１に記載のカラオケ装置。
4. 表示処理は、歌詞表示領域、歌詞について、色、透過率、位置、大きさの少なくとも１つを変更することを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケ装置。
5. 表示処理は、背景映像のコントラスト、色、明度、彩度の少なくとも１つを変更することを特徴とする
   請求項１から請求項４の何れか１項に記載のカラオケ装置。
6. 表示処理は、背景映像の再生速度を変更することを特徴とする
   請求項１から請求項５の何れか１項に記載のカラオケ装置。
7. 表示処理は、背景映像の種類を変更することを特徴とする
   請求項１から請求項６の何れか１項に記載のカラオケ装置。
8. 楽曲を演奏する演奏処理と、
   背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
   表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、を情報処理装置に実行させ、
   表示処理は、演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、背景映像、歌詞表示領域、歌詞の少なくとも何れか１つを変更することを特徴とする
   カラオケ用プログラム。