JP5913709B1 - 画像生成装置、画像生成方法、及び画像生成プログラム - Google Patents

Abstract

【課題】ユーザがあまり見ない領域に付加的な情報を表示する画像生成装置、生成方法及び生成プログラムを提供する。【解決手段】画像生成装置の画像出力部が、ヘッドマウントディスプレイ（ＨＭＤ）へ画像を表示するＳ６０４。頻度エリア識別部は、ユーザが画像の各部分を見る頻度に基づいて作成した統計データに基づいて、頻度が閾値を下回っている画像内のエリアを低頻度エリアとして識別するＳ６０８。画像生成装置の付加画像生成部は、低頻度エリアに画像と重畳して配置するための付加画像を生成しＳ６１０、画像及び付加画像をディスプレイへ出力するＳ６１２。【選択図】図６

Description

本発明は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。

コンテンツに重畳して付加的な情報を表示する技術が知られている。例えば、特許文献１では、コンテンツの特性に応じて定まる表示領域に付加的な情報を表示している。

特許第５４６５６２０号公報

ユーザがあまり見ない領域に付加的な情報を表示することで、新たなユーザ体験を創出できる可能性がある。

本発明は、上記の点に鑑みてなされたものであり、その目的の１つは、ユーザがあまり見ない領域に付加的な情報を表示することを可能にする画像生成装置、画像生成方法、及び画像生成プログラムを提供することにある。

上述した課題を解決するために、本発明の一態様は、ディスプレイに表示するための画像を生成する画像生成手段と、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、を備える画像生成装置である。

また、本発明の他の一態様は、コンピュータが実行する画像生成方法であって、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を含む画像生成方法である。

また、本発明の他の一態様は、コンピュータに、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を実行させるための画像生成プログラムである。

本発明によれば、ユーザがあまり見ない領域に付加的な情報を表示することが可能である。

図１は、本発明の一実施形態に係る画像表示システム１００のハードウェア構成図である。 図２は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。 図３は、頻度統計部２３２によって作成される統計データの一例を示す。 図４は、頻度統計部２３２によって作成される統計データの一例を示す。 図５は、低頻度エリアの一例を示す。 図６は、本発明の一実施形態に係る画像生成装置２００の処理手順を示すフローチャートである。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。

（項目１）ディスプレイに表示するための画像を生成する画像生成手段と、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、を備える画像生成装置。

（項目２）前記ディスプレイは、ヘッドマウントディスプレイとして構成され、前記画像は、前記ヘッドマウントディスプレイを装着した前記ユーザに対して提示される仮想現実画像である、項目１に記載の画像生成装置。

（項目３）前記頻度統計手段は、視線方向検出手段によって検出された前記ユーザの視線方向に基づいて前記頻度を算出する、項目１又は２に記載の画像生成装置。

（項目４）前記頻度統計手段は、前記ユーザの頭の向きを検知するセンサからの出力に基づいて前記頻度を算出する、項目１又は２に記載の画像生成装置。

（項目５）前記付加画像生成手段は、前記視線方向検出手段によって検出された前記ユーザの現在の視線方向、又は前記センサによって検知された前記ユーザの現在の頭の向きに応じて前記付加画像を動的に変化させる、項目３又は４に記載の画像生成装置。

（項目６）前記低頻度エリア識別手段は、前記頻度が第１閾値を下回っている前記画像内のエリアを第１低頻度エリア、前記頻度が前記第１閾値を上回り、且つ前記第１閾値よりも大きい第２閾値を下回っている前記画像内のエリアを第２低頻度エリアとしてそれぞれ識別し、前記付加画像生成手段は、前記第１低頻度エリアに前記画像と重畳して第１付加画像を配置し、前記第２低頻度エリアに前記画像と重畳して前記第１付加画像とは属性値の異なる第２付加画像を配置する、項目１から５のいずれか１項に記載の画像生成装置。

（項目７）コンピュータが実行する画像生成方法であって、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を含む画像生成方法。

（項目８）コンピュータに、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を実行させるための画像生成プログラム。

［本発明の実施形態の詳細］
以下、図面を参照しながら本発明の実施形態について詳しく説明する。

図１は、本発明の一実施形態に係る画像表示システム１００のハードウェア構成図である。画像表示システム１００は、ヘッドマウントディスプレイ（Head Mounted Display：以下ＨＭＤと称する）１２０と、画像生成装置２００とを備える。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。

ＨＭＤ１２０は、ユーザ１６０の頭に装着されて利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、アイトラッキングデバイス（Eye Tracking Device：以下ＥＴＤと称する）１２４と、センサ１２６とを備える。ＥＴＤ１２４とセンサ１２６は、どちらか一方だけが択一的に設けられてもよい。ＨＭＤ１２０は更に、不図示のスピーカ（ヘッドホン）やカメラを備えてもよい。

ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１６０の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１２０の外界の光景はユーザ１６０の視界から遮断され、ユーザ１６０の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想現実画像である。あるいは、現実世界の実際の地形や物体等の位置座標データに基づいて、現実世界をコンピュータグラフィックスで表現してもよい。更に、コンピュータグラフィックスによるのではなく、ＨＭＤ１２０に装備された不図示のカメラを用いてユーザ１６０の視点で撮影した映像を、ディスプレイ１２２に表示することとしてもよい。

ＥＴＤ１２４は、ユーザ１６０の眼球の動きを追跡して、ユーザ１６０の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１２４は、赤外線光源と赤外線カメラとを備える。赤外線光源は、ＨＭＤ１２０を装着したユーザ１６０の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１６０の目の画像を撮像する。赤外線はユーザ１６０の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１６０の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１６０の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１６０の視線の方向が検出される。ユーザ１６０の視線方向は、ディスプレイ１２２に表示された画像のうちユーザ１６０がどの部分を注視しているかを示す。

センサ１２６は、ＨＭＤ１２０を装着したユーザ１６０の頭がどちらの方向を向いているかを検知するためのセンサである。センサ１２６としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１６０の頭の向きが算出される。ユーザ１６０の頭の向きは、ユーザ１６０が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに利用することができる。ユーザ１６０の頭の動きに合わせてディスプレイ１２２の表示画像を変化させる場合、ユーザ１６０の頭の向きは、ディスプレイ１２２の表示画像のうちユーザ１６０が見ている蓋然性が比較的高い部分の大まかな目安を示す。

なおセンサ１２６は、ＨＭＤ１２０の外部に設けられたセンサであってもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１６０の頭の向きを特定することができる。

画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するための装置である。画像生成装置２００は、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０８とを少なくとも備える。画像生成装置２００は更に、その他のコンポーネントとして、例えばネットワークを介して他の装置と通信するためのネットワークインターフェイス（不図示）を備えてもよい。画像生成装置２００は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現することが可能である。

メモリ２０４には、少なくともオペレーティングシステムと画像生成プログラムとが格納されている。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置２００が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。

プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。

ユーザ入力インターフェイス２０８は、画像表示システム１００のユーザから画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０８の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。

図２は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。画像生成装置２００は、記憶部２２０及び処理部２３０を有する。処理部２３０は更に、画像生成部２３１と、頻度統計部２３２と、低頻度エリア識別部２３３と、付加画像生成部２３４と、画像出力部２３５とを含む。記憶部２２０は、図１に示されたメモリ２０４に対応する。処理部２３０及び処理部２３０に含まれる各部２３１〜２３５は、図１に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。

画像生成部２３１は、ＨＭＤ１２０に表示するための画像を生成する。例えば、画像生成部２３１は、記憶部２２０から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部２３１は、ＨＭＤ１２０を装着したユーザ１６０がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実画像を生成することとしてよい。仮想現実画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部２３１によって生成される仮想現実画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバターの体の一部（手や足）やアバターが手で持っている物体（銃や剣）等を含む。また、画像生成部２３１は、現実世界の実際の地形データ等に基づいて現実世界を再現したコンピュータグラフィックス画像を生成することとしてもよい。更に、画像生成部２３１が生成する画像は、コンピュータグラフィックス処理によるものではなく、例えば、ＨＭＤ１２０に装備された外部カメラによってユーザ１６０の視点で撮影された映像そのものであってもよい。

画像生成部２３１は、更に、センサ１２６からの出力値に基づいて画像を変化させることとしてもよい。例えば、画像生成部２３１が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ１２６からの出力値が示すユーザ１６０の頭の動きに追従して移り変わっていく様子を表す画像であってよい。

画像生成部２３１によって生成された画像は、画像出力部２３５を介してＨＭＤ１２０へ出力されて、ディスプレイ１２２に表示される。

頻度統計部２３２は、ＨＭＤ１２０を装着したユーザ１６０がディスプレイ１２２に表示された画像の各部分を見る頻度に基づいて、統計データを作成する。統計データは、ディスプレイ１２２に表示された画像のどの部分がよく見られ、どの部分があまり見られていないかを示す。例えば、頻度統計部２３２は、ＥＴＤ１２４によって検出されたユーザ１６０の視線方向に基づいて、ユーザ１６０が画像の各部分を見る頻度の統計データを作成する。また、頻度統計部２３２は、センサ１２６によって検知されたユーザ１６０の頭の向きに基づいて、ユーザ１６０が画像の各部分を見る頻度の統計データを作成してもよい。図３及び４を参照して具体的に説明する。

図３は、ＨＭＤ１２０のディスプレイ１２２に表示される表示画像５２０を示す。表示画像５２０は、複数の部分領域５０１を含む。図３の例では、部分領域５０１は、表示画像５２０を縦横に格子状に分割してできる１つ１つの小さな画像範囲である。ＨＭＤ１２０を装着したユーザ１６０は、ある瞬間において表示画像５２０のうちある特定の部分領域５０１を注視し、また別の瞬間には別の部分領域５０１を注視する。ユーザ１６０の視線は、時間の経過と共に表示画像５２０の異なる部分領域５０１を行き来する。この時々刻々のユーザ１６０の視線方向は、ＥＴＤ１２４によって検出されて、頻度統計部２３２へ入力される。

図３の部分領域５０１には、それぞれ「０」から「５」までのいずれかの数字が記されている。この数字は、当該数字が記されている部分領域５０１の頻度値を表す。例えば、頻度値「０」は、ユーザ１６０がその部分領域５０１を全く見ていないことを示す。また、頻度値「１」は、ユーザ１６０がその部分領域５０１を僅かな頻度で見たことを示し、頻度値「５」は、ユーザ１６０がその部分領域５０１を最高頻度で見たことを示す。中間の頻度値「２」、「３」、「４」は、頻度値「１」と「５」を適宜按分した頻度を示す。頻度統計部２３２は、所定の時間期間、ＥＴＤ１２４から入力されたユーザ１６０の視線方向を収集して、その収集結果に従って部分領域５０１毎に頻度値を付与する。例えば、頻度統計部２３２は、当該時間期間においてユーザ１６０の視線の滞在時間が最も長いグループに分類される部分領域５０１に対して頻度値「５」を付与し、その次に滞在時間が長いグループに分類される部分領域５０１に対して頻度値「４」を付与する。同様にして他の頻度値も付与される。

図４は、ＨＭＤ１２０のディスプレイ１２２に一度に表示される範囲５３０よりも広い領域５４０を示す。領域５４０は、例えば、コンピュータゲームによる仮想現実空間内でユーザが自分の周囲に見ることができる光景の全体を表す。表示範囲５３０は、仮想現実空間内でユーザがある特定方向を向いた時に視界に入る限られた範囲の光景を表し、図３の表示画像５２０の範囲に対応する。例えば、ユーザ１６０が頭をいろいろな方向に動かした場合、表示範囲５３０は頭の動きに追従して領域５４０内を動き回る。

図４に示されるように、領域５４０は、図３で説明したのと同様の複数の部分領域５０１を含む。ＨＭＤ１２０を装着したユーザ１６０は、ある時間帯において頭をある特定の方向に向けている。ユーザ１６０が当該方向に頭を向けている間に、図３において説明したのと同様にして、その時の表示範囲５３０に含まれる部分領域５０１に対して頻度値が付与される。またユーザ１６０は、別の時間帯では頭を別の方向に向ける。ユーザ１６０が当該別の方向に頭を向けている間、同様にその時の表示範囲５３０に含まれる部分領域５０１に対して頻度値が付与される。２つの時間帯における表示範囲５３０が一部重なる場合には、例えば、その重なった部分領域５０１にユーザ１６０の視線が滞在する合計の時間に基づいて、各部分領域５０１に頻度値が付与される。

図４のように表示範囲５３０が領域５４０内を移動する例においては、ユーザ１６０の頭の向きに基づいて、各部分領域５０１の頻度値を決定することとしてもよい。例えば、ユーザ１６０が頭を動かすと、センサ１２６によってユーザ１６０の頭の向きが検知されて、その向きに応じた表示範囲５３０の画像が画像生成部２３１によって生成される。この時、ユーザ１６０の実際の視線は生成された画像内の任意の部分に存在し得るが、ここでは１つの仮定として、ユーザ１６０は表示範囲５３０内の所定の固定部分（例えば表示範囲５３０の中心）を見ているとみなすこととする。頻度統計部２３２は、表示範囲５３０の当該固定部分の方向がユーザ１６０の視線方向であるものとして、各部分領域５０１の頻度値を決定する。例えば、頻度統計部２３２は、所定の時間期間にわたって表示範囲５３０が領域５４０内を動く様子を追跡し、表示範囲５３０の中心と重なっている時間が長い部分領域５０１には大きい頻度値、表示範囲５３０の中心と重なっている時間が短い部分領域５０１には小さい頻度値を付与する。

このように、ユーザ１６０の視線方向又は頭の向きに基づいて、各部分領域５０１の頻度値が統計的に収集される。収集された各部分領域５０１の頻度値は統計データを構成する。統計データは、記憶部２２０に格納されてよい。

なお、図３及び図４に描かれている点線（部分領域５０１の枠線）と数字（頻度値）は、以上の説明のために表したものであって、画像そのものを構成する要素ではなく、したがってＨＭＤ１２０のディスプレイ１２２には表示されないことに留意されたい。

低頻度エリア識別部２３３は、頻度統計部２３２によって作成された統計データに基づいて、低頻度エリアを識別する。低頻度エリアは、ＨＭＤ１２０のディスプレイ１２２に表示された画像のうち、ユーザ１６０に見られる頻度が低い部分的なエリアである。例えば、低頻度エリア識別部２３３は、統計データを構成する各部分領域５０１の頻度値を所定の閾値と比較し、比較の結果、ある部分領域５０１の頻度値が閾値を下回っていれば、その部分領域５０１を低頻度エリアの一部と判断する。

図５は、低頻度エリアの一例を示す。この例は、図３に示した各部分領域５０１の頻度値の例に対応する。図５に例示された低頻度エリア５７０は、図３において頻度値「０」又は「１」を付与された部分領域５０１からなるエリアである。別の例として、「０」又は「１」又は「２」の頻度値を付与された部分領域５０１を低頻度エリアとしてもよい。

また低頻度エリア識別部２３３は、低頻度エリアを頻度値に応じて複数段階に分類することとしてもよい。例えば、低頻度エリア識別部２３３は、頻度値が「０」又は「１」である部分領域５０１を第１低頻度エリアとし、頻度値が「２」又は「３」である部分領域５０１を第２低頻度エリアとしてもよい。

付加画像生成部２３４は、低頻度エリアに配置するための付加画像を生成する。生成された付加画像は、画像出力部２３５を介してＨＭＤ１２０へ出力されて、画像生成部２３１からの画像と重畳してディスプレイ１２２に表示される。付加画像は、例えば、仮想現実空間に広告を提示したり、コンピュータゲームにおいて敵キャラクタや有用なアイテムを表示したりするのに利用できる。付加画像はユーザ１６０に見られる頻度が低い低頻度エリアに表示されるので、ユーザ１６０は付加画像にあまり影響されずに画像生成部２３１からの画像を視認することができる。その反対に、例えば低頻度エリアにユーザ１６０にとって価値の高い付加画像が表示され得るというルールを仮定すれば、ユーザ１６０の注意を画像生成部２３１からの画像（低頻度エリア以外のエリア）だけでなく低頻度エリアにも向けさせることができる。例えば、コンピュータゲームの例において、価値の高いレアアイテムや倒すと高得点の得られる敵キャラクタを付加画像として低頻度エリアに表示することで、ゲームの面白さを高めることが可能である。

更に、付加画像生成部２３４は、ユーザ１６０の現在の視線方向や頭の向きに応じて付加画像を動的に変化させてもよい。例えば、まず付加画像としてあるキャラクタ（幽霊やモグラたたきゲームのモグラ）が低頻度エリアに表示される。付加画像生成部２３４は、ＥＴＤ１２４又はセンサ１２６からの入力に基づいて、ユーザ１６０が視線（又は頭）を低頻度エリアに向けようとしている（向けつつある）か否かを判定する。ユーザ１６０が視線を低頻度エリアに向けようとしている場合、付加画像生成部２３４は、当該キャラクタの付加画像を、例えばキャラクタがユーザ１６０の視線から逃げる（幽霊が視界から消える、又はモグラが地面に隠れる）ような付加画像に変化させる。ユーザ１６０の視線が低頻度エリアに近付く度合いに応じて、キャラクタの逃げる度合いを調整してもよい。

付加画像生成部２３４はまた、低頻度エリアが複数段階に分類されている場合、分類された低頻度エリア（第１低頻度エリア、第２低頻度エリア等）毎に異なる付加画像（第１付加画像、第２付加画像等）を生成することとしてもよい。例えば、第１低頻度エリアに表示される第１付加画像の属性値は、第２低頻度エリアに表示される第２付加画像の属性値と異なる。一例として、第１低頻度エリアが頻度値「０」及び「１」に対応し、第２低頻度エリアが頻度値「２」及び「３」に対応する場合、ユーザ１６０に見られる頻度がより低いエリアである第１低頻度エリアに、より価値の高いレアアイテムや、倒すとより高い得点の得られる敵キャラクタを第１付加画像として表示することで、ゲームの面白さをより一層高めることが可能である。

図６は、本発明の一実施形態に係る画像生成装置２００の処理手順を示すフローチャートである。まず、ステップＳ６０２において、画像生成装置２００の画像生成部２３１が、ＨＭＤ１２０に表示するための画像を生成する。次に、ステップＳ６０４において、画像生成装置２００の画像出力部２３５が、画像生成部２３１により生成された画像をＨＭＤ１２０へ出力する。これにより、ＨＭＤ１２０のディスプレイ１２２に画像が表示される。次に、ステップＳ６０６において、画像生成装置２００の頻度統計部２３２が、ＨＭＤ１２０を装着したユーザ１６０がディスプレイ１２２に表示された画像の各部分を見る頻度に基づいて、統計データを作成する。例えば、画像生成装置２００の頻度統計部２３２は、ＥＴＤ１２４によって検出されたユーザ１６０の視線方向、又はセンサ１２６からの出力値により検知されるユーザ１６０の頭の向きに基づいて、各部分領域の頻度値を決定する。次に、ステップＳ６０８において、画像処理装置２００の低頻度エリア識別部２３３が、頻度統計部２３２によって作成された統計データに基づいて、ユーザ１６０に見られる頻度が低い低頻度エリアを識別する。次に、ステップＳ６１０において、画像生成装置２００の付加画像生成部２３４が、低頻度エリアに配置するための付加画像を生成する。次に、ステップＳ６１２において、画像生成装置２００の画像出力部２３５が、付加画像生成部２３４により生成された付加画像をＨＭＤ１２０へ出力する。これにより、ＨＭＤ１２０のディスプレイ１２２上の画像に重畳して、低頻度エリアに付加画像が表示される。

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。

１００ 画像表示システム
１２０ ヘッドマウントディスプレイ（ＨＭＤ）
１２２ ディスプレイ
１２４ アイトラッキングデバイス（ＥＴＤ）
１２６ センサ
１５０ 有線ケーブル
２００ 画像生成装置
２０２ プロセッサ
２０４ メモリ
２０８ ユーザ入力インターフェイス
２２０ 記憶部
２３０ 処理部
２３１ 画像生成部
２３２ 頻度統計部
２３３ 低頻度エリア識別部
２３４ 付加画像生成部
２３５ 画像出力部
５７０ 低頻度エリア

Claims (7)

1. ディスプレイに表示するための画像を生成する画像生成手段と、
   ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、
   前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、
   前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、
   前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、
   を備え、
   前記ディスプレイは、非透過型ヘッドマウントディスプレイとして構成され、
   前記画像は、前記非透過型ヘッドマウントディスプレイを装着した前記ユーザに対して提示される仮想現実画像である、
   画像生成装置。
2. 前記頻度統計手段は、視線方向検出手段によって検出された前記ユーザの視線方向に基づいて前記頻度を算出する、
   請求項１に記載の画像生成装置。
3. 前記頻度統計手段は、前記ユーザの頭の向きを検知するセンサからの出力に基づいて前記頻度を算出する、
   請求項１に記載の画像生成装置。
4. 前記付加画像生成手段は、前記視線方向検出手段によって検出された前記ユーザの現在の視線方向、又は前記センサによって検知された前記ユーザの現在の頭の向きに応じて前記付加画像を動的に変化させる、
   請求項２又は３に記載の画像生成装置。
5. 前記低頻度エリア識別手段は、前記頻度が第１閾値を下回っている前記画像内のエリアを第１低頻度エリア、前記頻度が前記第１閾値を上回り、且つ前記第１閾値よりも大きい第２閾値を下回っている前記画像内のエリアを第２低頻度エリアとしてそれぞれ識別し、
   前記付加画像生成手段は、前記第１低頻度エリアに前記画像と重畳して第１付加画像を配置し、前記第２低頻度エリアに前記画像と重畳して前記第１付加画像とは属性値の異なる第２付加画像を配置する、
   請求項１から４のいずれか１項に記載の画像生成装置。
6. コンピュータが実行する画像生成方法であって、
   ディスプレイに表示するための画像を生成するステップと、
   前記画像を前記ディスプレイへ出力するステップと、
   ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、
   前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、
   前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、
   前記付加画像を前記ディスプレイへ出力するステップと、
   を含み、
   前記ディスプレイは、非透過型ヘッドマウントディスプレイとして構成され、
   前記画像は、前記非透過型ヘッドマウントディスプレイを装着した前記ユーザに対して提示される仮想現実画像である、
   画像生成方法。
7. コンピュータに、
   ディスプレイに表示するための画像を生成するステップと、
   前記画像を前記ディスプレイへ出力するステップと、
   ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、
   前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、
   前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、
   前記付加画像を前記ディスプレイへ出力するステップと、
   を実行させるための画像生成プログラムであって、
   前記ディスプレイは、非透過型ヘッドマウントディスプレイとして構成され、
   前記画像は、前記非透過型ヘッドマウントディスプレイを装着した前記ユーザに対して提示される仮想現実画像である、
   画像生成プログラム。

Images