JPWO2018211672A1

JPWO2018211672A1 - 画像生成装置、画像表示システム、および画像生成方法

Info

Publication number: JPWO2018211672A1
Application number: JP2019518707A
Authority: JP
Inventors: 英彦小笠原
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2017-05-18
Filing date: 2017-05-18
Publication date: 2019-11-07
Anticipated expiration: 2037-05-18
Also published as: JP6909286B2; US20200051207A1; WO2018211672A1; US11216907B2

Abstract

画像生成装置１０は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の動きに係る情報を取得する。頭部が停止している期間、画像生成装置１０は標準の解像度で表示画像７０を生成しヘッドマウントディスプレイ１００に送信することにより同じ解像度の表示画像７１が表示される。頭部が動いている期間、画像生成装置１０は解像度を低下させた表示画像７２を生成し、ヘッドマウントディスプレイ１００でそれを拡大した表示画像７３を生成し表示する。

Description

本発明はヘッドマウントディスプレイを用いた画像表示技術に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

上記のような技術で臨場感を高めるには、高精細な画像を高いフレームレートで表示することが求められる。結果として、表示画像を送出する装置とヘッドマウントディスプレイの間でのデータ伝送量は増大する傾向にある。一方、ヘッドマウントディスプレイを装着したユーザが自由に動き回れるようにするには、表示画像を送出する装置とヘッドマウントディスプレイとの通信を無線化することが望まれる。

しかしながら無線化した場合、データ伝送量の増加は消費電力の増加につながり、ヘッドマウントディスプレイ側の電池を大容量とするなどの対策が必要となる。その結果、ヘッドマウントディスプレイの重量が増したり熱を発生させたりして使用感が損なわれることが考えられる。またデータサイズが増えると、確保できる伝送帯域や通信の状態などに起因して、表示に遅延が生じたり送信に失敗したりする可能性が高まる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、高品質な画像表現と、ヘッドマウントディスプレイの使用感の向上を両立させることのできる技術を提供することにある。

本発明のある態様は画像生成装置に関する。この画像生成装置は、ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、設定に従う解像度で表示画像を生成する画像生成部と、表示画像のデータをヘッドマウントディスプレイに出力する出力部と、を備えたことを特徴とする。

本発明の別の態様は画像表示システムに関する。この画像表示システムは、ヘッドマウントディスプレイと、それに表示させる画像を生成する画像生成装置を含む画像表示システムであって、画像生成装置は、ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、設定に従う解像度で表示画像を生成する画像生成部と、表示画像のデータをヘッドマウントディスプレイに出力する出力部と、を備え、ヘッドマウントディスプレイは、画像生成装置が出力した、解像度を低下させた表示画像のデータを拡大して表示させる画像形成部を備えたことを特徴とする。

本発明のさらに別の態様は画像生成方法に関する。この画像生成方法は、ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定するステップと、頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行うステップと、設定に従う解像度で表示画像を生成するステップと、表示画像のデータをヘッドマウントディスプレイに出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、快適な使用感でヘッドマウントディスプレイによる高品質な画像表現を実現できる。

実施の形態１におけるヘッドマウントディスプレイの外観例を示す図である。実施の形態１における画像表示システムの構成例を示す図である。実施の形態１における画像生成装置の内部回路構成を示す図である。実施の形態１における像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。実施の形態１におけるヘッドマウントディスプレイに注視点検出器を導入した場合の構成例を示す図である。実施の形態１における、表示画像を構成するフレームの時間的な変化を模式的に示す図である。実施の形態１において領域によって解像度を異ならせる場合の、頭部の動きの速度と領域の関係例を模式的に示す図である。実施の形態１における画像生成装置が、ユーザの頭部の動きに応じた解像度で表示画像を生成、出力する処理手順を示すフローチャートである。実施の形態２における画像生成装置の機能ブロックの構成を示す図である。実施の形態２における、表示画像を構成するフレームの時間的な変化を模式的に示す図である。実施の形態２における画像生成装置が、優位眼／非優位眼によりステレオ画像の解像度に差を設けて表示画像を生成、出力する処理手順を示すフローチャートである。本実施の形態の変形例において、頭部の動きによる解像度の低減処理と、目の優位性による解像度の調整を組み合わせたときの、表示画像を構成するフレームの時間的な変化を模式的に示す図である。

実施の形態１
図１は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大するレンズを備えてよい。表示パネルを左右に分割してなる各領域に、両眼の視差に対応するステレオ画像を表示することにより立体視を実現してもよい。

ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ１００は筐体１０８の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＵなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。

図２は、本実施の形態の画像表示システムの構成例を示している。ヘッドマウントディスプレイ１００は無線通信により画像生成装置１０に接続される。ただしＵＳＢなどによる有線接続としてもよい。画像生成装置１０は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置１０に提供してもよい。

画像生成装置１０は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野で表示画像を生成してヘッドマウントディスプレイ１００に出力する。ここで出力データの内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々でよい。

例えば画像生成装置１０は、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影した画像に何らかの加工を施したり、電子ゲームを進捗させてゲーム画面を生成したりしてもよい。このような態様の代表的なものとして、仮想現実（VR:Virtual Reality）や拡張現実（AR:Augmented Reality）が挙げられる。あるいは全てが仮想オブジェクトで構成される仮想世界を構築し、ユーザの視点の位置や視線の方向に応じた視野で当該仮想世界を描画してもよい。

表示画像の生成に用いる頭部の位置や姿勢を特定するため、画像生成装置１０はヘッドマウントディスプレイ１００が撮影した画像をＳＬＡＭ（Simultaneous Localization and Mapping）などの既存技術で解析する。あるいは画像生成装置１０は、ヘッドマウントディスプレイ１００が備えるセンサの計測値から頭部の姿勢、動き、位置を取得する。それらの処理結果を統合して精度を高めてもよい。

このような画像表示システムにおいて、画像生成装置１０はユーザの頭部が動いている期間、表示画像の少なくとも一部分の解像度を低くすることにより、データ伝送量を軽減し消費電力を抑える。人間が頭部を動かすと、相対的に周囲の物が動くため、動体を見ているのと同様の状況になる。ここで人間の動体視力は、停止している物を見る際の静止視力の数分の１であることが知られている（例えばMuzdalo, "The Importance of Measuring Dynamic Visual Acuity", Coll. Antropl. 37 (2013) Suppl. 1, p. 275-285参照）。すなわち実世界では、頭部を動かしている期間、人間の視力は低下していることになる。

一方、ヘッドマウントディスプレイの場合、表示パネルが頭部とともに動くため、遠くにあるように表現されている物であっても見え方に変化なく、常に詳細な情報が眼球に到達し続ける。このため一般的な表示処理では、実世界における見え方の変化との解離が生じ得る。上述のように頭部が動いている期間に解像度を低下させることにより、むしろ実世界を見ているときに近い画像表現を実現できる。結果として、データ伝送量や消費電力を軽減できる効果と共に、より現実に近い画像表現を達成できる。

図３は、画像生成装置１０の内部回路構成を示している。画像生成装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなりヘッドマウントディスプレイ１００と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ヘッドマウントディスプレイ１００へデータを出力する出力部３６、ヘッドマウントディスプレイ１００や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像生成装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図４は、画像生成装置１０およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。図４および後述する図９に示す各機能ブロックは、ハードウェア的には、図３で示した各種回路や、図１で示したステレオカメラ１１０、図示しない各種センサ、表示パネル、マイクロプロセッサ、メモリなどによりで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置１０は、ヘッドマウントディスプレイ１００から処理に必要なデータを取得するデータ取得部５０、ユーザ頭部の動きの有無を特定する動き検出部５２、頭部の動きの有無に応じて表示画像の解像度を設定する解像度制御部５４、決定された解像度で表示画像を生成する画像生成部５６、表示画像のデータを適宜整形してヘッドマウントディスプレイ１００に出力する出力部５８を含む。

データ取得部５０は、ヘッドマウントディスプレイ１００から撮影画像およびセンサの計測値の少なくともいずれかを、所定のレートで取得する。取得するデータの種類は表示画像の内容や、ユーザの視点に係る情報および頭部の動きの特定に用いるデータの種類などによって様々に考えられる。例えば撮影画像を加工して表示画像を生成するとともに、画像解析のみから頭部の動きを取得する態様においては、撮影画像のデータのみを取得してもよい。

表示画像全体を仮想オブジェクトの描画で生成し、ユーザの視点や頭部の動きをセンサの計測値から求める態様においては、センサの計測値のみを取得してもよい。当然、撮影画像およびセンサ計測値の双方のデータを取得し、撮影画像を表示画像に用いたり、視点や頭部の動きに係る情報を撮影画像やモーションセンサの計測値から取得したりしてもよい。

動き検出部５２は、撮影画像およびモーションセンサの計測値の少なくともいずれかを用いて、頭部が動いているか否かを特定する。例えば頭部の回転角と並進量を所定のレートで求め、それらのうちいずれかがしきい値以上となったときに動いていると判定し、しきい値より小さければ停止していると判定する。

解像度制御部５４は、頭部に動きがあると判定されている期間において、表示画像の少なくとも一部の解像度を低くする設定を行う。最も単純には画像全体の解像度を、頭部に動きがない場合より低く設定する。上述のとおり人間の動体視力は、静止視力の数分の１であることがわかっている。例えば動体視力は静止視力の２／３倍になるとして表示画像の画素に換算すると、１００行の画素列が６７行程度の分解能で視認されることになる。

したがって縦横双方向に解像度を２／３倍に低下させても、そのような変化が認識される可能性は低い。このようにすると、元の画像に比べてデータ量が半分以下となり、消費電力を大幅に軽減できる。ただし解像度の低減率をこれに限る主旨ではなく、使用可能な伝送帯域、許容できる消費電力などに鑑み適正値を求めておく。解像度の低減率は１つのみとしてもよいし、頭部の動きが遅いときは低減率を抑え、速いときは低減率を高くするなど、速度の範囲に応じて段階的に解像度を変化させてもよい。

また解像度制御部５４は、表示画像を領域分割し、領域ごとに異なる解像度を設定してもよい。例えばユーザが注視している対象物の像や、注視点から所定範囲の領域の解像度は、その他の領域より解像度を高くしてもよい。この場合、ヘッドマウントディスプレイ１００に一般的な注視点検出器を設け、表示パネルに対する左右の目の注視点の位置座標に係る情報を所定のレートで送信させる。画像生成装置１０のデータ取得部５０はこれを取得し、解像度制御部５４に逐次供給する。

注視点を中心とするある範囲の領域は一般に「有効視野」と呼ばれ、その周囲の「周辺視野」と比較し高い視力で視認されることが知られている。頭部が動いていても、ある物に視点を定めている場合は、瞳孔に対する当該物の相対的な動きは小さいため、頭部が動いていないときの有効視野と同程度の視力での視認が可能である。したがって注視点を含む所定範囲の領域については解像度をある程度維持することにより、解像度の低下がより認識されにくくなる。なお撮影画像をＳＬＡＭによって分析する場合、視野内にある実物体と視線の方向との関係が３次元の情報として求められるため、その結果に基づき注視している箇所を特定し、画像平面におけるそれ以外の領域の解像度を低下させるようにしてもよい。

このように領域分割して解像度を調整する態様においても、相対的な速度の範囲によって領域ごとの解像度の設定を変化させてよい。例えば注視点を含む領域については注視点と注視先の物との相対速度に基づき解像度を設定し、それ以外の領域については、頭部の速度に基づき解像度を設定するようにしてもよい。また頭部の速度によって領域の境界を変化させてもよい。すなわち速度が低いときは注視点から比較的広い範囲の領域で解像度を維持し、速度が高くなるほどそのような領域を狭めて、ひいては低解像度の領域を広げる。

このように速度に応じて境界を変化させるとともに、各領域の解像度を変化させてもよい。なお解像度を異ならせる領域は２つに限らず、３つ以上としてもよい。例えば注視点を中心とし半径の異なる同心円を境界として領域を形成してもよい。解像度制御部５４は、ユーザの頭部の動きに応じて所定のレートで解像度の設定処理を実施し、その結果を画像生成部５６に供給する。

画像生成部５６は、解像度制御部５４が設定した解像度で、表示画像を表示用のフレームレートで生成する。生成する画像の内容は上述のとおり様々であり、撮影画像に何らかの加工を施したり、ユーザの視野に対応するように仮想世界を描画したりしてよい。表示画像の生成に必要なユーザの視点や視線に係る情報は、画像生成部５６がデータ取得部５０から取得したセンサの計測値に基づき行ってもよいし、ＳＬＡＭによる画像解析により求めてもよい。

解像度制御部５４において解像度の設定を行うのにＳＬＡＭによる画像解析を実施する場合は、その結果を共有することができる。なお加工の内容や仮想世界に変化を与えるため、画像生成部５６は電子ゲームなどの情報処理を同時に進捗させてよい。この場合、撮影画像に写る対象物の動きや、図示しない入力装置に対するユーザ操作などに基づき、一般的な情報処理を行えばよい。

入力装置を別途導入する場合、データ取得部５０はユーザ操作の内容を当該入力装置から取得し、画像生成部５６に供給する。画像生成部５６は場合によっては、撮影画像をそのまま表示画像としてもよい。いずれにしろ画像生成部５６は、解像度制御部５４による設定に従い、ユーザの頭部が動いている期間は動いていない期間に比べて、表示画像の少なくとも一部の領域の解像度を低下させる。

解像度を低下させる手法には、バイリニア補間など既存の技術を用いることができる。出力部５８は、生成された画像のデータを適宜整形し、ヘッドマウントディスプレイ１００に順次送信する。例えば立体視を実現させる場合、画像生成部５６が生成した左右視点のステレオ画像を左右に並べて最終的な表示用のデータとする。

ヘッドマウントディスプレイ１００が、レンズを介して表示画面を見る形態の場合、その状態で適正に見えるように、各視点の画像にレンズによる歪みを考慮した補正を施してもよい。なお表示画像のデータを圧縮符号化して送信する場合、出力部５８は、圧縮処理において上述したような解像度の低減処理を行ってもよい。例えば画像の周波数帯でデータを分離して送信する態様において、解像度制御部５４による解像度の設定に従い、高周波成分を伝送対象から除外することが考えられる。

また出力部は送信データとして、画像の解像度に係る情報を付加することにより、ヘッドマウントディスプレイ１００において表示パネルの解像度に対応するサイズの表示画像を生成できるようにする。例えば画像全体の解像度を一律に低下させる場合は、表示画像の各フレームに対応づけて解像度の値を送信する。領域によって解像度を異ならせる場合は、領域と解像度とを対応づけたデータを送信する。

ヘッドマウントディスプレイ１００は、実空間を動画撮影する撮像部６０、ヘッドマウントディスプレイの姿勢、動き、位置などを計測する計測部６２、画像生成装置１０と通信を確立しデータの送受信を行う通信部６４、画像生成装置１０から送信された表示画像のデータを最終的な表示形式にする画像形成部６６、および画像を表示する表示部６８を含む。

撮像部６０は、図１のステレオカメラ１１０や単眼カメラなど一般的な撮像装置の構成で実現され、ユーザ前面の実空間を所定のフレームレートで撮影する。計測部６２は加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳなどのセンサの少なくともいずれかで構成され、ヘッドマウントディスプレイ１００、ひいてはそれを装着しているユーザの頭部の加速度や角速度を逐次測定する。それらを組み合わせて慣性計測装置とし、角度、速度、位置を導出できるようにしてもよい。

なお上述のとおり画像生成装置１０が必要とするデータによっては、撮像部６０および計測部６２のどちらかが機能していればよい場合もある。さらに計測部６２に注視点検出器を導入し、表示パネルにおける注視点の位置座標を導出してもよい。通信部６４は、撮像部６０による撮影画像、計測部６２による計測値の少なくともいずれかを画像生成装置１０に順次送信する。通信部６４はさらに、画像生成装置１０から送信された表示画像のデータを受信する。画像形成部６６は、通信部６４から表示画像のデータを取得し、最終的な表示形式に整形する。

すなわち付加データに基づき送信された表示画像の解像度を特定し、表示パネルの解像度に合わせるための補間処理を実施する。領域ごとに解像度が異なる場合は、当該領域ごとに適切な倍率で伸張されるように画素を補間する。補間処理には一般的な手法のいずれを採用してもよい。ただし本実施の形態における解像度の低減率は、動体に対する人間の視力の低下を踏まえ視認に影響のない程度に抑えているため、比較的簡易な手法でも差し支えない。

これにより補間処理に要する時間を短縮でき、表示までのレイテンシを抑えることができる。なお画像形成部６６は、画像生成装置１０から送信された表示画像が低解像度であり画像のサイズが小さいとき、上述のように表示パネルの解像度に合わせて画素を補間することにより拡大してもよいし、送信された表示画像のサイズはそのままとして周囲に黒い領域を設けることにより表示パネルのサイズに合わせてもよい。表示部６８は表示パネルとその駆動回路などで構成され、最終的な表示画像をユーザの目前に提示する。なお頭部が動いておらず、画像生成装置１０から送信された画像の解像度を調整する必要がない場合、通信部６４から表示部６８へ直接データを供給してもよい。

図５は、ヘッドマウントディスプレイ１００に注視点検出器を導入した場合の構成例を示している。同図下段はヘッドマウントディスプレイ１００と、それを装着したユーザの頭部４７２を、上から見た様子を模式的に表している。ヘッドマウントディスプレイ１００には上段で示したような表示画像４７６が表示され、ユーザが左右の目４７４ａ、４７４ｂでそれを見ている。ここで、注視点検出器として、赤外線ＬＥＤ４７８ａ、４７８ｂ、赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂ、および画像解析装置４８２を設ける。

赤外線ＬＥＤ４７８ａ、４７８ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂに赤外線を照射する。赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂを撮影し、そのデータを画像解析装置４８２に供給する。画像解析装置４８２は、左右の目の撮影画像から、赤外線の角膜における反射位置と瞳孔の位置とを特定し、その位置関係からユーザの視線を特定する。この手法は角膜反射法として視線検出技術の分野で実用化されている。なお視線を検出する手法はこれに限らず、例えば可視光カメラで左右の目を撮影し、そのうち目頭と虹彩の位置関係から視線を特定する技術など一般的な手法のいずれを採用してもよい。

画像解析装置４８２は、そのように検出した視線と、表示画像４７６が表示されている表示パネルとの交点４８４ａ、４８４ｂをユーザの注視点とし、その位置座標を検出する。当該注視点の位置座標の情報は画像生成装置１０へ送信され、画像生成装置１０のデータ取得部５０がそれを受信する。解像度制御部５４は、当該注視点に基づき画像平面を領域分割したうえで、それぞれの領域に対し解像度を設定する。

図６は、表示画像を構成するフレームの時間的な変化を模式的に示している。同図の縦方向は時間を表し、表示画像として各時間ステップで生成／表示される画像フレームを矩形で表している。この例では左眼用の画像と右眼用の画像を生成／表示することにより立体視を実現することを想定している。ただし立体視を必須とする主旨ではない。まず頭部に動きのない「停止期間」では、画像生成装置１０は、ヘッドマウントディスプレイの表示解像度に対応する解像度で表示画像７０を生成する。その結果、生成された表示画像が、ヘッドマウントディスプレイ１００にそのまま表示される（表示画像７１）。

そして頭部が動いていると判定される「動き期間」に移行したら、画像生成装置１０は解像度を低下させることにより、停止期間より小さいサイズの表示画像７２を生成する。ヘッドマウントディスプレイ１００では、これを拡大して表示する。結果として表示される画像７４は、本来の画像より高周波成分が少なくなる。図ではその状態を網掛けで示している。あるいは上述の通り周囲に黒い領域を設けることで表示パネルのサイズに合致した表示画像としてもよい。そして頭部が再び停止したら、画像生成装置１０は表示画像の解像度を元に戻し、ヘッドマウントディスプレイ１００では送信された画像をそのまま表示する。

図７は、領域によって解像度を異ならせる場合の、頭部の動きの速度と領域の関係例を模式的に示している。なお表示画像は実際には図６で示すようなステレオ画像でよいが、同図ではその一方のみを示している。また解像度を低下させる領域を網掛けで示している。さらに各表示画像の右側には、当該表示画像を表示させるために画像生成装置１０から送信する画像のデータを、その形状およびサイズを表す図形で示している。

まず頭部に動きがないとみなせる上限速度を第１のしきい値Ｖ_ｔｈ１とすると、実際の速度Ｖが０≦Ｖ＜Ｖ_ｔｈ１の範囲のとき、画像７４のように、注視点７６ａの位置に関わらず画像全体を標準の解像度とする。ここで標準の解像度とは、例えばヘッドマウントディスプレイ１００の表示解像度と同じ解像度である。このとき画像生成装置１０は、標準の解像度に対応するサイズで表示画像全体を表した画像９０のデータを送信する。

一方、頭部が動いているが低速とみなせる上限速度を第２のしきい値Ｖ_ｔｈ２（Ｖ_ｔｈ２＞Ｖ_ｔｈ１）とすると、実際の動きＶがＶ_ｔｈ１≦Ｖ＜Ｖ_ｔｈ２の範囲のとき、画像７８のように、注視点７６ｂを中心とする注視領域８０ｂは標準の解像度とし、その外側の領域の解像度を低下させる。図示する例では、注視領域８０ｂは半径Ｒ１の円形状を有する。このとき画像生成装置１０は、標準の解像度で注視領域８０ｂのみを表した画像９２のデータと、低下させた解像度に対応する、標準より小さいサイズで表示画像全体を表した画像９４のデータを送信する。

なお画像生成装置１０が送信する注視領域８０ｂの画像９２は、実際には注視領域８０ｂに外接する矩形としてよい。あるいは注視領域８０ｂ自体を矩形としてもよい。ヘッドマウントディスプレイ１００の画像形成部６６は、小さいサイズの全体領域の画像９４を拡大したうえ、注視領域８０ｂの画像９２を合成することにより画像７８を生成する。このとき注視領域８０ｂの画像がその外側の領域の画像と滑らかにつながるように、境界部分をアルファブレンド合成することが望ましい。

動きが高速とみなせるＶ_ｔｈ２≦Ｖの範囲では、画像８０のように、注視点７６ｃを中心とする注視領域８０ｃは標準の解像度とし、その外側の領域の解像度を低下させる。ここで注視領域８０ｃの大きさを、低速時の画像７８における注視領域８０ｂより小さくする。図示する例では注視領域８０ｃは半径Ｒ２（Ｒ２＜Ｒ１）の円形状を有する。このとき画像生成装置１０は、標準の解像度で注視領域８０ｃのみを表した画像９６のデータと、低下させた解像度に対応する、標準より小さいサイズで表示画像全体を表した画像９８のデータを送信する。高速時の注視領域の画像９６は低速時の画像９２よりサイズが小さくなる。

また高速時の全体の画像９８は解像度の設定によって、低速時の全体の画像９４より小さいサイズとしてもよいし、同じサイズでもよい。なおこの例では動きの速度に対ししきい値を２つ設定したが、３つ以上でもよいし、１つでもよい。また上述のとおり注視点からの距離に応じて複数段階の境界を設定することにより、３つ以上の領域で解像度を異ならせてもよい。さらに、各領域における解像度の低減率を、速度範囲によって変化させてもよい。

定性的には、速度が大きくなるほど、解像度を低下させる領域を拡張する。これにより、速度が大きくなるほど送信すべきデータのサイズを小さくできる。その一方で、注視している対象については解像度を維持することにより、ある物を注視した状態で移動しているような場合に、注視している物まで精細度が下がりユーザに違和感を与えるのを防ぐことができる。また人間の特性上、動きが速くなるほど有効視野が狭まることを踏まえ、高解像度の領域を狭めることにより、より自然な変化でデータ量を最大限に削減できる。

図示するような態様にはさらに次のような効果もある。すなわち人間の特性として、周辺視野は注視点周辺の有効視野と比較して、動きに対する認識力が高いことがわかっている（例えば、Joseph S. Lappin, et al. "Spatial and temporal limits of motion perception across variations in speed, eccentricity, and low vision", Jornal of Vision, 2009, 9(1), 30, p. 1-14参照）。ヘッドマウントディスプレイでは実際の視野と異なり、頭部が動いても周辺視野に対し精細な画像が提示され、それが高い認識力との相乗効果で脳内に過剰な刺激を与えることもあり得る。本実施の形態のように周辺の解像度をあえて低減させることにより、相対的に大きな動きとなりやすい周辺視野の情報量を下げれば、酔いや眼精疲労が起こりにくい表示形態を実現できる。

なお図示する例では、頭部に動きがない状態では画像７４の全体を標準の解像度としたが、この段階で注視点７６ａを含む標準解像度の領域と、その外側の低解像度の領域で表示画像を構成してもよい。この場合、頭部が動いている期間は、動いていない期間より標準解像度の領域を狭くする。上述のとおり有効視野と比較し周辺視野は低い視力で視認される。またレンズで視野を拡大するヘッドマウントディスプレイ１００の場合、周辺視野は構造上、粗い解像度で視認されるため、表示画像の解像度を上げることによる恩恵は少ない。従って頭部の動きがないときも周辺領域の解像度を低くすることで、視認性への影響を抑えつつデータ伝送量をより軽減できる。

さらに図示する例では、標準解像度の注視領域８０ｂ、８０ｃを円形状としていたが、それに限る主旨ではなく、注視点を重心とする矩形や楕円形、あるいは注視されている対象物の像の領域などとしてもよい。また頭部の動く方向に応じて標準解像度の領域の位置や形状を適応的に変化させてもよい。また注視領域とそれ以外の領域で解像度を異ならせる代わりに、画像の内容として注視が望まれる領域の解像度を他より高くしてもよい。例えばゲームの内容上、重要なオブジェクトが表されている領域や、仮想世界におけるユーザの進行方向の領域、視野の中心領域などの解像度を高くしてもよい。

あるいは図示しない入力装置を介してユーザ操作を受け付ける状況においては、当該操作の対象となっているオブジェクトや操作内容によって、解像度を高くする領域を決定してよい。また解像度を低下させる際は、送信データのビットレートが所定値となるように各領域の解像度を決定する。すなわち注視領域など他より解像度を高くする領域の面積と、当該領域およびそれ以外の領域に設定する解像度との組み合わせを、画像全体のデータ量が所定値に収まるように適切に決定する。

次に、これまで述べた構成により実現できる、画像生成装置１０の動作を説明する。図８は、画像生成装置１０がユーザの頭部の動きに応じた解像度で表示画像を生成、出力する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着したうえ、それへの画像表示を伴う電子コンテンツの開始要求を入力することなどにより開始される。これに応じてヘッドマウントディスプレイ１００では、撮影や各種センサによる計測が開始される。さらに注視点検出器によって注視点の位置座標の測定を開始してもよい。

まず画像生成装置１０のデータ取得部５０は、ヘッドマウントディスプレイ１００から現在時刻ｔの撮影画像のデータおよびセンサ計測値の少なくともいずれかを取得する（Ｓ１０）。このとき時刻ｔの注視点の位置座標も必要に応じて取得する。すると動き検出部５２は、それらを解析することにより、頭部に動きがあるか否かを判定する（Ｓ１４）。実際には上述のとおり、頭部の角速度や並進速度が所定のしきい値（上述の例では第１のしきい値Ｖｔｈ１）を超えているか否かを判定する。

頭部に動きがないと判定した場合、解像度制御部５４は時刻ｔの解像度の設定を標準とし、画像生成部５６に通知する（Ｓ１４のＮ、Ｓ１６）。上述のとおり標準の状態においても注視点を含む所定範囲の領域の外側の解像度を低減させ、送信データ量を抑えるようにしてもよい。頭部に動きがあると判定した場合、解像度制御部５４は表示画像の少なくとも一部の解像度を低減させる設定とし、画像生成部５６に通知する（Ｓ１４のＹ、Ｓ１８）。

このとき上述のとおり、さらに別のしきい値判定により、速度範囲によって解像度の低減率や低減させる領域の面積を調整してもよい。画像生成部５６は、それらの設定に従った解像度で、時刻ｔにおけるユーザの視線に対応する視野を有する表示画像を生成する（Ｓ２０）。画像生成部５６はさらに、生成した表示画像の解像度や、領域と解像度を対応づけた情報を作成し、付加データとする。

出力部５８は、生成された表示画像のデータを適宜整形、圧縮符号化するなどして、付加データとともにヘッドマウントディスプレイ１００に送信する（Ｓ２２）。Ｓ１４において頭部に動きがあると判定された場合、Ｓ２２の圧縮処理において高周波成分を送信対象から外すなどの手法により実質的に解像度を低下させてもよい。ゲームの進捗やユーザ操作などにより表示を終了させる必要が生じない間は（Ｓ２４のＮ）、次の時刻ｔ＝ｔ＋Δｔのデータを取得し（Ｓ２６、Ｓ１０）、Ｓ１４〜Ｓ２２の処理を繰り返す。表示を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２４のＹ）。

以上述べた本実施の形態によれば、ヘッドマウントディスプレイに表示させる画像を生成する画像生成装置において、ヘッドマウントディスプレイを装着したユーザの頭部の動きの有無を監視し、動きがある間は少なくとも一部の領域の解像度を低下させる。これにより、動いている物を見るときには視力が低下するという人間の特性に適う表示の変化を人為的に作り出せるとともに、画像生成装置からヘッドマウントディスプレイへ送信するデータの量を軽減できる。

結果として、データ伝送に要する電力を削減できるため、ヘッドマウントディスプレイと画像生成装置との間の通信を無線化しても、内蔵させる電池容量を少なくでき、軽量で使い勝手のよいヘッドマウントディスプレイを実現できる。また電源からの熱の発生による頭部の不快感も防止できる。無線通信の場合、ヘッドマウントディスプレイの動きにより通信状況が悪化し伝送帯域が制限されることが考えられる。上述のように動きがある期間に対して必要最低限のデータをあらかじめ抽出しておくことにより、通信状況の悪化による表示画像への悪影響を抑えることができる。

また注視点から所定範囲の領域は、その外側の領域より解像度の低減率を抑えるか、解像度を低下させないようにする。これにより、頭部が動いていても注視している対象については高精細な画像を提示できる。また動きに対する認識力の高い周辺領域の解像度をあえて低下させることにより、眼精疲労や脳内への過剰な刺激を抑えることができる。さらに頭部の動きの速度に応じて解像度の低減率や、解像度を低下させる領域の境界を調整することにより、解像度の低下をより感じにくくできる。

実施の形態２
実施の形態１では、ユーザの頭部の動きの有無や速度によって解像度を変化させた。本実施の形態では、表示するステレオ画像の左眼用画像と右眼用画像で解像度に差を設ける。図９は、本実施の形態における画像生成装置２００の機能ブロックの構成を示している。以後、実施の形態１と共通の処理については適宜説明を省略する。画像生成装置２００は図３で示した内部回路構成を有し、接続するヘッドマウントディスプレイ１００は図４で示したのと同様の構成でよい。ただしヘッドマウントディスプレイ１００の計測部６２は、図５で例示したような注視点検出器を含むものとする。

画像生成装置２００は、ヘッドマウントディスプレイ１００から処理に必要なデータを取得するデータ取得部２５０、左右の目のうち優位眼を決定する優位眼決定部２５２、その決定に従いステレオ画像の解像度を設定する解像度制御部２５４、決定された解像度で表示画像を生成する画像生成部２５６、表示画像のデータを適宜整形してヘッドマウントディスプレイ１００に出力する出力部２５８を含む。

データ取得部２５０は、図４のデータ取得部５０と同様に機能し、ヘッドマウントディスプレイ１００から所定のレートで処理に必要なデータを取得する。ただし取得するデータには、注視点検出器による注視点の位置座標に係る情報が含まれる。優位眼決定部２５２は、注視点の位置座標の変化に基づき、左右どちらかの目を優位眼と決定する。人間には本来、物を見る際に左右どちらかの目を優位に使用することが知られており、一般に、主に使用される目を優位眼、反対側の目を非優位眼と呼ぶ。

優位眼は状況によって入れ替わることもある。優位眼の特定には様々な検査法が提案されているが、本実施の形態では、注視点の安定性を基準とすることで優位眼を決定する。換言すれば、左右の目の注視点のうち動きがより安定している方の目を広義の優位眼と定義する。優位眼決定部２５２はそのため、直前の所定時間における注視点の位置座標を保持しておき安定性を評価したうえ、安定性が高い方の目を優位眼とする。安定性の評価には、位置座標の分布を主成分分析したり標準偏差を求めたりする一般的な統計手法のいずれを採用してもよい。

優位眼決定部２５２は、ヘッドマウントディスプレイ１００における画像表示の開始時に優位眼を決定するのみでもよいし、注視点の安定性を常時監視してその結果に基づき優位眼を随時決定してもよい。ユーザと優位眼を対応づけたデータを内部で保持し、ユーザごとに固定としてもよい。解像度制御部２５４は、表示するステレオ画像のうち非優位眼用の画像の少なくとも一部の解像度を、優位眼用の画像の解像度より低く設定する。

画像生成部２５６は、図４の画像生成部５６と同様に機能し、解像度制御部２５４が設定した解像度で、表示画像を表示用のフレームレートで生成する。画像の内容や解像度の低下のさせ方は、実施の形態１で説明したのと同様である。出力部２５８は、図４の出力部５８と同様に機能し、生成された画像のデータを適宜整形してヘッドマウントディスプレイ１００に順次送信する。この際、ステレオ画像のそれぞれの解像度や、領域によって解像度を異ならせる場合は領域と解像度とを対応づけたデータなど、画像の解像度に係る情報を、フレームごとの付加データとして送信する。

図１０は、表示画像を構成するフレームの時間的な変化を模式的に示している。図の表し方は図６と同様である。まず優位眼が右目の「右眼優位」の期間では、画像生成装置２００は右眼用の画像２７２を、ヘッドマウントディスプレイの表示解像度に対応する解像度で生成する。一方、左眼用の画像は解像度を低下させることにより、右眼用の画像より小さいサイズの表示画像２７０を生成する。

そのようなデータを受信したヘッドマウントディスプレイ１００では、右眼用についてはそのまま表示し、左眼用については拡大して表示する。その結果、左眼用の表示画像２７４は、本来の画像より高周波成分が少なくなる。すなわち視点の他に周波数成分の異なるステレオ画像が表示されることになる。このようにしてもそれらを同時に見れば、脳での再構成により通常と変わりない立体を認識できる。本発明者の実験によれば、ステレオ画像の一方の解像度を他方の１／４程度としても立体視に影響しないことが確認された。したがって立体視への影響を少なく送信するデータ量を軽減でき、消費電力を抑えることができる。

優位眼が左目の「左眼優位」に変化したら、画像生成装置２００は左右の画像の解像度の高低を逆転させる。すなわち左眼用の画像２７８を、ヘッドマウントディスプレイの表示解像度に対応する解像度で生成し、右眼用の画像は解像度を低下させることにより、左眼用の画像より小さいサイズの表示画像２８０を生成する。結果としてヘッドマウントディスプレイ１００では、左眼用についてはそのまま表示され、右眼用については拡大した画像２７６が表示される。

再び「右眼優位」に移行したら、左右の画像の解像度の高低を再度逆転させる。解像度の低下のさせ方は実施の形態１で説明したのと同様であり、画像全体の解像度を一律に下げてもよいし、図７で例示したように注視点から所定範囲の領域を除いて解像度を下げてもよい。なお優位眼用の表示画像においても周辺の解像度を下げ、非優位眼用の画像では解像度を下げる領域の面積を優位眼用の画像より大きくしてもよい。

このようにステレオ画像のうちどちらかの画像の解像度を下げることには、伝送するデータ量を軽減する以外に、眼精疲労を改善する効果がある。すなわち非優位眼の目前に詳細な画像を表示することにより、本来、優位眼と非優位眼で取得する情報量に自然に差をつけることでバランスがとれていたものが、非優位眼に対しても過度な情報が入り込む結果、眼精疲労や見えにくさを引き起こす。

非優位眼の視力を過度に矯正することによって眼精疲労や不同視などの問題が起こり得ることは、視力矯正技術などの分野でよく知られている。また、優位眼を遠見矯正し、非優位眼を近見矯正することで老視矯正をする手法はモノビジョン法として知られている。このような両眼の機能の差を考慮して、画像として提示する情報量を左右で調整することにより、より見やすく疲労の少ない表示形態を実現できる。なお解像度の高低を左右の画像で切り替えるタイミングは、注視点の安定性に基づく優位眼が切り替わった時点としてもよいし、シーンの切り替わりなど表示しているコンテンツの区切りで実施してもよい。後者のように表示内容によってタイミングを調整すれば、ユーザの認識上でシームレスな切り替えを実現できる。

次に、これまで述べた構成により実現できる、画像生成装置２００の動作を説明する。図１１は、画像生成装置２００が優位眼／非優位眼によりステレオ画像の解像度に差を設けて表示画像を生成、出力する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着したうえ、それへの画像表示を伴う電子コンテンツの開始要求を入力することなどにより開始される。

まず画像生成装置２００のデータ取得部２５０は、ヘッドマウントディスプレイ１００から現在時刻ｔにおけるユーザの注視点の位置座標に係るデータを取得する（Ｓ３０）。このとき、表示画像の生成に必要なデータ、すなわち撮影画像のデータやセンサ計測値も適宜取得する。優位眼決定部２５２は、注視点の位置座標の安定性を所定の基準により評価し、安定性の高い方の目を優位眼として決定する（Ｓ３２）。

すると解像度制御部２５４は、優位眼用の表示画像に対し標準の解像度を設定する一方、非優位眼用の表示画像の少なくとも一部の解像度を低下させる設定とし、画像生成部２５６に通知する（Ｓ３４）。画像生成部２５６は設定に従った解像度で、時刻ｔにおけるユーザの視線に対応する視野を有する表示用のステレオ画像を生成する（Ｓ３６）。画像生成部２５６はさらに、生成した表示画像の解像度や、領域と解像度を対応づけた情報を作成し、付加データとする。

出力部２５８は、生成された表示画像のデータを適宜整形、圧縮符号化するなどして、付加データとともにヘッドマウントディスプレイ１００に送信する（Ｓ３８）。実施の形態１と同様、この圧縮処理において高周波成分を除くことにより、実質的に非優位眼用の画像の解像度を下げてもよい。ゲームの進捗やユーザ操作などにより表示を終了させる必要が生じない間は（Ｓ４０のＮ）、次の時刻ｔ＝ｔ＋Δｔのデータを取得し（Ｓ４２、Ｓ３０）、Ｓ３２〜Ｓ３８の処理を繰り返す。表示を終了させる必要が生じたら、全ての処理を終了させる（Ｓ４０のＹ）。

以上述べた本実施の形態によれば、ヘッドマウントディスプレイに表示された立体視用のステレオ画像に対するユーザの注視点の位置座標を取得する。そして表示画像を生成する画像生成装置において、注視点の動きがより安定している目を優位眼と定め、非優位眼用の表示画像の少なくとも一部の領域の解像度を低下させる。これにより、立体感を損なうことなく画像生成装置からヘッドマウントディスプレイへ送信するデータの量を軽減できる。

結果として、データ伝送に要する電力を削減できるため、ヘッドマウントディスプレイと画像生成装置との間の通信を無線化しても、内蔵させる電池容量を少なくでき、軽量で使い勝手のよいヘッドマウントディスプレイを実現できる。また電源からの熱の発生による頭部の不快感も防止できる。さらに本来使用が抑えられている非優位眼に入る情報量が軽減されるため、眼精疲労や立体視のしにくさ、酔いなどの改善にも効果がある。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば実施の形態１と実施の形態２を組み合わせてもよい。図１２は、頭部の動きによる解像度の低減処理と、目の優位性による解像度の調整を組み合わせたときの、表示画像を構成するフレームの時間的な変化を模式的に示している。図の表し方は図６、図１０と同様である。まず頭部に動きのない「停止期間」では、画像生成装置は実施の形態１で説明したように、ヘッドマウントディスプレイの表示解像度に対応する解像度で表示画像３００を生成する。その結果、生成された表示画像が、ヘッドマウントディスプレイ１００にそのまま表示される（表示画像３０１）。

そして頭部が動いていると判定される「動き期間」に移行したら、画像生成装置は解像度を低下させることにより、停止期間より小さいサイズの表示画像３０２を生成する。ヘッドマウントディスプレイ１００では、これを拡大して表示する（表示画像３０４）。次に頭部が再び停止したら、実施の形態２のように、左右どちらかの表示画像の解像度を標準に戻す。図の例では、右眼用の画像３０８の解像度のみを元に戻し、左眼用の表示画像３０６は解像度を低下させたままとしている。

このようにすることで、頭部が停止した途端、伝送するデータの量が増大するのを防ぐことができ、使用する伝送帯域の急激な変化による通信状態の悪化や表示までのレイテンシを抑えることができる。また実施の形態１や実施の形態２で述べたように、画像の認識への影響を少なく、データ伝送量を抑えることができ、消費電力を軽減できる。

頭部が停止した際にどちらの画像の解像度を元に戻すかは、その時点での注視点の安定性を評価したうえで安定性の高い方に決定してもよいし、状況に関わらずユーザごとに固定としたり、ユーザ共通の設定としたりしてもよい。注視点の状況に関わらず決定する態様は、図４で示した画像生成装置１０の構成により実現できる。注視点の安定性に基づき優位眼を決定したうえでそちらの解像度を元に戻す態様は、画像生成装置１０に、図９で示した優位眼決定部２５２を設けることにより実現できる。

また、頭部が停止してから所定時間のみ、左右どちらかの表示画像を低解像度として急激なデータ伝送量の増大を抑えたうえで、最終的にはステレオ画像の双方を標準の解像度としてもよいし、頭部の停止期間において実施の形態２を継続的に導入してもよい。さらに頭部が動いている期間において左右の表示画像の解像度に差を設けてもよい。すなわち一方の表示画像の解像度を、他方の表示画像の解像度よりさらに低下させる。このようにしても実施の形態２で説明したように立体視が損なわれる可能性が低い。結果としてユーザが意識することなくデータ転送量をさらに軽減できる。

また実施の形態１では、頭部の速度に着目して解像度を低下させたり元に戻したりしたが、頭部の速度の代わりに、実施の形態２で説明した注視点の安定性を利用してもよい。具体的には動き検出部５２は左右の注視点の動きを監視し、解像度制御部５４は、それらが所定時間以上、表示画像における所定範囲の同じ領域内にあるときは標準の解像度とする。このときも当該領域とそれ以外の領域で解像度に高低を設けてよい。そして左右の注視点の少なくともどちらか一方が当該領域から逸脱したら、あるいは逸脱する状態が所定時間以上継続したら解像度を低下させる。これにより、頭部の動きに関わらず視点が定まっていない状態において、視認性への影響を小さく送信データのサイズを抑えることができる。また動き検出部５２は、頭部の動きと視点の安定性の双方を監視し、頭部に動きがあるか視点が不安定であると判定されるときに解像度を低下させてもよい。

さらに実施の形態１および２では、頭部の動きあるいは注視点の安定性に基づき、専ら表示画像の解像度を低下させる態様を説明したが、表示画像に与える変化はそれ以外のパラメータでもよい。この場合、解像度制御部５４、２５４の代わりに、当該パラメータを制御するパラメータ制御部を設ける。例えばパラメータ制御部は、画像生成装置１０から送信する際の圧縮率を低下させてもよいし、画素値のビット深度を下げてもよい。また１画素が複数チャネルで構成される画像データのうち所定チャネルの解像度を低下させてもよい。例えば赤緑青（ＲＧＢ）のカラー画像のデータのうち、赤と青の解像度を緑の解像度より低くしてもよい。この場合、表示時には解像度が低いチャネルの画像データを補間により拡大するなどしてチャネル間で解像度を統一する。また画像のコントラストやフレームレートを低下させたり、ガンマカーブを変化させて輝度レンジを狭めてもよい。

実施の形態２に当てはめた場合、例えば左眼視用画像、右眼視用画像のどちらか一方の圧縮率を他方より高くしたり、一方のフレームレートを他方より低下させたりすることが考えられる。また一方の画素値のビット深度を他方より低くすることが考えられる。このとき緑など特定のチャネルの画素値には差を設けず、赤と青などそれ以外のチャネルの画素値のみビット深度を低くして表示への影響をより抑えてもよい。このようなパラメータを変化させる場合も、注視領域とその他の領域で異なる変化量としてよい。またパラメータ制御部は、これらのパラメータのうち少なくともいずれかと解像度とを組み合わせて変化させてもよい。

いずれにしろ頭部が動いていたり注視点が安定していなかったりする期間において、送信するデータのサイズが小さくなるようにこれらのパラメータを調整すれば、見た目への影響を最小限に、画像鑑賞の環境を良好にできる。またデータサイズの縮小に貢献しないパラメータであっても、眼精疲労を軽減させたり、左右の目で視認された差のある画像を脳内で再構成することにより新たな視覚的効果が得られたりすることが考えられる。そのような目的においては、上述した以外にも画像データに係る様々なパラメータを、左右の画像間で差を設ける対象とすることができる。

また実施の形態２では、注視点の動きがより安定している目を優位眼として、それと反対側の目に対する表示画像の解像度を低下させた。一方、解像度を低下させる画像をその他の規則で決定してもよい。例えば注視点の安定性に関わらず解像度を低下させる画像を左右のどちらかに決めておいてもよい。さらに解像度の高低を、所定時間ごと、あるいは表示させるコンテンツのシーンの切り替わりなど所定のタイミングで強制的に切り替えてもよい。

このような場合、片方の画像全体の解像度を下げてもよいし、注視点の位置によって解像度を低下させる領域を限定してもよい。例えば左右の目の注視点が画像上の同じ位置にある期間は、当該位置を含む所定範囲の領域については標準解像度とし、それ以外の領域の解像度を低下させる。あるいは左右の目の注視点が画像上の同じ範囲内に所定時間以上、滞留している期間は、当該範囲の領域については標準解像度とし、それ以外の領域の解像度を低下させてもよい。これらの状況は、ある領域に視点が定まっていることを意味するため、そのような領域の発生に応じて解像度を元に戻すことにより、視認性への影響を最小限にできる。

人間には、より詳細に見える方の目を優先的に使用して物を見る特性がある。したがって上述のように、左右の目に対する画像の解像度に高低を設けることにより、自ずと高解像度の画像が提示された方の目を使うようになる。これは表示画像の解像度によって優位眼を誘発しているともいえる。そして高解像度の画像を所定のタイミングで切り替えることにより、主に使用している目を切り替えることができるため、片方の目のみを酷使するより眼精疲労を起こしにくい。結果として、疲労が少なく立体視に違和感のない画像を、少ないデータ伝送量で実現できる。なお左右の画像に対し所定のタイミングで切り替えを行うパラメータは解像度に限らず、上述した圧縮率、フレームレート、ビット深度などのいずれでもよいし、それらのいずれか２つ以上を同時に切り替えるようにしても、これまで述べたのと同様の効果が得られる。

また実施の形態１および２では、専ら画像生成装置において解像度の調整を行った。一方、ヘッドマウントディスプレイから画像生成装置に撮影画像のデータを送信する場合は、ヘッドマウントディスプレイのカメラにおいて、解像度の調整を行ってもよい。すなわち撮像素子アレイによって検出されてなるいわゆるＲＡＷ画像から、画像生成装置に送信する撮影画像のデータを生成する段階において、解像度の低減処理を実施する。

この場合の解像度の低減には、頭部の動きや優位眼など、実施の形態１や２で説明したのと同様の基準を用いてよい。このとき画像生成装置１０または２００は、解像度制御部５４または２５４による解像度の設定結果を、出力部５８または２５８からヘッドマウントディスプレイ１００に送信する。これに応じてヘッドマウントディスプレイ１００の撮像部６０は、設定に従った解像度で撮影画像のデータを生成し、通信部６４から画像生成装置１０または２００に送信する。これにより、画像生成装置からヘッドマウントディスプレイへのデータ伝送のみならず、ヘッドマウントディスプレイから画像生成装置へのデータ伝送量をも軽減させることができ、消費電力をより抑えることができる。

１０画像生成装置、２３ＣＰＵ、２４ＧＰＵ、２６メインメモリ、５０データ取得部、５２動き検出部、５４解像度制御部、５６画像生成部、５８出力部、６０撮像部、６２計測部、６４通信部、６６画像形成部、６８表示部、１００ヘッドマウントディスプレイ、１１０ステレオカメラ、２５０データ取得部、２５２優位眼決定部、２５４解像度制御部、２５６画像生成部、２５８出力部。

以上のように本発明は、ゲーム装置、画像処理装置、コンテンツ再生装置など各種情報処理装置と、それを含むシステムなどに利用可能である。

Claims

ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、
頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、
前記設定に従う解像度で表示画像を生成する画像生成部と、
前記表示画像のデータを前記ヘッドマウントディスプレイに出力する出力部と、
を備えたことを特徴とする画像生成装置。
前記解像度制御部は、前記表示画像を平面分割してなる複数の領域のそれぞれに、異なる解像度を設定することを特徴とする請求項１に記載の画像生成装置。
前記解像度制御部は、前記ヘッドマウントディスプレイに表示された画像に対するユーザの注視点の位置座標に係る情報を取得し、前記表示画像において、当該注視点から所定範囲の注視領域の外側の解像度を、内側の解像度より低く設定することを特徴とする請求項１または２に記載の画像生成装置。
前記解像度制御部は、頭部の速度が高いほど前記表示画像の解像度を低く設定することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
前記解像度制御部は、頭部の速度が高いほど前記注視領域を狭く設定することを特徴とする請求項３に記載の画像生成装置。
前記画像生成部は前記表示画像として、左眼用および右眼用の画像対で構成されるステレオ画像を生成し、
前記解像度制御部は、頭部に動きがある状態からない状態へ遷移したとき、前記ステレオ画像のうち片方の画像の解像度を元に戻す期間を設けることを特徴とする請求項１から５のいずれかに記載の画像生成装置。
前記ヘッドマウントディスプレイによって撮影され前記表示画像の生成に用いる撮影画像のデータを取得するデータ取得部をさらに備え、
前記解像度制御部は、頭部に動きがあるとき、前記撮影画像の少なくとも一部の解像度を、動きがないときより低下させたデータを、前記ヘッドマウントディスプレイに送信させることを特徴とする請求項１から６のいずれかに記載の画像生成装置。
ヘッドマウントディスプレイと、それに表示させる画像を生成する画像生成装置を含む画像表示システムであって、
前記画像生成装置は、
前記ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、
頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、
前記設定に従う解像度で表示画像を生成する画像生成部と、
前記表示画像のデータを前記ヘッドマウントディスプレイに出力する出力部と、
を備え、
前記ヘッドマウントディスプレイは、
前記画像生成装置が出力した、解像度を低下させた表示画像のデータを拡大して表示させる画像形成部を備えたことを特徴とする画像表示システム。
ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定するステップと、
頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行うステップと、
前記設定に従う解像度で表示画像を生成するステップと、
前記表示画像のデータを前記ヘッドマウントディスプレイに出力するステップと、
を含むことを特徴とする、画像生成装置による画像生成方法。
ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する機能と、
頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う機能と、
前記設定に従う解像度で表示画像を生成する機能と、
前記表示画像のデータを前記ヘッドマウントディスプレイに出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。