JP6909286B2 - 画像生成装置、画像表示システム、および画像生成方法 - Google Patents

画像生成装置、画像表示システム、および画像生成方法 Download PDF

Info

Publication number
JP6909286B2
JP6909286B2 JP2019518707A JP2019518707A JP6909286B2 JP 6909286 B2 JP6909286 B2 JP 6909286B2 JP 2019518707 A JP2019518707 A JP 2019518707A JP 2019518707 A JP2019518707 A JP 2019518707A JP 6909286 B2 JP6909286 B2 JP 6909286B2
Authority
JP
Japan
Prior art keywords
image
head
resolution
display
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518707A
Other languages
English (en)
Other versions
JPWO2018211672A1 (ja
Inventor
英彦 小笠原
英彦 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2018211672A1 publication Critical patent/JPWO2018211672A1/ja
Application granted granted Critical
Publication of JP6909286B2 publication Critical patent/JP6909286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414Vertical resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421Horizontal resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明はヘッドマウントディスプレイを用いた画像表示技術に関する。
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
上記のような技術で臨場感を高めるには、高精細な画像を高いフレームレートで表示することが求められる。結果として、表示画像を送出する装置とヘッドマウントディスプレイの間でのデータ伝送量は増大する傾向にある。一方、ヘッドマウントディスプレイを装着したユーザが自由に動き回れるようにするには、表示画像を送出する装置とヘッドマウントディスプレイとの通信を無線化することが望まれる。
しかしながら無線化した場合、データ伝送量の増加は消費電力の増加につながり、ヘッドマウントディスプレイ側の電池を大容量とするなどの対策が必要となる。その結果、ヘッドマウントディスプレイの重量が増したり熱を発生させたりして使用感が損なわれることが考えられる。またデータサイズが増えると、確保できる伝送帯域や通信の状態などに起因して、表示に遅延が生じたり送信に失敗したりする可能性が高まる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、高品質な画像表現と、ヘッドマウントディスプレイの使用感の向上を両立させることのできる技術を提供することにある。
本発明のある態様は画像生成装置に関する。この画像生成装置は、ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、設定に従う解像度で表示画像を生成する画像生成部と、表示画像のデータをヘッドマウントディスプレイに出力する出力部と、を備えたことを特徴とする。
本発明の別の態様は画像表示システムに関する。この画像表示システムは、ヘッドマウントディスプレイと、それに表示させる画像を生成する画像生成装置を含む画像表示システムであって、画像生成装置は、ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、設定に従う解像度で表示画像を生成する画像生成部と、表示画像のデータをヘッドマウントディスプレイに出力する出力部と、を備え、ヘッドマウントディスプレイは、画像生成装置が出力した、解像度を低下させた表示画像のデータを拡大して表示させる画像形成部を備えたことを特徴とする。
本発明のさらに別の態様は画像生成方法に関する。この画像生成方法は、ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定するステップと、頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行うステップと、設定に従う解像度で表示画像を生成するステップと、表示画像のデータをヘッドマウントディスプレイに出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、快適な使用感でヘッドマウントディスプレイによる高品質な画像表現を実現できる。
実施の形態1におけるヘッドマウントディスプレイの外観例を示す図である。 実施の形態1における画像表示システムの構成例を示す図である。 実施の形態1における画像生成装置の内部回路構成を示す図である。 実施の形態1における像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。 実施の形態1におけるヘッドマウントディスプレイに注視点検出器を導入した場合の構成例を示す図である。 実施の形態1における、表示画像を構成するフレームの時間的な変化を模式的に示す図である。 実施の形態1において領域によって解像度を異ならせる場合の、頭部の動きの速度と領域の関係例を模式的に示す図である。 実施の形態1における画像生成装置が、ユーザの頭部の動きに応じた解像度で表示画像を生成、出力する処理手順を示すフローチャートである。 実施の形態2における画像生成装置の機能ブロックの構成を示す図である。 実施の形態2における、表示画像を構成するフレームの時間的な変化を模式的に示す図である。 実施の形態2における画像生成装置が、優位眼/非優位眼によりステレオ画像の解像度に差を設けて表示画像を生成、出力する処理手順を示すフローチャートである。 本実施の形態の変形例において、頭部の動きによる解像度の低減処理と、目の優位性による解像度の調整を組み合わせたときの、表示画像を構成するフレームの時間的な変化を模式的に示す図である。
実施の形態1
図1は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ100は、出力機構部102および装着機構部104で構成される。装着機構部104は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド106を含む。
出力機構部102は、ヘッドマウントディスプレイ100をユーザが装着した状態において左右の目を覆うような形状の筐体108を含み、内部には装着時に目に正対するように表示パネルを備える。筐体108内部にはさらに、ヘッドマウントディスプレイ100の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大するレンズを備えてよい。表示パネルを左右に分割してなる各領域に、両眼の視差に対応するステレオ画像を表示することにより立体視を実現してもよい。
ヘッドマウントディスプレイ100はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ100は、筐体108の前面にステレオカメラ110を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ100は筐体108の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサ、GPUなど、ヘッドマウントディスプレイ100の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。
図2は、本実施の形態の画像表示システムの構成例を示している。ヘッドマウントディスプレイ100は無線通信により画像生成装置10に接続される。ただしUSBなどによる有線接続としてもよい。画像生成装置10は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置10に提供してもよい。
画像生成装置10は、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野で表示画像を生成してヘッドマウントディスプレイ100に出力する。ここで出力データの内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々でよい。
例えば画像生成装置10は、ヘッドマウントディスプレイ100のステレオカメラ110が撮影した画像に何らかの加工を施したり、電子ゲームを進捗させてゲーム画面を生成したりしてもよい。このような態様の代表的なものとして、仮想現実(VR:Virtual Reality)や拡張現実(AR:Augmented Reality)が挙げられる。あるいは全てが仮想オブジェクトで構成される仮想世界を構築し、ユーザの視点の位置や視線の方向に応じた視野で当該仮想世界を描画してもよい。
表示画像の生成に用いる頭部の位置や姿勢を特定するため、画像生成装置10はヘッドマウントディスプレイ100が撮影した画像をSLAM(Simultaneous Localization and Mapping)などの既存技術で解析する。あるいは画像生成装置10は、ヘッドマウントディスプレイ100が備えるセンサの計測値から頭部の姿勢、動き、位置を取得する。それらの処理結果を統合して精度を高めてもよい。
このような画像表示システムにおいて、画像生成装置10はユーザの頭部が動いている期間、表示画像の少なくとも一部分の解像度を低くすることにより、データ伝送量を軽減し消費電力を抑える。人間が頭部を動かすと、相対的に周囲の物が動くため、動体を見ているのと同様の状況になる。ここで人間の動体視力は、停止している物を見る際の静止視力の数分の1であることが知られている(例えばMuzdalo, "The Importance of Measuring Dynamic Visual Acuity", Coll. Antropl. 37 (2013) Suppl. 1, p. 275-285参照)。すなわち実世界では、頭部を動かしている期間、人間の視力は低下していることになる。
一方、ヘッドマウントディスプレイの場合、表示パネルが頭部とともに動くため、遠くにあるように表現されている物であっても見え方に変化なく、常に詳細な情報が眼球に到達し続ける。このため一般的な表示処理では、実世界における見え方の変化との解離が生じ得る。上述のように頭部が動いている期間に解像度を低下させることにより、むしろ実世界を見ているときに近い画像表現を実現できる。結果として、データ伝送量や消費電力を軽減できる効果と共に、より現実に近い画像表現を達成できる。
図3は、画像生成装置10の内部回路構成を示している。画像生成装置10は、CPU(Central Processing Unit)23、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなりヘッドマウントディスプレイ100と通信を確立する通信部32、ハードディスクドライブや不揮発性メモリなどの記憶部34、ヘッドマウントディスプレイ100へデータを出力する出力部36、ヘッドマウントディスプレイ100や図示しない入力装置からデータを入力する入力部38、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。
CPU23は、記憶部34に記憶されているオペレーティングシステムを実行することにより画像生成装置10の全体を制御する。CPU23はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU23からの描画命令に従って描画処理を行い、出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図4は、画像生成装置10およびヘッドマウントディスプレイ100の機能ブロックの構成を示している。図4および後述する図9に示す各機能ブロックは、ハードウェア的には、図3で示した各種回路や、図1で示したステレオカメラ110、図示しない各種センサ、表示パネル、マイクロプロセッサ、メモリなどによりで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
画像生成装置10は、ヘッドマウントディスプレイ100から処理に必要なデータを取得するデータ取得部50、ユーザ頭部の動きの有無を特定する動き検出部52、頭部の動きの有無に応じて表示画像の解像度を設定する解像度制御部54、決定された解像度で表示画像を生成する画像生成部56、表示画像のデータを適宜整形してヘッドマウントディスプレイ100に出力する出力部58を含む。
データ取得部50は、ヘッドマウントディスプレイ100から撮影画像およびセンサの計測値の少なくともいずれかを、所定のレートで取得する。取得するデータの種類は表示画像の内容や、ユーザの視点に係る情報および頭部の動きの特定に用いるデータの種類などによって様々に考えられる。例えば撮影画像を加工して表示画像を生成するとともに、画像解析のみから頭部の動きを取得する態様においては、撮影画像のデータのみを取得してもよい。
表示画像全体を仮想オブジェクトの描画で生成し、ユーザの視点や頭部の動きをセンサの計測値から求める態様においては、センサの計測値のみを取得してもよい。当然、撮影画像およびセンサ計測値の双方のデータを取得し、撮影画像を表示画像に用いたり、視点や頭部の動きに係る情報を撮影画像やモーションセンサの計測値から取得したりしてもよい。
動き検出部52は、撮影画像およびモーションセンサの計測値の少なくともいずれかを用いて、頭部が動いているか否かを特定する。例えば頭部の回転角と並進量を所定のレートで求め、それらのうちいずれかがしきい値以上となったときに動いていると判定し、しきい値より小さければ停止していると判定する。
解像度制御部54は、頭部に動きがあると判定されている期間において、表示画像の少なくとも一部の解像度を低くする設定を行う。最も単純には画像全体の解像度を、頭部に動きがない場合より低く設定する。上述のとおり人間の動体視力は、静止視力の数分の1であることがわかっている。例えば動体視力は静止視力の2/3倍になるとして表示画像の画素に換算すると、100行の画素列が67行程度の分解能で視認されることになる。
したがって縦横双方向に解像度を2/3倍に低下させても、そのような変化が認識される可能性は低い。このようにすると、元の画像に比べてデータ量が半分以下となり、消費電力を大幅に軽減できる。ただし解像度の低減率をこれに限る主旨ではなく、使用可能な伝送帯域、許容できる消費電力などに鑑み適正値を求めておく。解像度の低減率は1つのみとしてもよいし、頭部の動きが遅いときは低減率を抑え、速いときは低減率を高くするなど、速度の範囲に応じて段階的に解像度を変化させてもよい。
また解像度制御部54は、表示画像を領域分割し、領域ごとに異なる解像度を設定してもよい。例えばユーザが注視している対象物の像や、注視点から所定範囲の領域の解像度は、その他の領域より解像度を高くしてもよい。この場合、ヘッドマウントディスプレイ100に一般的な注視点検出器を設け、表示パネルに対する左右の目の注視点の位置座標に係る情報を所定のレートで送信させる。画像生成装置10のデータ取得部50はこれを取得し、解像度制御部54に逐次供給する。
注視点を中心とするある範囲の領域は一般に「有効視野」と呼ばれ、その周囲の「周辺視野」と比較し高い視力で視認されることが知られている。頭部が動いていても、ある物に視点を定めている場合は、瞳孔に対する当該物の相対的な動きは小さいため、頭部が動いていないときの有効視野と同程度の視力での視認が可能である。したがって注視点を含む所定範囲の領域については解像度をある程度維持することにより、解像度の低下がより認識されにくくなる。なお撮影画像をSLAMによって分析する場合、視野内にある実物体と視線の方向との関係が3次元の情報として求められるため、その結果に基づき注視している箇所を特定し、画像平面におけるそれ以外の領域の解像度を低下させるようにしてもよい。
このように領域分割して解像度を調整する態様においても、相対的な速度の範囲によって領域ごとの解像度の設定を変化させてよい。例えば注視点を含む領域については注視点と注視先の物との相対速度に基づき解像度を設定し、それ以外の領域については、頭部の速度に基づき解像度を設定するようにしてもよい。また頭部の速度によって領域の境界を変化させてもよい。すなわち速度が低いときは注視点から比較的広い範囲の領域で解像度を維持し、速度が高くなるほどそのような領域を狭めて、ひいては低解像度の領域を広げる。
このように速度に応じて境界を変化させるとともに、各領域の解像度を変化させてもよい。なお解像度を異ならせる領域は2つに限らず、3つ以上としてもよい。例えば注視点を中心とし半径の異なる同心円を境界として領域を形成してもよい。解像度制御部54は、ユーザの頭部の動きに応じて所定のレートで解像度の設定処理を実施し、その結果を画像生成部56に供給する。
画像生成部56は、解像度制御部54が設定した解像度で、表示画像を表示用のフレームレートで生成する。生成する画像の内容は上述のとおり様々であり、撮影画像に何らかの加工を施したり、ユーザの視野に対応するように仮想世界を描画したりしてよい。表示画像の生成に必要なユーザの視点や視線に係る情報は、画像生成部56がデータ取得部50から取得したセンサの計測値に基づき行ってもよいし、SLAMによる画像解析により求めてもよい。
解像度制御部54において解像度の設定を行うのにSLAMによる画像解析を実施する場合は、その結果を共有することができる。なお加工の内容や仮想世界に変化を与えるため、画像生成部56は電子ゲームなどの情報処理を同時に進捗させてよい。この場合、撮影画像に写る対象物の動きや、図示しない入力装置に対するユーザ操作などに基づき、一般的な情報処理を行えばよい。
入力装置を別途導入する場合、データ取得部50はユーザ操作の内容を当該入力装置から取得し、画像生成部56に供給する。画像生成部56は場合によっては、撮影画像をそのまま表示画像としてもよい。いずれにしろ画像生成部56は、解像度制御部54による設定に従い、ユーザの頭部が動いている期間は動いていない期間に比べて、表示画像の少なくとも一部の領域の解像度を低下させる。
解像度を低下させる手法には、バイリニア補間など既存の技術を用いることができる。出力部58は、生成された画像のデータを適宜整形し、ヘッドマウントディスプレイ100に順次送信する。例えば立体視を実現させる場合、画像生成部56が生成した左右視点のステレオ画像を左右に並べて最終的な表示用のデータとする。
ヘッドマウントディスプレイ100が、レンズを介して表示画面を見る形態の場合、その状態で適正に見えるように、各視点の画像にレンズによる歪みを考慮した補正を施してもよい。なお表示画像のデータを圧縮符号化して送信する場合、出力部58は、圧縮処理において上述したような解像度の低減処理を行ってもよい。例えば画像の周波数帯でデータを分離して送信する態様において、解像度制御部54による解像度の設定に従い、高周波成分を伝送対象から除外することが考えられる。
また出力部は送信データとして、画像の解像度に係る情報を付加することにより、ヘッドマウントディスプレイ100において表示パネルの解像度に対応するサイズの表示画像を生成できるようにする。例えば画像全体の解像度を一律に低下させる場合は、表示画像の各フレームに対応づけて解像度の値を送信する。領域によって解像度を異ならせる場合は、領域と解像度とを対応づけたデータを送信する。
ヘッドマウントディスプレイ100は、実空間を動画撮影する撮像部60、ヘッドマウントディスプレイの姿勢、動き、位置などを計測する計測部62、画像生成装置10と通信を確立しデータの送受信を行う通信部64、画像生成装置10から送信された表示画像のデータを最終的な表示形式にする画像形成部66、および画像を表示する表示部68を含む。
撮像部60は、図1のステレオカメラ110や単眼カメラなど一般的な撮像装置の構成で実現され、ユーザ前面の実空間を所定のフレームレートで撮影する。計測部62は加速度センサ、ジャイロセンサ、地磁気センサ、GPSなどのセンサの少なくともいずれかで構成され、ヘッドマウントディスプレイ100、ひいてはそれを装着しているユーザの頭部の加速度や角速度を逐次測定する。それらを組み合わせて慣性計測装置とし、角度、速度、位置を導出できるようにしてもよい。
なお上述のとおり画像生成装置10が必要とするデータによっては、撮像部60および計測部62のどちらかが機能していればよい場合もある。さらに計測部62に注視点検出器を導入し、表示パネルにおける注視点の位置座標を導出してもよい。通信部64は、撮像部60による撮影画像、計測部62による計測値の少なくともいずれかを画像生成装置10に順次送信する。通信部64はさらに、画像生成装置10から送信された表示画像のデータを受信する。画像形成部66は、通信部64から表示画像のデータを取得し、最終的な表示形式に整形する。
すなわち付加データに基づき送信された表示画像の解像度を特定し、表示パネルの解像度に合わせるための補間処理を実施する。領域ごとに解像度が異なる場合は、当該領域ごとに適切な倍率で伸張されるように画素を補間する。補間処理には一般的な手法のいずれを採用してもよい。ただし本実施の形態における解像度の低減率は、動体に対する人間の視力の低下を踏まえ視認に影響のない程度に抑えているため、比較的簡易な手法でも差し支えない。
これにより補間処理に要する時間を短縮でき、表示までのレイテンシを抑えることができる。なお画像形成部66は、画像生成装置10から送信された表示画像が低解像度であり画像のサイズが小さいとき、上述のように表示パネルの解像度に合わせて画素を補間することにより拡大してもよいし、送信された表示画像のサイズはそのままとして周囲に黒い領域を設けることにより表示パネルのサイズに合わせてもよい。表示部68は表示パネルとその駆動回路などで構成され、最終的な表示画像をユーザの目前に提示する。なお頭部が動いておらず、画像生成装置10から送信された画像の解像度を調整する必要がない場合、通信部64から表示部68へ直接データを供給してもよい。
図5は、ヘッドマウントディスプレイ100に注視点検出器を導入した場合の構成例を示している。同図下段はヘッドマウントディスプレイ100と、それを装着したユーザの頭部472を、上から見た様子を模式的に表している。ヘッドマウントディスプレイ100には上段で示したような表示画像476が表示され、ユーザが左右の目474a、474bでそれを見ている。ここで、注視点検出器として、赤外線LED478a、478b、赤外線カメラまたはPSDセンサ480a、480b、および画像解析装置482を設ける。
赤外線LED478a、478bはそれぞれ、ユーザの左右の目474a、474bに赤外線を照射する。赤外線カメラまたはPSDセンサ480a、480bはそれぞれ、ユーザの左右の目474a、474bを撮影し、そのデータを画像解析装置482に供給する。画像解析装置482は、左右の目の撮影画像から、赤外線の角膜における反射位置と瞳孔の位置とを特定し、その位置関係からユーザの視線を特定する。この手法は角膜反射法として視線検出技術の分野で実用化されている。なお視線を検出する手法はこれに限らず、例えば可視光カメラで左右の目を撮影し、そのうち目頭と虹彩の位置関係から視線を特定する技術など一般的な手法のいずれを採用してもよい。
画像解析装置482は、そのように検出した視線と、表示画像476が表示されている表示パネルとの交点484a、484bをユーザの注視点とし、その位置座標を検出する。当該注視点の位置座標の情報は画像生成装置10へ送信され、画像生成装置10のデータ取得部50がそれを受信する。解像度制御部54は、当該注視点に基づき画像平面を領域分割したうえで、それぞれの領域に対し解像度を設定する。
図6は、表示画像を構成するフレームの時間的な変化を模式的に示している。同図の縦方向は時間を表し、表示画像として各時間ステップで生成/表示される画像フレームを矩形で表している。この例では左眼用の画像と右眼用の画像を生成/表示することにより立体視を実現することを想定している。ただし立体視を必須とする主旨ではない。まず頭部に動きのない「停止期間」では、画像生成装置10は、ヘッドマウントディスプレイの表示解像度に対応する解像度で表示画像70を生成する。その結果、生成された表示画像が、ヘッドマウントディスプレイ100にそのまま表示される(表示画像71)。
そして頭部が動いていると判定される「動き期間」に移行したら、画像生成装置10は解像度を低下させることにより、停止期間より小さいサイズの表示画像72を生成する。ヘッドマウントディスプレイ100では、これを拡大して表示する。結果として表示される画像74は、本来の画像より高周波成分が少なくなる。図ではその状態を網掛けで示している。あるいは上述の通り周囲に黒い領域を設けることで表示パネルのサイズに合致した表示画像としてもよい。そして頭部が再び停止したら、画像生成装置10は表示画像の解像度を元に戻し、ヘッドマウントディスプレイ100では送信された画像をそのまま表示する。
図7は、領域によって解像度を異ならせる場合の、頭部の動きの速度と領域の関係例を模式的に示している。なお表示画像は実際には図6で示すようなステレオ画像でよいが、同図ではその一方のみを示している。また解像度を低下させる領域を網掛けで示している。さらに各表示画像の右側には、当該表示画像を表示させるために画像生成装置10から送信する画像のデータを、その形状およびサイズを表す図形で示している。
まず頭部に動きがないとみなせる上限速度を第1のしきい値Vth1とすると、実際の速度Vが0≦V<Vth1の範囲のとき、画像74のように、注視点76aの位置に関わらず画像全体を標準の解像度とする。ここで標準の解像度とは、例えばヘッドマウントディスプレイ100の表示解像度と同じ解像度である。このとき画像生成装置10は、標準の解像度に対応するサイズで表示画像全体を表した画像90のデータを送信する。
一方、頭部が動いているが低速とみなせる上限速度を第2のしきい値Vth2(Vth2>Vth1)とすると、実際の動きVがVth1≦V<Vth2の範囲のとき、画像78のように、注視点76bを中心とする注視領域80bは標準の解像度とし、その外側の領域の解像度を低下させる。図示する例では、注視領域80bは半径R1の円形状を有する。このとき画像生成装置10は、標準の解像度で注視領域80bのみを表した画像92のデータと、低下させた解像度に対応する、標準より小さいサイズで表示画像全体を表した画像94のデータを送信する。
なお画像生成装置10が送信する注視領域80bの画像92は、実際には注視領域80bに外接する矩形としてよい。あるいは注視領域80b自体を矩形としてもよい。ヘッドマウントディスプレイ100の画像形成部66は、小さいサイズの全体領域の画像94を拡大したうえ、注視領域80bの画像92を合成することにより画像78を生成する。このとき注視領域80bの画像がその外側の領域の画像と滑らかにつながるように、境界部分をアルファブレンド合成することが望ましい。
動きが高速とみなせるVth2≦Vの範囲では、画像80のように、注視点76cを中心とする注視領域80cは標準の解像度とし、その外側の領域の解像度を低下させる。ここで注視領域80cの大きさを、低速時の画像78における注視領域80bより小さくする。図示する例では注視領域80cは半径R2(R2<R1)の円形状を有する。このとき画像生成装置10は、標準の解像度で注視領域80cのみを表した画像96のデータと、低下させた解像度に対応する、標準より小さいサイズで表示画像全体を表した画像98のデータを送信する。高速時の注視領域の画像96は低速時の画像92よりサイズが小さくなる。
また高速時の全体の画像98は解像度の設定によって、低速時の全体の画像94より小さいサイズとしてもよいし、同じサイズでもよい。なおこの例では動きの速度に対ししきい値を2つ設定したが、3つ以上でもよいし、1つでもよい。また上述のとおり注視点からの距離に応じて複数段階の境界を設定することにより、3つ以上の領域で解像度を異ならせてもよい。さらに、各領域における解像度の低減率を、速度範囲によって変化させてもよい。
定性的には、速度が大きくなるほど、解像度を低下させる領域を拡張する。これにより、速度が大きくなるほど送信すべきデータのサイズを小さくできる。その一方で、注視している対象については解像度を維持することにより、ある物を注視した状態で移動しているような場合に、注視している物まで精細度が下がりユーザに違和感を与えるのを防ぐことができる。また人間の特性上、動きが速くなるほど有効視野が狭まることを踏まえ、高解像度の領域を狭めることにより、より自然な変化でデータ量を最大限に削減できる。
図示するような態様にはさらに次のような効果もある。すなわち人間の特性として、周辺視野は注視点周辺の有効視野と比較して、動きに対する認識力が高いことがわかっている(例えば、Joseph S. Lappin, et al. "Spatial and temporal limits of motion perception across variations in speed, eccentricity, and low vision", Jornal of Vision, 2009, 9(1), 30, p. 1-14参照)。ヘッドマウントディスプレイでは実際の視野と異なり、頭部が動いても周辺視野に対し精細な画像が提示され、それが高い認識力との相乗効果で脳内に過剰な刺激を与えることもあり得る。本実施の形態のように周辺の解像度をあえて低減させることにより、相対的に大きな動きとなりやすい周辺視野の情報量を下げれば、酔いや眼精疲労が起こりにくい表示形態を実現できる。
なお図示する例では、頭部に動きがない状態では画像74の全体を標準の解像度としたが、この段階で注視点76aを含む標準解像度の領域と、その外側の低解像度の領域で表示画像を構成してもよい。この場合、頭部が動いている期間は、動いていない期間より標準解像度の領域を狭くする。上述のとおり有効視野と比較し周辺視野は低い視力で視認される。またレンズで視野を拡大するヘッドマウントディスプレイ100の場合、周辺視野は構造上、粗い解像度で視認されるため、表示画像の解像度を上げることによる恩恵は少ない。従って頭部の動きがないときも周辺領域の解像度を低くすることで、視認性への影響を抑えつつデータ伝送量をより軽減できる。
さらに図示する例では、標準解像度の注視領域80b、80cを円形状としていたが、それに限る主旨ではなく、注視点を重心とする矩形や楕円形、あるいは注視されている対象物の像の領域などとしてもよい。また頭部の動く方向に応じて標準解像度の領域の位置や形状を適応的に変化させてもよい。また注視領域とそれ以外の領域で解像度を異ならせる代わりに、画像の内容として注視が望まれる領域の解像度を他より高くしてもよい。例えばゲームの内容上、重要なオブジェクトが表されている領域や、仮想世界におけるユーザの進行方向の領域、視野の中心領域などの解像度を高くしてもよい。
あるいは図示しない入力装置を介してユーザ操作を受け付ける状況においては、当該操作の対象となっているオブジェクトや操作内容によって、解像度を高くする領域を決定してよい。また解像度を低下させる際は、送信データのビットレートが所定値となるように各領域の解像度を決定する。すなわち注視領域など他より解像度を高くする領域の面積と、当該領域およびそれ以外の領域に設定する解像度との組み合わせを、画像全体のデータ量が所定値に収まるように適切に決定する。
次に、これまで述べた構成により実現できる、画像生成装置10の動作を説明する。図8は、画像生成装置10がユーザの頭部の動きに応じた解像度で表示画像を生成、出力する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ100を装着したうえ、それへの画像表示を伴う電子コンテンツの開始要求を入力することなどにより開始される。これに応じてヘッドマウントディスプレイ100では、撮影や各種センサによる計測が開始される。さらに注視点検出器によって注視点の位置座標の測定を開始してもよい。
まず画像生成装置10のデータ取得部50は、ヘッドマウントディスプレイ100から現在時刻tの撮影画像のデータおよびセンサ計測値の少なくともいずれかを取得する(S10)。このとき時刻tの注視点の位置座標も必要に応じて取得する。すると動き検出部52は、それらを解析することにより、頭部に動きがあるか否かを判定する(S14)。実際には上述のとおり、頭部の角速度や並進速度が所定のしきい値(上述の例では第1のしきい値Vth1)を超えているか否かを判定する。
頭部に動きがないと判定した場合、解像度制御部54は時刻tの解像度の設定を標準とし、画像生成部56に通知する(S14のN、S16)。上述のとおり標準の状態においても注視点を含む所定範囲の領域の外側の解像度を低減させ、送信データ量を抑えるようにしてもよい。頭部に動きがあると判定した場合、解像度制御部54は表示画像の少なくとも一部の解像度を低減させる設定とし、画像生成部56に通知する(S14のY、S18)。
このとき上述のとおり、さらに別のしきい値判定により、速度範囲によって解像度の低減率や低減させる領域の面積を調整してもよい。画像生成部56は、それらの設定に従った解像度で、時刻tにおけるユーザの視線に対応する視野を有する表示画像を生成する(S20)。画像生成部56はさらに、生成した表示画像の解像度や、領域と解像度を対応づけた情報を作成し、付加データとする。
出力部58は、生成された表示画像のデータを適宜整形、圧縮符号化するなどして、付加データとともにヘッドマウントディスプレイ100に送信する(S22)。S14において頭部に動きがあると判定された場合、S22の圧縮処理において高周波成分を送信対象から外すなどの手法により実質的に解像度を低下させてもよい。ゲームの進捗やユーザ操作などにより表示を終了させる必要が生じない間は(S24のN)、次の時刻t=t+Δtのデータを取得し(S26、S10)、S14〜S22の処理を繰り返す。表示を終了させる必要が生じたら、全ての処理を終了させる(S24のY)。
以上述べた本実施の形態によれば、ヘッドマウントディスプレイに表示させる画像を生成する画像生成装置において、ヘッドマウントディスプレイを装着したユーザの頭部の動きの有無を監視し、動きがある間は少なくとも一部の領域の解像度を低下させる。これにより、動いている物を見るときには視力が低下するという人間の特性に適う表示の変化を人為的に作り出せるとともに、画像生成装置からヘッドマウントディスプレイへ送信するデータの量を軽減できる。
結果として、データ伝送に要する電力を削減できるため、ヘッドマウントディスプレイと画像生成装置との間の通信を無線化しても、内蔵させる電池容量を少なくでき、軽量で使い勝手のよいヘッドマウントディスプレイを実現できる。また電源からの熱の発生による頭部の不快感も防止できる。無線通信の場合、ヘッドマウントディスプレイの動きにより通信状況が悪化し伝送帯域が制限されることが考えられる。上述のように動きがある期間に対して必要最低限のデータをあらかじめ抽出しておくことにより、通信状況の悪化による表示画像への悪影響を抑えることができる。
また注視点から所定範囲の領域は、その外側の領域より解像度の低減率を抑えるか、解像度を低下させないようにする。これにより、頭部が動いていても注視している対象については高精細な画像を提示できる。また動きに対する認識力の高い周辺領域の解像度をあえて低下させることにより、眼精疲労や脳内への過剰な刺激を抑えることができる。さらに頭部の動きの速度に応じて解像度の低減率や、解像度を低下させる領域の境界を調整することにより、解像度の低下をより感じにくくできる。
実施の形態2
実施の形態1では、ユーザの頭部の動きの有無や速度によって解像度を変化させた。本実施の形態では、表示するステレオ画像の左眼用画像と右眼用画像で解像度に差を設ける。図9は、本実施の形態における画像生成装置200の機能ブロックの構成を示している。以後、実施の形態1と共通の処理については適宜説明を省略する。画像生成装置200は図3で示した内部回路構成を有し、接続するヘッドマウントディスプレイ100は図4で示したのと同様の構成でよい。ただしヘッドマウントディスプレイ100の計測部62は、図5で例示したような注視点検出器を含むものとする。
画像生成装置200は、ヘッドマウントディスプレイ100から処理に必要なデータを取得するデータ取得部250、左右の目のうち優位眼を決定する優位眼決定部252、その決定に従いステレオ画像の解像度を設定する解像度制御部254、決定された解像度で表示画像を生成する画像生成部256、表示画像のデータを適宜整形してヘッドマウントディスプレイ100に出力する出力部258を含む。
データ取得部250は、図4のデータ取得部50と同様に機能し、ヘッドマウントディスプレイ100から所定のレートで処理に必要なデータを取得する。ただし取得するデータには、注視点検出器による注視点の位置座標に係る情報が含まれる。優位眼決定部252は、注視点の位置座標の変化に基づき、左右どちらかの目を優位眼と決定する。人間には本来、物を見る際に左右どちらかの目を優位に使用することが知られており、一般に、主に使用される目を優位眼、反対側の目を非優位眼と呼ぶ。
優位眼は状況によって入れ替わることもある。優位眼の特定には様々な検査法が提案されているが、本実施の形態では、注視点の安定性を基準とすることで優位眼を決定する。換言すれば、左右の目の注視点のうち動きがより安定している方の目を広義の優位眼と定義する。優位眼決定部252はそのため、直前の所定時間における注視点の位置座標を保持しておき安定性を評価したうえ、安定性が高い方の目を優位眼とする。安定性の評価には、位置座標の分布を主成分分析したり標準偏差を求めたりする一般的な統計手法のいずれを採用してもよい。
優位眼決定部252は、ヘッドマウントディスプレイ100における画像表示の開始時に優位眼を決定するのみでもよいし、注視点の安定性を常時監視してその結果に基づき優位眼を随時決定してもよい。ユーザと優位眼を対応づけたデータを内部で保持し、ユーザごとに固定としてもよい。解像度制御部254は、表示するステレオ画像のうち非優位眼用の画像の少なくとも一部の解像度を、優位眼用の画像の解像度より低く設定する。
画像生成部256は、図4の画像生成部56と同様に機能し、解像度制御部254が設定した解像度で、表示画像を表示用のフレームレートで生成する。画像の内容や解像度の低下のさせ方は、実施の形態1で説明したのと同様である。出力部258は、図4の出力部58と同様に機能し、生成された画像のデータを適宜整形してヘッドマウントディスプレイ100に順次送信する。この際、ステレオ画像のそれぞれの解像度や、領域によって解像度を異ならせる場合は領域と解像度とを対応づけたデータなど、画像の解像度に係る情報を、フレームごとの付加データとして送信する。
図10は、表示画像を構成するフレームの時間的な変化を模式的に示している。図の表し方は図6と同様である。まず優位眼が右目の「右眼優位」の期間では、画像生成装置200は右眼用の画像272を、ヘッドマウントディスプレイの表示解像度に対応する解像度で生成する。一方、左眼用の画像は解像度を低下させることにより、右眼用の画像より小さいサイズの表示画像270を生成する。
そのようなデータを受信したヘッドマウントディスプレイ100では、右眼用についてはそのまま表示し、左眼用については拡大して表示する。その結果、左眼用の表示画像274は、本来の画像より高周波成分が少なくなる。すなわち視点の他に周波数成分の異なるステレオ画像が表示されることになる。このようにしてもそれらを同時に見れば、脳での再構成により通常と変わりない立体を認識できる。本発明者の実験によれば、ステレオ画像の一方の解像度を他方の1/4程度としても立体視に影響しないことが確認された。したがって立体視への影響を少なく送信するデータ量を軽減でき、消費電力を抑えることができる。
優位眼が左目の「左眼優位」に変化したら、画像生成装置200は左右の画像の解像度の高低を逆転させる。すなわち左眼用の画像278を、ヘッドマウントディスプレイの表示解像度に対応する解像度で生成し、右眼用の画像は解像度を低下させることにより、左眼用の画像より小さいサイズの表示画像280を生成する。結果としてヘッドマウントディスプレイ100では、左眼用についてはそのまま表示され、右眼用については拡大した画像276が表示される。
再び「右眼優位」に移行したら、左右の画像の解像度の高低を再度逆転させる。解像度の低下のさせ方は実施の形態1で説明したのと同様であり、画像全体の解像度を一律に下げてもよいし、図7で例示したように注視点から所定範囲の領域を除いて解像度を下げてもよい。なお優位眼用の表示画像においても周辺の解像度を下げ、非優位眼用の画像では解像度を下げる領域の面積を優位眼用の画像より大きくしてもよい。
このようにステレオ画像のうちどちらかの画像の解像度を下げることには、伝送するデータ量を軽減する以外に、眼精疲労を改善する効果がある。すなわち非優位眼の目前に詳細な画像を表示することにより、本来、優位眼と非優位眼で取得する情報量に自然に差をつけることでバランスがとれていたものが、非優位眼に対しても過度な情報が入り込む結果、眼精疲労や見えにくさを引き起こす。
非優位眼の視力を過度に矯正することによって眼精疲労や不同視などの問題が起こり得ることは、視力矯正技術などの分野でよく知られている。また、優位眼を遠見矯正し、非優位眼を近見矯正することで老視矯正をする手法はモノビジョン法として知られている。このような両眼の機能の差を考慮して、画像として提示する情報量を左右で調整することにより、より見やすく疲労の少ない表示形態を実現できる。なお解像度の高低を左右の画像で切り替えるタイミングは、注視点の安定性に基づく優位眼が切り替わった時点としてもよいし、シーンの切り替わりなど表示しているコンテンツの区切りで実施してもよい。後者のように表示内容によってタイミングを調整すれば、ユーザの認識上でシームレスな切り替えを実現できる。
次に、これまで述べた構成により実現できる、画像生成装置200の動作を説明する。図11は、画像生成装置200が優位眼/非優位眼によりステレオ画像の解像度に差を設けて表示画像を生成、出力する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ100を装着したうえ、それへの画像表示を伴う電子コンテンツの開始要求を入力することなどにより開始される。
まず画像生成装置200のデータ取得部250は、ヘッドマウントディスプレイ100から現在時刻tにおけるユーザの注視点の位置座標に係るデータを取得する(S30)。このとき、表示画像の生成に必要なデータ、すなわち撮影画像のデータやセンサ計測値も適宜取得する。優位眼決定部252は、注視点の位置座標の安定性を所定の基準により評価し、安定性の高い方の目を優位眼として決定する(S32)。
すると解像度制御部254は、優位眼用の表示画像に対し標準の解像度を設定する一方、非優位眼用の表示画像の少なくとも一部の解像度を低下させる設定とし、画像生成部256に通知する(S34)。画像生成部256は設定に従った解像度で、時刻tにおけるユーザの視線に対応する視野を有する表示用のステレオ画像を生成する(S36)。画像生成部256はさらに、生成した表示画像の解像度や、領域と解像度を対応づけた情報を作成し、付加データとする。
出力部258は、生成された表示画像のデータを適宜整形、圧縮符号化するなどして、付加データとともにヘッドマウントディスプレイ100に送信する(S38)。実施の形態1と同様、この圧縮処理において高周波成分を除くことにより、実質的に非優位眼用の画像の解像度を下げてもよい。ゲームの進捗やユーザ操作などにより表示を終了させる必要が生じない間は(S40のN)、次の時刻t=t+Δtのデータを取得し(S42、S30)、S32〜S38の処理を繰り返す。表示を終了させる必要が生じたら、全ての処理を終了させる(S40のY)。
以上述べた本実施の形態によれば、ヘッドマウントディスプレイに表示された立体視用のステレオ画像に対するユーザの注視点の位置座標を取得する。そして表示画像を生成する画像生成装置において、注視点の動きがより安定している目を優位眼と定め、非優位眼用の表示画像の少なくとも一部の領域の解像度を低下させる。これにより、立体感を損なうことなく画像生成装置からヘッドマウントディスプレイへ送信するデータの量を軽減できる。
結果として、データ伝送に要する電力を削減できるため、ヘッドマウントディスプレイと画像生成装置との間の通信を無線化しても、内蔵させる電池容量を少なくでき、軽量で使い勝手のよいヘッドマウントディスプレイを実現できる。また電源からの熱の発生による頭部の不快感も防止できる。さらに本来使用が抑えられている非優位眼に入る情報量が軽減されるため、眼精疲労や立体視のしにくさ、酔いなどの改善にも効果がある。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば実施の形態1と実施の形態2を組み合わせてもよい。図12は、頭部の動きによる解像度の低減処理と、目の優位性による解像度の調整を組み合わせたときの、表示画像を構成するフレームの時間的な変化を模式的に示している。図の表し方は図6、図10と同様である。まず頭部に動きのない「停止期間」では、画像生成装置は実施の形態1で説明したように、ヘッドマウントディスプレイの表示解像度に対応する解像度で表示画像300を生成する。その結果、生成された表示画像が、ヘッドマウントディスプレイ100にそのまま表示される(表示画像301)。
そして頭部が動いていると判定される「動き期間」に移行したら、画像生成装置は解像度を低下させることにより、停止期間より小さいサイズの表示画像302を生成する。ヘッドマウントディスプレイ100では、これを拡大して表示する(表示画像304)。次に頭部が再び停止したら、実施の形態2のように、左右どちらかの表示画像の解像度を標準に戻す。図の例では、右眼用の画像308の解像度のみを元に戻し、左眼用の表示画像306は解像度を低下させたままとしている。
このようにすることで、頭部が停止した途端、伝送するデータの量が増大するのを防ぐことができ、使用する伝送帯域の急激な変化による通信状態の悪化や表示までのレイテンシを抑えることができる。また実施の形態1や実施の形態2で述べたように、画像の認識への影響を少なく、データ伝送量を抑えることができ、消費電力を軽減できる。
頭部が停止した際にどちらの画像の解像度を元に戻すかは、その時点での注視点の安定性を評価したうえで安定性の高い方に決定してもよいし、状況に関わらずユーザごとに固定としたり、ユーザ共通の設定としたりしてもよい。注視点の状況に関わらず決定する態様は、図4で示した画像生成装置10の構成により実現できる。注視点の安定性に基づき優位眼を決定したうえでそちらの解像度を元に戻す態様は、画像生成装置10に、図9で示した優位眼決定部252を設けることにより実現できる。
また、頭部が停止してから所定時間のみ、左右どちらかの表示画像を低解像度として急激なデータ伝送量の増大を抑えたうえで、最終的にはステレオ画像の双方を標準の解像度としてもよいし、頭部の停止期間において実施の形態2を継続的に導入してもよい。さらに頭部が動いている期間において左右の表示画像の解像度に差を設けてもよい。すなわち一方の表示画像の解像度を、他方の表示画像の解像度よりさらに低下させる。このようにしても実施の形態2で説明したように立体視が損なわれる可能性が低い。結果としてユーザが意識することなくデータ転送量をさらに軽減できる。
また実施の形態1では、頭部の速度に着目して解像度を低下させたり元に戻したりしたが、頭部の速度の代わりに、実施の形態2で説明した注視点の安定性を利用してもよい。具体的には動き検出部52は左右の注視点の動きを監視し、解像度制御部54は、それらが所定時間以上、表示画像における所定範囲の同じ領域内にあるときは標準の解像度とする。このときも当該領域とそれ以外の領域で解像度に高低を設けてよい。そして左右の注視点の少なくともどちらか一方が当該領域から逸脱したら、あるいは逸脱する状態が所定時間以上継続したら解像度を低下させる。これにより、頭部の動きに関わらず視点が定まっていない状態において、視認性への影響を小さく送信データのサイズを抑えることができる。また動き検出部52は、頭部の動きと視点の安定性の双方を監視し、頭部に動きがあるか視点が不安定であると判定されるときに解像度を低下させてもよい。
さらに実施の形態1および2では、頭部の動きあるいは注視点の安定性に基づき、専ら表示画像の解像度を低下させる態様を説明したが、表示画像に与える変化はそれ以外のパラメータでもよい。この場合、解像度制御部54、254の代わりに、当該パラメータを制御するパラメータ制御部を設ける。例えばパラメータ制御部は、画像生成装置10から送信する際の圧縮率を低下させてもよいし、画素値のビット深度を下げてもよい。また1画素が複数チャネルで構成される画像データのうち所定チャネルの解像度を低下させてもよい。例えば赤緑青(RGB)のカラー画像のデータのうち、赤と青の解像度を緑の解像度より低くしてもよい。この場合、表示時には解像度が低いチャネルの画像データを補間により拡大するなどしてチャネル間で解像度を統一する。また画像のコントラストやフレームレートを低下させたり、ガンマカーブを変化させて輝度レンジを狭めてもよい。
実施の形態2に当てはめた場合、例えば左眼視用画像、右眼視用画像のどちらか一方の圧縮率を他方より高くしたり、一方のフレームレートを他方より低下させたりすることが考えられる。また一方の画素値のビット深度を他方より低くすることが考えられる。このとき緑など特定のチャネルの画素値には差を設けず、赤と青などそれ以外のチャネルの画素値のみビット深度を低くして表示への影響をより抑えてもよい。このようなパラメータを変化させる場合も、注視領域とその他の領域で異なる変化量としてよい。またパラメータ制御部は、これらのパラメータのうち少なくともいずれかと解像度とを組み合わせて変化させてもよい。
いずれにしろ頭部が動いていたり注視点が安定していなかったりする期間において、送信するデータのサイズが小さくなるようにこれらのパラメータを調整すれば、見た目への影響を最小限に、画像鑑賞の環境を良好にできる。またデータサイズの縮小に貢献しないパラメータであっても、眼精疲労を軽減させたり、左右の目で視認された差のある画像を脳内で再構成することにより新たな視覚的効果が得られたりすることが考えられる。そのような目的においては、上述した以外にも画像データに係る様々なパラメータを、左右の画像間で差を設ける対象とすることができる。
また実施の形態2では、注視点の動きがより安定している目を優位眼として、それと反対側の目に対する表示画像の解像度を低下させた。一方、解像度を低下させる画像をその他の規則で決定してもよい。例えば注視点の安定性に関わらず解像度を低下させる画像を左右のどちらかに決めておいてもよい。さらに解像度の高低を、所定時間ごと、あるいは表示させるコンテンツのシーンの切り替わりなど所定のタイミングで強制的に切り替えてもよい。
このような場合、片方の画像全体の解像度を下げてもよいし、注視点の位置によって解像度を低下させる領域を限定してもよい。例えば左右の目の注視点が画像上の同じ位置にある期間は、当該位置を含む所定範囲の領域については標準解像度とし、それ以外の領域の解像度を低下させる。あるいは左右の目の注視点が画像上の同じ範囲内に所定時間以上、滞留している期間は、当該範囲の領域については標準解像度とし、それ以外の領域の解像度を低下させてもよい。これらの状況は、ある領域に視点が定まっていることを意味するため、そのような領域の発生に応じて解像度を元に戻すことにより、視認性への影響を最小限にできる。
人間には、より詳細に見える方の目を優先的に使用して物を見る特性がある。したがって上述のように、左右の目に対する画像の解像度に高低を設けることにより、自ずと高解像度の画像が提示された方の目を使うようになる。これは表示画像の解像度によって優位眼を誘発しているともいえる。そして高解像度の画像を所定のタイミングで切り替えることにより、主に使用している目を切り替えることができるため、片方の目のみを酷使するより眼精疲労を起こしにくい。結果として、疲労が少なく立体視に違和感のない画像を、少ないデータ伝送量で実現できる。なお左右の画像に対し所定のタイミングで切り替えを行うパラメータは解像度に限らず、上述した圧縮率、フレームレート、ビット深度などのいずれでもよいし、それらのいずれか2つ以上を同時に切り替えるようにしても、これまで述べたのと同様の効果が得られる。
また実施の形態1および2では、専ら画像生成装置において解像度の調整を行った。一方、ヘッドマウントディスプレイから画像生成装置に撮影画像のデータを送信する場合は、ヘッドマウントディスプレイのカメラにおいて、解像度の調整を行ってもよい。すなわち撮像素子アレイによって検出されてなるいわゆるRAW画像から、画像生成装置に送信する撮影画像のデータを生成する段階において、解像度の低減処理を実施する。
この場合の解像度の低減には、頭部の動きや優位眼など、実施の形態1や2で説明したのと同様の基準を用いてよい。このとき画像生成装置10または200は、解像度制御部54または254による解像度の設定結果を、出力部58または258からヘッドマウントディスプレイ100に送信する。これに応じてヘッドマウントディスプレイ100の撮像部60は、設定に従った解像度で撮影画像のデータを生成し、通信部64から画像生成装置10または200に送信する。これにより、画像生成装置からヘッドマウントディスプレイへのデータ伝送のみならず、ヘッドマウントディスプレイから画像生成装置へのデータ伝送量をも軽減させることができ、消費電力をより抑えることができる。
10 画像生成装置、 23 CPU、 24 GPU、 26 メインメモリ、 50 データ取得部、 52 動き検出部、 54 解像度制御部、 56 画像生成部、 58 出力部、 60 撮像部、 62 計測部、 64 通信部、 66 画像形成部、 68 表示部、 100 ヘッドマウントディスプレイ、 110 ステレオカメラ、 250 データ取得部、 252 優位眼決定部、 254 解像度制御部、 256 画像生成部、 258 出力部。
以上のように本発明は、ゲーム装置、画像処理装置、コンテンツ再生装置など各種情報処理装置と、それを含むシステムなどに利用可能である。

Claims (9)

  1. ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、
    頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、
    前記設定に従う解像度で表示画像を生成する画像生成部と、
    前記表示画像のデータを前記ヘッドマウントディスプレイに出力する出力部と、
    を備え、
    前記画像生成部は前記表示画像として、左眼用および右眼用の画像対で構成されるステレオ画像を生成し、
    前記解像度制御部は、頭部に動きがある状態からない状態へ遷移してから所定時間、前記ステレオ画像のうち片方の画像の解像度のみを元に戻す期間を設けることを特徴とする画像生成装置。
  2. 前記解像度制御部は、前記表示画像を平面分割してなる複数の領域のそれぞれに、異なる解像度を設定することを特徴とする請求項1に記載の画像生成装置。
  3. 前記解像度制御部は、前記ヘッドマウントディスプレイに表示された画像に対するユーザの注視点の位置座標に係る情報を取得し、前記表示画像において、当該注視点から所定範囲の注視領域の外側の解像度を、内側の解像度より低く設定することを特徴とする請求項1または2に記載の画像生成装置。
  4. 前記解像度制御部は、頭部の速度が高いほど前記表示画像の解像度を低く設定することを特徴とする請求項1から3のいずれかに記載の画像生成装置。
  5. 前記解像度制御部は、頭部の速度が高いほど前記注視領域を狭く設定することを特徴とする請求項3に記載の画像生成装置。
  6. 前記ヘッドマウントディスプレイによって撮影され前記表示画像の生成に用いる撮影画像のデータを取得するデータ取得部をさらに備え、
    前記解像度制御部は、頭部に動きがあるとき、前記撮影画像の少なくとも一部の解像度を、動きがないときより低下させたデータを、前記ヘッドマウントディスプレイに送信させることを特徴とする請求項1から5のいずれかに記載の画像生成装置。
  7. ヘッドマウントディスプレイと、それに表示させる画像を生成する画像生成装置を含む画像表示システムであって、
    前記画像生成装置は、
    前記ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する動き検出部と、
    頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う解像度制御部と、
    前記設定に従う解像度で表示画像を生成する画像生成部と、
    前記表示画像のデータを前記ヘッドマウントディスプレイに出力する出力部と、
    を備え、
    前記ヘッドマウントディスプレイは、
    前記画像生成装置が出力した、解像度を低下させた表示画像のデータを拡大して表示させる画像形成部を備え、
    前記画像生成装置の前記画像生成部は前記表示画像として、左眼用および右眼用の画像対で構成されるステレオ画像を生成し、
    前記解像度制御部は、頭部に動きがある状態からない状態へ遷移してから所定時間、前記ステレオ画像のうち片方の画像の解像度のみを元に戻す期間を設けることを特徴とする画像表示システム。
  8. ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定するステップと、
    頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行うステップと、
    前記設定に従う解像度で表示画像を生成するステップと、
    前記表示画像のデータを前記ヘッドマウントディスプレイに出力するステップと、
    を含み、
    前記表示画像を生成するステップは前記表示画像として、左眼用および右眼用の画像対で構成されるステレオ画像を生成し、
    頭部に動きがある状態からない状態へ遷移してから所定時間、前記ステレオ画像のうち片方の画像の解像度のみを元に戻す期間を設けるステップをさらに含むことを特徴とする、画像生成装置による画像生成方法。
  9. ヘッドマウントディスプレイを装着したユーザの頭部の動きに係る情報を取得し、動きの有無を判定する機能と、
    頭部に動きがあるとき、表示画像の少なくとも一部の解像度を、動きがないときより低下させる設定を行う機能と、
    前記設定に従う解像度で表示画像を生成する機能と、
    前記表示画像のデータを前記ヘッドマウントディスプレイに出力する機能と、
    をコンピュータに実現させ、
    前記表示画像を生成する機能は前記表示画像として、左眼用および右眼用の画像対で構成されるステレオ画像を生成し、
    前記設定を行う機能は、頭部に動きがある状態からない状態へ遷移してから所定時間、前記ステレオ画像のうち片方の画像の解像度のみを元に戻す期間を設けることを特徴とするコンピュータプログラム。
JP2019518707A 2017-05-18 2017-05-18 画像生成装置、画像表示システム、および画像生成方法 Active JP6909286B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018736 WO2018211672A1 (ja) 2017-05-18 2017-05-18 画像生成装置、画像表示システム、および画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2018211672A1 JPWO2018211672A1 (ja) 2019-11-07
JP6909286B2 true JP6909286B2 (ja) 2021-07-28

Family

ID=64273510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518707A Active JP6909286B2 (ja) 2017-05-18 2017-05-18 画像生成装置、画像表示システム、および画像生成方法

Country Status (3)

Country Link
US (1) US11216907B2 (ja)
JP (1) JP6909286B2 (ja)
WO (1) WO2018211672A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803138B (zh) * 2017-11-16 2020-10-09 宏达国际电子股份有限公司 自适应交错图像卷绕的方法、系统以及记录介质
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11153488B2 (en) * 2019-09-26 2021-10-19 United States Of America, As Represented By The Secretary Of The Army Variable latency and frame rate camera
CN111128068B (zh) * 2019-11-28 2022-10-21 武汉天马微电子有限公司 一种显示装置和显示面板的驱动显示方法
JP2023044735A (ja) * 2020-03-05 2023-04-03 ソニーグループ株式会社 情報処理装置、映像表示システム、および映像表示方法
JP7259820B2 (ja) * 2020-09-24 2023-04-18 カシオ計算機株式会社 表示制御装置、電子時計、表示制御方法、及び、プログラム
CN116508314A (zh) 2020-12-08 2023-07-28 麦克赛尔株式会社 图像显示装置以及图像显示方法
BE1029880B1 (nl) * 2021-10-26 2023-05-30 Rods&Cones Holding Bv Geautomatiseerde gebruikersvoorkeursinstellingen

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) * 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
WO2009066465A1 (ja) * 2007-11-20 2009-05-28 Panasonic Corporation 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
US9706114B2 (en) * 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10417832B2 (en) * 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6218787B2 (ja) * 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems

Also Published As

Publication number Publication date
US20200051207A1 (en) 2020-02-13
WO2018211672A1 (ja) 2018-11-22
JPWO2018211672A1 (ja) 2019-11-07
US11216907B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
JP6870080B2 (ja) 画像生成装置、画像表示システム、および画像生成方法
JP6909286B2 (ja) 画像生成装置、画像表示システム、および画像生成方法
US11061240B2 (en) Head-mountable apparatus and methods
EP3563570B1 (en) Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking
US20200301506A1 (en) Eye tracking to adjust region-of-interest (roi) for compressing images for transmission
US9191658B2 (en) Head-mounted display and position gap adjustment method
JP2023500234A (ja) 眼追跡器を組み込む明視野ディスプレイと、眼追跡情報を使用して明視野ディスプレイのためのビューを生成するための方法
US20170324899A1 (en) Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method
EP3923122A1 (en) Gaze tracking apparatus and systems
US11983310B2 (en) Gaze tracking apparatus and systems
EP3916464A1 (en) Gaze tracking apparatus and systems
EP3961572A1 (en) Image rendering system and method
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
GB2597725A (en) Data processing system and method for image enhancement
US11579690B2 (en) Gaze tracking apparatus and systems
EP4312435A1 (en) Display device, head-mount display, and image display method
JP2024015651A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023007716A (ja) 画像表示システムおよび画像表示方法
GB2598953A (en) Head mounted display
CN118138734A (zh) 显示设备晕眩感降低方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210702

R150 Certificate of patent or registration of utility model

Ref document number: 6909286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150