JP2024093070A - Hmd輝度調整装置およびそのプログラム - Google Patents
Hmd輝度調整装置およびそのプログラム Download PDFInfo
- Publication number
- JP2024093070A JP2024093070A JP2022209207A JP2022209207A JP2024093070A JP 2024093070 A JP2024093070 A JP 2024093070A JP 2022209207 A JP2022209207 A JP 2022209207A JP 2022209207 A JP2022209207 A JP 2022209207A JP 2024093070 A JP2024093070 A JP 2024093070A
- Authority
- JP
- Japan
- Prior art keywords
- display
- hmd
- brightness adjustment
- brightness
- adjustment device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002093 peripheral effect Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims description 11
- 210000003128 head Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】HMDのディスプレイに表示する映像の周辺輝度を調整するHMD輝度調整装置を提供する。【解決手段】HMD輝度調整装置1は、映像をフレームごとに原画像として入力する原画像入力部11と、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる周辺輝度調整部12と、周辺輝度調整部12で原画像の輝度が調整された調整画像をフレームとしてHMD2に出力する調整画像出力部13と、を備える。【選択図】図5
Description
本発明は、HMDに表示する映像の輝度を調整するHMD輝度調整装置およびそのプログラムに関する。
ヘッドマウントディスプレイ(HMD:Head-Mounted Display)は、広視野の映像を両眼視差および運動視差とともに提示することによって、あたかも自分がその場にいるかのような体感を可能にする。
理想的には、ディスプレイが人の視野全体を覆うことでHMD装着時に視野が制限されていることが知覚されない状態が、HMDにおける最も高い視野特性の条件である。
しかし、そのような理想的なHMDを実現するためには、非常に大きな視野角のディスプレイが必要となる。例えば、HMD装着時に自由な眼球運動を考慮した場合、水平でおよそ250°程度の視野角が必要になる(非特許文献1参照)。
理想的には、ディスプレイが人の視野全体を覆うことでHMD装着時に視野が制限されていることが知覚されない状態が、HMDにおける最も高い視野特性の条件である。
しかし、そのような理想的なHMDを実現するためには、非常に大きな視野角のディスプレイが必要となる。例えば、HMD装着時に自由な眼球運動を考慮した場合、水平でおよそ250°程度の視野角が必要になる(非特許文献1参照)。
また、近年では、高精細なVR(Virtual Reality)映像を提示する手法として、ドーム型のディスプレイも開示されている(非特許文献2参照)。
このドーム型のディスプレイをHMDに適用することで、HMDにおいて高い視野特性を持たせることができる。
このドーム型のディスプレイをHMDに適用することで、HMDにおいて高い視野特性を持たせることができる。
一方、視野角を、見かけ上大きくする手法として、少なくとも視野角が120°以上となる光拡散板およびバックライトをHMDのディスプレイの裏側に配置し、ディスプレイ周辺を発光させる手法が開示されている(特許文献1参照)。この手法は、光拡散板およびバックライトによってHMDのディスプレイ周辺を明るくすることで、目の錯覚により、視野角を広く見せかける手法である。
M. Harasawa, Y. Miyashita, and K. Komine, "Perimetry on Head-Centered Coordinate System for Requirements of Head-Mounted Display", IDW 2021, https://doi.org/https://doi.org/10.36463/idw.2021.0587
"高精細VR映像"[online],NHK放送技術研究所 技研公開2019,[令和4年12月12日検索]、インターネット<URL:https://www.nhk.or.jp/strl/open2019/tenji/e2.html>
ディスプレイを人の視野全体に覆う手法は、前記した通り、非常に大きな視野角のディスプレイが必要となり、装置が大型化するという問題がある。
また、従来の見かけ上の視野角を大きくする手法であっても、HMDに光拡散板およびバックライトを配置する必要があるため、装置が大型化してしまうという問題がある。
また、従来の見かけ上の視野角を大きくする手法であっても、HMDに光拡散板およびバックライトを配置する必要があるため、装置が大型化してしまうという問題がある。
そこで、本発明は、輝度を調整してディスプレイの表示境界を知覚されにくくすることで、ディスプレイの大型化を抑えて、視野角を広く感じさせることが可能なHMD輝度調整装置およびそのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係るHMD輝度調整装置は、HMDのディスプレイに表示する映像の周辺輝度を調整するHMD輝度調整装置であって、原画像入力部と、周辺輝度調整部と、調整画像出力部と、を備える構成とした。
かかる構成において、HMD輝度調整装置は、原画像入力部によって、映像をフレームごとに原画像として入力する。この映像は、HMDに入力される調整前の映像である。
そして、HMD輝度調整装置は、周辺輝度調整部によって、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる。これによって、ディスプレイの表示境界近傍の画像が徐々にディスプレイ外輝度と同じ輝度に変化する。
そして、HMD輝度調整装置は、周辺輝度調整部で原画像の輝度が調整された調整画像をフレームとしてHMDに出力する。
そして、HMD輝度調整装置は、周辺輝度調整部によって、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる。これによって、ディスプレイの表示境界近傍の画像が徐々にディスプレイ外輝度と同じ輝度に変化する。
そして、HMD輝度調整装置は、周辺輝度調整部で原画像の輝度が調整された調整画像をフレームとしてHMDに出力する。
これによって、ユーザは、HMDを介して、ディスプレイの表示境界までに映像の輝度が予め定めた関数に従って段階的に暗くなった映像を視認することになり、表示境界そのものを知覚することが困難になる。そのため、ユーザは、表示境界を意識することなく、視野角を広く感じることができる。
なお、HMD輝度調整装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
なお、HMD輝度調整装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
本発明によれば、HMDの装着者に周辺視野の制限が知覚され難くなるため、ディスプレイの大型化を抑えて視野角を広く感じさせることができる。
以下、本発明の実施形態について図面を参照して説明する。
<HMD輝度調整装置とHMDとの関係>
まず、図1を参照して、本発明の実施形態に係るHMD輝度調整装置1とHMD2との関係について説明する。
<HMD輝度調整装置とHMDとの関係>
まず、図1を参照して、本発明の実施形態に係るHMD輝度調整装置1とHMD2との関係について説明する。
HMD輝度調整装置1は、HMD2と有線または無線で接続され、HMD2の表示デバイス(ディスプレイD)に表示する映像の周辺輝度を調整するものである。
ここでは、HMD輝度調整装置1は、ディスプレイDとディスプレイDの外側(通常は、プラスチック等の部材)との境界に近づくほど、映像の輝度を順次落としてディスプレイDの外側の輝度に合わせる調整を行う。
HMD輝度調整装置1は、HMD2の位置や向きに応じた映像を外部の映像生成装置(不図示)からフレーム(原画像)ごとに入力し、輝度調整を行ったフレーム(調整画像)をHMD2に出力する。HMD2の位置や向きに応じた映像の生成は、本発明とは直接は関係がないため、説明を省略する。なお、HMD輝度調整装置1の構成については、図5を参照して、後記する。
ここでは、HMD輝度調整装置1は、ディスプレイDとディスプレイDの外側(通常は、プラスチック等の部材)との境界に近づくほど、映像の輝度を順次落としてディスプレイDの外側の輝度に合わせる調整を行う。
HMD輝度調整装置1は、HMD2の位置や向きに応じた映像を外部の映像生成装置(不図示)からフレーム(原画像)ごとに入力し、輝度調整を行ったフレーム(調整画像)をHMD2に出力する。HMD2の位置や向きに応じた映像の生成は、本発明とは直接は関係がないため、説明を省略する。なお、HMD輝度調整装置1の構成については、図5を参照して、後記する。
HMD2は、ユーザHの頭部に装着され、ユーザHの頭部の位置や向きを検出し、その位置や向きに対応した映像を表示するものである。
ここでは、HMD2のディスプレイDをドーム型の球面の一部とし、接眼レンズ等のディスプレイD以外の構成については図示を省略している。
HMD2は、検出したユーザHの頭部の位置や向きを映像生成装置(不図示)に通知することで、HMD輝度調整装置1を介して、輝度調整されたフレーム(画像)を入力し、ディスプレイDに表示する。
これによって、ユーザHは、ディスプレイDの周辺にいくほど、映像の輝度が低下するため、ディスプレイDの境界を知覚することが困難になり、視野角を広く感じることができる。
ここでは、HMD2のディスプレイDをドーム型の球面の一部とし、接眼レンズ等のディスプレイD以外の構成については図示を省略している。
HMD2は、検出したユーザHの頭部の位置や向きを映像生成装置(不図示)に通知することで、HMD輝度調整装置1を介して、輝度調整されたフレーム(画像)を入力し、ディスプレイDに表示する。
これによって、ユーザHは、ディスプレイDの周辺にいくほど、映像の輝度が低下するため、ディスプレイDの境界を知覚することが困難になり、視野角を広く感じることができる。
<HMDの座標系>
図2~図4を参照して、HMD2のディスプレイDの座標系について説明する。図2は、HMD2内部のディスプレイDの斜視図である。図3は、HMD2内部のディスプレイDをユーザ側から見た正面図である。図4は、図3のIV-IV線断面図である。
図2~図4を参照して、HMD2のディスプレイDの座標系について説明する。図2は、HMD2内部のディスプレイDの斜視図である。図3は、HMD2内部のディスプレイDをユーザ側から見た正面図である。図4は、図3のIV-IV線断面図である。
ここでは、図2に示すように、HMD2を装着した際の頭部中心(両眼中心)が座標系の原点oに一致するものとする。x方向はユーザHから見て水平方向、y方向はユーザHから見て垂直方向、z方向はユーザHから見て奥行き方向を示す。
p(i,j)は、ディスプレイD上のある位置(i,j)の画素pの画素値を示す。
ここで、画素pの位置を特定する指標として、偏心度eと表示方向θとを定義する。
p(i,j)は、ディスプレイD上のある位置(i,j)の画素pの画素値を示す。
ここで、画素pの位置を特定する指標として、偏心度eと表示方向θとを定義する。
図2に示すように、偏心度eは、ディスプレイD上のある位置(i,j)の画素pが正面方向からどれだけ離れているか、すなわち、どれだけ視野周辺に位置するかを示す指標であって、正面方向(z方向)からの角度である。この偏心度eは、ベクトルozとベクトルopとのなす角である。
図3に示すように、表示方向θは、ユーザHの前額位置の平面(前額面)に相当するxy平面において、ディスプレイD上のある位置(i,j)の画素pが水平方向(x方向)からどれだけの角度に存在するか示すものである。すなわち、表示方向θは、線分opをxy平面に投影したときのベクトルoxとのなす角である。例えば、表示方向θが0°の画素は、原点oに対して水平方向に配置された画素を意味し、表示方向θが90°の画素は、原点oに対して垂直方向に配置された画素を意味する。
図4に示すように、HMD2のディスプレイDには、HMD2の外形形状を構成するプラスチック等で構成された領域(ディスプレイ外領域ND)が内部で球内面状に連続する。なお、ディスプレイ外領域NDは、図1~図3では図示を省略している。
ディスプレイ外領域NDは、黒いプラスチック等で構成され光を遮断する部材で構成される。
ここで、HMD2のディスプレイDとディスプレイ外領域NDとの境界(ディスプレイの表示境界)をeboundと表記する。そして、例えば、表示方向θにおける境界をebound(θ)と表記する。このディスプレイの表示境界ebound(θ)によって、原点oに対する表示方向θのディスプレイDの球内面における表示範囲を特定することができる。
ディスプレイ外領域NDは、黒いプラスチック等で構成され光を遮断する部材で構成される。
ここで、HMD2のディスプレイDとディスプレイ外領域NDとの境界(ディスプレイの表示境界)をeboundと表記する。そして、例えば、表示方向θにおける境界をebound(θ)と表記する。このディスプレイの表示境界ebound(θ)によって、原点oに対する表示方向θのディスプレイDの球内面における表示範囲を特定することができる。
<HMD輝度調整装置の構成>
次に、図5を参照(適宜図2~図4参照)して、HMD輝度調整装置1の構成について説明する。
図5に示すように、HMD輝度調整装置1は、HMD情報記憶部10と、原画像入力部11と、周辺輝度調整部12と、調整画像出力部13と、を備える。
次に、図5を参照(適宜図2~図4参照)して、HMD輝度調整装置1の構成について説明する。
図5に示すように、HMD輝度調整装置1は、HMD情報記憶部10と、原画像入力部11と、周辺輝度調整部12と、調整画像出力部13と、を備える。
HMD情報記憶部10は、HMD2のディスプレイDを特定する情報(HMD情報)を予め記憶するものである。HMD情報記憶部10は、半導体メモリ等の一般的な記憶媒体で構成することができる。
HMD情報には、画素情報、境界情報およびディスプレイ外輝度情報が含まれる。
HMD情報には、画素情報、境界情報およびディスプレイ外輝度情報が含まれる。
画素情報は、ユーザの予め定めた頭部中心座標を原点として、ユーザの正面方向からの偏心度およびユーザの前額面における頭部中心座標からの表示方向と、原画像の画素位置とを対応付けたものである。すなわち、画素情報は、ディスプレイ上の画素の位置(i,j)と偏心度eおよび表示方向θとを対応付けたテーブル情報である。
境界情報は、表示方向ごとのディスプレイの表示境界の偏心度である。すなわち、境界情報は、表示方向θごとに、ディスプレイDとディスプレイ外領域NDとの境界(ディスプレイDの表示境界)を示す偏心度eを対応付けたテーブル情報である。表示方向θに対応するディスプレイDの表示境界を、以下、ebound(θ)と表記する。
この境界情報によって、ディスプレイDの物理的な境界が特定される。
ディスプレイ外輝度情報は、ディスプレイ外領域NDの輝度(ディスプレイ外輝度)のレベルを特定する情報である。ディスプレイ外領域NDは、HMD2内部の黒いプラスチック等で構成され光を遮断する部材であるため、ディスプレイ外輝度L=0[cd/m2]とすればよい。
この境界情報によって、ディスプレイDの物理的な境界が特定される。
ディスプレイ外輝度情報は、ディスプレイ外領域NDの輝度(ディスプレイ外輝度)のレベルを特定する情報である。ディスプレイ外領域NDは、HMD2内部の黒いプラスチック等で構成され光を遮断する部材であるため、ディスプレイ外輝度L=0[cd/m2]とすればよい。
ディスプレイ外輝度情報は、ディスプレイ外輝度と等価な仮想画素値を設定する。ここでは、ディスプレイ外輝度と等価な仮想画素値をpout(i,j)と表記する。
例えば、ディスプレイ外輝度情報は、HMD輝度調整装置1に入力される画像がカラー画像(RGB画像等)の場合、pout(i,j)として、ディスプレイ外輝度Lと等価な画素値(R,G,B)=(0,0,0)を設定すればよい。
例えば、ディスプレイ外輝度情報は、HMD輝度調整装置1に入力される画像がカラー画像(RGB画像等)の場合、pout(i,j)として、ディスプレイ外輝度Lと等価な画素値(R,G,B)=(0,0,0)を設定すればよい。
原画像入力部11は、HMD2のディスプレイDに表示する映像をフレームごとに原画像として入力するものである。
ここでは、原画像入力部11に入力される画像は、ディスプレイDの画素位置(i,j)ごとにRGB値が対応付けられたカラー画像である。
原画像入力部11に入力される画像は、輝度を調整する前の原画像であって、porg(i,j)と表記する。
原画像入力部11は、入力した原画像を周辺輝度調整部12に出力する。
ここでは、原画像入力部11に入力される画像は、ディスプレイDの画素位置(i,j)ごとにRGB値が対応付けられたカラー画像である。
原画像入力部11に入力される画像は、輝度を調整する前の原画像であって、porg(i,j)と表記する。
原画像入力部11は、入力した原画像を周辺輝度調整部12に出力する。
周辺輝度調整部12は、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させるものである。
ここでは、周辺輝度調整部12は、重み算出部120と、合成画素値算出部121と、を備える。
ここでは、周辺輝度調整部12は、重み算出部120と、合成画素値算出部121と、を備える。
重み算出部120は、予め定めた関数に従って、原画像の画素値とディスプレイ外輝度と等価な画素値とを合成する重みを算出するものである。
重み算出部120は、HMD2のディスプレイDの周辺領域の原画像の輝度が、ディスプレイ外輝度に徐々に変化するように、原画像の画素値と、ディスプレイ外輝度と等価な画素値とを合成する重みを算出する。
この重みは、偏心度eの増加に伴って“1”から“0”に遷移するものを用いる。
ここでは、重み算出部120は、以下の式(1)に示すシグモイド関数に従い重みwを算出する。
重み算出部120は、HMD2のディスプレイDの周辺領域の原画像の輝度が、ディスプレイ外輝度に徐々に変化するように、原画像の画素値と、ディスプレイ外輝度と等価な画素値とを合成する重みを算出する。
この重みは、偏心度eの増加に伴って“1”から“0”に遷移するものを用いる。
ここでは、重み算出部120は、以下の式(1)に示すシグモイド関数に従い重みwを算出する。
ここで、aは、シグモイド関数の傾き、例えば“1”である。tは、重みwが“0.5”となる偏心度(シグモイド関数の中心)から、重みwが“0.001”以下になる偏心度との差分を表す。
重み算出部120は、入力された原画像の画素位置(i,j)ごとに、当該位置に対応する偏心度e、表示方向θおよびディスプレイの表示境界ebound(θ)を、HMD情報記憶部10から読み出して、前記式(1)による重みwを算出する。
重み算出部120は、算出した画素位置(i,j)ごとの重みを合成画素値算出部121に出力する。
重み算出部120は、入力された原画像の画素位置(i,j)ごとに、当該位置に対応する偏心度e、表示方向θおよびディスプレイの表示境界ebound(θ)を、HMD情報記憶部10から読み出して、前記式(1)による重みwを算出する。
重み算出部120は、算出した画素位置(i,j)ごとの重みを合成画素値算出部121に出力する。
なお、ここでは、重み算出部120は、シグモイド関数を用いたが、偏心度eの増加に伴って“1”から“0”に重みが減少する減少関数であれば、これに限定されるものではない。例えば、重み算出部120は、累積正規分布関数等を変形して用いてもよい。
合成画素値算出部121は、重み算出部120で算出された重みに基づいて、原画像の画素値とディスプレイ外輝度と等価な画素値とを重み付き加算することで画素値を算出するものである。
すなわち、合成画素値算出部121は、原画像入力部11で入力された原画像の画素値porg(i,j)と、HMD情報記憶部10に記憶されているディスプレイ外輝度と等価な仮想画素値pout(i,j)とから、以下の式(2)により、輝度調整後の画素値pmod(i,j)を算出する。
すなわち、合成画素値算出部121は、原画像入力部11で入力された原画像の画素値porg(i,j)と、HMD情報記憶部10に記憶されているディスプレイ外輝度と等価な仮想画素値pout(i,j)とから、以下の式(2)により、輝度調整後の画素値pmod(i,j)を算出する。
なお、ここでは、各画素はRGB値を持ち、p(i,j)=(R G B)t(tは転置)と表されるものとする。ここで、pmod(i,j)=(Rmod Gmod Bmod)t、porg(i,j)=(Rorg Gorg Borg)t、pout(i,j)=(Rout Gout Bout)tとすると、前記式(2)は、以下の式(3)となり、各RGB値に対して重み付き加算が行われることになる、
合成画素値算出部121は、合成(重み付き加算)した輝度調整後の画素値pmod(i,j)を調整画像出力部13に出力する。
調整画像出力部13は、周辺輝度調整部12で原画像の輝度が調整された調整画像をフレームとしてHMD2に出力するものである。
調整画像出力部13は、周辺輝度調整部12で輝度が調整された画素値pmod(i,j)を画素位置(i,j)の画素値とする調整画像をフレームとして、順次、HMD2に出力する。これによって、HMD2を装着したユーザは、ディスプレイDで、輝度が調整された映像を視認することができる。
調整画像出力部13は、周辺輝度調整部12で輝度が調整された画素値pmod(i,j)を画素位置(i,j)の画素値とする調整画像をフレームとして、順次、HMD2に出力する。これによって、HMD2を装着したユーザは、ディスプレイDで、輝度が調整された映像を視認することができる。
以上の構成によって、HMD輝度調整装置1は、HMD2のディスプレイDの周辺領域の映像の輝度を、ディスプレイ外輝度に徐々に変化させた映像を生成することができる。 これによって、HMD2を装着したユーザは、映像の周辺部分で視野の制限を知覚することが困難になり、視野角を広く感じることができる。
なお、HMD輝度調整装置1は、図示を省略したコンピュータを前記した各部として機能させるためのプログラム(HMD輝度調整プログラム)で動作させることができる。
なお、HMD輝度調整装置1は、図示を省略したコンピュータを前記した各部として機能させるためのプログラム(HMD輝度調整プログラム)で動作させることができる。
(輝度調整後の映像例)
ここで、図6を参照して、HMD輝度調整装置1が生成する輝度調整後の画像例について説明する。図6は、水平方向(表示方向θ=0)において、ディスプレイの表示境界ebound(θ)を120°としたとき、偏心度e(ここでは、100°から130°)と重みwとの関係を示すグラフである。また、そのグラフの上側に重みwに応じて生成される画像(調整画像pmod(i,j))の例を示している。図6では、調整画像pmod(i,j)を、模式的に2次元画像で表している。
ここで、図6を参照して、HMD輝度調整装置1が生成する輝度調整後の画像例について説明する。図6は、水平方向(表示方向θ=0)において、ディスプレイの表示境界ebound(θ)を120°としたとき、偏心度e(ここでは、100°から130°)と重みwとの関係を示すグラフである。また、そのグラフの上側に重みwに応じて生成される画像(調整画像pmod(i,j))の例を示している。図6では、調整画像pmod(i,j)を、模式的に2次元画像で表している。
図6は、シグモイド関数の傾きa(式(1)参照)を“1”、重みwが“0.5”となる偏心度(シグモイド関数の中心)から、重みwが“0.001”以下(≒0)になる偏心度との差分t(式(1)参照)を“6.91”とした重みwを用いた例である。
これによって、HMD輝度調整装置1は、HMD2で表示する映像において、水平方向(θ=0)では、ディスプレイの表示境界(ebound(θ)=120)よりも小さい偏心度(e=120°-2t)から、ディスプレイの表示境界(e=120°)までで、輝度を徐々に暗くしてディスプレイ外輝度と同等の輝度に調整することができる。
図6の調整画像pmod(i,j)に示すように、ディスプレイの表示境界に近い偏心度において輝度が徐々に変化し、ユーザは、視野制限の存在を知覚することが難しくなる。
これによって、HMD輝度調整装置1は、HMD2で表示する映像において、水平方向(θ=0)では、ディスプレイの表示境界(ebound(θ)=120)よりも小さい偏心度(e=120°-2t)から、ディスプレイの表示境界(e=120°)までで、輝度を徐々に暗くしてディスプレイ外輝度と同等の輝度に調整することができる。
図6の調整画像pmod(i,j)に示すように、ディスプレイの表示境界に近い偏心度において輝度が徐々に変化し、ユーザは、視野制限の存在を知覚することが難しくなる。
<HMD輝度調整装置の動作>
次に、図7を参照(構成については、適宜図5参照)して、HMD輝度調整装置1の動作について説明する。なお、HMD情報記憶部10には、HMD2のディスプレイDを特定するHMD情報として、画素情報、境界情報およびディスプレイ外輝度情報が、予め記憶されているものとする。
次に、図7を参照(構成については、適宜図5参照)して、HMD輝度調整装置1の動作について説明する。なお、HMD情報記憶部10には、HMD2のディスプレイDを特定するHMD情報として、画素情報、境界情報およびディスプレイ外輝度情報が、予め記憶されているものとする。
ステップS1において、原画像入力部11は、HMD2のディスプレイDに表示する映像のフレームを原画像として入力する。
ステップS2において、重み算出部120は、ステップS1で入力された原画像の画素位置(i,j)ごとに、当該位置に対応する偏心度e、表示方向θおよびディスプレイの表示境界ebound(θ)を、HMD情報記憶部10から読み出して、前記式(1)により重みwを算出する。
ステップS2において、重み算出部120は、ステップS1で入力された原画像の画素位置(i,j)ごとに、当該位置に対応する偏心度e、表示方向θおよびディスプレイの表示境界ebound(θ)を、HMD情報記憶部10から読み出して、前記式(1)により重みwを算出する。
ステップS3において、合成画素値算出部121は、ステップS2で算出された重みwを用いて、原画像の画素ごとに、原画像の画素値と、ディスプレイ外輝度と等価な画素値とを合成(重み付き加算)する。
ステップS4において、合成画素値算出部121は、原画像のすべての画素位置について重み付き加算が完了したか否かを判定する。
ここで、まだ重み付き加算が完了していない画素位置がある場合(ステップS4でNo)、HMD輝度調整装置1は、ステップ5で画素位置を更新し、ステップ2に動作を戻す。
ステップS4において、合成画素値算出部121は、原画像のすべての画素位置について重み付き加算が完了したか否かを判定する。
ここで、まだ重み付き加算が完了していない画素位置がある場合(ステップS4でNo)、HMD輝度調整装置1は、ステップ5で画素位置を更新し、ステップ2に動作を戻す。
一方、原画像のすべての画素位置について重み付き加算が完了した場合(ステップS4でYes)、ステップS6において、調整画像出力部13は、重み付き加算後の画像(調整画像)をフレームとしてHMD2に出力する。
ステップS7において、原画像入力部11は、次フレームが存在するか否かを判定する。ここで、次フレームが存在する場合(ステップS7でYes)、HMD輝度調整装置1は、ステップ1に戻って動作を継続する。
ステップS7において、原画像入力部11は、次フレームが存在するか否かを判定する。ここで、次フレームが存在する場合(ステップS7でYes)、HMD輝度調整装置1は、ステップ1に戻って動作を継続する。
一方、次フレームが存在しない場合(ステップS7でNo)、HMD輝度調整装置1は、動作を終了する。
以上の動作によって、HMD輝度調整装置1は、HMD2のディスプレイDの周辺領域の映像の輝度を、ディスプレイ外輝度に徐々に変化させた映像を生成することができる。
以上の動作によって、HMD輝度調整装置1は、HMD2のディスプレイDの周辺領域の映像の輝度を、ディスプレイ外輝度に徐々に変化させた映像を生成することができる。
<HMD輝度調整装置の評価>
次に、図8を参照して、本発明により、人間が認識する視野角をディスプレイ視野角より小さくすることが可能であることを示す評価結果について説明する。
なお、ここでは、水平方向のみの視野角について説明する。
次に、図8を参照して、本発明により、人間が認識する視野角をディスプレイ視野角より小さくすることが可能であることを示す評価結果について説明する。
なお、ここでは、水平方向のみの視野角について説明する。
この評価実験では、水平360°の円筒形ディスプレイを用いた。また、評価実験として、選択肢の数“2”のうち、どれか1つを必ず選ばなければならない2AFC(2 Alternative Forced Choice)課題を被験者に与えて実験を行った。
ここでは、表示方向θが0°(水平方向)における偏心度eを90°から140°(ディスプレイの水平視野角180°から280°)まで変化させて、偏心度eで、急峻に周辺輝度をディスプレイ外輝度に落とした映像と、偏心度eの位置に到達するまでに徐々に周辺輝度をディスプレイ外輝度に落とした映像との2つの映像を連続してランダムに円筒形ディスプレイに表示した。
そして、被験者は、表示された映像が輝度を急峻に落とした映像か徐々に周辺輝度を落とした映像かを回答する。
そして、被験者は、表示された映像が輝度を急峻に落とした映像か徐々に周辺輝度を落とした映像かを回答する。
図8は、この2AFC課題における正答率を、グラフ化したものである。図8は、横軸にディスプレイの水平視野角(偏心度e×2)、縦軸に2AFC課題の正答率を示す。
また、図8の左のグラフは、周辺輝度を急峻に変化させたときのグラフ、右のグラフは、周辺輝度を徐々に変化させたときのグラフである。なお、グラフ中、エラーバンドは、95%ベイズ予測区間である。
また、図8のグラフ中の上下のドットプロットは、被験者の正誤応答を表している。上側のドットプロットは正答、下側のドットプロットは誤答に相当する。
また、図8の左のグラフは、周辺輝度を急峻に変化させたときのグラフ、右のグラフは、周辺輝度を徐々に変化させたときのグラフである。なお、グラフ中、エラーバンドは、95%ベイズ予測区間である。
また、図8のグラフ中の上下のドットプロットは、被験者の正誤応答を表している。上側のドットプロットは正答、下側のドットプロットは誤答に相当する。
このとき、正答率0.75において、視野の制限を知覚する水平視野角の閾値μは、輝度を急峻に変化させた場合でμ=242.2(偏心度e=121.1)、輝度を徐々に変化させた場合でμ=221.4(偏心度e=110.7)であった。
本発明のように、輝度を徐々に変化させた場合、輝度を急峻に変化させた場合よりも、約20°視野角を低減させることが可能になる。
これによって、ある視野角のHMDを実現する場合、本発明によれば、視野角を小さくしても、小さいことをユーザに認識されにくいため、ディスプレイを小型化することが可能になる。
以上、本発明の実施形態について説明したが、本発明は、これに限定されるものではない。
本発明のように、輝度を徐々に変化させた場合、輝度を急峻に変化させた場合よりも、約20°視野角を低減させることが可能になる。
これによって、ある視野角のHMDを実現する場合、本発明によれば、視野角を小さくしても、小さいことをユーザに認識されにくいため、ディスプレイを小型化することが可能になる。
以上、本発明の実施形態について説明したが、本発明は、これに限定されるものではない。
<対象HMDの変形例>
ここでは、HMD輝度調整装置1は、図1~図4に示すように、ユーザHの頭部中心(両眼中心)を、ディスプレイDの球内面の中心とするHMD2を対象として説明した。
しかし、ユーザHの頭部中心を基準として、偏心度eおよび表示方向θと、ディスプレイDの画素とが対応付け可能であれば、HMDは、球面や曲面を持ったディスプレイを用いる必要はなく、平面ディスプレイを組み合わせたものであっても構わない。
ここでは、HMD輝度調整装置1は、図1~図4に示すように、ユーザHの頭部中心(両眼中心)を、ディスプレイDの球内面の中心とするHMD2を対象として説明した。
しかし、ユーザHの頭部中心を基準として、偏心度eおよび表示方向θと、ディスプレイDの画素とが対応付け可能であれば、HMDは、球面や曲面を持ったディスプレイを用いる必要はなく、平面ディスプレイを組み合わせたものであっても構わない。
図9にディスプレイを平面ディスプレイとしたHMD2Bの例を示す。図9(a)はHMDを装着した状態の上面を透視した上面図、図9(b)はHMDを装着した状態の側面を透視した側面図を示す。
なお、図9は、HMD2Bの平面ディスプレイDFのみを図示し、接眼レンズ等の平面ディスプレイDF以外の構成については図示を省略している。
HMD輝度調整装置1は、図9に示すように、HMD2Bとして、平面ディスプレイDFで構成された多面体の一部として構成したものを対象とすることも可能である。
なお、HMD輝度調整装置1は、HMD2,2Bの内部に備える構成としても構わない。
なお、図9は、HMD2Bの平面ディスプレイDFのみを図示し、接眼レンズ等の平面ディスプレイDF以外の構成については図示を省略している。
HMD輝度調整装置1は、図9に示すように、HMD2Bとして、平面ディスプレイDFで構成された多面体の一部として構成したものを対象とすることも可能である。
なお、HMD輝度調整装置1は、HMD2,2Bの内部に備える構成としても構わない。
また、ここでは、HMD2,2BのディスプレイDを、ユーザの頭部を覆う形状のものとしたが、視野角180°以下のディスプレイで構成したものであっても構わない。この場合であっても、映像の周辺でディスプレイの表示境界が検出される確率が低下するため、ユーザに対して、視野が制限されている感覚を緩和することができる。
1 HMD輝度調整装置
10 HMD情報記憶部
11 原画像入力部
12 周辺輝度調整部
120 重み算出部
121 合成画素値算出部
13 調整画素出力部
2,2B HMD
D ディスプレイ
ND ディスプレイ外領域
e 偏心度
θ 表示方向
10 HMD情報記憶部
11 原画像入力部
12 周辺輝度調整部
120 重み算出部
121 合成画素値算出部
13 調整画素出力部
2,2B HMD
D ディスプレイ
ND ディスプレイ外領域
e 偏心度
θ 表示方向
Claims (5)
- HMDのディスプレイに表示する映像の周辺輝度を調整するHMD輝度調整装置であって、
前記映像をフレームごとに原画像として入力する原画像入力部と、
前記ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、前記原画像の輝度を前記表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる周辺輝度調整部と、
前記周辺輝度調整部で前記原画像の輝度が調整された調整画像をフレームとして前記HMDに出力する調整画像出力部と、
を備えることを特徴とするHMD輝度調整装置。 - 前記周辺輝度調整部は、
前記関数に従って、前記原画像の画素値と前記ディスプレイ外輝度と等価な画素値とを合成する重みを算出する重み算出部と、
前記重み算出部で算出された重みに基づいて、前記原画像の画素値と前記ディスプレイ外輝度と等価な画素値とを重み付き加算することで前記調整画像の画素値を算出する合成画素値算出部と、
を備えることを特徴とする請求項1に記載のHMD輝度調整装置。 - ユーザの予め定めた頭部中心座標を原点として、前記ユーザの正面方向からの偏心度および前記ユーザの前額面における前記頭部中心座標からの表示方向と、前記原画像の画素位置とを対応付けた画素情報と、前記表示方向ごとの前記表示境界の偏心度である境界情報と、を記憶するHMD情報記憶部を備え、
前記重み算出部は、前記表示方向ごとに、前記画素情報および前記境界情報に基づいて、前記関数により前記画素位置における重みを算出することを特徴とする請求項2に記載のHMD輝度調整装置。 - 前記関数は、シグモイド関数であることを特徴とする請求項1に記載のHMD輝度調整装置。
- コンピュータを、請求項1から請求項4のいずれか一項に記載のHMD輝度調整装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022209207A JP2024093070A (ja) | 2022-12-27 | 2022-12-27 | Hmd輝度調整装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022209207A JP2024093070A (ja) | 2022-12-27 | 2022-12-27 | Hmd輝度調整装置およびそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024093070A true JP2024093070A (ja) | 2024-07-09 |
Family
ID=91804981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022209207A Pending JP2024093070A (ja) | 2022-12-27 | 2022-12-27 | Hmd輝度調整装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024093070A (ja) |
-
2022
- 2022-12-27 JP JP2022209207A patent/JP2024093070A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10271042B2 (en) | Calibration of a head mounted eye tracking system | |
US11551602B2 (en) | Non-uniform resolution, large field-of-view headworn display | |
US8619005B2 (en) | Switchable head-mounted display transition | |
US10761604B2 (en) | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same | |
TWI551145B (zh) | 頭戴式顯示器之增強影像顯示技術 | |
US8692845B2 (en) | Head-mounted display control with image-content analysis | |
US8994614B2 (en) | Head mountable display | |
CA3148706C (en) | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same | |
JP2020515895A (ja) | 操作可能な中心窩ディスプレイ | |
EP2472304A2 (en) | Head-mounted display | |
EP2469875A2 (en) | Head-mounted display | |
WO2011036827A1 (ja) | 立体映像表示装置および立体映像表示方法 | |
WO2016038997A1 (ja) | 表示装置、表示装置の駆動方法、及び、電子機器 | |
US20120182206A1 (en) | Head-mounted display control with sensory stimulation | |
US9905143B1 (en) | Display apparatus and method of displaying using image renderers and optical combiners | |
JP2013174642A (ja) | 映像表示装置 | |
US12019799B2 (en) | Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same | |
US10775617B2 (en) | Eye tracked lens for increased screen resolution | |
JP2016162033A (ja) | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 | |
US10771774B1 (en) | Display apparatus and method of producing images having spatially-variable angular resolutions | |
JP2024093070A (ja) | Hmd輝度調整装置およびそのプログラム | |
JP2004236191A (ja) | 画像表示装置 | |
JP7086392B2 (ja) | 画像投影装置及び画像投影方法 | |
US20180234670A1 (en) | Display device | |
GB2563832A (en) | Display method and apparatus |