JP2024047671A - 表示システムおよび表示方法 - Google Patents
表示システムおよび表示方法 Download PDFInfo
- Publication number
- JP2024047671A JP2024047671A JP2022153293A JP2022153293A JP2024047671A JP 2024047671 A JP2024047671 A JP 2024047671A JP 2022153293 A JP2022153293 A JP 2022153293A JP 2022153293 A JP2022153293 A JP 2022153293A JP 2024047671 A JP2024047671 A JP 2024047671A
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- user
- brightness
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 13
- 230000006978 adaptation Effects 0.000 claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 25
- 238000010586 diagram Methods 0.000 abstract description 11
- 208000003464 asthenopia Diseases 0.000 abstract description 7
- 230000003044 adaptive effect Effects 0.000 description 35
- 238000004458 analytical method Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 13
- 238000005259 measurement Methods 0.000 description 12
- 230000004300 dark adaptation Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 230000004301 light adaptation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、表示システムおよび表示方法に関する。
表示システムとして、ユーザの頭部に装着されるヘッドマウントディスプレイが知られている。ヘッドマウントディスプレイを長時間連続して使用することで生じる眼精疲労を低減するため、画像の表示時間の経過とともに、コントラストを下げたり、ブライトネスを上げたりする技術が提案されている(例えば、特許文献1参照)。
外光を遮蔽する形式のヘッドマウントディスプレイ装置の場合、装置の使用時に表示される画像の明るさによってユーザが知覚する装置の内部の明るさは、装置外の環境の明るさとは無関係である。そのため、装置の使用を終了して装置を取り外すときに、装置の内部と外部の明るさの差が大きいことがある。この場合、ユーザが装置外の環境の明るさに慣れるまでに時間がかかり、ユーザの目に負担がかかる。
本発明は、上述の事情に鑑みてなされたものであり、表示装置を取り外すときの明るさの急激な変化を調整することを目的とする。
本発明のある態様の表示システムは、ユーザの頭部に装着される筐体の内部に設けられ、ユーザに向けて画像を表示する表示部と、ユーザの疲労度を推定する疲労推定部と、表示部による表示の終了を検知する終了検知部と、疲労推定部によって推定される疲労度に応じて、表示部に表示させる画像の明るさを経時的に変化させて筐体の内部の明るさを示す内部照度値と筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを決定する順応表示決定部と、を備える。
本発明の別の態様は、表示方法である。この方法は、ユーザの頭部に装着される筐体の内部に設けられる表示部に画像を表示させるステップと、ユーザの疲労度を推定するステップと、表示部による表示の終了を検知するステップと、表示部に表示させる画像の明るさを変化させることによって筐体の内部の明るさを示す内部照度値と筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、推定される疲労度に応じて決定するステップと、を備える。
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
本発明によれば、表示装置を取り外すときの明るさの急激な変化を調整できる。
以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。
図1は、実施の形態に係る表示システム10の構成を模式的に示す図である。表示システム10は、表示装置12と、制御装置14と、入力装置16とを備える。
表示装置12は、いわゆるヘッドマウントディスプレイであり、ユーザ50の頭部に装着される。表示装置12は、例えば、結束バンドなどの固定具18によってユーザ50の頭部に固定される。表示装置12は、筐体20と、表示部22と、外部照度センサ24と、内部照度センサ26と、内部カメラ28とを備える。
筐体20は、ユーザ50の両目を覆うようにユーザ50の頭部に装着される。筐体20は、例えば、ユーザ50の両目の全体を被覆するゴーグル形状を有する。筐体20は、外光を遮蔽するように構成され、表示部22に画像が表示されないときに筐体20の内部が暗闇となる。
表示部22は、筐体20の内部に設けられ、ユーザ50に向けた画像を表示する。表示部22は、例えば、ユーザ50の両目と向かい合う位置に配置される画像表示素子で構成される。画像表示素子として、液晶ディスプレイ(LCD;Liquid Crystal Display)や有機エレクトロルミネッセンスディスプレイ(OELD;Organic Electro Luminescence Display)などを用いることができる。表示部22は、投写型の表示装置であってもよく、ユーザ50が視認する表示面に向けて映像表示光を投射するプロジェクタなどで構成されてもよい。
外部照度センサ24は、筐体20の外部に設けられる。外部照度センサ24は、筐体20の外部の明るさを計測し、筐体20の外部の明るさを示す外部照度値を出力する。外部照度センサ24は、例えば、可視光の明るさを検知するフォトダイオードを有するセンサであり、フォトダイオードに入射する可視光の明るさを示す照度値を出力するよう構成される。
内部照度センサ26は、筐体20の内部に設けられる。内部照度センサ26は、筐体20の内部の明るさを計測し、筐体20の内部の明るさを示す内部照度値を出力する。内部照度センサ26は、例えば、可視光の明るさを検知するフォトダイオードを有するセンサであり、フォトダイオードに入射する可視光の明るさを示す照度値を出力するよう構成される。
内部カメラ28は、筐体20の内部に設けられる。内部カメラ28は、ユーザ50の両目の少なくとも一方を撮影可能となるよう配置され、例えば、ユーザ50の両目の少なくとも一方と向かい合う位置に配置される。内部カメラ28は、例えば、ユーザ50に向けて赤外照明光を照射する光源と、ユーザ50の両目の少なくとも一方を赤外光で撮像する撮像素子とを含む。光源として、LED(Light Emitting Diode)などの半導体発光素子を用いることができる。撮像素子として、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの二次元画像センサを用いることができる。
制御装置14は、表示装置12の動作全般を制御する。制御装置14は、ハードウェア的には、コンピュータのCPU(Central Processing Unit)などのプロセッサおよびROM(Read Only Memory)やRAM(Random Access Memory)などのメモリといった素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現される。
制御装置14は、表示装置12の動作を制御するための専用端末であってもよいし、ユーザ50が保有するスマートフォンなどの携帯端末であってもよい。制御装置14は、通信ケーブルを介して表示装置12と有線通信するよう構成されてもよいし、表示装置12と無線通信するよう構成されてもよい。
図1の例において、制御装置14は、表示装置12とは別体として描かれているが、制御装置14は、表示装置12と一体的に構成されてもよい。例えば、制御装置14がスマートフォンなどの携帯端末である場合、スマートフォンの表示画面が表示部22として機能してもよい。また、制御装置14の少なくとも一部の機能が表示装置12と一体的に構成され、制御装置14の少なくとも一部の機能がユーザ50から離れて設置されるサーバ装置などによって実現されてもよい。
入力装置16は、ユーザ50からの入力操作を受け付ける装置である。入力装置16は、例えば、表示装置12を装着するユーザ50が把持して使用するよう構成されるジョイスティックやゲームパッドなどである。入力装置16は、マウスやキーボードであってもよい。入力装置16は、ユーザ50から音声入力を受け付けるマイクであってもよい。入力装置16がマイクの場合、表示装置12にマイクが設けられてもよく、例えば、筐体20の外部にマイクが設けられてもよい。
図2は、実施の形態に係る表示システム10の機能構成を模式的に示すブロック図である。表示装置12は、上述したように、表示部22と、外部照度センサ24と、内部照度センサ26と、内部カメラ28とを備える。制御装置14は、表示制御部32と、照度取得部34と、画像認識部36と、入力受付部38と、年齢取得部40と、時間計測部42と、終了検知部44と、順応表示決定部46とを備える。
表示制御部32は、表示部22に表示される画像を生成し、生成した画像に基づいて表示部22の動作を制御する。表示制御部32は、例えば、ユーザ50に仮想現実を提供するための画像を生成し、ユーザ50の入力操作に応じた画像を生成する。表示制御部32は、任意の外部装置(不図示)から取得するデータに基づいて画像を生成してもよく、例えば、映画やアニメーションといった動画コンテンツを再生するための動画データに基づいて画像を生成してもよい。
表示制御部32は、表示部22による表示の終了時に、順応表示決定部46によって決定される順応表示パターンにしたがった画像を表示させる。順応表示パターンは、表示部22に表示させる画像の明るさを経時的に変化させるパターンを定め、例えば、画像の明るさを時間経過とともに単調増加または単調減少させるパターンを定める。表示制御部32は、順応表示パターンにしたがった画像を表示部22に表示させることにより、ユーザ50が表示装置12を取り外すときの明るさの急激な変化を防ぐ。順応表示パターンの詳細については、別途後述する。
照度取得部34は、外部照度センサ24によって計測される外部照度値および内部照度センサ26によって計測される内部照度値を取得する。照度取得部34は、内部照度センサ26から内部照度値を取得する代わりに、表示部22に表示される画像の明るさに基づいて内部照度値を算出することによって内部照度値を取得してもよい。照度取得部34は、例えば、表示制御部32が生成する画像の明るさと内部照度値とを対応付ける数式またはテーブルを用いて内部照度値を算出できる。数式またはテーブルは、例えば、所定の明るさの画像を表示部22に表示したときの筐体20の内部の明るさをあらかじめ測定しておくことによって決定できる。この場合、表示装置12は、内部照度センサ26を備えなくてもよい。照度取得部34は、表示部22に表示される画像の輝度に基づいて内部照度値を取得してもよい。
画像認識部36は、内部カメラ28によって撮像された画像を取得し、取得した画像を画像認識技術を用いて解析する。画像認識部36は、例えば、ユーザ50の両目の少なくとも一方が含まれる画像からユーザ50の視線方向を推定する。画像認識部36は、ユーザ50の両目の少なくとも一方が含まれる画像からユーザ50の年齢を推定してもよい。なお、画像認識部36による視線方向や年齢の推定をしない場合、表示装置12は、内部カメラ28を備えなくてもよく、制御装置14は、画像認識部36を備えなくてもよい。
入力受付部38は、入力装置16に入力された入力操作を示す情報を取得する。入力受付部38は、例えば、ユーザ50による自身の年齢を入力する入力操作を受け付ける。表示制御部32は、ユーザ50による入力操作のための操作画面を生成し、表示部22に表示させてもよい。入力受付部38は、画像認識部36によって推定されたユーザ50の視線方向を用いて、ユーザ50による視線入力を受け付けてもよい。入力受付部38は、マイクからの音声信号を用いて、ユーザ50による音声入力を受け付けてもよい。
年齢取得部40は、ユーザ50の年齢に関する値を取得する。年齢取得部40は、画像認識部36が推定したユーザ50の年齢を取得してもよいし、入力受付部38が受け付けたユーザ50の年齢を取得してもよい。年齢取得部40は、ユーザ50の年齢の数値自体を取得してもよいし、ユーザ50の年齢がいずれの範囲に該当するかを示す値を取得してもよい。例えば、30歳未満を第1範囲とし、30歳以上50歳未満を第2範囲とし、50歳以上を第3範囲とした場合、年齢取得部40は、第1範囲、第2範囲および第3範囲に対応する1、2、3のいずれかの値を取得してもよい。
時間計測部42は、ユーザ50による表示装置12の使用時間を計測する。時間計測部42は、表示部22による表示の開始からの経過時間を使用時間として計測する。ここで、表示部22の表示の開始タイミングは、表示装置12の電源がオンになったタイミングでもよいし、電源がオンとなった後に表示部22に何らかの画像や動画コンテンツが表示されたタイミングでもよい。時間計測部42によって計測される経過時間は、動画コンテンツの再生時間に一致してもよい。
終了検知部44は、ユーザ50による表示装置12の使用終了を検知する。終了検知部44は、表示部22による表示の終了を検知する。終了検知部44は、ユーザ50による入力操作に基づいて表示の終了を検知することができ、例えば、表示装置12の電源をオフにする入力操作がなされた場合に表示の終了を検知する。終了検知部44は、表示制御部32の動作に基づいて表示の終了を検知してもよく、例えば、ユーザ50が動画コンテンツを最後まで視聴した場合や、動画コンテンツの再生を中断した場合に終了を検知してもよい。
順応表示決定部46は、終了検知部44による終了の検知後に表示部22に表示させる画像の明るさの変化を定める順応表示パターンを決定する。順応表示パターンは、例えば、画像の明るさの初期値pと、画像の明るさの終期値qと、初期値pから終期値qまでの明るさの変化に要する表示時間tとを定める。
順応表示パターンの初期値pは、終了検知部44によって検知される終了タイミングにおける内部照度値に基づいて決定される。具体的には、初期値pの明るさとなる画像を表示部22に表示させたときの内部照度値が終了タイミングにおける内部照度値と一致するように初期値pが決定される。つまり、初期値pは、終了タイミングに表示部22に表示される画像の明るさに一致する。
順応表示パターンの終期値qは、終了検知部44によって検知される終了タイミングにおける外部照度値に基づいて決定される。具体的には、終期値qの明るさとなる画像を表示部22に表示させたときの内部照度値が終了タイミングにおける外部照度値と一致するように終期値qが決定される。
順応表示パターンの表示時間tは、複数の条件の少なくとも一つに応じて決定される。複数の条件は、例えば、ユーザ50の年齢aと、表示部22の表示の経過時間bと、内部照度値と外部照度値の間の照度差cとを含む。年齢aを用いる場合、例えば、年齢取得部40によって取得されるユーザ50の年齢が高いほど、順応表示パターンの表示時間tを長くする。経過時間bを用いる場合、例えば、時間計測部42によって計測される経過時間が長いほど、順応表示パターンの表示時間tを長くする。照度差cを用いる場合、例えば、内部照度値と外部照度値の間の照度差が大きいほど、順応表示パターンの表示時間tを長くする。
順応表示決定部46は、複数の条件の少なくとも一つと、表示時間tとの関係を定めるテーブルや数式を用いて、表示時間tを決定することができる。テーブルを用いる場合、複数の条件の少なくとも一つの数値範囲と表示時間tの対応関係が定められる。数式を用いる場合、複数の条件の少なくとも一つの数値または数値範囲に対応する表示時間の加算値αや乗算値βなどが定められる。なお、テーブルや数式を任意に組み合わせることも可能である。
図3は、年齢aに応じた表示時間tの一例を示すテーブルである。図3の例では、年齢aが三つの範囲に区分され、それぞれの区分に対して表示時間tの加算値αAが対応付けられている。具体的には、第1範囲(30歳未満)の場合にはαA=0秒であり、第2範囲(30歳以上50未満)の場合にはαA=5秒であり、第3範囲(50歳以上)の場合にはαA=10秒である。なお、区分数は三つに限られず、二つでもよいし、四つ以上であってもよい。その他、テーブルの代わりに数式を定めることもでき、例えば、表示時間tの加算値αAを年齢aの関数fA(a)として定め、αA=fA(a)としてもよい。
図4は、経過時間bに応じた表示時間tの一例を示すテーブルである。図4の例では、経過時間bが三つの範囲に区分され、それぞれの区分に対して表示時間tの加算値αBが対応付けられている。具体的には、第1範囲(1時間未満)の場合にはαB=0秒であり、第2範囲(1時間以上2時間未満)の場合にはαB=5秒であり、第3範囲(2時間以上)の場合にはαB=10秒である。なお、区分数は三つに限られず、二つでもよいし、四つ以上であってもよい。その他、テーブルの代わりに数式を定めることもでき、例えば、表示時間tの加算値αBを経過時間bの関数fB(b)として定め、αB=fB(b)としてもよい。
図5は、内部照度値と外部照度値の照度差cに応じた表示時間tの一例を示すテーブルである。図5の例では、照度差cが三つの範囲に区分され、それぞれの区分に対して表示時間tの乗算値βCが対応付けられている。具体的には、第1範囲(第1基準値c1未満)の場合にはβC=0.8であり、第2範囲(第1基準値c1以上第2基準値c2未満)の場合にはβC=1であり、第3範囲(第2基準値c2以上)の場合にはβC=1.2である。なお、区分数は三つに限られず、二つでもよいし、四つ以上であってもよい。その他、テーブルの代わりに数式を定めることもでき、例えば、表示時間tの乗算値βCを照度差cの関数fC(c)で定めてもよく、βC=fC(c)としてもよい。
図3から図5に示されるテーブルを全て使用する場合、順応表示決定部46は、表示時間をt=(αA+αB)・βCの計算式によって決定できる。なお、年齢a、経過時間bおよび照度差cを含む複数の条件のいずれか一つまたは二つのみを用いて表示時間tを決定することもできる。また、複数の条件のそれぞれについて定められる複数の関数fA(a)、fB(b)およびfC(c)を加算や乗算などによって任意に結合することにより、表示時間tを決定してもよい。
順応表示決定部46は、初期値pから終期値qまでの明るさの時間変化率Δを決定し、決定した時間変化率Δを用いて表示時間tを決定してもよい。ここで、明るさの時間変化率Δとは、表示部22に表示される画像の明るさLの単位時間dτあたりの変化量であり、Δ=dL/dτと表すことができる。時間変化率Δは、時間τに対して一定であってもよいし、時間τに対して変化する関数Δ(τ)であってもよい。時間変化率Δを一定とする場合、表示時間tは、t=|q-p|/Δの式によって計算できる。時間τを変数とする関数Δ(τ)の場合、時間変化率Δ(τ)を表示時間tにわたって積分した明るさの変化量∫Δ(τ)dτが初期値pと終期値qの差と等しくなる(つまり、∫Δ(τ)dτ=q-p)ように表示時間tを決定できる。以下では、時間変化率Δを一定とする場合について説明するが、時間τを変数とする関数Δ(τ)を用いる場合にも適用可能である。
順応表示決定部46は、年齢aおよび経過時間bの少なくとも一方に応じて時間変化率Δを決定することができ、年齢aおよび経過時間bのそれぞれが大きくなるほど、時間変化率Δが小さくなるように時間変化率Δを決定できる。年齢aまたは経過時間bと、時間変化率Δとの関係性は、図3や図4に示されるようなテーブルによって定められてもよいし、任意の関数を用いた数式によって定められてもよい。
順応表示決定部46は、内部照度値と外部照度値の大小関係に応じて、表示時間tを決定してもよい。言い換えれば、初期値pと終期値qの大小関係に応じて、表示時間tが決定されてもよい。図6(a),(b)は、順応表示パターンの一例を模式的に示す図である。図6(a)は、内部照度値が外部照度値よりも大きく、初期値pAが終期値qAよりも大きい場合(つまり、pA>qA)を示す。この場合、ユーザ50は、明るい状態から暗い状態への変化に対する順応(つまり、暗順応)が求められる。図6(b)は、内部照度値が外部照度値よりも小さく、初期値pBが終期値qBよりも小さい場合(つまり、pB<qB)を示す。この場合、ユーザ50は、暗い状態から明るい状態への変化に対する順応(つまり、明順応)が求められる。一般的に、暗順応は明順応に比べて時間がかかるとされている。そこで、図6(a)の暗順応パターンにおける時間変化率ΔA=(pA-qA)/tAは、図6(b)の明順応パターンにおける時間変化率ΔB=(qB-pB)/tBよりも小さくしている。このように、明順応パターンにおける明るさの時間変化率に比べて、暗順応パターンにおける明るさの時間変化率を小さくすることにより、暗順応および明順応のそれぞれに適した順応表示パターンを決定できる。
表示制御部32は、終了検知部44によって終了が検知された場合、順応表示決定部46によって決定された順応表示パターンにしたがった画像を表示させる。表示制御部32は、最初に明るさが初期値pとなる画像を表示部22に表示させ、時間経過とともに明るさが単調増加または単調減少するように画像を表示部22に表示させ、最後に明るさが終期値qとなる画像を表示部22に表示させる。
表示制御部32は、ユーザ50に表示装置12の脱着を待機させるための表示をしてもよい。表示制御部32は、順応表示パターンにしたがった画像を表示させる場合、順応表示中である旨を示す文言や、順応表示が完了するまでの進捗割合や残り時間を示す数字を表示部22に表示させてもよい。図7は、順応表示画像の一例を示す図である。図7の例では、順応表示中である旨の文言として「外部環境の明るさに調整しています。しばらくお待ちください。」が表示され、順応表示が完了するまでの進捗割合を示す「40%」の数字およびプログレスバーが表示されている。表示制御部32は、図7に示される順応表示画像の全体の明るさ(または輝度)を単調増加または単調減少させることにより、順応表示パターンにしたがった画像を表示部22に表示させる。
図8は、実施の形態に係る表示方法を示すフローチャートである。年齢取得部40は、ユーザ50の年齢を取得する(ステップS10)。表示制御部32は、表示部22に画像を表示させ(ステップS12)、時間計測部42は、開始からの経過時間を計測する(ステップS14)。終了検知部44が終了を検知しない場合(ステップS16のNo)、S12~S14の処理を継続する。終了検知部44が終了を検知した場合(ステップS16のYes)、照度取得部34は、内部照度値および外部照度値を取得し(ステップS18)、順応表示決定部46は、内部照度値および外部照度値に基づいて順応表示パターンを決定する(ステップS20)。順応表示決定部46は、ユーザ50の年齢に応じて順応表示パターンを決定してもよいし、時間計測部42によって計測される表示の開始から終了までの経過時間に応じて順応表示パターンを決定してもよい。表示制御部32は、決定された順応表示パターンにしたがって明るさが変化する順応表示画像を表示部22に表示させる(ステップS22)。
本実施の形態によれば、表示装置12の使用を終了して表示装置12を取り外す前に、筐体20の内部と外部の照度が一致するように明るさが変化する順応表示画像を表示部22に表示することで、表示装置12を取り外したときの明るさの急激な変化を抑制できる。使用終了時における表示装置12の内部と外部の明るさの差が大きい場合であっても、表示装置12を取り外す前に、外部環境の明るさにユーザ50の目を徐々に慣れさせることができ、ユーザ50の目にかかる負担を軽減できる。
本実施の形態によれば、ユーザ50の年齢に応じて順応表示パターンの表示時間を調整することにより、ユーザ50により適した順応表示を実現できる。ユーザ50の年齢が低い場合、明るさの変化に順応するまでの時間が比較的短いため、順応表示パターンの表示時間を短くすることで、表示装置12を取り外し可能になるまでの待ち時間を短縮し、利便性の低下を防止できる。一方、ユーザ50の年齢が高い場合、明るさの変化に順応するまでの時間が比較的長いため、順応表示パターンの表示時間を長くすることで、順応表示画像を視認するユーザ50の目にかかる負担を軽減できる。
本実施の形態によれば、ユーザ50による表示装置12の使用時間(つまり、使用開始からの経過時間)に応じて順応表示パターンの表示時間を調整することにより、ユーザ50により適した順応表示を実現できる。表示装置12の使用時間が長いためにユーザ50の目の疲労度が高いと考えられる状況において、順応表示パターンの表示時間を長くすることで、順応表示画像を視認するユーザ50にかかる負担を軽減できる。一方、表示装置12の使用時間が短いためにユーザ50の目の疲労度が高くないと考えられる状況において、順応表示パターンの表示時間を短くすることで、表示装置12を取り外し可能になるまでの待ち時間を短縮し、利便性の低下を防止できる。
本実施の形態によれば、ユーザ50の年齢や使用時間に応じて順応表示パターンにおける順応表示画像の明るさの時間変化率を決定することにより、ユーザ50により適した順応表示を実現できる。使用終了時における表示装置12の内部と外部の明るさの差が小さい場合、決定した時間変化率に基づいて表示時間を決定することにより、順応表示パターンの表示時間を短くできる。また、使用終了時における表示装置12の内部と外部の明るさの差が非常に大きい場合、固定的な表示時間を用いることで順応表示パターンの時間変化率が過度に大きくなり、ユーザ50の目に与える負担が大きくなることを防止できる。
本実施の形態によれば、内部照度値が外部照度値よりも大きい場合、内部照度値が外部照度値よりも小さい場合に比べて、順応表示パターンにおける画像の明るさの時間変化率を小さくすることにより、ユーザ50により適した順応表示を実現できる。つまり、暗順応となる場合に明順応となる場合に比べて、明るさの時間変化率を小さくし、表示時間を相対的に長くすることで、順応にかかる時間が長くなりやすい暗順応となる場合に、ユーザ50の目に与える負担が大きくなることを防止できる。
図9は、別の実施の形態に係る表示システム10Aの機能構成を模式的に示すブロック図である。表示システム10Aは、表示装置12と、制御装置14Aと、入力装置16とを備える。表示装置12および入力装置16は、上述の実施の形態と同様に構成される。制御装置14Aは、表示解析部60A、視線解析部62Aおよび疲労推定部64Aをさらに備える点で、上述の実施の形態と相違する。以下、本実施の形態について、上述の実施の形態との相違点を中心に説明し、共通点については説明を適宜省略する。
制御装置14Aは、表示制御部32と、照度取得部34と、画像認識部36と、入力受付部38と、年齢取得部40と、時間計測部42と、表示解析部60Aと、視線解析部62Aと、疲労推定部64Aと、終了検知部44と、順応表示決定部46Aとを備える。表示制御部32、照度取得部34、画像認識部36、入力受付部38、年齢取得部40、時間計測部42および終了検知部44は、上述の実施の形態と同様に構成される。
表示解析部60Aは、表示部22に表示される画像の明るさを解析し、画像の明るさが適切であるかを示す輝度スコアを算出する。表示解析部60Aは、例えば、所定の時間区間(例えば10秒や1分)ごとに表示部22に表示される画像の明るさの平均値を算出し、平均値に基づいて区間スコアを算出する。表示解析部60Aは、算出した区間スコアを動画コンテンツの再生時間にわたって平均することにより輝度スコアを算出する。例えば、時間区間における明るさの平均値が所定範囲内であり、画像の明るさが適正な場合であれば低スコア(例えば1)とし、平均値が所定範囲よりも低く、画像が暗すぎる場合であれば中スコア(例えば3)とし、平均値が所定範囲よりも高く、画像が明るすぎる場合であれば高スコア(例えば5)とする。例えば、5区間における区間スコアが1、1、3、1、5であれば、輝度スコアS1=(1+1+3+1+5)/5=2.2となる。なお、平均値が所定範囲外となる場合、所定範囲の下限値または上限値から平均値までの差に応じてスコアを変化させてもよく、下限値または上限値から平均値までの差が大きいほどスコアが大きくなるようにしてもよい。つまり、画像の明るさの平均値が適正範囲から離れるほど、区間スコアを大きくしてもよい。
視線解析部62Aは、ユーザ50の視線方向の変化を解析し、視線の移動量を示す視線変化スコアを算出する。視線解析部62Aは、例えば、所定の時間区間(例えば0.1秒や1秒)ごとに画像認識部36によって推定されるユーザ50の視線方向または注視位置を取得し、直前に取得した視線方向または注視位置からの変化量または移動量を算出する。視線解析部62Aは、算出した変化量または移動量を動画コンテンツの再生時間にわたって積算することにより視線変化スコアを算出する。例えば、視線の移動量が第1基準値未満であれば低スコア(例えば1)とし、視線の移動量が第1基準値以上第2基準値未満であれば、中スコア(例えば3)とし、視線の移動量が第2基準値以上であれば、高スコア(例えば5)とする。なお、視線の移動量に応じてスコアを連続的に変化させてもよく、視線の移動量が大きいほどスコアが大きくなるようにしてもよい。
疲労推定部64Aは、表示解析部60Aによって算出される輝度スコアS1および視線解析部62Aによって算出される視線変化スコアS2の少なくとも一方に基づいて、ユーザ50の疲労度を推定する。疲労推定部64Aは、輝度スコアS1が大きいほど疲労度が大きくなるように、視線変化スコアS2が大きいほど疲労度が大きくなるように疲労度を算出する。疲労推定部64Aは、輝度スコアS1と視線変化スコアS2を単純に加算することにより、疲労度スコアS3=S1+S2を算出してもよい。疲労推定部64Aは、輝度スコアS1と視線変化スコアS2を所定の重み付け係数k(0<k<1)で加重平均することにより、疲労度スコアS3=k・S1+(1-k)・S2を算出してもよい。
疲労推定部64Aは、動画コンテンツの再生時間全体(例えば、1時間や2時間)にわたる疲労度を算出するのではなく、直近の比較的短い所定時間(例えば、5分間や10分間)における疲労度を算出してもよい。疲労推定部64Aは、表示解析部60Aによって算出された直近の所定時間における輝度スコアS1を用いて疲労度スコアS3を算出してもよい。同様に、疲労推定部64Aは、視線解析部62Aによって算出された直近の所定時間における視線変化スコアS2を用いて疲労度スコアS3を算出してもよい。
疲労推定部64Aは、直近の所定時間における疲労度を算出する際に、動画コンテンツの再生中において所定の時間区間ごとに疲労度スコアS3を算出して記憶してもよい。疲労推定部64Aは、終了検知部44が表示装置12の使用終了を検知した後に、終了前の比較的短い所定時間(例えば、5分間や10分間)における所定の時間区間ごとの疲労度スコアS3を平均して算出してもよい。
疲労推定部64Aは、年齢取得部40が取得するユーザ50の年齢aに応じて、疲労度スコアS3を調整してもよい。疲労推定部64Aは、例えば、年齢aに応じた加算値αSAを疲労度スコアS3に加算してもよい。加算値αSAは、上述の加算値αAと同様、年齢が高いほど値が大きくなるように設定できる。疲労推定部64Aは、年齢aに応じた乗数値βSAを疲労度スコアS3に乗算してもよい。年齢aに応じた乗数値βSAは、年齢aが高いほど値が大きくなるように設定できる。
疲労推定部64Aは、時間計測部42が取得する経過時間bに応じて、疲労度スコアS3を調整してもよい。疲労推定部64Aは、例えば、経過時間bに応じた加算値αSBを疲労度スコアS3に加算してもよい。加算値αSBは、上述の加算値αBと同様、経過時間bが長いほど値が大きくなるように設定できる。疲労推定部64Aは、経過時間bに応じた乗数値βSBを疲労度スコアS3に乗算してもよい。経過時間bに応じた乗数値βSBは、経過時間bが高いほど値が大きくなるように設定できる。
順応表示決定部46Aは、終了検知部44による終了の検知後に表示部22に表示させる画像の明るさの変化を定める順応表示パターンを決定する。順応表示パターンは、例えば、画像の明るさの初期値pと、画像の明るさの終期値qと、初期値pから終期値qまでの明るさの変化に要する表示時間tとを定める。順応表示決定部46Aは、上述の実施の形態に係る順応表示決定部46と同様に、初期値pおよび終期値qを決定できる。
順応表示決定部46Aは、疲労推定部64Aによって推定される疲労度に応じて、順応表示パターンを決定する。順応表示決定部46Aは、疲労推定部64Aによって算出される疲労度スコアS3に応じて、順応表示パターンにおける表示時間tまたは時間変化率Δを決定する。順応表示決定部46Aは、例えば、疲労度スコアS3が大きいほど、表示時間tを大きくする、または、時間変化率Δを小さくする。疲労度スコアS3と、表示時間tまたは時間変化率Δとの関係性は、テーブルによって定められてもよいし、任意の関数を用いた数式によって定められてもよい。
図10は、別の実施の形態に係る表示方法を示すフローチャートである。表示制御部32は、表示部22に画像を表示させる(ステップS30)。表示解析部60Aは、表示制御部32の動作に基づいて表示部22に表示される画像の明るさを解析する(ステップS32)。視線解析部62Aは、画像認識部36によって認識されるユーザ50の視線方向に基づいて視線の移動量を解析する(ステップS34)。疲労推定部64Aは、表示解析部60Aおよび視線解析部62Aの少なくとも一方の解析結果に基づいて、ユーザ50の疲労度を推定する(ステップS36)。終了検知部44が終了を検知しない場合(ステップS38のNo)、S30~S36の処理を継続する。終了検知部44が終了を検知した場合(ステップS38のYes)、照度取得部34は、内部照度値および外部照度値を取得する(ステップS40)。順応表示決定部46Aは、取得される内部照度値および外部照度値と、推定される疲労度とに基づいて順応表示パターンを決定する(ステップS42)。表示制御部32は、決定された順応表示パターンにしたがって明るさが変化する順応表示画像を表示部22に表示させる(ステップS44)。
本実施の形態によれば、ユーザ50による表示装置12の使用に起因するユーザ50の疲労度を推定し、疲労度に応じて順応表示パターンの表示時間を調整することにより、ユーザ50により適した順応表示を実現できる。表示部22に表示される画像が暗すぎたり明るすぎたりするために輝度スコアS1が高く、ユーザ50の目の疲労度が高いと考えられる状況において、順応表示パターンの表示時間を長くすることで、順応表示画像を視認するユーザ50にかかる負担を軽減できる。また、動画コンテンツの動きが大きいために視線変化スコアS2が高く、ユーザ50の目の疲労度が高いと考えられる状況において、順応表示パターンの表示時間を長くすることで、順応表示画像を視認するユーザ50にかかる負担を軽減できる。一方、疲労度スコアS3が低く、ユーザ50の目の疲労度が高くないと考えられる状況において、順応表示パターンの表示時間を短くすることで、表示装置12を取り外し可能になるまでの待ち時間を短縮し、利便性の低下を防止できる。
視線解析部62Aは、動画コンテンツを再生するための動画データに基づいて画像が生成される場合、動画データに含まれる動きベクトルに基づいて視線の移動量を示す視線変化スコアを算出してもよい。つまり、視線解析部62Aは、動きベクトルの大きさが大きいほど、視線変化スコアが大きくなるようにスコアを算出する。視線解析部62Aは、動画データに含まれる動きベクトルのデータ量が多いほど、視線変化スコアが大きくなるようにスコアを算出してもよい。視線解析部62Aは、例えば、動画コンテンツにおいて動画内のオブジェクトの動きが小さい、または動画フレーム間の変化が小さいとき、動画コンテンツの動きが小さいと推定する。視線解析部62Aは、動画コンテンツの動きが小さいと推定した場合、視線変化スコアS2を所定値よりも低く算出する。視線解析部62Aは、例えば、動画内のオブジェクトの動きが大きい、または動画フレーム間の変化が大きいとき、動画コンテンツの動きが大きいと推定する。疲労推定部64Aは、動画コンテンツの動きが大きいと推定した場合、視線変化スコアS2を所定値よりも高く算出する。この場合、画像認識部36は、ユーザ50の視線方向を推定しなくてもよい。また、表示装置12は、内部カメラ28を備えなくてもよく、制御装置14Aは、画像認識部36を備えなくてもよい。
疲労推定部64Aは、ユーザ50の目の疲労度ではなく、生体センサによって取得したユーザ50の生体情報に基づいてユーザ50の疲労度を推定してもよい。疲労推定部64Aは、ユーザ50が仮想空間において実施した動作を示す動作情報に基づいてユーザ50の疲労度を推定してもよく、例えば、仮想空間内でのユーザ50の移動距離やユーザ50が自身の体(頭、腕、胴、足など)を動かした運動量などに応じて疲労度を推定してもよい。疲労推定部64Aは、ユーザ50の生体情報または動作情報に基づいてユーザ50の疲労した生体部位を特定し、ユーザ50の疲労した生体部位に応じて順応表示パターンを変更したり、表示部22に表示させる画像を変更したりしてもよい。
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
以下、本発明のいくつかの態様について述べる。
本発明の第1の態様は、ユーザの頭部に装着される筐体の内部に設けられ、前記ユーザに向けて画像を表示する表示部と、前記表示部による表示の開始からの経過時間を計測する時間計測部と、前記表示部による表示の終了を検知する終了検知部と、前記表示部に表示させる画像の明るさを変化させることによって前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、前記表示部による表示の開始から終了までの経過時間に応じて決定する順応表示決定部と、を備える表示システムである。
第1の態様において、前記順応表示決定部は、前記ユーザの年齢にさらに応じて前記順応表示パターンを決定してもよい。
第1の態様において、前記順応表示決定部は、前記経過時間および前記ユーザの年齢の少なくとも一方に応じて、前記順応表示パターンにおける明るさの時間変化率を決定してもよい。
第1の態様において、前記順応表示決定部は、前記内部照度値が前記外部照度値よりも大きい場合、前記内部照度値が前記外部照度値よりも小さい場合に比べて、順応表示パターンにおける明るさの時間変化率を小さくしてもよい。
第1の態様は、表示方法として提供されてもよい。この方法は、ユーザの頭部に装着される筐体の内部に設けられる表示部に画像を表示させるステップと、前記表示部による表示の開始からの経過時間を計測するステップと、前記表示部による表示の終了を検知するステップと、前記表示部に表示させる画像の明るさを変化させることによって前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、前記表示部による表示の開始から終了までの経過時間に応じて決定するステップと、を備えてもよい。
第1の態様は、プログラムまたはプログラムを記憶する非一時的な記録媒体として提供されてもよい。このプログラムは、ユーザの頭部に装着される筐体の内部に設けられる表示部に画像を表示させる機能と、前記表示部による表示の開始からの経過時間を計測する機能と、前記表示部による表示の終了を検知する機能と、前記表示部に表示させる画像の明るさを変化させることによって前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、前記表示部による表示の開始から終了までの経過時間に応じて決定する機能と、をコンピュータに実現させるよう構成されてもよい。
本発明の第2の態様は、ユーザの頭部に装着される筐体の内部に設けられ、前記ユーザに向けて画像を表示する表示部と、前記ユーザの疲労度を推定する疲労推定部と、前記表示部による表示の終了を検知する終了検知部と、前記疲労推定部によって推定される疲労度に応じて、前記表示部に表示させる画像の明るさを経時的に変化させて前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを決定する順応表示決定部と、を備える表示システムである。
第2の態様において、前記疲労推定部は、前記表示部に表示される画像の明るさに基づいて、前記ユーザの疲労度を推定してもよい。
第2の態様において、前記疲労推定部は、前記表示部に表示される画像に含まれるコンテンツの動きに基づいて、前記ユーザの疲労度を推定してもよい。
第2の態様において、前記疲労推定部は、前記ユーザの年齢および前記表示部による表示の開始から終了までの経過時間の少なくとも一方にさらに基づいて、前記ユーザの疲労度を推定してもよい。
第2の態様は、表示方法として提供されてもよい。この方法は、ユーザの頭部に装着される筐体の内部に設けられる表示部に画像を表示させるステップと、前記ユーザの疲労度を推定するステップと、前記表示部による表示の終了を検知するステップと、前記表示部に表示させる画像の明るさを変化させることによって前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、前記推定される疲労度に応じて決定するステップと、を備えてもよい。
第2の態様は、プログラムまたはプログラムを記憶する非一時的な記録媒体として提供されてもよい。このプログラムは、ユーザの頭部に装着される筐体の内部に設けられる表示部に画像を表示させる機能と、前記ユーザの疲労度を推定する機能と、前記表示部による表示の終了を検知する機能と、前記表示部に表示させる画像の明るさを変化させることによって前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、前記推定される疲労度に応じて決定する機能と、前記表示部による表示の終了が検知された場合、前記決定された順応表示パターンにしたがって前記表示部の表示を制御する機能と、をコンピュータに実現させるよう構成されてもよい。
10,10A…表示システム、12…表示装置、14,14A…制御装置、16…入力装置、20…筐体、22…表示部、24…外部照度センサ、26…内部照度センサ、32…表示制御部、34…照度取得部、36…画像認識部、38…入力受付部、40…年齢取得部、42…時間計測部、44…終了検知部、46,46A…順応表示決定部、50…ユーザ、60A…表示解析部、62A…視線解析部、64A…疲労推定部。
Claims (5)
- ユーザの頭部に装着される筐体の内部に設けられ、前記ユーザに向けて画像を表示する表示部と、
前記ユーザの疲労度を推定する疲労推定部と、
前記表示部による表示の終了を検知する終了検知部と、
前記疲労推定部によって推定される疲労度に応じて、前記表示部に表示させる画像の明るさを経時的に変化させて前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを決定する順応表示決定部と、を備える表示システム。 - 前記疲労推定部は、前記表示部に表示される画像の明るさに基づいて、前記ユーザの疲労度を推定する、請求項1に記載の表示システム。
- 前記疲労推定部は、前記表示部に表示される画像に含まれるコンテンツの動きに基づいて、前記ユーザの疲労度を推定する、請求項1に記載の表示システム。
- 前記疲労推定部は、前記ユーザの年齢および前記表示部による表示の開始から終了までの経過時間の少なくとも一方にさらに基づいて、前記ユーザの疲労度を推定する、請求項1から3のいずれか一項に記載の表示システム。
- ユーザの頭部に装着される筐体の内部に設けられる表示部に画像を表示させるステップと、
前記ユーザの疲労度を推定するステップと、
前記表示部による表示の終了を検知するステップと、
前記表示部に表示させる画像の明るさを変化させることによって前記筐体の内部の明るさを示す内部照度値と前記筐体の外部の明るさを示す外部照度値の差を小さくする順応表示パターンを、前記推定される疲労度に応じて決定するステップと、を備える表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022153293A JP2024047671A (ja) | 2022-09-27 | 2022-09-27 | 表示システムおよび表示方法 |
US18/475,284 US20240112608A1 (en) | 2022-09-27 | 2023-09-27 | Display system and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022153293A JP2024047671A (ja) | 2022-09-27 | 2022-09-27 | 表示システムおよび表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024047671A true JP2024047671A (ja) | 2024-04-08 |
Family
ID=90606341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022153293A Pending JP2024047671A (ja) | 2022-09-27 | 2022-09-27 | 表示システムおよび表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024047671A (ja) |
-
2022
- 2022-09-27 JP JP2022153293A patent/JP2024047671A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9836639B2 (en) | Systems and methods of light modulation in eye tracking devices | |
US10614586B2 (en) | Quantifying user engagement using pupil size measurements | |
US9952667B2 (en) | Apparatus and method for calibration of gaze detection | |
US9766699B2 (en) | Fast wake-up in a gaze tracking system | |
US11190714B2 (en) | Electronic device, head-mounted display, gaze point detector, and pixel data readout method | |
US11211030B2 (en) | Electronic device with adaptive display | |
JP2008067219A (ja) | 撮像装置、撮像方法 | |
JP2011066516A (ja) | 表示装置および制御方法 | |
US20150304625A1 (en) | Image processing device, method, and recording medium | |
US11388331B2 (en) | Image capture apparatus and control method thereof | |
US10198868B2 (en) | Information processing apparatus, method for controlling information processing apparatus, image processing system and non-transitory computer-readable storage medium | |
WO2015125363A1 (ja) | 電子機器、および画像の提供方法 | |
US10757337B2 (en) | Information processing apparatus and information processing method to control exposure for imaging the eye | |
JP2024047671A (ja) | 表示システムおよび表示方法 | |
JP2024047670A (ja) | 表示システムおよび表示方法 | |
WO2022111704A1 (zh) | 心率检测方法及电子设备 | |
JP2017161759A (ja) | 網膜投影型表示装置、画像表示方法、及びプログラム | |
CN112088293A (zh) | 预防暗光条件下长时间使用电子视觉显示器造成视力减退的、通过计算机实现的方法和系统 | |
JPWO2020016970A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20240112608A1 (en) | Display system and display method | |
WO2023203923A1 (ja) | 頭部装着型情報処理装置、情報処理方法、記憶媒体 | |
US20230125838A1 (en) | Electronic apparatus and control method for electronic apparatus | |
US11877051B2 (en) | Eye-gaze information acquiring apparatus, imaging apparatus, eye-gaze information acquiring method, and computer-readable storage medium | |
CN115291678B (zh) | 一种电子设备、仰视观看电子设备的识别方法及系统 | |
US20220079484A1 (en) | Evaluation device, evaluation method, and medium |