WO2025115757A1

WO2025115757A1 - 映像表示装置、映像表示装置の駆動方法、およびそのプログラム

Info

Publication number: WO2025115757A1
Application number: PCT/JP2024/041335
Authority: WO
Inventors: 紘光森田; 暁生熱田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2023-11-29
Filing date: 2024-11-21
Publication date: 2025-06-05
Anticipated expiration: 2026-05-29
Also published as: JP2025087377A

Abstract

上記課題を解決する本願にかかる映像表示装置は、使用者の右眼および左眼に対して第１および第２の映像をそれぞれ表示する第１および第２の映像表示部と、前記第１および第２の映像表示部にそれぞれ対応する第１および第２の表示光学素子と、前記表示光学素子の位置を変えるアクチュエータと、を備える前記映像表示装置であって、前記映像表示装置を使用中の使用者の生理的な状態あるいは心理的な状態の検知結果に基づいて前記アクチュエータを駆動することで、前記第１および第２の表示光学素子のうち少なくとも一方の位置の変更を行うことを特徴とする。

Description

映像表示装置、映像表示装置の駆動方法、およびそのプログラム

　本発明は、映像表示装置における視度調整の技術に関する。

　使用者が頭部に装着して使用するヘッドマウントディスプレイのような映像表示装置や、使用者が眼鏡のように装着して使用する映像表示装置がある。使用者の眼の近傍に表示部が配置され、使用者の左右それぞれの眼に対して視差映像の表示処理が行われる。表示される視差映像を使用者が視認することによって、視差映像に表示された物体についての立体感が得られる。

　この映像表示装置で使用者の視線は左右それぞれの眼に対して表示された映像によって生成される立体映像の位置に調節されるが、焦点位置は表示画面上の左右各々の画像に調節される。これは現実の物体を視認する場合には生じ得ない不自然な状態となる。

　例えば、視差映像として表示される物体の像を使用者が見ると、使用者の輻輳角は、その表示された物体の位置に応じて変化する。この時、現実空間での経験に基づいて水晶体の焦点距離は輻輳角の大きさに応じて変化する。この場合、水晶体の焦点距離と映像表示装置の視度とが不一致となる可能性があり、表示された視差映像に焦点が合わず、鮮明に見ることが困難となる等、良好な視認性が確保できないことがある。そのため、映像表示装置の視度調整では、装置内のレンズを駆動する方法等により、使用者の輻輳角を定める視差映像内の深度情報に応じて視度を変更することが望ましい。

　特許文献１では、映像を視聴した際の使用者の注視点の位置に応じた深度情報に対する視度調整を、個人差や映像表示装置の使用状態に対応して行うことで、立体視時の違和感を低減することを可能としている。

特開２０２３－３２２７８号公報

　しかしながら、視度調整することで立体視時の違和感は低減されても、長時間の映像視聴を継続した場合、使用者の体調変化や視度調整のずれなどの積み重ねにより、酔いや疲労が蓄積してしまう。特に、視差映像に表示された物体が使用者の手前側の位置に表示される映像を長時間視聴した場合、酔いや疲労が多く生じることが知られている。映像表示装置の使用者はゲームやライブなど、長時間の視聴が行われる機会が多く、使用者にとっても酔いや疲労を感じることは快くない。

　そこで本発明は、使用者に視差による立体映像を提供しつつ、長時間の映像視聴時の使用者への負担を低減することのできる映像表示装置を提供することを目的としている。

　上記の目的を達成する映像表示装置は、
　使用者の右眼に対して第１の映像を表示する第１の映像表示部と、
　前記使用者の左眼に対して第２の映像を表示する第２の映像表示部と、
　前記第１の映像表示部に対応する第１の表示光学素子と、
　前記第２の映像表示部に対応する第２の表示光学素子と、
　前記表示光学素子の位置を変えるアクチュエータと、を備える映像表示装置であって、
　前記映像表示装置を使用中の使用者の生理的な状態あるいは心理的な状態を検知する状態検出部をさらに備え、前記状態検出部の検知結果に基づいて前記アクチュエータを駆動することで、前記第１の映像表示部に対する前記第１の表示光学素子の位置、および前記第２の映像表示部に対する前記第２の表示光学素子の位置のうち少なくとも一方の位置の変更を行うこと、を特徴とする。

　本発明の映像表示装置によれば、長時間の映像視聴時の使用者の酔いや疲労の状態に応じて、視差による立体映像を表示した際の使用者への負担を軽減することができる。

第１実施形態の映像表示装置の概略構成を示す説明図である。映像表示装置にてレンズ位置変更時の状態を示す説明図である。映像表示装置にてレンズ位置変更時の状態を示す説明図である。視差による立体映像の表示例を示す説明図である。視差による立体映像の表示例を示す説明図である。視差による立体映像の表示例を示す説明図である。対象物を注視した際の眼球の輻輳角と視度を示す説明図である。対象物を注視した際の眼球の輻輳角と視度を示す説明図である。対象物を注視した際の眼球の輻輳角と視度を示す説明図である。第１実施形態の映像表示装置の動作を説明するフローチャートである。第１実施形態の生理的な状態あるいは心理的な状態とレンズ位置の変化を示す説明図である。第１実施形態の映像表示装置の概略構成の変形例を示す説明図である。第１実施形態の映像表示装置の変形例の生理的な状態あるいは心理的な状態とレンズ位置の変化を示す説明図である。第２実施形態の映像表示装置の動作を説明するフローチャートである。第２実施形態の生理的な状態あるいは心理的な状態と最大駆動速度の変化を示す説明図である。第２実施形態の映像表示装置の変形例の動作を説明するフローチャートである。第２実施形態の映像表示装置の変形例の生理的な状態あるいは心理的な状態と最大駆動速度の変化を示す説明図である。

　以下、本発明の実施形態について、添付図面を参照して詳細に説明する。実施形態では、視差を有する一対の映像を複数の映像表示部がそれぞれ表示し、複数の表示光学素子を介して立体視表示を行うことが可能な映像表示装置の例として、ヘッドマウントディスプレイを示して説明する。

　本発明の映像表示装置は、使用者の右眼および左眼に対して第１および第２の映像をそれぞれ表示する第１および第２の映像表示部を備えている。さらには、第１および第２の映像表示部にそれぞれ対応する第１および第２の表示光学素子と、表示光学素子の位置を変えるアクチュエータと、を備える。その上で、映像表示装置を使用中の使用者の生理的な状態あるいは心理的な状態の検知結果に基づいてアクチュエータを駆動することで、第１の映像表示部に対する第１の表示光学素子の位置、および第２の映像表示部に対する第２の表示光学素子の位置のうち少なくとも一方の位置の変更を行う映像表示装置である。

　また本発明は、以下に示す実施形態は代表的な構成例であり、その記載に限られることはなく、本発明の趣旨を逸脱しない限り、所望の組み合わせにて映像表示装置、映像表示装置の制御方法、およびそのプログラムを構成することができる。

　＜第１実施形態＞
　図１は、本発明の第１実施形態に係る映像表示装置１００の概略構成を示す図である。

　映像表示装置１００は、映像取得部１０１と表示処理部１０２を備える。映像取得部１００は映像表示部１０３に表示する表示用の映像を不図示の外部装置やネットワーク等を通じて取得する。表示処理部１０２は取得された映像に対して表示倍率の調整処理等を行う。処理された映像は、映像表示部１０３ａ、１０３ｂに送られて表示される。例えば、映像を映像表示部１０３ａ、１０３ｂのそれぞれへ映像を分割して表示する構成であるが、この構成に限定されることなく、ひとつの画面を２つに領域分割して、分割されたそれぞれの映像表示部に対応する映像を表示する構成でもよい。

　映像表示装置１００は、左眼２０１ａ、右眼２０１ｂにそれぞれ対応する第１および第２の表示光学素子を備える。例えば、第１の表示光学素子はレンズ１０４ａを有し、第２の表示光学素子はレンズ１０４ｂを有する構成を採ることができる。映像表示部１０３ａ、１０３ｂに表示された映像はそれぞれに対応するレンズ１０４ａ、１０４ｂを通して、左眼２０１ａ、右眼２０１ｂのそれぞれに対して提示される。レンズとしては図１に示す凸レンズを用いることができる。

　レンズ１０４ａ、１０４ｂは、アクチュエータ１０５ａ、１０５ｂにより駆動され、レンズの光軸に沿う方向（矢印１０７ａ、１０７ｂ）に移動することができる。本実施形態においては、レンズ１０４ａ、１０４ｂの光軸２０２ａ、２０２ｂが、映像表示部１０３ａ、１０３ｂおよび左眼２０１ａ、右眼２０１ｂの中心をそれぞれ通るものとして説明するが、これに限定されるものではない。

　図２Ａ、図２Ｂは、アクチュエータ１０５ａ、１０５ｂによってレンズ１０４ａ、１０４ｂが移動する時の状態を模式的に示した説明図である。図２Ａは、レンズ１０４ａ、１０４ｂを映像表示部１０３ａ、１０３ｂの近くにそれぞれ移動させた時の状態を示す図である。

　図２Ｂは、レンズ１０４ａ、１０４ｂを左眼２０１ａ、右眼２０１ｂの近くにそれぞれ移動させた時の状態を示す図である。映像表示装置１００の使用者は、その左眼２０１ａ、右眼２０１ｂで映像表示部１０３ａ、１０３ｂを、レンズ１０４ａ、１０４ｂを通して見た時に虚像２０３ａ，２０３ｂを視認する。ここで、左眼２０１ａ、右眼２０１ｂの位置を基準とした、光軸２０２ａ、２０２ｂの方向の虚像２０３ａ、２０３ｂの位置を、虚像結像位置Ｘとして定義する。レンズ１０４ａ、１０４ｂの位置を変更することによって、虚像結像位置Ｘを変更することができる。例えば、図２Ａに示すように、レンズ１０４ａ、１０４ｂが映像表示部１０３ａ、１０３ｂに近づくにつれて、虚像結像位置Ｘは左眼２０１ａ、右眼２０１ｂに近づいていく。逆に、図２Ｂに示すように、レンズ１０４ａ、１０４ｂが左眼２０１ａ、右眼２０１ｂに近づくと、虚像結像位置Ｘは左眼２０１ａ、右眼２０１ｂから遠ざかる。このように、アクチュエータ１０５ａ、１０５ｂによってレンズ１０４ａ、１０４ｂを移動することにより、視度の変更が可能となる。

　本実施形態ではレンズ１０４ａ、１０４ｂが映像表示部１０３ａ、１０３ｂに近づくと、虚像結像位置Ｘは左眼２０１ａ、右眼２０１ｂに近づく構成を示したが、これに限定されることはない。レンズ１０４ａ、１０４ｂが映像表示部１０３ａ、１０３ｂに近づくと、虚像結像位置Ｘが左眼２０１ａ、右眼２０１ｂから遠ざかる構成であってもよい。また、視度を変更するために、アクチュエータ１０５ａ、１０５ｂによってレンズ１０４ａ、１０４ｂを移動させる構成を示したが、光学部材の移動に限定されない。また、レンズ１０４ａ、１０４ｂを移動させる別の構成として、例えば液体レンズを採用して、アクチュエータ１０５ａ、１０５ｂから加えられた電気信号により水と油などで構成される境界面の位置を変化させる実施形態であってもよい。また、ヘッドマウントディスプレイに代表される映像表示装置１００は使用者の耳の近傍に配置して利用されるため、視度変更を行うアクチュエータとして静粛性の高い、振動型アクチュエータとしての超音波モータやボイスコイルモータなどの電磁モータを用いることが好ましい。また、図１、図２Ａ、図２Ｂでは、レンズ１０４ａ、１０４ｂを１枚の凸レンズで表現しているが、それぞれを複数枚のレンズとして、視度変更時に所定のレンズの位置を移動させる構成であってもよい。

　図３Ａ～図３Ｃを参照して、映像表示部１０３ａ、１０３ｂに表示する視差映像３００について説明する。図３Ａ～図３Ｃは、映像の一例についての説明図である。視差映像３００は、例えば、左眼２０１ａに対応する映像表示部１０３ａに表示される左眼用映像３０１ａおよび右眼２０１ｂに対応する映像表示部１０３ｂに表示される右眼用映像３０１ｂから構成される。

　本実施形態では、視差映像３００が左眼用映像３０１ａ、右眼用３０１ｂから構成される例を示すが、これに限定されることはない。例えば３次元データに基づいて表示処理部１０２で処理され、２つの映像表示部１０３ａ、１０３ｂそれぞれに表示される視差映像が生成される構成でもよい。また、映像表示装置１００に搭載されたカメラで撮影された映像を視差映像３００の少なくとも一部として扱ってもよい。このような構成によって、映像表示装置１にて拡張現実空間の表現形式で映像を表示することが可能となる。例えば映像表示装置１に搭載されたカメラで撮影した映像と、事前に作成された３次元データに基づく映像とを重ね合わせることで視差映像３００が作成されて、合成映像が表示される。

　例えば、図３Ａに示すように、使用者の視線と交差する場所が表示映像のちょうど画面と同じになると、表示映像内にある映像３０１ａ、３０１ｂは映像表示部１０３と同じ位置になるように見える。また、図３Ｂに示すように、表示映像内の映像３０１ａ、３０１ｂが使用者の視線と交差する場所が映像表示部１０３より手前になると、映像表示部１０３に対して飛び出したように見える。さらに、図３Ｃに示すように、表示映像内の映像３０１ａ、３０１ｂが使用者の視線の交差する場所が映像表示部１０３より後ろの位置になると、映像表示部１０３に対して映像が画面のずっと奥にあるように見える。

　本実施形態においては、映像３０１ａ、３０１ｂが、それぞれ一つの場合を示すが、これに限定されることはない。例えばカメラで撮影した映像に複数の物体が表示される構成でもよい。その場合、使用者の左眼２０１ａ、右眼２０１ｂの視線方向を検知可能な、図１に示すような視線検出手段１０６ａ、１０６ｂが装置に搭載され、使用者の視線が向いている注視点を、映像３０１ａ、３０１ｂとして扱う処理が行われる。視線検出手段は、赤外照明部および視線検出カメラなどを用いることできる。

　視度調整量算出部１１１は、視線検出手段１０６ａ、１０６ｂによる検出結果から決定される注視点の位置における深度情報に基づいて視度調整量を算出する。この算出された視度調整量に基づいて、制御部１０８は駆動指令を出力することでアクチュエータ１０５ａ、１０５ｂを駆動し、視度調整を行う。映像表示部１０３ａ、１０３ｂ、とレンズ１０４ａ、１０４ｂとの、それぞれの間隔を変更することで視度が調整される。例えば、視度検出手段１０６ａ、１０６ｂによって、使用者が視度調整は注視点が変更される度にリアルタイムで実行される。

　なお、制御部１０８は、所謂、マイクロコンピュータであり、演算装置（ＣＰＵ）やプログラムを格納するメモリ及びプログラムが展開される作業領域としてのメモリ等の電気部品から構成されてよい。その場合、制御部１０８はアクチュエータ１０５の駆動を制御するための情報を有する信号を生成する役割を担うものである。

　図４Ａ～図４Ｃは対象物を注視した際の眼球の輻輳角と視度について説明する図である。図４Ａは現実世界における注視時の状態を示し、図４Ｂは映像表示装置１００における注視時の状態を示したものである。

　図４Ａにて、現実世界では使用者は距離Ａだけ離れた位置にある対象物４０１を注視している状態である。使用者の左眼２０１ａの視線と、使用者の右眼２０１ｂの視線が対象物４０１上で交わり、角度αを成す。角度αは使用者が対象物４０１を注視した時の輻輳角に相当する。そのため、現実世界では輻輳角αに対応する距離と視度に対応する距離Ａが常に一致した状態となる。

　一方で、図４Ｂでは、映像表示装置１００にて使用者が距離Ａだけ離れた位置にある物体４０１を注視している状態である。輻輳角αについては、図４Ａに示される現実世界の場合と同じである。虚像位置４０２は、使用者が映像表示部１０３ａ、１０３ｂをレンズ１０４ａ、１０４ｂ（図示せず）をそれぞれ通して視聴した場合の虚像位置である。虚像位置４０２は、左眼２０１ａ、右眼２０１ｂから距離Ｂだけ離れた位置である。

　虚像位置４０２に対して輻輳角αを与えることで、使用者はあたか対象物４０１にあるように視覚で認識する。しかしながら映像表示装置１００は現実世界と異なり、輻輳角αに対応する距離と視度に対応する距離Ｂとが一致していない。これが輻輳と視度調整の矛盾といわれるもので、この状態が継続された状態になると、使用者の酔いや疲労が増加する。

　そこで、図４Ｃのように、映像表示部１０３ａ、１０３ｂをレンズ１０４ａ、１０４ｂ（図示せず）との間隔を変更することで、虚像位置４０２を変化させることができる。例えば、視線検出手段により、使用者が対象物４０１を注視していることが検出された場合、距離Ｂにある虚像位置４０２が距離Ａとなるように、表示部とレンズとの間隔が変更される。これにより、図４Ａで示すように、輻輳角に対応する距離と視度に対応する距離とが一致し、より自然な状態とすることで、酔いや疲労を軽減することができる。

　なお、表示部とレンズとの間隔を変更する場合、表示部とレンズのうち、少なくとも一方を駆動すれば良い。

　図１の状態検出部１０９は、使用者の生理的な状態あるいは心理的な状態を検出するものであり、例えば使用者の心拍や心電図や呼吸、眼電位、皮膚電位、重心を検出する。

　心拍としては、使用者の心拍を測定し、瞬時心拍数の平均値や心拍変動中の呼吸性成分、および心拍変動中のメイヤー波成分の大きさを決定し、これらのうち少なくとも１つ以上を検出値として用いるようにする。

　心電図としては、使用者の心電図を測定し、心電図の基線変動の特定の周波数成分の大きさである、心拍変動の高周波成分（ＨＦ）、低周波成分（ＬＦ）、またはＨＦとＬＦの比率を決定し、これのうち少なくとも１つを検出値として用いるようにする。

　呼吸としては、使用者の呼吸周波数、呼吸の大きさ、および呼吸の不規則性を測定し、これらのうち少なくとも１つ以上を検出値として用いるようにする。

　眼電位としては、使用者の瞬目数、累積回数、累積数、変化率、瞬目間隔を測定し、これのうち少なくとも１つを検出値として用いるようにする。

　また、使用者の重心を測定し、その重心動揺の大きさを検出値として用いるようにしてもよい。

　状態検出部１０９によって検出された検出値を状態判定部１１０に出力し、検出値と所定値である予め記録された正常値との比較することで、使用者に酔いや疲労が発生しているかを判定する。なお、心電図や呼吸、眼電位、皮膚電位、重心のうち、いずれかだけではなく、複数を組み合わせて生理な状態あるいは心理的な状態を判定するようにしても良い。

　皮膚電位による場合、その抵抗成分の大きさに基づいて、判定するとよい。重心による場合、重心揺動に基づいて判定するとよい。

　使用者が酔いや疲労を発生していると判定された場合、制御部１０８により、アクチュエータ１０５ａ、１０５ｂを駆動することによってレンズ１０４ａ、１０４ｂを、映像表示部側へ移動させることで視度を変更する。この状態検出部１０９や状態判定部１１０はかならずしも映像表示装置の一部を構成しなくてもよく、信号の送受信が可能なように無線で信号の授受ができるように構成することもできる。逆に、映像表示装置と一体構成を採ることでヘッドマウントディスプレイの利用者が、遠隔通信を介することなく、直ちに状態検出の機能を利用できるようにすることもできる。

　図５のフローチャートを参照して、第１実施形態の動作を説明する。図５のフローチャートに対応するプログラムは演算処理部内の記憶部に格納されている。制御部１０８は、ＣＰＵやメモリなどを示しており、図５のフローチャートに示す各処理は、ＣＰＵがメモリに格納された所定のプログラムを展開することによって実現される。制御部１０８の構成もまた、映像表示装置と一体構成を採ることも、採らないこともできる。

　まずＳ５０１にて、状態検出部１０９を用いて、使用者の生理的な状態あるいは心理的な状態を検出する。次にＳ５０２にて、検出された値をもとに、使用者の酔い疲労状態を判定する。検出値が所望の値以上であった場合、Ｓ５０３にて、映像表示部１０３ａ、１０３ｂから離れる方向へレンズ１０４ａ、１０４ｂを移動するように移動量を算出し、Ｓ５０４にて、制御部１０８により、アクチュエータ１０５ａ、１０５ｂを駆動する。この移動量は検出された値に応じて決定するようにしてもよく、検出値が増加するほど移動量を増加させ、検出値が減少するほど移動量を減少させるようにしても良い。このようにすることで、表示された視差映像に焦点を合わせず鮮明に見えないようにし、左眼２０１ａ、右眼２０１ｂに入る情報量を減らして眼球の筋肉を緩めるようにすることで、酔いや疲労を低減することができる。

　Ｓ５０２にて、検出値が所望の値以下であった場合、Ｓ５０５にて、視線検出手段１０６ａ、１０６ｂを用いて、使用者の左眼２０１ａ、右眼２０１ｂの各視線検出が行われる。

　次にＳ５０６にて、制御部１０７は、左眼２０１ａの視線と、右眼２０１ｂの視線から注視点を決定する処理を行う。注視点の算出にあたっては、左眼２０１ａと右眼２０１ｂの視線に関する平均値が用いることができる。

　次にＳ５０７にて、視度調整量算出部１１１は、映像表示部１０３ａ、１０３ｂに表示する映像の注視点の位置における視度調整量を算出する処理を行う。具体的には、左眼の注視点位置の映像と右眼の注視点位置の映像との視差が算出され、この視差に応じた深度情報により視度調整量が導出される。例えば、視差と視度調整量とを対応付けたテーブルデータを備えることで、視差に対応する視度調整量を算出することができる。あるいは、視差と視度調整量との関係を示す数式により視度調整量算出部１１１で視差から視度調整量を算出するようにしても良い。

　次にＳ５０８にて、視度調整量算出部１１１で算出された視度調整量に基づき、制御部１０８により、アクチュエータ１０５ａ、１０５ｂが駆動される。これにより、映像表示部１０３ａ、１０３ｂとレンズ１０４ａ、１０４ｂとの間隔を変更する動作が行われる。

　以上の動作は、注視点が変更される度に行われるため、リアルタイムに視度調整を行って視度を変更することができる。

　図６は、使用者の生理的な状態あるいは心理的な状態の検出値と、図１の構成のレンズ位置を示したものである。図６に示すように、時刻ｔ０からｔ１の期間において、視線検出手段により検出された視線から注視点を算出し、その注視点の深度情報に応じて矢印１０７ａ、１０７ｂの方向へ視度調整をリアルタイムに行う。状態検出部により検出された状態検出値が時刻ｔ１において所定値を上回った際に、映像表示部１０３ａ、１０３ｂから離れるように使用者側へレンズ１０４ａ、１０４ｂを近づけるようにアクチュエータ１０５ａ、１０５ｂを動かすようにする。その後、検出された値が時刻ｔ２において、所望の値を下回った場合は、再び視線検出手段により検出された視線から注視点を算出し、その注視点の深度情報に応じて矢印１０７ａ、１０７ｂの方向へ視度調整をリアルタイムに行うようにする。

　なお、この状態検出値の逆数を評価対象として、状態検出値の逆数がある値を下回る場合を基準とする構成を採用することができ、この場合も“所定値を上回った”ことと同義である。

　なお、本実施例では、左眼２０１ａに対応したレンズ１０４ａと、右眼２０１ｂに対応したレンズ１０４ｂは独立したアクチュエータ１０５ａ、１０５ｂの駆動を行うことができるため、左右の視力が異なる使用者にも対応することが可能である。すなわち第１および第２の表示光学素子のうち少なくとも一方の位置の変更を行う構成をとることができる。

　本実施例によれば、視線の注視点の深度情報に応じた視度調整を行う共に、使用者の酔いや疲労状態に応じて、映像表示部１０３ａ、１０３ｂから離れる方向へレンズ１０４ａ、１０４ｂを移動するようにアクチュエータを駆動させる。これにより、映像表示部に表示される映像がぼやけるように視認されるようになり、使用者が映像から取得する情報量を減少させることで、長時間使用による蓄積した酔いや疲労を低減することができる。

　また、上記の例では、映像表示部とレンズが互いに離れるようにアクチュエータを動かすことで説明したが、これに限らず、映像表示部とレンズが互いに近づくようにアクチュエータを動かすようにしてもよく、同等の効果を得ることができる。この場合、状態検出部１０９により検出された値が所定値を上回った際に、映像表示部１０３ａ、１０３ｂへ近づくようにレンズ１０４ａ、１０４ｂをアクチュエータ１０５ａ、１０５ｂにより動かすようにする。

　なお、ここまで、視線検出手段１０６ａ、１０６ｂにより検出された注視点の深度情報に基づいて視度調整を行う構成を前提として説明をしてきたが、これに限らず、図７に示すような構成で、視度調整は手動で行うような構成であってもよい。図８は、使用者の生理的な状態あるいは心理的な状態の検出値と、図７の構成のレンズ位置を示したものである。このような構成の場合、図８に示すように、時刻ｔ０において使用者本人が手動で視聴映像に合わせた位置に視度調整を行い、その位置をレンズの基準位置とする。状態検出部により検出された値が時刻ｔ１において所定値を上回った際に、表示部から離れるように使用者側へレンズを近づけるようにアクチュエータを動かすようにする。その後、検出された値が時刻ｔ２において、所望の値を下回った場合は、時刻ｔ０の時と同じ手動で合わせたレンズの基準位置へ戻すようにアクチュエータを動かすようにする。

　＜第２実施形態＞
　上述した第１実施形態において、状態検出部１０９により検出された値を用いて制御部１０８により駆動するアクチュエータ１０５ａ、１０５ｂの動作方法について説明する。原理や構成などは第１実施例と同様のため、省略する。

　図９のフローチャートを参照して、第２実施形態の動作を説明する。図９のフローチャートに対応するプログラムは演算処理部内の記憶部に格納されている。制御部１０８は、ＣＰＵやメモリなどを示しており、図９のフローチャートに示す各処理は、ＣＰＵがメモリに格納された所定のプログラムを展開することによって実現される。

　まずＳ１００１にて、状態検出部１０９を用いて、使用者の生理的な状態あるいは心理的な状態を検出する。次にＳ１００２にて、検出された値をもとに、使用者の酔い疲労状態を判定する。検出値が所望の値以下であった場合、Ｓ１００３にて、制御部１０８において、アクチュエータ１０５ａ、１０５ｂの最大駆動速度をＡに設定する（例えば１００ｍｍ／ｓ）。検出値が所望の値以上であった場合、Ｓ１００４にて、制御部１０８において、アクチュエータ１０５ａ、１０５ｂの最大駆動速度をＡよりも小さいＢに設定する（例えば５０ｍｍ／ｓ）。このように最大駆動速度を変更することで、使用者の映像に対する焦点の変化量を抑えることができ、眼が焦点の急な変化に対して追従しようとすることを減らすことができる。これにより、長時間の映像視聴時においても、使用者への負担を減らすことで、酔いや疲労の増加あるいは蓄積を低減することができる。

　次に、Ｓ１００５にて、視線検出手段１０６ａ、１０６ｂを用いて、使用者の左眼２０１ａ、右眼２０１ｂの各視線検出が行われる。

　次にＳ１００６にて、制御部１０８は、左眼２０１ａの視線と、右眼２０１ｂの視線から注視点を決定する処理を行う。注視点の算出にあたっては、左眼２０１ａと右眼２０１ｂの視線に関する平均値を用いることができる。

　次にＳ１００７にて、視度調整量算出部１１１は、映像表示部１０３ａ、１０３ｂに表示する映像の注視点の位置における視度調整量を算出する処理を行う。具体的には、左眼の注視点位置の映像と右眼の注視点位置の映像との視差が算出され、この視差に応じた深度情報により視度調整量が導出される。例えば、視差と視度調整量とを対応付けたテーブルデータを備えることで、視差に対応する視度調整量を算出することができる。あるいは、視差と視度調整量との関係を示す数式により視度調整量算出部１１１で視差から視度調整量を算出するようにしても良い。

　次にＳ１００８にて、視度調整量算出部１１１で算出された視度調整量に基づき、制御部１０８により、アクチュエータ１０５ａ、１０５ｂが駆動される。これにより、映像表示部１０３ａ、１０３ｂとレンズ１０４ａ、１０４ｂとの間隔を変更する動作が行われる。以上の動作は、注視点が変更される度に行われるため、リアルタイムに視度調整を行って視度を変更することができる。

　図１０は、使用者の生理的な状態あるいは心理的な状態の検出値と、アクチュエータ１０５ａ、１０５ｂの最大駆動速度を示したものである。図１０に示すように、状態検出部１０９により検出された値が所定値未満である時刻ｔ０からｔ１までは、アクチュエータ１０５ａ、１０５ｂの最大駆動速度をＡに設定する。状態検出部１０９により検出された値が所定値以上である時刻ｔ１からｔ２までは、最大駆動速度Ａよりも小さい最大駆動速度Ｂに設定する。状態検出部１０９により検出された値が所定値未満である時刻ｔ２からｔ３までは、再び最大駆動速度Ａに設定する。

　なお、ここでは最大駆動速度を変更する例で示したが、これに限らず、制御ゲイン、制御周期を変更するようにしても良く、同様の効果を得ることができる。制御ゲインは、アクチュエータを一定量変化させるのに必要な制御出力の割合のことで、この割合を小さくすることで応答性を抑え、使用者の映像に対する焦点の変化量を抑えることができ、眼が焦点の急な変化に対して追従しようとすることを減らすことができる。これにより、長時間の映像視聴時においても、使用者への負担を減らすことで、酔いや疲労の増加あるいは蓄積を低減することができる。制御周期は、アクチュエータの制御において指令を行う時間間隔のことであり、この時間間隔を広げることで更新頻度を抑え、使用者の映像に対する焦点の変化量を抑えることができ、眼が焦点の急な変化に対して追従しようとすることを減らすことができる。これにより、長時間の映像視聴時においても、使用者への負担を減らすことで、酔いや疲労の増加あるいは蓄積を低減することができる。また、状態検出部１０９により検出された値が所定値以上である際には、最大駆動速度、制御ゲイン、制御周期から複数を同時に変更するようにしても良い。

　なお、ここまで、状態検出部１０９の検出値が所定値を上回ったかで最大駆動速度、制御ゲイン、制御周期を変更する例を示した。ただし、これに限らず、図１１に示すフローチャートのように、検出値に応じて最大駆動速度、制御ゲイン、制御周期を変更するようにしても良い。この際には、まずＳ１２０１にて、状態検出部１０９を用いて、使用者の生理的な状態あるいは心理的な状態を検出する。次にＳ１２０２にて、検出された値をもとに、制御部１０８において、アクチュエータ１０５ａ、１０５ｂの最大駆動速度を設定する。例えば、生理的な状態あるいは心理的なの検出値と最大駆動速度を対応付けたテーブルデータを備えることで、生理的な状態あるいは心理的な状態の検出値に応じて最大駆動速度を算出することができる。あるいは、生理的な状態あるいは心理的な状態の検出値と最大駆動速度との関係を示す数式により最大駆動速度を算出するようにしても良い。このように最大駆動速度を変更することで、使用者の映像に対する焦点の変化量を抑えることができ、眼が焦点の急な変化に対して追従しようとすることを減らすことができる。これにより、長時間の映像視聴時においても、使用者への負担を減らすことで、酔いや疲労の増加あるいは蓄積を低減することができ、前述した例と同様の効果を得ることができる。

　なお、図１１のＳ１２０３からＳ１２０６までの動作は、前述した図９のフローチャートにおけるＳ１００５からＳ１００８までの動作と同様であるため、説明を省略する。

　図１２は、使用者の生理的な状態あるいは心理的な状態の検出値と、アクチュエータ１０５ａ、１０５ｂの最大駆動速度を示したものである。図１２に示すように、状態検出部１０９により検出された値に応じて、アクチュエータ１０５ａ、１０５ｂの最大駆動速度を段階的に設定する。

　なお、ここでは最大駆動速度を変更する例で示したが、これに限らず、制御ゲイン、制御周期を変更するようにしても良く、同様の効果を得ることができる。また、状態検出部１０９により検出された値が所定値以上である際には、最大駆動速度、制御ゲイン、制御周期から複数を同時に変更するようにしてもよい。

　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述した各工程を実行する制御方法や、その制御方法を実行するためのコンピュータ読み取り可能な非一時的なプログラムを提供することもできる。

　例えば、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０２３年１１月２９日提出の日本国特許出願特願２０２３－２０１９８０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

　１００　映像表示装置
　１０１　映像取得部
　１０２　表示処理部
　１０３　映像表示部
　１０４　レンズ
　１０５　アクチュエータ
　１０６　視線検出手段
　１０７　駆動方向
　１０８　制御部
　１０９　状態検出部
　１１０　状態判定部
　１１１　深度情報算出部
　２０１ａ　左眼
　２０１ｂ　右眼
　２０２　光軸
　２０３　虚像

Claims

　使用者の右眼に対して第１の映像を表示する第１の映像表示部と、
　前記使用者の左眼に対して第２の映像を表示する第２の映像表示部と、
　前記第１の映像表示部に対応する第１の表示光学素子と、
　前記第２の映像表示部に対応する第２の表示光学素子と、
　前記表示光学素子の位置を変えるアクチュエータと、を備える映像表示装置であって、
　前記映像表示装置を使用中の使用者の生理的な状態あるいは心理的な状態を検知する状態検出部をさらに備え、前記状態検出部の検知結果に基づいて前記アクチュエータを駆動することで、前記第１の映像表示部に対する前記第１の表示光学素子の位置、および前記第２の映像表示部に対する前記第２の表示光学素子の位置のうち少なくとも一方の位置の変更を行う映像表示装置。
　前記生理的な状態あるいは心理的な状態の検知結果が所定の値以上となった際に、前記第１の映像表示部と前記第１の表示光学素子、および、前記第２の映像表示部と前記第２の表示光学素子、のうち少なくとも一方が互いに離れる位置となるように、前記アクチュエータを駆動することを特徴とする請求項１の映像表示装置。
　前記生理的な状態あるいは心理的な状態の検知結果が所定の値以上となった際に、前記第１の映像表示部と前記第１の表示光学素子、および、前記第２の映像表示部と前記第２の表示光学素子、のうち少なくとも一方が互いに近づく位置となるように、前記アクチュエータを駆動することを特徴とする請求項１の映像表示装置。
　前記第１の映像表示部に係る視線検出を行う第１の視線検出手段および、前記第２の映像表示部に係る視線検出を行う第２の視線検出手段を有すること、を特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記第１の表示光学素子および前記第２の表示光学素子を介さずに前記視線検出を行うよう構成された請求項４記載の映像表示装置。
　前記第１の視線検出手段および前記第２の視線検出手段から取得される注視点の位置における前記第１の映像と前記第２の映像との視差に対応する視度調整量を算出する算出手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記映像表示装置は、駆動指令を出力する制御部を備え、前記制御部は、前記視度調整量に対応する前記駆動指令を前記アクチュエータに行うことを特徴とする請求項６記載の映像表示装置。
　前記生理的な状態あるいは心理的な状態の検知結果の値に応じて、さらに前記アクチュエータの制御ゲインを変更すること、を特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記生理的な状態あるいは心理的な状態の検知結果の値に応じて、さらに前記アクチュエータの制御周期を変更すること、を特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記生理的な状態あるいは心理的な状態の検知結果の値に応じて、さらに前記アクチュエータの最大駆動速度を変更すること、を特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記第１の視線検出手段および前記第２の視線検出手段は、赤外照明部および視線検出カメラをそれぞれ備えること、を特徴とする請求項４に記載の映像表示装置。
　前記状態検出部は、測定された前記映像表示装置の使用者の眼電位による、瞬目数、累積回数、変化率、瞬目間の時間間隔のうち少なくとも１つに基づいて、前記生理的な状態あるいは心理的な状態の検出結果を得ることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記状態検出部は、測定された前記映像表示装置の使用者の心電図による、その基線変動の周波数成分の大きさ、あるいは比率に基づいて、前記生理的な状態あるいは心理的な状態の検出結果を得ることとすることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記状態検出部は、測定された前記映像表示装置の使用者の皮膚電位による、その抵抗成分の大きさに基づいて、前記生理的な状態あるいは心理的な状態の検出結果を得ることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記状態検出部は、測定された前記映像表示装置の使用者の呼吸周波数、呼吸の大きさ、および呼吸の不規則性のうちの少なくともいずれか１つに基づいて、前記生理的な状態あるいは心理的な状態の検出結果を得ることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記状態検出部は、測定された前記映像表示装置の使用者の重心の重心揺動に基づいて、前記生理的な状態あるいは心理的な状態の検出結果を得ることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記状態検出部は、測定された前記映像表示装置の使用者の心拍を測定し、瞬時心拍数の平均値、心拍変動中の呼吸性成分、および心拍変動中のメイヤー波成分に基づいて、前記生理的な状態あるいは心理的な状態の検出結果を得ることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記第１の表示光学素子および前記第２の表示光学素子はレンズである請求項１乃至３のいずれか１項に記載の映像表示装置。
　前記アクチュエータは、電磁モータあるいは振動型アクチュエータである請求項１乃至３のいずれか１項に記載の映像表示装置。
　使用者の右眼に対して第１の映像を表示する第１の映像表示部と、
　前記使用者の左眼に対して第２の映像を表示する第２の映像表示部と、
　前記第１の映像表示部に対応する第１の表示光学素子と、
　前記第２の映像表示部に対応する第２の表示光学素子と、
　前記表示光学素子の位置を変えるアクチュエータと、を備える映像表示装置の制御方法であって、
　制御部が、
　前記映像表示装置を使用中の使用者の生理的な状態あるいは心理的な状態の検知結果を得る工程と、
　前記検知結果に基づいて前記アクチュエータを駆動することで、前記第１の表示光学素子および前記第２の表示光学素子のうち少なくとも一方の位置の変更を行う工程を実行する映像表示装置の制御方法。
　前記制御部に、請求項２０記載の各工程を実行させるコンピュータ読み取り可能な非一時的なプログラム。