JP2024007776A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】使用状況が変化した場合でも眼球に基づく動作制御を精度良く行える画像処理装置を実現する。【解決手段】画像処理装置において、眼球用撮像素子から得られる眼球画像を分析する画像処理手段と、前記眼球画像の初期状態を予め記憶する記憶手段と、前記初期状態以降において、前記画像処理手段による分析結果に基づき動作を制御する動作制御手段と、前記動作制御手段により前記動作を制御する際に、眼球の瞳孔の大きさが前記初期状態と同じになるように前記眼球へ入射する光量を制御する光量制御手段と、を有する。【選択図】 図９

Description

本発明はＨＭＤ等の画像処理装置、画像処理方法、及びコンピュータプログラム等に関する。

近年、眼鏡型のＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）等を用いたＨＭＤ（頭部装着型表示装置、Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）の自動化・インテリジェント化が進んでいる。例えばＨＭＤの中には視線検出装置を有するものもある。このようなＨＭＤにおいて、視線検出装置がＨＭＤの使用者の注視点位置を検出する際に、使用者の意図した注視点位置と視線検出装置が認識する使用者の注視点位置の間にズレが生じる場合がある。そのような場合には、使用者が実際に注視していた位置に注視点位置ポインタを合わせることができなくなる。

これに対し、特許文献１においては、使用者に対して指定方向を注視するよう指示を出し、使用者の目の特徴や目の動きの特徴、ＨＭＤの使用環境等の条件を加味してキャリブレーションを行う構成が記載されている。

又、特許文献２においては、アクティブ偏光フィルタや調光ガラスをＨＭＤの前面に配置することで外景光を任意に遮断し、表示虚像を明瞭に視認させている。

特開２０１７－１３８６０９号公報 特開２０１９－０８６５５６号公報

しかし特許文献１においては、ＨＭＤの使用状況が変化し周囲の明るさが変化した場合には、使用者の瞳孔の大きさが変化するためＨＭＤが検出する注視点位置が変化してしまう。そのため、周囲の明るさが変わるたびに頻繁にキャリブレーション作業を行わなければならず、操作が煩雑となる問題がある。

又、特許文献２においては、偏光フィルタや調光ガラスによりＨＭＤに表示する虚像を明瞭に視認させることができる。しかし、注視点位置を検出するのは虚像表示時だけではないため、周囲の明るさが変化するたびにキャリブレーション作業を行わなければならない。又、虚像表示のために偏光フィルタなどにより外景光を遮断することで瞳孔の大きさが時々刻々変化するため、注視点位置の検出が不安定になる問題がある。

本発明の目的の１つは、従来技術の上記のような問題を低減し、使用状況が変化した場合でも眼球に基づく動作制御を精度良く行える画像処理装置を提供することにある。

上記目的を達成するために、本発明の１つの側面の画像処理装置は、
眼球用撮像素子から得られる眼球画像を分析する画像処理手段と、
前記眼球画像の初期状態を予め記憶する記憶手段と、
前記初期状態以降において、前記画像処理手段による分析結果に基づき動作を制御する動作制御手段と、
前記動作制御手段により前記動作を制御する際に、眼球の瞳孔の大きさが前記初期状態と同じになるように前記眼球へ入射する光量を制御する光量制御手段と、を有することを特徴とする。

本発明によれば、使用状況が変化した場合でも眼球に基づく動作制御を精度良く行える画像処理装置を実現できる。

（Ａ）、（Ｂ）は本発明の実施例１に係るＨＭＤ１００の外観概略図である。 実施例１に係るＨＭＤ１００の機能ブロック図である。 実施例１に係る視線検出方法の原理説明図である。 （Ａ）、（Ｂ）は眼球用撮像素子１７に投影される眼球像について説明するための図である。 実施例１に係る視線検出の概略を示すフローチャートである。 （Ａ）～（Ｃ）は実施例１におけるレンズ素子１０の視野を示す説明図である。 実施例１に係る視線補正係数の瞳孔半径に対する変化例を示す図である。 レンズ素子と調光素子の位置関係を示す概略図である。 実施例１に係る視線検出中の調光素子１９の透過度の制御の概略を示すフローチャートである。 本発明の実施例２における眼球画像例を示す図である。 実施例２に係る明るい環境で撮影した眼球画像例を示す図である。 実施例２に係る眼球識別中の透過度の変化の概略を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を、実施例を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

図１（Ａ）、（Ｂ）は本発明の実施例１に係るＨＭＤ（頭部装着型表示装置、Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）１００の外観概略図であり、左右独立に視線方向を検出する視線検出手段を有した頭部装着型の視線検出装置の構成例を示している。尚、ＨＭＤ１００は画像処理装置として機能している。以降の説明においては、左右の眼を両眼と呼ぶ場合もある。

図１（Ａ）は本発明の実施例１に係るＨＭＤ１００の正面斜視図、図１（Ｂ）は背面斜視図である。

１０はレンズ素子で、ＨＭＤ１００の使用者はこのレンズ素子を通して外界の光景を視認する。１１は虚像表示素子で、光学系を介してレンズ素子１０に虚像を表示する。これにより使用者は、外界の光景と共に、虚像を見ることができる。

１２は照明光源駆動回路、１３ａ、１３ｂは使用者の眼球に対して夫々異なる角度で赤外光を照射する発光ダイオード等の光源である。眼球で反射した赤外光の一部は、受光レンズ１６を介して眼球を撮像するための眼球用撮像素子１７に結像し撮像される。１８は調光素子制御回路、１９は調光素子であり、１８、１９は眼球へ入射する光量を制御する光量調整手段として機能している。

図２は実施例１に係るＨＭＤ１００の機能ブロック図である。尚、図２に示される機能ブロックの一部は、視線検出装置に含まれるコンピュータとしてのＣＰＵ２に、記憶媒体としてのメモリ部３に記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

又、図２に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

図１及び図２において、対応する機能ブロックは同じ番号で表記されている。ＨＭＤ１００に内蔵されたマイクロコンピュータとしてのＣＰＵ２は、虚像表示素子１１、照明光源駆動回路１２、視線検出回路１５、調光素子制御回路１８、及び、メモリ部３等を含むＨＭＤ１００の全体の動作を制御する。

メモリ部３は、ＣＰＵ２のためのコンピュータプログラムを記憶すると共に、眼球用撮像素子１７からの映像信号や、視線の個人差を補正するための視線補正データを記憶する。又、メモリ部３は、眼球画像の初期状態を予め記憶する記憶手段として機能している。

視線検出回路１５は、デジタルシリアルインターフェース回路を含み眼球用撮像素子１７からの眼球像信号をＣＰＵ２に送信する。ＣＰＵ２は、受信した眼球像信号に基づき、視線検出に必要な眼球像の複数の特徴点を所定のアルゴリズムに従って抽出し、更に各特徴点の位置に基づき使用者の視線方向（注視点位置）を算出する。

視線検出回路１５と眼球用撮像素子１７、ＣＰＵ２によって視線検出装置が構成されており、視線検出装置の動作については後述する。尚、視線検出装置は、眼球用撮像素子から得られる眼球画像を分析する画像処理ステップを実行する画像処理手段として機能している。

調光素子制御回路１８は、調光素子１９の透過度を変化させるために調光素子１９に加える電圧を制御するための回路である。調光素子１９は調光素子制御回路１８により印可される電圧に応じて光の透過率が変化する。

ＨＭＤ１００において、上記の視線検出結果（視線方向の情報、注視点情報とも呼ぶ）に応じて、注視している被写体に関係する情報を、虚像表示素子１１を介してレンズ素子１０に表示させても良い。

図３は実施例１に係る視線検出方法の原理説明図であり、前述の図１の構成における視線検出を行うための光学系による視線検出方法の原理を示している。図３において、１３ａ、１３ｂは前述のように、夫々使用者の眼球に対して異なる角度で赤外光を照射する発光ダイオード等の光源である。又、図３において、１４は眼球、１４１は瞳孔、ａ、ｂは瞳孔端、ｃは瞳孔中心、１４２は角膜、Ｏは角膜曲率中心、Ｏ‘は眼球中心、θｘは眼球回転角度である。

図３で示すように、眼球で反射された赤外光の一部は受光レンズ１６により、眼球用撮像素子１７の結像面に集光する。即ち、光源１３ａ、１３ｂより照射された赤外光は観察者の眼球１４の角膜１４２の表面で反射される。そして、赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光され、眼球用撮像素子１７上に結像する（図示の点Ｐｄ’，Ｐｅ’）。同様に瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１７上に結像する。

尚、本実施例に係る頭部装着型の視線検出装置は、図１（Ｂ）に示すように、眼球用撮像素子１７を２つ有し、左右夫々の眼球像を撮像するように構成されている。

図４（Ａ）、（Ｂ）は、眼球用撮像素子１７に投影される眼球像について説明するための図である。図４（Ａ）は眼球用撮像素子１７により撮像される眼球像の概略図、図４（Ｂ）は眼球用撮像素子１７の領域αにおける行方向の撮像信号の輝度分布例を示す図である。図４では、水平方向をＸ軸、垂直方向をＹ軸とする。

図４（Ａ）、（Ｂ）において、光源１３ａ、１３ｂによる角膜反射像が眼球用撮像素子１７に結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。又、瞳孔１４ｂの端部ａ、ｂからの光束が結像した像ａ’，ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。

図４（Ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の虹彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。

上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’，ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。

又、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。以上のようにして、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができる。

図５は実施例１に係る視線検出の概略を示すフローチャートである。尚、コンピュータとしてのＣＰＵ２がメモリ部３に記憶されたコンピュータプログラムを実行することによって図５のフローチャートの各ステップの動作が行われる。

図６（Ａ）～（Ｃ）は実施例１におけるレンズ素子１０の視野を示す説明図であり、レンズ素子１０を通して使用者に見える画面の例を示している。虚像表示素子１１が表示動作を行うことで図６（Ａ）～（Ｃ）に示すような表示が行われる。

図６において、３００はレンズ素子１０の視野（表示範囲）を規定するための視野マスクを示す。視線検出装置が算出した推定注視点位置は図における推定注視点Ａ、Ｃのように枠として表示される。ここで、ＣＰＵ２は、初期状態以降において、画像処理手段による分析結果である注視点情報に基づき虚像表示素子１１の動作を制御して推定注視点位置を表示させる動作制御ステップを実行しており、動作制御手段として機能している。以下、図３～５を用いて、視線の検出手段を説明する。

図５において、視線検出ルーチンが開始すると、ステップＳ００１において、光源１３ａ、１３ｂは観察者の眼球１４に向けて赤外光を照射する。上記赤外光によって照明された使用者の眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換がなされ、眼球像は電気信号として処理が可能となる。

ステップＳ００２において上記のように眼球用撮像素子１７から得られた眼球画像信号をＣＰＵ２に送る。ステップＳ００３では、ステップＳ００２において得られた眼球画像信号の情報から、図３に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。

更に、ステップＳ００４では、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

又、ステップＳ００５では、回転角θｘ、θｙを演算する。即ち、角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。従って角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θＸは、以下の式１で算出できる。
β＊Ｏｃ＊ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ・・・（式１）

尚、図５、図６においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θＸを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

前ステップにおいて観察者の眼球１４の光軸の回転角θｘ、θｙが算出されると、次にステップＳ００６において後述の視線補正係数がメモリ部３から読み込まれる。

ステップＳ００７では、θｘ、θｙを用いて、レンズ素子１０上で観察者の視線の位置（注視している点の位置、以下、注視点と称する。）を求める。注視点位置をレンズ素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、以下の式２、式３により算出することができる
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（式３）

この時、係数ｍは使用者の眼球角度とレンズ素子１０上の位置の関係を表す定数で、回転角θｘ、θｙをレンズ素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、予め決定されてメモリ部３に記憶されている。

又、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは観察者の視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部３に記憶されている。尚、これらの式の演算で使われる係数ｍや視線補正係数はステップＳ００６においてメモリ部３から読み込まれたものを用いる。

上記のようにステップＳ００７において、レンズ素子１０上での瞳孔１４１の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、ステップＳ００８においてメモリ部３に上記座標を記憶して、視線検出ルーチンを終える。

上記は光源１３ａ、１３ｂの角膜反射像を利用したレンズ素子上での注視点座標取得手法を示したが、上記の手法に限られるものではなく、撮像された眼球画像から眼球回転角度を取得する手法であればどのような手法であっても良い。

前述のように、本実施例では、視線検出ルーチンにおいて眼球画像から眼球の回転角θｘ、θｙを取得し、瞳孔中心位置をレンズ素子１０上において対応する位置に座標変換する演算を行って注視点位置を推定している。

しかし、人間の眼球の形状の個人差等の要因により、前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値は使用者によって異なる。従ってこれらの補正係数を適切な値に調整しなければ、例えば図６（Ｂ）に示すように、使用者が実際に注視している位置Ｂと演算された推定注視点Ｃの位置にずれが生じてしまう。

そこで、ＨＭＤを使用する際に、キャリブレーション作業を行い、使用者毎の補正係数の値を取得し、視線検出装置に記憶させる必要がある。

従来、キャリブレーション作業は、ＨＭＤ１００の使用前に図６（Ｃ）のような互いに位置の異なる複数の指標を強調表示し、観察者にその指標を所定の順番で見てもらうことで行う。即ち、各指標を注視している時に、注視点検出ルーチンを行い、算出された複数の推定注視点座標と各指標座標の位置から適切な前記補正係数データを求める作業を行う。

しかしながら、ＨＭＤ１００の使用環境が変化し装置外部の明るさが変化すると、瞳孔の大きさが変化し、それによって視線検出装置が検出する注視点位置が変化する。従って、使用環境が変わるたびに使用を中止して頻繁にキャリブレーション作業を行わなければ精度を維持できず、煩雑となる問題があった。そのため、使用者のＨＭＤ１００の使用を妨げることがなく、精度良く注視点を推定することができるシステムが求められる。

上記キャリブレーション作業を行うことで、使用者に対して適切な前記視線補正係数を得ることができる。しかし、ＨＭＤの使用環境が変化し装置外部の明るさが変化すると、明るさに応じて使用者の瞳孔の大きさが変化する。瞳孔の大きさが変化すると、それに伴い前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙが変化する。

図７は、実施例１に係る視線補正係数の瞳孔半径に対する変化例を示す図である。図７においては瞳孔の半径が増加すると単調増加する例を示しているが、この傾向には個人差があることが知られている。そのため、注視点の推定精度を上げるためには装置外部の明るさが変化する度にキャリブレーション作業を行い、その瞳孔の大きさにおける前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙを取得する必要があった。ここでの瞳孔の大きさとは、図４（Ｂ）におけるＸａ、Ｘｂ間の距離を表す。

例えば、ＨＭＤ１００を室内で使用していた使用者が、ＨＭＤを装着して使用したままの状態で屋外に出た場合に、継続してＨＭＤを使用することができず、再度キャリブレーション作業が必要になるという問題がある。使用者の場所の変更により周囲の明るさが変わることで、使用者の瞳孔の大きさが変化する度にＨＭＤの使用を中断し、キャリブレーション作業を行う構成では利便性が悪い。

故に、望ましくは、使用者がＨＭＤを装着して使用したまま場所を移動して瞳孔の大きさが変化した場合であっても、追加のキャリブレーション作業を行わずとも高精度な注視点推定結果を得られることが求められる。

使用場所が変化する度にキャリブレーション作業を行うのは、瞳孔の大きさが、使用条件が変わることによって変化し、それに伴い前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙも変化して注視点位置推定の精度が低下することを防ぐためである。

本実施例では、使用場所が変化する度にキャリブレーション作業を行うのではなく、キャリブレーション作業は例えば初めの１回のみとする。そして、視線検出を行う際の明るさ環境に応じてレンズ素子１０の透過度を変化させることで使用者の瞳孔の大きさをキャリブレーション作業時の大きさと同じになるように制御してこの課題を解決する。

図８は、レンズ素子と調光素子の位置関係を示す概略図である。本実施例のＨＭＤ１００においては、図８に示すようにレンズ素子１０の前面或いは後面に設置した固定式の調光素子１９によって、調光素子１９の光透過率を変更できるように構成する。即ち、光量制御手段は眼球の前面に配置された調光素子１９の透過度を制御するように構成されている。

図９は、実施例１に係る視線検出中の調光素子１９の透過度の制御の概略を示すフローチャートであり、図９を用いて前記視線検出中の調光素子１９の透過度の変化の説明を行う。尚、コンピュータとしてのＣＰＵ２がメモリ部３に記憶されたコンピュータプログラムを実行することによって図９のフローチャートの各ステップの動作が行われる。

先ずステップＳ１０１において、使用者は初期状態においてキャリブレーション作業を行う。このとき、視線検出装置は眼球用撮像素子から得られる眼球画像を分析する画像処理ステップを実行する。又、瞳孔の大きさを測定して測定結果を記憶する。即ち、眼球画像の初期状態を予め記憶する記憶ステップを実行する。瞳孔の大きさは図４（Ｂ）におけるＸａ、Ｘｂ間の距離を用いて算出することができる。

尚、このとき調光素子１９の透過度を例えば略中間値に設定しておくことが望ましい。即ち、初期状態（キャリブレーション時）において、眼球へ入射する光量が所定の光量となるように光量制御手段により制御しておく。尚、キャリブレーションを複数回行い、瞳孔の大きさや眼球面の明るさ等が異なる複数の条件における、夫々の視線補正係数等を記憶するようにしても良い。

次にステップＳ１０２において、視線検出装置が使用者の注視点位置の抽出を行う。又、視線検出装置はステップＳ１０２における瞳孔の大きさを算出してステップＳ１０１で測定したキャリブレーション作業時の瞳孔の大きさと比較する。そしてステップＳ１０３において、ステップＳ１０２のときの瞳孔の大きさがステップＳ１０１の時の瞳孔の大きさ以下か否かを判定する。Ｎｏの場合はステップＳ１０４に進み、Ｙｅｓの場合にはステップＳ１０５に進む。

尚、ステップＳ１０３で視線検出時の瞳孔の大きさが初期状態（キャリブレーション作業時）より大きいと判定された場合には、使用者がＨＭＤ１００をステップＳ１０１の時よりも暗い場所で使用している可能性が高い。そのためステップＳ１０４において、調光素子１９の透過度を高くして瞳孔の大きさを減少させる。

又、ステップＳ１０６で、瞳孔の大きさが初期状態（キャリブレーション作業時）と略同じになったかを判定し、Ｎｏの場合には再びステップＳ１０３に戻る。ステップＳ１０４の処理の結果、ステップＳ１０６で瞳孔の大きさがステップＳ１０１のキャリブレーション作業時と略同じと判定されれば図９のフローを終了する。このとき視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙはキャリブレーション作業時と略同じになるため注視点位置の推定精度が低下することはない。

一方、ステップＳ１０３において、瞳孔の大きさがステップＳ１０１のときの瞳孔の大きさ以下と判定された場合はステップＳ１０５に進む。

ステップＳ１０５では、視線検出時の瞳孔の大きさがキャリブレーション時の瞳孔の大きさ以下なので、使用者がＨＭＤを明るい場所で使用している可能性が高い。そのため、調光素子１９の透過度を低くして瞳孔を大きくさせる。そしてステップＳ１０６で瞳孔の大きさがキャリブレーション作業時と略同じになったかを判定し、Ｎｏの場合には再びステップＳ１０３に戻る。ステップＳ１０６で瞳孔の大きさがステップＳ１０１の初期状態（キャリブレーション作業時）と略同じと判定されれば図９のフローを終了する。

ここで、ステップＳ１０２～ステップＳ１０６は、動作制御手段により動作を制御する際に、眼球の瞳孔の大きさが初期状態と同じになるように眼球へ入射する光量を制御する光量制御ステップ（光量制御手段）として機能している。

本実施例では、ステップＳ１０１のキャリブレーション時の明るさ環境に制限を設けていない。しかし、極度に明るい、或いは暗い環境においてキャリブレーション作業を行った場合には、レンズ素子１０の透過度の制御のみでは視線検出時の瞳孔の大きさをキャリブレーション時と同じにすることが困難な場合がある。

そのため、ステップＳ１０１のキャリブレーション作業は極度に明るい、或いは暗い環境で行わないことを条件としても良い。又は、極度に明るい環境でキャリブレーション作業が実行される場合には、調光素子１９の透過度を下げることで瞳孔の大きさが小さくなりすぎないようにしても良い。

又、本実施例ではキャリブレーション時及び視線検出時の明るさ条件の判定に瞳孔の大きさを使用したがこれに限られるものではない。例えばＨＭＤの内部に取り付けた照度センサなどにより眼球面の明るさを計測し、その計測値に応じて視線検出時の調光素子１９の透過度を制御しても良い。

上記のように、本実施例では、視線検出装置を有するＨＭＤにおいて、視線検出時における使用者の瞳孔の大きさ又は眼球面の明るさ等に応じて調光素子１９の透過度を変化させている。それにより、キャリブレーション作業を再度行うことなく精度良い注視点位置の検出ができ、使用者の利便性を向上させることができる。

尚、調光素子１９の透過度を増減する代わりに或いは調光素子１９の透過度を増減するのと共に、虚像表示素子１１の表示輝度を増減しても良い。即ち、光量制御手段は眼球に対して画像を表示する表示素子の明るさを制御しても良く、瞳孔の大きさが略一定になるようにＨＭＤ内において眼球へ入射する光強度を初期状態と略同じにすれば良い。

実施例１においては、視線検出時に調光素子１９をＨＭＤが置かれた明るさ条件や瞳孔の大きさに応じて制御している。そして、透過度を制御して眼球に入射する光の明るさをキャリブレーション時（初期状態）と略同じ明るさにすることでキャリブレーション作業を再度行うことなく精度良い注視点位置の検出を可能としている。

一方、実施例２においては、眼球識別時にＨＭＤの周囲の明るさ条件に応じて調光素子１９を制御することで、眼球情報登録時と同じ明るさ条件を再現して識別精度を向上させる。

眼球識別は、眼球用撮像素子１７で撮影したＨＭＤの使用者の眼球の画像を使用して、使用者が既登録者かを判定する機能であり、セキュリティ強化や使用者毎のプリセット機能の呼び出しなどに使用する。

眼球識別機能を使用する流れを説明する。眼球識別機能を使用する際、使用者は初めに自身の眼球情報を登録する。図１０は本発明の実施例２における眼球画像例を示す図であり、登録時は眼球用撮像素子１７により図１０のような使用者の眼球の画像を撮影し、使用者の眼の特徴、例えば、虹彩の模様やまぶたの厚さ、目頭の形状、目尻の形状などを取得する。

次に例えば、セキュリティ強化のためにＨＭＤ１００の起動には使用者認証が必要である場合、使用者はＨＭＤ１００を使用しようとする時に先ず使用者認証を行う。この場合、眼球情報登録時と同様に眼球用撮像素子１７で使用者の眼球の画像を撮影して、登録した眼の特徴と一致しているかを判定する。ここで、ＣＰＵ２は、画像処理手段による分析結果としての認証結果に基づきＨＭＤ１００の起動動作を制御する動作制御手段として機能している。

判定した結果、事前に登録した使用者情報と一致すれば登録使用者としてＨＭＤにログインして利用することができる。事前に登録した使用者情報と不一致であれば、ＨＭＤにログインすることはできず使用できない。これにより、登録者以外の人がＨＭＤを使用することを防止することができ、セキュリティを強化することができる。

画像から眼の特徴を取得する方法や眼の特徴の一致度合いの判定には例えば、機械学習が使用できる。ここで、使用者が初めに眼球情報を登録する時とＨＭＤの起動時の使用者認証時で、ＨＭＤ内の明るさが異なる場合には認識精度が落ちてしまう。

図１１は実施例２に係る明るい環境で撮影した眼球画像例を示す図であり、図１１のように眼球用撮像素子１７が撮影する眼の画像に写る瞳孔の大きさが小さくなると共に、まぶたの形状が、明るさ条件によって変化している。このような場合には、同一人物であると認識できなくなる可能性が高くなる。

この課題に対して実施例２では、ＨＭＤ１００を起動した時に使用者認証を行う際に、瞳孔の大きさが眼球情報登録時と同じとなるように調光素子１９を制御し、調光素子１９の透過度を変化させることで上記の問題を解消する。

図１２は、実施例２に係る眼球識別中の透過度の変化の概略を示すフローチャートであり、図１２を用いて使用者認証時のレンズ素子１０の透過度の変化について説明する。尚、コンピュータとしてのＣＰＵ２がメモリ部３に記憶されたコンピュータプログラムを実行することによって図１２のフローチャートの各ステップの動作が行われる。

先ず、ステップＳ２０１において、眼球用撮像素子１７で使用者の眼球の画像を撮影する。次に、ステップＳ２０２において、ステップＳ２０１で撮影した眼球画像に基づき瞳孔の大きさを算出する。そして算出した瞳孔の大きさを、眼球情報登録時の瞳孔の大きさと比較する。尚、このとき調光素子１９の透過度を例えば略中間値に設定しておくことが望ましい。

ステップＳ２０３で、ステップＳ２０２で算出された瞳孔の大きさが眼球情報登録時以上だと判定された場合、使用者が暗い環境でＨＭＤを使用している可能性が高いため、ステップＳ２０４に進む。Ｎｏの場合にはステップＳ２０５に進む。

ステップＳ２０４では調光素子１９の透過度が高くなるように調光素子１９に印可する電圧を制御し、瞳孔の大きさが小さくなるようにする。そして、ステップＳ２０６において、瞳孔の大きさが眼球情報登録時と同じになったか判定し、ＮｏであればステップＳ２０３に戻る。Ｙｅｓであれば図１２のフローを終了する。

一方、ステップＳ２０３で、ステップ２０２で算出された瞳孔の大きさが眼球情報登録時よりも小さかった場合、使用者が眼球情報登録時よりも明るい環境でＨＭＤを使用している可能性が高いため、ステップＳ２０５に進む。

そしてステップＳ２０５において、調光素子１９の透過度が低くなるように調光素子１９に印可する電圧を制御して、瞳孔の大きさが大きくなるようにする。そして、ステップＳ２０６において、瞳孔の大きさが眼球情報登録時と同じになったか判定し、ＮｏであればステップＳ２０３に戻る。Ｙｅｓであれば図１２のフローを終了する。

ここで、ステップＳ２０２～ステップＳ２０６は、動作制御手段により動作を制御する際に、眼球の瞳孔の大きさが初期状態と同じになるように眼球へ入射する光量を制御する光量制御ステップ（光量制御手段）として機能している。

このように実施例２によれば、使用者認証時に眼球用撮像素子１７が眼の画像を撮影する際の明るさ条件が眼球情報登録時と同じになるため、瞳孔の大きさやまぶたの形状も眼球情報登録時と類似したものとなる。そのため、認識時の誤認識率を下げることができる。

本実施例では、眼球情報登録時の明るさ条件に制限を設けていない。しかし、極度に明るい、或いは暗い環境において眼球情報登録を行った場合には、レンズ素子１０の透過度の制御のみでは使用者認証時の瞳孔の大きさを眼球情報登録時と同じにすることが困難な可能性がある。

そのため、眼球情報登録は極度に明るい、或いは暗い環境で行わないことを条件としても良い。又は、極度に明るい環境で眼球情報登録が実行される場合には、レンズ素子１０の透過度を下げることで瞳孔の大きさが小さくなりすぎないようにしても良い。

尚、実施例２では眼球情報登録時及び使用者認証時の明るさ条件の判定に瞳孔の大きさを使用したがこれに限られるものではない。例えばＨＭＤの内部に取り付けた照度センサなどにより眼球面の明るさを計測し、その計測値に応じて使用者認証時の調光素子１９の透過度を制御しても良い。即ち、眼球面の明るさに基づき眼球へ入射する光量を制御しても良い。

上記構成により、視線検出装置を有するＨＭＤにおいて、使用者の瞳孔の大きさ等に応じて調光素子の透過度を変化させることで、眼球識別機能の誤認識率を下げることができ、使用者の利便性や操作性を向上させることができる。

尚、調光素子１９の透過度や虚像表示素子１１の表示輝度などの光量制御手段による光量をユーザが制御するための操作手段を設けても良い。それによって、例えば被写体が良く見えない場合等にユーザの好みの明るさで被写体を観察することもできる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。又、実施例１と実施例２を適宜組み合わせても良い。尚、以上の実施例は、例えば以下のような構成を少なくとも含む。

（構成１）眼球用撮像素子から得られる眼球画像を分析する画像処理手段と、前記眼球画像の初期状態を予め記憶する記憶手段と、前記初期状態以降において、前記画像処理手段による分析結果に基づき動作を制御する動作制御手段と、前記動作制御手段により前記動作を制御する際に、眼球の瞳孔の大きさが前記初期状態と同じになるように前記眼球へ入射する光量を制御する光量制御手段と、を有することを特徴とする画像処理装置。

（構成２）前記分析結果は前記眼球の注視点情報を含み、前記動作制御手段は前記注視点情報に基づき前記動作を制御することを特徴とする構成１に記載の画像処理装置。

（構成３）前記画像処理手段は前記眼球の認証を行い、前記認証の結果に基づき前記動作制御手段は前記動作を制御することを特徴とする構成１又は２に記載の画像処理装置。

（構成４）前記光量制御手段は前記眼球の前面に配置された調光素子の透過度を制御することを特徴とする構成１～３のいずれか１つに記載の画像処理装置。

（構成５）前記光量制御手段は前記眼球に対して画像を表示する表示素子の明るさを制御することを特徴とする構成１～４のいずれか１つに記載の画像処理装置。

（構成６）前記光量制御手段は眼球面の明るさに基づき前記光量を制御することを特徴とする構成１～５のいずれか１つに記載の画像処理装置。

（構成７）前記光量制御手段による前記光量をユーザが制御するための操作手段を有することを特徴とする構成１～６のいずれか１つに記載の画像処理装置。

（構成８）前記初期状態において、前記眼球へ入射する前記光量が所定の光量となるように前記光量制御手段により制御することを特徴とする構成１～７のいずれか１つに記載の画像処理装置。

（方法）眼球用撮像素子から得られる眼球画像を分析する画像処理ステップと、前記眼球画像の初期状態を予め記憶する記憶ステップと、前記初期状態以降において、前記画像処理ステップによる分析結果に基づき動作を制御する動作制御ステップと、前記動作制御ステップにより前記動作を制御する際に、眼球の瞳孔の大きさが前記初期状態と同じになるように前記眼球へ入射する光量を制御する光量制御ステップと、を有することを特徴とする画像処理方法。

（プログラム）構成１～８のいずれか１つに記載の画像処理装置の各部をコンピュータにより制御するためのコンピュータプログラム。

尚、本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。

その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

１００：ＨＭＤ
１０：レンズ素子
１１：虚像表示素子
１２：照明光源駆動回路
１３ａ，ｂ：光源
１４：眼球
１５：視線検出回路
１６：受光レンズ
１７：眼球用撮像素子
１８：調光素子制御回路
１９：調光素子
２：ＣＰＵ
３：メモリ部

Claims (10)

1. 眼球用撮像素子から得られる眼球画像を分析する画像処理手段と、
   前記眼球画像の初期状態を予め記憶する記憶手段と、
   前記初期状態以降において、前記画像処理手段による分析結果に基づき動作を制御する動作制御手段と、
   前記動作制御手段により前記動作を制御する際に、眼球の瞳孔の大きさが前記初期状態と同じになるように前記眼球へ入射する光量を制御する光量制御手段と、を有することを特徴とする画像処理装置。
2. 前記分析結果は前記眼球の注視点情報を含み、前記動作制御手段は前記注視点情報に基づき前記動作を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は前記眼球の認証を行い、前記認証の結果に基づき前記動作制御手段は前記動作を制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記光量制御手段は前記眼球の前面に配置された調光素子の透過度を制御することを特徴とする請求項１に記載の画像処理装置。
5. 前記光量制御手段は前記眼球に対して画像を表示する表示素子の明るさを制御することを特徴とする請求項１に記載の画像処理装置。
6. 前記光量制御手段は眼球面の明るさに基づき前記光量を制御することを特徴とする請求項１に記載の画像処理装置。
7. 前記光量制御手段による前記光量をユーザが制御するための操作手段を有することを特徴とする請求項１に記載の画像処理装置。
8. 前記初期状態において、前記眼球へ入射する前記光量が所定の光量となるように前記光量制御手段により制御することを特徴とする請求項１に記載の画像処理装置。
   置。
9. 眼球用撮像素子から得られる眼球画像を分析する画像処理ステップと、
   前記眼球画像の初期状態を予め記憶する記憶ステップと、
   前記初期状態以降において、前記画像処理ステップによる分析結果に基づき動作を制御する動作制御ステップと、
   前記動作制御ステップにより前記動作を制御する際に、眼球の瞳孔の大きさが前記初期状態と同じになるように前記眼球へ入射する光量を制御する光量制御ステップと、を有することを特徴とする画像処理方法。
10. 請求項１～８のいずれか１項に記載の画像処理装置の各部をコンピュータにより制御するためのコンピュータプログラム。

Images