JPH11128170A

JPH11128170A - 視点算出方法

Info

Publication number: JPH11128170A
Application number: JP9294747A
Authority: JP
Inventors: Shogo Fukushima; 省吾福島
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1997-10-28
Filing date: 1997-10-28
Publication date: 1999-05-18

Abstract

(57)【要約】【課題】眼球の回転位置に対応した測定値と視点の位置
とを比較的少ない演算で正確に対応付ける。【解決手段】画像表示器３の画面上に凸形多角形の頂点
および内部の１点となる複数の参照点を設定し、内部の
参照点を始点とし他の各参照点をそれぞれ通る直線によ
り複数の画面領域を設定する。また、各参照点を注視す
るときの眼球の回転位置を基準点とし、上記内部の参照
点を注視するときの基準点を始点とし他の各基準点をそ
れぞれ通る直線により複数の眼球領域を設定する。検出
した眼球の回転位置がどの眼球領域に属するかを領域判
定部１１で判定した後、視点位置演算部１２は、その眼
球領域の境界線上の基準ベクトルの合成ベクトルで眼球
の回転位置を表して成分を求め、対応する画面領域の境
界線上の基準ベクトルをその成分で合成することにより
視点の位置を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、眼球の回転位置に
基づいて視点の位置ないし視線方向を求める視点算出方
法に関するものである。

【０００２】

【従来の技術】従来より、左眼用と右眼用との画像を各
別に表示して両眼視差により立体感を生じさせるように
した各種構成の立体映像表示装置が提供されている。た
とえば、特開平６−２３５８８５号公報には、左右両眼
の直前に一対の画像表示器を配置し、各画像表示器と左
右両眼との間にそれぞれ拡大光学系としての凸レンズを
配置した立体映像表示装置が記載されている。この立体
映像表示装置では、拡大光学系は画像表示器に表示され
た画像の虚像を形成し、両眼の視線方向の交差する位置
である輻輳位置に虚像を形成することによって立体感が
得られるようにしてある。また、眼の動きによる輻輳位
置の変化に合わせて虚像の位置を変化させるように、左
右両眼の視線方向をそれぞれ検出する視線方向検出器
（眼球運動測定装置）を設けるとともに、視線方向から
求めた輻輳位置に合わせて画像表示器と拡大光学系との
少なくとも一方を駆動制御する構成を備えている。

【０００３】一方、特開平５−２０８３９３号公報など
には、視線方向の測定のための眼球運動測定装置を設
け、眼球運動測定装置により求めた視線に関する情報に
基づいて画像を生成することにより、視線方向に追随し
て画像表示器に画像を表示させる構成が記載されてい
る。この構成は画像表示器内の目的の画像を眼前に表示
させるというものである。

【０００４】上述した装置では、視線方向を検出するこ
とが必要であって、視線方向を検出するために、頭部の
定位置に固定した光源から眼球表面に赤外線を照射し反
射光の方向の変化を検出する構成や、テレビカメラによ
り眼球を撮像して画像解析により視線方向を検出する構
成などが採用されている。つまり、視線方向を直接測定
することはできないから、一般には、眼球の回転位置に
対応した情報（以下、眼球の回転位置という）を求め、
求めた眼球の回転位置を画像表示器の画面上での視点の
位置に変換し、この視点の位置を視線方向を示す情報と
して用いることが行なわれている。眼球の回転位置と視
線方向との対応関係は、装置と眼球との位置関係や個人
差により変化するから、視線方向の検出を開始する前に
装置を校正することが必要である。

【０００５】装置の簡単な校正方法としては、眼前に配
置した画像表示器の規定の２点に参照点を順次表示し、
各参照点を注視したときの眼球の回転位置を基準点とす
ることにより、既知の視点の位置である参照点と眼球の
回転位置の基準点とを対応付けることが考えられる。こ
の方法で校正した場合には、基準点と参照点との対応関
係に基づいて、基準点以外の眼球の回転位置に対する視
点の位置を内挿ないし外挿して求めることになる。内挿
ないし外挿の演算は眼球の回転位置と視点の位置とが線
形関係であるという仮定のもとに行われることが多い。

【０００６】

【発明が解決しようとする課題】しかしながら、眼球の
回転位置と視点の位置との間に線形関係が成立するのは
微小範囲のみであり一般には非線形な関係であるから、
眼球の回転位置と基準点との差が大きくなると演算によ
り求めた視点の位置の信頼性が低下するという問題があ
る。

【０００７】本発明は上記事由に鑑みて為されたもので
あり、その目的は、眼球の回転位置と視点の位置とを比
較的少ない演算で正確に対応付けることができるように
した視点算出方法を提供することにある。

【０００８】

【課題を解決するための手段】請求項１の発明は、画像
表示器の画面を見るときの眼球の回転位置を検出し、そ
の回転位置に対応した画像表示器の画面上の視点を求め
る視点算出方法であって、画像表示器の画面上に凸形多
角形の頂点およびその凸形多角形の内部の１点となる複
数の参照点を設定し、前記凸形多角形の内部の参照点を
始点として他の各参照点をそれぞれ通る直線により画像
表示器の画面を複数の画面領域に分割するとともに、前
記参照点をそれぞれ注視するときの眼球の回転位置を基
準点として求め、前記凸形多角形の内部の参照点を注視
するときの基準点を始点として他の各基準点をそれぞれ
通る各直線により眼球の回転位置を前記各画面領域に対
応付けた複数の眼球領域に分割し、画像表示器の画面を
見るときに検出した眼球の回転位置が前記眼球領域のど
れに属するかを判定した後に、その眼球領域の境界線上
の基準点と検出した眼球の回転位置との位置関係を求
め、検出した眼球の回転位置が属している眼球領域に対
応する画面領域の境界線上の参照点に前記位置関係を適
用して画面上の視点の位置を求めるものである。この方
法によれば、眼球の回転位置を複数の眼球領域に分割し
ておき、検出した眼球の回転位置を比較的狭い眼球領域
において３点との位置関係で求めるから、比較的小さい
誤差で眼球の回転位置を画像表示器の画面上の視点に対
応付けることができる。しかも、参照点は凸形多角形の
頂点とその内部の１点とがあればよいから、凸形多角形
を三角形とすれば参照点は４点でよく、演算量の大幅な
増加がなく高速な処理が期待できる。

【０００９】請求項２の発明は、請求項１の発明におい
て、各画面領域および各眼球領域の境界線となる各直線
上にそれぞれ基準ベクトルを設定し、検出した眼球の回
転位置をその回転位置が属している眼球領域の境界線に
設定した基準ベクトルの合成により表したときの成分を
前記位置関係として用い、この眼球領域に対応する画面
領域の境界線上に設定した基準ベクトルに前記成分を適
用して求めた合成ベクトルを画面上の視点の位置とする
のである。この方法によれば、眼球の回転位置をベクト
ルを用いた簡単な演算で画像表示器の画面上の視点に対
応付けることができる。

【００１０】

【発明の実施の形態】本実施形態では、眼球を撮像する
とともに画像内での瞳の位置を検出することによって眼
球の回転位置に相当する情報を求めている。すなわち、
図１に示すように、使用者の頭部に装着する立体映像表
示装置（いわゆる、ヘッドマウンドディスプレイ）１に
眼球を撮像する撮像装置２を内蔵し、撮像装置２により
得られた画像から画像処理回路４により瞳の位置を検出
することによって眼球の回転位置に関する情報を抽出し
ている。ヘッドマウントディスプレイ１は左右両眼用の
画像をそれぞれ表示する液晶表示器よりなる画像表示器
３を備える。また、撮像装置２は、左眼用と右眼用とが
個別に設けられ、それぞれの画像を得るように配置され
ている。撮像装置２は使用者の頭部に装着されるから、
目に対して定位置に配置されるのであって、撮像装置２
に対して瞳の位置を求めれば眼球の回転位置に対応した
情報（以下では、眼球の回転位置という）が得られる。
画像表示器３の表示内容は映像生成装置５により生成さ
れる。

【００１１】一方、画像処理回路４により求められた眼
球の回転位置は、領域判定部１１に入力されて後述する
眼球領域での位置が求められる。また、眼球領域での位
置が求められると、視点位置演算部１２において後述す
る画面領域での位置に対応付けられて視点が求められ
る。このようにして求められた視点は映像生成装置５で
生成される映像の位置や内容に反映されたり、ヘッドマ
ウントディスプレイ１の制御に反映されることになる。
また、後述するように画像表示器３には参照点を表示す
るから、映像生成装置５で生成された表示内容に参照点
をスーパーインポーズすることができるようにマーカ画
像生成部１３が設けられる。さらに、後述する校正の結
果を保存して視点を求める際の演算に用いることができ
るように記憶部１４も設けられている。

【００１２】本実施形態では、凸形多角形（内角が１８
０度以上にならない多角形）の各頂点と、その凸形多角
形の内部の１点とを参照点とし、これらの参照点を順次
注視するときの眼球の回転位置の測定値と既知である参
照点の位置とを対応付けている。たとえば、画像表示器
３には図２（ａ）に示すような二等辺三角形の頂点とな
る３点ｐ１〜ｐ３と二等辺三角形の内部の１点ｐ４との
４点を参照点として表示したり、図３（ａ）に示すよう
な長方形の頂点となる４点ｐ５〜ｐ８と長方形の内部の
１点ｐ９との４点を参照点として表示する。

【００１３】校正に際しては参照点ｐ１〜ｐ９を画像表
示器３に順次表示して注視させて、撮像装置２および画
像処理装置３により眼球の回転位置を求める。ここに、
眼球の回転位置とは、視線方向と眼球表面との交点の位
置を意味する。このとき、参照点ｐ１〜ｐ９に対応した
眼球の回転位置である基準点ｖ１〜ｖ９は、図２
（ｂ）、図３（ｂ）のように、元の参照点ｐ１〜ｐ９の
位置関係とは一致しないことが多い。また、参照点ｐ１
〜ｐ９を注視していても眼球は実際には微動しているも
のであるが、微動範囲の中心位置や重心位置を用いて基
準点ｖ１〜ｖ９を１点で代表させてある。

【００１４】本実施形態では、上述のような凸形多角形
の頂点である参照点ｐ１〜ｐ３，ｐ５〜ｐ８を注視する
と眼球の回転位置である基準点ｖ１〜ｖ３，ｖ５〜ｖ８
を結ぶ多角形も凸形多角形になると仮定している。この
仮定は、視野が極端に狭くなく、参照点ｐ１〜ｐ３，ｐ
５〜ｐ８同士の距離が極端に小さくなければ妥当と考え
られる。そこで、上述の仮定の妥当性を維持できるよう
に、眼球の微動範囲よりも十分に大きい範囲を視野範囲
とし、眼球の微動範囲よりも十分に大きい範囲で参照点
ｐ１〜ｐ９を分布させてある。

【００１５】上述のような校正を行えば、４個ないし５
個（あるいはそれ以上）の参照点ｐ１〜ｐ９と基準点ｖ
１〜ｖ９とを対応付けることができる。ここに、参照点
ｐ１〜ｐ９と基準点ｖ１〜ｖ９とはそれぞれ図に示すｘ
ｙ座標を用いて表され、画像表示器３の画面上における
参照点ｐ１〜ｐ９の位置と眼球の回転位置である基準点
ｖ１〜ｖ９とがｘｙ座標を用いて対応付けられる。この
対応関係は記憶部１４に格納される。

【００１６】以下では図３に示す５個の参照点ｐ５〜ｐ
９を用いて校正した基準点ｖ５〜ｖ９を用いることによ
り、画像処理回路４で検出した眼球の回転位置に対する
画像表示器３の画面上の視点の位置を求める方法につい
て説明する。まず、実測した眼球の回転位置から視点位
置を求める原理を説明する。図４（ａ）のように、参照
点ｐ５〜ｐ８により囲まれる長方形の中の参照点ｐ９を
始点とし他の各参照点ｐ５〜ｐ８を終点とする４つの単
位ベクトルＡ１〜Ａ４を設定する。これらの４つの単位
ベクトルＡ１〜Ａ４を用いると、画像表示器３の画面内
を参照点ｐ９を始点として他の各参照点ｐ５〜ｐ８を通
る４本の直線によって４つの画面領域ｔ，ｂ，ｌ，ｒに
分けることができる。ここで、基準点ｖ５〜ｖ９は参照
点ｐ５〜ｐ９に対応しているから、図４（ｂ）のように
基準点ｖ５〜ｖ９を用いて同様にして４つの単位ベクト
ルＢ１〜Ｂ４を設定する。こうして眼球の回転位置によ
り形成される空間を基準点ｖ９を始点として他の各基準
点ｖ５〜ｖ８を通る４本の直線によって４つの眼球領域
Ｔ，Ｂ，Ｌ，Ｒに分けることができる。

【００１７】画面領域ｔ，ｂ，ｌ，ｒと眼球領域Ｔ，
Ｂ，Ｌ，Ｒとは互いに対応関係を持つから、各画面領域
ｔ，ｂ，ｌ，ｒ内の各位置を各画面領域ｔ，ｂ，ｌ，ｒ
の境界線上の各２つの単位ベクトルＡ１〜Ａ４を用いて
表したときの両単位ベクトルＡ１〜Ａ４の成分と、各眼
球領域Ｔ，Ｂ，Ｌ，Ｒ内の各位置を各眼球領域Ｔ，Ｂ，
Ｌ，Ｒの境界線を形成している各２つの単位ベクトルＢ
１〜Ｂ４を用いて表したときの両単位ベクトルＢ１〜Ｂ
４の成分とは等しいと仮定することができる。いま、図
４に示すように座標系を設定し、眼球の回転位置を眼球
領域Ｔに属する点Ｖ（ｘ，ｙ）として表すものとすれ
ば、点Ｖ（ｘ，ｙ）は眼球領域Ｔの境界線上の単位ベク
トルＢ１，Ｂ２を用いることによって以下のように表す
ことができる。Ｖ（ｘ，ｙ）＝ｊＢ１＋ｋＢ２単位ベクトルＢ１，Ｂ２は画像表示器３の画面上で設定
した単位ベクトルＡ１，Ａ２に対応するから、点Ｖ
（ｘ，ｙ）に対応する視点位置Ｐ（Ｘ，Ｙ）は、次のよ
うに表すことができるのである。Ｐ（Ｘ，Ｙ）＝ｊＡ１＋ｋＡ２要するに、点Ｖ（ｘ，ｙ）について単位ベクトルＢ１，
Ｂ２の成分ｊ，ｋを求めると、視点位置Ｐ（Ｘ，Ｙ）を
求めることができる。

【００１８】上述した原理説明から明らかなように、眼
球の回転位置から視点の位置を求めるには、まず検出さ
れた眼球の回転位置が眼球領域Ｔ，Ｂ，Ｌ，Ｒのうちの
どれに属するかを求めることが必要である。そこで、校
正後には各眼球領域Ｔ，Ｂ，Ｌ，Ｒの境界線を形成して
いる各直線の方程式を求める。このような直線の方程式
が決まれば、図５のような手順で実測された眼球の回転
位置がどの眼球領域Ｔ，Ｂ，Ｌ，Ｒに属するかを決定す
ることができる。いま、眼球領域Ｔ，Ｌの境界線をｙ＝
ｆ_TL（ｘ）、眼球領域Ｌ，Ｂの境界線をｙ＝ｆ
_LB（ｘ）、眼球領域Ｂ，Ｒの境界線をｙ＝ｆ_BR（ｘ）、
眼球領域Ｒ，Ｔの境界線をｙ＝ｆ_RT（ｘ）で表すものと
する。検出した眼球の回転位置つまり点Ｖ（ｘ，ｙ）に
ついてｙ＞ｆ_TL（ｘ）の関係が成立するときには、点Ｖ
（ｘ，ｙ）は直線ｙ＝ｆ_TL（ｘ）よりも下に存在するか
ら、眼球領域Ｔには属していないことがわかる。同様に
してｙ＞ｆ _LB（ｘ）の関係が成立すれば、点Ｖ（ｘ，
ｙ）は直線ｙ＝ｆ_LB（ｘ）よりも下に存在するから眼球
領域Ｌにも属していないことがわかる。この手順をまと
めたものを図５に示してあり、このような手順で眼球領
域Ｔ，Ｂ，Ｌ，Ｒを絞り込むことで、点Ｖ（ｘ，ｙ）の
属する眼球領域Ｔ，Ｂ，Ｌ，Ｒを決定することができる
のである。領域判定部１１では図５に示した手順の処理
を行なう。ここに、記憶部１４に格納されている校正デ
ータに基づいて境界線を求めるのはもちろんのことであ
る。

【００１９】点Ｖ（ｘ，ｙ）の属する眼球領域Ｔ，Ｌ，
Ｂ，Ｒを決定すれば、次はその眼球領域Ｔ，Ｌ，Ｂ，Ｒ
の境界線となる２つの単位ベクトルＢ１〜Ｂ４を用いて
点Ｖ（ｘ，ｙ）を表せばよい。たとえば、点Ｖ（ｘ，
ｙ）が眼球領域Ｔに存在するときには、単位ベクトルＢ
１，Ｂ２をそれぞれ成分（ｘ_RT，ｙ_RT），（ｘ_TL，
ｙ_TL）で表すと次の関係により成分ｊ，ｋを決定するこ
とができるのである。ｘ＝ｊｘ_RT＋ｋｘ_TL ｙ＝ｊｙ_RT＋ｋｙ_TL 上述のように、成分ｊ，ｋが決まれば、視点位置Ｐ
（Ｘ，Ｙ）は単位ベクトルＡ１，Ａ２から次式のように
求めることができる。Ｐ（Ｘ，Ｙ）＝ｊＡ１＋ｋＡ２ここに、単位ベクトルＡ１，Ａ２をそれぞれ成分
（Ｘ_RT，Ｙ_RT），（Ｘ_TL，Ｙ_TL）で表すと次の関係で視
点位置Ｐ（Ｘ，Ｙ）が得られる。Ｘ＝ｊＸ_RT＋ｋＸ_TL Ｙ＝ｊＹ_RT＋ｋＹ_TL 上述した演算は、視点位置演算部１２において行なわれ
る。また、単位ベクトルＡ１〜Ａ４，Ｂ１〜Ｂ４の設定
には記憶部１４に格納された校正データが用いられる。

【００２０】上述のようにして眼球の回転位置と視点の
位置とを対応付ければ、従来のように２点で線形補間を
行なう場合に比較すると視点位置の検出精度が大幅に向
上し、しかも４〜５点程度の比較的少数の参照点から高
い精度で視点の位置を求めることができるから演算処理
の負担も少ないものである。また、参照点を頂点とする
多角形内にも参照点を設け、多角形内の参照点と各頂点
の参照点とを結ぶ直線により複数の画面領域ないし眼球
領域に分割し、かつ各領域の境界線上の単位ベクトルの
合成によって各領域内の視点位置を表しているから、各
領域の境界線上で視点位置が不連続な値になることがな
く、視点位置を連続的に求めることができる。なお、領
域の分割数をさらに増加させれば、視点位置をより高い
精度で求めることができるから、処理量と精度とのどち
らを優先するかに応じて領域の分割数を適宜に決定すれ
ばよい。

【００２１】

【発明の効果】請求項１の発明は、画像表示器の画面を
見るときの眼球の回転位置を検出し、その回転位置に対
応した画像表示器の画面上の視点を求める視点算出方法
であって、画像表示器の画面上に凸形多角形の頂点およ
びその凸形多角形の内部の１点となる複数の参照点を設
定し、前記凸形多角形の内部の参照点を始点として他の
各参照点をそれぞれ通る直線により画像表示器の画面を
複数の画面領域に分割するとともに、前記参照点をそれ
ぞれ注視するときの眼球の回転位置を基準点として求
め、前記凸形多角形の内部の参照点を注視するときの基
準点を始点として他の各基準点をそれぞれ通る各直線に
より眼球の回転位置を前記各画面領域に対応付けた複数
の眼球領域に分割し、画像表示器の画面を見るときに検
出した眼球の回転位置が前記眼球領域のどれに属するか
を判定した後に、その眼球領域の境界線上の基準点と検
出した眼球の回転位置との位置関係を求め、検出した眼
球の回転位置が属している眼球領域に対応する画面領域
の境界線上の参照点に前記位置関係を適用して画面上の
視点の位置を求めるものであり、眼球の回転位置を複数
の眼球領域に分割しておき、検出した眼球の回転位置を
比較的狭い眼球領域において３点との位置関係で求める
から、比較的小さい誤差で眼球の回転位置を画像表示器
の画面上の視点に対応付けることができるという利点が
あり、しかも、参照点は凸形多角形の頂点とその内部の
１点とがあればよいから、凸形多角形を三角形とすれば
参照点は４点でよく、演算量の大幅な増加がなく高速な
処理が期待できるという利点がある。

【００２２】請求項２の発明のように、各画面領域およ
び各眼球領域の境界線となる各直線上にそれぞれ基準ベ
クトルを設定し、検出した眼球の回転位置をその回転位
置が属している眼球領域の境界線に設定した基準ベクト
ルの合成により表したときの成分を前記位置関係として
用い、この眼球領域に対応する画面領域の境界線上に設
定した基準ベクトルに前記成分を適用して求めた合成ベ
クトルを画面上の視点の位置とすれば、眼球の回転位置
をベクトルを用いた簡単な演算で画像表示器の画面上の
視点に対応付けることができるという利点がある。しか
も、このように表現して演算することによって、画面領
域の境界線近傍で視点の位置が不連続にならないことが
研究によってわかっており、画面を複数の画面領域に分
割しながらも視点の位置に連続性を持たせることができ
るのである。

【図面の簡単な説明】

【図１】本発明を実施する装置のブロック図である。

【図２】同上における視点と眼球の回転位置との対応関
係の一例を示す図である。

【図３】同上における視点と眼球の回転位置との対応関
係の他例を示す図である。

【図４】同上における画面領域と眼球領域との対応関係
を示す図である。

【図５】同上において検出した眼球の回転位置がどの眼
球領域に属するかを判別する手順を示す動作説明図であ
る。

【符号の説明】

１ヘッドマウントディスプレイ２撮像装置３画像表示器４画像処理回路５映像生成装置１１領域判定部１２視点位置演算部１３マーカ画像生成部１４記憶部

Claims

【特許請求の範囲】

【請求項１】画像表示器の画面を見るときの眼球の回
転位置を検出し、その回転位置に対応した画像表示器の
画面上の視点を求める視点算出方法であって、画像表示
器の画面上に凸形多角形の頂点およびその凸形多角形の
内部の１点となる複数の参照点を設定し、前記凸形多角
形の内部の参照点を始点として他の各参照点をそれぞれ
通る直線により画像表示器の画面を複数の画面領域に分
割するとともに、前記参照点をそれぞれ注視するときの
眼球の回転位置を基準点として求め、前記凸形多角形の
内部の参照点を注視するときの基準点を始点として他の
各基準点をそれぞれ通る各直線により眼球の回転位置を
前記各画面領域に対応付けた複数の眼球領域に分割し、
画像表示器の画面を見るときに検出した眼球の回転位置
が前記眼球領域のどれに属するかを判定した後に、その
眼球領域の境界線上の基準点と検出した眼球の回転位置
との位置関係を求め、検出した眼球の回転位置が属して
いる眼球領域に対応する画面領域の境界線上の参照点に
前記位置関係を適用して画面上の視点の位置を求めるこ
とを特徴とする視点算出方法。
【請求項２】各画面領域および各眼球領域の境界線と
なる各直線上にそれぞれ基準ベクトルを設定し、検出し
た眼球の回転位置をその回転位置が属している眼球領域
の境界線に設定した基準ベクトルの合成により表したと
きの成分を前記位置関係として用い、この眼球領域に対
応する画面領域の境界線上に設定した基準ベクトルに前
記成分を適用して求めた合成ベクトルを画面上の視点の
位置とすることを特徴とする請求項１記載の視点算出方
法。