JP6519099B2 - 視線検出方法、視線検出装置、眼鏡レンズ設計方法および眼鏡レンズ製造方法 - Google Patents

Description

本発明は、視線検出方法、視線検出装置、眼鏡レンズ設計方法および眼鏡レンズ製造方法に関する。

被験者の眼球の動きを測定して、視線を検出する視線検出装置が知られている（特許文献１参照）。このような視線検出装置では、被験者に、正確な位置が分かっている複数の指標を、頭部の位置と向きを動かさずに眼球だけを動かすようにして順に注視してもらい、このときの眼球の動きを測定してキャリブレーション（較正）を行うようになっている。

特表２００８−５２１０２７号公報

従来技術の視線検出装置において、広い視野角で視線を精度よく測定するためには、較正用の指標を、検出したい視野角と同程度の広い範囲に、十分に密に配置する必要がある。しかし、指標を配置できる広さには測定環境の部屋の広さなど空間的な制限があるため、指標を広い範囲に配置することには限界がある。また、多数の指標を並べることは作業性もよくない。したがって、従来技術では、広い視野角で視線を精度よく測定することが難しかった。

（１）請求項１に記載の発明による視線検出方法は、被験者の眼球の動きを測定し、前記眼球の動きと前記被験者が注視する注視点との関係を表す関係情報を用いて、前記眼球の動きの測定結果から前記注視点を検出する視線検出装置における視線検出方法であって、前記被験者が所定の指標を注視したまま頭部を動かして視線の方向を変化させた場合の前記被験者の眼球の動きを測定すると共に撮像手段により前記被験者の前方を撮像し、前記撮像手段の撮像画像上での前記指標の位置を検出し、前記眼球の動きの測定結果と前記指標の位置の検出結果とに基づいて前記関係情報を較正する較正工程と、前記被験者の眼球の動きを測定し、前記較正後の前記関係情報を用いて、前記眼球の動きの測定結果から前記撮像画像上での前記注視点を検出する視線検出工程と、を有する。
（２）請求項８に記載の発明による視線検出装置は、被験者の眼球の動きを測定し、前記眼球の動きと前記被験者が注視する注視点との関係を表す関係情報を用いて、前記眼球の動きの測定結果から前記注視点を検出する視線検出装置であって、前記被験者が所定の指標を注視したまま頭部を動かして視線の方向を変化させた場合の前記被験者の眼球の動きを測定すると共に撮像手段により前記被験者の前方を撮像し、前記撮像手段の撮像画像上での前記指標の位置を検出し、前記眼球の動きの測定結果と前記指標の位置の検出結果とに基づいて前記関係情報を較正する較正手段と、前記被験者の眼球の動きを測定し、前記較正後の前記関係情報を用いて、前記眼球の動きの測定結果から前記撮像画像上での前記注視点を検出する視線検出手段と、を備える。
（３）請求項９に記載の発明による眼鏡レンズ設計方法は、請求項８に記載の視線検出装置によって検出された視線情報を用いて眼鏡のレンズを設計する。
（４）請求項１０に記載の発明による眼鏡レンズ製造方法は、請求項８に記載の視線検出装置によって検出された視線情報を用いて眼鏡のレンズを製造する。

本発明によれば、簡単に広い視野角で視線を精度よく測定できる。

本発明の一実施の形態による視線検出装置の構成例を説明する図である。 較正用の測定の様子を上から見た図である。 較正用の測定の様子を横から見た図である。 較正用の指標の軌跡の一例を説明する図である。 較正処理に使用するデータの抽出例を説明する図である。 注視点を算出する方法を説明する図である。 注視点を算出する方法を説明する図である。 注視点を算出する方法を説明する図である。 眼鏡レンズの設計手順を説明するフローチャートである。 眼鏡レンズの製造販売手順を説明するフローチャートである。 眼鏡レンズの選択手順を説明するフローチャートである。 変形例３において注視点を算出する方法を説明する図である。 変形例５における較正用の測定の方法を説明する図である。 変形例５における指標を説明する図である。

以下、図面を参照して、本発明による一実施の形態について説明する。図１は、本発明の一実施の形態による視線検出装置１の構成を説明する図である。図１において視線検出装置１は、眼鏡２を装用した被験者３の視線を検出する。

視線検出装置１は、前方視野用カメラ１０、眼球用カメラ１１、赤外ＬＥＤ１２、ダイクロイックミラー１３、ヘッドバンド１４、画像記録装置１５、パーソナルコンピュータ（以下、ＰＣと記載する）１６、画像処理装置１７、較正演算装置１８、モニター１９、プリンタ２０および不図示のＰＣ用入力装置を含む。図１において画像記録装置１５はＰＣ１６と接続されているが、画像記録装置１５をＰＣ１６から切り離して被験者３が携帯して持ち歩くことも可能である。また、画像処理装置１７および較正演算装置１８は、ＰＣＩボードとしてＰＣ１６のスロットに装着されている。

ヘッドバンド１４には、前方視野用カメラ１０、眼球用カメラ１１、赤外ＬＥＤ１２、およびダイクロイックミラー１３が取り付けられている。眼鏡２を装用した被験者３の頭部にヘッドバンド１４を装着すると、ダイクロイックミラー１３が眼鏡２の前方に配置され、前方視野用カメラ１０、眼球用カメラ１１および赤外ＬＥＤ１２が眼鏡２の上方に配置される。

ダイクロイックミラー１３は、赤外光を反射し、可視光を透過する。ゆえに被験者３は、ヘッドバンド１４を装着した状態であっても、眼鏡２およびダイクロイックミラー１３を通して前方の視界を自由に見ることができる。

被験者３がヘッドバンド１４を頭部に装着して固定した状態において、前方視野用カメラ１０は、被験者３の前方の視野と略同じ方向または若干下の方向を向いて固定され、被験者３の前方の水平画角約９０度の視野の動画像を撮影する。前方視野用カメラ１０により撮影された動画像は、画像記録装置１５に記録される。

赤外ＬＥＤ１２から照射された赤外光は、ダイクロイックミラー１３で反射されて被験者３の眼球を照明する。眼球用カメラ１１は、ダイクロイックミラー１３を介して上記眼球の瞳孔にピントを合わせた状態で、上記赤外光で照明された眼球の動画像を撮影する。眼球用カメラ１１により撮影された動画像は、画像記録装置１５に記録される。なお、眼球用カメラ１１は、左目および右目のそれぞれに対して設けられ、左目の動画像および右目の動画像を別々に撮影する。そして、左目の動画像と右目の動画像とが別々に画像記録装置１５に記録される。

画像記録装置１５に一旦記録された前方視野用カメラ１０および眼球用カメラ１１の撮影画像は、再生されて画像処理装置１７に出力される。画像処理装置１７は、画像記録装置１５から入力された眼球用カメラ１１の撮影画像に対して演算処理を行い、左目および右目のそれぞれについて、眼球用カメラ１１の撮影画像における瞳孔中心の座標や角膜の表面で反射した赤外ＬＥＤ１２の虚像（以下、プルキンエ像と記載する）の中心座標などを眼球運動データとして時系列で出力する。

較正演算装置１８は、画像処理装置１７から出力された眼球運動データに対して演算処理を行い、前方視野用カメラ１０の撮影画像において、被験者３が注視している点（以下、注視点と記載する）の座標を注視位置データとして出力する。

ＰＣ１６は、画像処理装置１７から出力された前方視野用カメラ１０および眼球用カメラ１１の撮影画像と眼球運動データ、較正演算装置１８から出力された注視位置データなどを全て取り込むことができる。

そして、ＰＣ１６は、取り込んだ眼球運動データや注視位置データなどを、モニター１９に表示したり、不図示のＨＤ（ハードディスク）などの記録媒体に記録したり、プリンタ２０に出力したりすることができる。

またＰＣ１６は、前方視野用カメラ１０の撮影画像上に注視点の位置を示すマークを重ねた画像や、注視点の累積頻度マップなどを、モニター１９に表示したり、不図示のＨＤなどの記録媒体に記録したり、プリンタ２０に出力したりすることができる。

プリンタ２０は、ＰＣ１６から入力された各種データや画像を紙面に印刷する。

なお、上述では、眼球用カメラ１１の撮影画像は画像記録装置１５に一旦記録され、これを再生して画像処理装置１７に送られると説明したが、画像記録装置１５に記録するのと同時に画像処理装置１７に送られるようにしてもよい。こうすることにより、視線の測定と同時に注視点を求めることも可能である。

−較正方法−
次に、視線検出装置１において、眼球運動データから注視点を算出するための換算式を較正する方法について説明する。なお、本説明において、「換算式を較正する」とは、被験者ごと、望ましくは視線検出の測定ごとにおいて、個別に換算式を補正することである。視線検出装置１では、実際に視線検出（すなわち注視点の測定）を行う前に、較正演算装置１８が、眼球運動データから注視点を算出するための換算式を、予め較正して記録しておく。そして較正演算装置１８は、実際に視線検出を行う際に、当該較正した換算式を用いて、眼球運動データから注視点を算出するようになっている。

上記換算式の較正の際には、まず、較正用の測定を行う。図２および図３は、この較正用の測定の様子を説明する図であり、図２は被験者を上から見た図、図３は被験者を横から見た図である。なお、図２および図３では、簡略化のため、視線検出装置１の記載を省略している。図２および図３に示すように、測定室の壁３１には、較正用の指標３２が１つのみ設置される。較正用の指標３２としては、例えば、白地に黒塗りの半径３ｃｍ程度の円を中心線付きで印刷したものや、近赤外ＬＥＤを中心に組み込んだ指標板など、１点を注視しやすく、且つ前方視野用カメラ１０の撮影画像から画像処理でその位置座標を抽出するのが容易であるものを用いるのが望ましい。例えば、近赤外ＬＥＤを指標の中心に組み込んだ指標板では、被験者に眩しさを感じさせることなく、前方視野用カメラ１０により指標板を明るく撮影することができ、画像処理を行いやすくすることができる。

較正用の測定の際、被験者は、指標３２から一定の距離に位置し、指標３２を注視する。そして被験者は、指標３２を注視したまま、頭部３３を動かして、被験者の頭部３３の向く方向を水平方向に連続的に少しずつ変化させる。たとえば、図２（ａ）〜（ｃ）に示すように、被験者は、指標３２を注視したまま、頭部３３の鼻が向く方向を、指標３２へ向かう方向に対して、斜め左方向（矢印３４）から平行な方向（矢印３５）をとおり斜め右方向（矢印３６）まで変化させる。これにより、被験者の視線の方向は、頭部３３の鼻が向く方向に対して、斜め右方向（矢印３７）から平行な方向（矢印３８）を通り斜め左方向（矢印３９）まで変化する。このように、被験者が指標３２を注視したまま、頭部３３の向く方向を水平方向に変化させることで、頭部３３の向く方向に対する相対的な視線の方向が水平方向に変化する。

次に、被験者は、指標３２を注視したまま、頭部３３を動かして、被験者の頭部３３の向く方向を上下方向に連続的に少しずつ変化させる。たとえば、図３（ａ）〜（ｃ）に示すように、被験者は、指標３２を注視したまま、頭部３３の鼻が向く方向を、指標３２へ向かう方向に対して、斜め下方向（矢印４０）から平行な方向（矢印４１）をとおり斜め上方向（矢印４２）まで変化させる。これにより、被験者の視線の方向は、頭部３３の鼻が向く方向に対して、斜め上方向（矢印４３）から平行な方向（矢印４４）を通り斜め下方向（矢印４５）まで変化する。このように、被験者が指標３２を注視したまま、頭部３３の向く方向を上下方向に変化させることで、頭部３３の向く方向に対する相対的な視線の方向が上下方向に変化する。

被験者は、この指標３２を注視したまま、頭部３３の向く方向を、水平方向に変化させる動きと、上下方向に変化させる動きとを、交互に繰り返し行う。このとき、被験者は、視線の方向が、測定する視野角を包括するようできるだけ広い角度範囲で上下左右に分布し、且つ指標３２への視線が眼鏡レンズの外側に出たり、眼鏡のフレームや被験者の鼻などで遮られたりしないように、頭部３３を動かす。

このように被験者が指標３２を注視したまま頭部３３を動かして視線の方向を変化させている間、前方視野用カメラ１０および眼球用カメラ１１は動画像を撮影し続け、画像記録装置１５は、これらの動画像を記録し続ける。

また、この較正用の測定は、被験者と指標３２との距離を変えて、たとえば２回行われる。たとえば、１回目の測定（以下、第１の較正用の測定と記載する）では、被験者と指標３２との距離を比較的長くし（すなわち指標３２から被験者が遠く離れる）、２回目の測定（以下、第２の較正用の測定と記載する）では、被験者と指標３２との距離を、第１の較正用の測定の際よりも短くする（すなわち指標３２に被験者が近づく）。なお、第１および第２の較正用の測定の際における被験者と指標３２との距離は、上記換算式の較正後に行う実際の視線検出において測定したい距離を考慮して設定することが望ましい。しかし、これに限らず、指標３２が被験者から見える距離であり、且つ、前方視野用カメラ１０の撮影画像にその位置を検出できる程度に明瞭に映る距離であればよい。

次に、視線検出装置１は、較正用の測定データを抽出する処理を行う。画像処理装置１７は、上記較正用の測定で記録された前方視野用カメラ１０による全ての撮影画像（すなわち上記較正用の測定中に前方視野用カメラ１０で撮影された動画像の全ての画像フレーム）から、較正用の指標３２の座標を抽出する。また、画像処理装置１７は、上記較正用の測定で記録された眼球用カメラ１１による全ての撮影画像（すなわち上記較正用の測定中に眼球用カメラ１１で撮影された動画像の全ての画像フレーム）から、瞳孔中心とプルキンエ像の中心座標などの眼球運動データを抽出する。指標３２と瞳孔中心およびプルキンエ像の中心座標とはそれぞれの撮影画像中にただ１つしか存在しないので、これらを自動的に抽出することは容易である。特に、指標３２は壁３１に固定されているために、前方視野用カメラ１０の撮影画像において指標３２とその周囲の画像はその形状がほとんど変わらないので、指標３２の抽出は容易である。

図４は、このときの前方視野用カメラ１０の撮影画像から抽出された、較正用の指標３２の軌跡５０の一例を説明する図である。軌跡５０は点５１から始まり、点５２まで一筆書きのように続いている。図４において、点線５３で囲まれた領域は、たとえば、視線検出装置１で視線を検出したい領域に対応する。点線５４で囲まれた領域は、視線検出装置１で視線を正確に検出することができる領域に対応し、点線５４の外側の領域は、視線検出装置１で視線を正確に検出することができない領域に対応する。ここで視線検出装置１で視線を正確に検出することができない領域とは、視線が眼鏡レンズの外側に出たり、眼鏡のフレームや被験者の鼻などで遮られたりする領域である。上記較正用の測定の際、被験者は、自ら頭部３３を動かしながら、視線が正確に検出される領域、すなわち、視線が眼鏡レンズの外側に出たり、眼鏡のフレームや被験者の鼻などで遮られたりしない領域にあることを自分で確認しながら、その範囲でできるだけ広い範囲で視線を動かすことができる。そのため、指標３２の軌跡５０は、ほぼ点線５４で囲まれた領域の中で、点線５３で囲まれた領域を効率よく包括させることができる。

次に、視線検出装置１は、上記抽出された較正用の測定データの中から、所定の条件を満たす測定データを抽出し、実際の較正処理に使用する測定データとして設定する。図５は、前方視野用カメラ１０から抽出された指標３２の軌跡５０の中から、較正処理に使用する測定データとして抽出された指標の座標の一例を点で表した図である。ここで、所定の条件を満たす測定データの抽出としては、たとえば、抽出される測定データ同士の測定時間が一定間隔になるように、または抽出される測定データ同士の前方視野における距離が一定間隔になるように測定データを抽出し、その中から、較正用の指標３２の座標と眼球運動データの両方が正しく抽出できている測定データだけを抽出する。正しく測定データを抽出できない場合とは、視線を正確に検出できる領域（点線５４で囲まれた領域）から外れている場合や、他には、たとえば、首の動きが早くて画像が乱れた場合、前方視野用カメラ１０において視野から指標３２が外れた場合や、睫毛や瞼などで瞳孔やプルキンエ像が遮られた場合、瞬目した場合、などである。たとえば、図５において、点５５は点線５４で囲まれた領域内に位置するので所定の条件を満たす測定データであり、点５６は点線５４で囲まれた領域外に位置するので所定の条件を満たさない測定データである。このように多くの正しい測定データを抽出するには、測定中において被験者が瞼をできるだけ大きく開けていることを心がけることが望ましい。なお、ここでは、抽出される測定データの数が所定の範囲内になるように、抽出される測定データ同士の測定時間の間隔や前方視野における距離の間隔を調節する。

なお、前方視野用カメラ１０に歪曲収差があると、指標３２の座標を正確に抽出できないので、較正の精度が低下してしまう。そのため、視線検出装置１では、前方視野用カメラ１０において歪曲収差が十分良く補正された撮影レンズを用いるか、または歪曲収差を打ち消すように前方視野用カメラ１０の撮影画像を補正するようになっている。

次に、視線検出装置１は、眼球運動データから注視点を算出するための換算式の係数を求める。この換算式としては、たとえば、次式（１）および（２）のような２変数の４次多項式を使用することができる。
X＝A₄₄x⁴y⁴＋A₄₃x⁴y³＋A₃₄x³y⁴＋ … ＋A₁₁xy＋A₀₁y＋A₁₀x＋A₀₀ …（１）
Y＝B₄₄x⁴y⁴＋B₄₃x⁴y³＋B₃₄x³y⁴＋ … ＋B₁₁xy＋B₀₁y＋B₁₀x＋B₀₀ …（２）

なお、式（１）と式（２）において、ＸとＹは、前方視野用カメラ１０の撮影画像中の注視点の座標であり、ｘとｙは、眼球用カメラ１１の撮影画像中の瞳孔中心とプルキンエ像の中心座標の差（すなわち眼球運動データ）である。較正演算装置１８は、上記較正処理に使用するデータとして設定した指標３２の座標および眼球運動データを用いて式（１）および（２）の係数を求める。すなわち、この眼球運動データから式（１）および式（２）によって算出される注視点の座標が、当該眼球運動データに対応する指標３２の座標と合致するように、たとえば最小二乗法を用いて式（１）および（２）の係数を求める。なお、式（１）および式（２）の係数は、第１の較正用の測定と第２の較正用の測定のそれぞれにおいて、右目と左目のそれぞれについて求める。すなわち、計８本の換算式を求める。なお、第１の較正用の測定により得られた換算式を第１の換算式と呼び、第２の較正用の測定により得られた換算式を第２の換算式と呼ぶ。

このようにして、視線検出装置１では、単一の指標３２を用いて較正用の測定を行い、この測定結果を用いて、眼球運動データから注視点を算出するための換算式を較正する。

−注視点の算出方法−
次に、実際の視線検出において、上記較正した換算式を用いて注視点を算出する方法を、図６〜図８を用いて説明する。較正用の測定の際、較正用の指標３２の位置は実際には移動しないが、被験者が頭部３３を動かしているので、被験者から見た相対的な較正用の指標３２の位置は変化する。図６の面Ｓａおよび面Ｓｂは、この較正用の測定の際、被験者から見て相対的に較正用の指標３２の位置が変化した面を示す。面Ｓａは第１の較正用の測定に対応し、面Ｓｂは第２の較正用の測定に対応する。第１の較正用の測定では、第２の較正用の測定よりも被験者と指標３２との距離が遠いので、面Ｓａは面Ｓｂよりも被験者からの距離が遠くなっている。また、被験者は、ほぼ首関節５６を中心として頭部３３を動かすので、面Ｓａと面Ｓｂはどちらも首関節５６を中心とした球面に近くなる。

ここで、被験者が物体Ｔを注視しているとする。このときに測定した眼球運動データから第１の換算式を用いて注視点を算出した場合には、被験者の物体Ｔに向かう視線が面Ｓａを通る点Ｔａを被験者が注視しているとみなされ、前方視野用カメラ１０から点Ｔａを通る直線の方向に注視対象の物体Ｔがあるとして、前方視野用カメラ１０の撮影画像上で仮の注視点が算出される。同様に、第２の換算式を用いて注視点を算出した場合には、被験者の物体Ｔに向かう視線が面Ｓｂを通る点Ｔｂを被験者が注視しているとみなされ、前方視野用カメラ１０から点Ｔｂを通る直線の方向に注視対象の物体Ｔがあるとして、前方視野用カメラ１０の撮影画像上で仮の注視点が算出される。しかし、実際には、前方視野用カメラ１０の撮影画像には、前方視野用カメラ１０から物体Ｔを通る直線の方向に相当する視野の位置に物体Ｔが映る。

図７は、これら仮の注視点と実際の注視点である物体Ｔの位置関係を説明する図である。なお、図７では、右目に関する点には添え字Ｒを付し、左目に関する点には添え字Ｌを付している。図７に示す面ＳＩ'は、前方視野用カメラ１０の撮影画像ＳＩ（図８）上における点の位置関係を表す面である。実際の撮影画像ＳＩは面ＳＩ'と相似である。第１の換算式により得られた撮影画像ＳＩ上の右目の仮の注視点ＩａＲ、左目の仮の注視点ＩａＬにそれぞれ対応する面ＳＩ'上での位置を、点Ｉ'ａＲ、点Ｉ'ａＬとする。第２の換算式により得られた撮影画像ＳＩ上の右目の仮の注視点ＩｂＲ、左目の仮の注視点ＩｂＬにそれぞれ対応する面ＳＩ'上での位置を、点Ｉ'ｂＲ、点Ｉ'ｂＬとする。また、右目から物体Ｔへ向かう視線が面Ｓａを通る位置を点ＴａＲとし、左目から物体Ｔへ向かう視線が面Ｓａを通る位置を点ＴａＬとする。右目から物体Ｔへ向かう視線が面Ｓｂを通る位置を点ＴｂＲとし、左目から物体Ｔへ向かう視線が面Ｓｂを通る位置を点ＴｂＬとする。

図７において、点Ｉ'ａＲは、前方視野用カメラ１０から点ＴａＲを通る直線と面ＳＩ'の交点であり、点Ｉ'ａＬは、前方視野用カメラ１０から点ＴａＬを通る直線と面ＳＩ'の交点である。点Ｉ'ｂＲは、前方視野用カメラ１０から点ＴｂＲを通る直線と面ＳＩ'の交点であり、点Ｉ'ｂＬは、前方視野用カメラ１０から点ＴｂＬを通る直線と面ＳＩ'の交点である。図７に示すように、前方視野用カメラ１０から物体Ｔを通る直線と面ＳＩ'の交点Ｉ'Ｔは、点Ｉ'ａＲおよび点Ｉ'ｂＲを通る直線と、点Ｉ'ａＬおよび点Ｉ'ｂＬを通る直線との交点と一致している。すなわち、図８に示すように、前方視野用カメラ１０の撮影画像ＳＩ上において、右目についての仮の注視点ＩａＲおよびＩｂＲを通る直線と、左目についての仮の注視点ＩａＬおよびＩｂＬを通る直線との交点が、撮影画像ＳＩ上で物体Ｔが映る位置、つまり注視点ＩＴの位置となる。なお、物体Ｔの位置が面Ｓａと面Ｓｂの間ではなくても、同じように、右目についての仮の注視点ＩａＲおよびＩｂＲを通る直線と、左目についての仮の注視点ＩａＬおよびＩｂＬを通る直線との交点が、注視点ＩＴの位置となる。

したがって、較正演算装置１８は、注視点を算出する際、眼球運動データから第１の換算式および第２の換算式を用いて、仮の注視点ＩａＲ、ＩａＬ、ＩｂＲ、およびＩｂＬをそれぞれ算出する。そして、較正演算装置１８は、右目についての仮の注視点ＩａＲおよびＩｂＲを通る直線と、左目についての仮の注視点ＩａＬおよび点ＩｂＬを通る直線との交点を、注視点ＩＴとして算出する。これにより、被験者の視線と前方視野用カメラ１０との視差が補正された注視点ＩＴを算出することができる。

また、視線検出装置１では、上述したように、視線を検出する視野を包括するよう広い範囲で視線の方向を変化させながら第１の較正用の測定と第２の較正用の測定を行って換算式を較正しているので、視線がどの方向を向いていても、高い精度で注視点を検出することができる。したがって、視線検出装置１は、広い視野角で精度よく注視点を測定することができる。

なお、上述した第１および第２の較正用の測定では、被験者が指標３２を注視しながら頭部３３を連続的に少しずつ動かすようにしたが、頭部３３を断続的に動かすようにしてもよい。この場合、被験者は指標３２を注視したまま頭部３３をある程度動かした後、一旦、動きを止めて１〜２秒ほど指標３２を注視し続け、そしてまた指標３２を注視したまま頭部３３を動かす、という動作を繰り返す。そして、視線検出装置１では、較正処理に使用する測定データを所定の条件を満たすように抽出するときに、頭部３３の動きを止めて注視していたときの測定データを使うようにする。この場合、視線検出装置１は、画像処理装置１７によって抽出された較正用の測定データの中から実際の較正処理に使用する測定データを抽出するときに、眼球運動データが一定時間の間だけ停滞していることを条件にして抽出する。こうすることで、被験者は、較正用の測定の際に意図して較正処理に使用される測定データを選定することができる。または頭部３３の動きを一旦止めているときに、被験者本人が電気的なスイッチを押すなどで制御装置に信号を送り、較正処理に使用する測定データを決定しながら、較正のための測定を行ってもよい。

この方法によれば、被験者にしか判別できない特定の視野の領域での視線検出の精度を高めるために、特定の視野の領域において重点的に較正処理に使う測定データの数を増やしたりすることができる。たとえば、被験者が累進眼鏡レンズを装用している際には、累進眼鏡レンズの特徴として、レンズの領域によっては視野の歪が大きくなることがあるのだが、そのような領域では視線検出の精度が低くなりやすい。しかしそのような場合でも、この方法では、較正用の測定をする際に、被験者自身が、視野の歪を大きく感じる領域ほど、重点的に較正用の測定データの数が増えるように較正用の測定を行うことができるので、歪の大きな領域ほど較正用の測定データの分布を密にすることになり、累進眼鏡レンズを装用することによる、視線検出の精度の低下を防ぐことに有効である。

また、この方法によれば、眼鏡レンズに装用状態を較正するための印を付けて、その位置を視線が通っているという被験者にしか判別できない状態のデータを選択的に較正処理に使うようにすることもできる。たとえば、眼鏡レンズの設計上、眼鏡レンズの装用者が正立して正面遠方を注視したときに、視線が通るべき眼鏡レンズ上の位置に印を付ける。この印は、被験者の視線を完全には遮らず、且つ視線検出装置１が視線を検出するのに影響を及ぼさないように、小さな大きさで半透明な印などの特殊なものを用いる。この方法による較正用の測定の際に、被験者は視線がこの印を通るようにしながら、較正用の指標３２を注視することを１度は行うようにする。このときの較正用の測定データを眼鏡レンズの装用状態を較正する基準に用いることができる。

以上のように、較正用の測定の際、被験者自身が、視線の方向を変化させる領域内の眼球の動きを測定する測定点（測定データ）について、頭部を動かして視線を変化させる際に、上記換算式の較正処理に使用される測定点（較正用の測定データ）の分布領域と分布密度の両方またはそのどちらか一方を決定するようにしてもよい。

−累進眼鏡レンズの設計−
このように、上述した較正方法は被験者が眼鏡をかけているときに特に効果的であるため、視線検出装置１による注視点の測定結果は、新しい累進眼鏡レンズの設計に活用することができる。この場合、注視点に加え、眼鏡レンズ上を被験者の視線が透過する点（以下、透過点と記載する）を求めておくことが望ましい。透過点の算出方法としては、最も簡単には、以下の方法が挙げられる。まず、第１の較正用の測定での被験者と指標３２との距離と、第１の換算式で得られた前方視野用カメラ１０の撮影画像ＳＩ上の仮の右目の注視点および左目の注視点の座標とから、視線の方向を求める。そして、眼鏡レンズが処方どおりに装用されていると仮定した上で、この視線の方向に基づいて眼鏡レンズ上の視線の透過点を近似的に求めることができる。

図９は、新しい累進眼鏡レンズの設計の手順を説明するフローチャートである。ステップＳ１１において、被験者に基準となる眼鏡レンズを装用させた状態で特定の環境下に置き、このときの被験者の視線情報（注視点および透過点）を視線検出装置１により測定する。ここで、基準となる眼鏡レンズとは、新しい累進眼鏡レンズを設計する上で基準とする眼鏡レンズであり、例えば試作品などである。特定の環境下とは、新しい累進眼鏡レンズを装用するであろう環境のうちの一つであり、例えばＰＣを操作する環境などが挙げられる。視線検出装置１は、上述した較正方法で較正されているため、精度よく注視点および透過点を測定することができる。

ステップＳ１２において、上記ステップＳ１１で測定した視線情報を評価する。例えば、被験者がＰＣを操作している状態で、被験者の注視点がモニターに位置するときの透過点の分布を解析する。これにより、被験者がモニターを注視するときには眼鏡レンズ上のどの領域を使用しているか、モニターを注視するときには眼球からモニターまでの距離をどの程度にしているか、眼球からモニターまでの距離と透過点での加入度の関係、注視しているモニターに表示された文字の大きさと透過点の非点収差量の関係などを評価する。同様にして、キーボードやＰＣの操作中に使う資料などを注視しているときの視線情報の評価もそれぞれ行う。

ステップＳ１３において、ステップＳ１２での評価の結果に基づいて新しい累進眼鏡レンズの設計を行う。例えば、ＰＣの操作により適した新しい累進眼鏡レンズを設計するという課題があるとする。この場合に、ステップＳ１２での評価により、被験者はモニターに表示された文字を見るときには眼鏡レンズ上の領域のうち非点収差量が０．５Ｄ以下の領域のみを使うが、キーボードを見るときには非点収差量がより大きい１．５Ｄまでの領域も使うという結果が得られたとする。そこで、モニターまでの距離に対応する加入度の領域は非点収差量を０．５Ｄ以下に抑え、キーボードまでの距離に対応する加入度の領域は非点収差量を１．５Ｄまで許容する、という設計目標をたてて、新しい累進眼鏡レンズを設計することができる。

このように、上述した較正方法により較正された視線検出装置１によって得られた注視点および透過点を解析して、当該解析結果に基づいて眼鏡のレンズを設計することで、精度よく測定された注視点および透過点に基づいて眼鏡のレンズを設計することができる。

なお、以上説明した設計方法は一例であり、上述した設計方法に限らない。例えば、被験者の人数を増やしたり測定環境を増やしたりすることで、より汎用的な設計目標を立てて設計することもできる。

−累進眼鏡レンズの製造および販売−
次に、このように視線検出装置１の測定結果を用いて設計した新しい累進眼鏡レンズを製造して製品として販売するまでの手順を、図１０に示すフローチャートを用いて説明する。

図１０において、ステップＳ２１〜Ｓ２３における被験者の視線情報を測定して評価し、評価結果を用いて累進眼鏡レンズを設計する手順は、上述した図９のステップＳ１１〜Ｓ１３までの手順と同様であるため、説明を省略する。

そして、ステップＳ２４において、ステップＳ２３で設計した新しい累進眼鏡レンズを製造し、ステップＳ２５では被験者はステップＳ２４で製造した新しい累進眼鏡レンズを装用してステップＳ２１と同様に視線情報を再び測定し、ステップＳ２６において再び評価する。そしてステップＳ２７において新しい累進眼鏡レンズが製品として完成しているかどうかを、予め定めた目標性能と照らし合わせるなどして判定し、完成している場合はステップＳ２８に進み、完成していない場合はステップＳ２３に戻る。

この戻ったステップＳ２３では、ステップＳ２６で評価した結果を考慮して直前のステップＳ２３での設計を修正して再設計する。そして再度ステップＳ２４〜Ｓ２６を繰り返し、ステップＳ２７で再判定をする。このステップＳ２３〜Ｓ２７の手順を何度か繰り返して、新しい累進眼鏡レンズの完成度を高める。そして新しい累進眼鏡レンズの完成度が所定以上となると、ステップＳ２７を肯定判定してステップＳ２８に進み、新しい累進眼鏡レンズを製品として販売する。

このように、上述した較正方法により較正された視線検出装置１によって得られた注視点および透過点を解析して、当該解析結果に基づいて眼鏡のレンズを製造することで、精度よく測定された注視点および透過点に基づいて眼鏡のレンズを製造することができる。

−累進眼鏡レンズの選択−
また、視線検出装置１の測定結果は、特性の異なる複数の累進眼鏡レンズの中から被験者にとって最適な累進眼鏡レンズを選択する際にも活用することができる。図１１は、このような最適な累進眼鏡レンズを選択する手順を説明するフローチャートである。

ステップＳ３１において、選択肢とする累進眼鏡レンズを複数（例えば３つ）用意し、被験者に、それぞれの累進眼鏡レンズを装用させた状態で、それぞれの累進眼鏡レンズでの視線情報を視線検出装置１により測定する。この３つの累進眼鏡レンズとは、互いに特性が異なるレンズであり、例えば、１つは被験者が現在使用中の累進眼鏡レンズであり、他の２つは別の累進眼鏡レンズである。視線情報の測定は、上述した図９のステップＳ１１の測定と同様に行う。また、被験者が測定時に置かれる環境は、全ての測定で同じとする。

ステップＳ３２において、ステップＳ３１で測定した視線情報を評価する。例えば、上記３つの累進眼鏡レンズのうち、どの累進眼鏡レンズにおいて、最も透過点が広く分布しているかなどを評価する。被験者は、上記３つの累進眼鏡レンズでの測定結果を比較して評価することで、上記３つの累進眼鏡レンズを使用したときの適正を客観的に評価することができる。

ステップＳ３３において、ステップＳ３２での評価の結果に基づいて、上記３つの累進眼鏡レンズの中から１つの累進眼鏡レンズを選択する。例えば、仮に、最も広く累進眼鏡レンズの領域を使うことができる累進眼鏡レンズを最適とする場合には、上記３つの累進眼鏡レンズの中から、透過点が最も広く分布しているものを選択すればよい。

このように、上述した較正方法により較正された視線検出装置１によって得られた注視点および透過点を解析して、当該解析結果に基づいて眼鏡のレンズを選択することで、精度よく測定された注視点および透過点に基づいて眼鏡のレンズを選択することができる。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）視線検出装置１は、被験者が単一の指標３２を注視したまま頭部３３を動かして視線の方向を変化させている間に、被験者の眼球の動きを測定する。そして、視線検出装置１は、上記眼球の動きの測定結果に基づいて、眼球の動きと被験者の注視点との関係を表す換算式（式（１）、（２））を較正する。視線検出装置１は、任意の状況下において、上記較正後の換算式を用いて、被験者の眼球の動きの測定結果から注視点を検出する。このように、被験者が単一の指標３２を注視したまま頭部３３を動かして視線の方向を変化させるので、広い視野角で眼球の動きを測定することができる。また、単一の指標３２のみを設置すればよいので、作業も簡単であり、空間的な制限もない。したがって、簡単に広い視野角において上記換算式を較正することができ、簡単に広い視野角で視線を精度よく測定できる。また、従来技術のように複数の指標を用いる場合、空間的に離れた位置にある複数の指標を被検者が順に注視するときに、指標と指標の間の較正に使えない箇所を視線が経由する。そのため、被験者が確実に指標を注視しているときのデータだけを選別して使う必要があり、手間がかかる。これに対して、本実施形態では、単一の指標３２を注視したまま測定を行うので、較正に使えない箇所を視線が経由することがないため、このような手間がかからず、較正に使用するデータを自由に選択することができる。

（２）視線検出装置１では、被験者が単一の指標３２を注視したまま頭部３３を動かして視線の方向を変化させている間に被験者の眼球の動きを測定する測定動作を被験者と指標との距離を変えて２回行い（第１および第２の較正用の測定）、第１および第２の換算式を較正する。そして、視線検出装置１は、較正後の第１および第２の換算式を用いて算出した、右目についての２つの仮の注視点と左目についての２つの仮の注視点との位置関係に基づいて、注視点を検出する。これにより、被験者の視線と前方視野用カメラ１０の視差を補正して、注視点を精度よく検出することができる。なお、従来のように複数の指標を用いて較正用の測定を行う場合、被験者と指標との距離を変えて２回測定を行うことは、被験者に大きな負担となってしまう。これに対して、本実施形態のように単一の指標３２のみを用いて較正用の測定を行う場合には、１回の測定において被験者にかかる負担が小さいので、このように被験者と指標との距離を変えて２回測定を行うことも容易である。

（３）視線検出装置１では、較正用の測定の際、被験者が指標３２を注視したまま視線が眼鏡のレンズから外れないように頭部３３を動かして視線の方向を変化させる。従来技術のように複数の指標を用いる場合、被験者の視線が眼鏡レンズの領域から外れないように、予め視線が眼鏡レンズを通る領域（視野）を調べ、その領域内で指標を配置する必要があり手間がかかる。これに対して、本実施形態では、被験者自身が、視線が眼鏡のレンズから外れないように頭部３３を動かせばよいので、このような手間がかかることなく、被験者が眼鏡をかけている場合でも容易に測定を行うことができる。

（変形例１）
図６および図７において示した、被験者から見て相対的に較正用の指標３２が位置する面Ｓａと面Ｓｂは、球面でなくてもよい。較正に使用する領域で面Ｓａと面Ｓｂが互いに交差しないこと及び視線の方向に対して面ＳａとＳｂそれぞれでの視線が通る点が一意に決まることを満たせばよい。すなわち、較正用の測定のときに被験者が指標３２から一定の距離にいなくてもよい。なお、単純な形状の面である方が、換算式により撮影画面ＳＩ上の仮の注視点を求める際の誤差が生じにくいので、望ましい。

（変形例２）
較正用の指標３２は、壁に固定されていなくてもよい。たとえば、較正用の指標３２を被験者が手に持ち、手を視野の中で動かしながら頭部を動かすようにしてもよい。つまり、手で指標の空間的な位置を固定して頭部だけを動かすことで、手を視野の中で動かす。または、手を伸ばしたまま肩だけを動かしても良い。ただしその場合、前方視野用カメラ１０の撮影画像から指標３２の座標を抽出しやすいように、指標３２の形状や色などを工夫することが望ましい。

（変形例３）
上述した実施の形態では、第１および第２の較正用の測定を行う例について説明した。しかしながら、指標から被験者までの距離を変えながら、さらに第３の較正用の測定、第４の較正用の測定と、３回以上に較正用の測定の回数を増やすようにしてもよい。これにより、注視点の検出精度を高めることが出来る。たとえば４回較正用の測定をした場合、視線検出装置１では、図１２に示すように、第１〜第４の較正用の測定結果から、前方視野用カメラ１０の撮影画像ＳＩ上における右目の仮の注視点ＩａＲ、ＩｂＲ、ＩｃＲ、ＩｄＲと、左目の仮の注視点ＩａＬ、ＩｂＬ、ＩｃＬ、ＩｄＬとが得られる。この場合、較正演算装置１８は、４つの右目の仮の注視点ＩａＲ、ＩｂＲ、ＩｃＲ、ＩｄＲを線形近似することで右目についての１本の直線を得る。同様に、較正演算装置１８は、４つの左目の仮の注視点ＩａＬ、ＩｂＬ、ＩｃＬ、ＩｄＬを線形近似することで左目についての１本の直線を得る。そして、較正演算装置１８は、これら２本の直線の交点を求めることで、注視点ＩＴの位置を検出する。

（変形例４）
上述した実施の形態では、図１に示したように前方視野用カメラ１０を被験者３の頭部に装着する例について説明したが、これに限らなくてもよい。たとえば、前方視野用カメラ１０は、据置型であってもよく、常に被験者の前方を撮影するように、頭部の動きに合わせて撮影方向を変化させるものであればよい。

（変形例５）
較正用の測定を指標を変えて複数回行ってもよい。図１３は、較正用の測定を指標を変えて複数回行う場合について説明する図である。壁３１には、較正用の指標として、指標３２の他に指標６１と指標６２の３つが設置されている。指標６１は、指標３２よりも上方の位置に設置され、指標６２は、指標３２よりも下方の位置に設置されている。変形例５の場合、上述した実施の形態と同様に指標３２を使って１回目の較正用の測定を行った後、指標６１を使って同様に較正用の測定を行い、さらに指標６２を使って同様に較正用の測定を行う。このようにすることで、１回の測定ごとでは上述した実施の形態と同様の単一の指標を用いた測定であるため、上述した実施の形態と同様の効果を得ることができる。さらに、３つの指標３２，６１，６２は被験者の頭部３３からの距離がそれぞれ異なるので、上述した実施の形態のように被験者と指標との距離を変えた測定を行った場合と同様の方法で較正を行えばよい。これにより、上述した実施の形態と同様の効果（視差の補正）を得ることができる。さらに、指標の高さを変えて測定する場合には、高さごとに見やすい視線の方向で測定を密に行うこともできるので、被験者の疲労を緩和することができる。さらに、検出したい視野角と同程度の広い範囲に多数の指標を並べる必要はなく、指標の数も比較的少数でよいので、作業も簡単である。

指標を変えて複数回の測定を行う場合には、各指標に特徴を持たせ、前方視野用カメラ１０の撮影画像から指標の位置を抽出する画像処理において、各指標を識別できるようにすることが望ましい。たとえば指標として可視光のＬＥＤを用いて、測定ごとに使用している指標のＬＥＤだけを点灯させるようにしてもよい。印刷した指標板を使う場合には、たとえば、図１４（ａ）〜（ｃ）に示すように、指標ごとにそれぞれ異なる２次元バーコード７１に対して中心を表す十字線７２を重ねた指標板７０などを用いると、画像処理での識別が容易である。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。

１…視線検出装置、２…眼鏡、３…被験者、１０…前方視野用カメラ、１１…眼球用カメラ、１２…赤外ＬＥＤ、１３…ダイクロイックミラー、１４…ヘッドバンド、１６…ＰＣ、１７…画像処理装置、１８…較正演算装置、１９…モニター、２０…プリンタ、３２…指標

Claims (11)

1. 被験者の眼球の動きを測定し、前記眼球の動きと前記被験者が注視する注視点との関係を表す関係情報を用いて、前記眼球の動きの測定結果から前記注視点を検出する視線検出装置における視線検出方法であって、
   前記被験者が所定の指標を注視したまま頭部を動かして視線の方向を変化させた場合の前記被験者の眼球の動きを測定すると共に撮像手段により前記被験者の前方を撮像し、前記撮像手段の撮像画像上での前記指標の位置を検出し、前記眼球の動きの測定結果と前記指標の位置の検出結果とに基づいて前記関係情報を較正する較正工程と、
   前記被験者の眼球の動きを測定し、前記較正後の前記関係情報を用いて、前記眼球の動きの測定結果から前記撮像画像上での前記注視点を検出する視線検出工程と、
   を有する視線検出方法。
2. 請求項１に記載の視線検出方法において、
   前記較正工程では、前記被験者が、視線の方向を変化させる領域内の前記眼球の動きを測定する測定点について、前記頭部を動かして視線を変化させる際に、前記関係情報の較正に使用される前記測定点の分布領域と分布密度の両方またはそのどちらか一方を決定する視線検出方法。
3. 請求項１または２に記載の視線検出方法において、
   前記較正工程では、前記被験者が前記指標を注視したまま頭部を動かすことで視線の方向を変化させた場合の前記眼球の動きを測定する測定動作を、前記被験者と前記指標との距離を変えて複数回行い、各距離において前記関係情報を較正し、
   前記視線検出工程では、前記各距離において較正された前記関係情報を用いて前記注視点を検出する視線検出方法。
4. 請求項３に記載の視線検出方法において、
   前記較正工程では、前記測定動作において前記眼球の動きを右目と左目のそれぞれについて測定し、右目と左目のそれぞれについて前記各距離における前記関係情報を較正し、
   前記視線検出工程では、右目と左目のそれぞれについて、前記各距離における前記関係情報を用いて前記各距離に対応する仮の注視点を検出し、右目についての前記仮の注視点と左目についての前記仮の注視点との位置関係に基づいて前記注視点を検出する視線検出方法。
5. 請求項４に記載の視線検出方法において、
   前記視線検出工程では、右目についての前記仮の注視点を結んだ直線と左目についての前記仮の注視点を結んだ直線との交点を、前記注視点として検出する視線検出方法。
6. 請求項１に記載の視線検出方法において、
   前記撮像手段は歪曲収差が補正されたレンズを備えている、または前記撮像手段の撮像画像の歪曲収差が補正されている視線検出方法。
7. 請求項１〜６のいずれか一項に記載の視線検出方法において、
   前記較正工程では、眼鏡を装用した前記被験者が前記指標を注視したまま視線が前記眼鏡のレンズから外れないように頭部を動かして視線の方向を変化させる視線検出方法。
8. 被験者の眼球の動きを測定し、前記眼球の動きと前記被験者が注視する注視点との関係を表す関係情報を用いて、前記眼球の動きの測定結果から前記注視点を検出する視線検出装置であって、
   前記被験者が所定の指標を注視したまま頭部を動かして視線の方向を変化させた場合の前記被験者の眼球の動きを測定すると共に撮像手段により前記被験者の前方を撮像し、前記撮像手段の撮像画像上での前記指標の位置を検出し、前記眼球の動きの測定結果と前記指標の位置の検出結果とに基づいて前記関係情報を較正する較正手段と、
   前記被験者の眼球の動きを測定し、前記較正後の前記関係情報を用いて、前記眼球の動きの測定結果から前記撮像画像上での前記注視点を検出する視線検出手段と、
   を備える視線検出装置。
9. 請求項８に記載の視線検出装置によって検出された視線情報を用いて眼鏡のレンズを設計する眼鏡レンズ設計方法。
10. 請求項８に記載の視線検出装置によって検出された視線情報を用いて眼鏡のレンズを製造する眼鏡レンズ製造方法。
11. 請求項１〜７のいずれか一項に記載の視線検出方法において、
    前記較正工程では、前記被験者が前記指標を注視したまま頭部を動かすことで視線の方
    向を変化させた場合の前記眼球の動きを測定する測定動作を、前記被験者との距離がそれ
    ぞれ異なる複数の指標の中で使用する指標を変えて複数回行い、各距離において前記関係
    情報を較正し、
    前記視線検出工程では、前記各距離において較正された前記関係情報を用いて前記注視
    点を検出する視線検出方法。
    

Images