JP4376685B2

JP4376685B2 - 視線検出装置

Info

Publication number: JP4376685B2
Application number: JP2004121794A
Authority: JP
Inventors: 亮人木俣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-04-16
Filing date: 2004-04-16
Publication date: 2009-12-02
Anticipated expiration: 2024-04-16
Also published as: JP2005304544A

Description

本発明は、視線検出装置に関する。

従来、例えば赤外線の点光源から眼球に赤外線を照射し、赤外線領域にて撮影可能なカメラによる撮影画像から瞳孔中心および角膜表面における反射像（プルキニエ像）を検出し、瞳孔中心とプルキニエ像との相対位置に基づき視線を検出する際に、複数の検出結果に対する統計的な処理により瞳孔を検出する装置が知られている（例えば、特許文献１参照）。
特開平１０−９９２７９号公報

ところで、上記従来技術においては、単に右眼または左眼に対して独立に瞳孔中心およびプルキニエ像を検出するだけであるから、例えば右眼または左眼の撮影画像に局所的な画像劣化や外乱等が生じた場合には、検出精度が低下してしまうという問題が生じる。
また、右眼または左眼毎に独立して瞳孔中心およびプルキニエ像を検出するだけでは、各検出結果の信頼性を判定することができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、検出精度および検出結果の信頼性を向上させることが可能な視線検出装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、検出対象者の左右の眼球に赤外線を照射する赤外線照射手段（例えば、実施の形態での赤外線ＬＥＤ２３）と、検出対象者の左右の眼球を赤外線領域にて撮影する赤外線撮影手段（例えば、実施の形態での赤外線カメラ２２）と、前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、左眼および右眼に対して、角膜表面における赤外線の反射像を検出するプルキニエ像検出手段（例えば、実施の形態でのプルキニエ像検出部３５）と、前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、左眼および右眼に対して、虹彩を検出する虹彩検出手段（例えば、実施の形態での虹彩候補検出部３４）と、左眼および右眼に対して、前記プルキニエ像検出手段にて検出される前記反射像と前記虹彩検出手段にて検出される前記虹彩との相対位置状態を検出する位置状態検出手段（例えば、実施の形態でのベクトル算出部３６）と、前記位置状態検出手段にて検出される左眼の前記相対位置状態と右眼の前記相対位置状態とに基づき、検出対象者の視線を検出する視線検出手段（例えば、実施の形態での視線算出部３８）と、前記位置状態検出手段にて検出される左眼の複数の各前記相対位置状態と、前記位置状態検出手段にて検出される右眼の複数の各前記相対位置状態との間の相似性を判定する相似性判定手段（例えば、実施の形態での相似性判定部３７）とを備え、前記位置状態検出手段は、前記相似性判定手段の判定結果において最も相似性が高いと判定された左眼および右眼の各相対位置状態に対応する前記反射像および前記虹彩に基づき検出対象者の視線を検出することを特徴としている。

上記構成の視線検出装置によれば、左眼での反射像と虹彩との相対位置状態と、右眼での反射像と虹彩との相対位置状態とに基づき、検出対象者の視線を検出することから、視線の検出精度および検出結果に対する信頼性を向上させることができる。

上記構成の視線検出装置によれば、最も相似性が高いと判定された左眼および右眼の各反射像と虹彩との相対位置状態に対応する反射像および虹彩に基づき検出対象者の視線を検出することから、視線の検出精度および検出結果に対する信頼性を向上させることができる。

さらに、請求項２に記載の本発明の視線検出装置では、前記相似性判定手段は、前記反射像の中心位置と前記虹彩の中心位置との間のベクトル（例えば、実施の形態での左眼ベクトルν_ｌｐｑ、右眼ベクトルν_ｒｉｊ）の大きさおよび方向に基づき前記相似性を判定することを特徴としている。

上記構成の視線検出装置によれば、左眼および右眼の各ベクトルの大きさおよび方向が最も類似する場合に、左眼および右眼の各反射像と虹彩との相対位置状態の相似性が最も高いと判定することができ、判定処理が複雑化することを抑制しつつ、視線の検出精度および検出結果に対する信頼性を向上させることができる。

本発明の視線検出装置によれば、左眼での反射像と虹彩との相対位置状態と、右眼での反射像と虹彩との相対位置状態とに基づき、検出対象者の視線を検出することから、視線の検出精度および検出結果に対する信頼性を向上させることができる。

以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された検出制御装置１１と、視線センサ１２とを備えて構成されている。

視線センサ１２は、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えばＣＣＤカメラやＣ−ＭＯＳカメラ等の赤外線領域にて撮影可能な赤外線カメラ２２と、運転者の眼球に向けて互いに異なる方向から赤外線を照射する複数の赤外線発光ダイオード（赤外線ＬＥＤ）２３と、赤外線画像処理部２４とを備えて構成されている。
赤外線カメラ２２は、検出制御装置１１の制御により赤外線ＬＥＤ２３から運転者の眼球に向けて照射された赤外線の反射を撮影する。
赤外線画像処理部２４は、赤外線カメラ２２により撮影して得た赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置１１へ出力する。

検出制御装置１１は、赤外線ＬＥＤ２３の発光状態を制御する発光制御部３２と、視線センサ１２から赤外線画像の画像データが入力される右眼・左眼抽出部３３と、虹彩候補検出部３４と、プルキニエ像検出部３５と、ベクトル算出部３６と、相似性判定部３７と、視線算出部３８とを備えて構成されている。

右眼・左眼抽出部３３は、視線センサ１２から入力される赤外線画像の画像データに対して、例えば右眼および左眼を検知対象物とした特徴量算出および形状判別等の認識処理を行い、右眼および左眼の各画像データを抽出し、虹彩候補検出部３４およびプルキニエ像検出部３５へ出力する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。

虹彩候補検出部３４は、右眼・左眼抽出部３３にて抽出した右眼および左眼の各画像データに対して、先ず、例えば図３から図５に示すように、眼球および眼球近傍の適宜の位置を中心４０ａとした適宜の半径の円内を走査領域４０として、この走査領域４０内の各画素の輝度値に基づき、径方向に沿った平均輝度の変化を検出する。そして、この平均輝度の径方向に沿った変化から平均輝度の最大値を検出し、検出した最大値を、この走査領域４０の中心４０ａの位置座標における輝度スコアとして設定する。そして、例えば図６に示すような、右眼および左眼の各画像データ内における輝度スコアの位置分布に基づき、虹彩候補４１の虹彩中心４１ａおよび虹彩半径を検出する。

あるいは、虹彩候補検出部３４は、例えば図３から図５に示すように、平均輝度の径方向に沿った変化から、平均輝度の変化率（つまり、半径に関する平均輝度の微分）の径方向に沿った変化を算出し、この平均輝度の変化率の径方向に沿った変化に基づき、虹彩候補の虹彩中心および虹彩半径を検出する。例えば図３に示すように走査領域４０内に眼球４２が存在しない場合には、平均輝度および平均輝度の変化率の径方向に沿った変化がゼロあるいは相対的に小さくなる。また、例えば図４に示すように走査領域４０の中心４０ａが強膜４３上に位置し、走査領域４０内に強膜４３および虹彩４４が存在する場合には、強膜４３から虹彩４４へと向かうことに伴い平均輝度が低下し、強膜４３と虹彩４４との境界位置において平均輝度の変化率が極小となる。また、例えば図５に示すように走査領域４０内に虹彩４４が存在し、走査領域４０の中心４０ａが瞳孔４５上に位置する場合には、瞳孔４５において平均輝度が相対的に低下した状態から、虹彩４４において平均輝度が増大し、瞳孔４５と虹彩４４との境界位置において平均輝度の変化率が極大となる。
そして、虹彩候補検出部３４は、検出した右眼および左眼の各虹彩候補４１，…，４１の各虹彩中心４１ａ，…，４１ａの位置座標をベクトル算出部３６へ出力する。

プルキニエ像検出部３５は、右眼・左眼抽出部３３にて抽出した右眼および左眼の各画像データに対して、角膜表面における赤外線の反射像であるプルキニエ像４６の中心位置４６ａを検出し、検出した右眼および左眼の各プルキニエ像４６，…，４６の中心位置４６ａ，…，４６ａの位置座標をベクトル算出部３６へ出力する。
プルキニエ像検出部３５は、右眼および左眼の各画像データに対して、適宜の走査領域内の各画素の輝度値に基づき、例えば図７（ａ）に示すように適宜の走査線Ｌ上における輝度の位置分布を検出し、例えば図７（ｂ）に示すように、輝度が相対的に高い位置をプルキニエ像４６の中心位置４６ａとして設定する。

ベクトル算出部３６は、例えば、図８に示すように、虹彩候補検出部３４にて検出した右眼および左眼の各虹彩候補４１，…，４１の虹彩中心４１ａ，…，４１ａの位置座標と、プルキニエ像検出部３５にて検出した右眼および左眼の各プルキニエ像４６，…，４６の中心位置４６ａ，…，４６ａの位置座標とに基づき、各右眼および左眼毎に、例えば下記数式（１）および数式（２）に示すように、各虹彩候補４１の虹彩中心４１ａから各プルキニエ像４６の中心位置４６ａへと向かう各複数の右眼ベクトルν_ｒｉｊおよび左眼ベクトルν_ｌｐｑを算出する。なお、各係数ｉ，ｊ，ｐ，ｑは、１≦ｉ≦ｍ、１≦ｊ≦ｎ、１≦ｐ≦ｍ、１≦ｑ≦ｎを満たす自然数であって、自然数ｎは各右眼および左眼毎に検出された虹彩候補４１の個数であり、自然数ｍは各右眼および左眼毎に検出されたプルキニエ像４６の個数である。

相似性判定部３７は、ベクトル算出部３６にて算出された各複数の右眼ベクトルν_ｒｉｊおよび左眼ベクトルν_ｌｐｑに対して、右眼および左眼の各眼球の位置状態の相似性を判定する。
例えば、相似性判定部３７は、下記数式（３）にて記述される関数ｆ（θ）_ｉｊｐｑが最大、つまり右眼ベクトルν_ｒｉｊおよび左眼ベクトルν_ｌｐｑの大きさおよび方向が最も同等に近くなる場合の各係数ｉ，ｊ，ｐ，ｑを抽出する。
なお、例えば図９に示すように、下記数式（３）において右眼ベクトルν_ｒｉｊと左眼ベクトルν_ｌｐｑとのなす角をθとした。

例えば図１０（ａ）に示すように、右眼および左眼の各虹彩４４，４４および各プルキニエ像４６，４６の位置状態の相似性が相対的に高い場合、つまり右眼および左眼の各眼球４２，４２の位置状態の相似性が相対的に高いと判定される場合においては、上記数式（３）において関数ｆ（θ）_ｉｊｐｑが相対的に大きな値となる。
一方、例えば図１０（ｂ）に示すように、右眼および左眼の各プルキニエ像４６，４６の位置状態の相似性が相対的に高いものの、各虹彩４４，４４の位置状態の相似性が相対的に低い場合、つまり右眼および左眼の各眼球４２，４２の位置状態の相似性が相対的に低いと判定される場合においては、上記数式（３）において関数ｆ（θ）_ｉｊｐｑが相対的に小さな値となる。

赤外線視線算出部３８は、相似性判定部３７にて抽出された各係数ｉ，ｊ，ｐ，ｑに対応する右眼および左眼の各虹彩候補４１，４１および各プルキニエ像４６，４６に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。この赤外線視線算出部３８による認識処理では、各右眼および左眼毎に、例えばプルキニエ像４６の中心位置４６ａと虹彩候補４１の虹彩中心４１ａとの相対距離に基づき視線ベクトルを算出する。

本実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。

例えば図１１に示すステップＳ０１においては、赤外線ＬＥＤ２３により運転者の眼球に向けて赤外線を照射した際に赤外線カメラ２２により撮影して得た赤外線画像を取得する。
そして、ステップＳ０２においては、赤外線画像の画像データに対して、例えば右眼および左眼を検知対象物とした特徴量算出および形状判別等の認識処理を行い、右眼および左眼の各画像データを抽出する。
そして、ステップＳ０３においては、右眼および左眼の各画像データから、各右眼および左眼毎に、虹彩候補４１，…，４１の虹彩中心４１ａ，…，４１ａおよび虹彩半径を検出する。
そして、ステップＳ０４においては、右眼および左眼の各画像データから、各右眼および左眼毎に、プルキニエ像４６，…，４６の中心位置４６ａ，…，４６ａを検出する。

そして、ステップＳ０５においては、検出した右眼および左眼の各虹彩候補４１，…，４１の虹彩中心４１ａ，…，４１ａの位置座標と、検出した右眼および左眼の各プルキニエ像４６，…，４６の中心位置４６ａ，…，４６ａの位置座標とに基づき、各右眼および左眼毎に、複数の右眼ベクトルν_ｒｉｊおよび左眼ベクトルν_ｌｐｑを算出する
そして、ステップＳ０６においては、複数の右眼ベクトルν_ｒｉｊおよび左眼ベクトルν_ｌｐｑに対して、後述する相似性判定処理を実行する。
そして、ステップＳ０７においては、相似性判定処理にて記憶された各係数ｉ，ｊ，ｐ，ｑに対応する右眼および左眼の各虹彩候補４１，４１および各プルキニエ像４６，４６に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。

以下に、上述したステップＳ０６における相似性判定処理について説明する。
先ず、例えば図１２に示すステップＳ１１においては、各係数ｉ，ｊ，ｐ，ｑに１を設定すると共に、定数ｆ（θ）ｍａｘに−１未満の値を設定して、初期化処理を行う。
次に、ステップＳ１２においては、各係数ｉ，ｊ，ｐ，ｑに応じた関数ｆ（θ）_ｉｊｐｑが定数ｆ（θ）ｍａｘよりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
ステップＳ１３においては、定数ｆ（θ）ｍａｘとして、この時点での関数ｆ（θ）_ｉｊｐｑの値を設定する。
そして、ステップＳ１４においては、この時点での各係数ｉ，ｊ，ｐ，ｑを記憶する。

次に、ステップＳ１５においては、係数ｐに１を加算して得た値（ｐ＋１）を、新たに係数ｐとして設定する。
次に、ステップＳ１６においては、係数ｐが各右眼および左眼毎に検出されたプルキニエ像４６の個数である自然数ｍ以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ１２に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１７に進む。
ステップＳ１７においては、係数ｐに１を設定して、初期化処理を行う

次に、ステップＳ１８においては、係数ｑに１を加算して得た値（ｑ＋１）を、新たに係数ｑとして設定する。
次に、ステップＳ１９においては、係数ｐが各右眼および左眼毎に検出された虹彩候補４１の個数である自然数ｎ以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ１２に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２０に進む。
ステップＳ２０においては、係数ｐ，ｑに１を設定して、初期化処理を行う

次に、ステップＳ２１においては、係数ｉに１を加算して得た値（ｉ＋１）を、新たに係数ｉとして設定する。
次に、ステップＳ２２においては、係数ｉが各右眼および左眼毎に検出されたプルキニエ像４６の個数である自然数ｍ以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ１２に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２３に進む。
ステップＳ２３においては、係数ｐ，ｑ，ｉに１を設定して、初期化処理を行う

次に、ステップＳ２４においては、係数ｊに１を加算して得た値（ｊ＋１）を、新たに係数ｊとして設定する。
次に、ステップＳ２５においては、係数ｊが各右眼および左眼毎に検出された虹彩候補４１の個数である自然数ｎ以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ１２に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
ステップＳ２０においては、係数ｐ，ｑ，ｉ、ｊに１を設定して、初期化処理を行う

上述したように、本実施の形態による視線検出装置１０によれば、左眼でのプルキニエ像４６と虹彩候補４１との相対位置状態（つまり、左眼ベクトルν_ｌｐｑ）と、右眼でのプルキニエ像４６と虹彩候補４１との相対位置状態（つまり、右眼ベクトルν_ｒｉｊ）とに基づき、運転者の視線を検出することから、視線の検出精度および検出結果に対する信頼性を向上させることができる。

本発明の一実施形態に係る視線検出装置の構成図である。図１に示す視線センサを搭載した車両を示す斜視図である。右眼および左眼の各画像データにおける走査領域と右眼および左眼との相対位置の一例を示す図である。右眼および左眼の各画像データにおける走査領域と右眼および左眼との相対位置の一例を示す図である。右眼および左眼の各画像データにおける走査領域と右眼および左眼との相対位置の一例を示す図である。右眼および左眼の各画像データ内における輝度スコアの位置分布の一例を示す図である。図７（ａ）は右眼および左眼の各画像データにおける走査領域と右眼および左眼との相対位置の一例を示す図であり、図７（ｂ）は適宜の走査線Ｌ上における輝度の位置分布の一例を示す図である。右眼および左眼の各画像データにおける各虹彩候補と各プルキニエ像との一例を示す図である。右眼ベクトルν_ｒｉｊおよび左眼ベクトルν_ｌｐｑの一例を示す図である。図１０（ａ），（ｂ）は右眼および左眼の各画像データにおける右眼および左眼の各眼球の位置状態の例を示す図である。図１に示す視線検出装置の動作を示すフローチャートである。図１１に示す相似性判定処理を示すフローチャートである。

符号の説明

１０視線検出装置
２２赤外線カメラ（赤外線撮影手段）
２３赤外線ＬＥＤ（赤外線照射手段）
３４虹彩候補検出部（虹彩検出手段）
３５プルキニエ像検出部（プルキニエ像検出手段）
３６ベクトル算出部（位置状態検出手段）
３７相似性判定部（相似性判定手段）
３８視線算出部（視線検出手段）

Claims

検出対象者の左右の眼球に赤外線を照射する赤外線照射手段と、
検出対象者の左右の眼球を赤外線領域にて撮影する赤外線撮影手段と、
前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、左眼および右眼に対して、角膜表面における赤外線の反射像を検出するプルキニエ像検出手段と、
前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、左眼および右眼に対して、虹彩を検出する虹彩検出手段と、
左眼および右眼に対して、前記プルキニエ像検出手段にて検出される前記反射像と前記虹彩検出手段にて検出される前記虹彩との相対位置状態を検出する位置状態検出手段と、
前記位置状態検出手段にて検出される左眼の前記相対位置状態と右眼の前記相対位置状態とに基づき、検出対象者の視線を検出する視線検出手段と、
前記位置状態検出手段にて検出される左眼の複数の各前記相対位置状態と、前記位置状態検出手段にて検出される右眼の複数の各前記相対位置状態との間の相似性を判定する相似性判定手段とを備え、
前記位置状態検出手段は、前記相似性判定手段の判定結果において最も相似性が高いと判定された左眼および右眼の各相対位置状態に対応する前記反射像および前記虹彩に基づき検出対象者の視線を検出することを特徴とする視線検出装置。
前記相似性判定手段は、前記反射像の中心位置と前記虹彩の中心位置との間のベクトルの大きさおよび方向に基づき前記相似性を判定することを特徴とする請求項１に記載の視線検出装置。