JP6767482B2 - 視線検出方法 - Google Patents

Description

本発明は、対象者の視線方向を検出する視線検出方法に関する。

特許文献１に記載の視線検出装置では、まず、取得された画像データから、顔の中心位置、顔を構成するパーツの中心位置、瞳の位置等の器官位置などが検出され、検出された中心位置や器官位置を使用して、顔の大きさが所定のサイズで、かつ顔の向きが正立するように正規化が行われる。その後、正規化された画像データを使用して、顔の向きに対応する特徴量と目領域の特徴量が抽出され、これらの特徴量を使用して視線方向の推定が行われる。

特開２０１２−０３７９３４号公報

しかしながら、特許文献１に記載の視線検出装置においては、視線方向の推定を更新するたびに、正規化処理から、顔の向きに対応する特徴量と目領域の特徴量の抽出までの演算処理を行うため、毎回の処理量が多くなり、視線検出処理を高速化することが困難となっている。さらに、近年では、目領域の特徴量の抽出精度を上げて視線方向の推定の確度を高めることが求められつつあり、このために画像の解像度を高めると上記演算処理の負担はさらに高いものとなる。

そこで本発明は、視線方向検出の精度を確保しつつ、演算処理の負担を抑えて高速化を図ることができる視線検出方法を提供することを目的とする。

上記課題を解決するために、本発明の視線検出方法は、全体画像を取得し、前記全体画像から眼領域画像を抽出するために取得された所定範囲の画像に、対象者の眼領域画像が含まれているか否かを一定周期で判別する第１の判別ステップを有し、前記第１の判別ステップにおいて、前記所定範囲の画像に前記対象者の眼領域画像が含まれている場合は、その眼領域画像を抽出し、抽出した眼領域画像に基づいて前記対象者の視線方向を検出し、前記視線方向を検出した後に第２の判別ステップに移行し、前記第２の判別ステップでは、前記第１の判別ステップで取得した前記全体画像よりも低解像度の全体画像を取得し、この低解像度の全体画像から顔画像検出処理を行い、前記第１の判別ステップにおいて前記所定範囲の画像に前記対象者の眼領域画像が含まれていない場合に、または前記第２の判別ステップの前記顔画像検出処理で顔画像が検出できなかった場合に、前記第１の判別ステップに戻って、新たに全体画像を取得し、この全体画像から前記対象者の顔画像を検出し、検出した顔画像から前記対象者の眼領域画像を抽出し、前記抽出した眼領域画像を含む範囲を前記所定範囲として更新することを特徴としている。
これにより、所定範囲の画像に眼領域画像が含まれている限り、すなわち、所定範囲から眼領域画像がロストしない限り、全体画像を取得せずに所定範囲の画像から抽出した眼領域画像に基づいて視線方向を算出するため、視線方向の算出の精度を維持しつつ、演算処理の負担を抑えることができ、処理の高速化を図ることができる。

本発明の視線検出方法において、画像の取得は、複数の画素が水平方向及び垂直方向に配列され、ローリングシャッタ方式で駆動される撮像素子で行われ、所定範囲は、撮像素子の水平方向に並ぶ１つまたは２以上のラインで構成されることが好ましい。
これにより、撮像素子のコストを下げることができるとともに、演算処理の負担を軽減して高速かつ高精度の視線方向検出を実現することができる。

本発明の視線検出方法によると、視線方向検出の精度を確保しつつ、演算処理の負担を抑え、処理の高速化を図ることができる。

本発明の第１実施形態に係る視線検出装置の構成を示す機能ブロック図である。 本発明の第１実施形態の画像取得部の構成を示す機能ブロック図である。 本発明の第１実施形態の視線検出部の構成を示す機能ブロック図である。 対象者の画像の例を示す図である。 （Ａ）は、撮像素子からの画像取得タイミングを模式的に示す図、図５（Ｂ）は第１光源と第２光源の発光期間を模式的に示す図である。 本発明の第１実施形態に係る視線検出の流れを示すフローチャートである。 本発明の第２実施形態に係る視線検出の流れを示すフローチャートである。

以下、本発明の実施形態に係る視線検出方法について図面を参照しつつ詳しく説明する。
＜第１実施形態＞
＜視線検出装置の構成＞
図１〜図３を参照して、第１実施形態に係る視線検出方法に用いる視線検出装置について説明する。ここで、図１は、第１実施形態に係る視線検出装置１０の構成を示す機能ブロック図、図２は、第１実施形態の画像取得部２０の構成を示す機能ブロック図、図３は、第１実施形態の視線検出部６０の構成を示す機能ブロック図である。図４は、対象者の画像の例を示す図である。

図１に示すように、第１実施形態に係る視線検出装置１０は、制御部１１と、メモリ１２と、画像取得部２０と、顔検出部３０と、正規化処理部４０と、眼領域画像取得部５０と、視線検出部６０とを備える。視線検出装置１０は、例えば、自動車の車室内のインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。

視線検出装置１０においては、画像取得部２０によって取得された対象者ＳＢの全体画像Ａ１（図４）、例えば上半身に対応する範囲の画像から顔検出部３０において顔画像Ａ２（図４）を抽出し、この顔画像Ａ２について正規化処理部４０で正規化処理を行う。正規化処理された顔画像は、眼領域画像取得部５０において、眼領域を含む所定範囲Ａ３（図４）が設定され、この所定範囲内の眼領域画像が抽出されて視線検出部６０へ出力される。視線検出部６０では、受け取った画像に基づいて特徴量を抽出し、この特徴量に基づいて対象者の視線方向を検出する。画像取得部２０による画像取得から視線検出部６０による視線方向の検出までの処理は制御部１１による制御にしたがって実行され、その処理に必要な情報、処理結果などはメモリ１２に保存され、必要に応じて読み出される。

眼領域画像取得部５０で設定された所定範囲はメモリ１２に記憶され、視線検出部６０による視線方向の検出後は、この所定範囲で次の画像が取得され、この画像に眼領域画像が含まれるか否かが判別部としての制御部１１によって判別される。取得された画像に眼領域画像が含まれていれば上述の処理と同様に視線方向が検出される。制御部１１による判別の結果、所定範囲の画像に眼領域画像が含まれていない場合は、改めて画像取得部２０によって全体画像が取得され、この画像に基づいて顔画像の検出と正規化処理の後に、所定範囲を新たに設定して、この範囲をもって、メモリ１２に記憶された所定範囲のデータを更新する。さらに、この所定範囲で取得した画像に眼領域画像が含まれている場合には、この眼領域画像から抽出した特徴量に基づいて視線方向を検出する。以下、各構成部材・ブロックについて説明する。

画像取得部２０は、図２に示すように、第１光源２１と、第２光源２２と、第１カメラ２３と、第２カメラ２４と、露光制御部２５と、光源制御部２６とを備える。

第１光源２１は複数個のＬＥＤ（発光ダイオード）光源からなる。これらのＬＥＤ光源は、第１カメラ２３のレンズの外側において、レンズを囲むように配置されている。
第２光源２２も複数個のＬＥＤ光源からなる。これらのＬＥＤ光源は、第２カメラ２４のレンズの外側において、レンズを囲むように配置されている。

第１光源２１のＬＥＤ光源、および、第２光源２２のＬＥＤ光源は、８００ｎｍ以上１０００ｎｍ以下の赤外光（近赤外光）を出射し、この検知光を運転者の眼に与えることができるように配置されている。特に、８５０ｎｍは、人の眼の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。

カメラ２３、２４は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は運転者の眼を含む顔の画像を取得し、水平方向および垂直方向に配列された複数の画素で光が検出される。
これらのカメラ２３、２４においては、２つの光源２１、２２から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、明瞳孔画像検出部６１や暗瞳孔画像検出部６２における瞳孔画像の抽出や、視線方向算出部６５における視線方向の算出を精度良く行うことができる。

カメラ２３、２４は、制御部１１の制御にしたがって、撮影の範囲および解像度を切り替えることができる。
撮影の範囲は、例えば全体画像と部分画像に切り替えることができる。全体画像は、例えば車両の運転者を対象とする場合は、視線検出の対象となる位置としての運転席に着いた運転者の上半身の画像である。部分画像は、全体画像に基づいて眼領域画像取得部５０で設定した所定範囲の画像、すなわち、運転者の眼領域に対応する範囲の画像である。

撮影の解像度は、例えば高解像度と低解像度に切り替えることができる。高解像度の画像は、少なくとも、視線方向の検出に必要な特徴量を抽出可能な解像度を有する画像であり、低解像度の画像は、少なくとも、顔の特徴部位の検出ができ、これによって顔画像の検出が可能な解像度を有する画像である。

第１カメラ２３と第１光源２１のＬＥＤ光源の光軸間距離は、視線検出部６０と運転者としての運転者との距離を考慮して、第１カメラ２３と第２カメラ２４の光軸間距離に対して十分に短くしている。そのため、第１光源２１は第１カメラ２３に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２４と第２光源２２のＬＥＤ光源の光軸間距離は、第１カメラ２３と第２カメラ２４の光軸間距離に対して十分に短くしているため、第２光源２２は第２カメラ２４に対して互いの光軸が略同軸であるとみなすことができる。

これに対して、第１カメラ２３と第２カメラ２４の光軸間距離を十分に長くとっているため、第１光源２１および第１カメラ２３の各光軸と、第２光源２２および第２カメラ２４の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。

第１光源２１と第２光源２２の点灯（発光）のタイミングは光源制御部２６によって制御される。この点灯のタイミングは露光制御部２５からの指示信号によって設定され、露光制御部２５は、制御部１１の制御に従って、第１光源２１と第２光源２２の点灯に同期させるように、後述の撮影条件（明瞳孔撮影条件、暗瞳孔撮影条件）で、第１カメラ２３と第２カメラ２４に撮像を行わせる。

顔検出部３０は、画像取得部２０で取得した全体画像Ａ１（図４）に対して、前処理としてビニング処理などにより画素の数を減らすダウンサイジングを行う。このダウンサイジングは、全体画像Ａ１において隣り合う所定数の画素を１画素にまとめることによって解像度を低下させ、画像データのサイズを小さくするものである。このダウンサイジング処理は、後の顔検出処理が可能なレベルに設定されており、このレベルに対応して１画素にまとめる画素数も定められている。これにより、画像のデータサイズが小さくなるため、後の顔検出処理の精度を確保しつつ高速化することができる。

さらに、顔検出部３０は、ダウンサイジング処理後の画像に各種の検出方法を適用することによって顔検出を行う。例えば、Ｈａａｒ−ｌｉｋｅ顔検出法に基づいて初期検出を行い、さらに、あらかじめメモリ１２に登録した一般的な顔の特徴部位の情報、例えば、眉、眼球、虹彩、鼻、唇の位置、形状、大きさなどのデータと照らし合わせて、この照合結果にしたがって顔の検出を行う。また、立体的な顔のデータとして、複数の顔向き、例えば正面、斜め右向き、斜め左向きについての各特徴部位の情報と、取得した画像とを照らし合わせることにより顔向きの検出も行う。

また、顔検出部３０は、検出された顔画像における色や明るさなどに基づいて、各特徴部位に対応する複数のランドマーク、例えば、眉、眼球、虹彩、唇の輪郭線、鼻の稜線を検出する。
なお、一般的な顔の特徴部位の情報に加えて、または、これに代えて、特定の個人の顔の特徴部位の情報と、その個人を特定する氏名その他の識別情報とを組み合わせて予め登録し、画像取得部２０で取得した画像との照合によって、顔検出とともに個人を認証するようにしてもよい。

正規化処理部４０は、顔検出部３０で検出された複数のランドマーク間の関係を維持しつつ、例えばアフィン変換によって、顔を正面向きとし、かつ、所定のサイズとなるように変換させ、これによって顔画像を正規化する。

眼領域画像取得部５０は、正規化処理部４０で正規化された画像において、ランドマークとして検出された眼球の位置・範囲情報に基づいて、両眼の眼球を含む画像が含まれる範囲を所定範囲として設定する。さらに、眼領域画像取得部５０は、画像取得部２０で取得した画像のうち、所定範囲に対応する明瞳孔画像と暗瞳孔画像を眼領域画像として取得する。設定された所定範囲はメモリ１２に保存され、取得された眼領域画像は視線検出部６０へ出力される。

ここで所定範囲の設定例について説明する。図５は、ローリングシャッタ方式の撮像素子からの画像取得タイミングと光源の発光タイミングの例を模式的に示す図である。図５（Ａ）は、撮像素子からの画像取得タイミングを示し、図５（Ｂ）は第１光源２１と第２光源２２の発光期間を示す。
撮像素子の駆動方式には、グローバルシャッタ方式とローリングシャッタ方式があり、第１実施形態のカメラ２３、２４はいずれの方式の撮像素子も使用可能であるが、ここではローリングシャッタ方式の場合について説明する。

図５（Ａ）において、Ｈ０００、Ｈ１００、Ｈ２００、Ｈ３００、Ｈ４００、Ｈ５００、Ｈ６００、Ｈ７００、及び、Ｈ８００は、撮像素子において垂直方向の上から下側へ順に並んだ、水平方向に並ぶ画素のラインをそれぞれ示している。撮像素子は、ローリングシャッタ方式で、これらのラインごとに駆動される。また、図５（Ａ）の「ＶＳＹＮＣ」は、カメラ２３、２４から出力される垂直同期信号であって、カメラのフレームレートにより決定され、制御部１１はこれらの垂直同期信号に同期して、対応するカメラの撮像素子の画素のラインに対応する撮像データを取り込む。また、Ｂ１１〜Ｂ１８、Ｂ２１〜・・・は、撮像素子の各画素ラインに対応する撮像データを取り込むタイミングを示しており、水平同期信号を意味している。

図５（Ｂ）は、第１光源２１からの検知光の出射期間Ｉ１１、Ｉ１２、Ｉ１３と、第２光源２２からの検知光の出射期間Ｉ２１、Ｉ２２とを示している。図５（Ｂ）に示す例では、光源２１、２２の発光時間は同じであり、一定の周期で交互に発光している。第１光源２１または第２光源２２からの検知光が発光しているそれぞれの期間において、撮像素子がラインＨ０００からラインＨ８００までの１フレーム分ずつ駆動される。この１フレーム分の駆動により得られる画像は対象者の全体画像に対応し、この画像のうちで眼領域に対応する所定範囲として、１つまたは複数の画素のラインを設定することができる。

視線検出部６０は、コンピュータのＣＰＵやメモリで構成されており、図３に示す各ブロックによる処理は、予めインストールされたソフトウエアを実行することで行われる。視線検出部６０には、明瞳孔画像検出部６１と、暗瞳孔画像検出部６２と、瞳孔中心算出部６３と、角膜反射光中心検出部６４と、視線方向算出部６５とが設けられている。

視線検出部６０に与えられた画像は、明瞳孔画像検出部６１と暗瞳孔画像取得部６２にそれぞれ読み込まれる。明瞳孔画像検出部６１では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出され、暗瞳孔画像検出部６２では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出される。
（ａ）明瞳孔撮影条件
（ａ−１）第１光源２１の点灯期間に、これと略同軸の第１カメラ２３で画像を取得
（ａ−２）第２光源２２の点灯期間に、これと略同軸の第２カメラ２４で画像を取得
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源２１の点灯期間に、これと非同軸の第２カメラ２４で画像を取得
（ｂ−２）第２光源２２の点灯期間に、これと非同軸の第１カメラ２３で画像を取得

＜明瞳孔画像と暗瞳孔画像＞
光源２１、２２からの出射光の波長８５０ｎｍは、運転者の眼の網膜に至る眼球内での吸収率が低いため、この波長の光は網膜で反射されやすい。例えば第１光源２１が点灯したときに、第１光源２１と略同軸の第１カメラ２３で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部６１で抽出される。これは、第２光源２２が点灯したときに、これと略同軸の第２カメラ２４で取得される画像についても同様である。

これに対して、第１光源２１を点灯したときに、第１光源２１と非同軸の第２カメラ２４で画像を取得する場合には、網膜で反射された赤外光が第２カメラ２４にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部６２で抽出される。これは、第２光源２２が点灯したときに、非同軸の第１カメラ２３で取得される画像についても同様である。

瞳孔中心算出部６３では、明瞳孔画像検出部６１で検出された明瞳孔画像から暗瞳孔画像検出部６２で検出された暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が取得される。瞳孔中心算出部６３では、瞳孔画像信号が画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、特徴量として、楕円の長軸と短軸との交点が、瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔の中心位置が算出されてもよい。

暗瞳孔画像検出部６２で検出された暗瞳孔画像信号は、角膜反射光中心検出部６４に与えられる。暗瞳孔画像信号は、角膜の反射点から反射された反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、カメラ２３、２４の撮像素子では、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部６４では、このスポット画像が画像処理されて、特徴量として、角膜の反射点からの反射光の中心が求められる。

瞳孔中心算出部６３で算出された瞳孔中心算出値と角膜反射光中心検出部６４で算出された角膜反射光中心算出値は、視線方向算出部６５に与えられる。視線方向算出部６５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

視線方向算出部６５では、瞳孔の中心と、角膜からの反射点の中心との直線距離αが算出される。また瞳孔の中心を原点とするＸ−Ｙ座標が設定され、瞳孔の中心と反射点の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向が算出される。算出された視線方向のデータは、視線方向算出部６５による検出結果として制御部１１へ出力される。
なお、瞳孔中心に代えて虹彩中心を用いて視線方向を算出してもよい。虹彩中心は、例えば、明瞳孔撮影条件を満たす画像の虹彩（黒目）と白目の反射率の違いを利用して、虹彩部分を楕円状または円形状に抽出し、抽出した図形の中心を算出することによって求める。

＜視線検出の流れ＞
図４と図６を参照しつつ第１実施形態の視線検出装置１０を用いた視線検出の流れについて説明する。図６は、第１実施形態に係る視線検出の流れを示すフローチャートである。

まず、画像取得部２０によって対象者ＳＢの全体画像Ａ１（図４）を取得する（図６のステップＳ１１）。具体的には、第１光源２１と第２光源２２を交互に発光させ、第１光源２１の点灯に同期させて、第１カメラ２３と第２カメラ２４で同時に撮像を行う。このとき第１カメラ２３で明瞳孔画像が取得され、第２カメラ２４で暗瞳孔画像が取得される。第２光源２２が点灯している期間についても、点灯に同期させて、第１カメラ２３と第２カメラ２４で同時に撮像が行われる。このときは、第１カメラ２３で暗瞳孔画像が取得され、第２カメラ２４で明瞳孔画像が取得される。撮像された画像データはメモリ１２にそれぞれ保存され、第１カメラ２３または第２カメラ２４で取得された明瞳孔画像が全体画像Ａ１として顔検出部３０へ与えられる。

次に、顔検出部３０は、画像取得部２０から与えられた全体画像Ａ１（図４）に対して顔検出処理を行う（図６のステップＳ１２）。顔検出部３０は、顔検出処理に先立って、ビニング処理などにより画素の数を減らすダウンサイジングを行う。顔検出部３０は、ダウンサイズされた画像に対して各種の検出方法を適用することによって顔検出を行い、顔画像Ａ２を抽出する。例えば、Ｈａａｒ−ｌｉｋｅ顔検出法に基づいて初期検出を行い、さらに、あらかじめメモリ１２に登録した一般的な顔の特徴部位の情報と、例えば、図４に示す全体画像Ａ１における眉ＢＲ、眼球ＥＢ、虹彩ＩＲ、鼻ＮＳ、唇ＬＰなどの位置、形状、大きさなどとを互いに照らし合わせることによって顔画像Ａ２を抽出する。また、立体的な顔のデータとして、複数の顔向き、例えば正面、斜め右向き、斜め左向きについての各特徴部位の情報と、取得した画像とを照らし合わせることにより顔向きの検出も行う。さらに、顔検出部３０は、検出された顔画像における色や明るさなどに基づいて、各特徴部位に対応する複数のランドマーク、例えば、眉ＢＲ、眼球ＥＢ、虹彩ＩＲ、唇ＬＰの輪郭線、鼻ＮＳの稜線を検出する。検出された顔画像Ａ２およびランドマークについての検出情報は正規化処理部４０へ出力される。

つづいて、正規化処理部４０は、顔検出部３０で検出された複数のランドマーク間の関係を維持しつつ、例えばアフィン変換によって、顔を正面向きとし、かつ、所定のサイズとなるように変換させ、これによって顔画像を正規化する（ステップＳ１３）。正規化された画像データは眼領域画像取得部５０へ送られ、眼領域画像取得部５０においては、ランドマークとして検出された眼球の位置・範囲情報に基づいて、両眼の眼球を含む画像が含まれる範囲が初期の所定範囲Ａ３（図４）として設定される（ステップＳ１４）。さらに、眼領域画像取得部５０は、画像取得部２０で取得した明瞳孔画像と暗瞳孔画像をメモリ１２から読み出し、これらの画像において、上記所定範囲Ａ３に対応する範囲の画像を抽出・取得する（ステップＳ１５）。このように取得された画像は判別部としての制御部１１へ与えられる。

次に、判別部としての制御部１１は、眼領域画像取得部５０から受け取った画像に眼領域画像が含まれているか否かを判別する（ステップＳ１６、第１の判別ステップ）。この判別は、あらかじめメモリ１２に登録した一般的な目の特徴部位の情報と、例えば、眼球や虹彩の位置、形状、大きさなどとを互いに照らし合わせることによって行う。ここで、上記ステップＳ１４、Ｓ１５において、両眼の眼球を含む画像に基づいて所定範囲Ａ３が設定されていることから、制御部１１は、眼領域画像取得部５０から受け取った画像に眼領域画像が含まれていると判別する（ステップＳ１６でＹＥＳ）。制御部１１は、眼領域画像取得部５０から受け取った画像を視線検出部６０へ出力する。

眼領域画像を受け取った視線検出部６０では、まず、明瞳孔画像検出部６１で明瞳孔画像が検出され、暗瞳孔画像検出部６２で暗瞳孔画像が検出される。さらに、瞳孔中心算出部６３において、明瞳孔画像から暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が取得され、この信号に基づいて、瞳孔の形状と面積に対応する部分のエリア画像が算出され、このエリア画像を含む楕円から、特徴量として瞳孔の中心位置が算出される（ステップＳ１７）。また、角膜反射光中心検出部６４では、暗瞳孔画像信号に含まれるスポット画像が画像処理されて、特徴量として、角膜の反射点からの反射光の中心が求められる（ステップＳ１７）。

次に、視線方向算出部６５において、瞳孔中心算出部６３で算出された瞳孔中心算出値と角膜反射光中心検出部６４で算出された角膜反射光中心算出値とから、視線方向が検出される（ステップＳ１８）。

視線方向の検出後は、上記ステップＳ１４で設定した所定範囲で画像が取得される（ステップＳ１５）。この画像の取得方法は上記ステップＳ１１と同様に、第１光源２１と第２光源２２を交互に点灯させて、２つのカメラ２３、２４で撮影条件に対応した瞳孔画像を撮影する。ここでは全体画像ではなく、所定範囲の画像のみを取得するため、データのサイズを小さく抑えることができ、その後の処理も高速に実行することが可能となる。ここで取得された画像については、制御部１１において、眼領域画像が含まれているか否かが判別される（ステップＳ１６、第１の判別ステップ）。

制御部１１による判別（ステップＳ１６）の結果、眼領域画像が含まれている場合（ステップＳ１６でＹＥＳ）は、視線検出部６０において、特徴量として、瞳孔中心と角膜反射光中心の位置が抽出され（ステップＳ１７）。この特徴量に基づいて、視線方向算出部６５において視線方向が検出される（ステップＳ１８）。

これに対して、制御部１１による判別（ステップＳ１６）の結果、眼領域画像が含まれていなかった場合（ステップＳ１６でＮＯ）は、全体画像が再び取得され（ステップＳ１１）、この全体画像について、顔画像の検出（ステップＳ１２）と正規化処理（ステップＳ１３）が実行され、この正規化画像に対して新たな所定範囲が設定される。この新しい所定範囲によって、メモリ１２に記憶された所定範囲のデータは更新され（ステップＳ１４）、その後の画像取得（ステップＳ１５）以下の処理が行われる。ここで、眼領域画像が含まれていなかった場合としては、片眼の眼球の画像だけが含まれていた場合、両眼の眼球の画像が特徴量検出に十分な濃度、解像度を有していなかった場合などが挙げられる。

以上のように構成されたことから、第１実施形態の視線検出方法によれば、次の効果を奏する。
（１）第１の判別ステップ（図６のステップＳ１６）において所定範囲の画像に対象者の眼領域画像が含まれているか否かを判別し、眼領域画像が含まれている間は、新たに全体画像を取得せずに、所定範囲の画像に基づいて視線方向を検出し続ける。このため、視線検出の精度は確保しつつ、毎回取得する画像のデータサイズを抑えることができ、演算処理の負担を抑えて処理の高速化を図ることができる。
（２）ローリングシャッタ方式で駆動される撮像素子を用いた場合、撮像素子のコストを下げることができるとともに、演算処理の負担を軽減して高速かつ高精度の視線方向検出を実現することができる。

＜第２実施形態＞
つづいて、本発明の第２実施形態について説明する。第２実施形態においては、所定範囲に眼領域画像が含まれているか否かに拘わらず、定期的に低解像度の全体画像を取得して第２の判別ステップを実行する点が第１実施形態と異なる。第２実施形態に係る視線検出装置は、第１実施形態に係る視線検出装置１０と同様の構成を備える。以下、第１実施形態と同様の構成・処理・作用等については詳細な説明は省略する。

図７は、第２実施形態に係る視線検出の流れを示すフローチャートである。
まず、第１実施形態の視線検出（図６）と同様に、画像取得部２０によって対象者ＳＢの全体画像Ａ１（図４）を取得（図７のステップＳ２１）し、この全体画像Ａ１を用いて、顔検出部３０において顔検出処理を行い、顔画像Ａ２を抽出する（ステップＳ２２）。また、顔検出部３０では、顔向きの検出や各特徴部位に対応する複数のランドマークの検出を行う。さらに、正規化処理部４０における顔画像の正規化（ステップＳ２３）と、眼領域画像取得部５０における所定範囲Ａ３の設定（ステップＳ２４）と、判別部としての制御部１１における判別（ステップＳ２６、第１の判別ステップ）とも第１実施形態と同様である。ここで、上記ステップＳ２４、Ｓ２５において、両眼の眼球を含む画像に基づいて所定範囲Ａ３が設定されていることから、制御部１１は、眼領域画像取得部５０から受け取った画像に眼領域画像が含まれていると判別（ステップＳ２６でＹＥＳ）し、眼領域画像取得部５０から受け取った画像を視線検出部６０へ出力する。

眼領域画像を受け取った視線検出部６０では、第１実施形態と同様に、まず、明瞳孔画像検出部６１で明瞳孔画像が検出され、暗瞳孔画像検出部６２で暗瞳孔画像が検出される。さらに、瞳孔中心算出部６３において、明瞳孔画像から暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が取得され、この信号に基づいて、瞳孔の形状と面積に対応する部分のエリア画像が算出され、このエリア画像を含む楕円から、特徴量として瞳孔の中心位置が算出される（ステップＳ２７）。また、角膜反射光中心検出部６４では、暗瞳孔画像信号に含まれるスポット画像が画像処理されて、特徴量として、角膜の反射点からの反射光の中心が求められる（ステップＳ２７）。つづいて、視線方向算出部６５において、瞳孔中心算出部６３で算出された瞳孔中心算出値と角膜反射光中心検出部６４で算出された角膜反射光中心算出値とから、視線方向が検出される（ステップＳ２８）。

次に、画像取得部２０によって対象者ＳＢの全体画像が取得される（ステップＳ２９）。この画像は、上記ステップＳ２１で取得する画像よりも低い解像度であり、以下に述べる簡易的な顔画像検出ができる最低限の解像度を有している。顔検出部３０においては、この画像に基づいて顔画像検出処理が実行される（ステップＳ３０、第２の判別ステップ）。この顔画像検出においては、特徴部位の照合によって、顔の位置、向きが上記ステップＳ２２における顔画像検出に対して、所定量以上ずれていないことを確認し、ランドマークの検出は省略する。この所定量は、一般的な特徴部位の配置において、いったん設定した所定範囲Ａ３内に眼領域画像が再び含まれる基準量として設定される。

顔画像検出ができた場合（ステップＳ３０でＹＥＳ）、すなわち、顔の位置、向きが上記ステップＳ２２における顔画像検出の結果に対して所定量未満のずれ量の範囲内にある場合、上記ステップＳ２４で設定した所定範囲について画像が取得される（ステップＳ２５）。ここで取得される画像の解像度は、上記ステップＳ２１で取得する画像と同等の高い解像度であり、かつ、上記ステップＳ２９で取得される画像の解像度よりも高い。画像の取得方法は上記ステップＳ２１と同様に、第１光源２１と第２光源２２を交互に点灯させて、２つのカメラ２３、２４で撮影条件に対応した瞳孔画像を撮影する。ここで取得された画像については、制御部１１において、眼領域画像が含まれているか否かが判別される（ステップＳ２６、第１の判別ステップ）。

制御部１１による判別（ステップＳ２６）の結果、眼領域画像が含まれている場合（ステップＳ２６でＹＥＳ）は、視線検出部６０において、特徴量として、瞳孔中心と角膜反射光中心の位置が抽出され（ステップＳ２７）。この特徴量に基づいて、視線方向算出部６５において視線方向が検出される（ステップＳ２８）。

（１）制御部１１による判別（ステップＳ２６）の結果、眼領域画像が含まれていなかった場合（ステップＳ２６でＮＯ）、および、（２）上記ステップＳ３０において顔画像検出ができなかった場合（ステップＳ３０でＮＯ）、すなわち、顔の位置、向きが上記ステップＳ２２における顔画像検出の結果に対して所定量以上のずれを生じていた場合は、全体画像が再び取得され（ステップＳ２１）、この全体画像について、顔画像の検出（ステップＳ２２）と正規化処理（ステップＳ２３）が実行され、正規化画像に対して新たな所定範囲が設定され、この新しい所定範囲によって、メモリ１２に記憶された所定範囲のデータは更新され（ステップＳ２４）、その後の画像取得（ステップＳ２５）以下の処理が行われる。

なお、図７のステップＳ３０で示す第２判別ステップは、視線方向の検出（ステップＳ２８）が終わるたびに毎回実行されていたが、この実行間隔は毎回ではなく所定回数ごととしてもよい。また、図７のステップＳ３０で示す第２判別ステップに代えて、図７に示す処理の流れとは独立した形で第２判別ステップを実行させてもよい。

第２実施形態の視線検出方法によれば、第２の判別ステップにおいてデータ量の小さな画像で判別を行うことができるため、視線検出の精度を確保しつつ、演算処理の負担を軽減することができる。
なお、その他の作用、効果、変形例は第１実施形態と同様である。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る視線検出方法は、視線検出の精度を確保しつつ、処理負担を軽減して高速化を図ることができる点で有用である。

１０ 視線検出装置
１１ 制御部
１２ メモリ
２０ 画像取得部
２１ 第１光源
２２ 第２光源
２３ 第１カメラ
２４ 第２カメラ
２５ 露光制御部
２６ 光源制御部
３０ 顔検出部
４０ 正規化処理部
５０ 眼領域画像取得部
６０ 視線検出部
６１ 明瞳孔画像検出部
６２ 暗瞳孔画像検出部
６３ 瞳孔中心算出部
６４ 角膜反射光中心検出部
６５ 視線方向算出部
Ａ１ 全体画像
Ａ２ 顔画像
Ａ３ 所定範囲

Claims (3)

1. 全体画像を取得し、前記全体画像から眼領域画像を抽出するために取得された所定範囲の画像に、対象者の眼領域画像が含まれているか否かを一定周期で判別する第１の判別ステップを有し、
   前記第１の判別ステップにおいて、前記所定範囲の画像に前記対象者の眼領域画像が含まれている場合は、その眼領域画像を抽出し、抽出した眼領域画像に基づいて前記対象者の視線方向を検出し、前記視線方向を検出した後に第２の判別ステップに移行し、
   前記第２の判別ステップでは、前記第１の判別ステップで取得した前記全体画像よりも低解像度の全体画像を取得し、この低解像度の全体画像から顔画像検出処理を行い、
   前記第１の判別ステップにおいて前記所定範囲の画像に前記対象者の眼領域画像が含まれていない場合に、または前記第２の判別ステップの前記顔画像検出処理で顔画像が検出できなかった場合に、
   前記第１の判別ステップに戻って、新たに全体画像を取得し、この全体画像から前記対象者の顔画像を検出し、検出した顔画像から前記対象者の眼領域画像を抽出し、前記抽出した眼領域画像を含む範囲を前記所定範囲として更新することを特徴とする視線検出方法。
2. 前記顔画像検出処理では、前記第１の判別ステップで得られた前記全体画像に含まれる顔画像に対して、前記低解像度の全体画像に含まれる顔画像の顔の位置、向きのずれが所定量以上のときに、顔画像が検出できなかった、と判別する請求項１記載の視線検出方法。
3. 画像の取得は、複数の画素が水平方向及び垂直方向に配列され、ローリングシャッタ方式で駆動される撮像素子で行われ、
   前記所定範囲は、前記撮像素子の前記水平方向に並ぶ１つまたは２以上のラインで構成されることを特徴とする請求項１または請求項２に記載の視線検出方法。

Images