JP6582604B2 - 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム - Google Patents

Description

本発明は、画像から対象者の視線を検出する技術に関する。

近赤外光源および近赤外カメラを利用して、角膜反射法により、対象者の視線を検出する技術がある（例えば、非特許文献１）。なお、角膜反射法は、近赤外線光源を用いて角膜上に反射を発生させ、反射の中心と瞳孔の中心とを画像処理により求める。そして、角膜反射法は、反射の中心と瞳孔の中心との位置関係から、対象者の視線を検出する。そして、瞳孔を検出するための画像処理においては、画像処理装置は、目の領域を検出するとともに、目の領域から、テンプレート情報を用いて、瞳孔候補を検出する。

さらに、目の領域の明るさを算出するとともに、予め準備された明るさ瞳孔情報に基づき、現在の明るさに対応する半径に最も近い半径の瞳孔候補を、先に検出された瞳孔候補の中から特定する技術もある（例えば、特許文献１）。つまり、画像処理装置は、処理対象の画像における目の領域の明るさを用いて、瞳孔候補の中から、真の瞳孔を特定する。

特開２０１３−２１５５４９号公報

大野健彦ら、眼球形状モデルに基づく視線測定システム―視線入力デバイスの実現に向けて―、情報処理学会研究報告２００１−ＨＩ−９３、２００１、ｐｐ４７−５４

上述した従来技術は、目の領域の明るさに応じて瞳孔の大きさが変化しているであろうという仮定の下、目の領域の明るさに対応して、瞳孔の大きさを推定している。ここでは、瞳孔の拡縮に影響を与える可視光の強さは、近赤外光の強さに比例するという前提がある。なお、可視光は、自然光や照明光に由来する。また、近赤外光は、自然光や照明光に含まれる近赤外光と、近赤外光源由来の近赤外光とに由来する。

しかし、視線を検出する対象の対象者が、例えば、メガネをかけている場合には、次のような問題が発生する。近赤外光源から照射された近赤外光が、メガネのレンズ表面で強く反射することで、目の領域全体が明るく写ってしまう場合がある。このとき、仮に、瞳孔の収縮に影響を与える環境の明るさ（可視光の強さ）が暗かったとしても、画像における目の領域に発生した近赤外光由来の反射の影響で、瞳孔は収縮しているという推定が働いてしまう。その結果、本来、対象者の瞳孔は拡大しているはずであるが、目の領域の明るさにより、小さい半径を持つ瞳孔候補が、瞳孔として特定されてしまう。

本実施例に開示の技術は、上記に鑑みてなされたものであって、光源から照射された光の反射の影響による瞳孔の誤検出を防ぐことを目的とする。

本実施例に開示の技術は、一つの側面では、コンピュータに、画像における顔画像領域から、特定の形状情報に基づき、複数の瞳孔候補を検出し、前記顔画像領域を含まない他の画像領域に係る輝度情報、および該輝度情報と瞳孔の大きさとの関係を示す学習情報に基づき、前記複数の瞳孔候補から、少なくとも一つの瞳孔候補を、瞳孔検出結果として出力する処理を実行させる瞳孔検出プログラムに関する。

本実施例に開示の技術は、光源から照射された光の反射の影響による瞳孔の誤検出を防ぐことができるという効果を奏する。

図１は、本実施例に係る視線検出システムの構成を示す図である。 図２は、瞳孔検出部の機能構成例である。 図３は、テンプレート記憶部に記憶されたテンプレート情報の例を示す。 図４は、瞳孔候補記憶部のデータ構成例を示す。 図５は、学習情報記憶部に記憶される学習情報の例である。 図６は、瞳孔尤度を説明するための図である。 図７は、視線検出装置のハードウェア構成である。 図８は、対象者がメガネをかけている状態で撮影された近赤外画像の一部分の拡大図である。 図９は、光の減衰を示す図である。 図１０Ａおよび図１０Ｂは、対象領域を説明するための図である。 図１１は、視線検出処理のフローチャートである。 図１２は、瞳孔検出処理のフローチャートである。 図１３Ａおよび図１３Ｂは、瞳孔検出結果を説明するための図である。 図１４は、実施例２を説明するための図である。 図１５は、実施例２に係る瞳孔検出部の機能構成例である。 図１６は、実施例２に係る瞳孔検出処理のフローチャートである。

以下に、本発明に関する視線検出技術および瞳孔検出技術の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る視線検出システムの構成を示す図である。図１に示すように、視線検出システム１００は、視線検出装置１、カメラ８、光源９を含む。カメラ８は、所定の波長の光に感度を有する撮影装置の一例である。光源９は、所定の波長の光を照射する。

カメラ８および光源９は視線検出装置１に接続される。ただし、有線で接続される以外にも、無線通信で通信する形態であってもよい。よって、視線検出処理が開始されると、視線検出装置１の制御の下、カメラ８は一定の時間間隔で画像の撮影を開始するとともに、撮影した画像に関わる画像データを視線検出装置１に送信する。また、視線検出装置１の制御の下、光源９の電源もＯＮとなる。

本実施例においては、所定の波長の光として、視線を検出する対象の対象者には見えない近赤外光を利用する。よって、カメラ８は、近赤外光カメラであり、光源９は、近赤外光を照射する光源である。そして、カメラ８が撮影する画像は、近赤外画像である。近赤外画像には、光源９から照射された近赤外光の反射および、その他の光源から照射された近赤外光（例えば、自然光や蛍光灯の光）の反射の強さに応じた輝度で、物体が撮影される。本実施例においては、近赤外画像を用いて、光源９から照射された光の角膜反射および、対象者の瞳孔を検出することで、視線を検出する。

視線検出装置１は、対象者の視線を検出する装置である。本実施例においては、視線検出装置１は、カメラ８から取得した近赤外画像に対して視線検出処理を実行する事で、対象者の視線を検出する。視線検出装置１による処理結果は、例えば、マーケティング分析等に活用される。具体的には、店舗内の棚や商品のプレートに、カメラ８および光源９が設置されている場合に、視線検出装置１は、撮影された対象者の視線を検出する。そして、マーケティング分析においては、この視線から、客がどの商品に興味をいだいているかが推定される。例えば、視線検出装置１の出力（視線検出結果）から、多くの客が興味を抱いた商品を把握することができる。

図１に示す通り、視線検出装置１は、画像取得部２、瞳孔検出部３、反射検出部４、視線検出部５、出力部６、記憶部７を有する。なお、視線検出装置１は、コンピュータである。

画像取得部２は、カメラ８が撮影した画像に関わる画像情報を、カメラ８から取得する。画像取得部２は、本実施例では、対象者の顔を撮影した近赤外画像に対応する画像情報を取得する。画像情報には、各画素における近赤外光の強さを示す輝度情報が含まれる。なお、カメラ８と視線検出装置１が無線通信により通信する場合には、画像取得部２は通信部として機能する。

瞳孔検出部３は、画像取得部２から入力された画像を処理対象として、画像から対象者の瞳孔を検出する。詳細は後述する。なお、瞳孔検出部３は、独立したコンピュータである瞳孔検出装置として機能する事も可能である。

反射検出部４は、画像取得部２から入力された画像を処理対象として、角膜反射を検出する。反射検出部４は、例えば、非特許文献１に記載の方法により、角膜反射を検出する。

視線検出部５は、瞳孔検出部３の検出結果と、反射検出部４の検出結果とに基づき、対象者の視線を検出する。視線検出部５は、例えば、非特許文献１に記載の方法により、瞳孔の位置と角膜反射の位置の関係に基づき、対象者の視線を検出する。

出力部６は、視線検出部５により検出された検出結果を、他の装置に出力する。他の装置は、例えば、マーケティング分析を行うコンピュータや、視線の方向を利用した入力インターフェースなどである。

記憶部７は、視線検出処理に必要な各種情報を記憶する記憶部である。

次に、瞳孔検出部３の詳細な機能構成について説明する。図２は、瞳孔検出部の機能構成例である。なお、図２は、瞳孔検出装置の機能構成例でもある。

瞳孔検出部３は、顔検出部１１、瞳孔候補検出部１２、推定部１３、特定部１４、学習部１５、テンプレート記憶部１６、瞳孔候補記憶部１７、学習情報記憶部１８を有する。なお、テンプレート記憶部１６、瞳孔候補記憶部１７、学習情報記憶部１８は、図１の記憶部７として実現されてもよい。

顔検出部１１は、画像取得部２から入力された画像から、対象者の顔に対応する顔領域を検出する。なお、顔領域を検出する方法は、従来の方法が適用される。例えば、中原智治ら、自律移動ロボット用人検出方法、松下電工技法、Ｖｏｌ．５３、Ｎｏ．２に記載の方法や、顔の特徴に係るテンプレートを用いた顔検出技術により、顔領域が検出される。

瞳孔候補検出部１２は、画像取得部２から入力された画像から、瞳孔候補を検出する。具体的には、瞳孔候補検出部１２は、顔検出部１１により検出された顔領域から、さらに目の領域を検出する。なお、目領域の検出には、例えば、特許文献１に記載の方法が利用される。

そして、瞳孔候補検出部１２は、目の領域に対して、テンプレートマッチングを実行することで、瞳孔候補を検出する。例えば、特許文献１に記載の方法が利用される。簡単に説明すると、瞳孔候補検出部１２は、テンプレート記憶部１６に記憶されたテンプレート情報に類似する形状を、近赤外画像の目領域から抽出する。なお、テンプレート情報は、特定の形状に係る形状情報の一例である。

ここで、テンプレート記憶部１６について説明する。テンプレート記憶部１６は、瞳孔の形状に係るテンプレート情報を記憶する。そして、好ましくは、テンプレート記憶部１６は、さまざまな大きさの瞳孔を検出できるように、様々な半径を有する円形状のテンプレート情報を記憶する。

図３は、テンプレート記憶部に記憶されたテンプレート情報の例を示す。図３のように、種々の半径を有するテンプレート情報１６Ａ、１６Ｂ、１６Ｃが、予め記憶される。

瞳孔候補検出部１２は、目領域上を、テンプレートを走査させ、テンプレートの輪郭と一部一致する領域を、瞳孔候補として検出する。なお、瞳孔候補検出部１２は、ある大きさのテンプレートの走査が終了した後に、テンプレートの大きさを変更し、走査処理を繰り返し実行することで、大きさが異なる円形状の領域を、瞳孔候補として検出する。

瞳孔候補検出部１２は、瞳孔候補を検出した場合には、各瞳孔候補にＩＤを付与するとともに、ＩＤ、瞳孔候補の位置情報（Ｘ座標、Ｙ座標）、半径を対応付けて、瞳孔候補記憶部１７に記憶する。ここで、ＩＤは、検出された瞳孔候補を一意に識別する情報である。瞳孔候補の位置情報（Ｘ座標、Ｙ座標）は、瞳孔候補をテンプレートによって円形に補完した場合の、中心座標とする。また、瞳孔候補の半径は、瞳孔の候補をテンプレートによって円形に補完した場合の、円の半径とする。

さらに、瞳孔候補検出部１２は、各瞳孔候補について、輪郭尤度を算出するとともに、瞳孔候補記憶部１７に記憶する。輪郭尤度は、瞳孔候補の輪郭からみた、瞳孔であることの確からしさを表す。つまり、輪郭尤度が大きいほど、瞳孔候補の輪郭とテンプレートの外形との一致度が高く、形状からみて瞳孔候補は瞳孔である可能性が高い。輪郭尤度は、例えば、特許文献１に記載の方法で算出される。

例えば、瞳孔候補検出部１２は、検出した瞳孔候補の輪郭とテンプレートの外形との一致度に基づき、輪郭尤度を算出する。また、瞳孔候補検出部１２は、輪郭尤度が閾値以上の瞳孔候補のみを瞳孔候補記憶部１７に記憶するとしてもよい。

次に、瞳孔候補記憶部１７について説明する。瞳孔候補記憶部１７は、瞳孔候補に関する瞳孔候補情報を記憶する。図４は、瞳孔候補記憶部のデータ構成例を示す。瞳孔候補記憶部１７は、ＩＤ、Ｘ座標、Ｙ座標、半径、および輪郭尤度を対応付けて記憶する。なお、瞳孔候補情報は、ＩＤ、Ｘ座標、Ｙ座標、半径、および輪郭尤度を含む情報である。

次に、推定部１３は、対象領域の輝度情報に基づき、瞳孔の大きさを推定する。対象領域は、画像における、顔検出部１１による検出された顔領域を除いた領域の全部または一部の領域である。

例えば、推定部１３は、対象領域に含まれる各画素の輝度情報から、対象領域の代表輝度情報を生成する。代表輝度情報は、各画素の輝度の平均値、中央値などである。そして、推定部１３は、学習情報記憶部１８に記憶された学習情報に基づき、対象領域の代表輝度情報に対応する瞳孔の大きさを決定する。学習情報は、対象領域の輝度情報と瞳孔の大きさ（半径）との関係を示す情報である。

ここで、学習情報記憶部１８について説明する。なお、学習情報は、後述の学習部１５により生成されて、学習情報記憶部１８に記憶される。図５は、学習情報記憶部に記憶される学習情報の例である。

図５に示す通り、学習情報は、例えば、対象領域の輝度情報と瞳孔の半径（ピクセル）との間に成立する関係を示す関数である。図５の例では、横軸は対象領域の輝度情報を示し、縦軸は瞳孔の半径を示す。図５に示すように、輝度情報が大きくなるにつれて（環境が明るくなるにつれて）、瞳孔の半径は小さくなる。

特定部１４は、瞳孔候補検出部１２により検出された瞳孔候補の中から、推定部１３により推定された瞳孔の大きさ（半径）に基づき、瞳孔を検出する。例えば、特定部１４は、推定された瞳孔の大きさと輪郭尤度とに基づく瞳孔尤度を算出し、瞳孔尤度に基づき瞳孔を検出する。図６は、瞳孔尤度を説明するための図である。

図６に示す通り、特定部１４は、瞳孔候補（ＩＤ）ごとに、推定部１３が推定した瞳孔の大きさ（半径）と、瞳孔候補の大きさ（半径）との差分を算出する。さらに、特定部１４は、当該差分に基づき、大きさ尤度を、例えば、以下の式１により算出する。なお、大きさ尤度は、推定された瞳孔の大きさと瞳孔候補の大きさとの差分を正規化した値に相当する。つまり、大きさ尤度は、推定された瞳孔の大きさと瞳孔候補の大きさが近いほど、大きな値となる。なお、式１におけるＡは、正規化のため設定される値である。

次に、特定部１４は、瞳孔候補検出部１２が算出した輪郭尤度と、大きさ尤度とから、各瞳孔候補の瞳孔尤度を算出する（式２）。つまり、瞳孔尤度は、形状からみた、瞳孔である可能性（輪郭尤度）と、大きさからみた、現在の環境の明るさにおける瞳孔である可能性（大きさ尤度）とを加味した値である。

そして、特定部１４は、複数の瞳孔候補の中から、瞳孔尤度が最大であって、かつ、所定の閾値よりも大きい瞳孔尤度を有する瞳孔候補を、瞳孔として特定する。

図６の例では、例えば、推定部１３が推定した瞳孔の半径が「３（ピクセル）」であったとする。この時、ＩＤが「１」である瞳孔候補について、特定部１４は、差分「７」を算出する。特定部１４は、式１に基づき、大きさ尤度「０．６５」を算出する。なお、Ａは、２０であるとする。そして、特定部１４は、予め算出されている輪郭尤度「０．８４」と大きさ尤度「０．６５」とに基づき、瞳孔尤度「０．５４」を算出する。

このようにして、各々の瞳孔候補について、特定部１４が瞳孔尤度を算出した結果、図６の例では、ＩＤが「２」である瞳孔候補が瞳孔として特定される。ＩＤが「２」の瞳孔候補は、瞳孔の半径が「４」であって、推定部１３が推定した瞳孔の半径「３」に最も近い半径を有する瞳孔候補である。

なお、特定部１４は、輪郭尤度を加味せず、推定された瞳孔の大きさに最も近い半径を有する瞳孔候補を、瞳孔として検出してもよい。つまり、大きさ尤度を、瞳孔尤度として利用してもよい。ただし、同じ瞳孔尤度（大きさ尤度）を有する瞳孔候補が複数存在する場合には、例えば、特定部１４は、左右の目領域各々からの検出結果に基づき、瞳孔を特定する。具体的には、左右の目の瞳孔は、角膜反射との位置関係が左右でほぼ同一であること、また、大きさがほぼ同一であることなどのルールを予め指定しておき、そのルールに従って、特定部１４は、左右各々の瞳孔候補の中から、瞳孔を特定する。

学習部１５は、対象領域の輝度情報と瞳孔の大きさ（半径）との関係を示す学習情報を生成する。具体的には、学習部１５は、実際の視線検出または瞳孔検出に先駆けて、まず、複数の近赤外画像を、学習用画像として取得する。なお、学習用画像は、実際に視線検出が実行される環境と同様の環境で撮影された画像である。また、学習用画像は、同様の環境において環境の明るさが変化した複数の画像である。

例えば、店舗内のある棚に設置されたカメラ８が、店舗の入射する自然光が異なる様々な時刻や天候で、撮影した画像が学習用画像となる。このように、視線検出が実際に実行される環境が既知である場合に、当該既知の環境毎に、学習情報を生成することが好ましい。なお、学習用画像は光源９から近赤外光が照射された状態で撮影された、画像である。

次に、学習部１５は、顔検出部１１と同様の処理によって、学習用画像から、顔領域を検出する。さらに、学習部１５は、顔検出部１１と同様の処理によって、学習用画像から、目領域を検出する。そして、学習部１５は、瞳孔候補検出部１２と同様の処理によって、学習用画像における目領域から、瞳孔候補を検出する。さらに、学習部１５は、瞳孔候補が複数であった場合に、正しい瞳孔を、対象者（管理者）に選択させることで、瞳孔を決定する。なお、学習用画像から正しく瞳孔が検出できなかった場合には、当該学習用画像は、学習処理に利用しない。

また、学習部１５は、非特許文献１に開示された方法によって、自動で瞳孔を決定してもよい。簡単に説明すると、学習部１５は、画像の平滑化を行うとともに、隣接する２画素の輝度差が一定値以下の領域を連結することでセグメント化を実行する。さらに、学習部１５は、セグメント化された領域の中から、輪郭の形状および輝度に基づき、瞳孔領域を決定する。具体的には、学習部１５は、形状が略円形であって、かつ輝度が低い領域を、瞳孔領域として、特定する。なお、学習用画像から正しく瞳孔が検出できなかった場合には、当該学習用画像は、学習処理に利用しない。

なお、非特許文献１に記載の瞳孔検出処理を本実施例に係る学習処理に適用する事で、学習情報が生成されていない状態であっても自動的に瞳孔を検出することができる。ただし、本実施例に開示の瞳孔検出処理（学習後）の方が、より簡易な処理で瞳孔を検出することができる。したがって、本実施例に開示の瞳孔検出処理（学習後）は、非特許文献１に記載の瞳孔検出処理と比較して、演算量を軽減するとともに、処理時間を短縮させることができる。

以上のようにして、学習部１５が瞳孔を決定すると、学習部１５は、決定された瞳孔の大きさ（半径）を演算する。そして、学習部１５は、推定部１３と同様の処理によって、対象領域を設定するとともに、対象領域の代表輝度情報を生成する。そして、学習部１５が、代表輝度情報と瞳孔の大きさの情報とを対応付けた学習用情報を生成する。

以上の処理を、取得した学習用画像各々に対して実行する事で、複数の学習用情報を蓄積し、学習部１５は、蓄積された情報に基づき、学習情報を生成する。例えば、代表輝度情報の最小値と最大値との差が１００以上になるまで、学習用情報を蓄積する事で、より信頼性の高い学習情報を生成することができる。そして、学習部１５は、学習情報記憶部１８に学習情報を記憶する。

次に、視線検出装置１のハードウェア構成例について説明する。図７は、視線検出装置のハードウェア構成である。コンピュータ１０００は、実施例に係る視線検出処理を実行し、視線検出装置１として機能する。コンピュータ１０００は、実施例に係る瞳孔検出処理部分を実行し、瞳孔検出装置（瞳孔検出部３）として機能する場合もある。

コンピュータ１０００はＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）１００１、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１００２、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１００３、通信装置１００４、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）１００５、入力装置１００６、表示装置１００７、媒体読取装置１００８を有しており、各部はバス１００９を介して相互に接続されている。そしてＣＰＵ１００１による制御下で相互にデータの送受を行うことができる。

瞳孔検出処理に係るプログラムや、当該瞳孔検出処理を含む一連の視線検出処理にかかるプログラムは、コンピュータ１０００が読み取り可能な記録媒体に記録される。コンピュータ１０００が読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。

光ディスクには、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅｃｏｒｄａｂｌｅ／ＲｅＷｒｉｔａｂｌｅ（ＣＤ−Ｒ／ＲＷ）などがある。光磁気記録媒体には、Ｍａｇｎｅｔｏ − Ｏｐｔｉｃａｌ ｄｉｓｋ（ＭＯ）などがある。各実施例に係る処理が記述されたプログラムを流通させる場合には、例えば、当該プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。

そして本実施例に係るプログラムを実行するコンピュータ１０００の媒体読取装置１００８が、当該プログラムを記録した記録媒体から、該プログラムを読み出す。ＣＰＵ１００１は、読み出されたプログラムをＨＤＤ１００５若しくはＲＯＭ１００２、ＲＡＭ１００３に格納する。ＣＰＵ１００１は、視線検出装置１全体の動作制御を司る中央処理装置である。

そして、ＣＰＵ１００１が、本実施例に関わる処理が記述されたプログラムをＨＤＤ１００５から読み出して実行することで、ＣＰＵ１００１は、視線検出装置１における瞳孔検出部３、反射検出部４、視線検出部５として機能する。なお、ＣＰＵ１００１は、瞳孔検出装置（瞳孔検出部３）における、顔検出部１１、瞳孔候補検出部１２、推定部１３、特定部１４、学習部１５として機能する場合もある。先に述べたとおり、プログラムはＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されていても良い。

通信装置１００４は、ＣＰＵ１００１の制御の下、画像取得部２や出力部６として機能する。

ＨＤＤ１００５は、ＣＰＵ１００１の制御下で、各種情報を記憶し、記憶部７として機能する。なお、ＨＤＤ１００５は、瞳孔検出装置（瞳孔検出部３）における、テンプレート記憶部１６、瞳孔候補記憶部１７、学習情報記憶部１８として機能する場合もある。各種情報は、プログラム同様、ＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されても良い。さらに、処理の過程で一時的に生成および保持される各種情報は、例えば、ＲＡＭ１００３に格納される。

入力装置１００６は、各種入力を受け付ける。例えば、学習処理において、対象者が瞳孔候補の中から正しい瞳孔を選択する際の入力を受け付ける。入力装置１００６は、例えばキーボードやマウスである。

表示装置１００７は、各種情報を表示する。表示装置１００７は、例えばディスプレイである。例えば、表示装置１００７は、視線検出結果を表示したり、学習処理において対象者に瞳孔候補の中から正しい瞳孔を選択させるために、瞳孔候補の検出結果を表示する。

このように、図１および図２に示した各機能部は、プロセッサーおよびメモリを含むハードウェア（コンピュータ）によって実現される。

また、視線検出装置１は、クラウド上で実現される場合もある。つまり、クラウド環境において、カメラ８が撮影された画像が特定のサーバに送信され、当該サーバまたは、当該サーバを含む複数のサーバが、本実施例に係る瞳孔検出処理や、当該瞳孔検出処理を含む一連の視線検出処理を実行してもよい。

次に、対象領域を利用して、瞳孔検出を行うことの利点について説明する。まず、図８は、対象者がメガネをかけている状態で撮影された近赤外画像の一部分の拡大図である。図８に示す通り、近赤外画像の一部７０には、メガネ７１をかけた対象者の顔の一部が写っている。そして、光源９から近赤外光が照射されているため、メガネ７１のレンズ表面上で、近赤外光の反射７２が起こっている。なお、視線検出に利用される角膜反射は、対象者の眼球表面における反射７４である。また、本来検出されるべき、瞳孔は、領域７３である。

光の反射が、眼球のように平面性が低い（球面性が高い）物体の表面で起こっている場合には、反射光のうちカメラ８に到達する反射光の割合は、平面性が高い物体の表面での反射光のうち、カメラ８に到達する反射光の割合に比べて小さい。よって、眼球表面における反射は、近赤外画像上で、反射７４のように小さな点として観測される。一方、メガネのレンズように平面性の高い物体の表面における反射は、近赤外画像上で、反射７２のように広範囲に観測される。

以上を鑑みると、例えば、従来技術の画像処理装置のように、目領域７５の輝度情報から、瞳孔の大きさ（半径）を推測した場合に、反射７２の影響を受けるため、正しく瞳孔の大きさを推測することができない。

一方、実際に視線検出を行う状況を考えた場合に、カメラ８に対して、対象者は、壁などの背景を背にカメラの前面に存在することが多い。そこで、発明者は、光源９からの光の反射の影響が表れにくい画像領域が、対象者の背景部分に存在することを発見した。

そこで、発明者は、画像における特定の画像領域の輝度情報を用いることで、上述のような問題を解消し、メガネをかけているような対象者も含め不特定多数の対象者に対して、瞳孔検出を可能とする方法を考えた。なお、この画像領域は、上述の対象領域に相当する。

次に、光源９からの光の反射の影響が表れにくい画像領域（対象領域）について、説明する。一般的に、光源（例えば光源９や太陽）から照射された光が物体に到達する際の光の強さは、光源から物体までの距離の二乗に反比例する。

図９は、光の減衰を示す図である。図９において、横軸は光源からの距離（ｃｍ）を表し、縦軸は、光源からの距離が５０ｃｍの地点での光の強さに対する各距離における光の強さの割合（％）である。

例えば、光源が視線検出システム１００の光源９である場合に、対象者までの距離が５０ｃｍであって、その後方５０ｃｍに壁等の物体が存在するとする。すると、光源９から照射される近赤外光は、対象者の顔に到達した時点の強さに対して、壁の位置では、２０％強まで減衰する。到達する光の強さが減衰しているので、反射する光の強さも同様に減衰する。

したがって、対象者の顔以外の背景領域を、対象領域とすることで、反射の影響が小さいと推測される領域から、環境の明るさを推測することができる。よって、対象領域の輝度情報と瞳孔の大きさ（半径）との関係が学習済みである場合に、対象者がメガネをかけているような場合でも、瞳孔を正確に検出することができる。

図１０Ａおよび図１０Ｂは、対象領域を説明するための図である。図１０Ａは、対象者の顔が撮影された近赤外画像９１を示す。図１０Ｂは、近赤外画像９２のなかで、検出された顔領域９３、および矩形領域９４、９５、９６を示す。

対象領域は、矩形領域９４、９５、９６を合わせた顔領域９３以外の全領域であってもよいし、矩形領域９４など一部の領域でもよい。なお、矩形領域９４は、顔領域９３よりも右側の矩形領域であり、矩形領域９５は、顔領域９３よりも左側の矩形領域である、矩形領域９６は顔領域９３よりも下側の矩形領域である。

対象領域としては、より光源９から照射された光の影響を受けにくい領域の割合が大きい方が、瞳孔検出の精度が上がる。よって、顔同様、カメラ８からの距離が近い、胴体部分を含む可能性が高い矩形領域９６は、対象領域から除外してもよい。

次に、本実施例に係る視線検出処理の流れを説明する。図１１は、視線検出処理のフローチャートである。

まず、画像取得部２は、カメラ８が撮影した近赤外画像の画像情報を取得する（Ｏｐ．１）。そして、瞳孔検出部３は、瞳孔検出処理を実行する事で、瞳孔を検出する（Ｏｐ．２）。なお、瞳孔検出処理のフローチャートは、図１２に示す。

そして、反射検出部４は、近赤外画像から角膜反射を検出する（Ｏｐ．３）。なお、瞳孔検出処理と反射検出処理の順序は逆であってもいいし、並行して実行されてもよい。次に、視線検出部５は、瞳孔検出処理により検出された瞳孔の位置と、反射検出処理により検出された角膜反射の位置とに基づき、対象者の視線を検出する（Ｏｐ．４）。そして、出力部６は、検出した視線に関する情報を、他の装置に出力する（Ｏｐ．５）。

次に、瞳孔検出処理について説明する。図１２は、瞳孔検出処理のフローチャートである。まず、顔検出部１１は、近赤外画像から、対象者の顔領域を検出する（Ｏｐ．１１）。次に、瞳孔候補検出部１２は、近赤外画像から目領域を検出する（Ｏｐ．１２）。瞳孔候補検出部１２は、テンプレート記憶部１６からテンプレート情報を取得し、テンプレートマッチングにより、瞳孔候補を検出する（Ｏｐ．１３）。

そして、瞳孔候補検出部１２は、検出された瞳孔候補について、瞳孔候補情報を生成するとともに、瞳孔候補記憶部１７に記憶する（Ｏｐ．１４）。つまり、複数の瞳孔候補に対して、各々ＩＤが付与されるとともに、各瞳孔候補の位置を示すＸ座標およびＹ座標、大きさ（半径）、輪郭尤度が算出される。そして、各々の瞳孔候補ついて、ＩＤ、Ｘ座標、Ｙ座標、大きさ（半径）および輪郭尤度を含む瞳孔候補情報が、瞳孔候補記憶部１７に記憶される。

次に、推定部１３は、近赤外画像に対して対象領域を設定する（Ｏｐ．１５）。例えば、顔領域以外の領域を対象領域として設定してもよいし、さらに、顔領域以外の領域の一部領域を対象領域として設定してもよい。ただし、学習情報を生成する際の対象領域の設定方法、瞳孔検出を行う際の対象領域の設定方法は同一であることが好ましい。

そして、推定部１３は、対象領域の輝度情報を用いて、代表輝度情報を生成する（Ｏｐ．１６）。例えば、推定部１３は、対象領域内の各画素の輝度値の平均値を、代表輝度情報として算出する。

次に、推定部１３は、学習情報記憶部１８に記憶された学習情報および代表輝度情報に基づき、瞳孔の大きさを推定する（Ｏｐ．１７）。例えば、推定部１３は、学習情報が関数である場合に、代表輝度情報を当該関数に入力し、その出力を瞳孔の大きさとして取得する。

次に、特定部１４は、瞳孔候補各々について、先に述べた方法により、瞳孔である確からしさを示す瞳孔尤度を算出する（Ｏｐ．１８）。具体的には、特定部１４は、瞳孔候補の大きさと推定された瞳孔の大きさのとの間の大きさ尤度を算出するとともに、大きさ尤度および輪郭尤度とに基づき瞳孔尤度を算出する。

そして、特定部１４が各瞳孔候補の瞳孔尤度を算出した後、特定部１４は、瞳孔尤度が最大の瞳孔候補を特定する（Ｏｐ．１９）。さらに、特定部１４は、特定した瞳孔候補の瞳孔尤度が、予め設定された閾値以上であるか否かを判定する（Ｏｐ．２０）。

そして、瞳孔尤度が閾値以上である場合（Ｏｐ．２０ＹＥＳ）、特定部１４は、Ｏｐ．１９で特定した瞳孔候補を、瞳孔として決定するとともに、当該瞳孔の位置を示す情報を含む瞳孔検出結果（成功）を、出力する（Ｏｐ．２１）。出力先は、例えば、視線検出部５である。

一方、瞳孔尤度が閾値未満である場合（Ｏｐ．２０ＮＯ）、特定部１４は、瞳孔検出が失敗であった旨を判定するとともに、瞳孔検出が失敗した旨の情報を含む瞳孔検出結果（失敗）を出力する（Ｏｐ．２２）。出力先は、例えば、視線検出部５である。

図１３Ａおよび図１３Ｂは、瞳孔検出結果を説明するための図である。図１３Ａは、目領域１２１に対して瞳孔候補検出を行った時点のイメージ図である。つまり、複数の瞳孔候補１２２ａ乃至１２２ｇが、瞳孔候補として検出されている。

図１３Ｂは、本実施例に係る瞳孔検出処理の処理結果（成功）のイメージ図である。つまり、目領域１２３の中で、一つの瞳孔候補１２２ｂが瞳孔１２４として検出されている。このように、瞳孔候補検出時点では、テンプレートマッチングの結果、複数の瞳孔候補が検出されるが、対象領域の輝度情報に応じた瞳孔尤度で評価することにより、もっとも確からしい瞳孔候補を瞳孔として検出することができる。

以上の通り、一連の瞳孔検出処理により、近赤外光の反射による影響を受けにくい対象領域の輝度情報から瞳孔の大きさを推定する事で、対象者がメガネをかけている場合でも、瞳孔検出の精度を維持することができる。したがって、当該瞳孔検出処理の結果を用いた視線検出処理の精度も維持される。

実施例２は、対象領域の輝度情報と目領域の輝度情報とのいずれを用いることが良いかを判定する事で、以下のような場合でも瞳孔の大きさを正しく推定することを目的とする。

図１４は、実施例２を説明するための図である。図１４の近赤外画像１３１には、対象領域１３２、目領域１３３が設定されている。ここで、図１４の対象者は、通常のメガネではなく、サングラスを着用しているものとする。サングラスを着用する事で可視光の一部が遮断されるため、明るい環境でも、瞳孔は小さくなる。つまり、瞳孔の大きさを推定する際に、目領域の１３３の輝度情報を利用した方が、対象領域１３２の輝度情報を利用する場合よりも、瞳孔の大きさの推定精度が高くなることが予測される。

そこで、実施例２においては、対象領域の輝度情報と目領域の輝度情報とを比較する事で、対象領域の輝度情報を用いて瞳孔の大きさを推定するべきか（サングラスをかけていない場合）、目領域の輝度情報を用いて瞳孔の大きさを推定するべきか（サングラスをかけている場合）判断する。なお、実施例２が効果的なシーンとして、サングラスをかけている場合以外にも、目領域が陰になっている場合等もある。

実施例２に係る視線検出システム１００および視線検出装置１は、実施例１と同様の機能構成を有する。ただし、実施例１に係る瞳孔検出部３（瞳孔検出装置）の処理の一部が異なる。図１５は、実施例２に係る瞳孔検出部の機能構成例である。

瞳孔検出部３’は、顔検出部１１、瞳孔候補検出部１２、推定部１３’、特定部１４、学習部１５’、テンプレート記憶部１６、瞳孔候補記憶部１７、学習情報記憶部１８’を有する。なお、図１５は、瞳孔検出装置の機能構成例でもある。

実施例１と同様の処理を行う処理部には、同一の符号を付して、説明を省略する。なお、瞳孔検出部３’に対応する瞳孔検出装置、または、瞳孔検出部３’を含む視線検出装置のハードウェア構成は、実施例１と同様である。

推定部１３’は、対象領域の代表輝度情報と、目領域の代表輝度情報とを比較して、比較結果に基づき、瞳孔の大きさを推定する。例えば、目領域の代表輝度情報が対象領域の代表輝度情報よりも大きい場合、推定部１３’は、対象領域の代表輝度情報と学習情報（後述の第一の学習情報）とを用いて、瞳孔の大きさを推定する。

一方、目領域の代表輝度情報が対象領域の代表輝度情報以下である場合、推定部１３’は、目領域の代表輝度情報と学習情報（後述の第二の学習情報）とを用いて、瞳孔の大きさを推定する。

学習部１５’は、サングラスをかけていない対象者等、目にあたる光が遮断されていない状態で撮影された学習用画像から第一の学習情報を生成するとともに、サングラスをかけた対象者等、目にあたる光が遮断された状態で撮影された学習用画像から第二の学習情報を生成する。なお、各々の学習用画像から、各々の学習情報が生成される処理は実施例１と同様である。

そして、学習情報記憶部１８’は、第一の学習情報と第二の学習情報とを、それぞれ記憶する。なお、第一の学習情報および第二の学習情報は、実施例１と同様に、輝度情報と瞳孔の大きさとの関係を表す情報であって、例えば関数情報である。

次に、実施例２に係る視線検出処理の流れは、実施例１（図１１）と同様である。ただし、Ｏｐ．２に係る瞳孔検出処理の流れが、実施例１とは異なる。図１６は、実施例２に係る瞳孔検出処理のフローチャートである。なお、実施例１に係る瞳孔検出処理と同様の処理については、同一の符号を付し、説明を簡略化する。

まず、顔検出部１１は、近赤外画像から、対象者の顔領域を検出する（Ｏｐ．１１）。次に、瞳孔候補検出部１２は、近赤外画像から目領域を検出する（Ｏｐ．１２）。次に、瞳孔候補検出部１２は、テンプレート記憶部１６からテンプレート情報を取得し、テンプレートマッチングにより、瞳孔候補を検出する（Ｏｐ．１３）。そして、瞳孔候補検出部１２は、検出された瞳孔候補について、瞳孔候補情報を生成するとともに、瞳孔候補記憶部１７に記憶する（Ｏｐ．１４）。

次に、推定部１３’は、近赤外画像に対して対象領域を設定する（Ｏｐ．１５）。そして、推定部１３’は、対象領域の輝度情報を用いて、代表輝度情報を生成する（Ｏｐ．１６）。例えば、推定部１３’は、対象領域内の各画素の輝度値の平均値を、代表輝度情報として算出する。

次に、推定部１３’は、Ｏｐ．１２にて検出された目領域に含まれる複数の画素の輝度情報に基づき、目領域の代表輝度情報を生成する（Ｏｐ．１０１）。目領域の代表輝度情報は、対象領域の代表輝度情報と同様に、対象領域内の各画素の輝度値の平均値や、中央値である。

そして、推定部１３’は、目領域の代表輝度情報と対象領域の代表輝度情報とを比較する（Ｏｐ．１０２）。目領域の代表輝度情報が対象領域の代表輝度情報よりも大きい場合（Ｏｐ．１０２ＹＥＳ）、推定部１３’は、学習情報記憶部１８’に記憶された第一の学習情報および、対象領域の代表輝度情報に基づき、瞳孔の大きさを推定する（Ｏｐ．１０３）。つまり、実施例１と同様、対象領域の輝度情報（周囲の明るさ）に応じて、瞳孔の大きさを推定する。

一方、目領域の代表輝度情報が対象領域の代表輝度情報以下であった場合（Ｏｐ．１０２ＮＯ）、推定部１３’は、学習情報記憶部１８’に記憶された第二の学習情報および、目領域の代表輝度情報に基づき、瞳孔の大きさを推定する（Ｏｐ．１０４）。つまり、目領域の輝度情報（目にあたっている明るさ）に応じて、瞳孔の大きさを推定する。

次に、特定部１４は、瞳孔候補各々について、瞳孔である確からしさを示す瞳孔尤度を算出する（Ｏｐ．１８）。そして、特定部１４が各瞳孔候補の瞳孔尤度を算出した後、特定部１４は、瞳孔尤度が最大の瞳孔候補を特定する（Ｏｐ．１９）。さらに、特定部１４は、特定した瞳孔候補の瞳孔尤度が、予め設定された閾値以上であるか否かを判定する（Ｏｐ．２０）。

そして、瞳孔尤度が閾値以上である場合（Ｏｐ．２０ＹＥＳ）、特定部１４は、Ｏｐ．１９で特定した瞳孔候補を、瞳孔として決定するとともに、当該瞳孔の位置を示す情報を含む瞳孔検出結果（成功）を、出力する（Ｏｐ．２１）。一方、瞳孔尤度が閾値未満である場合（Ｏｐ．２０ＮＯ）、特定部１４は、瞳孔検出が失敗であった旨を判定するとともに、瞳孔検出が失敗した旨の情報を含む瞳孔検出結果（失敗）を出力する（Ｏｐ．２２）。

以上のように、対象者の目にあたる光が極端にさえぎられているような場合には、対象領域の輝度情報よりも目領域の輝度情報を利用した方が、瞳孔検出の精度を高められることが予測される。そこで、実施例２に係る瞳孔検出処理は、目領域の輝度情報と対象領域の輝度情報との比較結果に応じて、参照する輝度情報（代表輝度情報）と、参照する学習情報とを決定することができる。

変型例１

瞳孔検出部３または瞳孔検出部３’は、目領域の大きさや画像における目領域の位置ごとに、複数の学習情報を記憶してもよい。そして、瞳孔検出部３または瞳孔検出部３’は、目領域の大きさや目領域の位置に応じて、カメラ８と対象者との位置関係を推定し、当該位置関係に応じて、瞳孔検出に利用する学習情報を切り替えて、瞳孔の大きさを推定する。

１００ 視線検出システム
１ 視線検出装置
２ 画像取得部
３、３’ 瞳孔検出部
４ 反射検出部
５ 視線検出部
６ 出力部
７ 記憶部
８ カメラ
９ 光源
１１ 顔検出部
１２ 瞳孔候補検出部
１３、１３’ 推定部
１４ 特定部
１５、１５’ 学習部
１６ テンプレート記憶部
１７ 瞳孔候補記憶部
１８、１８’ 学習情報記憶部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 通信装置
１００５ ＨＤＤ
１００６ 入力装置
１００７ 表示装置
１００８ 媒体読取装置

Claims (12)

1. コンピュータが、
   画像における顔画像領域から、特定の形状情報に基づき、複数の瞳孔候補を検出し、
   前記顔画像領域を含まない他の画像領域に係る輝度情報、および該輝度情報と瞳孔の大きさとの関係を示す学習情報に基づき、前記複数の瞳孔候補から、少なくとも一つの瞳孔候補を、瞳孔検出結果として出力する処理において、
   前記画像から特定された目領域に係る他の輝度情報と、前記他の画像領域に係る前記輝度情報とを比較し、
   比較結果に応じて、前記学習情報に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定する
   処理を実行することを特徴とする瞳孔検出プログラム。
2. 前記コンピュータに、
   前記画像とは異なる複数の学習用画像の各々における前記他の顔画像領域の各々から、学習に利用する瞳孔を検出し、
   前記他の顔画像領域を含まない領域に係る輝度情報と、前記学習に利用する瞳孔の大きさとに基づき、前記学習情報を生成する
   処理を実行させることを特徴とする請求項１に記載の瞳孔検出プログラム。
3. 前記複数の学習用画像は、前記画像と同様の撮影環境で撮影された画像であることを特徴とする請求項２に記載の瞳孔検出プログラム。
4. 前記画像を撮影する撮影装置は近赤外光に対して感度を有し、
   前記画像は近赤外画像である
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の瞳孔検出プログラム。
5. 前記コンピュータに、
   前記他の画像領域に係る前記輝度情報に対応する前記瞳孔の大きさを、前記学習情報を用いて特定し、
   前記瞳孔の大きさと、前記複数の瞳孔候補各々の大きさとの差分を求め、
   前記差分に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定する処理を実行させることを特徴とする請求項１乃至請求項４のいずれかに記載の瞳孔検出プログラム。
6. 前記コンピュータに、
   前記特定の形状情報と前記複数の瞳孔候補の輪郭とに基づき、尤度を算出し、
   前記差分と、前記尤度とに基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定する
   処理を実行させることを特徴とする請求項５に記載の瞳孔検出プログラム。
7. 前記コンピュータに、
   前記比較結果が、前記他の輝度情報が前記輝度情報よりも明るいことを示す場合、前記学習情報に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定する処理を実行させることを特徴とする請求項１に記載の瞳孔検出プログラム。
8. 前記コンピュータに、
   前記比較結果が、前記他の輝度情報が前記輝度情報よりも暗いことを示す場合、前記他の輝度情報と瞳孔の大きさとの関係を示す他の学習情報に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定する
   処理を実行させることを特徴とする請求項１に記載の瞳孔検出プログラム。
9. 前記瞳孔検出結果は、前記画像に写る対象者の視線を検出する視線検出装置に出力されることを特徴とする請求項１乃至請求項９のいずれかに記載の瞳孔検出プログラム。
10. コンピュータが、
    画像における顔画像領域から、特定の形状情報に基づき、複数の瞳孔候補を検出し、
    前記顔画像領域を含まない他の画像領域に係る輝度情報、および該輝度情報と瞳孔の大きさとの関係を示す学習情報に基づき、前記複数の瞳孔候補から、少なくとも一つの瞳孔候補を、瞳孔検出結果として出力する処理において、
    前記画像から、目領域を特定し、
    前記目領域に係る他の輝度情報と、前記他の画像領域に係る前記輝度情報とを比較し、
    比較結果に基づき、前記学習情報に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定する
    処理を実行することを特徴とする瞳孔検出方法。
11. 画像における顔画像領域から、特定の形状情報に基づき、複数の瞳孔候補を検出する瞳孔候補検出部と、
    前記顔画像領域を含まない他の画像領域に係る輝度情報、および該輝度情報と瞳孔の大きさとの関係を示す学習情報に基づき、前記複数の瞳孔候補から、少なくとも一つの瞳孔候補を、瞳孔検出結果として出力する出力部と
    を有し、
    前記画像から特定された目領域に係る他の輝度情報と、前記他の画像領域に係る前記輝度情報とを比較し、
    比較結果に応じて、前記学習情報に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定することを特徴とする瞳孔検出装置。
12. 撮影装置と、
    前記撮影装置の撮影範囲に、所定の波長の光を照射する光源と、
    前記撮影装置により撮影された画像における顔画像領域から、特定の形状情報に基づき、複数の瞳孔候補を検出する瞳孔候補検出部と、
    前記顔画像領域を含まない他の画像領域に係る輝度情報、および該輝度情報と瞳孔の大きさとの関係を示す学習情報に基づき、前記複数の瞳孔候補から、少なくとも一つの瞳孔候補を、瞳孔検出結果として出力する出力部と、
    前記瞳孔検出結果と、前記画像から検出された前記光の反射像とに基づき、前記画像に映る人物の視線の方向を特定する視線検出部と
    を有し、
    前記画像から特定された目領域に係る他の輝度情報と、前記他の画像領域に係る前記輝度情報とを比較し、比較結果に応じて、前記学習情報に基づき、前記複数の瞳孔候補から、前記少なくとも一つの瞳孔候補を特定することを特徴とする視線検出システム。

Images