JP5145555B2 - 瞳孔検出方法 - Google Patents

Description

本発明は、瞳孔検出方法に関するものである。

瞳孔検出技術は、瞳孔マウス、視線検出、顔方向検出、眠気検出などに有用であり、これまでに様々な技術として提案されている。それらの応用において、瞳孔検出技術を用いる理由は、近赤外線を顔に工夫して照射することにより、瞳孔が高ロバストかつ高精度に検出できるからである。具体的には、明瞳孔画像を得る光源と暗瞳孔画像を得る光源をビデオフレームに同期させて交互に点灯させて、交互に得られる明瞳孔画像と暗瞳孔画像を差分することで、背景を消滅させて瞳孔のみを浮き彫りにし、瞳孔を容易に検出することができるからである。

瞳孔を検出する際に明瞳孔画像と暗瞳孔画像を交互に得て、それを画像差分し、瞳孔を浮き彫りにしてから瞳孔を検出する方法は、周囲の光環境が変化する中での瞳孔検出において、有効かつ有望である。光源の設定法としては、明瞳孔画像を得るためにカメラの開口部に近いところに光源を並べ、暗瞳孔画像を得るためにカメラの開口部から離れた位置にLEDを並べ、それらをビデオのフィールドに同期させて交互に点灯させる方法（下記特許文献１参照）と、網膜反射量の異なる2種類の光源を用意し、それらをビデオのフィールドに同期させて交互に点灯させて、画像差分を行い差分画像から瞳孔を検出する方法（下記非特許文献１参照）がある。

これまでに、容易に実現できる方法として、発明者らは、ＮＴＳＣ方式などのインターレースカメラを利用して、その奇数フィールドと偶数フィールドに明瞳孔画像と暗瞳孔画像を得えて、パソコンにそれらの画像を取り込んでから、差分、瞳孔検出をしてきた。また、明瞳孔画像もしくは暗瞳孔画像から角膜反射を検出してきた。ここで、それらの取得時間に１／６０秒間のずれがあるため、その間(フィールド間)に顔が移動し、瞳孔にずれを生じると画像差分の効果が薄れ瞳孔検出が困難になることを防止するため、画像処理によって、それを補う方法も提案している（非特許文献２及び非特許文献３）。
特開２００５−１８２２４７号公報 中島 彩、海老澤嘉伸、塗壁悠治，"２波長光源による瞳孔検出"，映像情報メディア学会論文誌，Vol.60, No. 12, pp.130-136 遠西昭和,塗壁悠治,海老澤嘉伸，"角膜反射を利用した瞳孔位置検出の高精度化",2006年映像情報メディア学会年次大会,20-3，2006.9.1 海老澤嘉伸,塗壁悠治,柴田真一，"瞳孔と鼻孔の検出に基づく顔方向検出装置",第１２回画像センシングシンポジウム予稿集,pp.358-363, 2006.6.9

しかしながら、上述したような従来技術では以下のような不都合がある場合があった。すなわち、顔が動くと、背景部が完全に消滅しないため、瞳孔が検出しづらくなる。特に、周囲が明るいとき、瞳孔は小さくなるために瞳孔に入射する近赤外光量が減るため、また、画像が飽和しないためにAGC（Automatic Gain Control）等を使用するため、結果的に差分画像における瞳孔部のレベルが低くなるため瞳孔は検出しづらくなる。画像差分を補う方法でも、その効果が鼻孔や角膜反射の検出精度に強く依存し、根本的な解決にはなりにくい。

また、明瞳孔と暗瞳孔を得るための光源は取り付け位置が異なるのが一般的なため、また、仮に同じだとしても、両光源による照射パワーは画像全体において同じにするのは困難である。つまり、その光源の位置の違いによって、画像内に明瞳孔画像と暗瞳孔画像の画像内に瞳孔部以外にもレベル差が現れるため、差分画像において瞳孔が暗いと、このレベル差によって瞳孔検出が難しくなる。また、光源の位置の違いは、眼鏡において位置のずれとして現れ、単に差分をするだけでは互いに相殺されず、眼鏡反射が瞳孔検出の誤検出の原因となりやすい。眼鏡反射は、眼光レンズの前面と後面を何重にも反射し、瞳孔とあまり輝度レベルが違わないスポットにもなりやすく、瞳孔と区別するのが難しい場合がある。また、メガネフレームやレンズのエッジの部分は鋭角な部分であるため、2光源の位置の違いによる影響が顕著に出やすく、差分をしても像が残りやすい。従って、頭部が動かなくても、背景部が残り、瞳孔部のレベルが低いときには、瞳孔検出が困難である。このようなことは、単に、両光源の照明強度のバランスが取れていないときに同様に生じる。

また、目が閉じていて瞳孔が検出できない場合と、顔がカメラフレームから外れて瞳孔が検出できないかが区別しなければならない場合に、単に瞳孔を検出しているだけだと区別しにくい。したがって、顔のおよその位置を検出すべきであるが、瞳孔を検出するカメラは白黒カメラであるため、顔領域を検出するのは困難である。

さらに、光源が角膜で反射したときに生じる角膜反射像は、視線検出などで使用されるが、太陽など輝度の高い物体が、角膜に写ったり、眼鏡レンズに写ったりすると、それらの妨害により、角膜反射が検出しにくくなる。

また、２台のカメラを同期駆動し、２つの波長の光源を同時に点灯させ、ダイクロイックミラーを利用して波長分離して、各カメラで明瞳孔画像と暗瞳孔画像を得る方法も考えられ、この方法では、両画像が同時に取り込めるため、上述の画像間のずれの問題がない。眼鏡反射についても、２波長の光源の位置のずれが小さいためほとんど問題がない。その一方で、カメラのAGC機能を用いると、互いのカメラのゲインが勝手に変化するため、差分の効果がうまく出ないという問題がある。

また、網膜反射量の異なる２つの波長を中心波長とするようなバンドパスフィルタをイメージセンサのラインごとに取り付け、２波長の光源を同時に点灯させ、同時性を保つ方法も考えられるが、この方法では、ラインの物理的なずれによって、明瞳孔画像と暗瞳孔画像がずれた位置を撮影することになり、差分画像に眼鏡フレーム反射などが残りやすく瞳孔検出を難しくする。

そこで、本発明は、かかる課題に鑑みて為されたものであり、周囲の光環境によらず角膜反射や顔領域画像を正確に検出できるとともに、差分画像における瞳孔部以外の輝度レベルのムラを抑えることで瞳孔の検出の精度を高めることが可能な瞳孔検出方法を提供することを目的とする。

上記課題を解決するため、本発明の瞳孔検出方法は、対象者の瞳孔を検出する瞳孔検出方法であって、1個の画素に対応して1つの光電変換素子を有するイメージセンサを用いて、第１の期間に明瞳孔画像又は暗瞳孔画像を得るための光源を対象者に照射した状態で、第１の期間にイメージセンサに露光した後に、露光によって蓄えられた電荷を光電変換素子から該光電変換素子に対応するイメージセンサの第１の電荷転送部に転送する第１ステップと、第１の期間に連続する第２の期間に光源を消灯させた状態で、第２の期間にイメージセンサに露光した後に、露光によって蓄えられた電荷を光電変換素子から該光電変換素子に対応する第１の電荷転送部とは異なる第２の電荷転送部に転送する第２ステップと、第１及び第２の電荷転送部に転送された電荷を第１及び第２の電荷転送部に接続されたシフトレジスタを用いて出力する第３ステップと、シフトレジスタの出力に基づいて明瞳孔画像、無照明画像、及び暗瞳孔画像を得た後に、画像差分処理を行うことによって瞳孔を検出する第４ステップと、を備える。

第１のステップでは、第１の期間が所定の周期で所定回数繰り返された複数の期間に細分化され、複数の期間毎に第１の電荷転送部に電荷を転送し、第２のステップでは、第２の周期が所定の周期で所定回数繰り返された複数の期間に細分化され、複数の期間毎に第２の電荷転送部に電荷を転送し、第３ステップでは、第１の期間及び第２の期間の所定回数の繰り返しが終了後に第１及び第２の電荷転送部に転送された電荷を出力することが好ましい。

また、第４のステップでは、明瞳孔画像から無照明画像を画像差分することよって得られる差分画像、もしくは、暗瞳孔画像から無照明画像を画像差分することによって得られる差分画像から角膜反射を検出することも好ましい。

また、第４のステップでは、明瞳孔画像から無照明画像を画像差分することよって得られる差分画像と暗瞳孔画像から無照明画像を画像差分することによって得られる差分画像とを乗算した画像から角膜反射を検出することも好ましい。

また、第４のステップでは、明瞳孔画像から無照明画像を画像差分することよって得られる差分後明瞳孔画像と、暗瞳孔画像から無照明画像を画像差分することよって得られる差分後暗瞳孔画像とを画像差分した再差分画像から、瞳孔を検出することも好ましい。

また、再差分画像は、画像中の一部の領域において、差分後明瞳孔画像と差分後暗瞳孔画像の輝度バランスを補正した後に差分後明瞳孔画像から差分後暗瞳孔画像を差分して得られる輝度バランス補正後差分画像であることも好ましい。

また、輝度バランス補正後差分画像は、眼鏡反射を考慮して、差分後明瞳孔画像から差分後暗瞳孔画像を差分して得られる眼鏡反射用輝度バランス補正後差分画像であることも好ましい。

また、第４のステップでは、眼鏡反射用輝度バランス補正後差分画像を得るために、差分後明瞳孔画像と差分後暗瞳孔画像において眼鏡反射領域を除いて、輝度バランスをとるための係数を求めることも好ましい。

また、差分後明瞳孔画像もしくは差分後暗瞳孔画像と、無照明画像の輝度レベルの比から、周辺光強度を推定し、光源の発光量をさらに調整することも好ましい。

また、第４のステップでは、差分後明瞳孔画像と差分後暗瞳孔画像より、所定の対象者の部位を追跡特徴点としたテンプレートマッチング法、もしくはテンプレートマッチング法を基本にしたワイヤフレーム法によって対象者の特徴点を検出することも好ましい。

また、テンプレートマッチング法、もしくはテンプレートマッチング法を基本にしたワイヤフレーム法によって対象者の目の位置を特定して、再差分画像から瞳孔を検出することも好ましい。

本発明の瞳孔検出方法によれば、周囲の光環境によらず角膜反射や顔領域画像を正確に検出できるとともに、差分画像における瞳孔部以外の輝度レベルのムラを抑えることで瞳孔の検出の精度を高めることができる。

以下、図面を参照しつつ本発明に係る瞳孔検出方法及び瞳孔検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

（第１実施形態）
本実施形態は、ビデオカメラで瞳孔、角膜反射、目頭、目じりなどの顔の特徴点を高ロバストに検出するための方法と装置に関するものであり、特に周囲が明るく、瞳孔が小さい場合にでも瞳孔を検出できるようにする技術に関するものである。図１は、本発明の第１実施形態である瞳孔検出装置の配置例を示す光路図である。対物レンズ１９、レンズ１８、ミラーＭ１は光路形成手段を形成する。第１のカメラは、短波長（850nm）付近に中心波長を有するバンドパスフィルタＦ１、レンズ１３、及びイメージセンサＣ１により構成され、第２のカメラは、長波長（950nm）付近に中心波長を有するバンドパスフィルタＦ２、レンズ１４、及びイメージセンサＣ２により構成される。ミラーＭ１は、ハーフミラー又はダイクロイックミラーであり、２つのカメラの光軸上に配置されることにより、外見上２つのカメラの光軸がほぼ一致することを可能にするものである。レンズ１９の前面には、２つのカメラの共通の開口部が形成され、開口部付近には開口部を囲むようにリング状の光源２１が取り付けられている。

図２には、図１の光源２１を外側から見た平面図を示している。光源２１は、対象者の顔に向けて照明光を照射するためのものであり、リング状の台座部２２に２種類の発光
素子２３ａ，２３ｂが複数埋め込まれた構造を有している。光源２１の台座部２２は、開口部２４の縁部に沿って開口部２４の外側に位置するように取り付けられている。発光素子２３ａは、出力光の中心波長が850nmの半導体発光素子（ＬＥＤ）であり、台座部２２上において開口部２４の縁に沿って等間隔でリング状に配設されている。また、発光素子２３ｂは、出力光の中心波長が950nmの半導体発光素子であり、台座部２２上において発光素子２３ａの外側に隣接して等間隔に２重リング状に配設され、発光素子２３ａの個数以上で設けられている。このとき、発光素子２３ａ，２３ｂの個数及び供給電流は、撮影対象である対象者の顔面での照度が同一になるように適切な個数及び値に設定されている。さらに、発光素子２３ａ，２３ｂは、図示しないカメラ用の制御装置からの制御信号により、それぞれ独立に発光タイミングを制御可能にされる。

光源２１からの２種類の波長成分の光が、カメラの開口部内で共通の光軸をカメラの光軸にほぼ一致するように保った状態で、被験者の顔に向けて反射される。すなわち、顔の方から見ると光源２１からの光は、カメラの共通光軸を含む開口部内から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、レンズ１９、及びレンズ１８を透過した後にミラーＭ１により分離される。そして、短波長成分を含む光は、バンドパスフィルタＦ１を透過して、レンズ１３により短波長用イメージセンサＣ１上に結像される。一方、ミラーＭ１により反射分離された長波長成分を含む光は、
バンドパスフィルタＦ２を透過して、レンズ１４により長波長用イメージセンサＣ２上に
結像される。

ここで、イメージセンサＣ１，Ｃ２の構成及び機能について以下に説明する。図３は、カメラのシャッタ、電荷転送、及び輝度レベル出力のタイミングを示すタイミングチャート図、図４〜７は、イメージセンサの概略構成を示す図である。

イメージセンサＣ１，Ｃ２は、図４に示すように光電変換素子とＣＣＤ（charge coupled device）ユニット（電荷転送部）とが２次元的に配列され、ＣＣＤユニットの最下行に１列のシフトレジスタが接続されて構成されている。詳細には、２次元的に配列されて画素ごとの電荷を蓄積する光電変換素子と、その光電変換素子の各ラインに対応してライン状に複数個配列されたＣＣＤユニットとを備え、ＣＣＤユニットの各ラインの奇数番目のユニットには、対応する画素の光電変換素子が接続されている。また、各ラインの偶数番目のＣＣＤユニットは、前段のＣＣＤユニットと同じ光電変換素子に対応して設けられ、その光電変換素子に対応した電荷が前段のユニットから転送される。さらに、各ラインの最終行のＣＣＤユニットには、それぞれ、１つのシフトレジスタが接続されている。そして、このイメージセンサＣ１，Ｃ２は以下のように制御されるように構成されている。すなわち、イメージセンサＣ１，Ｃ２では、シャッタオープンの期間を短くして（例えば、100μ秒）、連続して2フレーム画像を撮る(図３)。最初のシャッタが開いている期間（ａ）に、光源２１を点灯させ、光電変換素子からの電荷を対応するCCDユニットに転送する(図４)。次のシャッタの開いている期間（ｂ）は光源を点灯せず、同じ光電変換素子から電荷を同一のCCDユニットに転送する。これら２回の露光と電荷転送の間に、CCD列の１ユニット分だけ下に電荷を転送する。その後は、同CCD列を、下の方向に１ユニット分転送するたびに、最後（一番下）のシフトレジスタ列で右方向に転送、１ライン分の画像情報が出力される。結果的に、（ａ）の期間で得た画像と（ｂ）の期間で得た同一ライン上の画像が交互に出力される。このように、2ライン分の画像情報でも、同一のライン上の画像情報を得ることができるため、NTSCのようにラインのずれにより、瞳孔を検出しにくくなることがない。これらの出力の直後に画像差分を行ってもよい。これにより、周囲の光による輝度レベル成分が除去され、光源の光による輝度成分だけを抽出できる。なお、この本実施形態では、１個の光電変換素子から１個のCCDユニットに転送したが（図５）、上下に並んでいる別々のCCDユニットのそれぞれに（ａ）の期間で得た電荷と（ｂ）の期間で得た電荷とを転送してもよい（図６）。

このようなイメージセンサを持つカメラＣ１，Ｃ２を２セット用意しこれらと光源２１とを同期させて起動させることによって、各カメラで、各波長の光源を上記のように点灯させることで、各波長の光源のみによる光源の画像が得られる。もし、ここで、波長分離が完全にできない場合は、両方のカメラの同期を露光時間が重ならないようにずらせば良い。特に、片方のカメラでは、（ａ）のタイミングでは光源２１を点灯させず、（ｂ）のタイミングで光源２１を点灯させるようにすれば、同期を遅らせる量は、この例で約１００μ秒だけですむ。

先述したように、従来の２つのカメラを使用する装置では、ある周囲の明るさで2つの光源の光量のバランスをとったとしても、周囲の明るさが変化すると、AGCの作用で、カメラごとに別々のゲインになる。そのために、各光源による輝度レベルも違ってきて、各波長の光源のみによる輝度レベル成分同士を差分しても、背景部を零にすることができない。仮にAGCを使用しなくとも、周囲光に含まれる波長成分が変化すれば（電球と蛍光灯でも大きく異なる）、同様のことが生じる。

これを解決するために、明瞳孔画像を生じさせるカメラのほうの光源が点灯するときに得られる画像をIb(x,y)とし、光源が消灯しているときに得られる画像をI01(x,y)とする。また、暗瞳孔画像を生じさせるカメラのほうの光源が点灯するときに得られる画像をId(x,y)とし、光源が消灯しているときに得られる画像をI02(x,y)とする。すると、各カメラで光源の光のみによって生じる画像の輝度レベルの分布I1(x,y)、I2(x,y)は、下記式（１）及び（２）；
I1(x,y)=Ib(x,y)-I01(x,y) …(1)
I2(x,y)=Id(x,y)-I02(x,y) …(2)
で算出できる。先述のように、I1(x,y)とI2(x,y)のバランスは一般に一致しないので以下のように輝度バランスが補正される。しかし、これらは類似した輝度分布を持つ画像であるため、輝度レベルヒストグラムの平均と標準偏差がほぼ同じになるように、変換すればよい。このヒストグラム均一化処理を両方に対して施してから、その後の処理を続ければよい。簡単には、I1(x,y)の平均値<I1>と、I2(x,y)の平均値<I2>を予め算出し、下記式（３）；
<I1>=k・<I2> …(3)
となる値ｋを求める。その後、最終的な差分画像Is(x,y)を下記式（４）で求め、差分画像に適当な閾値を設けて2値化をすれば瞳孔が抽出できる。
Is(x, y)=I1(x, y)-k・I2(x, y) …(4)

又は、除算画像Idiv(x,y)を下記式（５）；
Idiv(x,y)= I1(x,y)/（k・I2(x,y)） …(5)
で画像の輝度レベル同士を除算することもできる。このとき、顔領域以外の背景画像は顔よりも遠くにあるため、I1(x,y),I2(x,y)ともに輝度レベルが低い。そのため、(5)式の割り算をすると背景画像は強いごま塩雑音が乗り、顔領域はほとんど零で満たされたなか瞳孔部だけが浮き上がる。背景部にごま塩雑音があるため、この画像から瞳孔のみを検出するには画像処理コストがかかる。

そこで、次の方法で顔領域を求める。先述のように、背景部は遠くにあるために暗い。それを強調するように、I1(x,y)とI2(x,y)を乗算した画像Im(x,y)を下記式（６）により求める。
Im(x,y)＝I1(x,y)・I2(x,y) …(6)
この画像の一次微分ヒストグラムなどを求めると、2つの山ができる。山の谷間を閾値とすると、顔領域が浮きぼりになる。この顔領域２値化画像と(５) 式で求めた画像の論理積演算をすると容易に背景部がほぼ完全に消える。さらに、得られた画像のヒストグラムを求め、輝度０から高いほうへ順に調べていき、度数がはじめて０となるときの輝度レベルを求めて、それを閾値として2値化すれば、瞳孔像が抽出できる。

図８は、輝度レベル0〜255、画像サイズ320×240の画像フレームを出力するNTSCのカメラに図２のタイプの2波長光源を取り付けて、闇黒下で奇数フィールドと偶数フィールドに各光源を点灯させたときのシミュレーション画像である。シャッタと光源の点灯時間は100μ秒であった。ここで、（ａ）：I1(x,y),（ｂ）：I2(x,y)を擬似的に表現しており、（ｅ）はIm(x,y)、（ｆ）はIdiv(x,y)をあらわしており、論理積演算後の画像及び最終的に得られた瞳孔像が、それぞれ（ｈ）、（ｉ）である。また、（ｊ）及び（ｋ）のグラフはそれぞれ、画像（ｅ）の一次微分ヒストグラム、画像（ｈ）のヒストグラムである。また、図中右上の式は、(6)式に対応する具体的な計算式（画像（ｅ）を生成する式）は、（ｅ）＝｛（ｃ）×（ｄ）｝×0.001であり、は、(5)式に対応する具体的な計算式（画像（ｆ）を生成する式）は、（ｆ）＝｛（ｃ）×255÷（ｄ）｝−255である。

ここで、（ｇ）の顔画像領域を現す画像の面積および重心、範囲などを求めることで、顔がカメラフレームに入っているどうかがわかる。顔がフレームに入っているどうかわかることは、２つの点で重要である。（１）車載用眠気検知装置などで、目の開閉を調べることは重要であり、瞳孔検出が利用できる。諸問題で瞳孔ができないときに、瞬きによるものか、顔がカメラフレームから出ているのかを判断し、ドライバーへの警告の有無に対応させる必要がある。（２）瞳孔や角膜反射は、顔領域内存在するため、顔領域内のそれらの誤検出を大幅に低減できる。
また、(6)式で求めた乗算画像では、I1(x,y)とI2(x,y)の両方で明るいところが強調されるため、この画像から角膜反射を検出できる。ただし、顔が光ったりするときもあり、単に最大値としては正しく求まらないことがあるため、先に検出できた瞳孔に近傍から明るい点として検出する。図９は、画像全体から2個の角膜反射像が検出できることを示している。（ａ）は図８の（ｅ）、（ｂ）は（ａ）の平滑化後(５ｘ５画素)の画像、（ｃ）は、((a)-10-(b))×10の演算によった。

なお、この方法は、暗闇で明瞳孔が非常に明るくなったときに、図８の（ａ）や（ｃ）の明瞳孔画像では極端には瞳孔部が飽和状態になり、瞳孔部の内部に角膜反射が存在する場合には、消えてしまう。しかし、図８の（ｂ）もしくは（ｄ）の暗瞳孔画像では角膜反射は残るため、図８の（ｅ）の積算画像から角膜反射を検出するのは有効である。

本実施形態では、シャッタを100μ秒にしたため、光源が点灯しているときの画像と点灯していないときの画像には取得時間差が100μ秒となる。もし、カメラの感度が足りなければ、シャッタの時間を長くする必要があるが、これは短いほどよく、これが長いと、取得時間差も長くなるために、明瞳孔画像と暗瞳孔画像間で顔画像が移動したとき、瞳孔が移動するだけでなく顔の輪郭など輝度レベル変化の激しいところでは、差分画像においてエッジとして現れるため瞳孔が検出しにくくなる。そこで、図３において、一回だけ100μ秒だけ点灯させて、次の100μ秒だけ消灯させて、画像を取るのではなく、例えば、所定の期間が10μ秒ごとに必要回数だけ交互に光源の点滅を繰り返す複数の期間に細分化され、その交互に点滅する期間に合わせてシャッタを開くことを繰り返すこともできる。このとき、それに対応して光源が点灯しているときと消灯しているときとのそれぞれの細分化された10μ秒の期間で別々のCCDユニットに電荷転送するようにすればよい。最終的には、必要回数の点滅の期間が終了したときにCCDユニットからシフトレジスタを経由して電荷を輝度レベル信号として出力する。ただし、この場合は、イメージセンサにおける光電変換素子とＣＣＤとの接続構成を図６にように、交互に繰り返されるタイミングで光電変換素子から２つのＣＣＤに並列に電荷を転送できるようにする必要がある。

このような手法をとると、角膜反射の検出に関して次のような利点がある。視線を高精度に検出するためには、カメラに写る瞳孔中心と光源の角膜反射中心の相対位置関係から、およその視線検出ができる。それを厳密に実施するための方法について、提案者もすでに出願している（特開2005-185431号公報）。このとき、瞳孔抽出については、これまで述べてきた画像差分法を用いた方法を用いるのが望ましいことは、言うまでも無いが、角膜反射については、明瞳孔画像と暗瞳孔画像を得るための2セットの光源位置が大きくずれていないと、一部が重なり、相殺し合うため、角膜反射中心が正確に求まらない。2セットの光源を大きくずらすと、装置全体が大きくなることや、先述のように、明瞳孔画像と暗瞳孔画像間で輝度レベルにずれが出てくるために瞳孔検出にはふさわしくない。したがって、角膜反射を差分画像ではなく、明瞳孔画像か暗瞳孔画像から検出したほうがよい。しかしながら、これらの画像はいわば生画像であるため、周囲光に影響を受ける。特に顕著なのは、西日を直接顔に受けているような状態でのドライバーの視線を検出使用としたとき、太陽そのものが光源の角膜反射とそっくり同じに写ることがある。これでは、角膜反射と太陽との区別がつかず、正しい視線検出ができない。他にも、眼鏡レンズに太陽や明るい前方の風景が角膜反射検出を妨害する。上述のように、明瞳孔画像から暗瞳孔画像を差分しただけでは、太陽の像が消えると同時に角膜反射もほぼ消えてしまう。よって、角膜反射像は、明瞳孔画像から無照明画像を差分して得られる差分画像もしくは暗瞳孔画像から無照明画像を差分して得られる差分画像から検出する。これらの画像では、それぞれの光源による像だけが得られるため、太陽など周囲光の像は除去できるため、容易に角膜反射が検出できる。なお、図８の（ａ）と（ｂ）は、無照明画像を差分した後の画像を表している。

以下、本実施形態の瞳孔検出方法及び装置について、従来と比較した利点を中心に説明する。

従来の光源の位置の違いを利用した瞳孔検出の場合でも、従来の２波長を利用した瞳孔検出の場合にも、2つの光源の光量バランスを画像上の輝度レベルを見ながら、ほぼ一致がするように光量合わせをする(図１０（ａ）)。それによって、差分画像においては、基本的に瞳孔以外の背景部の輝度レベルは０を示すため、背景部のノイズを考慮し、閾値を０よりも大きな値に設定すれば簡単に2値化によって瞳孔像が抽出できる。それに対して、光量バランスの狂いが原因で暗瞳孔画像のほうが明るい場合（ここでは、明瞳孔画像用の光源の光量が限界に達しており光量を上げるのは難しいため、暗瞳孔画像用の光源の光量を上げた例を示した。）、図１０（ｃ）のように、背景部のほとんどがマイナスに転じ、瞳孔像を抽出するための閾値領域が狭くなるので瞳孔検出が難しくなる傾向がある。また、逆に明瞳孔画像のほうが明るい場合は（ここでは、明瞳孔画像用の光源の光量が限界に達しており光量を上げるのは難しいため、暗瞳孔画像用の光源の光量を下げた例を示した。）、図１０（ｂ）のように、一見瞳孔部だけが飛び出るが、背景部の輝度レベルがわかっているわけではないので、閾値を低く設定しにくい。この例に示したように、差分画像において背景部に対して瞳孔の輝度レベルが極端に高いときには、あまり問題にならないが、低いとき（瞳孔が極端に小さいとき）は、大いに問題となり、最も適当な設定の仕方は、図１０（ａ）のようにバランスが取れている状態であると言える。

また、２波長の光源を用いた検出方法の場合、周囲の明るさが0.0ルクス（暗闇中）から数万ルクスまでの範囲で瞳孔検出をするためには、カメラ側で自動ゲイン調節(ＡＧＣ)機能を使用する必要がある。周囲が明るいときには、カメラのゲインが小さくなるため差分画像における瞳孔のレベルは小さくなる。また、周囲が明るいと瞳孔が収縮し、光源による入射光が減り、瞳孔は小さいだけでなく暗くなる。一般に、普通のカメラは波長によって感度が異なる。２台のカメラを用いた場合、両者のゲインが勝手に変化するため、ある明るさ（使用波長における）の中で、2波長の光源の光量バランスをとっても、周囲が明るいに場所に装置を移動すると、明瞳孔画像と暗瞳孔画像のバランスが大きくずれ、単に差分をするだけでは、瞳孔検出は困難である。

光源の位置の違いによって明瞳孔画像と暗瞳孔画像を得る方法においては、明瞳孔画像と暗瞳孔画像を得るための光源は異なるため、画像上に異なるムラや傾向がどうしても存在する。したがって、画像差分を行っても背景部でも輝度レベルが一般に零にはならず、それに埋もれて瞳孔検出は難しい。ここで、位置の異なる2個の光源の顔面上での照射強度は、一般には、光源が小型であればあるほど一致しない。従って、差分画像において一部では差分値が零になっても、他の部分では零にならない。特に頭部の位置が変われば、なおさらである。

これに対して本実施形態による瞳孔検出方法及び装置によれば、これまでとイメージセンサとは異なり、画素ごとに同一の光電変換素子を用いて、ほんのわずかに時間の異なるタイミングで複数回受光し光電変換をし、外部に出力することにより、ほぼ取得タイミングが一致した明瞳孔画像、無照明画像、暗瞳孔画像を取得することを基本とする。無照明画像を明瞳孔画像や暗瞳孔画像から差分することにより、光源によって生ずる明暗成分だけを取り出すことができ、周囲の光環境によらず、角膜反射を正確に検出でき、顔領域画像も正確に抽出できる。さらに、差分した明瞳孔画像と差分した暗瞳孔画像から得られる再差分画像から瞳孔を検出する方法は、特に２波長光源を用いて波長分離する２台のカメラを用いた方法で、特に有用である。

また、図２に示すような光源を用いることで、LEDの位置は異なるが、外側のLEDが点灯すると、その光が内側のLEDに乗り移り、差分画像において、眼鏡反射像が相殺される傾向があり、眼鏡反射の問題がほとんどなく、しかも、2波長１重リングに比較すると差分画像において瞳孔は強く浮き彫りになる。ここで、光源としては、図１１のように2重リングにし、明瞳孔画像得るためのLEDを内側に配置し、暗瞳孔画像を得るためのLEDを外側に配置することで、波長差と位置の差を相乗効果的働くようにしてもよい。ただし、もし、カメラの感度やLEDのパワーの相違により、明瞳孔画像に比較して暗瞳孔画像が暗ければ、暗瞳孔画像用のLEDの数を図２のように増やすことが好ましい。さらに、光源としては、図１２に示すように、1個のモールドの中に2種類の波長のLEDチップを入れることにより、リング状に1重にLEDを並べるだけの構成でもよい。この場合、小型に構成でき、光源の位置のずれを軽減かなり軽減できるため、画像差分をしたときに、眼鏡反射もほぼ完全に消去できる。しかし、波長の相違だけに頼る方法では、明瞳孔と暗瞳孔に小さなレベル差しかないため、やはり瞳孔が暗いと、そのレベル差だけに頼って瞳孔検出するのが難しい。この場合は、図２又は図１１のような構成が好ましい。

図１８には、本実施形態に係る瞳孔検出方法において生成された画像の一例を示す。図１８（ａ）は、眼鏡なしの場合の暗瞳孔画像（生画像）、無照明画像、それらの差分画像、図１８（ｂ）は、眼鏡有りの場合の暗瞳孔画像（生画像）、無照明画像、それらの差分画像を示す。

（第２実施形態）
本発明の第２実施形態について説明する。第２実施形態に係る瞳孔検出方法における第１実施形態との相違点は、１台のカメラによって瞳孔を検出する点である。

具体的には、カメラ1台の場合には、1つの方法として、図３に示したカメラを利用して、図３（ａ）のときに明瞳孔用の光源を点灯させ、図３（ｂ）のときに暗瞳孔用の光源を点灯させて、得られる差分画像から瞳孔検出することができる。この場合、光源の位置が異なる方法でも、２波長光源の場合でもほぼ同様に実施できる。２波長光源を使用しても、２台のカメラを使用した場合と異なり、AGCを使用しても、周囲の光は、（ａ）のときも（ｂ）のときも同量の光が入射されるので、予め２波長光源の光量のバランスを一度とっておけば、その後はバランスが崩れることは基本的にはない。しかし、周囲光が強い中で角膜反射を検出する必要がある場合には、両方の光源を消したときの画像がほしい。それがあれば、光源が点灯しているときの画像から点灯していないときの画像を差分すれば、周囲光による輝度成分が消え、角膜反射は容易に検出できる。そのほかにも、周囲光によって顔に輝度レベルに強いムラがあるときにも、それを相殺し、光源の照明のみによる画像を得ることができ、その場合、その画像が大きく変化することが無いので、顔領域がいつも正しく検出できるし、それによって、顔がカメラ画像に入っているどうかが判断でき、さらに、顔以外のところを瞳孔や角膜反射があると誤検出することがなくなる。

これを実施するためには、図３〜７を拡張したイメージセンサで対応できる（図１３及び図１４）。ここで、明瞳孔用光源を点灯させた図１３（ａ）の期間で得られる画像から光源を消灯したときの図１３（ｂ）の期間で得られる画像を差分すれば、明瞳孔用光源のみによる画像が得られる。また、暗瞳孔用光源を点灯させた図１３（ｃ）の期間で得られる画像から光源を消灯したときの図１３（ｂ）の期間で得られる画像を差分すれば、暗瞳孔用光源のみによる画像が得られる。このときのイメージセンサは、１つの光電変換素子に対応してその光電変換素子から異なる期間に電荷を転送可能な３つのＣＣＤユニットがライン状に設けられたものを用いる（図１４）。

このような瞳孔検出方法によれば、２光源の照射状況の違いによって単に明瞳孔画像から暗瞳孔画像を差分した差分画像上に生じる瞳孔部以外部の輝度レベルのムラを押さえることができ、結果的に瞳孔が小さい場合に瞳孔の輝度レベルが低くとも瞳孔を検出しやすくする。

（第３実施形態）
本発明の第３実施形態について説明する。第３実施形態に係る瞳孔検出方法における第２実施形態との相違点は、イメージセンサ上に設けられた２波長光源用のフィルターを用いる点である。

すなわち、カメラ1台と２波長光源を使用する場合、１つの方法としてイメージセンサ上に２波長の光源によるそれぞれの像を選択的に透過させるフィルターを画素ごとに交互に取り付ける方法がある。このときゲインが全画素で同じあれば、瞳孔を検出するだけの用途であれば、２波長の光源を同時に点灯させ全画素を同時露光すればよい。そして、隣り合う同士の差分をし、差分画像から瞳孔を検出すればよい。しかし、角膜反射を容易に検出し、周囲光によって顔に輝度レベルに強いムラがあるときにもそれを相殺して光源の照明のみによる画像を得るためには、図１６のようなイメージセンサを用いて、両方の光源を点灯させ露光し（図１５(ａ)）、CCDユニットに電荷を転送し、両方の光源を消灯させて露光し（図１５（ｂ））、CCDユニットに電荷を転送する。この方法では、明瞳孔用光源用のフィルターを通して明瞳孔用光源が点灯しているときの画像と点灯していないときの画像、暗瞳孔用光源用のフィルターを通して暗瞳孔用光源が点灯しているときの画像と点灯していないときの画像、計４通りの画像が得られる。後は、２カメラの場合と同様に考えればよい。このとき用いられるイメージセンサは、明瞳孔用の光電変換素子と暗瞳孔用の光電変換素子とがライン上において交互に設けられ、それぞれの光電変換素子に対応するＣＣＤユニットがライン上に並んで２個ずつ設けられている。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、以下のような処理を加えてもよい。

（画像のムラに対する変形例１）
光源の位置が異なると、一般に光源ごとに顔の上に別々の輝度レベル傾斜を持つ。もし光源が物理的に上下に並んでいるとすると、画像中の上下方向に輝度レベルが異なってくる場合が多い。その場合には、第１実施形態で述べた方法を画像の横方向のラインごとに行えばよい。もし、光源が左右に並んでいれば、縦方向のラインごとに行えばよい。斜めの場合も同様である。また、2波長光源でも、図２、図１１、図１２のような2波長光源においても、各波長においてムラが生じる（例えば画像の中央は明瞳孔画像が明るく、周囲は暗瞳孔のほうが明るいなど）ため、差分画像が画像全体にわたり零になることはない。ここでも、差分画像における瞳孔の輝度レベルが高いときには、あまり問題が無いが、瞳孔が暗いときには背景にムラがあることは瞳孔検出のロバスト性を低下させる。それを解決するためには、第１実施形態で述べた方法を画像の局所ごとに行えばよい。すなわち、図１７において四角でくくった領域内を、全画像に見立てて解析を行う。そしてこの領域をこの画像全体内を最小１画素ずつ移動させて、領域ごとに結果を得て、領域の中央の一点の画素が瞳孔部かそうでないかを決定すればよい。

（画像のムラに対する変形例２）
眼鏡反射多くの場合、強烈な大きなスポットとして写る。しかも、明瞳孔画像と暗瞳孔画像でまったく同じように現れるとは限らない。よって、眼鏡反射は、I1(x,y)とI2(x,y)のそれぞれの平均値I1とI2に異なった影響を与えるため、式（３）のｋの値を求める処理、もしくはヒストグラム均一化処理に大きな影響を与える。そこで、（画像のムラに対する変形例１）における上記の処理において、I1(x,y)とI2(x,y)のそれぞれの画像において、輝度レベルの高いほうから例えば２０％と低いほうから同％の画素を抽出して、該当する画素についてI1(x,y)とI2(x,y)の両方からを取り除いて（この画素数はこの例では20+20を超えるのが一般的であり、眼鏡反射部以外が取り除かれることも頻繁に起こる）、残りの画素から、ｋはヒストグラム均一化処理の変換パラメータを求める。このようにすることにより、正しい変換ができ、暗く小さい瞳孔が抽出されやすくなる。ただし、眼鏡反射は残るため、それに関しては、サイズや形状から瞳孔と区別して、図８の最後の２値化後に取り去る。なお、この方法は、暗闇で明瞳孔が非常に明るくなったときにも、これが取り除かれ、有効である。

（光源の発光量調節と赤外線の顔面照射強度計測）
暗いところでは瞳孔が非常に大きくなるのが一般的であり、AGCのゲインも大きくなるため、瞳孔が飽和することがある。この場合、少なくとも、明瞳孔画像においては、角膜反射がつぶれて検出できないことがあり、問題が起こることがある。

これまでに述べたように、AGCを用いているため、光源点灯時の画像からは、周囲の明るさがわかりにくい。しかし、無照明画像を利用すれば、無照明画像の顔領域内の平均輝度と無照明画像を差分した後の明瞳孔画像もしくは暗瞳孔画像の顔領域内の平均輝度の比から、顔面への太陽光（赤外線を含むため）の照射強度がおよそ推定できる。そして、周囲が暗いと判断した場合には、光源の電流量を調整することによって発光量を自動的に調整できる。たった、２段階に調整するだけでも、夜間と昼間で電流を変えることができ、十分な価値がある。

（ワイヤフレーム法を用いた特徴点検出）
テンプレートマッチング法を利用して目尻、目頭、鼻の頭、口の左右の端等を特徴点として検出し、ステレオカメラを用いて、顔の3次元構造を取得し、この構造が常に顔にフィットするように構造を追跡させ、その構造の位置、方向から顔の方向や位置を検出するワイヤフレーム法がある。これを利用して顔方向だけでなく、黒目と白目の境界と瞳孔と黒目のエッジ、および、角膜反射を検出して視線を検出する装置が商品化されている（SeeingMachine社、faceLAB,http://www.seeingmachines.com/）。しかし、ワイヤフレーム法は、テンプレートマッチング法を利用しているため、周囲光環境変化に弱く、正しくフィッティングができなくなる。同装置においても、夜間、昼間区別なく使用するためには、顔を近赤外線で照明する必要がある。このような環境は、これまで述べた瞳孔検出法を大きく変わらない。よって、図４に示したようなイメージセンサを利用して、光源を点灯させたときと消灯したとき画像を連続的に取得し、前者の画像から後者の画像を差分することで、周囲光を除去した、光源のみによる画像が得られる。その画像をヒストグラム均一化すれば、AGCを使用していても、常の同一の画像が得られる。この画像に対して、目尻、目頭、鼻の頭、口の左右の端等の特徴点検出をして、ワイヤフレーム法を用いて、顔の構造を捉える。以上のように、周囲光による影響を除去することにより、高ロバストに特徴点が検出でき、それによって、正しくワイヤフレームを与えることができるさらに、これまで述べてきた画像差分を利用した瞳孔検出法を用いれば、瞳孔も角膜反射も容易に検出できる。つまり、これまでワイヤフレーム法では用いられることがなかった、2光源を用いて、これまで述べてきたように明瞳孔画像、暗瞳孔画像、無照明画像を得て、明瞳孔画像から無照明画像を差分して得る差分明瞳孔画像と暗瞳孔画像から無照明画像を差分して得る差分暗瞳孔画像のそれぞれから、目尻、目頭、鼻の頭、口の左右の端等の特徴点を捉え、ワイヤフレーム法にて顔を当てはめる。それにより、目の位置をロバストに捉え、目の部分に対して、差分明瞳孔画像から差分暗瞳孔画像を差分して得る再差分画像（もしくは除算画像）を得て、それから瞳孔部を抽出し、さらに差分明瞳孔画像と差分暗瞳孔画像の積算（加算画像でもよい）画像から角膜反射を得る。以上のように無照明画像を差分した画像を対象にワイヤフレーム法を施し、高ロバストに目の位置を検出し、その中で、瞳孔と角膜反射を検出することにより、従来のワイヤフレーム法では難しかった高精度の視線方向検出を実現できる。

本発明の第１実施形態である瞳孔検出装置の配置例を示す光路図である。 図１の光源の構成を示す平面図である。 カメラのシャッタ、電荷転送、及び輝度レベル出力のタイミングを示すタイミングチャート図である。 図１のイメージセンサの概略構成を示す図である。 図１のイメージセンサの概略構成を示す図である。 図１のイメージセンサの概略構成を示す図である。 図１のイメージセンサの概略構成を示す図である。 NTSCのカメラに図２に示す光源を取り付けて、奇数フィールドと偶数フィールドに各光源を点灯させたときの画像処理結果を示す図である。 図８に示す画像から2個の角膜反射像が検出される様子を示す図である。 暗瞳孔画像、明瞳孔画像、及び差分画像のレベルを示すグラフであり、（ａ）は、2つの光源の画像上の輝度レベルがほぼ一致がするように光量合わせをした場合、（ｂ）は、暗瞳孔画像用の光源の光量を下げた場合、（ｃ）は、暗瞳孔画像用の光源の光量を上げた場合のグラフである。 図２の光源の変形例を示す平面図である。 図２の光源の変形例を示す平面図である。 第２実施形態にかかる瞳孔検出方法において、カメラのシャッタ、電荷転送、及び輝度レベル出力のタイミングを示すタイミングチャート図である。 第２実施形態にかかるイメージセンサの概略構成を示す図である。 第３実施形態にかかる瞳孔検出方法において、カメラのシャッタ、電荷転送、及び輝度レベル出力のタイミングを示すタイミングチャート図である。 第３実施形態にかかるイメージセンサの概略構成を示す図である。 本発明の変形例において画像中の処理対象の領域を示すイメージ図である。 本発明の瞳孔検出方法において生成された画像の一例を示す図であり、（ａ）は、眼鏡なしの場合の暗瞳孔画像（生画像）、無照明画像、それらの差分画像、（ｂ）は、眼鏡有りの場合の暗瞳孔画像（生画像）、無照明画像、それらの差分画像を示す図である。

符号の説明

Ｃ１，Ｃ２…イメージセンサ、２１…光源、Ｆ１，Ｆ２…バンドパスフィルタ、２３ａ，２３ｂ…発光素子。

Claims (11)

1. 対象者の瞳孔を検出する瞳孔検出方法であって、
   1個の画素に対応して1つの光電変換素子を有するイメージセンサを用いて、第１の期間に明瞳孔画像又は暗瞳孔画像を得るための光源を前記対象者に照射した状態で、前記第１の期間に前記イメージセンサに露光した後に、露光によって蓄えられた電荷を前記光電変換素子から該光電変換素子に対応する前記イメージセンサの第１の電荷転送部に転送する第１ステップと、
   前記第１の期間に連続する第２の期間に前記光源を消灯させた状態で、前記第２の期間に前記イメージセンサに露光した後に、露光によって蓄えられた電荷を前記光電変換素子から該光電変換素子に対応する前記第１の電荷転送部とは異なる第２の電荷転送部に転送する第２ステップと、
   前記第１及び第２の電荷転送部に転送された電荷を前記第１及び第２の電荷転送部に接続されたシフトレジスタを用いて出力する第３ステップと、
   前記シフトレジスタの出力に基づいて明瞳孔画像、無照明画像、及び暗瞳孔画像を得た後に、画像差分処理を行うことによって瞳孔を検出する第４ステップと、
   を備える瞳孔検出方法。
2. 前記第１のステップでは、前記第１の期間が所定の周期で所定回数繰り返された複数の期間に細分化され、前記複数の期間毎に前記第１の電荷転送部に電荷を転送し、
   前記第２のステップでは、前記第２の周期が前記所定の周期で前記所定回数繰り返された複数の期間に細分化され、前記複数の期間毎に前記第２の電荷転送部に電荷を転送し、
   前記第３ステップでは、前記第１の期間及び第２の期間の所定回数の繰り返しが終了後に前記第１及び第２の電荷転送部に転送された電荷を出力する、
   請求項１記載の瞳孔検出方法。
3. 前記第４のステップでは、明瞳孔画像から無照明画像を画像差分することよって得られる差分画像、もしくは、暗瞳孔画像から無照明画像を画像差分することによって得られる差分画像から角膜反射を検出する請求項１又は２記載の瞳孔検出方法。
4. 前記第４のステップでは、明瞳孔画像から無照明画像を画像差分することよって得られる差分画像と暗瞳孔画像から無照明画像を画像差分することによって得られる差分画像とを乗算した画像から角膜反射を検出する請求項１又は２記載の瞳孔検出方法。
5. 前記第４のステップでは、明瞳孔画像から無照明画像を画像差分することよって得られる差分後明瞳孔画像と、暗瞳孔画像から無照明画像を画像差分することよって得られる差分後暗瞳孔画像とを画像差分した再差分画像から、瞳孔を検出する請求項１〜４のいずれか１項に記載の瞳孔検出方法。
6. 前記再差分画像は、画像中の一部の領域において、前記差分後明瞳孔画像と前記差分後暗瞳孔画像の輝度バランスを補正した後に前記差分後明瞳孔画像から前記差分後暗瞳孔画像を差分して得られる輝度バランス補正後差分画像である、
   請求項５記載の瞳孔検出方法。
7. 前記輝度バランス補正後差分画像は、眼鏡反射を考慮して、前記差分後明瞳孔画像から前記差分後暗瞳孔画像を差分して得られる眼鏡反射用輝度バランス補正後差分画像である、
   請求項６記載の瞳孔検出方法。
8. 前記第４のステップでは、前記眼鏡反射用輝度バランス補正後差分画像を得るために、差分後明瞳孔画像と差分後暗瞳孔画像において眼鏡反射領域を除いて、前記輝度バランスをとるための係数を求める、請求項７記載の瞳孔検出方法。
9. 前記差分後明瞳孔画像もしくは前記差分後暗瞳孔画像と、前記無照明画像の輝度レベルの比から、周辺光強度を推定し、光源の発光量をさらに調整する、
   請求項５記載の瞳孔検出方法。
10. 前記第４のステップでは、前記差分後明瞳孔画像と前記差分後暗瞳孔画像より、所定の対象者の部位を追跡特徴点としたテンプレートマッチング法、もしくは前記テンプレートマッチング法を基本にしたワイヤフレーム法によって前記対象者の特徴点を検出する、
    請求項５記載の瞳孔検出方法。
11. 前記テンプレートマッチング法、もしくは前記テンプレートマッチング法を基本にしたワイヤフレーム法によって前記対象者の目の位置を特定して、前記再差分画像から瞳孔を検出する、
    請求項１０記載の瞳孔検出方法。