WO2012042580A1

WO2012042580A1 - 視線推定装置

Info

Publication number: WO2012042580A1
Application number: PCT/JP2010/007245
Authority: WO
Inventors: 兼司岡; 宗太郎築澤
Original assignee: パナソニック株式会社
Priority date: 2010-09-27
Filing date: 2010-12-14
Publication date: 2012-04-05
Also published as: EP2457499B1; JP2012065997A; EP2457499A4; CN102548465B; JP5466610B2; EP2457499A1; CN102548465A

Abstract

　視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる視線推定装置を提供する。視線推定装置２００は、人物を撮影して画像を取り込む画像入力部２０１と、撮影された画像をもとに視線方向を計測する視線計測部２０２と、過去に計測された視線計測結果を保持する視線計測結果保持部２１１と、過去の視線計測結果の代表値を抽出する代表値抽出部２１２と、該代表値と該視線計測結果との差分が所定の閾値未満であるか否かにより、該代表値と該視線計測結果とのいずれかを視線推定結果として決定する視線決定部２１３とを備える。

Description

視線推定装置

　本発明は、人物の顔付近の領域を撮影装置により撮影した画像から該人物の視線方向を推定する視線推定装置に関し、より詳しくは、視線計測装置によって得られた視線計測結果に誤差が含まれる場合にも計測結果を平滑化することにより、精度良く視線方向を推定する機能を有する視線推定装置に関する。

　近年、自動車内に設置された車載用カメラを用いて運転者の顔付近の領域を撮影した画像から運転者の視線方向を推定し、計測した視線方向をもとに運転者の脇見状態を判定することにより、運転者に警告を与えるシステムが考案されてきている。このようなシステムでは精度良く視線方向を推定することが必要となる。

　視線推定装置は、大きく２種類に分類され、目周辺を拡大して撮影した画像から視線推定を行うものと、顔全体を含む顔周辺を広角に撮影した画像から視線推定を行うものとに大別される。

　このうち、目周辺を拡大して撮影した画像から視線推定を行うものは、高精度な視線推定が可能である一方で、頭部が動くと視線推定を行うことができなくなってしまうという欠点があり、運転者の視線推定には不適である。

　これに対し、顔全体を広角に撮影した画像から視線推定を行うものは、頭部が比較的自由に動いても視線推定を行うことができ、運転者の視線推定には適しているが、目領域に対する画素数や解像度が低くなるため、視線推定の精度が劣化しやすいという特徴がある。

　一般的に、顔全体を広角に撮影した画像から視線推定を行う視線推定装置は、撮影された人物の瞳孔の中心位置を検出することにより該人物の視線方向を推定する。このとき、目領域の解像度の低さが原因で、目領域周辺の低輝度部分で瞳孔の誤検出が頻繁に発生する。

　その結果として、瞳孔の誤検出による大きな誤差が視線計測結果に多く含まれることとなる。このため、精度良く視線方向を推定するためには、一旦得られた視線計測結果をそのまま出力するのではなく、平滑化することにより誤差の影響を除去する必要がある。

　このため、従来、何らかの信号処理技術を用いて、視線計測結果を平滑化する手法が提案されている。例えば、精度の良い視線推定結果を得るために、ウェーブレット解析を用いた平滑化処理を行うものがある（例えば、特許文献１参照）。

特許第３７６０９６０号公報

　しかしながら、上述した従来の技術では、視線計測結果に大きな誤差が含まれる場合に、平滑化が不十分となる。具体的には、実際に発生した瞳孔の誤検出を分析すると、瞳孔の誤検出は、目尻や虹彩輪郭の位置など、瞳孔の中心位置とは大きく離れた位置に、数フレームに１回程度の頻度で発生する場合がほとんどである。

　例えば、視線計測結果は、図１３に示すように、サージ電流のようになる。したがって、このような視線計測結果に対して高精度な平滑化処理を行ったとしても、大きな誤差を除去することはできず、視線推定結果の精度は低下してしまう。

　また、平滑化処理を行った場合には、平滑化後の視線計測結果が、実際の計測値よりも数フレーム分遅延することが多く、リアルタイム性が低下することが問題となる。

　本発明の目的は、図１３のように視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる視線推定装置を提供することを目的とする。

　本発明の視線推定装置は、目を含む顔付近の領域を撮影して画像として取り込む画像入力部と、撮影された画像をもとに視線方向を計測する視線計測部と、前記視線計測部で過去に計測された視線計測結果を保持する視線計測結果保持部と、前記視線計測結果保持部に保持された過去の視線計測結果の代表値を抽出する代表値抽出部と、前記代表値抽出部により抽出された代表値と前記視線計測部により計測された視線計測結果との差分Ｄが所定の閾値Ｔ未満であるか否かにより、前記代表値と前記視線計測結果とのいずれかを視線推定結果として決定する視線決定部と、を備えた構成を有している。

　この構成により、本発明の視線推定装置は、視線計測結果と代表値との差分Ｄが閾値Ｔ未満である場合には、視線計測結果を視線推定結果とし、差分Ｄが閾値Ｔ以上である場合には、代表値を視線推定結果とするため、視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる。

　なお、本発明の視線推定装置は、前記閾値Ｔを決定する閾値決定部を更に備え、前記閾値決定部は、１フレームの間に視線が動く可能性がある最大眼球回転角度Ｐと、瞳孔領域外に瞳孔を誤検出した場合における差分Ｄの最小角度Ｑを設定した上で、前記最大眼球回転角度Ｐ以上かつ前記最小角度Ｑ以下の値を前記閾値Ｔとして決定するようにしてもよい。

　この構成により、本発明の視線推定装置は、視線計測結果と代表値のいずれかを選択するかに用いる閾値Ｔを適切に決定することができ、高精度な視線推定結果を安定して得ることができる。

　また、前記閾値決定部は、眼球運動を制御する筋肉の伸縮速度に関する既知の値に基づいて、前記最大眼球回転角度Ｐを設定するようにしてもよい。

　この構成により、本発明の視線推定装置は、閾値Ｔを決定するために参照される最大眼球回転角度Ｐを定数とすることができるため、閾値Ｔの決定にかかる時間を短縮することができる。

　また、前記閾値決定部は、前記視線計測部および前記視線決定部の少なくとも一方から過去に出力された結果に基づいて、前記最大眼球回転角度Ｐを微調整するようにしてもよい。

　この構成により、本発明の視線推定装置は、視線計測結果および視線推定結果の少なくとも一方に基づいて、最大眼球回転角度Ｐを微調整するため、最大眼球回転角度Ｐの精度を向上させることができる。

　また、前記閾値決定部は、瞳孔の中心から眼球の中心までを結ぶ直線と、虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度、および、前記最大眼球回転角度Ｐに基づいて、前記最小角度Ｑを設定するようにしてもよい。

　この構成により、本発明の視線推定装置は、閾値Ｔを決定するために参照される最小角度Ｑを設定することができる。

　また、前記代表値抽出部は、前記視線計測結果保持部が保持する視線計測結果の中央値を前記代表値として抽出するようにしてもよい。

　この構成により、本発明の視線推定装置は、誤差が大きい視線計測結果が得られた場合でも、誤差が抑制された視線推定結果を遅延なく得ることができる。

　また、前記閾値決定部は、虹彩半径を算出し、算出した虹彩半径に基づいて、前記瞳孔の中心から前記眼球の中心までを結ぶ直線と、前記虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度を算出するようにしてもよい。

　この構成により、本発明の視線推定装置は、運転者の虹彩半径に個人差がある場合でも安定して高精度な視線推定結果を得ることができる。

　また、本発明の視線推定装置は、前記目を含む顔付近の領域を照射する照射部を更に備え、前記閾値決定部は、前記虹彩の半径を計算するタイミングに合わせて、前記照射部による照射の状態を変更させるようにしてもよい。

　この構成により、本発明の視線推定装置は、輝度が安定した顔周辺画像を得ることができる一方で、虹彩の半径を計算するときには、可視光を多く含む自然光のみを運転者が受けた状態の画像に基づいて虹彩の半径を算出することができる。

　また、本発明の視線推定装置は、前記視線決定部によって決定された値を平滑化する時系列フィルタを更に備えるようにしてもよい。

　この構成により、本発明の視線推定装置は、誤差がより抑制された高精度な視線推定結果を得ることができる。

　本発明によれば、視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる視線推定装置を提供することができる。

本発明の第１の実施の形態における視線推定装置の概略構成を示すブロック図本発明の第１の実施の形態における視線推定装置を構成する視線計測部に対する入力画像としての顔周辺画像を示す概念図本発明の第１の実施の形態における視線推定装置を構成する視線計測部に対する入力画像から目周辺を切り出し拡大した目領域画像を示す図本発明の第１の実施の形態における視線推定装置の視線計測結果と代表値との差分と各差分の発生頻度との関係を示すグラフ本発明の第１の実施の形態における視線推定装置を構成する閾値決定部の構成を示すブロック図眼球の模式図本発明の第１の実施の形態における視線推定装置を構成する視線決定部の動作を示すフロー図本発明の第１の実施の形態における視線静止時の視線推定装置の各部の処理結果を示す概念図本発明の第１の実施の形態における視線移動時の視線推定装置の各部の処理結果を示す概念図本発明の第２の実施の形態における視線推定装置の概略構成を示すブロック図本発明の第２の実施の形態における視線推定装置に対する近赤外光照射環境下での入力画像を示す図本発明の第２の実施の形態における視線推定装置に対する可視光照射環境下での入力画像を示す図一般的な視線計測結果を示すグラフ

　以下に、本発明の実施の形態における視線推定装置について、図面を参照しながら説明する。なお、以下に示す実施の形態において、同一の構成要素には同一の符号を付し、その説明は省略する。

　（第１の実施の形態）
　図１は、本発明の第１の実施の形態に係る視線推定装置２００の構成を示すブロック図である。視線推定装置２００は、例えば、自動車の車室内に設けられ、外部の警報装置と接続される。この警報装置は、視線推定装置２００の視線推定結果に基づいて、運転者が正面を長時間向かなかったと判断した場合には、運転者に対して警告を行うことにより注意を喚起するようになっている。

　図１において、視線推定装置２００は、運転者の顔周辺を撮影する画像入力部２０１と、運転者の顔周辺を撮影した画像から運転者の視線方向を計測する視線計測部２０２と、視線計測部２０２による計測結果を表す視線計測結果を平滑化して運転者の視線方向を推定する視線推定部２０３とを備えている。

　画像入力部２０１は、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを備えた撮影装置によって構成されており、前方の被写体を撮影することができる。画像入力部２０１は、運転者の顔周辺が撮影できるように、例えば、車のハンドルの上やダッシュボード上のような運転者の顔付近の領域を撮影できる場所に設置される。

　視線計測部２０２および視線推定部２０３は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、および、入出力インターフェイスを備えた電子制御装置によって構成されている。

　ＲＯＭには、当該電子制御装置を視線計測部２０２および視線推定部２０３として機能させるためのプログラムが記憶されている。すなわち、プロセッサがＲＡＭを作業領域としてＲＯＭに記憶されたプログラムを実行することにより、当該電子制御装置は、視線計測部２０２および視線推定部２０３として機能する。

　視線計測部２０２は、運転者の顔周辺が画像入力部２０１によって撮影された顔周辺画像から、撮影されたときの運転者の視線方向を計測するようになっている。以下に、視線計測部２０２による視線方向の計測例について説明する。

　視線計測部２０２は、図２に示すような運転者の顔周辺の領域が撮影された顔周辺画像３０１の中で少なくとも片方の目の端点３０２、３０３を検出するようになっている。例えば、視線計測部２０２は、目の端点の標準的な画像をテンプレートとして予め保持しておき、そのテンプレート画像をもとに顔周辺画像３０１内を探索することにより、目の端点３０２、３０３を検出するようになっている。

　また、視線計測部２０２は、目の端点３０２、３０３を通り、目の端点３０２、３０３間の距離に応じたサイズの矩形を切り出し、拡大することにより、図３に示すような目領域画像４０１を取得するようになっている。ここで、視線計測部２０２は、目領域画像４０１内で、瞳孔の中心（以下、単に「瞳孔中心」という）４０４を検出するようになっている。

　例えば、視線計測部２０２は、目領域画像４０１の中で輝度が低い画素を抽出し、抽出した画素をグルーピングすることによって瞳孔領域の候補を抽出した上で、各瞳孔領域の候補の面積を算出し、予め設定された瞳孔の面積に最も近い面積を有する瞳孔領域の候補を瞳孔領域として選択し、選択した瞳孔領域の中心を瞳孔中心４０４として検出するようになっている。

　視線計測部２０２は、目領域画像４０１における目の端点４０２、４０３および瞳孔中心４０４に基づいて、視線方向を検出するようになっている。例えば、視線計測部２０２は、目の端点４０２、４０３に対して、瞳孔中心４０４がどの程度左右に偏っているかにより、視線の水平方向の角度を算出するようになっている。

　なお、視線計測部２０２は、予め定められた複数の角度を運転手に向いてもらうたびに、画像入力部２０１によって撮影された顔周辺画像３０１から得た目領域画像４０１における目の端点４０２、４０３および瞳孔中心４０４の位置関係を予め保持しておくことにより、より正確な視線角度を算出するようにしてもよい。

　視線計測部２０２による計測結果には、図１３に示したように大きな誤差が含まれているものがある。このため、視線推定部２０３は、視線計測部２０２による計測結果を表す視線計測結果を平滑化した上で、運転者の視線方向を推定するようになっている。また、視線推定部２０３は、推定した結果を警報装置に出力するようになっている。

　図１において、視線推定部２０３は、視線計測部２０２によって計測された過去数フレーム分の視線計測結果を保持する視線計測結果保持部２１１と、過去数フレーム分の視線計測結果の代表値を抽出する代表値抽出部２１２と、視線方向を決定する視線決定部２１３と、視線決定部２１３によって参照される閾値を決定する閾値決定部２１４とを有する。

　視線計測結果保持部２１１は、過去数フレーム分の視線計測結果を保持するようになっている。ここで、視線計測結果保持部２１１が保持する視線計測結果の数については、任意に設定することができるが、本実施の形態において、視線計測結果保持部２１１は、１秒分のフレーム数の視線計測結果を保持するものとする。

　代表値抽出部２１２は、視線計測結果保持部２１１に保持された過去の視線計測結果から過去数フレーム分の視線計測結果を代表する代表値を抽出するようになっている。本実施の形態において、代表値抽出部２１２は、視線計測結果保持部２１１に保持されている視線計測結果の中央値を代表値として抽出するようになっている。

　視線計測結果保持部２１１に保持された視線計測結果には、図１３に示すサージ電流のような大きな誤差が含まれることが多いため、代表値抽出部２１２は、視線計測結果の中央値を代表値とすることにより、視線計測結果に含まれる誤差の影響が小さい代表値を抽出することができる。

　視線決定部２１３は、視線方向を決定するようになっている。具体的には、視線決定部２１３は、まず、視線計測部２０２によって計測された視線計測結果Ａと、代表値抽出部２１２によって抽出された代表値Ｂとの差分Ｄを算出するようになっている。

　また、視線決定部２１３は、算出した差分Ｄが閾値Ｔ未満であるか否かを判断し、差分Ｄが閾値Ｔ未満であると判断した場合には、視線計測結果Ａを視線方向として決定するようになっている。一方、差分Ｄが閾値Ｔ未満でない、すなわち、閾値Ｔ以上であると判断した場合には、視線決定部２１３は、代表値Ｂを視線方向として決定するようになっている。

　また、視線決定部２１３は、決定した視線方向を視線推定結果として警報装置に出力するようになっている。ここで、視線決定部２１３が決定した視線方向をそのまま警報装置に入力させるようにしてもよいし、例えば、平均値フィルタやカルマンフィルタ等の時系列フィルタを用いて、遅延が少ない平滑化処理を施した上で警報装置に入力させてもよい。

　閾値決定部２１４は、１フレームあたりの最大眼球回転角度Ｐと、瞳孔領域外に瞳孔を誤検出した場合における差分Ｄの最小角度Ｑとに基づいて、閾値Ｔを決定するようになっている。

　ここで、最大眼球回転角度Ｐおよび最小角度Ｑと、閾値Ｔとの関係について、図４を参照して説明する。図４は、実際に視線計測を行った場合に、横軸に差分Ｄを取り、縦軸に差分Ｄの発生頻度を取ったときのグラフの典型例を示している。

　ここで、実線９０１は、視線計測結果が正しかったときのグラフを示し、破線９０２は、瞳孔領域外に瞳孔を誤検出したことによって誤計測したときのグラフを示している。このグラフから、最大眼球回転角度Ｐは実線９０１の上限値、最小角度Ｑは破線９０２の下限値として考えることができる。

　このように、一般的に、最小角度Ｑは最大眼球回転角度Ｐより大きくなることが実験的にわかっているため、最大眼球回転角度Ｐと最小角度Ｑとの間に閾値Ｔを定めることにより、差分Ｄが正しい計測結果によるものか、誤計測によるものかを判断することができる。

　具体的な構成として、閾値決定部２１４は、図５に示すように、最大眼球回転角度決定部８０１と、誤計測時差分最小値決定部８０２と、閾値設定部８０３とを有している。

　最大眼球回転角度決定部８０１は、最大眼球回転角度Ｐを決定するようになっている。この最大眼球回転角度Ｐは、眼球運動を制御する筋肉の伸縮速度に関する医学的な既知の値をもとに一定値と考えることができる。具体的には、一般的な最大眼球速度は毎秒３００度とされているため、毎秒３０フレームで画像を撮影して視線計測を行う場合には、１フレームあたりの最大眼球回転角度Ｐは１０度と定められる。

　なお、最大眼球回転角度決定部８０１は、例えば、視線計測部２０２の視線計測結果の履歴および視線決定部２１３の視線推定結果の履歴などのような過去の出力履歴に基づいて、最大眼球回転角度Ｐを微調整するようにしてもよい。

　例えば、最大眼球回転角度決定部８０１は、最大眼球回転角度Ｐが過去の履歴と比較して大き過ぎる場合には、最大眼球回転角度Ｐを一定な微小値分小さくするといった処理を行うようにしてもよい。

　誤計測時差分最小値決定部８０２は、最小角度Ｑを決定するようになっている。ここで、瞳孔領域外に瞳孔を誤検出する場合のほとんどは、虹彩輪郭上またはその外側に発生することが実験的に既知であるため、誤計測時差分最小値決定部８０２は、その既知の値を利用して最小角度Ｑを決定するようになっている。

　具体的には、誤計測時差分最小値決定部８０２は、図６に示すように、瞳孔中心１００１から眼球中心１００２までを結ぶ直線と、虹彩輪郭上の一点１００３から眼球中心１００２までを結ぶ直線とがなす角度（以下、「虹彩角度」という）１００４を算出し、算出した虹彩角度１００４と、最大眼球回転角度Ｐとに基づいて最小角度Ｑを決定するようになっている。

　ここで、虹彩角度１００４は、眼球半径１００５や虹彩半径１００６に依存するが、一般成人において、眼球半径１００５は個人間の変動がほとんどなく、虹彩半径１００６についても変動が比較的少ないため、医学的な既知の値をもとに一定値とすることができる。

　一般的に、虹彩半径１００６は６ｍｍ、眼球半径１００５は１２ｍｍであるため、虹彩角度１００４は３０度となる。誤計測時差分最小値決定部８０２は、最大眼球回転角度Ｐも考慮し、例えば、最大眼球回転角度Ｐが１０度と定められた場合には、最小角度Ｑを２０度と定めるようになっている。

　なお、誤計測時差分最小値決定部８０２は、虹彩半径１００６を画像処理により算出し、その算出結果をもとに虹彩角度１００４を算出するようにしてもよい。例えば、図３において、誤計測時差分最小値決定部８０２は、視線計測部２０２によって検出される瞳孔中心４０４周辺で一定輝度よりも小さい画素をグルーピングすることにより虹彩に対応する画素を抽出し、抽出した画素を円形近似することにより、画像上での虹彩輪郭を求めるようにしてもよい。

　また、画像入力部２０１の焦点距離、イメージセンサの画素ピッチ、および、カメラから目周辺までの距離が既知であれば、虹彩輪郭の実寸を顔周辺画像３０１から導出することができるため、誤計測時差分最小値決定部８０２は、画像入力部２０１の焦点距離、イメージセンサの画素ピッチ、および、撮影装置から目周辺までの距離に基づいて顔周辺画像３０１から虹彩半径１００６を算出するようにしてもよい。

　この場合には、誤計測時差分最小値決定部８０２は、例えば、互いの位置関係が既知の２台のカメラを用いて、ステレオ測距処理を行うことにより撮影装置から目周辺までの距離を算出するようにしてもよい。

　閾値設定部８０３は、最大眼球回転角度Ｐと最小角度Ｑとの間の任意の１つの角度を閾値Ｔとして決定するようになっている。例えば、閾値設定部８０３は、最大眼球回転角度Ｐが１０度と定められ、最小角度Ｑが２０度と定められた場合には、閾値Ｔを１５度に決定することができる。

　なお、閾値設定部８０３は、頭部の移動量を推定した結果を考慮して閾値Ｔを変動させるようにしてもよい。例えば、閾値設定部８０３は、頭部が左右方向に回転移動したときには、視線方向も大きく移動している可能性が高いことを考慮して、閾値Ｔを大きく定めるようにしてもよい。この場合には、閾値設定部８０３は、目の端点４０２、４０３の移動量に基づいて、頭部の移動量の推定するようにしてもよい。

　以上のように構成された視線決定部２１３の動作を図７に示すフロー図を参照しながら説明する。

　まず、視線計測部２０２の視線計測結果Ａと、代表値抽出部２１２によって抽出された代表値Ｂとの差分Ｄが視線決定部２１３によって計算される（Ｓ５０１）。次に、差分Ｄが閾値決定部２１４によって決定された閾値Ｔ未満であるか否かが視線決定部２１３によって判断される（Ｓ５０２）。

　ここで、差分Ｄが閾値Ｔ未満であると判断された場合には、視線計測結果Ａが視線決定部２１３から視線推定結果として出力される（Ｓ５０３）。一方、差分Ｄが閾値Ｔ未満でないと判断された場合には、代表値Ｂが視線推定結果として視線決定部２１３から出力される（Ｓ５０４）。

　このように動作する視線決定部２１３による視線推定結果の出力例について図８を用いて詳細に説明する。視線計測結果Ａを時系列でプロットすると、例えば、グラフ６０１に示すように、視線計測結果Ａには、大きな誤差が含まれるものがある。

　ここで、グラフ６０１の各フレームの代表値として所定フレーム分の計測結果の中央値が代表値として抽出されると、抽出された代表値は、グラフ６０２に示すように、視線計測結果Ａに含まれる誤差が抑制されている。

　その後、グラフ６０１とグラフ６０２とを比較していくと、グラフ６０３に示すように、双方の差分Ｄが閾値Ｔ以上となっているところがあるため、視線推定結果としてグラフ６０４が得られる。このように、視線推定結果を示すグラフ６０４は、代表値のグラフ６０２と一致するため、視線推定結果に含まれる誤差が抑制されていることを示している。

　次に、視線決定部２１３の他の出力例を図９を用いて説明する。グラフ７０１は、視線方向が一定の速度で変化していることを表している。ここで、グラフ７０１の各フレームの代表値として所定フレーム分の計測結果の中央値が抽出されると、抽出された代表値を示すグラフ７０２は、グラフ７０１と同様に変動する。

　その後、グラフ７０１とグラフ７０２とを比較していくと、グラフ７０３に示すように、双方の差分Ｄが常に閾値Ｔ未満となっているため、視線推定結果としてグラフ７０４が得られる。このように、視線推定結果を示すグラフ７０４は、視線計測結果のグラフ７０１と一致するため、視線推定結果の遅延が抑制されていることを示す。

　以上のように、視線決定部２１３は、図８に示すように、視線推定結果に含まれる大きな誤差を抑制することができ、図９に示すように、視線移動時にも、視線推定結果に含まれる誤差を遅延なく抑制することができる。

　このように、本発明の第１の実施の形態に係る視線推定装置２００は、視線計測結果Ａと、代表値抽出部２１２によって抽出された代表値Ｂとの差分Ｄが閾値Ｔ未満である場合には、視線計測結果Ａを視線推定結果とし、差分Ｄが閾値Ｔ以上である場合には、代表値Ｂを視線推定結果とするため、視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる。

　（第２の実施の形態）
　図１０に示すように、本発明の第２の実施の形態に係る視線推定装置１１００は、本発明の第１の実施の形態に係る視線推定装置２００の構成要件に加えて、運転者の目を含む顔付近の領域を照射する照射部１１０１を備えている。

　照射部１１０１は、近赤外線領域の光を発光するライトによって構成され、その光軸が運転者の目を通るように、例えば、画像入力部２０１の近傍に設けられている。近赤外線領域の光は、運転者には不可視であるが、ＣＣＤやＣＭＯＳ等のイメージセンサには検知される。このため、画像入力部２０１は、照射部１１０１から照射された光が運転者の顔領域付近で反射し、反射した光の像を撮影することができる。

　本実施の形態において、閾値決定部２１４は、誤計測時差分最小値決定部８０２が虹彩角度１００４を決定するために、虹彩半径１００６を画像処理により算出するタイミングに応じて照射部１１０１の照明状態を変更するようになっている。

　照射部１１０１は、閾値決定部２１４の誤計測時差分最小値決定部８０２から虹彩半径１００６の算出を開始することを表すタイミング信号を受信すると、照射を中止するようになっている。これにより、可視光を多く含む自然光のみを運転者が受けた状態で画像入力部２０１が画像を取得することができ、誤計測時差分最小値決定部８０２は、その画像を用いて、虹彩角度１００４を算出することができる。

　一方、照射部１１０１は、誤計測時差分最小値決定部８０２から虹彩半径１００６の算出が終了したことを表すタイミング信号を受信すると、照射を再開するようになっている。

　ここで、虹彩における光の反射率は、近赤外光領域よりも可視光領域の方が低いため、近赤外光照射時には、図１１に示すように、虹彩の輝度が高い場合であっても、可視光下では、図１２に示すように、虹彩の輝度が低くなり、虹彩と強膜（白目）部分との輝度差が大きくなる。したがって、照射部１１０１による照射を上述したように制御することにより、虹彩半径１００６の算出結果を安定させることができる。

　このように、本発明の第２の実施の形態に係る視線推定装置１１００は、本発明の第１の実施の形態に係る視線推定装置２００と同様な効果を得ることができると共に、運転者の虹彩半径１００６に個人差がある場合でも安定して高精度な視線推定結果を遅延なく得ることができる。

　なお、上記各実施の形態においては、本発明の視線推定装置をソフトウェアで構成する場合を例にとって説明したが、本発明の視線推定装置は、ハードウェアで構成することも可能である。この場合、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）によって構成される。これら各機能ブロックは、個別に１チップ化されてもよい。ここで、ＬＳＩは、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、本発明の視線推定装置は、ＬＳＩによって構成する他に、専用回路または汎用プロセッサによって構成してもよい。例えば、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサによって本発明の視線推定装置を構成してもよい。

　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、本発明の視線推定装置の各機能ブロックの集積化を行ってもよい。

　本発明の視線推定装置は、精度の高い視線推定結果を出力することができるため、車載用カメラを用いた脇見警報や見落とし検知に利用できるものとして有用である。また、本発明の視線推定装置は、車載用途のみならず、テレビなどのＡＶ機器操作や、監視カメラにおける人物行動解析など幅広い用途に用いることができる。

　２００、１１００　視線推定装置
　２０１　画像入力部
　２０２　視線計測部
　２０３　視線推定部
　２１１　視線計測結果保持部
　２１２　代表値抽出部
　２１３　視線決定部
　２１４　閾値決定部
　３０１　顔周辺画像
　３０２、３０３、４０２、４０３　目の端点
　４０１　目領域画像
　４０４、１００１　瞳孔中心
　６０１、７０１　視線計測結果を示すグラフ
　６０２、７０２　代表値を示すグラフ
　６０３、７０３　閾値処理を示すグラフ
　６０４、７０４　視線推定結果を示すグラフ
　８０１　最大眼球回転角度決定部
　８０２　誤計測時差分最小値決定部
　８０３　閾値設定部
　９０１　計測結果が正しいときのグラフ
　９０２　誤計測のときのグラフ
　１００２　眼球中心
　１００３　虹彩輪郭上の一点
　１００４　虹彩角度
　１００５　眼球半径
　１００６　虹彩半径
　１１０１　照射部

Claims

　目を含む顔付近の領域を撮影して画像として取り込む画像入力部と、
　撮影された画像をもとに視線方向を計測する視線計測部と、
　前記視線計測部で過去に計測された視線計測結果を保持する視線計測結果保持部と、
　前記視線計測結果保持部に保持された過去の視線計測結果の代表値を抽出する代表値抽出部と、
　前記代表値抽出部により抽出された代表値と前記視線計測部により計測された視線計測結果との差分Ｄが所定の閾値Ｔ未満であるか否かにより、前記代表値と前記視線計測結果とのいずれかを視線推定結果として決定する視線決定部と、を備えた視線推定装置。
　前記閾値Ｔを決定する閾値決定部を更に備え、
　前記閾値決定部は、１フレームの間に視線が動く可能性がある最大眼球回転角度Ｐと、瞳孔領域外に瞳孔を誤検出した場合における差分Ｄの最小角度Ｑを設定した上で、前記最大眼球回転角度Ｐ以上かつ前記最小角度Ｑ以下の値を前記閾値Ｔとして決定することを特徴とする請求項１に記載の視線推定装置。
　前記閾値決定部は、眼球運動を制御する筋肉の伸縮速度に関する既知の値に基づいて、前記最大眼球回転角度Ｐを設定することを特徴とする請求項２に記載の視線推定装置。
　前記閾値決定部は、前記視線計測部および前記視線決定部の少なくとも一方から過去に出力された結果に基づいて、前記最大眼球回転角度Ｐを微調整することを特徴とする請求項３に記載の視線推定装置。
　前記閾値決定部は、瞳孔の中心から眼球の中心までを結ぶ直線と、虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度、および、前記最大眼球回転角度Ｐに基づいて、前記最小角度Ｑを設定することを特徴とする請求項２に記載の視線推定装置。
　前記代表値抽出部は、前記視線計測結果保持部が保持する視線計測結果の中央値を前記代表値として抽出することを特徴とする請求項１に記載の視線推定装置。
　前記閾値決定部は、虹彩半径を算出し、算出した虹彩半径に基づいて、前記瞳孔の中心から前記眼球の中心までを結ぶ直線と、前記虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度を算出することを特徴とする請求項５に記載の視線推定装置。
　前記目を含む顔付近の領域を照射する照射部を更に備え、
　前記閾値決定部は、前記虹彩の半径を計算するタイミングに合わせて、前記照射部による照射の状態を変更させることを特徴とする請求項７に記載の視線推定装置。
　前記視線決定部によって決定された値を平滑化する時系列フィルタを更に備えたことを特徴とする請求項１に記載の視線推定装置。