JP6601351B2 - 視線計測装置 - Google Patents

Description

本発明は、例えば、車両を運転するユーザの顔画像を用いて、視線の方向を計測する視線計測装置に関するものである。

従来の視線計測装置として、例えば、特許文献１に記載されたものが知られている。特許文献１の視線計測装置（運転者撮像装置）は、運転者の顔を撮像するドライバモニタカメラと、画像処理を行うドライバモニタＥＣＵとを備えている。

ドライバモニタＥＣＵは、まず、ドライバモニタカメラによって、所定の明るさ（露光量）で、運転者の顔の広域部分（顔の輪郭や鼻孔の位置）を主体とした第１撮像画像を撮像する。また、ドライバモニタＥＣＵは、通常、顔の広域部分に対して、暗く写りがちな目の領域を明確な画像として得られるように、ドライバモニタカメラによって、第１撮像画像のときよりも露光量を上げて、顔の一部（目の領域）のみを主体とした第２撮像画像を得るようにしている。

そして、第１撮像画像に対して、第２撮像画像に撮像されている運転者の顔は、ほぼ同じ位置に同じ状態で撮像されていると見なす（仮定する）ことができるように、ドライバモニタＥＣＵは、第１撮像画像と第２撮像画像とを同一のドライバモニタカメラによって、極めて短い時間間隔で撮像するようにしている。

これにより、ドライバモニタＥＣＵは、第１撮像画像を用いて運転者の顔の向き、および目の位置を検知する（第１の画像処理を行う）と共に、第２撮像画像を用いて運転者の目の開閉度、および視線方向を検知する（第２の画像処理を行う）ようにしている。

特開２００９−２７６８４９号公報

ここで、特許文献１では、あくまでも運転者は、静止しているものと仮定して、極めて短い時間間隔で、第１撮像画像、および第２撮像画像を得ることで、運転者の顔、および目が、ほぼ同じ位置で、同じ状態で撮影されていると見なしている。しかしながら、運転者の顔に動きが有った場合、仮に極めて短い時間間隔で、第１、第２撮像画像を得たとしても、両者の画像中において顔の位置と目の位置とがずれてしまい、顔に対する目の位置、視線の方向を正確に把握することが困難となり、視線計測の精度が低下してしまう。

本発明の目的は、上記問題に鑑み、被撮影者に動きがある場合であっても、より正確な視線の計測を可能とする視線計測装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

本発明では、露出レベルを変更可能として、被撮影者の画像を撮像する撮像部（１１０
）と、
撮像部によって撮像された画像を基に、被撮影者の視線方向を計測する視線計測部（１
４０）と、を備える視線計測装置において、
撮像部は、第１の露出レベルで被撮影者の顔全体を示す第１画像（１１０１）と、第１
の露出レベルよりも高く設定された第２の露出レベルで被撮影者の目の周りを示す第２画
像（１１０２）とを交互に連続して撮像するようになっており、
視線計測部は、交互に連続して撮像される第１画像および第２画像のうち、任意の画像
および次の画像において、動きを検出するための特徴部に基づいて、被撮影者の動きに伴
う位置ずれを把握すると共に、任意の画像に対して次の画像における位置ずれを補正して
、顔に対する目の向きから視線方向を計測するようになっており、
第１画像の輝度に対する第２画像の輝度が、予め定めた所定の閾値よりも大きいときに、撮像部に対して、第２画像の撮像に際しては、第２の露出レベルの設定を第１の露出レベルの設定に切替えるように制御する切替え制御部（１５０）を備えることを特徴としている。

この発明によれば、視線計測部（１４０）は、任意の画像と次の画像において、動きを検出するための特徴部に基づいて位置ずれを把握すると共に、その位置ずれを補正して、顔に対する目の向きから視線方向を計測するので、被撮影者に動きが有った場合でも、より正確な視線方向の計測を行うことが可能となる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

視線計測装置の全体構成を示す構成図である。 露出制御における制御内容を示すフローチャートである。 第１画像、第２画像における露出評価の要領を示す説明図である。 視線計測制御における基本的な制御内容を示すフローチャートである。 動きに伴う第２画像のずれを補正して、視線方向を計測する要領を示す説明図である。 第１実施形態における視線計測制御の内容を示すフローチャートである。 動きを検出する際の特徴部を抽出するための要領を示す説明図である。 第２実施形態における視線計測制御の内容を示すフローチャートである。 第３実施形態における明暗切替え制御の内容を示すフローチャートである。 第４実施形態における明暗切替え制御の内容を示すフローチャートである。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態における視線計測装置１００について図１〜図７を用いて説明する。視線計測装置１００は、例えば、車両に搭載されて、運転者（本発明の被撮影者）の顔の画像を撮像して、撮像された顔画像を基に視線方向を計測する装置となっている。車両には、例えば、カーナビゲーション装置、カーオーディオ装置、あるいは／およびカーエアコン装置等の各種機器が搭載されている。視線計測装置１００によって、計測された視線方向（視線の先）が、各種機器の種々のスイッチ部のいずれかの位置に一致すると、そのスイッチ部がオンされるようになっている。

尚、視線計測装置１００では、顔画像から、目の開き具合も計測可能となっている。そして、目の開き具合から運転者が眠気を催しているか否かを判定して、眠気を催しているようであれば、例えば、アラーム等を作動させて運転者を覚醒させる、あるいは、ブレーキ装置を作動させて減速させる、更には強制停止させる、等の安全運転支援を行うことも可能となっている。

視線計測装置１００は、図１に示すように、撮像部１１０、画像取得部１２１、フレームメモリ１２２、露出制御部１３０、視線計測部１４０、および動作制御部１５０等を備えている。

撮像部１１０は、露出レベルを変更可能として、運転者の顔画像を撮像するものであり、運転者の顔と対向するように、例えば、ステアリングコラムの上部、コンビネーションメータ、あるいは、フロントウインド上部等に装着されている。撮像部１１０は、光源１１１、レンズ１１２、バンドパスフィルタ１１２ａ、イメージセンサ１１３、およびコントローラ１１４等を有している。

光源１１１は、顔画像を撮像するために運転者の顔に向けて、例えば、近赤外線等の光を出射するものであり、コントローラ１１４によって、例えば、露光時間、光源強度等が制御されるようになっている。これによって、撮像時の露出レベルが調整されるようになっている。

レンズ１１２は、イメージセンサ１１３の運転者側に設けられて、光源から出射されて運転者の顔によって反射された光をイメージセンサ１１３に向けて集光（結像形成）させるようになっている。

バンドパスフィルタ（ＢＰＦ）１１２ａは、太陽や外部照明等の外乱による影響を軽減するために、特定の波長の光（ここでは、光源１１１からの近赤外線波長）のみを通す特性を持った光学フィルタとなっている。バンドパスフィルタ１１２ａは、レンズ１１２の前面、あるいはレンズ１１２とイメージセンサ１１３との間に設置されている。

イメージセンサ１１３は、レンズ１１２による結像を電気信号に変換して、運転者の顔画像として撮像（取得）する撮像素子であり、コントローラ１１４によって、例えば、ゲイン等が制御されるようになっている。これによって、撮像時の露出レベルが調整されるようになっている。イメージセンサ１１３は、顔画像を撮像するにあたって、例えば、１秒間に３０フレームの撮像データを連続的に取得していくようになっている。

イメージセンサ１１３は、後述するように、第１露出レベルの条件と、第２露出レベルの条件とが交互に連続するようにして、顔画像を撮像するようになっている。第１露出レベルでの顔画像は、主に、運転者の目の周りを除く顔全体を示す第１画像１１０１（図３（ａ））となり、また、第２露出レベルでの顔画像は、主に、運転者の目の周りを示す第２画像１１０２（図３（ｂ））となる。１秒間に３０フレームを撮像する場合であると、第１画像１１０１は、例えば、３０フレームのうち、奇数番目となる１５フレーム分の画像となり、また、第２画像１１０２は、偶数番目となる１５フレーム分の画像となる。イメージセンサ１１３は、このように、第１画像１１０１と第２画像１１０２とを交互に連続して撮像していくようになっており、撮像した顔画像のデータを画像取得部１２１に出力するようになっている。

コントローラ１１４は、露出制御部１３０からの指示に基づいて、顔画像を撮像する際に必要とされる露出レベルとなるように、光源１１１、およびイメージセンサ１１３を制御するようになっている。コントローラ１１４は、顔画像の撮像において、第１画像１１０１を撮像する際には、第１露出レベルとなるように、また、第２画像１１０２を撮像する際には、第２露出レベルとなるように光源１１１、およびイメージセンサ１１３を制御するようになっている。

一般的に、目の周りの撮像にあたっては、人によっては目の彫りが深い場合、あるいはサングラスをかけている場合等では、目の周りが暗くなって、特に、瞼や瞳孔（あるいは虹彩）等を正確に撮像することが難しくなることから、第２露出レベルは、第１露出レベルに比べて、高い値に設定されるものとなっている。よって、第１画像１１０１の撮像にあたっては、相対的に暗くなる露出レベル（第１露出レベル）で行われ、また、第２画像１１０２の撮像にあたっては、相対的に明るくなる露出レベル（第２露出レベル）で行われるようになっている。

画像取得部１２１は、イメージセンサ１１３から出力される顔画像のデータを取得する部位となっており、取得した顔画像のデータをフレームメモリ１２２、および露出制御部１３０（露出評価部１３１）に出力するようになっている。

フレームメモリ１２２は、画像取得部１２１から出力された顔画像のデータを記憶すると共に、更に、視線計測部１４０の各部位（１４１〜１４３、１４５）、および動作制御部１５０に出力するようになっている。

露出制御部１３０は、顔画像の撮像時における露出レベルを制御するものであり、露出評価部１３１、露出設定部１３２、および露出メモリ１３３等を有している。

露出評価部１３１は、顔画像を撮像する際に、目標とする露出レベルに対する実際の露出レベルを、画像の輝度を用いて評価する部位となっている。露出評価部１３１は、評価した実際の露出レベルのデータを露出メモリ１３３に出力するようになっている。

露出設定部１３２は、顔画像を撮像する際の実際の露出レベルを、目標とする露出レベルに近づけるように、コントローラ１１４に対して指示を行う部位となっている。露出設定部１３２は、設定した露出レベル条件のデータを露出メモリ１３３に出力するようになっている。

露出メモリ１３３は、上記した露出評価にかかる各種データ、露出設定にかかる各種データ等を記憶しておく部位となっている。尚、露出メモリ１３３には、露出設定にかかる各種データとして、露出時間、光源強度、およびゲイン等の種々の組合せデータが、予めテーブルとして形成されている。

視線計測部１４０は、撮像部１１０によって撮像された顔画像（フレームメモリ１２２から出力された顔画像データ）を基に、運転者の視線方向を計測するものであり、顔検出部１４１、顔部品検出部１４２、目検出部１４３、幾何計算部１４４、動き計測・補正部１４５、および視線・顔計測メモリ１４６等を有している。

顔検出部１４１は、顔画像（主に第１画像１１０１）に対して、背景に対する顔の部分（図４（ｂ１））を検出する部位となっており、検出したデータを視線・顔計測メモリ１４６に出力するようになっている。

顔部品検出部１４２は、顔画像（主に第１画像１１０１）に対して、目、鼻、口、および顎の輪郭等の顔部品（図４（ｂ２））を検出する部位となっており、検出したデータを視線・顔計測メモリ１４６に出力するようになっている。

目検出部１４３は、顔画像（主に第２画像１１０２）において、目における瞼、瞳孔（虹彩）等（図４（ｂ３））を検出する部位となっており、検出したデータを視線・顔計測メモリ１４６に出力するようになっている。

幾何計算部１４４は、顔画像において、顔の向き、および視線の方向（図４（ｂ４））を計算する部位となっており、計算したデータを視線・顔計測メモリ１４６に出力するようになっている。

動き計測・補正部１４５は、第１、第２画像１１０１、１１０２から運転者の動き（動きの量）を計測すると共に、この動きに伴う、運転者の動きに伴う位置ずれを把握して、その位置ずれを補正する部位となっている（図５）。動き計測・補正部１４５は、補正したデータを視線・顔計測メモリ１４６に出力するようになっている。

視線・顔計測メモリ１４６は、上記各部１４１〜１４５にて得られた各種データを記憶すると共に、検出や算出の都度、予め記憶された各種データ（閾値、特徴量等）を各部１４１〜１４５、更には露出制御部１３０（露出評価部１３１）に出力する部位となっている。

動作制御部１５０は、フレームメモリ１２２、および視線・顔計測メモリ１４６からのデータに基づいて、現在、撮像している顔画像が第１画像１１０１なのか、第２画像１１０２なのかを露出制御部１３０、および視線計測部１４０等に通知するようになっている。また、動作制御部１５０は、第１、第２画像１１０１、１１０２を撮像する際の頻度を決定する（第３実施形態）、あるいは第１、第２露出レベルを用いた撮像の切替えを行うか否かを決定する（第４実施形態）ようになっている。動作制御部１５０は、本発明の頻度制御部、および切替え制御部に対応する。

上記のように形成される視線計測装置１００の作動について、以下、図２〜図７を加えて説明する。視線計測装置１００においては、露出制御（図２、図３）と、視線計測制御（図４〜図７）とが並行して実行されるようになっている。以下、露出制御、基本的な視線計測制御、および本実施形態の視線計測制御の詳細について説明する。

１．露出制御（図２、図３）
露出制御は、露出制御部１３０によって実行されるようになっている。図２（ａ）に示すように、露出制御部１３０は、ステップＳ１００で、まず、露出評価を行う。露出制御部１３０は、撮像された第１画像１１０１、および第２画像１１０２の輝度を算出することで、それぞれの露出レベル（第１、第２露出レベル）の評価を行う。輝度の算出にあたっては、各画像１１０１、１１０２における平均輝度、あるいは加重平均輝度を用いることができる。

尚、加重平均輝度を用いる場合は、図３（ａ）に示すように、露出制御部１３０は、第１画像１１０１に対しては、目の周辺を除く顔全体を重視して輝度を算出し、また、第２画像１１０２に対しては、図３（ｂ）に示すように、目の周辺を重視して輝度を算出する。

次に、ステップＳ１１０で、露出制御部１３０は、露出設定値を算出する。露出制御部１３０は、各画像１１０１、１１０２における目標露出レベルに対応する目標輝度を露出メモリ１３３から呼び出して、上記ステップＳ１００で得られた実際の輝度が目標輝度に近づくように、光源１１１における露光時間、光源強度、およびイメージセンサ１１３におけるゲイン等の設定値を算出する。尚、露光時間、光源強度、ゲイン等の組合せ条件は、予め露出メモリ１３３に記憶されたテーブルにおけるデータが使用される。

そして、ステップＳ１２０で、露出制御部１３０は、露出設定を行う。露出制御部１３０は、上記ステップＳ１１０で算出した設定値をコントローラ１１４に対して出力する。これにより、第１画像１１０１を撮像する際の第１露出レベル、および第２画像１１０２を撮像する際の第２露出レベルの設定がなされることになる。この露出制御は、第１画像１１０１、および第２画像１１０２が交互に連続して撮像されるに伴って、繰り返し実行される。

２．視線計測制御の基本（図４）
視線計測制御は、視線計測部１４０によって実行されるようになっている。まず、視線計測制御の基本について、説明する。図４に示すように、視線計測部１４０は、ステップＳ２００で、まず、顔検出を行う。視線計測部１４０（顔検出部１４１）は、顔画像に対して、一部分を切り出した部分画像から濃淡等の特徴量を抽出し、予め視線・顔計測メモリ１４６に記憶された学習済みの閾値を用いて顔か否かを判別することで、背景に対する顔の部分（図４（ｂ１））を検出する。

次に、ステップＳ２１０で、視線計測部１４０（顔部品検出部１４２）は、顔部品検出を行う。視線計測部１４０は、顔検出結果から顔器官点（目、鼻、口、顎の輪郭等）の初期位置を設定し、濃淡・位置関係等の特徴量と、視線・顔計測メモリ１４６に記憶された学習済みの特徴量との差が最も小さくなるよう変形することで、顔部品（図４（ｂ２））を検出する。

次に、ステップＳ２６０で、視線計測部１４０（目検出部１４３）は、目検出を行う。視線計測部１４０は、ステップＳ２００の顔検出で得られた顔内の目の位置、およびステップＳ２１０の顔部品検出で得られた目の位置から、予め視線・顔計測メモリ１４６記憶された目（瞼、瞳孔等）に関する特徴データを用いて、瞼、瞳孔等（図４（ｂ３））を検出する。

次に、ステップＳ２７０で、視線計測部１４０（幾何計算部１４４）は、幾何計算を行う。視線計測部１４０は、上記顔検出部１４１で得られた顔、および上記顔部品検出部１４２で得られた顔部品の位置関係、および上記目検出部１４３で得られた瞼、瞳孔等の位置関係から、顔の向き、および視線の方向（図４（ｂ４））を計算する。

３．本実施形態の視線計測制御（図５〜図７）
上記基本的な視線計測制御においては、運転者に動きがある場合、第１画像１１０１と第２画像１１０２とにおいて、顔の位置と目の位置との間でずれが生じて、顔に対する目の位置、および視線の方向を正確に把握することが困難となり、視線計測の精度が低下してしまう。よって、本実施形態では、図５に示すように、交互に連続して撮像される第１画像１１０１、および第２画像１１０２のうち、任意の画像および次の画像におけるそれぞれの動き検出用の特徴部（例えば目の位置）に基づいて、運転者の動きに伴う位置ずれを把握するようにしている。そして、任意の画像に対して次の画像における位置ずれを補正して、顔に対する目の向きから運転者の視線方向を計測するようにしている。

図６において、時間経過と共に、第１画像１１０１、および第２画像１１０２が交互に連続して撮像されていく様子を示している。図６では、図４に対して、ステップＳ２２０〜Ｓ２５０を追加している。そして、視線計測部１４０は、交互に連続して撮像される顔画像のうち、任意の画像（図６中の左）に対して、ステップＳ２００〜Ｓ２２０を行い、また、次の画像（図６中の真ん中）に対して、ステップＳ２３０〜２７０を行うようになっている。更に次の画像（図６中の右）に対して、ステップＳ２００〜Ｓ２２０、Ｓ２４０、Ｓ２５０、Ｓ２７０を行い、以下、これを繰り返すことで、視線方向を順次計測していくようになっている。

視線計測部１４０は、ステップＳ２００、Ｓ２１０で、第１画像１１０１に対して、上記で説明した顔検出、顔部品検出を行う。

次に、ステップＳ２２０で、視線計測部１４０は、第１画像１１０１において動き検出用の特徴部を抽出する。動き検出用の特徴部は、例えば、目の位置（目の部分）を使用することができる。目の位置の検出にあたっては、例えば、図７に示すように、顔画像における輝度分布を基に行うことができる。輝度分布の算出は、顔画像上における２方向（ｘ方向、ｙ方向）において、それぞれ輝度を積算した積算値の分布から目の位置を算出することができる。目の位置は、例えば、彫が深い場合、あるいはサングラスをかけている場合等、目の周辺は、輝度が低くなる傾向にあり、上記で算出した積算輝度の相対的に低い領域を、目の位置として抽出することが可能となる。

尚、ステップＳ２２０においては、輝度ヒストグラムを用いて、目の位置を検出することも可能である。輝度ヒストグラムは、顔画像において、輝度に対する発生頻度を示すもので、例えば、判別分析法によって所定の輝度より低い領域の部分を目の位置として抽出することが可能である。

次に、視線計測部１４０は、ステップＳ２３０〜Ｓ２７０で、第２画像１１０２に対して、目の検出を行い、運転者の動きを考慮した視線方向を計算する。

即ち、ステップＳ２３０で、視線計測部１４０は、ステップ２２０と同様に、第２画像１１０２において動き検出用の特徴部（例えば目の位置）を抽出する。

尚、動き検出用の特徴部としては、上記の「目の位置」を使用した場合に対して、下記のように「画像そのもの」を使用することもできる。即ち、第２画像１１０２において、白飛びの発生している領域（主に目の周囲以外の領域）をマスクして、第２画像１１０２における第２露出レベルを第１画像１１０１の第１露出レベルに合せるようにして、第２画像１１０２を加工する。このように明るさが第１画像１１０１と同程度になるように補正された第２画像１１０２そのものを特徴部として使用して、第１画像１１０１と第２画像１１０２との差分合計が最小になる位置を探索することで、動き検出が実現できるようになる。

次に、ステップＳ２４０で、視線計測部１４０は、動き計測を行う。視線計測部１４０は、ステップＳ２２０において第１画像１１０１を基に抽出した目の位置と、ステップＳ２３０において第２画像を基に抽出した目の位置とから、運転者の動きに伴う位置ずれ量を計測する。

次に、ステップＳ２５０で、視線計測部１４０は、動き補正を行う。視線計測部１４０は、ステップＳ２４０において計測した位置ずれ量を用いて動き補正する。例えば、第１画像１１０１においてステップＳ２１０で検出した顔部品の座標を基に、第２画像１１０２に対して位置補正を行う。

次に、視線計測部１４０は、位置補正した第２画像１１０２を用いて、ステップＳ２６０で、瞼、瞳孔等の目の検出を行うと共に、ステップＳ２７０で、顔の向き、および視線の方向を計算する。

視線計測部１４０は、更に次の画像（図６中の右）において、動き検出用特徴抽出（ステップＳ２２０）を行い、１つ前の画像（図６中の真ん中）との間で、動き計算（ステップＳ２４０）、および動き補正（ステップＳ２５０）を行い、視線の方向を計算する（ステップＳ２７０）。以下、視線計測部１４０は、１つ前の画像と、次の画像との間で上記の制御を繰り返すことで、視線の方向を順次計測していく。

以上のように、本実施形態においては、視線計測部１４０は、交互に連続して撮像される第１画像１１０１、および第２画像１１０２のうち、任意の画像および次の画像において、動きを検出するための特徴部に基づいて、運転者の動きに伴う位置ずれを把握すると共に、任意の画像に対して次の画像における位置ずれを補正して、顔に対する目の向きから視線方向を計測するようにしている。これにより、運転者に動きが有った場合でも、より正確な視線方向の計測を行うことが可能となる。

また、視線計測部１４０は、ステップＳ２２０、Ｓ２３０において、第１画像１１０１上、および第２画像１１０２上のそれぞれの２軸方向（ｘ方向、ｙ方向）における輝度の積算値から、動きを検出するための特徴部として、目の位置を把握するようにしている。これにより、視線計測部１４０は、目の位置を正確に把握することができる。

また、ステップＳ２３０において、動きを検出するための特徴部として、第２画像１１０２に対して、白飛びの発生している領域をマスクし、第２露出レベルを第１露出レベルに合せるように第２画像１１０２を加工したものを使用することも可能である。これにより、動きの検出が可能となる。

（第２実施形態）
第２実施形態を図８に示す。第２実施形態は、上記第１実施形態と構成同一として、制御内容を変更したものである。図８におけるフローチャートは、図６のフローチャートに対して、第１画像１１０１と第２画像１１０２との画像合成（ステップＳ２４５）を行って、視線方向を計測するようにしたものである。

図８に示すように、第２画像１１０２において、視線計測部１４０は、ステップＳ２４０の後に、ステップＳ２４５で、第１画像１１０１と、位置ずれを補正した第２画像１１０２とを合成する。そして、視線計測部１４０は、ステップＳ２１０で、顔部品検出を行い、ステップＳ２６０で目の検出を行い、ステップＳ２７０で、視線方向を計測する。

これにより、第１画像１１０１と、位置ずれを補正した第２画像１１０２とを合成することで、合成画像上において視線方向を正確に計測することができる。

（第３実施形態）
第３実施形態を図９に示す。第３実施形態は、上記第１実施形態と構成同一として、運転者の動きの量に応じて、第２画像１１０２を撮像するときの撮像頻度に対して、第１画像１１０１を撮像するときの撮像頻度を変更するようにしたものである。撮像頻度の変更は、動作制御部（頻度制御部）１５０が実行するようになっている。

図９に示すように、まず、ステップＳ３００で、動作制御部１５０は、視線・顔計測メモリ１４６から第１画像１１０１、および第２画像１１０２を読み出す。次に、ステップＳ３１０で、動作制御部１５０は、両画像１１０１、１１０２の動きを検出するための特徴部の比較から、運転者の動きを算出する。

そして、ステップＳ３２０において、動作制御部１５０は、ステップＳ３１０で算出した運転者の動きの量が、予め定めた所定の動き量よりも、一定時間以上、大きいときに、第１画像１１０１の撮像頻度を、第２画像１１０２の撮像頻度よりも大きくする（頻度決定）。動きの量に対応する第１、第２画像１１０１、１１０２の撮像頻度の組合せは、予め動作制御部１５０に記憶されている。

具体的には、例えば、上記第１実施形態では、第１画像１１０１、および第２画像１１０２は、３０フレーム／１秒のうち、それぞれ、１５フレーム分のデータを用いた画像として説明した。これに対して、ステップＳ３２０では、例えば、第１画像１１０１を２０フレーム分の画像とし、第２画像１１０２を１０フレーム分の画像とするのである。

運転者の動き量が所定の動き量よりも大きいときには、相対的に、目の周りを示す第２画像１１０２は、顔全体を示す第１画像１１０１よりも不正確なものと成り易い。よって、顔全体を示す第１画像１１０１の撮像頻度を大きくすることで、まずは、第１画像１１０１の精度を上げることができる。そして、精度を高めた第１画像１１０１（顔全体）を基に、第２画像１１０２（目の周り）を用いて視線方向を計測することで、運転者の動き量が大きい場合であっても、より正確な視線方向を得ることができる。

（第４実施形態）
第４実施形態を図１０に示す。第４実施形態は、上記第１実施形態と構成同一として、第１画像１１０１の輝度に対する第２画像１１０２の輝度に応じて、第１露出レベルの設定と第２露出レベルの設定との切替えを行うか否かを決定するようにしたものである。露出レベルの切替え決定は、動作制御部（切替え制御部）１５０が実行するようになっている。

図１０に示すように、まず、ステップＳ４００で、動作制御部１５０は、露出制御部１３０に対して、図２で説明した露出制御における各画像１１０１、１１０２の露出評価結果があるか否かを判定する。

ステップＳ４００で肯定判定すると、動作制御部１５０は、ステップＳ４１０で、第２画像（目の周辺の画像）１１０２の輝度データを読み出し、また、ステップＳ４２０で、第１画像（顔全体の画像）１１０１の輝度データを読み出す。

次に、ステップＳ４３０で、動作制御部１５０は、顔全体の画像の輝度に対する目の周辺の画像の輝度が、予め定めた所定の閾値より小さいか否かを判定する。

ステップＳ４３０で肯定判定した場合であると、目の周辺の輝度は相対的に低いレベルにあるため、第２画像（目の周辺の画像）１１０２を撮像するには、第１画像（顔全体の画像）１１０１を撮像するときに比べて、露出レベルを高くしてやる必要があることになる。よって、動作制御部１５０は、ステップＳ４４０において、第１実施形態と同様に、第１画像１１０１を撮像する際には第１露出レベルに設定し、また第２画像１１０２を撮像する際には第２露出レベルに設定するといった、露出レベルの切替え制御（明暗切替えＯＮ）を実行する。

一方、ステップＳ４３０で否定判定した場合であると、目の周辺の輝度は相対的に高いレベルにあるため、第２画像（目の周辺の画像）１１０２を撮像するには、第１画像（顔全体の画像）１１０１を撮像するときと同等の露出レベルで対応することが可能となる。よって、動作制御部１５０は、ステップＳ４５０において、第１画像１１０１を撮像する際、および第２画像１１０２を撮像する際には、共に第１露出レベルでの撮像とし、第１、第２露出レベルの切替えを不要とする制御（明暗切替えＯＦＦ）を実行する。

また、ステップＳ４００で否定判定した場合であると、動作制御部１５０は、露出評価がまだ成されていないとして、ステップＳ４６０でエラー通知を行い、本フローを終了する。

尚、動作制御部１５０は、上記露出レベル設定の切替え制御にあたっては、例えば、
（１）初期起動時、
（２）予め定めた所定の時間毎、
（３）顔検出結果が予め定めた一定時間以上途切れたとき、
（４）明暗切替えＯＦＦ状態での目の検出エラーが予め定めた一定時間以上続いた後、等のタイミングで実行することができる。

これにより、目の周りを示す第２画像１１０２の輝度が、所定の閾値よりも大きいときは、露出レベルを大きくするような設定を行わずとも、良好な目の周りの画像が得られるため、第１露出レベルの設定と、第２露出レベルの設定との切替えを不要とする（第１露出レベルのまま第１、第２画像１１０１、１１０２を撮像する）ことができる。

１００ 視線計測装置
１１０ 撮像部
１４０ 視線計測部
１５０ 動作制御部（頻度制御部、切替え制御部）
１１０１ 第１画像
１１０２ 第２画像

Claims (5)

1. 露出レベルを変更可能として、被撮影者の画像を撮像する撮像部（１１０）と、
   前記撮像部によって撮像された前記画像を基に、前記被撮影者の視線方向を計測する視線計測部（１４０）と、を備える視線計測装置において、
   前記撮像部は、第１の露出レベルで前記被撮影者の顔全体を示す第１画像（１１０１）と、前記第１の露出レベルよりも高く設定された第２の露出レベルで前記被撮影者の目の周りを示す第２画像（１１０２）とを交互に連続して撮像するようになっており、
   前記視線計測部は、交互に連続して撮像される前記第１画像および前記第２画像のうち、任意の画像および次の画像において、動きを検出するための特徴部に基づいて、前記被撮影者の動きに伴う位置ずれを把握すると共に、前記任意の画像に対して前記次の画像における前記位置ずれを補正して、顔に対する目の向きから前記視線方向を計測するようになっており、
   前記第１画像の輝度に対する前記第２画像の輝度が、予め定めた所定の閾値よりも大きいときに、前記撮像部に対して、前記第２画像の撮像に際しては、前記第２の露出レベルの設定を前記第１の露出レベルの設定に切替えるように制御する切替え制御部（１５０）を備える視線計測装置。
2. 前記視線計測部は、前記任意の画像、および前記位置ずれを補正した前記次の画像を合成して、前記視線方向を計測する請求項１に記載の視線計測装置。
3. 前記被撮影者の動き量が予め定めた所定の動き量よりも大きいときに、前記撮像部に対して、前記第１画像の撮像頻度を前記第２画像の撮像頻度よりも大きくするよう制御する頻度制御部（１５０）を備える請求項１または請求項２に記載の視線計測装置。
4. 前記視線計測部は、前記第１画像上および前記第２画像上のそれぞれの２軸方向における輝度の積算値から、前記特徴部を把握する請求項１〜請求項３のいずれか１つに記載の視線計測装置。
5. 前記視線計測部は、前記第２画像に対して、白飛びの発生している領域をマスクし、前記第２の露出レベルを前記第１の露出レベルに合せるように加工した画像自体を前記特徴部として使用する請求項１〜請求項３のいずれか１つに記載の視線計測装置。

Images