JP4203279B2

JP4203279B2 - 注目判定装置

Info

Publication number: JP4203279B2
Application number: JP2002218086A
Authority: JP
Inventors: 仁志本郷
Original assignee: Japan Science and Technology Agency; Sanyo Electric Co Ltd; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; Sanyo Electric Co Ltd; National Institute of Japan Science and Technology Agency
Priority date: 2002-07-26
Filing date: 2002-07-26
Publication date: 2008-12-24
Anticipated expiration: 2022-07-26
Also published as: JP2004062393A

Description

【０００１】
【発明の属する技術分野】
本発明は、注目判定装置に関するものである。
【０００２】
【従来の技術】
人物の視線や動作など、人間をセンシングして得られる情報と、物体センシングにより構築された周辺環境とから、その人の要望を察知し、その人の意図に適したサービスを提供することが提案されている。これらを実現するためには、人間とその周辺環境をセンシングし、その人が何を見て、どのような動作を行っているかを知ることが重要なこととなる。このとき、視線情報はその人が注目している物、又はその人の意図や状況を推定するのに欠かせない情報の１つである。
【０００３】
【発明が解決しようとする課題】
しかしながら、単に視線を検出しても、その人が視線方向にある提示された情報（提示情報）を単に眺めているだけなのか、あるいはその提示情報に注目しているのかの相異を得ることができる方法及びその装置は未だ提案されていない。
【０００４】
仮に、提示情報に注目していることが分かる方法及びその装置があるとすると、この方法及び装置によって得られた提示情報に対する人の注目度を分析することが可能となり、その提示情報に対する興味度や、市場性をも分析することが可能となる。
【０００５】
本発明の目的は、上記問題点を解決するためになされたものであり、その目的は、提示情報に対する注目度を測ることができる注目判定装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記問題点を解決するために、請求項１の発明は、提示情報を所定方向に移動する移動手段と、前記提示情報の移動の期間中の人の視線を検出して視線の移動方向を推測する視線移動方向推測手段と、前記提示情報の所定方向の移動と、推測した前記人の視線の移動方向とが一致しているか否かを判定する判定手段とを備え、前記視線移動方向推測手段は、検出対象者を撮像する撮像手段と、前記撮像手段が撮像した画像データに含まれる顔の目領域から瞳領域を検出する瞳領域検出手段と、前記瞳領域検出手段が検出した瞳領域の形状に対して円形度を算出する円形度算出手段と、前記円形度算出手段が算出した円形度に基づいて視線を検出する視線検出手段と、前記視線検出手段によって検出された視線の移動方向を特定する特定手段とを備えている注目判定装置であることを特徴とする。
【０００８】
請求項２の発明では、請求項１において、前記移動手段は、前記提示情報を画像表示する画像表示装置とし、前記画像表示装置における画面内で前記提示情報を移動するようにした。
【００１０】
請求項３の発明では、請求項１又は請求項２において、互いに異なる位置に前記撮像手段を複数設け、前記視線検出手段は、各撮像手段から得た画像データに含まれる瞳領域の各円形度を比較することで視線を検出するものとした。
【００１１】
請求４の発明では、請求項１乃至請求項３のいずれか１項において、前記円形度算出手段は、前記瞳領域を含む画像データをハフ変換し、ハフ変換の投票空間において、投票数が最大となる投票数最大点を含む第１領域、及び前記投票数最大点を含み前記第１領域よりも大きい第２領域における各投票数から円形度を算出するものとした。
【００１２】
請求項５の発明では、請求項１乃至請求項３のいずれか１項において、前記円形度算出手段は、瞳領域の面積及び瞳領域の輪郭線の長さに基づいて円形度を算出するものとした。
【００１５】
（作用）
請求項１の発明によれば、撮像手段が撮像した画像データに含まれる顔の目領域から瞳領域が瞳領域検出手段によって検出され、その検出された瞳領域の形状に対して円形度が円形度算出手段により算出される。そして、視線検出手段により、円形度算出手段が算出した円形度に基づいて視線が検出される。特定手段は、視線検出手段によって検出された視線の移動方向を特定する。判定手段は、特定手段によって特定された視線の移動方向が提示情報の移動方向に一致しているか否かを判定する。目領域の中から白目領域と容易に区別して検出可能な瞳領域を用いて視線検出を行うため、従来と異なり、瞳孔を検出可能なまで目領域を拡大して撮像する必要がない。このため、視線検出に瞳孔を用いる場合と比較して検出対象者の頭部位置の影響を受けにくく、人が提示情報に対して注目しているか否かを判定するために好適に視線を検出することができる。
また、請求項２の発明によれば、提示情報は、画像表示装置の画面内で移動される。提示情報を画面に表示する構成では、種々の提示情報を必要に応じて取り替えて表示することができる。
【００１６】
請求項３の発明によれば、画像データは、互いに異なる位置に設けられた複数の撮像手段でそれぞれ取得され、各画像データに含まれる瞳領域の各円形度が前記視線検出手段により比較される。そして、この比較結果に基づいて視線が検出される。従って、算出された複数の円形度を比較することで視線を検出しているため、例えば、記憶装置に予め記憶されていた参照データと比較して視線を検出する従来と異なり、検出した瞳領域に対して前記参照データと比較可能な状態にするために較正（キャリブレーション）を行う必要がなく、簡便に視線検出が行われる。
【００１７】
請求項４の発明によれば、前記瞳領域を含む画像データはハフ変換され、ハフ変換の投票空間において、投票数が最大となる投票数最大点を含む第１領域、及び前記投票数最大点を含み前記第１領域よりも大きい第２領域における各投票数から円形度算出手段により円形度が算出される。従って、ハフ変換の投票空間への投票数を利用して好適に円形度の算出が実現される。
【００１８】
請求項５の発明によれば、円形度は、検出された瞳領域の面積及び瞳領域の輪郭線の長さに基づいて円形度算出手段により算出される。従って、面積及び輪郭線の長さを利用して好適に円形度の算出が実現される。
【００１９】
【発明の実施の形態】
以下、本発明の視線検出装置を具体化した第１の実施形態を図１〜図１０を参照して説明する。
【００２０】
図１（ａ）に示すように、注目判定装置１０は、撮像手段としての複数台（本実施形態では２台）のビデオカメラ１１Ａ，１１Ｂと、カメラ用パソコン１２Ａ，１２Ｂと、メインパソコン１３と、画像表示装置１４とを備えている。ビデオカメラ１１Ａ，１１Ｂは、ＣＣＤカメラである。本実施形態におけるビデオカメラ１１Ａ，１１Ｂ及び画像表示装置１４は、全て所定の高さ（例えば、１．１５ｍ）に配置されており、画像表示装置１４は、ビデオカメラ１１Ａ，１１Ｂの設置個所の中間の位置に配設されている。
【００２１】
ビデオカメラ１１Ａ，１１Ｂにはカメラ用パソコン１２Ａ，１２Ｂが接続されている。カメラ用パソコン１２Ａ，１２Ｂには、ビデオカメラ１１Ａ，１１Ｂで撮影された個々のフレーム（画像データ）が、ビデオレートのカラー画像（６４０×４８０）として入力されるようになっている。
【００２２】
カメラ用パソコン１２Ａ，１２Ｂは、メインパソコン１３に接続されており、メインパソコン１３は、各カメラ用パソコン１２Ａ，１２Ｂとの通信をイーサネット（登録商標）を介したソケット通信で行うようにしている。また、ネットワーク・タイムサーバシステムが用いられており、メインパソコン１３がタイムサーバとして設定され、各カメラ用パソコン１２Ａ，１２Ｂの時刻がメインパソコン１３に合わされるようになっている。又、メインパソコン１３は、画像表示装置１４に有線接続されている。メインパソコン１３は、注目判定装置１０の視線検出結果に応じて画像表示装置１４における提示情報の表示及び提示情報の移動を制御する。なお、メインパソコン１３と画像表示装置１４とを有線接続せずに、画像表示装置１４における画像表示を無線で制御する態様をとってもよい。
【００２３】
（注目判定方法）
以下、第１の実施形態の注目判定方法について説明する。まず、注目判定装置１０が行う注目判定の概要を説明する。
【００２４】
各ビデオカメラ１１Ａ，１１Ｂは、検出対象者Ｈを撮像し、撮像情報を各カメラ用パソコン１２Ａ，１２Ｂに入力する。各カメラ用パソコン１２Ａ，１２Ｂは、ビデオカメラ１１Ａ，１１Ｂからの画像のキャプチャを行い、画像データから目領域１６を検出する。そして、検出された目領域１６から、瞳領域１７を検出すると共に、瞳領域１７の大きさを正規化し、この瞳領域１７の形状に対して円形度を算出する。カメラ用パソコン１２Ａ，１２Ｂは、その円形度の算出結果をメインパソコン１３に送信し、メインパソコン１３は、各円形度を比較することで視線を検出する。なお、「円形度」とは、真円に対する近似度合いを示すものであり、真円に近いほど円形度が高いと表現し、円が変形するほど円形度が低いと表現する。例えば、長軸の長さと短軸の長さとの差が大きい楕円になっていくほど、円形度が低くなる。そして、第１の実施形態においては、円形度は、後述する式（６）により算出される評価値Ｅに比例する。評価値Ｅが大きければ円形度は高く、評価値が小さければ円形度は低くなる。従って、第１の実施形態において、円形度を算出するというのは、後記する評価値Ｅを算出することを示す。
【００２５】
視線が画像表示装置１４の画面に向けられたとき、メインパソコン１３は、画像表示装置１４の画面に表示されている提示情報Ｑを移動させる。提示情報Ｑの移動に伴い、メインパソコン１３は、検出される視線の移動方向を推測する。検出される視線の移動方向と提示情報Ｑの移動方向とが一致する場合、メインパソコン１３は、視線が提示情報Ｑの移動に追従したとの判定を行う。
【００２６】
図２及び図３は、注目判定装置１０によって遂行される注目判定プログラムを表すフローチャートである。以下、このフローチャートを参照して注目判定装置１０による注目判定を説明する。
【００２７】
メインパソコン１３からカメラ用パソコン１２Ａ，１２Ｂへ開始要求信号が送信されると、このフローチャートは開始される。そして、メインパソコン１３からカメラ用パソコン１２Ａ，１２Ｂへ終了要求信号が送信されるまで、ステップＳ１の処理が繰り返し行われる。
【００２８】
ステップＳ１において、まず、カメラ用パソコン１２Ａ，１２Ｂは、ビデオカメラ１１Ａ，１１Ｂからの画像のキャプチャを行うか否かの判定を行う。即ち、本実施形態では、ビデオカメラ１１Ａ，１１Ｂからの画像のキャプチャは、所定間隔（例えば０．１秒）毎に行われるようになっており、各カメラ用パソコン１２Ａ，１２Ｂは、その時刻か否かを判定する。そして、画像をキャプチャする時刻であると判断した場合（ステップＳ１がＹＥＳ）、各カメラ用パソコン１２Ａ，１２Ｂは、ビデオカメラ１１Ａ，１１Ｂからの画像のキャプチャを行う（ステップＳ２）。一方、カメラ用パソコン１２Ａ，１２Ｂが画像をキャプチャする時刻ではないと判断した場合（ステップＳ１がＮＯ）、この判定を繰り返す。なお、各カメラ用パソコン１２Ａ，１２Ｂの時刻は、メインパソコン１３に合わされているため、各カメラ用パソコン１２Ａ，１２Ｂは、同時刻に画像のキャプチャを行うようになっている。
【００２９】
（顔領域検出）
各カメラ用パソコン１２Ａ，１２Ｂは、ビデオカメラ１１Ａ，１１Ｂからのフレーム〔画像データ、例えば図４（ａ）参照〕をキャプチャした後、顔領域検出を行う。顔領域検出は、色情報を用いた公知の肌色基準値による手法を用いている。本実施形態では、均等知覚色空間の１つであるCIE L*u*v 表色系を用いている。
【００３０】
まず、入力された画像データから、画像の全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒストグラムを求め、予め定めた肌色有効範囲内のピーク値（度数が最大の値）を肌色基準値とする。その基準値からの色差に対して公知の判別分析法を適用して閾値を決定し、その閾値に基づいて肌色領域とその他の領域に２値化する〔図４（ｂ）参照〕。本実施形態では、検出対象者Ｈが一人の場合を想定しているため、複数の肌色領域が検出された場合には、各カメラ用パソコン１２Ａ，１２Ｂは最大領域を顔領域１５と判定する（ステップＳ３）。すなわち、抽出された複数の肌色領域にて、画素数（面積）を求め、最大面積Ｓmax の領域を顔領域１５とする。なお、以下の説明において、前記Ｕ，Ｖ座標値は、説明の便宜上ＵＶ値又はＵ値，Ｖ値というときもある。
【００３１】
ステップＳ４では、メインパソコン１３は、画像表示装置１４に対して提示情報の表示を指示し、画像表示装置１４は、画面上に提示情報Ｑ〔図１（ｂ）に図示〕を表示する。
【００３２】
（視線検出）
次のステップＳ５〜Ｓ９の概要を説明すると、カメラ用パソコン１２Ａ，１２Ｂは、顔領域１５の中から目領域１６を検出する。そして、さらにその目領域１６の中から瞳領域１７を検出すると共に、その瞳領域１７の大きさを正規化する。そして、瞳領域１７の形状に対して円形度を算出し、その算出結果をメインパソコン１３に送信する。メインパソコン１３は、各カメラ用パソコン１２Ａ，１２Ｂから受信した各円形度の算出結果を比較して視線を検出する。
【００３３】
（目領域検出）
ステップＳ５において、まず、カメラ用パソコン１２Ａ，１２Ｂは、画像データについて肌色基準値を再算出し、肌色領域を抽出する。抽出された肌色領域のうち、最大領域を顔領域１５と判定する。
【００３４】
カメラ用パソコン１２Ａ，１２Ｂは、その顔領域１５に基づき、４方向面特徴と色差面特徴を用いたテンプレートマッチング手法により、それぞれ目領域１６、並びに口領域を検出する。
【００３５】
今回の画像データの１つ前に本フローチャートを用いて処理された画像データにおいて、ステップＳ５で目領域１６及び口領域が検出されていたとする。その場合には、前回の検出結果に基づいて、今回得られた顔領域１５を所定領域削除し、顔領域１５が前記所定領域分狭められた探索範囲として設定されるようになっている。そして、今回の画像データに関しては、前記探索範囲が用いられ、テンプレートマッチング手法により目領域１６及び口領域の検出が行われる。なお、テンプレートマッチングを行った結果、前記探索範囲に対して目領域１６及び口領域が検出されなかった場合は、再度、顔領域１５に対して目領域１６及び口領域の検出が行われるようになっている。
【００３６】
ここで、前記テンプレートマッチング手法について説明する。
この手法は、得られた画像データから、前述した４方向面特徴抽出にて４方向面特徴（方向面）、及びＵ，Ｖ座標値による色差面特徴を抽出し、肌色領域抽出で得られた肌色領域（顔領域１５）又は探索範囲に対して、右目、左目、口の各テンプレートを用いて類似度を計算する。
【００３７】
なお、前記色差面特徴は、肌色基準値からのＵ値の差、及びＶ値の差を示すものである。また、前記テンプレートとは、予め、右目、左目、口の画像を複数枚用意し、４方向面特徴及び色差面特徴を抽出した画像データを、所定比率で縮小し、横幅を所定ピクセル（例えば３２ピクセル）に揃え、大きさの正規化を行ったものである。そして、４方向面特徴に関しては、エッジ方向情報を４方向に分解し、さらに、４方向面特徴及び色差面特徴に対してガウシャンフィルタで平滑化し、各画像データを８×８の解像度に変換したものである。このテンプレートは、記憶装置（図示しない）に記憶されている。
【００３８】
そして、テンプレートＴと画像データ（入力画像）Ｉとの４方向面特徴の類似度ａを以下の式（１）で算出し、色差面特徴の類似度ｂを以下の式（２）で算出する。
【００３９】
【数１】

【００４０】
【数２】

式（１），（２）中、Ｉは入力画像を示し、Ｔはテンプレートを示す。ｉは１〜ｍの整数値であり、ｊは１〜ｎの整数値である。ｉ，ｊは、ｍ×ｎ画素のテンプレート及び入力画像に対応している。（ｘ，ｙ）は入力画像の左上座標を示す。また、式（２）中Ｔｕ，ＴｖはテンプレートのＵＶ値、Ｉｕ，Ｉｖは画像データのＵＶ値を示し、Ｕmax ，Ｖmax はＵＶ値の最大範囲を示す。本実施形態では、CIE L*u*v 表色系を用いており、このCIE L*u*v 表色系において、処理の高速化及び記憶装置の空間を節約するため、Ｕmax ＝２５６、Ｖmax ＝２５６としている。
【００４１】
次いで、これらの式（１），（２）で算出した、各類似度ａ，ｂに基づいて、以下の式（３）により、最終的な類似度ｋを算出する。
ｋ＝Ｗa ×ａ＋Ｗb ×ｂ・・・（３）
式（３）中、Ｗa ，Ｗb は、重み付けとして、各類似度ａ，ｂに掛け合わせられる所定の定数であり、Ｗa ＋Ｗb ＝１を満たしている。本実施形態では、Ｗa ＝Ｗb ＝０．５としている。
【００４２】
類似度ｋの算出結果を基に、類似度ｋが予め設定された閾値以上の箇所を目の候補領域とする。そして、入力画像（画像データ）には、左上座標が予め付与されており、その座標に基づき、目、口の位置関係が把握できる。従って、その座標に基づいて、例えば、目は口より上にある、右目と左目の配置等、目、口の大まかな位置関係（座標位置）を満たし、最も類似度ｋの高い組み合わせを目領域１６並びに口領域として決定する。この結果、顔領域１５の中で目領域１６が検出される。
【００４３】
（瞳領域検出）
次にステップＳ６において、検出された目領域１６からカメラ用パソコン１２Ａ，１２Ｂは、瞳領域１７の検出を行う。本実施形態では、ステップＳ５にて検出された目領域１６のうち何れか一方（例えば右目）の目領域１６について、以下に説明する瞳領域検出を行う。
【００４４】
まず、目領域画像の彩度値ヒストグラムを作成して、公知の判別分析法を適用し、顔領域１５を目領域１６と肌領域（顔領域の目領域１６以外の領域）とに分離する。一般的に、肌領域の彩度は高く、目領域１６の彩度は低い。このため、この分離処理はその特性を利用している。次いで、前記目領域画像の輝度ヒストグラムを作成して、公知の判別分析法を適用し、分離された目領域１６を、瞳領域１７と白目領域１８とに分割する。このとき、白目領域１８と瞳領域１７の彩度の違いは明らかであるため、例えば瞳領域１７を瞳孔と虹彩とに分割する場合と比較して、拡大された画像データでなくても簡便に分割処理ができる。
【００４５】
その後、瞳領域１７の検出結果を基に、瞳領域１７を縮小又は拡大し、所定の大きさに正規化する。そして、瞳領域１７に対して円形状の補完を行う。この際、前述したように、彩度値ヒストグラム及び輝度ヒストグラムにそれぞれ判別分析法を適用して分割することで得られた瞳領域１７内には、図５（ａ）に示すように、瞼による陰影１７１の存在が考えられる。このとき、通常、画像の濃淡値を８ビットで表した場合、濃淡値０が黒、濃淡値２５６が白となる。そこで、領域分割結果における濃淡値０（黒色）の領域に対して、図５（ｂ）に示すような水平射影ヒストグラムを作成する。そして、同ヒストグラムにおいて縦軸方向〔図５（ｂ）において上下方向〕の上部に示されるように、極端なピークをもつ部分を予め設定された閾値に基づいて削除する。つまり、瞼による陰影１７１の部分は、該ヒストグラム上でピークとして現れ、それを削除することで、図５（ｃ）に示すような、瞳領域１７のみが抽出される。
【００４６】
（円形度算出）
次に、ステップＳ７において、カメラ用パソコン１２Ａ，１２Ｂは、検出された瞳領域１７に対して円のハフ変換を行い、このハフ変換で用いられるパラメータ空間における投票数によって円形度の算出を行う。
【００４７】
まず、目領域１６に対して、白目領域１８と検出された瞳領域１７との濃淡の違いを利用して、Prewitt オペレータを用い、図５（ｄ）に示すような瞳領域１７のエッジ画像を生成することで、エッジ（輪郭）１７２を抽出する。その後、そのエッジ１７２を構成する点（以下「エッジ点」という）群に対して公知の円のハフ変換を行う。
【００４８】
ここで、円のハフ変換について図６（ａ）及び図６（ｂ）を用いて簡単に説明する。
図６（ａ）に示すようなあるｘ−ｙ平面において、円は次の方程式（４）で表される。
【００４９】
（ｘ−ａ）^２＋（ｙ−ｂ）^２＝ｒ^２・・・（４）
ｘ−ｙ平面上の１つの円は、円の中心（ａ，ｂ）及び半径ｒに関する（ａ，ｂ，ｒ）パラメータ空間（以下、単に「パラメータ空間」という）では１点で表現される。円のハフ変換は、ｘ−ｙ平面を円の特徴を示す３次元のパラメータ空間に変換する。そして、この円のハフ変換は、式（４）を変換した次式（５）で実現する。
【００５０】
ｂ＝±√｛ｒ^２−（ｘ−ａ）^２｝＋ｙ・・・（５）
この式（５）を利用して、ｘ−ｙ平面における円上の任意の点（ｘ０，ｙ０）をハフ変換すると、パラメータ空間では、ｂ＝±√｛ｒ^２−（ｘ０−ａ）^２｝＋ｙ０上に乗った画素〔点（ａ，ｂ，ｒ）〕に投票がなされる。すると、パラメータ空間において、投票結果である点群は、（ｘ０，ｙ０）を通る全ての円の集まりで表現される。例えば、図６（ａ）に示したｘ−ｙ平面上の３点ｅ（ｘ１，ｙ１）、ｆ（ｘ２，ｙ２）、ｇ（ｘ３，ｙ３）を式（５）でパラメータ空間に投射すると、それぞれの半径の値ｒに対するａ−ｂ平面について、各点ｅ，ｆ，ｇが図６（ｂ）に示すような１つずつの円に変換される。なお、図６（ｂ）は、ｒ＝ｒ０におけるａ−ｂ平面を示している。このハフ変換によって得られた円をハフ曲線という。
【００５１】
前記ハフ曲線は、パラメータ空間において互いに交じり合うため、交点が複数生じる。そして、交わるハフ曲線の数（即ち、投票数）が最大の交点を見つけることにより、ｘ−ｙ平面の円の中心座標と半径が検出可能になっている。なお、図６（ｂ）においては、交点（ａ０，ｂ０，ｒ０）において、３つのハフ曲線が交わり、交点に対する投票数は３となっている。それに対して、それ以外の点では投票数が２以下であるため、ｘ−ｙ平面の円の中心座標は（ａ０，ｂ０）となり、半径はｒ０と決定される。
【００５２】
さて、瞳領域１７のエッジ画像におけるエッジ点群には左上座標（ｘ，ｙ）が付与される。そして、前記円のハフ変換を行い、図５（ｄ）に示すようなエッジ点群が付されたｘ−ｙ平面を、図７に示すような瞳領域１７の中心座標（ａ１，ｂ１）と半径ｒ１を示すための３次元パラメータ空間へ変換する。そして、ｘ−ｙ平面における各エッジ点が、パラメータ空間において、式（５）を満たす所定の画素〔点（ａ，ｂ，ｒ）〕に投票する。そして、図形空間におけるエッジ１７２をくまなく走査して、パラメータ空間において、最大投票数を得た点が瞳中心点Ｃとなる。前記瞳中心点Ｃが投票数最大点に相当し、パラメータ空間が投票空間に相当する。なお、図７のａ軸及びｂ軸の値は中心座標を示し、ｒ軸の値は半径を示す。また、瞳領域１７の半径ｒの範囲（ｒmin 〜ｒmax ）は予めカメラ用パソコン１２Ａ，１２Ｂの記憶装置（図示しない）に記憶されており、ハフ変換の際には、その範囲（ｒmin 〜ｒmax ）内の所定の画素〔点（ａ，ｂ，ｒ）〕に投票がなされる。
【００５３】
ところで、図８に示すように、例えば検出対象者Ｈがビデオカメラ１１Ａを真正面から直視しているとき、ビデオカメラ１１Ａにて撮像された画像における瞳（瞳領域１７）の形状は、図９（ａ）に示すように真円になる。また、このとき、ビデオカメラ１１Ａの近傍に位置するビデオカメラ１１Ｂの方向から検出対象者Ｈを見ると、同検出対象者Ｈは他の方向を見ていることになる。そのため、ビデオカメラ１１Ｂにて撮像された画像における瞳（瞳領域１７）の形状は、図９（ｂ）に示すように、楕円のような変形した円になる。
【００５４】
つまり、検出対象者Ｈの視線が向けられていれば、撮像した瞳（瞳領域１７）の形状は、真円若しくは真円に近い形を示すのである。その一方で、視線が外れていれば、外れるほど撮像した瞳（瞳領域１７）の形状は、短軸の長さと長軸の長さとの差が広がった楕円を示すのである。本実施形態においては、ビデオカメラ１１Ａ，１１Ｂは全て同じ高さに配置されているため、図９（ｂ）に示す視線が外れた状態の瞳（瞳領域１７）の形状は縦長の楕円となる。従って、複数のビデオカメラ１１Ａ，１１Ｂで撮像した瞳（瞳領域１７）の形状を比較して、ある瞳（瞳領域１７）の形状がより真円に近いということは、検出対象者Ｈがそのビデオカメラ１１Ａへ視線を向けていることを示す。
【００５５】
一方、ハフ変換を行った際のパラメータ空間での投票数において、ｘ−ｙ平面たるエッジ画像の瞳領域１７（エッジ１７２）の形状が真円に近いほど、図１０（ａ）に示すように瞳中心点Ｃとされる点（ａ１，ｂ１，ｒ１）に投票数が集中し、その周辺の投票数との差が大きくなるという特性がある。また、エッジ画像の瞳領域１７（エッジ１７２）の形状が楕円形になった場合、その長軸の長さと短軸の長さとが異なるほど投票数がばらつき、図１０（ｂ）に示すように、瞳中心点Ｃとされる点（ａ１，ｂ１，ｒ１）の投票数とその周辺の投票数との差が開きにくくなるという特性がある。なお、図１０（ａ），（ｂ）に示す３次元空間は、中心座標（ａ１，ｂ１）を示すためのａ−ｂ平面に、投票数を示すｖ軸が直交した三次元空間を示し、図７に示すパラメータ空間とは異なる。また、図１０（ａ），（ｂ）は、共に半径ｒ＝ｒ１のａ−ｂ平面における投票数を示している。
【００５６】
以上の結果により、パラメータ空間において決定された瞳中心点Ｃの投票数Ｖｃと、この瞳中心点Ｃを中心とした比較領域Ｐ〔図９（ａ），（ｂ）に図示〕内の投票数Ｖｒとから、次式（６）により円形度を示す評価値Ｅを算出する。なお、以下においては、瞳中心点Ｃの投票数Ｖｃを「中心投票数」といい、瞳中心点Ｃを中心とした比較領域Ｐ〔図９（ａ），（ｂ）に図示〕内の投票数Ｖｒを「領域投票数」ということにする。
【００５７】
Ｅ＝ｋ×Ｖｃ／Ｖｒ・・・（６）
式（６）中、ｋは、重み付けとして掛け合わせられる所定の定数である。また、本実施形態において、比較領域Ｐとは、瞳中心点Ｃにおける中心座標（ａ１，ｂ１）を中心として５×５画素の範囲を示す。領域投票数Ｖｒは、図１０（ａ），（ｂ）に示すようなｒ＝ｒ１における投票数だけではなく、比較領域Ｐに含まれたそれぞれのｒにおける投票数も含む。瞳中心点Ｃが第１領域に相当し、比較領域Ｐが第２領域に相当する。
【００５８】
そして、前述したように、瞳領域１７が真円に近くなるほど、瞳中心点Ｃに投票数が集中するため、式（６）においては、分子の中心投票数Ｖｃが大きくなり、評価値Ｅも大きくなる。また、瞳領域１７が真円から離れるほど投票数がばらつくため、式（６）においては、分子の中心投票数Ｖｃが小さくなる一方で、分母の領域投票数Ｖｒが大きくなり、評価値Ｅが小さくなる。この結果、評価値Ｅが大きくなれば円形度が高くなり、評価値Ｅが小さくなれば円形度は低くなる。
【００５９】
カメラ用パソコン１２Ａ，１２Ｂは、前記のようにして算出された円形度（評価値Ｅ）の結果をメインパソコン１３に送信する。なお、各カメラ用パソコン１２Ａ，１２Ｂの時刻は、メインパソコン１３に合わされているため、各カメラ用パソコン１２Ａ，１２Ｂから送信される円形度（評価値Ｅ）の算出結果は、それぞれ同時刻にキャプチャした画像データから算出されたものになっている。
【００６０】
（視線検出）
ステップＳ８において、メインパソコン１３は、カメラ用パソコン１２Ａから受信した評価値Ｅａと、カメラ用パソコン１２Ｂから受信した評価値Ｅｂとの差を演算する。評価値Ｅａと評価値Ｅｂとの差｜Ｅａ−Ｅｂ｜が予め設定された閾値Δよりも小さい場合、メインパソコン１３は、視線が画像表示装置１４の画面上の提示情報Ｑに向けられているとの判定を行う（ステップＳ９がＹＥＳ）。評価値Ｅａと評価値Ｅｂとの差｜Ｅａ−Ｅｂ｜が閾値Δよりも大きい場合、メインパソコン１３は、視線が画像表示装置１４の画面上の提示情報Ｑに向けられていないとの判定を行う（ステップＳ９がＮＯ）。
【００６１】
視線が画像表示装置１４の画面上の提示情報Ｑに向けられていないとの判定が行われた場合、メインパソコン１３は、この結果を記憶する（ステップＳ２０）。
【００６２】
視線が画像表示装置１４の画面上の提示情報Ｑに向けられているとの判定が行われた場合、メインパソコン１３は、提示情報Ｑを右側へ（ビデオカメラ１１Ａ側からビデオカメラ１１Ｂ側へ）、又は左側へ（ビデオカメラ１１Ｂ側からビデオカメラ１１Ａ側へ）の移動を画像表示装置１４に指示する。画像表示装置１４は、この指示に基づいて提示情報Ｑを右側へ、又は左側へ向けて移動させる（ステップＳ１０）。
【００６３】
提示情報Ｑが移動開始した後、ステップＳ２，Ｓ３と同じ画像収集（ステップＳ１２）及び顔領域検出（ステップＳ１３）が遂行される。次に、ステップＳ５〜Ｓ７と同じ目領域検出（ステップＳ１４）、瞳領域検出（ステップＳ１５）及び円形度算出（ステップＳ１６）が遂行される。ステップＳ１６の遂行後、メインパソコン１３は、カメラ用パソコン１２Ａから受信した評価値Ｅａと、カメラ用パソコン１２Ｂから受信した評価値Ｅｂとの大小関係を比較すると共に、この比較結果を記憶する（ステップＳ１７）。提示情報Ｑの移動期間ｔ_０は、例えば３秒というように予め設定されている。メインパソコン１３は、提示情報Ｑの移動開始時からの経過時間が移動期間ｔ_０に達したか否かを判断している（ステップＳ１８）。ビデオカメラ１１Ａ，１１Ｂからの画像のキャプチャは、所定間隔（０．１秒）毎に行われており、ステップＳ１７における比較は、提示情報Ｑの移動開始時からの経過時間が移動期間ｔ_０に達するまでの間、所定間隔（０．１秒）毎に行われている。従って、評価値Ｅａと評価値Ｅｂとの大小関係の比較結果〔差（Ｅａ−Ｅｂ）〕の記憶は、０．１秒毎に３秒／０．１秒＝３０回分だけ行われる。
【００６４】
提示情報Ｑの移動開始時からの経過時間が移動期間ｔ_０に達すると、メインパソコン１３は、記憶した比較結果に基づいて、視線が提示情報Ｑの移動に追従したか否かの判定を行う（ステップＳ１９）。
【００６５】
メインパソコン１３が提示情報Ｑの左側への移動を指示したとする。つまり、提示情報Ｑがビデオカメラ１１Ｂ側からビデオカメラ１１Ａ側へ移動したとする。この場合、視線が提示情報Ｑの移動に追従したか否かの判定基準は、例えば以下のようである。
【００６６】
〈１〉評価値Ｅａと評価値Ｅｂとの差（Ｅａ−Ｅｂ）が前回の差（Ｅａ’−Ｅｂ’）よりも大きい場合が少なくともｚ回（ｚは、例えば１０といった複数）ある。
【００６７】
なお、前回の差（Ｅａ’−Ｅｂ’）とは、差（Ｅａ−Ｅｂ）を得たときよりも０．１秒前に得られた差（Ｅａ’−Ｅｂ’）のことである。
メインパソコン１３が提示情報Ｑの右側への移動を指示したとする。つまり、提示情報Ｑがビデオカメラ１１Ａ側からビデオカメラ１１Ｂ側へ移動したとする。この場合、視線が提示情報Ｑの移動に追従したか否かの判定基準は、例えば以下のようである。
【００６８】
〈２〉評価値Ｅａと評価値Ｅｂとの差（Ｅａ−Ｅｂ）が前回の差（Ｅａ’−Ｅｂ’）よりも小さい場合が少なくともｚ回（ｚは、例えば１０といった複数）ある。
【００６９】
判定基準〈１〉が満たされるか、あるいは判定基準〈２〉が満たされた場合、メインパソコン１３は、視線の移動方向を特定すると共に、視線が提示情報Ｑの移動に追従したとの判定を行う。判定基準〈１〉及び判定基準〈２〉がいずれも満たされない場合、メインパソコン１３は、視線が提示情報Ｑの移動に追従しなかったとの判定を行う。
【００７０】
メインパソコン１３は、判定結果を記憶する（ステップＳ２０）。
第１の実施形態では、カメラ用パソコン１２Ａ，１２Ｂは、撮像手段が撮像した画像データに含まれる顔の目領域から瞳領域を検出する瞳領域検出手段に相当する。又、カメラ用パソコン１２Ａ，１２Ｂは、瞳領域検出手段が検出した瞳領域の形状に対して円形度を算出する円形度算出手段に相当する。メインパソコン１３は、円形度算出手段が算出した円形度に基づいて視線を検出する視線検出手段に相当する。又、メインパソコン１３は、視線検出手段によって検出された視線の移動方向を特定する特定手段、及び提示情報の所定方向の移動と推測した人の視線の移動方向とが一致しているか否かを判定する判定手段に相当する。
【００７１】
第１の実施形態によれば、以下のような効果を得ることができる。
（１）提示情報Ｑが所定方向（右側又は左側）に移動するときに人の視線が検出される。この視線検出に基づいて視線の移動方向が推測される。この推測された視線の移動方向と、提示情報Ｑの移動方向とが一致しているか否かの判定が行われる。本実施形態では、判定基準〈１〉又は判定基準〈２〉が満たされていれば、視線の移動方向と提示情報Ｑの移動方向とが一致しているとの判定が行われる。人の視線が静止している提示情報に向けられている場合には、人が視線方向にある提示情報を単に眺めているだけなのか、あるいはその提示情報に注目しているのかが判然としない。しかし、視線の移動方向と提示情報Ｑの移動方向とが一致しているとの判定が行われた場合には、人が提示情報Ｑに注目しているものと特定することができる。
【００７２】
視線が提示情報Ｑの移動に追従したとの判定や、視線が提示情報Ｑの移動に追従しなかったとの判定は、提示情報Ｑに対する人の注目度を分析することを可能にし、その提示情報に対する興味度や、市場性をも分析することが可能となる。
【００７３】
（２）１台のビデオカメラのみによって得られた評価値Ｅから追従判定を行う場合、提示情報Ｑの移動中に１台のビデオカメラのみによって得られた今回の評価値と前回の評価値との差を評価して追従判定を行うことになる。本実施形態では、提示情報Ｑの移動中に２台のビデオカメラ１１Ａ，１１Ｂによって得られた評価値Ｅａ，Ｅｂの差を評価して追従判定を行っている。つまり、評価値Ｅａ，Ｅｂの差と前回の評価値Ｅａ，Ｅｂの差との大小関係を把握することによって追従判定を行っている。提示情報Ｑが左側に移動するとすると、評価値Ｅａは、視線が提示情報Ｑの移動に追従するにつれて大きくなってゆくが、評価値Ｅｂは、視線が提示情報Ｑの移動に追従するにつれて小さくなってゆく。
【００７４】
図９（ａ）の鎖線で示す瞳領域１７ａは、画像表示装置１４の画面上の移動前の提示情報Ｑを見ているときにビデオカメラ１１Ａで撮像されたものである。図９（ａ）の鎖線で示す瞳領域１７ｂは、画像表示装置１４の画面上の移動前の提示情報Ｑを見ているときにビデオカメラ１１Ｂで撮像されたものである。そこで、図９（ａ），（ｂ）の鎖線で示す瞳領域１７ａ，１７ｂは、ビデオカメラ１１Ａ，１１Ｂによって前回得られたものとする。図９（ａ），（ｂ）の実線で示す瞳領域１７，１７は、ビデオカメラ１１Ａ，１１Ｂによって今回得られたものとする。そして、１台のビデオカメラ１１Ａのみによって得られた前回の評価値Ｅ〔図９（ａ）の鎖線で示す瞳領域１７の大きさに対応〕と今回の評価値Ｅ〔図９（ａ）の実線で示す瞳領域１７の大きさに対応〕との差をΔ１（＞０）とする。又、１台のビデオカメラ１１Ｂのみによって得られた前回の評価値Ｅ〔図９（ｂ）の鎖線で示す瞳領域１７の大きさに対応〕と今回の評価値Ｅ〔図９（ｂ）の実線で示す瞳領域１７の大きさに対応〕との差をΔ２（＞０）とする。
【００７５】
そうすると、２台のビデオカメラ１１Ａ，１１Ｂによって得られた前回の評価値Ｅａ，Ｅｂの差は、零であるが、２台のビデオカメラ１１Ａ，１１Ｂによって得られた今回の評価値Ｅａ，Ｅｂの差は、（Δ１＋Δ２）である。従って、前回の評価値Ｅａ，Ｅｂの差と、今回の評価値Ｅａ，Ｅｂの差との差は、（Δ１＋Δ２）である。つまり、２台のビデオカメラによって得られた今回の評価値Ｅａ，Ｅｂの差と前回の評価値Ｅａ，Ｅｂの差との違いは、１台のビデオカメラのみによって得られた評価値と前回の評価値との差よりも大きい。従って、２台のビデオカメラ１１Ａ，１１Ｂを用いた注目判定の精度は、１台のビデオカメラを用いた注目判定の精度よりも高くなる。つまり、２台のビデオカメラ１１Ａ，１１Ｂを用いた注目判定方法は、１台のビデオカメラを用いた注目判定方法よりも正確な注目判定を行うことができる。
【００７６】
（３）提示情報Ｑは、画像表示装置１４の画面内で移動される。提示情報Ｑを画面に表示する構成では、種々の提示情報を必要に応じて簡単に取り替えて表示することができ、多数の提示情報に対する人の注目度を分析することが容易である。
【００７７】
（４）本実施形態では、カメラ用パソコン１２Ａ，１２Ｂは、ビデオカメラ１１Ａ，１１Ｂにより撮像した画像データに含まれる目領域１６から瞳領域１７を検出し、この瞳領域１７の形状に対して円形度を算出する。そして、カメラ用パソコン１２Ａ，１２Ｂは、その算出結果をメインパソコン１３に送信し、メインパソコン１３は、その円形度に基づいて視線を検出する。従来と異なり、視線検出に瞳孔を利用せず、瞳孔よりも大きく、目領域１６の中から白目領域１８と容易に区別できる瞳領域１７の円形度に基づいて視線検出を行ったため、瞳孔を検出可能な位まで目領域１６を拡大して撮像する必要がない。そのため、ビデオカメラ１１Ａ，１１Ｂにて検出対象者Ｈを捕捉可能な範囲が広がる。従って、検出対象者Ｈの位置に影響されることなく、人が提示情報Ｑに対して注目しているか否かを判定するために好適に視線を検出することができる。
【００７８】
（５）本実施形態では、視線検出空間内に複数のビデオカメラ１１Ａ，１１Ｂを互いに異なる位置に配置し、各ビデオカメラ１１Ａ，１１Ｂでそれぞれ同時に検出した各瞳領域１７の円形度をメインパソコン１３により比較して視線検出を向行っている。従って、従来と異なり、カメラ用パソコン１２Ａ，１２Ｂで算出された円形度（評価値Ｅ）を予め記憶した参照データと比較しないため、検出した瞳領域１７に対して較正（キャリブレーション）を行う必要がなく、簡便に視線検出を行うことができる。
【００７９】
（６）本実施形態では、２つのビデオカメラ１１Ａ，１１Ｂしか用いていないが、設置するビデオカメラは、カメラ用パソコンを介してメインパソコン１３に接続するだけで容易に追加できる。このため、視線検出の精度向上及び検出領域の拡張を容易に図ることができる。
【００８０】
（７）円形度の適正な把握は、提示情報Ｑに対する人の注目度を判定する上で重要である。本実施形態では、瞳領域１７のエッジ画像をハフ変換し、変換先のパラメータ空間において、投票数が最大となる瞳中心点Ｃと、瞳中心点Ｃを含む比較領域Ｐにおける各投票数から円形度を示す評価値Ｅを算出した。従って、パラメータ空間における投票数を利用して好適に円形度の算出が実現できる。
【００８１】
（８）本実施形態では、メインパソコン１３において、２つのカメラ用パソコン１２Ａ，１２Ｂから受信した評価値Ｅが所定の許容範囲内（閾値Δ以下）で等しいと判断した場合は、両ビデオカメラ１１Ａ，１１Ｂのほぼ中央を見ているものと判断する。このときには人の視線が提示情報Ｑに向けられており、この状態から提示情報Ｑを右あるいは左のどちらに移動しても、追従判定を行うことができる。
【００８２】
本発明では、図１１（ａ），（ｂ）に示すように、ビデオカメラ１１を１台だけ用いた第２の実施形態も可能である。第１の実施形態と同じ構成部には同じ符号が用いてある。
【００８３】
画像表示装置１４は、上から見てビデオカメラ１１の光軸よりも左側に設置されている。カメラ用パソコン１２は、第１の実施形態のカメラ用パソコン１２Ａ，１２Ｂと同じ役割を果たす。カメラ用パソコン１２Ａ，１２Ｂは、算出された円形度（評価値Ｅ）の結果をメインパソコン１３Ｃに送信する。メインパソコン１３Ｃは、カメラ用パソコン１２から受信した評価値Ｅに基づいて、視線が画像表示装置１４の画面上の提示情報に向けられているか否かの判定を行う。評価値Ｅが最大の場合、メインパソコン１３Ｃは、視線が提示情報に向けられているとの判定を行う。この判定後、提示情報を右へ移動し、これに伴って視線が右へ移動した場合には、視線が提示情報の移動に追従したとの判定を行う。メインパソコン１３Ｃは、提示情報の移動中に１台のビデオカメラ１１のみによって得られた今回の評価値が前回の評価値よりも大きい場合には、視線が右へ移動したとの特定を行う。メインパソコン１３Ｃは、提示情報の移動中に１台のビデオカメラ１１のみによって得られた今回の評価値が前回の評価値よりも小さい場合には、視線が左へ移動したとの特定を行う。
【００８４】
第２の実施形態においても、人が提示情報に注目しているのか否かを特定することができる。
本発明では以下のような実施形態も可能である。
【００８５】
・ビデオカメラ、視線検出用光源、受光センサ、記憶装置、及び判定制御装置等を備えた視線検出装置を本発明の注目判定装置の視線移動方向推測手段の一部として用いること。記憶装置には、視線検出判定を行うための参照データが予め記憶されている。
【００８６】
注目判定に用いる前記視線検出装置では、ビデオカメラによって検出対象者を拡大して撮像し、拡大した目領域の画像データから瞳孔を検出する。このとき、前記参照データとの比較処理に利用可能な状態にするために、検出した瞳孔に対して較正（キャリブレーション）を行う。また、前記視線検出用光源から検出対象者に赤外光を照射して、同赤外光を検出対象者の眼部に照射し、前記受光センサにより眼部（瞳孔と角膜）にて反射する反射光を受光する。瞳孔と反射光との位置関係と、前記参照データとが判定制御装置において比較され、視線が検出される。
【００８７】
この場合にも、人が提示情報に注目しているのか否かを把握することができる。
・第１の実施形態において、提示情報を左側（又は右側）へ移動して止めた後、右側（左側）へ移動し、この提示情報の移動の間における視線の移動方向を検出すること。この場合、提示情報の左側への移動に視線の移動が追従し、かつ提示情報の右側への移動に視線の移動が追従した場合には、視線が提示情報Ｑの移動に追従したとの判定を行うようにすればよい。このようにすれば、人が提示情報に注目しているのか否かを一層確実に把握することができる。
【００８８】
・第１の実施形態において、顔領域の検出を省略し、目領域を拡大して撮像して視線検出を行うようにすること。
・第１の実施形態では、カメラ用パソコン１２Ａ，１２Ｂにおける円形度（即ち、評価値Ｅ）の算出に、瞳領域１７のエッジ画像をハフ変換する際におけるパラメータ空間の投票数を利用したが、以下の方法で円形度を算出してもよい。すなわち、ステップＳ６，Ｓ１５において検出され、円形状の補完が行われた瞳領域１７全体の画素数から面積Ｓを求め、瞳領域１７のエッジ画像からエッジ１７２の画素数を数えることでエッジ１７２（即ち、輪郭線）の長さＬを求める。そして、各カメラ用パソコン１２Ａ，１２Ｂでは、次式（７）から円形度を示す評価値Ｒａｔｅを算出する。
【００８９】
Ｒａｔｅ＝４πＳ／Ｌ^２・・・（７）
これによれば、円形度は式（７）により算出される評価値Ｒａｔｅに基づいて決定され、評価値Ｒａｔｅが１に近づくほど円形度は高く、１から離れるほど円形度は低くなる。従って、この別例においては、円形度を算出するというのは評価値Ｒａｔｅを算出することを示す。このようにしても、瞳領域１７の面積Ｓ及びエッジ１７２の長さＬを利用して好適に円形度の算出が実現できる。
【００９０】
・第１の実施形態では、式（６）における分子の中心投票数Ｖｃは、投票数が最大である瞳中心点Ｃのみの投票数であった。これに代えて、例えば、瞳中心点Ｃとその隣の点を合せた領域の投票数の合計を中心投票数Ｖｃとする等、少なくとも比較領域Ｐよりも狭い領域の投票数であれば、中心投票数Ｖｃとしてもよい。この場合、瞳中心点Ｃとその隣の点を合せた領域が第１領域に相当し、比較領域Ｐが第２領域に相当する。
【００９１】
・第１の実施形態では、ステップＳ８，Ｓ１５における瞳領域検出を、ステップＳ５，Ｓ１４において検出された目領域１６のうち何れか一方の目領域１６について行ったが、右・左の両方の目領域１６に対して行ってもよい。この場合、各瞳領域１７から算出された円形度（評価値Ｅ）の平均値が算出され、その値が、各画像データの円形度とされ、比較される。このようにすれば、片目について円形度を算出する場合と比較して、高精度に視線検出を行うことができ、注目判定の精度が一層向上する。
【００９２】
・第１の実施形態では、複数台のビデオカメラ１１Ａ，１１Ｂを視線検出空間内に設け、各ビデオカメラ１１Ａ，１１Ｂのカメラ用パソコン１２Ａ，１２Ｂにて算出された円形度（評価値Ｅ）をメインパソコン１３が比較することで、視線を検出した。これに代えて、撮像された画像データに基づく各円形度同士の比較ではなく、予めメインパソコン１３に記憶した閾値との比較で視線を検出してもよい。すなわち、各カメラ用パソコン１２Ａ，１２Ｂから送信された評価値Ｅと前記閾値との比較を行って視線検出を行う。なお、この場合、複数の円形度を比較することはないため、設置するビデオカメラ１１Ａ，１１Ｂを１台としてもよい。
【００９３】
・第１の実施形態では、メインパソコン１３と各カメラ用パソコン１２Ａ，１２Ｂとの通信をイーサネットを介したソケット通信にて行っていたが、無線電波にて行ってもよい。
【００９４】
・第１の実施の形態では、ビデオカメラ１１Ａ，１１Ｂ及び画像表示装置１４が全て同じ高さに配置されていたが、それぞれ異なる高さに配置してもよい。
・提示情報を描いた看板を機械的な移動手段によって移動させるようにすること。
【００９５】
【発明の効果】
以上詳述したように本発明では、提示情報に対する注目度を測ることができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】第１の実施形態を示し，（ａ）は、注目判定装置の構成を示すブロック図。（ｂ）は画像表示装置の画面に表示された提示情報を示す画面図。
【図２】注目判定方法を示すフローチャート。
【図３】注目判定方法を示すフローチャート。
【図４】（ａ）はビデオカメラが撮像した画像データの説明図、（ｂ）は肌色基準で抽出した画像データの説明図。
【図５】（ａ），（ｃ）は瞳領域検出を示す説明図。（ｂ）は水平射影ヒストグラムを示す説明図。（ｄ）は瞳領域のエッジ画像を示す説明図。
【図６】（ａ），（ｂ）は円のハフ変換の説明図。
【図７】パラメータ空間を示す説明図。
【図８】ビデオカメラ１１Ａを直視した検出対象者を示す概念図。
【図９】（ａ）は円形度が高い瞳領域を示す説明図。（ｂ）は円形度が低い瞳領域を示す説明図。
【図１０】（ａ），（ｂ）は投票数と中心座標の関係を示す説明図。
【図１１】（ａ）は第２の実施形態の注目判定装置の構成を示すブロック図。（ｂ）は提示情報を示す画面図。
【符号の説明】
Ｈ…検出対象者。Ｑ…提示情報。Ｐ…第２領域としての比較領域。Ｃ…第１領域としての瞳中心点。１１Ａ，１１Ｂ…ビデオカメラ（撮像手段）。１２…カメラ用パソコン（視線移動方向推測手段を構成する瞳領域検出手段及び円形度算出手段）。１３…メインパソコン（判定手段、視線移動方向推測手段を構成する視線検出手段及び特定手段）。１４…画像表示装置（移動手段）。１５…顔領域。１６…目領域。１７，１７ａ，１７ｂ…瞳領域。

Claims

提示情報を所定方向に移動する移動手段と、
前記提示情報の移動の期間中の人の視線を検出して視線の移動方向を推測する視線移動方向推測手段と、
前記提示情報の所定方向の移動と、推測した前記人の視線の移動方向とが一致しているか否かを判定する判定手段とを備え、
前記視線移動方向推測手段は、検出対象者を撮像する撮像手段と、前記撮像手段が撮像した画像データに含まれる顔の目領域から瞳領域を検出する瞳領域検出手段と、前記瞳領域検出手段が検出した瞳領域の形状に対して円形度を算出する円形度算出手段と、前記円形度算出手段が算出した円形度に基づいて視線を検出する視線検出手段と、前記視線検出手段によって検出された視線の移動方向を特定する特定手段とを備えていることを特徴とする注目判定装置。
前記移動手段は、前記提示情報を画像表示する画像表示装置であり、前記提示情報は、前記画像表示装置における画面内で移動される請求項１に記載の注目判定装置。
前記撮像手段は互いに異なる位置に複数設けられ、前記視線検出手段は、各撮像手段から得た画像データに含まれる瞳領域の各円形度を比較することで視線を検出する請求項１又は請求項２に記載の注目判定装置。
前記円形度算出手段は、前記瞳領域を含む画像データをハフ変換し、ハフ変換の投票空間において、投票数が最大となる投票数最大点を含む第１領域、及び前記投票数最大点を含み前記第１領域よりも大きい第２領域における各投票数から円形度を算出する請求項１乃至請求項３のいずれかに記載の注目判定装置。
前記円形度算出手段は、瞳領域の面積及び瞳領域の輪郭線の長さに基づいて円形度を算出する請求項１乃至請求項３のいずれかに記載の注目判定装置。