JP4966816B2 - 視線方向計測方法および視線方向計測装置 - Google Patents

Description

本発明は、映像中に映った人物が何度の方向に対して視線を向けているかを計測する視線方向計測方法およびそれを行う視線方向計測装置に関し、特に、垂直方向の計測方法に適用して有効な技術に関する。

画像中に映った人物の視線方向を計測することで人物の興味対象や心理状態を推定できる。人物の視線方向を計測する１手法として、顔方向と目方向をそれぞれ別々に計測して、それらを合成することで視線方向を計測する手法があった［特開２００７−６４２７号公報（特許文献１）］。この特許文献１では、事前校正不要で水平方向の顔・視線方向計測を可能としているが、垂直方向に関しては開示されていない。

水平・垂直方向の顔方向計測手法として、目、口などの特徴点位置に対象物体の三次元モデルを投影することで顔の方向を計測する手法があった［特開２００６−２２７７３９号公報（特許文献２）］。
特開２００７−６４２７号公報 特開２００６−２２７７３９号公報

しかしながら、特許文献２では、事前にまず、目、口などの特徴点を用いて計測対象の顔の三次元モデルを構築する必要がある。この三次元モデルをある二次元画像平面上に投影することで、任意の顔方向の画像を生成し、これを計測対象である画像と比較し、計測対象の画像に最も類似する投影画像を見つけることにより、計測対象の顔方向を推定している。

このように、従来手法では垂直方向の計測において事前に人物毎に三次元モデルの構築が必要という問題点があった。計測に用いる三次元モデルは、目、鼻、口などの特徴点位置の三次元座標を元にモデル化され、その上に顔画像のテクスチャをはり付けることで作成されるのだが、人物毎に顔の様子が大きく異なるため、計測する人物が変わる度にモデル構築を行わなければならない。

また、モデル構築には正面向き時の顔が必要となる。顔が横方向を向いてしまって画像上に特徴点が現れない場合、三次元モデルに対するテクスチャはり付けが困難となる。間違ったモデルで計測を行おうとすると、顔方向計測・視線方向計測の精度が著しく劣化するという問題が生じる。

また、表情変化に弱いという問題もある。表情変化が生じると同一人物においても各特徴点の位置関係や見え方が変化してしまう。この場合、三次元モデルを正確に回転させて比較処理を行ったとしても類似性が失われることとなり、計測結果に大きな誤差が発生することとなる。

そこで、本発明の目的は、人物毎に大きく変化する顔表面の見え方の情報を用いずに、垂直方向変化を示す変位量を推定することで、事前校正不要な顔・視線方向計測を実現することである。更には、この垂直方向変化を示す変位量の推定を表情変化による変動が少ない特徴点を用いて実現することである。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的なものの概要は、入力された顔画像に対して、まず顔の水平方向の角度を計測し、この計測によって得られる頭部の半径情報と人物の肩位置などの情報から頭部姿勢変化に対して変動しない基準位置を推定し、垂直方向の変化を示す点がこの基準位置に対してどれくらい変位したかを計測する顔垂直変位量計測部を新たに設ける。これにより、垂直方向の変位が分かり顔の垂直方向の角度を決定する。

得られた顔方向から視線の水平方向の角度、眼球の半径が計測でき、視線垂直変位量計測部により、同様に垂直方向の変位を求め、視線の垂直方向の角度が決定できる。

顔垂直変位量計測部では、人物の肩位置に対して一定位置の場所を基準位置とすることで頭部の上下に左右されずに基準となる点を決定することができる。

視線垂直変位量計測部では、眼球の半径や顔の垂直方向と、目頭と目尻の位置から眼球中心位置を推定し、眼球位置と瞳孔の中心位置から視線の垂直方向の変位が求まり、垂直方向の角度が決定する。

これらの垂直変位量計測において肩位置からの変位や、目頭・目尻の位置を用いることで表情変化の影響を低減させ、高精度に計測を行える。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、代表的なものによって得られる効果は、事前校正不要で人物の表情変化による影響を受けにくい高精度な視線方向計測方法を実現することができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
図１により、本発明の実施の形態１に係る視線方向計測装置の構成について説明する。図１は本発明の実施の形態１に係る視線方向計測装置の構成を示す構成図である。

図１において、視線方向計測装置は、撮像部１０１、顔検出部１０２、顔方向計測部１０３、視線方向計測部１０４から構成され、顔検出部１０２、顔方向計測部１０３、視線方向計測部１０４で視線方向演算部１１０を構成している。

顔方向計測部１０３は、顔水平方向計測部２０１、顔垂直変位計測部２０２、顔垂直方向計測部２０３、顔方向決定部２０４から構成されている。

視線方向計測部１０４は、視線水平方向計測部２０５、視線垂直変位計測部２０６、視線垂直方向計測部２０７、視線方向決定部２０８から構成されている。

撮像部１０１はカメラであり、バス・ＬＡＮなどを通じて撮影した映像データを顔検出部１０２に送る機能を有する。撮像部は１台または複数台のカメラからなる。

顔検出部１０２は、撮像部１０１から送られてきた画像に対して画像処理を行い、画像中にある顔を検出する機能を有する。

顔方向計測部１０３では、顔検出部１０２において検出された顔の画像を取得し、顔方向計測を行う。顔方向計測は、従来の計測手法を用いてもよいが以下の計測方法を用いることで、事前校正不要で高精度に計測可能となる。

はじめに、顔水平方向計測部２０１で水平方向の顔方向計測を行う。顔垂直変位計測部２０２では、２０１で得られた頭部の情報を利用して、顔の上下の変化に対する基準となる顔基準位置を求める。顔垂直方向計測部２０３では、顔垂直変位計測部２０２で求めた顔基準位置に対する上下変位量で垂直方向の顔方向を計測する。最後に、顔方向決定部２０４では、得られた垂直・水平方向の変化を元に計測角度に対して補正を行い、最終的な顔方向を決定する。

視線方向計測部１０４では、まず視線水平方向計測部２０５で顔方向の情報を元に水平方向の視線方向を計測する。次に、視線垂直変位計測部２０６では、視線水平方向計測部２０５で得られた眼球の情報を元に、視線垂直方向計測に必要な基準位置を求める。視線垂直方向計測部２０７で、前記情報を元に垂直方向の視線方向を計測する。上記視線方向計測の処理は左右両目に関して行われる。そして、視線方向決定部２０８で、左右両目の視線方向を統合し、最終的な視線方向を決定する。

このように、撮像部１０１で得られた人物の画像に対して、顔検出部１０２で顔検出処理を行う。その結果、画像中に顔が検出されたら、顔方向計測部１０３で顔方向を計測する。最後に視線方向計測部１０４で、顔方向計測結果を用いて、視線の方向を計測する。

このような流れにすることで、顔方向情報を元にして眼球の形状が推定でき、推定された眼球の様子から視線方向が計測できる。また、人間の行動上、顔の動きと視線の動きには密接な関係があるため、顔方向を計測することで、視線の動きの範囲をある程度限定することができ、計測精度を高められる。

次に、図２〜図１２により、本発明の実施の形態１に係る視線方向計測装置の顔方向計測部・視線方向計測部における計測方法の詳細について説明する。図２〜図１２は本発明の実施の形態１に係る視線方向計測装置の顔方向計測部・視線方向計測部における計測方法を説明するための説明図であり、図２は顔方向と視線方向計測の概念図、図３は顔の水平方向計測の流れを示すフローチャート、図４は顔画像における顔領域と顔器官中心位置の定義の一例の図、図５は顔の水平方向推定のための顔モデルの一例の図、図６は顔画像における基準位置と計測点の定義の一例の図、図７は顔の垂直方向推定のための顔モデルの一例の図、図８は垂直水平方向変化による計測点の変化を示す図、図９は視線の水平方向計測の流れを示すフローチャート、図１０は視線の水平方向計測のための眼球モデルの一例の図、図１１は視線の水平方向計測のための眼球モデルの一例の図、図１２は視線の垂直方向計測のための眼球モデルの一例の図である。

本実施の形態における視線方向計測では、図２に示すようなモデルを想定して顔の水平・垂直方向の角度、視線の水平・垂直方向の角度をそれぞれ計測する。なお、水平方向の角度をφ、垂直方向の角度をθで表し、顔方向は添え字「ｆａｃｅ」を視線方向は添え字「ｅｙｅ」を付けることで表記するものとする。顔の水平方向・垂直方向の角度は、それぞれφ_ｆａｃｅ、θ_ｆａｃｅとなる。また、顔の回転角度ψ_ｆａｃｅも同時に求めてもよい。

まず、顔水平方向計測部２０１における水平方向の顔方向計測の流れは、図３に示すように、例えば、特許文献１に記載されている方法などに従って行われる。

まず、ステップ３０１において、顔画像から正確な顔領域を推定し直す。顔領域の推定は、例えば背景差分や肌色領域抽出、楕円ハフ変換等の手法を用いて行う。ここでいう、顔領域とは図４に示すように頭部に外接する四角形領域のことを指す。

この顔領域の中心位置を顔領域中心位置と呼び、ステップ３０２でこの位置を決定する。次に、ステップ３０３で顔器官中心位置を検出する。顔器官中心位置とは、図４に示すような両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置をいう。この顔器官中心位置は、顔画像中から眉や目頭、鼻、口の輪郭などの顔器官を検出することで、それぞれの顔器官の位置関係から推定することができる。

顔の各器官は、顔画像を輝度値によって２値化した画像、エッジ画像、分離度フィルタを施した画像などを用いた既存の手法により検出する。ステップ３０４では得られた顔領域と顔器官中心位置から水平方向の顔方向を計算する。

顔水平方向の計算は、図５に示す顔楕円モデルを参考にした式で決定される。図５は、水平方向右向きにφ_ｆａｃｅ向いたときの頭を真上から見下ろしたときのイメージである。このとき画像中に現れる顔領域の両端が、Ｆ１、Ｆ２であり、顔器官中心位置がＣである。このとき、顔領域の中心位置は楕円の中心位置Ｏ_ｆａｃｅであり、Ｆ１とＦ２の中点となる。ｗ_ｆａｃｅは顔領域の幅であり、ｃ_ｆａｃｅがＣＯ_ｆａｃｅ間の距離である。楕円モデルの短径の半分をａ、長径の半分をｂとし、このａとｂの比を顔楕円比ｋとすると、以下の数１の式によって顔方向φ_ｆａｃｅを求めることができる。

本実施の形態では楕円比ｋは約１．２５とする。これは、人物の統計的なデータから測定した平均的な頭部楕円比の値である。人物によってこのｋの値は多少異なるが、その違いは０．１以下程の範囲内であり、これによる顔方向精度の影響は本システムにおいて許容される範囲内となる。システム構成によっては、既定値でなく、実際にこの顔楕円比ｋを求めることとする。

本手法では、撮像部が上方向に設置され、各器官が検出しにくい場合にも、鼻など検出しやすいものだけを用いて顔器官中心位置を決定できるため頑健な顔方向推定が可能である。更には、画像上の二次元的な関係から頭部の奥行き方向の長さを示すｂを求めることができる。また、本計測において顔器官中心位置だけではなく、耳位置を用いてもよい。耳位置を用いることで、横４５度以上を向いている場合の方向推定が高精度に行える。

顔垂直変位計測部２０２では、顔の垂直方向の変化に対して固定される点である顔基準位置と、顔方向の変化に応じて変化する計測点の２点を検出する。この２点の変位量を顔の垂直方向変化による変位量とする。

顔基準位置の検出手段として、例えば図６に示すように、人物の肩位置を用いることとする。このとき、顔基準位置Ｏ_ｆａｃｅは、肩位置から一定の変位ｂ×ｄの場所にあると定義できる。ここでｂは顔水平方向計測部２０１で得られる奥行き方向の長さであり、ｄは肩に対する基準位置の場所を算出するパラメータである。

このパラメータｄを基準位置算出定数と呼び、既定値を用いることとする。この基準位置算出定数ｄは、因子分解法などにより複数フレーム情報から最適な値を選択してもよいし、自動校正可能なシステム構成を構築して被験者毎に最適な値を計算してもよい。以上のように同一人物シーケンス毎にパラメータ値を適応的に切り替えることで、計測精度を更に高められる。肩からの変位を用いて基準位置を定義することで、顔の垂直方向の動きによらない固定点を推定することができ、垂直方向計測に利用できる。

更には、こうして得られた基準位置は、顔の表情変化の影響を受けないという利点がある。また、例えば自動校正処理などにより人物毎にパラメータを校正する場合、肩位置と顔方向のみが分かっていれば校正可能であるため、正面方向以外の顔でも校正可能となる。

また、基準位置の推定手段として、例えば耳の位置からの変位や、頭部全体のシルエットの中心位置などを用いてもよい。更には上記複数の特徴から求めた基準位置の平均、または画像処理による上記特徴の検出結果に基づいて使用する基準位置を決定してもよい。この場合、例えば画像処理による特徴点検出の結果、耳は検出不可だったが、肩は良好に検出可能だったら肩位置から求めた基準位置を採用するという流れになる。

図６における計測点も同様に決定する。これは、両目の目頭位置の中心から決定する。

顔垂直方向計測部２０３では、図７に示すような顔垂直方向計測に用いる楕円モデルを参考に、基準位置Ｏ_ｆａｃｅと計測点Ｃから顔の垂直方向を計測する。画像中に現れる基準点位置Ｏ_ｆａｃｅと計測点Ｃに対して、モデル上ではそれぞれＯ´_ｆａｃｅ、Ｃ´の関係になる。Ｏ_ｆａｃｅに対する計測点Ｃの変位をＯ_ｆａｃｅＣとすると、以下の数２の式で顔の垂直方向は計測できる。

ここでｂは、水平方向計測にて求めた頭部の奥行き方向の半径である。ｂに対する基準位置と計測位置の変位から垂直方向の顔方向θ_ｆａｃｅが計測できる。

顔水平方向計測部２０１において半径が推定できるため、新たに顔の垂直変化によらない基準位置と垂直変化を反映する計測点の変位量を得ることで垂直方向の計測が可能となる。これにより不特定多数の人物の計測が可能となる。また、基準位置は表情変化によらず高精度な計測が可能となる。

顔方向決定部２０４では、求めた水平方向・垂直方向の顔方向を元に補正処理を行い、最終的な顔方向を決定する。水平方向と垂直方向が共に変化している場合、計測点の変位が想定していたよりも小さくなることが生じる。

図８に水平・垂直方向変化時の計測点の様子を示す。ここで、顔方向の角度が（φ_ｆａｃｅ、θ_ｆａｃｅ）であれば、計測点の変位（ｘ、ｙ）＝（ｂｓｉｎ（φ_ｆａｃｅ）ｃｏｓ（θ_ｆａｃｅ）、ｂｓｉｎ（θ_ｆａｃｅ）ｃｏｓ（φ_ｆａｃｅ））となる。

つまり、ｘにはｃｏｓ（θ_ｆａｃｅ）、ｙにはｃｏｓ（φ_ｆａｃｅ）の分、変位量の絶対値が小さくなっている。このため、それぞれの値で割った値を実際の変位量としてやることで、水平方向計測なら垂直方向変化の影響を、垂直方向計測なら水平方向変化の影響を抑制し、再度計測し直す。以上の補正処理によって、より正確な顔方向を得る。

また、顔の回転ψ_ｆａｃｅを両目の目頭・目尻を通る線の傾きや、顔器官中心位置を示す線分の傾きなどから求めておき、顔の回転角度を用いても補正処理を行うとよい。

視線方向計測部１０４では、顔方向計測部１０３で得られた顔方向（φ_ｆａｃｅ、θ_ｆａｃｅ）の情報を元に、視線方向計測を行う。なお、視線方向計測部１０４では、上記以外の既存の計測手法によって算出した顔方向から視線方向を計測してもよい。

視線水平方向計測部２０５における視線方向計測の流れは図９に示すように、ステップ９０１において、まず顔画像中から瞳の中心位置を検出する。ステップ９０２は、ステップ９０１で検出された瞳の数による条件分岐である。

左右両方とも瞳検出に失敗した場合、視線方向検出失敗となりステップ９０６で計測不可として終了する。片目だけもしくは両目とも検出に成功したら、次のフローであるステップ９０３に進む。

ステップ９０３ではステップ９０２で求めた瞳位置を元にしてそれぞれの瞳が属する目領域を求める。ステップ９０４はステップ９０３で検出した目領域による条件分岐である。目領域が正しく検出できなかった場合、視線方向検出失敗とする。片目だけでも正しく目領域が検出できたらステップ９０５へ進み、瞳の中心位置と目領域から水平方向の視線方向を計算する。

ここで、ステップ９０５で行われる視線方向計算の方法について説明する。これには顔方向と、ステップ９０１、ステップ９０３で求めた瞳位置、目領域の情報を用いて、図１０に示す眼球モデルに基づく式によって計算する。

眼球は皮膚に覆われているため、画像中に実際に現れる目領域は角膜部分のみである。これは図１０の眼球モデルにおいて弧Ｅ１´Ｅ２´部分である。このＥ１´とＥ２´の位置が、それぞれ眼球の水平線から角度αの所にあるとする。

図１０においてＯ_ｅｙｅ、Ｉがそれぞれ画像上での眼球の中心位置と瞳の中心位置であり、Ｏ_ｅｙｅ´が実際の眼球の中心となる。φ_ｆａｃｅは上記顔方向検出で得られた顔方向の角度、φ_ｅｙｅが視線方向の角度、ｗ_ｅｙｅは画像中における目領域の幅、ｃ_ｅｙｅは画像上での眼球中心位置と瞳中心位置の長さとなる。このとき視線方向の角度φ_ｅｙｅを以下の数３の式で決定する。ここで眼球の隠れ部分の角度αは既定値とする。

なお、数３の式において、ｃ_ｅｙｅはＩ−Ｅ１で表されている。これは、後述する数４の式および数５の式においても同様である。

また、顔の中心側と外側で、眼球の隠れ部分の角度が異なるとして視線方向を計算してもよい。このとき、両目の眼球は図１１のようになる。顔の中心側の隠れ部分の角度をβ、外側をαとしている。数２の式と同じように式を立てると、左目と右目で式が異なることになる。左目の視線方向の角度φ_ｅｙｅは以下の数４の式で求めることができる。

同様に、右目の視線方向の角度は以下の数５の式で求めることができる。

眼球の隠れ部分α、βは既定値（例えばα＝３３、β＝４０）を用いる。これは一般的な眼球の半径の値と画像上の目領域の位置の値などから推定することも可能である。

また、視線水平方向計測部２０５では、後述する視線垂直変位計測部２０６、視線垂直方向計測部２０７で用いられる、眼球の半径の値ｒ_ｅｙｅを以下の数６の式で算出している。

次に、視線垂直変位計測部２０６で、垂直方向の視線方向計測に必要となる基準位置と計測点の検出を行う。

図１２に示す垂直方向の視線方向計測モデルと、基準位置、計測点の位置を示す。図１２の視線方向計測モデルは、眼球を頭部の左側から見た図である。視線基準位置Ｏ_ｅｙｅは、眼球の中心位置にある点であり、計測点は瞳孔の中心Ｉの位置となる。なお計測点Ｉは視線水平方向計測部２０５の瞳検出において、既に検出されているものとする。

視線基準位置は目頭、目尻の高さから決定する。図１２に示す点Ｅ´は図１１の水平方向計測モデルのＥ１´、Ｅ２´にあたる点であり、目頭、目尻の位置を表す点である。今、左目における目頭、目尻の点のｙ座標をＥ１、Ｅ２とすると、視線基準位置Ｏ´_ｅｙｅの画像平面上のｙ座標Ｏ_ｅｙｅは以下の数７の式で求めることができる。

同様に、右目の視線基準位置Ｏ_ｅｙｅは、以下の数８の式で求められる。

数７の式、数８の式は、目の両端Ｅ１、Ｅ２の高と顔の垂直方向の角度から基準位置をそれぞれ推定し、その平均値を最終的な基準位置としていることを表している。場合によっては、Ｅ１かＥ２のどちらか１点のみから基準位置を求めてもよい。例えば、顔が大きく横を向いた場合などには、片方の端点が隠れることとなるので、このようなときには見えている方の端点から求めることとする。

視線垂直方向計測部２０７で、得られた視線基準位置Ｏ_ｅｙｅと計測点Ｉから垂直方向の視線方向を決定する。視線基準位置Ｏ_ｅｙｅに対する計測点Ｉの変位をＯ_ｅｙｅＩとすると、以下の数９の式で垂直方向の視線方向の角度θ_ｅｙｅを求めることができる。

図１２に示すような計測モデルを定義することで、水平方向計測で求めた眼球の半径と、目頭目尻のｙ座標値によって視線基準位置（ｙ座標系での眼球中心位置）が推定でき、基準位置に対する瞳孔中心の変位より垂直方向の視線方向が計測できる。本実施の形態では、まぶたの開閉の影響を受けずに眼球中心位置が推定できる。このため、まぶたの変位を瞳孔の変位の推定に利用することも可能であり、これにより計測の高精度化が可能となる。

視線方向決定部２０８では、両目の視線方向から最終的な視線方向を決定する。視線水平方向計測部２０５において、瞳・目領域が検出できず、視線方向検出失敗と判定された場合には、計測不可とする。

片目だけでも視線方向が計測できていれば、その目の視線方向を最終的な視線方向として採用する。両目とも視線方向が計測できていた場合は、両目の視線方向に重み付けを行い、足し合わせることによって最終的な視線方向を決定する。視線方向に掛ける重みは、顔方向によって決定するものとする。

顔が右方向を向いている場合、右目は画像上にほとんど現れなくなるため、左目に対する重みを増加し、左目の視線方向情報を主な視線方向とする。顔が正面を向いているときには、視線方向は両目の平均となる。なお、この両目の視線方向の決定は垂直方向、水平方向それぞれに関して行う。

以上の流れにより、事前校正不要で単眼カメラ映像中の人物の水平・垂直方向の視線方向が計測可能となる。更に本実施の形態では、顔方向計測において目や口など変動性のある特徴を用いないため表情変化に頑健な顔方向計測が可能であり、視線方向計測においてまぶたの開閉などを用いないため、高精度に視線方向を計測できる。

（実施の形態２）
図１３により、本発明の実施の形態２に係る視線方向計測装置の構成について説明する。図１３は本発明の実施の形態２に係る視線方向計測装置の構成を示す構成図である。

図１３において、視線方向計測装置１３００は、画像入力部１３０１、画像メモリ１３０２、ＣＰＵ１３０３、ＲＡＭ１３０４、ＲＯＭ１３０５、計測結果記録部１３０６、インタフェース１３０７、出力装置１３０８から構成されている。

本実施の形態の視線方向計測装置１３００では、撮像部１０１であるカメラで得られた画像中の人物の視線方向を計測する。本実施の形態の視線方向計測装置１３００におけるＣＰＵ１３０３が、実施の形態１の図１に示す視線方向演算部１１０に相当し、視線方向演算部１１０の各演算処理を、プログラムとして実行しＣＰＵ１３０３により演算処理することにより実現している。

本実施の形態では、視線方向演算部１１０における計測方法に従ってＣＰＵ１３０３において演算処理が行われ、視線方向が計測される。

人物、シーケンス毎の視線方向計測結果は、計測結果記録部１３０６に記録されることとなる。計測結果は、インタフェース１３０７を通じて適切な形にデータ変換され、出力装置１３０８に出力される。ここで、出力装置としてはディスプレイや、プリンタ、ＰＣなどが考えられる。

本実施の形態では、コンピュータなどの情報処理装置により、視線方向計測装置としての演算処理を行うことが可能である。

（実施の形態３）
図１４により、本発明の実施の形態３に係る視線方向計測装置の構成について説明する。図１４は本発明の実施の形態３に係る視線方向計測装置の構成を示す構成図である。

実施の形態３は、実施の形態１において、入力として新たに注視判定部１４０１を設け、視線方向計測部においてモデル校正部１４０２を設けることを特徴とする。これにより、モデル校正部１４０２で例えば顔垂直方向計測における顔基準位置算出定数ｄなどのパラメータを計測対象毎に自動校正し、より高精度な視線方向計測が可能な視線方向計測装置を提供する。

注視判定部１４０１は、例えばＬＥＤ光源投光器と赤外線カメラなどから構成されており、注視判定部１４０１に対して視線方向を向けた場合に、これを検出することが可能な装置である。注視判定部１４０１と撮像部１０１の位置関係があらかじめ分かっていれば、注視判定部１４０１を注視した際に撮像部で得られる顔画像の視線方向が分かることになり、これを校正データとしてパラメータの校正処理を行える。

モデル校正部１４０２は、注視判定部１４０１で得られた校正データから、顔方向計測部１０３、もしくは視線方向計測部１０４で用いているパラメータの校正を行う機能を有する。

次に、顔基準位置算出定数ｄの校正を例にしてモデル校正部１４０２内の処理の流れを解説する。

注視判定部１４０１が注視された際に、顔検出部１０２から、注視判定部１４０１を注視しているフレームの顔画像を取得する。取得した画像から、実施の形態１の逆順に演算を行っていくことで顔基準位置のパラメータｄを決定することになる。

今、視線方向（φ_ｅｙｅ、θ_ｅｙｅ）が既知であるため、まず視線方向計測部の数５の式、数９の式の逆演算により、顔方向（φ_ｆａｃｅ、θ_ｆａｃｅ）が求められる。得られた顔方向から奥行き方向の半径ｂの値が推定でき、このｂの値と顔方向から最適な顔基準位置のパラメータｄを求めることができる。他のパラメータも同様に逆演算を行うことで校正可能である。

オンライン計測が必要なシステムであれば、注視判定部１４０１の注視によるパラメータ校正が行われるまでは平均的なパラメータを用い、パラメータ校正後は同一人物の計測が行われている間は同じパラメータを用いる。

また、顧客の興味分析などオフライン計測が許容されるシステムでは、上記処理によるパラメータ校正が行われた後、その人物が映っている最初のフレームから視線方向を計測し直せばよく、対象人物が現れるシーケンス内で一度でも注視判定部１４０１を見れば校正が可能となる。

本実施の形態では、目、鼻、口などの角度による消失の多い特徴点を用いないため正面方向以外の顔でもパラメータの校正が可能である。そのため、撮像部１０１と注視判定部１４０１が多少離れた位置にあっても自動校正を行うことが可能である。これにより、被験者が必ず注視する位置に注視判定部１４０１を設置でき、被験者に意識させることなく自動的に校正処理を行うことができる。

（実施の形態４）
本実施の形態は、実施の形態１において、新たなパラメータを用意したものであり、視線方向計測装置の構成は実施の形態１と同様である。

図１５により、本発明の実施の形態４に係る視線方向計測装置の視線方向の計測について説明する。図１５は本発明の実施の形態４に係る視線方向計測装置の視線方向の計測を説明するための眼球モデルの一例の図であり、左目の眼球モデルの例を示している。

図１５に示す眼球モデルは、目頭と目尻位置が眼球の中心より垂直方向にγ度ずれたモデルとなっている。このように、新たにパラメータγを用意することで、より正確に眼球の形状を推定し、視線方向を高精度に計測できる。

まず、目頭Ｅ１と目尻Ｅ２のｘ座標Ｅ１ｘ、Ｅ２ｘと、顔方向（φ_ｆａｃｅ、θ_ｆａｃｅ）から、以下の数１０の式によって眼球の半径ｒを算出する。

こうして求めた眼球の半径ｒから、眼球中心位置Ｏの位置を以下の数１１の式によって算出する。

以上により、眼球の半径ｒと眼球中心位置Ｏが算出でき、眼球の形状を推定することができる。次に、画像中の瞳孔の中心位置Ｉから、以下の数１２の式によって視線方向の水平成分φ_ｅｙｅ、垂直成分θ_ｅｙｅをそれぞれ計測する。

以上により、目頭・目尻位置が人物によって異なった場合にも、自動的に最適なパラメータγを求めることで、より高精度に視線方向を計測できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明における視線方向計測方法は、カメラを用いたシステムとして広く応用可能である。例えば、広告の注目度計測や自販機における商品注目度計測、監視システムにおける不審者検知など、様々なシーンへと利用可能である。

本発明の実施の形態１に係る視線方向計測装置の構成を示す構成図である。 本発明の実施の形態１に係る視線方向計測装置の顔方向と視線方向計測の概念図である。 本発明の実施の形態１に係る視線方向計測装置の顔の水平方向計測の流れを示すフローチャートである。 本発明の実施の形態１に係る視線方向計測装置の顔画像における顔領域と顔器官中心位置の定義の一例の図である。 本発明の実施の形態１に係る視線方向計測装置の顔の水平方向推定のための顔モデルの一例の図である。 本発明の実施の形態１に係る視線方向計測装置の顔画像における基準位置と計測点の定義の一例の図である。 本発明の実施の形態１に係る視線方向計測装置の顔の垂直方向推定のための顔モデルの一例の図である。 本発明の実施の形態１に係る視線方向計測装置の垂直水平方向変化による計測点の変化を示す図である。 本発明の実施の形態１に係る視線方向計測装置の視線の水平方向計測の流れを示すフローチャートである。 本発明の実施の形態１に係る視線方向計測装置の視線の水平方向計測のための眼球モデルの一例の図である。 本発明の実施の形態１に係る視線方向計測装置の視線の水平方向計測のための眼球モデルの一例の図である。 本発明の実施の形態１に係る視線方向計測装置の視線の垂直方向計測のための眼球モデルの一例の図である。 本発明の実施の形態２に係る視線方向計測装置の構成を示す構成図である。 本発明の実施の形態３に係る視線方向計測装置の構成を示す構成図である。 本発明の実施の形態４に係る視線方向計測装置の視線方向の計測を説明するための眼球モデルの一例の図である。

符号の説明

１０１…撮像部、１０２…顔検出部、１０３…顔方向計測部、１０４…視線方向計測部、１１０…視線方向演算部、２０１…顔水平方向計測部、２０２…顔垂直変位計測部、２０３…顔垂直方向計測部、２０４…顔方向決定部、２０５…視線水平方向計測部、２０６…視線垂直変位計測部、２０７…視線垂直方向計測部、２０８…視線方向決定部、１３００…視線方向計測装置、１３０１…画像入力部、１３０２…画像メモリ、１３０３…ＣＰＵ、１３０４…ＲＡＭ、１３０５…ＲＯＭ、１３０６…計測結果記録部、１３０７…インタフェース、１３０８…出力装置、１４０１…注視判定部、１４０２…モデル校正部。

Claims (10)

1. 撮像部、顔方向計測部および視線方向計測部を備え、人物を撮影した前記撮像部から得られた画像から前記人物の視線方向を決定する視線方向計測装置における視線方向計測方法であって、
   前記顔方向計測部により、前記撮像部から得られた画像中の顔から顔方向の角度を計測し、
   前記視線方向計測部により、
   前記顔方向の角度と前記画像中の顔から検出した目頭と目尻の位置および瞳孔の中心位置を眼球モデルに基づいた式に代入することで眼球の水平方向の角度を決定し、
   前記顔方向の角度と前記目頭と目尻の位置を眼球モデルに基づいた式に代入することで眼球の半径を決定し、
   前記顔方向の角度と前記目頭と目尻の位置及び前記眼球の半径を眼球モデルに基づいた式に代入することで眼球の中心位置を推定し、
   前記眼球の中心位置と前記瞳孔の中心位置から瞳孔の垂直方向の変位の値を計測し、前記眼球の半径と前記瞳孔の垂直方向の変位の関係から視線垂直方向の角度を決定し、前記顔方向の情報に基づいて両目の視線方向の角度を統合し、前記人物の視線方向を決定することを特徴とする視線方向計測方法。
2. 請求項１記載の視線方向計測方法において、
   前記視線方向計測部により、さらに、前記目頭と目尻の位置の前記眼球の中心より垂直方向へのずれを示すパラメータを眼球モデルに基づいた式に代入することで前記眼球の半径を決定することを特徴とする視線方向計測方法。
3. 請求項１または２記載の視線方向計測方法において、
   前記顔方向計測部により、前記撮像部から得られた画像中の顔から顔水平方向を計測し、顔の垂直方向の変位に対して固定される点である顔基準位置と、顔方向の変化に応じて変化する計測点とを算出し、計測点の顔基準位置からの変位として顔垂直方向の変位を示す値を計測し、前記顔垂直方向の変位と水平方向計測にて求めた頭部の奥行き方向の半径とを用いて顔垂直方向の角度を計測し、得られた前記顔水平方向の角度に応じて前記顔垂直方向の計測点の変位を、前記顔垂直方向の角度に応じて前記顔水平方向の計測点の変位をそれぞれ補正し、最終的な前記顔方向を決定することを特徴とする視線方向計測方法。
4. 請求項３記載の視線方向計測方法において、
   前記顔方向計測部により、前記人物の肩の位置を検出し、前記肩の位置から一定変位の場所を垂直方向の顔基準位置として、この基準位置に対する目の位置との変位を顔の垂直方向の変位とすることを特徴とする視線方向計測方法。
5. 請求項３記載の視線方向計測方法において、
   前記顔方向計測部により、前記人物の耳位置から一定変位の場所を顔基準位置として、
   この基準位置に対する目の位置との変位を顔の垂直方向の変位とすることを特徴とする視線方向計測方法。
6. 請求項３記載の視線方向計測方法において、
   前記顔方向計測部により、前記人物の頭部のシルエットの形状から顔基準位置を推定し、この基準位置に対する目の位置との変位を顔の垂直方向の変位とすることを特徴とする視線方向計測方法。
7. 請求項３記載の視線方向計測方法において、
   前記顔方向計測部により、肩、耳、人物の頭部のシルエット形状を画像から検出し、その検出処理における信頼度を元に、顔の基準位置推定に用いる特徴を切り替えることを特徴とする視線方向計測方法。
8. 撮像部と、
   前記撮像部から得られた画像中の顔から顔水平方向の角度を計測する顔水平方向計測部と、
   顔の垂直方向の変位に対して固定される点である顔基準位置と、顔方向の変化に応じて変化する計測点とを算出し、計測点の顔基準位置からの変位として顔垂直方向の変位を示す値を計測する顔垂直変位計測部と、
   前記顔垂直方向の変位と水平方向計測にて求めた頭部の奥行き方向の半径とを用いて顔垂直方向の角度を計測する顔垂直方向計測部と、
   得られた前記顔水平方向の角度に応じて前記顔垂直方向の計測点の変位を、前記顔垂直方向の角度に応じて前記顔水平方向の計測点の変位をそれぞれ補正し、最終的な顔方向を決定する顔方向決定部と、
   前記顔方向の角度と前記画像中の顔から検出した目頭と目尻の位置および瞳孔の中心位置を眼球モデルに基づいた式に代入することで眼球の水平方向の角度を決定し、
   前記顔方向の角度と前記目頭と目尻の位置を眼球モデルに基づいた式に代入することで眼球の半径を決定する視線水平方向計測部と、
   前記顔方向の角度と前記目頭と目尻の位置及び前記眼球の半径から眼球の中心位置を推定し、前記眼球の中心位置と前記瞳孔の中心位置から瞳孔の垂直方向の変位の値を計測する視線垂直変位計測部と、
   前記眼球の半径と前記瞳孔の垂直方向の変位の関係から視線垂直方向の角度を決定する視線垂直方向計測部と、
   前記顔方向の情報に基づき、両目の視線方向の角度を統合し、人物の視線方向を決定する視線方向決定部とを備えたことを特徴とする視線方向計測装置。
9. 請求項８記載の視線方向計測装置において、
   前記視線水平方向計測部は、さらに、前記目頭と目尻の位置の前記眼球の中心より垂直方向へのずれを示すパラメータを眼球モデルに基づいた式に代入することで前記眼球の半径を決定することを特徴とする視線方向計測装置。
10. 請求項８または９記載の視線方向計測装置において、
    ある決められた位置に対する人物の注視を検出する注視判定部と、
    前記注視判定部により検出された特定の視線方向時の顔画像を用いて視線方向計測に用いるパラメータを校正するモデル校正部を備えたことを特徴とする視線方向計測装置。