JP5549605B2 - 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム - Google Patents

Description

本発明は、視線位置検出装置、視線位置検出方法、及びコンピュータプログラムに関し、特に、ユーザの視線位置（実注視点）を検出するために用いて好適なものである。

近年、鉄鋼業等の製造業において、生産効率の向上、安全性の確保、環境負荷の低減等に対して情報処理技術を活用することが進められている。その一つとして、熟練者が自身の経験や勘を頼りにとっている行動であって、ワークフロー等に記述されていない行動を、視線計測データを分析することによって顕在化させることが挙げられる。このような経験や勘に基づいて熟練者がとっている行動に関する知識（この「知識」を「暗黙知」と称する）を明示することができれば、熟練者が直接的に教育をしなくても、その暗黙知の情報を非熟練者に伝承することができる。

このような背景の下、視線計測データを分析する技術として非特許文献１に記載の技術がある。非特許文献１では、視野カメラの位置を視野カメラ画像から求めるようにしている。この非特許文献１では、計測対象の３次元座標が分かれば、原理的には、ユーザが見ていたものを識別することができる。

小橋優司他，"頭部装着型視線計測装置のための自然特徴点を用いた三次元注視点推定"，電子情報通信学会技術研究報告−ヒューマン情報処理，Vol109，No.261, p.5-10,2009 D.G.Lowe，"Object recognition from local scale-invariant features"，International Conference on Computer Vision，Corfu，Greece（September 1999）,p.1150-1157 杉原厚吉著，"なわばりの数理モデル -ボロノイ図からの数理工学入門-"，共立出版（2009）

しかしながら、非特許文献１に記載の技術では、計測の精度を高くすることが困難であると共に、計測対象の３次元座標が既知であるという制約がある。このため、非特許文献１に記載の技術は、実用には適さない。このため、現状では、ユーザの目視での確認によってユーザが何を見ていたのかを同定するようにしている。
本発明は、このような問題点に鑑みてなされたものであり、ユーザの視野画像に基づいて、ユーザが何を見ているのかを容易に且つ確実に自動で検出できるようにすることを目的とする。

本発明の視線位置検出装置は、ユーザが視認する対象となる領域の二次元画像である視認対象画像を取得する視認対象画像取得手段と、ユーザが装着している撮像手段で撮像された二次元画像である視野画像を取得する視野画像取得手段と、前記視認対象画像取得手段で取得された視認対象画像と、前記視野画像取得手段により取得された視野画像とを対応付ける為の、該視認対象画像中の点である特徴点を抽出する視認対象画像特徴点抽出手段と、前記視認対象画像取得手段で取得された視認対象画像と、前記視野画像取得手段により取得された視野画像とを対応付ける為の、該視野画像中の点である特徴点を抽出する視野画像特徴点抽出手段と、前記視野画像特徴点抽出手段により抽出された視野画像の特徴点と、当該視野画像の特徴点に対し特徴量が相互に対応する、前記視認対象画像特徴点抽出手段により抽出された視認対象画像の特徴点とを、対応点として抽出する対応点抽出手段と、前記対応点抽出手段により対応点として抽出された視野画像の特徴点から、前記視野画像取得手段により取得された視野画像におけるユーザの視線位置を内部に包含する三角形を構成する３つの特徴点を、視線位置近傍特徴点として抽出する視線位置近傍特徴点抽出手段と、前記視野画像におけるユーザの視線位置に対し画像上での位置が相互に対応する、前記視認対象画像における位置を、当該視認対象画像におけるユーザの視線位置として導出する視認対象画像上視線位置導出手段と、を有し、前記視認対象画像上視線位置導出手段は、前記３つの視線位置近傍特徴点から定まる座標系から見た場合の、前記視野画像におけるユーザの視線位置の座標と、当該３つの視線位置近傍特徴点に対応する３つの視認対象画像の特徴点から定まる座標系から見た場合に同一の座標となる位置を、前記視認対象画像におけるユーザの視線位置として導出することを特徴とする。

本発明の視線位置検出方法は、ユーザが視認する対象となる領域の二次元画像である視認対象画像を取得する視認対象画像取得工程と、ユーザが装着している撮像手段で撮像された二次元画像である視野画像を取得する視野画像取得工程と、前記視認対象画像取得工程で取得された視認対象画像と、前記視野画像取得工程により取得された視野画像とを対応付ける為の、該視認対象画像中の点である特徴点を抽出する視認対象画像特徴点抽出工程と、前記視認対象画像取得工程で取得された視認対象画像と、前記視野画像取得工程により取得された視野画像とを対応付ける為の、該視野画像中の点である特徴点を抽出する視野画像特徴点抽出工程と、前記視野画像特徴点抽出工程により抽出された視野画像の特徴点と、当該視野画像の特徴点に対し特徴量が相互に対応する、前記視認対象画像特徴点抽出工程により抽出された視認対象画像の特徴点とを、対応点として抽出する対応点抽出工程と、前記対応点抽出工程により対応点として抽出された視野画像の特徴点から、前記視野画像取得工程により取得された視野画像におけるユーザの視線位置を内部に包含する三角形を構成する３つの特徴点を、視線位置近傍特徴点として抽出する視線位置近傍特徴点抽出工程と、前記視野画像におけるユーザの視線位置に対し画像上での位置が相互に対応する、前記視認対象画像における位置を、当該視認対象画像におけるユーザの視線位置として導出する視認対象画像上視線位置導出工程と、を有し、前記視認対象画像上視線位置導出工程は、前記３つの視線位置近傍特徴点から定まる座標系から見た場合の、前記視野画像におけるユーザの視線位置の座標と、当該３つの視線位置近傍特徴点に対応する３つの視認対象画像の特徴点から定まる座標系から見た場合に同一の座標となる位置を、前記視認対象画像におけるユーザの視線位置として導出することを特徴とする。

本発明のコンピュータプログラムは、前記視線位置検出方法の各工程をコンピュータに実行させることを特徴とする。

本発明によれば、視野画像の特徴点と、視認対象画像の特徴点との対応点を抽出し、対応点として抽出された視野画像の特徴点のうち、視野画像におけるユーザの視線位置を内部に包含する三角形の頂点を構成する３点を選択する。そして、その３点（３つの視野画像の特徴点）を視線位置近傍特徴点として抽出する。そして、３つの視線位置近傍特徴点から定まる座標系から見た場合の、視野画像におけるユーザの視線位置の座標と、当該３つの視線位置近傍特徴点に対応する３つの視認対象画像の特徴点から定まる座標系から見た場合に同一の座標となる位置を、視認対象画像におけるユーザの視線位置として導出する。したがって、ユーザの視野画像に基づいて、ユーザが何を見ているのかを容易に且つ確実に自動で検出することができる。

本発明の実施形態を示し、視線位置検出装置の機能的な構成の一例を示す図である。 本発明の実施形態を示し、視野カメラ画像のSIFT特徴点と、視認対象画像のSIFT特徴点の一例を概念的に示す図（写真）である。 本発明の実施形態を示し、誤対応の対応点の対を除去した後の、対応点の対の一例を概念的に示す図（写真）である。 本発明の実施形態を示し、ボロノイ図の一例とドロネー三角形分割により得られたドロネー三角形の一例を示す図である。 本発明の実施形態を示し、視野カメラ画像における作業者の視線位置の点に対応する、視認対象画像における作業者の視線位置の点の一例を示す図である。 本発明の実施形態を示し、視認対象画像における作業者の視線位置の点の一例を概念的に示す図（写真）である。 本発明の実施形態を示し、視線位置検出装置の動作の一例を説明するフローチャートである。 本発明の実施形態を示し、図７のステップＳ７０６の詳細を説明するフローチャートである。 本発明の実施形態を示し、図７のステップＳ７０７の詳細を説明するフローチャートである。 本発明の実施形態を示し、図７のステップＳ７０８の詳細を説明するフローチャートである。 本発明の実施形態を示し、図７のステップＳ７０９の詳細を説明するフローチャートである。

以下、図面を参照しながら、本発明の一実施形態を説明する。
図１は、視線位置検出装置の機能的な構成の一例を示す図である。本実施形態では、作業者（ユーザ）が視認する対象となる領域の二次元画像を予めデジタルカメラで得ておく（以下の説明では、「作業者が視認する対象となる領域の二次元画像」を必要に応じて「視認対象画像」と称する）。また、頭部装着型の視野カメラを作業者の頭部に装着させ、作業者の視野範囲を撮像した二次元画像を当該頭部装着型の視野カメラで得る（以下の説明では、「作業者の視野範囲を撮像した二次元画像」を必要に応じて「視野カメラ画像」と称する）。視線位置検出装置１００は、これら視認対象画像と視野画像とを入力し、「視野画像における視線位置（視野画像における作業者の注視点）」と画像上での位置が相互に対応する「視認対象画像上の位置」を視認対象画像上視線位置として検出する機能を有する。
以下、視線位置検出装置１００が有する機能の詳細を説明する。視線位置検出装置１００のハードウェアは、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、及び各種のインターフェースを備えた情報処理装置を用いることにより実現することができる。

（画像取得部１０１）
画像取得部１０１は、作業者がその頭部に装着した頭部装着型の視野カメラで撮像された視野カメラ画像（動画像）を取り込む。尚、頭部装着型の視野カメラは、作業者の視野範囲を撮像するものであり、公知の技術で実現できるものであるので、ここでは、その詳細を省略する。また、以下の説明では、「頭部装着型の視野カメラ」を必要に応じて「視野カメラ」と略称する。
また、画像取得部１０１は、デジタルカメラで撮像された視認対象画像を取り込む。
画像取得部１０１は、例えば、画像インターフェースが視野カメラで得られた視野カメラ画像の信号や、デジタルカメラで得られた視認対象画像の信号を受信し、ＣＰＵが、その画像信号をＶＲＡＭ等に記憶することにより実現できる。

（特徴点抽出部１０２）
特徴点抽出部１０２は、画像取得部１０１で取得された「視野カメラ画像と視認対象画像」の特徴点（特徴量ベクトル）を抽出する。ここで、特徴点抽出部１０２は、視野カメラ画像の各フレームの特徴点を抽出する。本実施形態では、画像の特徴点の抽出に、Scale-Invariant Feature Transform（SIFT）を用いるようにしている。SIFTは、画像の中から注目する画素を特徴点として決定し、特徴点の周辺の領域における輝度の分布から特徴量を算出する手法であり、回転やスケール変化等に頑健な特徴量を記述可能なことから、同一画像をデータベース中から検索する画像検索などの用途で主に用いられる。尚、SIFTのアルゴリズムは、非特許文献２等に記載されているように公知の技術で実現できるので、ここでは、その詳細な説明を省略する。
図２は、視野カメラ画像のSIFT特徴点（図２（ａ））と、視認対象画像のSIFT特徴点（図２（ｂ））の一例を概念的に示す図（写真）である。図２では、作業者が、高炉の操業状態を表示するモニターを見ている場合を例に挙げて示している。図２では、SIFT特徴点を白丸で示している。
視野カメラ画像のSIFT特徴点Ｓⁱは、以下の（１）式で表され、視認対象画像のSIFT特徴点Ｔ^jは、以下の（２）式で表される。すなわち、SIFT特徴点Ｓⁱ、Ｔ^jはともに、１２８次元の要素を持つベクトルである。

（１）式において、ｉは、１，２，・・・Ｎ（Ｎは、視野カメラ画像のSIFT特徴点の数）である。また、（２）式において、ｊは、１，２，・・・Ｍ（Ｍは、視認対象画像のSIFT特徴点の数）である。
特徴点抽出部１０２は、例えば、ＣＰＵが、ＶＲＡＭ等から、視野カメラ画像と視認対象画像のデータを読み出し、それらのSIFT特徴点を、SIFTのアルゴリズムにより抽出し、抽出したSIFT特徴点の情報をＲＡＭ等に記憶することにより実現できる。

（特徴点マッチング部１０３）
特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱの特徴量と、視認対象画像のSIFT特徴点Ｔ^jの特徴量との誤差を、以下の（３）式のように、これらのユークリッド距離d(i,j)として導出する。

次に、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱとのユークリッド距離d(i,j)が最も近い視認対象画像のSIFT特徴点Ｔ^j(i,0)を探索する。また、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱとのユークリッド距離ｄ（ｉ，ｊ）が二番目に近い視認対象画像のSIFT特徴点Ｔ^j(i,1)を探索する。
次に、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とのユークリッド距離d(i,j(i,0))と、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,1)とのユークリッド距離d(i,j(i,1))とを比較し、以下の（４）式を満たすか否かを判定する。

この判定の結果、（４）式を満たす場合、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とを、特徴量が相互に対応する対応点として設定する。一方、（４）式を満たさない場合、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とは、特徴量が相互に対応する対応点として設定されない。このように、本実施形態では、ユークリッド距離d(i,j(i,0))、d(i,j(i,1))の差が所定値よりも大きくなるものについてのみ、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とを対応点として設定するようにしている。尚、（４）式における「０．５」は一例であり、「０．５」以外の値であってもよい。

特徴点マッチング部１０３は、以上のユークリッド距離d(i,j)の導出、SIFT特徴点Ｔ^j(i,0)、Ｔ^j(i,1)の探索、（４）式の判定、及び対応点の設定を、視野カメラ画像のSIFT特徴点Ｓⁱの全てについて行う。
その後、特徴点マッチング部１０３は、同一の「視野カメラ画像のSIFT特徴点Ｓⁱ」に対し、複数の対応点（複数の「視認対象画像のSIFT特徴点Ｔ^j(i,0)」）が設定されたか否かを判定する。この判定の結果、複数の対応点が設定された場合、特徴点マッチング部１０３は、それらの対応点の対のうち、ユークリッド距離d(i,j)が最も近い対応点の対を選択し、それ以外の対応点の対を除去する。

特徴点マッチング部１０３は、例えば、ＣＰＵが、ＲＡＭ等から、視野カメラ画像のSIFT特徴点Ｓⁱの情報と、視認対象画像のSIFT特徴点Ｔ^jの情報とを読み出して、前述したようにして、視野カメラ画像のSIFT特徴点Ｓⁱと、当該視野カメラ画像のSIFT特徴点Ｓⁱと特徴量が相互に対応する視認対象画像のSIFT特徴点Ｔ^j(i,0)とを対応点として求め、求めた対応点の情報をＲＡＭ等に記憶することにより実現できる。

（誤対応除去部１０４）
誤対応除去部１０４は、特徴点マッチング部１０３により得られた対応点の対（視野カメラ画像のSIFT特徴点Ｓⁱと、当該視野カメラ画像のSIFT特徴点Ｓⁱと特徴量が相互に対応する視認対象画像のSIFT特徴点Ｔ^j(i,0)）をランダムに４つ選択する。
次に、誤対応除去部１０４は、選択した４つの対応点の対の画像上の座標を用いて、以下の（５）式及び（６）式で示される「射影変換のためのパラメータａ₁〜ａ₈」を導出する。

（５）式及び（６）式において、(x',y')は、視野対象画像上の座標であり、（ｘ，ｙ）は、視野カメラ画像上の座標である。
次に、誤対応除去部１０４は、射影変換のためのパラメータａ₁〜ａ₈の導出のために使用していない対応点の対を選択する。そして、誤対応除去部１０４は、選択した対応点の対の一方である「視野カメラ画像のSIFT特徴点Ｓⁱ」の視野カメラ画像上の座標(x,y)とパラメータａ₁〜ａ₈とを（５）式及び（６）式に代入して射影変換を行い、視認対象画像上の座標(x',y')を導出する。そして、誤対応除去部１０４は、導出した「視認対象画像上の座標(x',y')」と、選択した対応点の他方である「視認対象画像のSIFT特徴点Ｔ^j(i,0)」の視認対象画像上の座標(x',y')との誤差である投影誤差を導出する。そして、誤対応除去部１０４は、求めた投影誤差が閾値以下である場合、変数Ｃに１を加算する。一方、求めた投影誤差が閾値を超える場合には、変数Ｃは変化しない。
誤対応除去部１０４は、射影変換のためのパラメータａ₁〜ａ₈の導出のために使用していない対応点の対の全てについて、投影誤差の導出と、投影誤差と閾値との比較と、変数Ｃの加算とを行う。

誤対応除去部１０４は、以上の処理（対応点の対の選択、パラメータａ₁〜ａ₈の導出、投影誤差の導出、投影誤差と閾値との比較、及び変数Ｃの加算）を、４つの「対応点の対」の全ての組み合わせについて行う。これにより、４つの「対応点の対」の全ての組み合わせと同数の変数Ｃが得られる。
次に、誤対応除去部１０４は、得られた変数Ｃの最大値Ｃ_maxを選択し、最大値Ｃ_maxを得るために導出したパラメータａ₁〜ａ₈を最適射影変換パラメータとして設定する。

次に、誤対応除去部１０４は、特徴点マッチング部１０３により得られた対応点の対を１つ選択する。
次に、誤対応除去部１０４は、選択した対応点の対の一方である「視野カメラ画像のSIFT特徴点Ｓⁱ」の視野カメラ画像上の座標(x,y)と最適射影変換パラメータａ₁〜ａ₈とを（５）式及び（６）式に代入して射影変換を行い、視認対象画像上の座標(x',y')を導出する。そして、誤対応除去部１０４は、導出した「視認対象画像上の座標(x',y')」と、選択した対応点の他方である「視認対象画像のSIFT特徴点Ｔ^j(i,0)」の視認対象画像上の座標(x',y')との誤差である投影誤差を導出する。そして、誤対応除去部１０４は、求めた投影誤差が閾値を超える場合、選択した対応点の対を誤対応の対応点の対であるとして除去する。
誤対応除去部１０４は、以上の対応点の対の選択と、投影誤差の導出と、投影誤差と閾値との比較と、対応点の対の除去とを、特徴点マッチング部１０３により得られた対応点の対の全てについて行う。
図３は、誤対応の対応点の対を除去した後の、対応点の対（視野カメラ画像のSIFT特徴点Ｓⁱと、当該視野カメラ画像のSIFT特徴点Ｓⁱと特徴量が相互に対応する視認対象画像のSIFT特徴点Ｔ^j(i,0)）の一例を概念的に示す図（写真）である。図３では、視野カメラ画像３０１のSIFT特徴点Ｓⁱと、視認対象画像３０２のSIFT特徴点Ｔ^j(i,0)との対応点の対が９６個得られた場合を例に挙げて示している。尚、図３では、白い直線の両端が対応点となるが、この直線は、説明の便宜のために示したものであり、実際の画像に表示されるものではない。

誤対応除去部１０４は、例えば、ＲＡＭ等から、対応点の情報を読み出して、前述したようにして、読み出した対応点が誤対応の対応点であると判定した場合には、当該対応点の情報をＲＡＭ等から消去することにより実現できる。

（視線位置近傍特徴点抽出部１０５）
視線位置近傍特徴点抽出部１０５は、対応点として設定されている視野カメラ画像のSIFT特徴点Ｓⁱを全て選択する。
次に、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のSIFT特徴点Ｓⁱの視野カメラ画像上の座標(x,y)を頂点とする三角形を、ドロネーの三角分割法（Delaunay Triangulation）を用いて作成する（この三角形をドロネー三角形と称する）。
そのために、視線位置近傍特徴点抽出部１０５は、ボロノイ図（Voronoi Diagram）を作成する。ボロノイ図とは、以下の（７）式を満たすボロノイ領域（Voronoi Region）Ｖ(p_i)で空間を分割したものをいう。

ここでは、ｍ個の点（ボロノイジェネレータ（Voronoi Generator））からなる点集合Ｐ＝[p₁,p₂,・・・,p_m]が与えられているものとする。また、（７）式において、Ｒⁿは、ｎ次元の実数空間を示す。また、D(p,p_i)、D(p,p_j)は、ある点pと点（ボロノイジェネレータ）p_i,p_jとのユークリッド距離を表す。すなわち、（７）式は、ボロノイ領域Ｖ(p_i)内の任意の点pから最もユークリッド距離が近い点（ボロノイジェネレータ）は、点（ボロノイジェネレータ）p_iとなることを表しており、このような点の集合をボロノイ領域としている。
このようなボロノイ図において、隣接する点（ボロノイジェネレータ）同士を相互に繋いだ図をドロネー三角形分割という。このようにドロネー三角形分割を行うと、三角形の最小の内角が最大になる（三角形をなるべく細長くしない）ようにドロネー三角形が作成される。また、ドロネー三角形分割では、作成された任意のドロネー三角形に外接する円の内部には、他のドロネー三角形の頂点が含まれないという性質（外接円特性）がある。尚、ドロネー三角形分割のアルゴリズムは、非特許文献３等に記載されているように公知の技術で実現できるので、ここでは、これ以上の詳細な説明を省略する。

図４は、ボロノイ図の一例（図４（ａ））とドロネー三角形分割により得られたドロネー三角形の一例（図４（ｂ））を示す図である。
図４において、視野カメラ画像のSIFT特徴点Ｓⁱの視野カメラ画像上の座標(x,y)の点が、ボロノイジェネレータp₁〜p₈となる。
以上のようにしてドロネー三角形が得られると、視線位置近傍特徴点抽出部１０５は、視野カメラ画像における作業者の視線位置を検出し、検出した作業者の視線位置がドロネー三角形の内部にあるか否かを判定する。この判定の結果、作業者の視線位置がドロネー三角形の内部にある場合、視線位置近傍特徴点抽出部１０５は、当該ドロネー三角形の３つの頂点を構成する「視野カメラ画像のSIFT特徴点Ｓⁱ」を視線位置近傍特徴点Ａ、Ｂ、Ｃとして設定する（Ａ、Ｂ、Ｃは、視野カメラ画像における座標を表すものとする）。

一方、作業者の視線位置がドロネー三角形の内部にない場合、視線位置近傍特徴点抽出部１０５は、作業者の視線位置にユークリッド距離が最も近いドロネー三角形の辺の両端点を構成する「視野カメラ画像のSIFT特徴点Ｓⁱ」を選択する（これら２つの視野カメラ画像のSIFT特徴点ＳⁱをＡ、Ｂとする。また、これらＡ、Ｂは、視野カメラ画像における座標を表すものとする）。
次に、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のSIFT特徴点Ｓⁱのうち、作業者の視線位置とのユークリッド距離が最も近い特徴点Ｓⁱを、選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外から選択する（ここで選択した「視野カメラ画像のSIFT特徴点Ｓⁱ」をＣとする。また、Ｃは、視野カメラ画像における座標を表すものとする）。
次に、視線位置近傍特徴点抽出部１０５は、選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃ」に基づく角度（∠ＡＣＢ）が以下の（８）式を満たすか否かを判定する。
３０°＜∠ＡＣＢ＜１５０° ・・・（８）
（８）式は、視野カメラ画像のSIFT特徴点Ｓⁱの「視野カメラ画像における座標の点Ａ、Ｂ、Ｃ」を頂点とする三角形をなるべく細長くしないようにするためのものである。よって、∠ＡＣＢの下限、上限は、それぞれ、３０°、１５０°に限定されず、この主旨を逸脱しない範囲で、∠ＡＣＢの下限と上限とを定めることができる。

この判定の結果、（８）式を満たす場合、視線位置近傍特徴点抽出部１０５は、選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃ」と特徴量が相互に対応する「視認対象画像のSIFT特徴点Ｔ^j(i,0)」を選択する（ここで選択した「視認対象画像のSIFT特徴点Ｔ^j(i,0)」をそれぞれＡ´、Ｂ´、Ｃ´とする。また、Ａ´、Ｂ´、Ｃ´は、視認対象画像における座標を表すものとする）。
次に、視線位置近傍特徴点抽出部１０５は、以下の（９）式に示す２次元ベクトルの外積の符号と、以下の（１０）式に示す２次元ベクトルの外積の符号とが同じであるか否かを判定する。この判定の結果、これらの外積の符号が同じである場合、視線位置近傍特徴点抽出部１０５は、選択した視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃを視線位置近傍特徴点Ａ、Ｂ、Ｃとする。

一方、これらの外積の符号が同じでない場合には、視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃにより構成される三角形の頂点の位置関係と、視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´により構成される三角形の頂点の位置関係とが異なっていることになる。このようなことは、画像の歪み等によって生じる。そこで、このような場合、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のSIFT特徴点Ｓⁱのうち、作業者の視線位置とのユークリッド距離が次に近い特徴点Ｓⁱを、選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外から選択する（ここで選択した「視野カメラ画像のSIFT特徴点Ｓⁱ」をＣとする。また、Ｃは、視野カメラ画像における座標を表すものとする）。そして、前述した処理を繰り返し行う。
また、（８）式を満たさない場合、視線位置近傍特徴点抽出部１０５は、「２つの視野カメラ画像のSIFT特徴点Ｓⁱ」の「視野カメラ画像における座標の点Ａ、Ｂ」以外の点を全て選択したか否かを判定する。
この判定の結果、全ての点を選択したにもかかわらず、点Ｃを選択する条件である（８）式、（９）式、（１０）式の条件を満たす点が無かった場合には、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のこれまで選択したSIFT特徴点Ｓⁱのうち、作業者の視線位置とのユークリッド距離が最も近い特徴点Ｓⁱを、選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外から選択し直す（ここで選択した「視野カメラ画像のSIFT特徴点Ｓⁱ」をＣとする。また、Ｃは、視野カメラ画像における座標を表すものとする）。そして、視線位置近傍特徴点抽出部１０５は、視線位置近傍特徴点抽出部１０５は、選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃ」を視線位置近傍特徴点Ａ、Ｂ、Ｃとする。

一方、全ての点を選択していない場合、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のSIFT特徴点Ｓⁱのうち、作業者の視線位置とのユークリッド距離が次に近い特徴点Ｓⁱを、選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外から選択する（ここで選択した「視野カメラ画像のSIFT特徴点Ｓⁱ」をＣとする。また、Ｃは、視野カメラ画像における座標を表すものとする）。そして、視線位置近傍特徴点抽出部１０５は、そして、視線位置近傍特徴点抽出部１０５は、選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃ」に基づいて、前述した（８）式の判定を再度行う。
この様にして、作業者の視線位置がドロネー三角形の内部にない場合の視線位置近傍特徴点が決定される。

視線位置近傍特徴点抽出部１０５は、例えば、ＣＰＵが、ＲＡＭ等から、対応点の情報を読み出して、前述したようにして、視野カメラ画像における作業者の視線位置の近傍の３つの「視野カメラ画像のSIFT特徴点Ｓⁱ」を視線位置近傍特徴点Ａ、Ｂ、Ｃとし、視線位置近傍特徴点Ａ、Ｂ、Ｃの情報をＲＡＭ等に記憶することによって実現できる。

（視認対象画像上視線位置導出部１０６）
図５は、「視野カメラ画像における作業者の視線位置の点Ｐ」と画像上での位置が相互に対応する「視認対象画像における作業者の視線位置の点Ｐ´」の一例を示す図である。
図５の左図において、視線位置近傍特徴点抽出部１０５で得られた「視線位置近傍特徴点Ａ、Ｂ、Ｃの点Ａを原点とし、線分ＡＢ、ＡＣを軸とする斜交座標系で表すと、視野カメラ画像における作業者の視線位置の点Ｐは、以下の（１１）式のように表される。この（１１）式を変形すると、パラメータｓ、ｔは、以下の（１２）式のように表される。尚、（１１）式及び（１２）式において、Ａ、Ｂ、Ｃ、Ｐは、それぞれ視野カメラ画像における座標を表す。

視認対象画像上視線位置導出部１０６は、視線位置近傍特徴点抽出部１０５で得られた視線位置近傍特徴点Ａ、Ｂ、Ｃに基づいて、（１２）式により、パラメータｓ、ｔを導出する。そして、視認対象画像上視線位置導出部１０６は、「視線位置近傍特徴点Ａ、Ｂ、Ｃ」と特徴量が相互に対応する「視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´」と、パラメータｓ、ｔを用いて、「視認対象画像における作業者の視線位置の点Ｐ´」を視認対象画像上視線位置として、以下の（１３）式により導出する（図５の右図を参照）。

本実施形態では、（１２）式及び（１３）式の計算を行うことによって、「視線位置近傍特徴点Ａ、Ｂ、Ｃ」から定まる座標系から見た場合の「視野カメラ画像における作業者の視線位置の点Ｐの座標」と、「視線位置近傍特徴点Ａ、Ｂ、Ｃ」と特徴量が相互に対応する「視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´」から定まる座標系から見た場合に、同一の座標となる位置を「視認対象画像における作業者の視線位置の点Ｐ´」として求めるようにしている。

図６は、視認対象画像における作業者の視線位置の点Ｐ´の一例を概念的に示す図（写真）である。
図６の左図の点ｕ_a、ｕ_b、ｕ_c、ｐ^eは、それぞれ、視線位置近傍特徴点Ａ、Ｂ、Ｃ、視野カメラ画像における作業者の視線位置の点Ｐに対応する。一方、図６の右図の点Ｕ_a、Ｕ_b、Ｕ_c、Ｐ^eは、それぞれ、視認対象画像の点Ａ´、Ｂ´、Ｃ´、視認対象画像における作業者の視線位置の点Ｐ´に対応する。

視認対象画像上視線位置導出部１０６は、視線位置近傍特徴点Ａ、Ｂ、Ｃの情報と、視野カメラ画像における作業者の視線位置の点Ｐの情報と、視線位置近傍特徴点Ａ、Ｂ、Ｃと特徴量が相互に対応する視認対象画像の点Ａ´、Ｂ´、Ｃ´の情報と、をＲＡＭ等から読み出して、前述したようにして、視認対象画像における作業者の視線位置の点Ｐ´を導出し、視認対象画像における作業者の視線位置の点Ｐ´の情報をＲＡＭ等に記憶することによって実現できる。

（視認対象画像上視線位置表示部１０７）
視認対象画像上視線位置表示部１０７は、視認対象画像上視線位置導出部１０６で導出された「視認対象画像における作業者の視線位置の点Ｐ´」の情報を、液晶ディスプレイ等の表示装置に表示する。例えば、視認対象画像上視線位置表示部１０７は、図２（ｂ）に示す視認対象画像上に、図６の右図に示したような点Ｐ^eを示すマーク（図６の右図では白色の×）を表示装置に表示することができる。
視認対象画像上視線位置表示部１０７は、例えば、ＣＰＵが、ＲＡＭ等から、視認対象画像における作業者の視線位置の点Ｐ´の情報を読み出し、その情報を表示するための表示データを生成し、生成した表示データを表示装置に出力することによって実現することができる。

（視線位置検出装置１００の動作フローチャート）
次に、図７のフローチャートを参照しながら、視線位置検出装置１００の動作の一例を説明する。
まず、ステップＳ７０１において、画像取得部１０１は、視認対象画像を取得する。
次に、ステップＳ７０２において、画像取得部１０１は、視野カメラ画像を取得する。
次に、ステップＳ７０３において、特徴点抽出部１０２は、ステップＳ７０１で取得された視認対象画像から、視認対象画像のSIFT特徴点を抽出する。
次に、ステップＳ７０４において、特徴点抽出部１０２は、ステップＳ７０２で取得された視野カメラ画像のフレームを、その取得順に１つ選択する。

次に、ステップＳ７０５において、特徴点抽出部１０２は、ステップＳ７０２で取得された視野カメラ画像のフレームから、視野カメラ画像のSIFT特徴点を抽出する。
次に、ステップＳ７０６において、特徴点マッチング部１０３は、視認対象画像のSIFT特徴点Ｓⁱと、当該視野カメラ画像のSIFT特徴点Ｓⁱと特徴量が相互に対応する視認対象画像のSIFT特徴点Ｔ^j(i,0)とを対応点として求める特徴点マッチング処理を行う。特徴点マッチング処理の詳細については、図８を参照しながら後述する。
次に、ステップＳ７０７において、誤対応除去部１０４は、ステップＳ７０６で得られた対応点の対のうち、誤対応の対応点の対を除去する誤対応除去処理を行う。誤対応除去処理の詳細については、図９を参照しながら後述する。

次に、ステップＳ７０８において、視線位置近傍特徴点抽出部１０５は、ステップＳ７０７で誤対応のものが除去された後の対応点を構成する「視野カメラ画像のSIFT特徴点Ｓⁱ」のうち、視野カメラ画像における作業者の視線位置の近傍の３つの「視野カメラ画像のSIFT特徴点Ｓⁱ」を視線位置近傍特徴点として抽出する視線位置近傍特徴点抽出処理を行う。視線位置近傍特徴点抽出処理の詳細については、図１０を参照しながら後述する。
次に、ステップＳ７０９において、視認対象画像上視線位置導出部１０６は、視認対象画像における作業者の視線位置の点Ｐ´を導出する視認対象画像上視線位置導出処理を行う。視認対象画像上視線位置導出処理の詳細については、図１１を参照しながら後述する。

次に、ステップＳ７１０において、視認対象画像上視線位置表示部１０７は、ステップＳ７０９で導出された「視認対象画像における作業者の視線位置の点Ｐ´」の情報を（フレーム単位で）表示装置に表示させる。
次に、ステップＳ７１１において、特徴点抽出部１０２は、ステップＳ７０２で取得された視野カメラ画像の全てのフレームを取得したか否かを判定する。この判定の結果、視野カメラ画像の全てのフレームを取得していない場合には、ステップＳ７０４に戻る。一方、視野カメラ画像の全てのフレームを取得した場合には、図７のフローチャートによる処理を終了する。

次に、図８のフローチャートを参照しながら、図７のステップＳ７０６の特徴点マッチング処理の詳細を説明する。
まず、ステップＳ８０１において、特徴点マッチング部１０３は、未選択の視野カメラ画像のSIFT特徴点Ｓⁱを、ステップＳ７０５で抽出されたものの中から１つ選択する。
次に、ステップＳ８０２において、特徴点マッチング部１０３は、ステップＳ７０５で選択された視野カメラ画像のSIFT特徴点Ｓⁱの特徴量と、ステップＳ７０３で抽出された視認対象画像のSIFT特徴点Ｔ^jの特徴量のそれぞれとの誤差として、これらのユークリッド距離d(i,j)を、（３）式を用いて導出する。
次に、ステップＳ８０３において、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱとのユークリッド距離d(i,j)が最も小さな視認対象画像のSIFT特徴点Ｔ^j(i,0)を探索する。
次に、ステップＳ８０４において、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱとのユークリッド距離d(i,j)が２番目に小さな視認対象画像のSIFT特徴点Ｔ^j(i,1)を探索する。

次に、ステップＳ８０５において、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とのユークリッド距離d(i,j(i,0))と、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,1)とのユークリッド距離d(i,j(i,1))との関係が、（４）式を満たすか否かを判定する。
この判定の結果、（４）式を満たさない場合には、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とを対応点としないので、ステップＳ８０６を省略して後述するステップＳ８０７に進む。

一方、（４）式を満たす場合には、ステップＳ８０６に進む。ステップＳ８０６に進むと、特徴点マッチング部１０３は、視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^j(i,0)とを、特徴量が相互に対応する対応点として設定する。
次に、ステップＳ８０７において、特徴点マッチング部１０３は、ステップＳ７０５で抽出された視野カメラ画像のSIFT特徴点Ｓⁱを全て選択したか否かを判定する。この判定の結果、視野カメラ画像のSIFT特徴点Ｓⁱを全て選択していない場合には、ステップＳ８０１に戻る。

一方、視野カメラ画像のSIFT特徴点Ｓⁱを全て選択した場合には、ステップＳ８０８に進む。ステップＳ８０８に進むと、同一の「視野カメラ画像のSIFT特徴点Ｓⁱ」に対し、複数の対応点（複数の「視認対象画像のSIFT特徴点Ｔ^j(i,0)」）が設定されたか否かを判定する。この判定の結果、複数の対応点が設定された場合には、ステップＳ８０９に進む。
ステップＳ８０９に進むと、特徴点マッチング部１０３は、それらの対応点のうち、ユークリッド距離d(i,j)が最も近い対応点の対を選択し、それ以外の対応点を除去する。これにより、視野カメラ画像のSIFT特徴点Ｓⁱと、当該視野カメラ画像のSIFT特徴点Ｓⁱと特徴量が相互に対応する視認対象画像のSIFT特徴点Ｔ^j(i,0)とが１対１の関係になる。そして、図７のステップＳ７０７に進む。
一方、複数の対応点が設定されていない場合には、対応点を除去する必要はないので、ステップＳ８０９を省略して図７のステップＳ７０７に進む。

次に、図９のフローチャートを参照しながら、図７のステップＳ７０７の誤対応除去処理の詳細を説明する。
まず、ステップＳ９０１において、誤対応除去部１０４は、図７のステップＳ７０６（図８のフローチャート）で得られた４つの対応点の対（視野カメラ画像のSIFT特徴点Ｓⁱと、当該視野カメラ画像のSIFT特徴点Ｓⁱと特徴量が相互に対応する視認対象画像のSIFT特徴点Ｔ^j(i,0)）であって、未選択の対応点の対を選択する。
次に、ステップＳ９０２において、誤対応除去部１０４は、ステップＳ９０１で選択した４つの対応点の対の画像上の座標を用いて、（５）式及び（６）式で示される「射影変換のためのパラメータａ₁〜ａ₈」を導出する。

次に、ステップＳ９０３において、誤対応除去部１０４は、射影変換のためのパラメータａ₁〜ａ₈の導出のために使用していない対応点の対（ステップＳ９０１で選択した対応点の対と異なる対応点の対）であって、未選択の対応点の対を選択する。
次に、ステップＳ９０４において、誤対応除去部１０４は、ステップＳ９０３で選択した対応点の対の一方である「視野カメラ画像のSIFT特徴点Ｓⁱ」の視野カメラ画像上の座標(x,y)とパラメータａ₁〜ａ₈とを（５）式及び（６）式に代入して射影変換を行い、視認対象画像上の座標(x',y')を導出する。そして、誤対応除去部１０４は、導出した「視認対象画像上の座標(x',y')」と、ステップＳ９０３で選択した選択した対応点の他方である「視認対象画像のSIFT特徴点Ｔ^j(i,0)」の視認対象画像上の座標(x',y')との誤差である投影誤差を導出する。

次に、ステップＳ９０５において、誤対応除去部１０４は、ステップＳ９０４で導出した投影誤差が、予め設定されている閾値以下であるか否かを判定する。この判定の結果、投影誤差が閾値以下でない場合には、ステップＳ９０４で導出された投影誤差によれば、ステップＳ９０２で導出された「射影変換のためのパラメータａ₁〜ａ₈」が正しいものではないと推定されるので変数Ｃを変化させない。よって、ステップＳ９０６を省略して後述するステップＳ９０７に進む。
一方、投影誤差が閾値以下である場合には、ステップＳ９０６に進む。ステップＳ９０６に進むと、誤対応除去部１０４は、変数Ｃに１を加算する。

次に、ステップＳ９０７において、誤対応除去部１０４は、射影変換のためのパラメータａ₁〜ａ₈の導出のために使用していない対応点の対（ステップＳ９０１で選択した対応点の対と異なる対応点の対）を全て選択したか否かを判定する。この判定の結果、射影変換のためのパラメータａ₁〜ａ₈の導出のために使用していない対応点の対を全て選択していない場合には、ステップＳ９０３に戻る。
一方、射影変換のためのパラメータａ₁〜ａ₈の導出のために使用していない対応点の対を全て選択した場合には、ステップＳ９０８に進む。ステップＳ９０８に進むと、誤対応除去部１０４は、図７のステップＳ７０６（図８のフローチャート）で得られた４つの対応点の対の組み合わせを全て選択したか否かを判定する。この判定の結果、４つの対応点の対の組み合わせを全て選択していない場合には、ステップＳ９０１に戻る。一方、４つの対応点の対の組み合わせを全て選択した場合には、ステップＳ９０９に進む。ステップＳ９０９に進む場合には、４つの「対応点の対」の全ての組み合わせと同数の変数Ｃが得られている。

そして、ステップＳ９０９に進むと、誤対応除去部１０４は、得られた変数Ｃの最大値Ｃ_maxを選択し、最大値Ｃ_maxを得るために導出したパラメータａ₁〜ａ₈を最適射影変換パラメータとして設定する。
次に、ステップＳ９１０において、誤対応除去部１０４は、ステップＳ７０６（図８のフローチャート）で得られた対応点の対のうち未選択の対応点の対を１つ選択する。
次に、ステップＳ９１１において、誤対応除去部１０４は、ステップＳ９１０で選択した対応点の対の一方である「視野カメラ画像のSIFT特徴点Ｓⁱ」の視野カメラ画像上の座標(x,y)と最適射影変換パラメータａ₁〜ａ₈とを（５）式及び（６）式に代入して射影変換を行い、視認対象画像上の座標(x',y')を導出する。そして、誤対応除去部１０４は、導出した「視認対象画像上の座標(x',y')」と、選択した対応点の他方である「視認対象画像のSIFT特徴点Ｔ^j(i,0)」の視認対象画像上の座標(x',y')との誤差である投影誤差を導出する。

次に、誤対応除去部１０４は、ステップＳ９１１で導出した投影誤差が、予め設定されている閾値以下であるか否かを判定する。この判定の結果、投影誤差が閾値以下である場合には、ステップＳ９１０で選択した対応点は誤対応の対応点ではないので、ステップＳ９１３を省略して後述するステップＳ９１４に進む。
一方、投影誤差が閾値以下でない場合には、ステップＳ９１３に進む。ステップＳ９１３に進むと、誤対応除去部１０４は、ステップＳ９１０で選択した対応点の対を誤対応の対応点の対であるとして除去する。
次に、ステップＳ９１４において、誤対応除去部１０４は、ステップＳ７０６（図８のフローチャート）で得られた対応点の対を全て選択したか否かを判定する。この判定の結果、対応点の対を全て選択していない場合には、ステップＳ９１０に戻る。一方、対応点の対を全て選択した場合には、図７のステップＳ７０８に進む。

次に、図１０のフローチャートを参照しながら、図７のステップＳ７０８の視線位置近傍特徴点抽出処理の詳細を説明する。
まず、ステップＳ１００１において、視線位置近傍特徴点抽出部１０５は、図７のステップＳ７０７（図９のフローチャート）で誤対応のものが除去された対応点として設定されている視野カメラ画像のSIFT特徴点Ｓⁱを全て選択する。
次に、ステップＳ１００２において、視線位置近傍特徴点抽出部１０５は、ステップＳ１００１で選択した「視野カメラ画像のSIFT特徴点Ｓⁱ」の視野カメラ画像上の座標(x,y)を頂点とするドロネー三角形を作成する（図４（ｂ）を参照）。

次に、ステップＳ１００３において、視線位置近傍特徴点抽出部１０５は、視野カメラ画像における作業者の視線位置を検出し、検出した作業者の視線位置がドロネー三角形の内部にあるか否かを判定する。この判定の結果、作業者の視線位置がドロネー三角形の内部にある場合には、ステップＳ１００４に進む。
ステップＳ１００４に進むと、視線位置近傍特徴点抽出部１０５は、当該ドロネー三角形の３つの頂点を構成する「視野カメラ画像のSIFT特徴点Ｓⁱ」を視線位置近傍特徴点Ａ、Ｂ、Ｃとして設定する。そして、図７のステップＳ７０９に進む。
一方、作業者の視線位置がドロネー三角形の内部にない場合には、ステップＳ１００５に進む。ステップＳ１００５に進むと、視線位置近傍特徴点抽出部１０５は、作業者の視線位置にユークリッド距離が最も近いドロネー三角形の辺の両端点を構成する「視野カメラ画像のSIFT特徴点Ａ、Ｂ」を選択する。
次に、ステップＳ１００６において、視線位置近傍特徴点抽出部１０５は、視野カメラ画像の未選択のSIFT特徴点Ｓⁱのうち、作業者の視線位置とのユークリッド距離が最も近い特徴点Ｃを、ステップＳ１００５で選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外から選択する。
次に、ステップＳ１００７において、視線位置近傍特徴点抽出部１０５は、ステップＳ１００５で選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ」と、ステップＳ１００６で選択した「視野カメラ画像のSIFT特徴点Ｃ」とに基づく角度（∠ＡＣＢ）が（８）式を満たすか否かを判定する。

この判定の結果、（８）式を満たさない場合には、後述するステップＳ１０１１に進む。一方、（８）式を満たす場合には、ステップＳ１００８に進む。
ステップＳ１００８に進むと、視線位置近傍特徴点抽出部１０５は、ステップＳ１００５で選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ」と、ステップＳ１００６で選択した「視野カメラ画像のSIFT特徴点Ｃ」と特徴量が相互に対応する「視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´」を選択する。
次に、ステップＳ１００９において、視線位置近傍特徴点抽出部１０５は、（９）式に示す２次元ベクトルの外積の符号と、（１０）式に示す２次元ベクトルの外積の符号とが同じであるか否かを判定する。この判定の結果、これらの外積の符号が同じでない場合には、視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃにより構成される三角形の頂点の位置関係と、視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´により構成される三角形の頂点の位置関係とが異なっていることになる。よって、視野カメラ画像のSIFT特徴点Ａ、Ｂ、Ｃを視線位置近傍特徴点とすることはできない。そこで、ステップＳ１００６に戻る。

一方、これらの外積の符号が同じである場合には、ステップＳ１０１０に進む。ステップＳ１０１０に進むと、視線位置近傍特徴点抽出部１０５は、ステップＳ１００５で選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ」と、ステップＳ１００６で選択した最新の「視野カメラ画像のSIFT特徴点Ｃ」とを視線位置近傍特徴点Ａ、Ｂ、Ｃとして設定する。そして、図７のステップＳ７０９に進む。
前述したように、ステップＳ１００７において、（８）式を満たさない場合には、ステップＳ１０１１に進む。ステップＳ１０１１に進むと、視線位置近傍特徴点抽出部１０５は、ステップＳ１００５で選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外の点を視野カメラ画像のSIFT特徴点Ｃとして全て選択したか否かを判定する。この判定の結果、２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ以外の点を全て選択していない場合には、ステップＳ１００６に戻る。

一方、２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ以外の点を全て選択した場合には、ステップＳ１０１２に進む。ステップＳ１０１２に進むと、視線位置近傍特徴点抽出部１０５は、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のSIFT特徴点Ｓⁱのうち、作業者の視線位置とのユークリッド距離が最も近い特徴点Ｃを、ステップＳ１００５で選択した「２つの視野カメラ画像のSIFT特徴点Ａ、Ｂ」以外から選択し直す。そして、ステップＳ１０１０に進む。ステップＳ１０１２からステップＳ１０１０に進んだ場合、視線位置近傍特徴点抽出部１０５は、ステップＳ１００５で選択した「視野カメラ画像のSIFT特徴点Ａ、Ｂ」と、ステップＳ１０１２で選択した「視野カメラ画像のSIFT特徴点Ｃ」とを視線位置近傍特徴点Ａ、Ｂ、Ｃとして設定する。そして、図７のステップＳ７０９に進む。

次に、図１１のフローチャートを参照しながら、図７のステップＳ７０８の視線位置近傍特徴点抽出処理の詳細を説明する。
まず、図１１のステップＳ１１０１において、視認対象画像上視線位置導出部１０６は、図７のステップＳ７０８（図１０のフローチャート）で得られた視線位置近傍特徴点Ａ、Ｂ、Ｃに基づいて、（１２）式により、パラメータｓ、ｔを導出する。（１１）式及び（１２）式に示すように、このパラメータｓ、ｔは、視線位置近傍特徴点Ａを原点とし、且つ、視線位置近傍特徴点Ａ、Ｂを両端とする辺ＡＢと、視線位置近傍特徴点Ａ、Ｃを両端とする辺ＡＣとを軸とした斜交座標系における視線位置の点Ｐ（視野カメラ画像における座標）を表すためのパラメータである。

次に、ステップＳ１１０２において、視認対象画像上視線位置導出部１０６は、「視線位置近傍特徴点Ａ、Ｂ、Ｃ」と特徴量が相互に対応する「視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´」と、ステップＳ１１０１で導出されたパラメータｓ、ｔとを用いて、「視認対象画像における作業者の視線位置の点Ｐ´」を視認対象画像上視線位置として、（１３）式により導出する（図５の右図を参照）。そして、図７のステップＳ７１０に進む。

（まとめ）
以上のように本実施形態では、まず、視線位置検出対象である三次元空間を、デジタルカメラなどで撮影した視認対象画像（二次元平面）に変換して、実際の視線位置検出処理を、その二次元平面に限定する。そして、移動型視線計測カメラの画像である視野カメラ画像のSIFT特徴点Ｓⁱと、視認対象画像のSIFT特徴点Ｔ^jとを抽出し、抽出したSIFT特徴点Ｓⁱ、Ｔ^jの対応点を導出する。次に、対応点である「視野カメラ画像のSIFT特徴点Ｓⁱ」の視野カメラ画像上の座標(x,y)を頂点とするドロネー三角形を形成する。次に、形成したドロネー三角形の頂点の中から、作業者の視線位置の近傍の三点を視線位置近傍特徴点Ａ、Ｂ、Ｃとして選択する。次に、選択した「視線位置近傍特徴点Ａ、Ｂ、Ｃ」から見た場合の「視野カメラ画像における作業者の視線位置の点Ｐ」の位置関係と同じになるように、「視線位置近傍特徴点Ａ、Ｂ、Ｃ」と特徴量が相互に対応する「視認対象画像のSIFT特徴点Ａ´、Ｂ´、Ｃ´」の画像上の座標から、「視認対象画像における作業者の視線位置の点Ｐ´」を求める。したがって、二次元の視野カメラ画像と、二次元の視認対象画像との特徴点を相互に対応付けることができ、しかも、視野カメラ画像における作業者の視線位置の点Ｐを囲む視線位置近傍特徴点Ａ、Ｂ、Ｃが極端につぶれてしまう（三角形の内角の一つが極端に小さくなる）ことを防止することができる。よって、現実の３次元空間で何を見ているかを、三次元座標を必要とせず、また三次元の射影変換を行わずに、視認対象画像における作業者の視線位置の点Ｐ´を簡単な計算処理で精度良く求めることができる。よって、射影変換のパラメータの誤差の影響を受けることなく、視認対象画像における作業者の視線位置の点Ｐ´を求めることができる。また、射影変換のパラメータの誤差を少なくするための「画像の歪みを除去する前処理」を行わなくても、視認対象画像における作業者の視線位置の点Ｐ´を正確に求めることができる。以上のように、本実施形態では、作業者が見ている視野カメラ画像と、作業者の視認対象となる領域として予め得られている視認対象画像との対応をとることによって、作業者が何を見ているのかを容易に且つ確実に自動で検出することができる。
また、本実施形態では、誤対応の対応点を除去した上で、視線位置近傍特徴点Ａ、Ｂ、Ｃを抽出するようにしたので、視認対象画像における作業者の視線位置の点Ｐ´をより一層正確に求めることができる。

（変形例）
本実施形態では、一般の画像に適用できることに加え、高い頑健性を有しているという特徴があるので、視野カメラ画像と視認対象画像の特徴点の抽出のために、SIFTを用いるようにした。しかしながら、特徴点を抽出することができれば、その手法は、SIFTに限定されない。
また、本実施形態では、誤対応除去部１０４による「対応点の対の選択、パラメータａ₁〜ａ₈の導出、投影誤差の導出、投影誤差と閾値との比較、及び変数Ｃの加算」（ステップＳ９０１〜Ｓ９０８）を、４つの「対応点の対」の全ての組み合わせについて行うようにした。しかしながら、必ずしもこのようにする必要はない。例えば、これらの処理を、４つの「対応点の対」の全ての組み合わせについて行った結果、これらの処理を行う回数が、４つの「対応点の対」の全ての組み合わせの数よりも少ない回数であっても、４つの「対応点の対」の全ての組み合わせについてこれらの処理を行ったのと同様の最適射影変換パラメータが得られることが確認された場合には、当該回数だけ、これらの処理を行うようにしてもよい。

また、本実施形態では、視線位置近傍特徴点抽出部１０５は、視野カメラ画像のSIFT特徴点Ｓⁱの視野カメラ画像上の座標(x,y)を頂点とする三角形を、ドロネーの三角分割法（Delaunay Triangulation）を用いて作成し、作業者の視線位置がドロネー三角形の内部にある場合、当該ドロネー三角形の３つの頂点を構成する「視野カメラ画像のSIFT特徴点Ｓⁱ」を視線位置近傍特徴点Ａ、Ｂ、Ｃとして設定した。しかしながら、必ずしもこのようにする必要はない。例えば、次のようにしてもよい。まず、対応点として設定されている視野カメラ画像のSIFT特徴点Ｓⁱを全て選択する。次に、視野カメラ画像のSIFT特徴点Ｓⁱの中で、ユーザの視線位置からの距離が近い順にSIFT特徴点Ｓⁱを選択して、当該視線位置を内部に包含する三角形を構成する３つの特徴点を、視線位置近傍特徴点として抽出する。ここで、ユーザの視線位置からの距離が近い順に選択された３つの特徴点では、視線位置を内部に包含する三角形が構成されない場合には、次に距離が近い特徴点を抽出して、視線位置を内部に包含する三角形を構成出来た３つの特徴点を、視線位置近傍特徴点として抽出する。

また、本実施形態では、誤対応除去部１０４において、視野カメラ画像から視認対象画像への射影変換を行うようにした（ステップＳ９０２）。しかしながら、視認対象画像から視野カメラ画像への射影変換を行うようにしてもよい。
また、作業者の視野範囲を撮像することができ、撮像した画像における作業者の視線位置を検出することができれば、撮像装置は、頭部装着型の視野カメラでなくてもよい。

（請求項との対応）
本実施形態では、例えば、画像取得部１０１を用いることにより、視認対象画像取得手段及び視野画像取得手段が実現される。また、本実施形態では、例えば、特徴点抽出部１０２を用いることにより、視認対象画像特徴点抽出手段及び視野画像特徴点抽出手段が実現される。
また、本実施形態では、例えば、特徴点マッチング部１０３を用いることにより、対応点抽出手段が実現される。具体的に、例えば、特徴点マッチング部１０３がステップＳ８０２の処理を行うことにより導出手段が実現される。また、例えば、特徴点マッチング部１０３がステップＳ８０３、Ｓ８０４の処理を行うことにより探索手段が実現される。また、例えば、特徴点マッチング部１０３がステップＳ８０５、Ｓ８０６の処理を行うことにより抽出手段が実現される。ここで、（４）式の関係を満たす場合が、誤差が最も小さくなる視認対象画像の特徴点の誤差と、前記誤差が二番目に小さくなる視認対象画像の特徴点の誤差との差が閾値よりも大きい場合の一例である。
また、本実施形態では、例えば、視線位置近傍特徴点抽出部１０５を用いることにより、視線位置近傍特徴点抽出手段が実現される。また、本実施形態では、例えば、視認対象画像上視線位置導出部１０６を用いることにより、視認対象画像上視線位置導出手段が実現される。
また、本実施形態では、例えば、誤対応除去部１０４を用いることにより、対応点除去手段が実現される。ここで、例えば、誤対応除去部１０４がステップＳ９０１、Ｓ９０２の処理を行うことにより、前記視野画像の点と前記視認対象画像の点とを射影変換するためのパラメータを導出することが実現される。また、例えば、誤対応除去部１０４がステップＳ９１０〜Ｓ９１２、Ｓ９１４の処理を行うことにより、導出したパラメータを用いて前記対応点の一方を射影変換して得られた画像上の位置と、当該対応点の他方の画像上の位置とを、前記対応点抽出手段により抽出された対応点のそれぞれについて比較することが実現される。

尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 視線位置検出装置
１０１ 画像取得部
１０２ 特徴点抽出部
１０３ 特徴点マッチング部
１０４ 誤対応除去部
１０５ 視線位置近傍特徴点抽出部
１０６ 視認対象画像上視線位置導出部
１０７ 視認対象画像上視線位置表示部

Claims (11)

1. ユーザが視認する対象となる領域の二次元画像である視認対象画像を取得する視認対象画像取得手段と、
   ユーザが装着している撮像手段で撮像された二次元画像である視野画像を取得する視野画像取得手段と、
   前記視認対象画像取得手段で取得された視認対象画像と、前記視野画像取得手段により取得された視野画像とを対応付ける為の、該視認対象画像中の点である特徴点を抽出する視認対象画像特徴点抽出手段と、
   前記視認対象画像取得手段で取得された視認対象画像と、前記視野画像取得手段により取得された視野画像とを対応付ける為の、該視野画像中の点である特徴点を抽出する視野画像特徴点抽出手段と、
   前記視野画像特徴点抽出手段により抽出された視野画像の特徴点と、当該視野画像の特徴点に対し特徴量が相互に対応する、前記視認対象画像特徴点抽出手段により抽出された視認対象画像の特徴点とを、対応点として抽出する対応点抽出手段と、
   前記対応点抽出手段により対応点として抽出された視野画像の特徴点から、前記視野画像取得手段により取得された視野画像におけるユーザの視線位置を内部に包含する三角形を構成する３つの特徴点を、視線位置近傍特徴点として抽出する視線位置近傍特徴点抽出手段と、
   前記視野画像におけるユーザの視線位置に対し画像上での位置が相互に対応する、前記視認対象画像における位置を、当該視認対象画像におけるユーザの視線位置として導出する視認対象画像上視線位置導出手段と、を有し、
   前記視認対象画像上視線位置導出手段は、前記３つの視線位置近傍特徴点から定まる座標系から見た場合の、前記視野画像におけるユーザの視線位置の座標と、当該３つの視線位置近傍特徴点に対応する３つの視認対象画像の特徴点から定まる座標系から見た場合に同一の座標となる位置を、前記視認対象画像におけるユーザの視線位置として導出することを特徴とする視線位置検出装置。
2. 前記視線位置近傍特徴点抽出手段は、前記対応点抽出手段により対応点として抽出された視野画像の特徴点に対してドロネー三角形分割を行い、当該ドロネー三角形分割が行われることにより得られたドロネー三角形のうちで、前記視野画像におけるユーザの視線位置が内部に含まれているドロネー三角形の頂点を構成する３つの視野画像の特徴点を、視線位置近傍特徴点として抽出することを特徴とする請求項１に記載の視線位置検出装置。
3. 前記対応点抽出手段により抽出された対応点の画像上の座標に基づいて、前記視野画像の点と前記視認対象画像の点とを射影変換するためのパラメータを導出し、導出したパラメータを用いて前記対応点の一方を射影変換して得られた画像上の位置と、当該対応点の他方の画像上の位置とを、前記対応点抽出手段により抽出された対応点のそれぞれについて比較し、比較した結果に基づいて、当該対応点を除去する対応点除去手段を有することを特徴とする請求項１又は２に記載の視線位置検出装置。
4. 前記対応点抽出手段は、前記視野画像特徴点抽出手段により抽出された視野画像の特徴点の特徴量と、前記視認対象画像特徴点抽出手段により抽出された視認対象画像の特徴点の特徴量との誤差を導出する導出手段と、
   前記視認対象画像特徴点抽出手段により抽出された視認対象画像の特徴点の中から、前記視野画像特徴点抽出手段により抽出された視野画像の特徴点に対し、前記導出手段により導出された誤差が最も小さくなる視認対象画像の特徴点と、該誤差が二番目に小さくなる視認対象画像の特徴点とを探索する探索手段と、
   前記誤差が最も小さくなる視認対象画像の特徴点の誤差と、前記誤差が二番目に小さくなる視認対象画像の特徴点の誤差との差が閾値よりも大きい場合に、前記視野画像の特徴点と、前記誤差が最も小さくなる視認対象画像の特徴点とを、前記対応点として抽出する抽出手段と、を更に有することを特徴とする請求項１〜３の何れか１項に記載の視線位置検出装置。
5. 前記視認対象画像特徴点抽出手段は、前記視認対象画像取得手段で取得された視認対象画像の特徴点を、SIFT（Scale-Invariant Feature Transform）によって抽出し、
   前記視野画像特徴点抽出手段は、前記視野画像取得手段により取得された視野画像の特徴点を、SIFT（Scale-Invariant Feature Transform）によって抽出することを特徴とする請求項１〜４の何れか１項に記載の視線位置検出装置。
6. ユーザが視認する対象となる領域の二次元画像である視認対象画像を取得する視認対象画像取得工程と、
   ユーザが装着している撮像手段で撮像された二次元画像である視野画像を取得する視野画像取得工程と、
   前記視認対象画像取得工程で取得された視認対象画像と、前記視野画像取得工程により取得された視野画像とを対応付ける為の、該視認対象画像中の点である特徴点を抽出する視認対象画像特徴点抽出工程と、
   前記視認対象画像取得工程で取得された視認対象画像と、前記視野画像取得工程により取得された視野画像とを対応付ける為の、該視野画像中の点である特徴点を抽出する視野画像特徴点抽出工程と、
   前記視野画像特徴点抽出工程により抽出された視野画像の特徴点と、当該視野画像の特徴点に対し特徴量が相互に対応する、前記視認対象画像特徴点抽出工程により抽出された視認対象画像の特徴点とを、対応点として抽出する対応点抽出工程と、
   前記対応点抽出工程により対応点として抽出された視野画像の特徴点から、前記視野画像取得工程により取得された視野画像におけるユーザの視線位置を内部に包含する三角形を構成する３つの特徴点を、視線位置近傍特徴点として抽出する視線位置近傍特徴点抽出工程と、
   前記視野画像におけるユーザの視線位置に対し画像上での位置が相互に対応する、前記視認対象画像における位置を、当該視認対象画像におけるユーザの視線位置として導出する視認対象画像上視線位置導出工程と、を有し、
   前記視認対象画像上視線位置導出工程は、前記３つの視線位置近傍特徴点から定まる座標系から見た場合の、前記視野画像におけるユーザの視線位置の座標と、当該３つの視線位置近傍特徴点に対応する３つの視認対象画像の特徴点から定まる座標系から見た場合に同一の座標となる位置を、前記視認対象画像におけるユーザの視線位置として導出することを特徴とする視線位置検出方法。
7. 前記視線位置近傍特徴点抽出工程は、前記対応点抽出工程により対応点として抽出された視野画像の特徴点に対してドロネー三角形分割を行い、当該ドロネー三角形分割が行われることにより得られたドロネー三角形のうちで、前記視野画像におけるユーザの視線位置が内部に含まれているドロネー三角形の頂点を構成する３つの視野画像の特徴点を、視線位置近傍特徴点として抽出することを特徴とする請求項６に記載の視線位置検出方法。
8. 前記対応点抽出工程により抽出された対応点の画像上の座標に基づいて、前記視野画像の点と前記視認対象画像の点とを射影変換するためのパラメータを導出し、導出したパラメータを用いて前記対応点の一方を射影変換して得られた画像上の位置と、当該対応点の他方の画像上の位置とを、前記対応点抽出工程により抽出された対応点のそれぞれについて比較し、比較した結果に基づいて、当該対応点を除去する対応点除去工程を有することを特徴とする請求項６又は７に記載の視線位置検出方法。
9. 前記対応点抽出工程は、前記視野画像特徴点抽出工程により抽出された視野画像の特徴点の特徴量と、前記視認対象画像特徴点抽出工程により抽出された視認対象画像の特徴点の特徴量との誤差を導出する導出工程と、
   前記視認対象画像特徴点抽出工程により抽出された視認対象画像の特徴点の中から、前記視野画像特徴点抽出工程により抽出された視野画像の特徴点に対し、前記導出工程により導出された誤差が最も小さくなる視認対象画像の特徴点と、該誤差が二番目に小さくなる視認対象画像の特徴点とを探索する探索工程と、
   前記誤差が最も小さくなる視認対象画像の特徴点の誤差と、前記誤差が二番目に小さくなる視認対象画像の特徴点の誤差との差が閾値よりも大きい場合に、前記視野画像の特徴点と、前記誤差が最も小さくなる視認対象画像の特徴点とを、前記対応点として抽出する抽出工程と、を更に有することを特徴とする請求項６〜８の何れか１項に記載の視線位置検出方法。
10. 前記視認対象画像特徴点抽出工程は、前記視認対象画像取得工程で取得された視認対象画像の特徴点を、SIFT（Scale-Invariant Feature Transform）によって抽出し、
    前記視野画像特徴点抽出工程は、前記視野画像取得工程により取得された視野画像の特徴点を、SIFT（Scale-Invariant Feature Transform）によって抽出することを特徴とする請求項６〜９の何れか１項に記載の視線位置検出方法。
11. 請求項６〜１０の何れか１項に記載の視線位置検出方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images