JP4406230B2 - 注視点検出装置、注視点検出方法 - Google Patents
注視点検出装置、注視点検出方法 Download PDFInfo
- Publication number
- JP4406230B2 JP4406230B2 JP2003208327A JP2003208327A JP4406230B2 JP 4406230 B2 JP4406230 B2 JP 4406230B2 JP 2003208327 A JP2003208327 A JP 2003208327A JP 2003208327 A JP2003208327 A JP 2003208327A JP 4406230 B2 JP4406230 B2 JP 4406230B2
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- range
- value
- gazing point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Eye Examination Apparatus (AREA)
Description
【発明の属する技術分野】
本発明は、注視点検出方法とこれに使用する検出装置に関するものであり、特に、経時的に変化する景観を目視する場合に人間が注視する注視点を検出する方法と装置に関するものである。
【0002】
【従来の技術】
従来、人間がどのように注視するかを知る方法として静止画像を被験者に注視させ2次元の注視データを得ることが行われている。
【0003】
また、一方で、経時的に変化する景観をどのように注視するかを知る方法としては、注視した対象を知るうえで基準となる静止画像が消滅してしまうため、まず、被験者に眼球方向検出装置を着けさせて、ある経時的に変化する景観を写した映像を所定時間注視させ、経時的に変化する景観を写した映像に注視点データが入力されたビデオ映像を生成し、さらに、前記経時的に変化する景観を写した映像に注視点データが入力されたビデオ映像を再生するとともに、前記生成したビデオ映像における1フレームごとの映像に対応した画像をコンピュータのモニタ上に生成し、注視点検出装置の操作者が、各フレーム毎に注視点データが入力されたビデオ映像より注視点を認識し、コンピュータのモニタ上に表示されたフレームに対応した画像上に注視点の入力を行うとともに、注視した部材の平面の入力を行い、前記注視点の入力および注視した部材の平面の入力において入力されたデータを元に3次元の注視点データを算出し、基準となる3次元の座標系においてどのように注視するかを知ろうとすることが行われている。(例えば特許文献1参照)
【0004】
【特許文献1】
特開平7−204163号
【0005】
【特許文献2】
特開平1−205277号
また、基準となる3次元の座標系において、3次元モデルの範囲内における交点を算出する方法としては、上記特許文献2に示す如く、視点位置とスクリーン上の1つの画素位置とを結ぶ直線と3次元モデルの平面との交点を検出し、検出された交点が3次元モデルの範囲内における交点であるか否かを判定することにより算出することが行われている。
【0006】
【発明が解決しようとする課題】
しかし、上記特許文献1に提案開示されている従来の方法において、3次元の注視点データを算出するためには、注視点検出装置の操作者が、前記生成した注視点データが入力されたビデオ映像より注視点を認識し、さらに、コンピュータのモニタ上の表示されたフレームに対応した画像上に注視点の入力を行うとともに、注視した部材の平面の入力を、ビデオ映像における1フレーム毎に繰り返し行わなければならない。また、3次元の注視点データを検出するには、注視点検出装置の操作者が、前記生成した注視点データが入力されたビデオ映像より注視点を認識し、さらに、コンピュータのモニタ上に表示されたフレームに対応した画像上に注視点の入力を行うとともに、注視した部材の平面の入力を、ビデオ映像における1フレーム毎に繰り返し行わなければならないため、膨大な時間を必要としていた。
【0007】
また、上記特許文献2に提案開示されている従来の方法においては、後方に存在する3次元モデルの平面との交点も有効な交点として検出するため、特に経時的に変化する景観をどのように注視するかを知ろうとする場合、実際に注視することが不可能な3次元モデルの平面との交点を注視点として検出してしまうことが起きる。
【0008】
そこで、本発明は、経時的に連続して変化する景観を目視した際の注視点の絶対座標を検出する際の時間を短縮するとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることができる注視点検出装置及び注視点検出方法を提供することを目的とするものである。
【0009】
【課題を解決するための手段】
本発明は、上記問題点を解決するために創作されたものであって、第1には、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有することを特徴とする。
【0010】
この第1の構成の注視点検出装置においては、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、後方に存在する3次元モデルの平面との交点のように、実際に注視することが不可能な3次元モデルの平面との交点を注視点として検出してしまうことなく、注視可能な交点を注視点とすることが可能となる。さらに、正射影値算出手段において、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出することにより、有効視界内判定手段と、モデル範囲内判定手段における判定基準となる視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出することが可能となり、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【0011】
また、第2には、上記第1の構成において、交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有することを特徴とする。
【0012】
この第2の構成の注視点検出装置においては、交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有するため、眼球方向検出装置により眼球方向データを取得する際に用いられる光学レンズによる眼球方向データの曲率を描くゆがみとのずれをなくすことが可能となる。
【0013】
また、第3には、上記第1又は第2の構成において、モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされていることを特徴とする。
【0014】
この第3の構成の注視点検出装置においては、モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【0015】
また、第4には、上記第1又は第2の構成において、モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされていることを特徴とする。
【0016】
この第4の構成の注視点検出装置においては、モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【0017】
また、第5には、上記第1又は第2又は第3又は第4のいずれかの構成において、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有することを特徴とする。
【0018】
この第5の構成の注視点検出装置においては、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換する際に、注視点として検出しようとする範囲を容易に変更することが可能となる。
【0019】
また、第6には、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも1つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うことを特徴とする注視点検出方法。
【0020】
この第6の構成の注視点検出方法においては、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも1つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際に時間を要することになる所定の物体の範囲内にある交点であるか否かの判定を行う前に、算出した交点が注視可能な交点であるか否かの判定を行うとともに、交点に注視点としての有効性があるか否かの判定を行うことにより、所定の物体の範囲内にある交点であるか否かの判定を行う交点を減少させ、さらに、注視点としての有効性がある交点の中で、注視点となる可能性が高い交点である正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内にある交点であるか否かを判定することで、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【0021】
【発明の実施の形態】
次に、本発明の実施例を図面を利用して説明する。
【0022】
本発明に基づく第1実施例の注視点検出装置W1の構成は、図1に示すように、入力部10と、出力部20と、モニタ30と、CPU40と、記憶媒体50aとを有している。
【0023】
上記入力部10は、必要なデータを入力する部材である。
【0024】
上記出力部20は、算出されたデータを出力する部材である。
【0025】
上記モニタ30は、必要なデータを入力する際の入力要求を表示するとともに、算出されたデータを表示する部材である。
【0026】
上記CPU40は、後述する注視点を算出するための演算を行うためのものである。
【0027】
上記記憶媒体50aは、図1に示すように、座標を変換する手段である座標変換手段60と、注視点を検出する手段である注視点検出手段70aとを有している。
【0028】
上記座標変換手段60は、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段61と、前記円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段63と、前記平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段65と、前記球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段67と、前記絶対座標変換手段67が、球面座標におけるデータを絶対座標におけるデータに変換する際に用いる座標変換行列を算出する手段である座標変換行列算出手段69とを有している。
【0029】
上記注視点検出手段70aは、経時的に変化する景観を注視した際に得られた注視点のデータを元に、視点位置を中心に設けられた球面スクリーンに投影し、得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段71と、視点位置から前記交点算出手段71が算出した交点方向へのベクトルを、視点位置から視線入射方向へのベクトルに正射影した値を各種平面において算出する手段である正射影値算出手段72と、前記交点算出手段71が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段73と、前記正射影値算出手段72により算出された正射影値の値が正の値を示すか否かを判定することにより、前記交点算出手段71が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、有効な視界内における交点であるか否かを判定する手段である有効視界内判定手段74と、物体の範囲内を注視した交点であるか否かを判定する手段であるモデル範囲内判定手段75aとを有している。
【0030】
また、上記モデル範囲内判定手段75aは、前記正射影値算出手段72において算出された視点位置から前記交点算出手段71が算出した交点方向へのベクトルを、視点位置から視線入射方向へのベクトルに正射影した値を基準に正射影値、平面番号、前記交点のX、Y、Z座標を小さい順に並べ替える手段である昇順並べ替え手段76と、前記交点算出手段71が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段79を有しており、前記昇順並べ替え手段76において昇順に並べ替えられた正射影値の順に、前記判定手段79において判定を行うようになされている。
【0031】
次に、注視点検出装置W1の動作を図2から図22を用いて説明する。
【0032】
まず、作業の選択(S110)を行う。つまり、上記モニタ30上に表示されたメッセージに従い注視点の検出を行う際の注視対象となる物体をどの物体にするかの選択を行うか、あるいは、注視点検出装置W1を用いた注視点の検出作業を終了するかの選択を行う。
【0033】
次に、終了か(S111)の判定が行われる。すなわち、上記作業の選択(S110)において、注視点検出装置W1を用いた注視点の検出作業の終了が選択されたか、そうでないかの判定が行われる。
【0034】
上記作業の選択(S110)において、注視点検出装置W1を用いた注視点の検出作業の終了が選択された場合、注視点検出装置W1を用いた注視点の検出作業が終了される。
【0035】
一方、上記作業の選択(S110)において、注視点検出装置W1を用いた注視点の検出作業の終了が選択されなかった場合、座標データの読み込み(S112)が行われる。つまり、注視対象となる物体の範囲を設定するために、絶対座標における物体の主要な各点の3次元データの読み込みが行われる。具体的には、図5において、Pで示した橋梁の主要な構造物の節点の絶対座標における3次元データの読み込みが行われる。なお、図5においてPで示した節点は、単なる例示であり、実際にはもっと多くの点の座標が読み込まれる。また、上記絶対座標は、便宜上図5に示すように、橋梁中央の下方の位置を原点として定めてある。
【0036】
次に、座標データの最大値及び最小値の算出(S113)が行われる。すなわち、上記座標データの読み込み(S112)において読み込まれた絶対座標における物体の3次元データを元に、注視対象となる物体の最大値及び最小値の算出が行われる。
【0037】
次に、平面の方程式に関するデータの読み込み(S114)が行われる。つまり、予め注視対象となる物体の面に対し仮想的な平面を設け、該仮想的な平面の方程式を算出し、該仮想的な平面の方程式に関するデータを上記記憶媒体50aに記憶させておいた平面の方程式に関するデータの読み込みが行われる。具体的には、まず、平面の総数に関するデータが読み込まれ、次に、図6に示すように、主塔の平面である平面F1、F2、ケーブルの平面である平面F3、F4、路面の平面であるF5、F6のそれぞれの平面に対し平面番号が付けられ、それぞれの平面の方程式に関するデータの読み込みが行われる。
【0038】
次に、被験者に関するデータの読み込み(S115)が行われる。すなわち、注視点検出装置W1において、各被験者の注視点データを管理するため、各被験者ごとに得られた注視点データの数の読み込みが行われる。
【0039】
次に、諸条件の設定(S116)を行う。すなわち、まず、上記モニタ30上に上記作業の選択(S110)に戻るか、そうでないかの選択を行うようメッセージが表示されるため、上記作業の選択(S110)に戻るか、そうでないかの選択をし、次に、上記モニタ30上に注視点の検出に必要なデータである0地点におけるフレームナンバー、検出開始時の先頭フレームナンバー、被験者番号、内訳項目番号、ファイル名、注視点の検出範囲のX,Y,Z座標における最大値及び最小値の入力を行う入力画面が表示されるため、上記入力部10により、注視点の検出に必要なデータである0地点におけるフレームナンバー、検出開始時の先頭フレームナンバー、被験者番号、内訳項目番号、ファイル名、注視点の検出範囲のX,Y,Z座標における最大値及び最小値の入力を行う。ここで、上記フレームナンバーとは、眼球方向検出装置により検出された眼球方向データのデータ番号のことである。また、上記0地点におけるフレームナンバーは、検出した注視点データに互換性を持たせるために便宜上設けた走行位置における任意の点である。さらに、上記検出開始時の先頭フレームナンバーは、注視点検出を開始する際の眼球方向データのデータ番号のことであり、上記被験者番号は、各被験者に対し番号を付けたものである。また、上記内訳項目番号は、上記被験者番号の被験者における注視点データが膨大になったときに分割保存し、管理できるように設けたものであり、上記ファイル名は、上記眼球方向検出装置により検出された眼球方向データのファイル名のことである。さらに、上記注視点の検出範囲のX,Y,Z座標における最大値及び最小値は、後述の検出範囲において、注視点の有効性を判定(S128)において、交点が注視点として検出する範囲に存在するか否かを判定する際のX,Y,Z座標の範囲における最大値及び最小値のことである。ここで、上記注視点の検出範囲のX,Y,Z座標における最大値及び最小値の入力が行われない場合、上記座標データの最大値及び最小値の算出(S113)において算出された注視対象となる物体の最大値及び最小値の値が、上記注視点の検出範囲のX,Y,Z座標における最大値及び最小値の値として用いられることとなる。なお、上記諸条件の設定(S116)では、上記被験者に関するデータの読み込み(S115)において読み込まれた被験者番号、内訳項目番号と同一の被験者番号、内訳項目番号が入力された場合、入力されないよう処理が行われる。
【0040】
次に、作業の選択に戻るか(S117)の判定が行われる。つまり、上記諸条件の設定(S116)において、上記作業の選択(S110)に戻る選択が行われたか、そうでない選択が行われたかの判定が行われる。
【0041】
上記諸条件の設定(S116)において、上記作業の選択(S110)に戻る選択が行われた場合、上記作業の選択(S110)に戻る処理が行われる。
【0042】
一方、上記諸条件の設定(S116)において、上記作業の選択(S110)に戻る選択が行われなかった場合、データの終端まで達したか(S118)の判定が行われる。つまり、後述の注視点データの読み込み(S121)の注視点データの読み込みにおいて、データの終端まで達したという条件を満たすまで、データの終端まで達したか(S118)からend loop(S137)までの処理が繰り返される。
【0043】
上記データの終端まで達したか(S118)の判定において、データが、データの終端まで達した場合、注視点データの保存(S138)が行われる。すなわち、上記注視点データの保存(S138)において記憶されていたデータが上記注視点検出装置W1における記憶媒体50aに記憶されることとなる。
【0044】
次に、被験者に関するデータの書き換え(S139)が行われる。すなわち、注視点検出装置W1において、各被験者の注視点データを管理するため、得られた注視点データの数の書き換えが行われる。
【0045】
一方、上記データの終端まで達したか(S118)の判定において、データが、データの終端まで達していない場合、視点位置及び視線入射方向の設定(S119)が行われる。つまり、絶対座標における視点位置のX、Y、Z座標及び視線入射方向のX、Y、Z座標の設定が行われる。ここで、上記視線入射方向は、運転者の基本姿勢において視線が向いている方向のことであり、具体的には、進行方向に対し100m先を基本姿勢において見ているものとして設定が行われる。なお、上記進行方法とは、図5、図6、図11、図12においてX軸の方向である。また、本実施例においては、X軸方向を進行方向としているが、Y軸方向、Z軸方向であっても良く、されに、進行方向は、軸方向に直線的に設定されなくてはならないものではなく曲線を描いていても良い。
【0046】
次に、座標変換行列の算出(S120)が行われる。すなわち、上記座標変換行列算出手段69により、後述する球面座標から絶対座標への変換(S126)において、球面座標から絶対座標へ変換する際に用いる座標変換行列の算出が行われる。
【0047】
次に、注視点データの読み込み(S121)が行われる。すなわち、上記眼球方向検出装置により検出された眼球方向データの読み込みが行われる。つまり、具体的には、横方向の眼球回転角度、縦方向の眼球回転角度、横方向の瞳孔径、縦方向の瞳孔径、眼球の移動速度、注視時間、瞬きの有無等のデータが読み込まれる。
【0048】
次に、瞬きしたか(S122)の判定が行われる。すなわち、上記注視点データの読み込み(S121)において読み込まれた瞬きの有無のデータが瞬きしたことを表すデータであるか否かの判定が行われる。
【0049】
上記瞬きしたか(S122)の判定において、瞬きの有無のデータが、瞬きしていたことを示す場合、次に、データの終端まで達したか(S118)の判定が行われる。
【0050】
上記瞬きしたか(S122)の判定において、瞬きの有無のデータが、瞬きしていないことを示す場合、次に、眼球方向データから円座標への変換(S123)が行われる。つまり、人間の視野角度が60度であるため、上記座標変換手段60における円座標変換手段61により、上記注視点データの読み込み(S121)において読み込まれた眼球方向データが図8に示すように視野角度の範囲Fが60度の範囲で表された円座標におけるデータに変換される。具体的には、図7に示すように、視線入射方向Eに対し、横方向の眼球回転角度αが5度、縦方向の眼球回転角度βが7度として上記眼球方向検出装置により検出され、再生したビデオ映像が表示されるスクリーンSにおいて、点Vを注視しているとすると、まず、スクリーンS上において、横方向の座標が8.74、縦方向の座標が12.27と算出される。次に、スクリーンS上の点が、スクリーンSの大きさと円座標の大きさから比を用い、図8に示すような円座標の点Qに変換され、横方向の座標が4.54度、縦方向の座標が6.38度として算出される。なお、図7におけるスクリーンの縦方向の大きさMと、スクリーンの横方向の大きさNは、被験者の眼球の位置Oからスクリーンまでの距離Lの長さにおいて、視野角度60度となるよう設定されている。
【0051】
次に、円座標から平面座標への変換(S124)が行われる。つまり、後述の平面座標から球面座標への変換(S125)において、球面座標に変換する際に、容易に変換できるように円座標から平面座標への変換が行われる。前記円座標から平面座標への変換は、まず、上記円座標におけるデータへと変換されたデータと上記円座標の原点との間の距離が算出され、次に、上記円座標におけるデータへと変換されたデータと上記円座標の原点との間の正接を上記円座標のデータへと変換されたデータにおいて、横方向と縦方向の座標のうち大となる方の座標を基準とした算出が行われる。さらに、上記眼球方向データから円座標への変換(S123)において、円座標におけるデータへと変換されたデータを上記座標変換手段60における平面座標変換手段63により、図9に示すように、X軸、Y軸方向共に角度の座標で表された平面座標におけるデータへと変換が行われる。
【0052】
具体的には、まず、図8における原点Gから上記円座標の点Qまでの距離が、横方向の座標4.54度と、縦方向の座標6.38度より、7.83と算出され、次に、上記円座標のデータへと変換されたデータにおいて、横方向と縦方向の座標のうち大となる方の座標が、縦方向と検出され、さらに、前記縦方向の座標を基準に上記円座標におけるデータへと変換されたデータと上記円座標の原点との間の正接が、0.712と算出され、算出した前記距離に前記正接と補正係数を掛け、横方向の座標が、2.89度に変換され、縦方向の座標が、上記円座標の点Qまでの距離である7.83に補正係数を掛け4.06度に変換され、図9に示す点Rとなる。
【0053】
ここで、前記において、横方向の座標が、2.89度、縦方向の座標が4.06度として算出されたことについて説明すると、後述の平面座標から球面座標への変換(S125)において、球面へ変換された際、横方向の座標と、縦方向の座標の大きい方の座標における大きい方の座標は、図10における球上の点Bから座標までの距離Tで表された円C上に存在することになるため、前記円座標から平面座標への変換(S124)において算出された大きい方の座標である縦方向の座標は、円座標と平面座標との比である補正係数を掛けることにより算出が行われている。
【0054】
また、横方向の座標と縦方向の座標のうち小さい方の座標は、図8における原点Gから上記円座標の点Qまでの角度と、図10における球上の点Bから座標までの角度が一致するよう前記正接と補正係数を掛けることにより算出が行われている。
【0055】
次に、平面座標から球面座標への変換(S125)が行われる。つまり、上記円座標から平面座標への変換(S124)において、平面座標におけるデータへと変換されたデータが、上記座標変換手段60における球面座標変換手段65により、球面座標におけるデータへと変換される。具体的には、図10の点Aに示すように、X軸方向の座標が−0.99、Y軸方向の座標が−0.05、Z軸方向の座標が−0.07となる座標へと変換される。ここで、上記球面座標への変換の仕方について説明すると、円座標から平面座標への変換(S124)において、変換された横方向の座標と、縦方向の座標を角度とし、三角関数を用いて算出し、さらに、球の半径を掛け変換が行われている。なお、前記平面座標から球面座標への変換(S125)において、球面座標への変換が行われる際、後述の平面と直線の交点を算出(S127)において直線の方程式を算出する際、容易に行えるよう負の数を掛け変換が行われている。また、前記平面座標から球面座標への変換(S125)において、球面座標への変換が行われる際の球の半径は1として行われている。
【0056】
次に、球面座標から絶対座標への変換(S126)が行われる。つまり、上記平面座標から球面座標への変換(S125)において、球面座標におけるデータへと変換されたデータが、上記座標変換手段60における絶対座標変換手段67により、絶対座標におけるデータへと変換される。ここで、前記絶対座標への変換は、上記座標変換行列の算出(S120)において算出された座標変換行列を用いてが行われる。
【0057】
次に、平面と直線の交点を算出(S127)が行われる。つまり、上記注視点検出手段70aにおける交点算出手段71により、上記球面座標から絶対座標への変換(S126)において、絶対座標におけるデータへと変換されたデータと視点位置との2点を結ぶ直線と、物体に仮想的に設けた各種平面との交点の算出が行われる。具体的には、図11に示すように、図6における主塔の平面F1との交点はP1として算出され、図6における主塔の平面F2との交点はP2として算出され、図6におけるケーブルの平面F3との交点はP3として算出され、図6におけるケーブルの平面F4との交点はP4として算出され、図6における路面の平面F5との交点はP5として算出され、図6における主塔の平面F6との交点はP6として算出される。ここで、上記平面と直線の交点を算出(S127)において、算出された各種平面との交点は仮に算出された注視点の候補ということになる。なお、前記平面と直線の交点を算出(S127)において、絶対座標におけるデータへと変換されたデータと視点位置との2点を結ぶ直線と、物体に仮想的に設けた平面が、平行となり交点を算出できない場合、該平面に対し注視点としての有効性がないことを示すフラグの設定が行われる。
【0058】
次に、検出範囲において、注視点の有効性の判定(S128)が行われる。すなわち、上記検出範囲内判定手段73により、上記平面と直線の交点を算出(S127)において算出された各種平面との交点が、上記諸条件の設定(S116)において設定された注視点の検出範囲のX,Y,Z座標における最大値及び最小値の範囲内に入っているか否かの判定が行われ、有効性のない交点は、有効性がないことを示すフラグの設定が行われる。つまり、具体的には、図11に示すように視点位置PVが橋梁中央付近に存在し、上記球面座標から絶対座標への変換(S126)において算出された絶対座標におけるデータと、視点位置PVとを結ぶ直線が、視線入射方向に対しやや右側を通る直線であった場合について説明すると、図11における交点P1、P3、P5、P6の様に、上記諸条件の設定(S116)において設定された注視点の検出範囲のX,Y,Z座標における最大値及び最小値の範囲を超えてしまっている交点は、注視点としての有効性がないと判定される。
【0059】
次に、注視位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値の算出(S129)が行われる。すなわち、上記正射影値算出手段72により、視点位置から上記平面と直線の交点を算出(S127)において算出された各種平面における交点方向へのベクトルを視点位置から上記視点位置及び視線入射方向の設定(S119)において設定した視線入射方向へのベクトルに正射影した値の算出が行われる。ここで、上記検出範囲において、注視点の有効性の判定(S128)において、注視点としての有効性がないとして判定された交点は、視点位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値が0として設定されることとなる。具体的には、注視点としての有効性がないとして判定された図11における交点P3、P4、P5は、正射影値が0として設定されることとなる。
【0060】
次に、有効視界内において、注視点の有効性を判定(S130)が行われる。つまり、上記有効視界内判定手段74により、上記視点位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値の算出(S129)において算出及び設定された正射影値が、正の値であるか否かの判定が行われ、有効性のない交点は、有効性がないことを示すフラグの設定が行われる。つまり、具体的には、図11に示すように視点位置PVが橋梁中央付近に存在し、上記球面座標から絶対座標への変換(S126)において算出された絶対座標におけるデータと、視点位置PVとを結ぶ直線が、視線入射方向に対しやや右側を通る直線であった場合について説明すると、図11における交点P1、P6の様に、視線入射方向に対して視点位置PVより後方にある交点は、上記眼球方向検出装置において検出された眼球方向データは実験の性質上走行方向に対して視点位置より後ろ側に存在する物体を注視することは不可能であるため、走行方向に対して視点位置より後ろ側に存在する注視点は、注視点としての有効性がないと判定される。
【0061】
次に、平面番号、交点のX,Y,Z座標を正射影値の値を基準にして昇順に並び替える(S131)が行われる。つまり、上記モデル範囲内判定手段75aにおける昇順並べ替え手段76により、上記視点位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値の算出(S129)において算出及び設定された正射影値を基準として、上記平面の方程式に関するデータの読み込み(S114)における読み込みの際に、各種平面に付けられた平面番号と、上記平面と直線の交点を算出(S127)において算出された交点のX,Y,Z座標を値の小さい順に並べ替えが行われるとともに、判定対象番号における平面番号の設定が行われる。なお、上記判定対象番号とは後述の判定対象番号=1,平面の総数(S132)からend loop(S137)において判定を行う順番を示す番号のことである。
【0062】
次に、判定対象番号=1,平面の総数(S132)が行われる。つまり、後述のS133からS135までの処理が、上記平面番号、交点のX,Y,Z座標を正射影値の値を基準にして昇順に並び替える(S131)において設定された判定対象番号の1番目から平面の総数番目まで繰り返される。
【0063】
次に、注視点としての有効性があるか(S133)の判定が行われる。つまり、上記判定対象番号=1,平面の総数(S132)において設定された判定対象番号における平面番号の交点が、上記検出範囲において、注視点の有効性の判定(S128)および上記有効視界内において、注視点の有効性を判定(S130)において設定されたフラグに、交点としての有効性を有しているか否かの判定が行われる。
【0064】
上記注視点としての有効性があるか(S133)の判定において、上記判定対象番号=1,平面の総数(S132)において設定された判定対象番号における平面番号の交点に、注視点としての有効性がない場合、end loop(S137)が行われ、上記判定対象番号=1,平面の総数(S132)における判定対象番号が、平面の総数番目に達するまで上記判定対象番号=1,平面の総数(S132)に処理が戻されることとなる。
【0065】
一方、上記注視点としての有効性があるか(S133)の判定において、上記判定対象番号=1,平面の総数(S132)において設定された判定対象番号における平面番号の交点に、注視点としての有効性がある場合、モデルの範囲内において注視点の有効性を判定(S134)が行われる。つまり、上記モデル範囲内判定手段75aにおける判定手段79により、上記判定対象番号=1,平面の総数(S132)において設定された判定対象番号における平面番号の交点について有効性の判定が行われる。つまり、具体的には、図12における主塔の平面との交点P2が、上記判定対象番号=1,平面の総数(S132)において設定された判定対象番号における平面番号の交点であった場合、図13に示すように、主塔左側の範囲T10と、主塔右側の範囲T20と、主塔上部の範囲T14、T16と、主塔中部の範囲T12、T18のそれぞれの範囲について交点に注視点としての有効性があるか否かの判定が行われる。ここで、上記主塔左側の範囲T10において行われる交点に注視点としての有効性があるか否かの判定について図14から図17の図面を用いて説明すると、まず、図14に示すように、主塔左側の範囲T10の左側の境界線L10より右側にある範囲E10の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図15に示すように、主塔左側の範囲T10の右側の境界線L11より左側にある範囲E11の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図16に示すように、主塔左側の範囲T10の上側の境界線L12より左下側にある範囲E12の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図17に示すように、主塔左側の範囲T10の下側の境界線L13より上側にある範囲E13の範囲内に、上記交点が存在するか否かの判定が行われる。そして、上記主塔左側の範囲T10における交点に注視点としての有効性が有るか否かの判定において、上記交点が範囲内に存在しないと判定された場合、上記主塔左側の範囲T10における交点に注視点としての有効性が有るか否かの判定同様、主塔右側の範囲T20、主塔上部の範囲T14、T16、主塔中部の範囲T12、T18といった順に交点に注視点としての有効性が有るか否かの判定が行われる。そして、上記主塔左側の範囲T10、主塔右側の範囲T20、主塔上部の範囲T14、T16、主塔中部の範囲T12、T18における交点に注視点としての有効性が有るか否かの判定において、いずれかの範囲に上記交点が存在する場合、主塔の平面との交点に注視点が存在することとなる。一方、上記交点が上記主塔左側の範囲T10、主塔右側の範囲T20、主塔上部の範囲T14、T16、主塔中部の範囲T12、T18のいずれの範囲にも存在しない場合、主塔の平面との交点に、注視点としての有効性がないとして判定される。つまり、具体的に、交点に注視点としての有効性が有ると判定される場合について説明すると、図12のように、上記主塔右側の範囲に交点が算出されている場合、上記主塔左側の範囲T10、主塔右側の範囲T20の順に判定が行われ、上記主塔右側の範囲T20において、交点に注視点としての有効性が有るか否かの判定において、上記交点が範囲内に存在すると判定され、図12における主塔の平面との交点P2に注視点が存在することとなる。なお、上記モデルの範囲内において注視点の有効性を判定(S134)においては、処理速度などを考慮し、主塔左側の範囲T10、主塔右側の範囲T20、主塔上部の範囲T14、T16、主塔中部の範囲T12、T18といった順に交点に注視点としての有効性が有るか否かの判定を行い、さらに、主塔左側の境界線L10より右側にある範囲E10の範囲内、右側の境界線L11より左側にある範囲E11の範囲内、上側の境界線L12より左下側にある範囲E12の範囲内、下側の境界線L13より上側にある範囲E13の範囲内の順に上記交点が存在するか否かの判定が行われているが、上記判定の順序は、他の順であっても良い。
【0066】
次に、有効性のある注視点が検出されたか(S135)の判定が行われる。すなわち、上記モデルの範囲内において注視点の有効性を判定(S134)において、有効性のある注視点が検出されたかの判定が行われる。
【0067】
上記有効性のある注視点が検出されたか(S135)の判定において、有効性のある注視点が検出されなかった場合、end loop(S137)が行われ、上記判定対象番号=1,平面の総数(S132)における判定対象番号が、平面の総数番目に達するまで上記判定対象番号=1,平面の総数(S132)に処理が戻されることとなる。
【0068】
一方、上記有効性のある注視点が検出されたか(S135)の判定において、有効性のある注視点が検出された場合、注視点データの記憶(S136)が行われる。つまり、算出された注視点データのX座標、Y座標、Z座標、視点位置のX座標、Y座標、Z座標、注視点の平面に関するデータが記憶されることとなる。
【0069】
そして、上記注視点データの記憶(S136)が行われた場合、或いは、上記end loop(S137)において、上記判定対象番号=1,平面の総数(S132)における判定対象番号が、平面の総数番目に達した場合、データの終端まで達したか(S118)の判定が行われることとなる。
【0070】
ここで、図12に示すように交点P1、P3、P5、P6に注視点としての有効性がなく、さらに、図12における主塔の平面との交点P2に注視点としての有効性がなかった場合について説明すると、まず、上記各種平面における交点の中で、注視点として可能性があるケーブルの平面との交点P4に関して上記判定対象番号=1,平面の総数(S132)および上記注視点としての有効性があるか(S133)が行われることとなる。そして、上記モデルの範囲内において注視点の有効性を判定(S134)においては、図18に示すように、ケーブル範囲C10と、ケーブル範囲C20と、ケーブル範囲C30と、ケーブル範囲C40のそれぞれの範囲について交点に注視点としての有効性が有るか否かの判定が行われる。ここで、上記ケーブル範囲C10において行われる交点に注視点としての有効性が有るか否かの判定について図19から図22の図面を用いて説明すると、まず、図19に示すように、ケーブル範囲C10の右側の境界線L20より左側にある範囲E20の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図20に示すように、ケーブル範囲C10の右下側の境界線L21より左上側にある範囲E21の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図21に示すように、ケーブル範囲C10の下側の境界線L22より上側にある範囲E22の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図22に示すように、ケーブル範囲C10の左上側の境界線L23より右下側にある範囲E23の範囲内に、上記交点が存在するか否かの判定が行われる。そして、上記ケーブル範囲C10における交点に注視点としての有効性が有るか否かの判定において、上記交点が範囲内に存在しないと判定された場合、上記ケーブル範囲C10における交点に注視点としての有効性が有るか否かの判定同様、ケーブル範囲C20、ケーブル範囲C30、ケーブル範囲C40といった順に交点に注視点としての有効性が有るか否かの判定が行われる。そして、上記ケーブル範囲C10、ケーブル範囲C20、ケーブル範囲C30、ケーブル範囲C40における交点に注視点としての有効性が有るか否かの判定において、いずれかの範囲に上記交点が存在する場合、ケーブルの平面との交点に注視点が存在することとなる。一方、上記交点が上記ケーブル範囲C10、ケーブル範囲C20、ケーブル範囲C30、ケーブル範囲C40のいずれの範囲にも存在しない場合、ケーブルの平面との交点は、注視点としての有効性がないとして判定される。なお、モデルの範囲内において注視点の有効性を判定(S134)においては、処理速度などを考慮し、ケーブル範囲C10、ケーブル範囲C20、ケーブル範囲C30、ケーブル範囲C40といった順に注視点の有効性の判定を行い、さらに、ケーブル範囲C10の注視点の有効性の判定においては、右側の境界線L20より左側にある範囲E20の範囲内、右下側の境界線L21より左上側にある範囲E21の範囲内、下側の境界線L22より上側にある範囲E22の範囲内、左上側の境界線L23より右下側にある範囲E23の範囲内の順に上記交点が存在するか否かの判定が行われているが、上記判定の順序は、他の順であっても良い。
【0071】
なお、上記第1実施例においては、注視対象となる物体を橋梁部材として説明したが、注視対象となる物体は他のどのような物体であっても良い。
本発明に基づく第2実施例の注視点検出装置W2の構成は、図23に示すように、入力部10と、出力部20と、モニタ30と、CPU40と、記憶媒体50bとを有している。
【0072】
上記入力部10、上記出力部20、上記モニタ30、上記CPU40は、上記第1実施例と同一であるため、説明を省略する。
【0073】
上記記憶媒体50bは、図23に示すように、座標を変換する手段である座標変換手段60と、注視点を検出する手段である注視点検出手段70bとを有している。
【0074】
上記座標変換手段60の構成は、上記第1実施例の構成と同一であるため、説明を省略する。
【0075】
上記注視点検出手段70bは、経時的に変化する景観を注視した際に得られた注視点のデータを元に、視点位置を中心に設けられた球面スクリーンに投影し、得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段71と、視点位置から前記交点算出手段71が算出した交点方向へのベクトルを、視点位置から視線入射方向へのベクトルに正射影した値を各種平面において算出する手段である正射影値算出手段72と、前記交点算出手段71が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段73と、前記正射影値算出手段72により算出された正射影値の値が正の値を示すか否かを判定することにより、前記交点算出手段71が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、有効な視界内における交点であるか否かを判定する手段である有効視界内判定手段74と、物体の範囲内を注視した交点であるか否かを判定する手段であるモデル範囲内判定手段75bとを有している。
【0076】
また、上記モデル範囲内判定手段75bは、後述の最小正射影値判定手段78において初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段77と、前記正射影値算出手段72において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段78と、前記交点算出手段71が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、物体の範囲内に存在する交点で有るか否かを判定する手段である判定手段79を有しており、前記最小正射影値判定手段78により設定された最小正射影値において前記判定手段79が物体の範囲内に存在する交点であるか否かを判定するようになされている。
【0077】
次に、注視点検出装置W2の動作を図24から図26を用いて説明する。
【0078】
第2実施例における作業の選択(S210)から有効視界内において、注視点の有効性を判定(S230)までの動作については、上記第1実施例における作業の選択(S110)から有効視界内において、注視点の有効性を判定(S130)までの動作と同一であるため、説明は省略する。
【0079】
また、第2実施例における注視点データの保存(S237)から被験者に関するデータの書き換え(S238)の動作においても上記第1実施例における注視点データの保存(S138)から被験者に関するデータの書き換え(S139)の動作と同一であるため、説明は省略する。
【0080】
上記作業の選択(S210)から有効視界内において、注視点の有効性を判定(S230)までの動作に続き、初期最小正射影値の算出(S231)が行われる。つまり、上記初期最小正射影値設定手段77により、注視点としての有効性のある交点における正射影値を初期最小正射影値として設定することが行われる。なお、この初期最小正射影値の算出(S231)の処理においては、各種平面との交点に注視点としての有効性がある交点が存在しない場合、すなわち、各種平面との交点が、検出範囲において、注視点の有効性を判定(S228)において交点が検出範囲を超え正射影値が0となり、さらに、有効視界内において、注視点の有効性を判定(S230)において、有効視界内において交点に注視点としての有効性がなく正射影値が負の値を示し、各種平面との交点に注視点としての有効性がある交点が存在しない場合、初期最小正射影値は0として設定されることとなる。
【0081】
次に、初期最小正射影値が正の値か(S232)の判定が行われる。つまり、上記初期最小正射影値の算出(S231)において算出された初期最小正射影値の値が、正の値であるか否かの判定が行われる。
【0082】
上記初期最小正射影値が正の値か(S232)の判定において、初期最小正射影値の値が、正の値でない場合、データの終端まで達したか(S218)の判定が行われることとなる。
【0083】
一方、上記初期最小正射影値が正の値か(S232)の判定において、初期最小正射影値の値が、正の値である場合、正射影値の最小値の検出および、正射影値が最小となる平面の検出(S233)が行われる。つまり、上記最小正射影値判定手段78により、正射影値の中から正射影値の値が最小となる正射影値で、かつ、注視点としての有効性のある交点を最小正射影値とする判定が行われるとともに、最小正射影値として判定された正射影値における平面の検出が行われる。なお、この正射影値の最小値の検出および、正射影値が最小となる平面の検出(S233)において、正射影値の中から正射影値の値が最小となる正射影値で、かつ、注視点としての有効性のある交点を最小正射影値として判定する際の、初期の判定基準となる最小正射影値は、上記初期最小正射影値の算出(S231)において算出された初期最小正射影値の値を用いて判定が行われる。
【0084】
次に、モデルの範囲内において注視点の有効性を判定(S234)が行われる。この第2実施例におけるモデルの範囲内において注視点の有効性を判定(S234)の動作は、上記第1実施例におけるモデルの範囲内において注視点の有効性を判定(S134)と同じ動作であるため説明を省略する。
【0085】
次に、有効性のある注視点が検出されたか(S235)の判定が行われる。すなわち、上記モデルの範囲内において注視点の有効性を判定(S234)において有効性のある注視点が検出されたか否かの判定が行われる。
【0086】
上記有効性のある注視点が検出されたか(S235)の判定において、有効性のある注視点が検出されなかった場合、上記初期最小正射影値の算出(S231)に動作が移され、新たに交点に注視点としての有効性があり、かつ、正射影値の値が最小となる交点において、モデルの範囲内における注視点の有効性の判定が行われることとなる。
【0087】
一方、上記有効性のある注視点が検出されたか(S235)の判定において、有効性のある注視点が検出された場合、注視点データの記憶(S236)が行われる。つまり、算出された注視点データのX座標、Y座標、Z座標、視点位置のX座標、Y座標、Z座標、注視点の平面に関するデータが記憶されることとなる。
【0088】
次に、データの終端まで達したか(S218)の判定に動作が移され、次の視点位置における注視点の検出が行われることとなる。
【0089】
なお、第1実施例および第2実施例における上記注視点検出装置W1、W2においては、正射影値算出手段72により、視点位置から各種平面における交点への方向性を、視点位置を基点とする視線入射方向を基準として算出するとともに、視点位置から各種平面における交点への大きさを、視点位置を基点とする視線入射方向を基準として算出しているが、視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさが算出できる方法であれば、他のどのような方法であっても良い。また、第1実施例および第2実施例における上記注視点検出装置W1、W2においては、正射影値算出手段72により、視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出しているが、視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさが算出できる方法であれば別々に算出しても良い。
【0090】
以上のように、上記注視点検出装置W1、W2によれば、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段71と、視点位置から交点算出手段71により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段72と、正射影値算出手段72により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段71により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段74と、有効視界内判定手段74により注視可能な交点であると判定された交点の中で、正射影値判定手段72により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段75a、75bとを有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、後方に存在する3次元モデルの平面との交点のように、実際に注視することが不可能な3次元モデルの平面との交点を注視点として検出してしまうことなく、注視可能な交点を注視点とすることが可能となる。さらに、正射影値算出手段72において、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出することにより、有効視界内判定手段74と、モデル範囲内判定手段75a、75bにおける判定基準となる視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出することが可能となり、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【0091】
また、上記注視点検出装置W1、W2によれば、交点算出手段71が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段61と、円座標変換手段61により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段63と、平面座標変換手段63により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段65と、球面座標変換手段65により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段67とを有するため、眼球方向検出装置により眼球方向データを取得する際に用いられる光学レンズによる眼球方向データの曲率を描くゆがみとのずれをなくすことが可能となる。
【0092】
また、上記注視点検出装置W1によれば、モデル範囲内判定手段75aが、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段76と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段79とを有しており、昇順並べ替え手段76において昇順に並び替えられた正射影値の順に、判定手段79において判定を行うようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【0093】
また、上記注視点検出装置W2によれば、モデル範囲内判定手段75bが、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段77と、正射影値算出手段72において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段78と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段79とを有しており、最小正射影値判定手段78により判定された最小正射影値において判定手段79が物体の範囲内に存在する交点であるか否かを判定するようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【0094】
また、上記注視点検出装置W1、W2によれば、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段73を有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換する際に、注視点として検出しようとする範囲を容易に変更することが可能となる。
【0095】
また、上記注視点検出装置W1、W2を用いた注視点検出方法によれば、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも1つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際に時間を要することになる所定の物体の範囲内にある交点であるか否かの判定を行う前に、算出した交点が注視可能な交点であるか否かの判定を行うとともに、交点に注視点としての有効性があるか否かの判定を行うことにより、所定の物体の範囲内にある交点であるか否かの判定を行う交点を減少させ、さらに、注視点としての有効性がある交点の中で、注視点となる可能性が高い交点である正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内にある交点であるか否かを判定することで、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【0096】
【発明の効果】
本発明に基づく請求項1に記載の注視点検出装置によれば、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、後方に存在する3次元モデルの平面との交点のように、実際に注視することが不可能な3次元モデルの平面との交点を注視点として検出してしまうことなく、注視可能な交点を注視点とすることが可能となる。さらに、正射影値算出手段において、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出することにより、有効視界内判定手段と、モデル範囲内判定手段における判定基準となる視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出することが可能となり、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【0097】
また、特に、請求項2に記載の注視点検出装置によれば、交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有するため、眼球方向検出装置により眼球方向データを取得する際に用いられる光学レンズによる眼球方向データの曲率を描くゆがみとのずれをなくすことが可能となる。
【0098】
また、特に、請求項3に記載の注視点検出装置によれば、モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【0099】
また、特に、請求項4に記載の注視点検出装置によれば、モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【0100】
また、特に、請求項5に記載の注視点検出装置によれば、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換する際に、注視点として検出しようとする範囲を容易に変更することが可能となる。
【0101】
また、特に、請求項6に記載の注視点検出方法によれば、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも1つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する2次元の注視点データを、絶対座標における3次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際に時間を要することになる所定の物体の範囲内にある交点であるか否かの判定を行う前に、算出した交点が注視可能な交点であるか否かの判定を行うとともに、交点に注視点としての有効性があるか否かの判定を行うことにより、所定の物体の範囲内にある交点であるか否かの判定を行う交点を減少させ、さらに、注視点としての有効性がある交点の中で、注視点となる可能性が高い交点である正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内にある交点であるか否かを判定することで、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1実施例に基づく注視点検出装置の構成を示すブロック図である。
【図2】本発明の第1実施例に基づく注視点検出装置の動作を説明する説明図である。
【図3】本発明の第1実施例に基づく注視点検出装置の動作を説明する説明図である。
【図4】本発明の第1実施例に基づく注視点検出装置の動作を説明する説明図である。
【図5】橋梁構造の座標の入力に使用する各点を示す説明図である。
【図6】使用される平面を示す説明図である。
【図7】再生したビデオ映像を注視した例を示す説明図である。
【図8】円座標への変換を示す説明図である。
【図9】平面座標への変換を示す説明図である。
【図10】球面座標への変換を示す説明図である。
【図11】各平面との交点を示す説明図である。
【図12】各平面との交点を示す説明図である。
【図13】主塔の詳細な範囲を示す説明図である。
【図14】主塔の詳細な範囲の判定の例を示す説明図である。
【図15】主塔の詳細な範囲の判定の例を示す説明図である。
【図16】主塔の詳細な範囲の判定の例を示す説明図である。
【図17】主塔の詳細な範囲の判定の例を示す説明図である。
【図18】ケーブルの詳細な範囲を示す説明図である。
【図19】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図20】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図21】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図22】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図23】本発明の第2実施例に基づく注視点検出装置の構成を示すブロック図である。
【図24】本発明の第2実施例に基づく注視点検出装置の動作を説明する説明図である。
【図25】本発明の第2実施例に基づく注視点検出装置の動作を説明する説明図である。
【図26】本発明の第2実施例に基づく注視点検出装置の動作を説明する説明図である。
【符号の説明】
W1、W2 注視点検出装置
61 円座標変換手段
63 平面座標変換手段
65 球面座標変換手段
67 絶対座標変換手段
71 交点算出手段
72 正射影値算出手段
73 検出範囲内判定手段
74 有効視界内判定手段
75a、75b モデル範囲内判定手段
76 昇順並べ替え手段
77 初期最小正射影値設定手段
78 最小正射影値判定手段
79 判定手段
Claims (6)
- 経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、
経時的に変化する景観を注視した際に得られた注視点のデータを元に、球面スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、
視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、
正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、
有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有することを特徴とする注視点検出装置。 - 交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、
円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、
平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、
球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有することを特徴とする請求項1に記載の注視点検出装置。 - モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、
各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、
昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされていることを特徴とする請求項1又は2に記載の注視点検出装置。 - モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、
正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、
各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、
最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされていることを特徴とする請求項1又は2に記載の注視点検出装置。 - 注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有することを特徴とする請求項1又は2又は3又は4に記載の注視点検出装置。
- 経時的に変化する景観を注視する際の注視点を検出する方法であって、
任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元に球面スクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、
視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、
正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、
注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、
所定の物体の範囲内における交点として検出された場合、交点を注視点とし、
所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、
所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、
所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも1つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うことを特徴とする注視点検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003208327A JP4406230B2 (ja) | 2003-08-22 | 2003-08-22 | 注視点検出装置、注視点検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003208327A JP4406230B2 (ja) | 2003-08-22 | 2003-08-22 | 注視点検出装置、注視点検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005065716A JP2005065716A (ja) | 2005-03-17 |
JP4406230B2 true JP4406230B2 (ja) | 2010-01-27 |
Family
ID=34401654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003208327A Expired - Fee Related JP4406230B2 (ja) | 2003-08-22 | 2003-08-22 | 注視点検出装置、注視点検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4406230B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104814717B (zh) * | 2015-04-14 | 2016-09-07 | 赵桂萍 | 一种补偿式消除变体位误差的眼震全图的检测方法和装置 |
CN109102734A (zh) * | 2018-09-04 | 2018-12-28 | 北京精英智通科技股份有限公司 | 模拟驾驶训练系统及方法 |
-
2003
- 2003-08-22 JP JP2003208327A patent/JP4406230B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005065716A (ja) | 2005-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
US10977818B2 (en) | Machine learning based model localization system | |
US7317474B2 (en) | Obstacle detection apparatus and method | |
JP6131704B2 (ja) | 連続型道路分割体の検知方法及び連続型道路分割体の検知装置 | |
JP6197388B2 (ja) | 距離測定装置、距離測定方法、およびプログラム | |
JP6955783B2 (ja) | 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品 | |
US10891795B2 (en) | Localization method and apparatus based on 3D color map | |
WO2019099408A1 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
JPWO2013133129A1 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
WO2019095735A1 (zh) | 用于车辆的信息输出方法和装置 | |
JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
US11593963B2 (en) | Single view tracking of cylindrical objects | |
WO2023273036A1 (zh) | 导航方法、装置、电子设备及可读存储介质 | |
KR20200052984A (ko) | 복수의 모델들에 근거하는 객체들의 디스플레이 | |
CN112639822B (zh) | 一种数据处理方法及装置 | |
JP4406230B2 (ja) | 注視点検出装置、注視点検出方法 | |
JP2006027481A (ja) | 物体警告装置及び物体警告方法 | |
CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP3343583B2 (ja) | 焦点光源付ステレオカメラによる3次元面形状推定方法 | |
JP2005331285A (ja) | 画像処理方法及び画像処理装置 | |
JP6563802B2 (ja) | 運送点検用ヘッドマウントディスプレイおよび運送点検用ヘッドマウントディスプレイのプログラム | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
WO2022000149A1 (zh) | 交互方法及电子设备 | |
CN110132225B (zh) | 单目斜置非共轴透镜测距装置 | |
WO2017199347A1 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090916 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151113 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |