JP4682372B2 - 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム - Google Patents
視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム Download PDFInfo
- Publication number
- JP4682372B2 JP4682372B2 JP2005103168A JP2005103168A JP4682372B2 JP 4682372 B2 JP4682372 B2 JP 4682372B2 JP 2005103168 A JP2005103168 A JP 2005103168A JP 2005103168 A JP2005103168 A JP 2005103168A JP 4682372 B2 JP4682372 B2 JP 4682372B2
- Authority
- JP
- Japan
- Prior art keywords
- center
- eyeball
- projection
- reference points
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
[ハードウェア構成]
以下、本発明の実施の形態にかかる「視線方向の検知装置」について説明する。この視線方向の検知装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。図1に、この視線方向の検知装置の外観を示す。
以下では、本発明による視線の検知方法について説明する。
以下では、まず、本発明の視線方向の検出方法を説明する前提として、ビデオ画像から眼球中心の位置を推定するための原理について説明しておく。
3次元空間上の点をベクトルXiを以下のように表す。
図4は、眼球中心、虹彩中心、および視線方向が画像面の法線とのなす角度との関係を示す概念図である。
図6は、視線検出システムの初期設定の処理のフローを説明するためのフローチャートである。
図7は、視線検出システムが実行するリアルタイム視線検出の処理のフローを説明するためのフローチャートである。
図8は、図6のステップS102におけるマーク配置の例を示す図である。
図9は、図6のステップS104で撮影するキャリブレーション用画像の例を示す図である。
以上の説明では、式(7)により、眼球中心の位置を推定するものとして説明した。ただし、眼球中心を推定する方法としては、以下のような他方法を用いることもできる。
カメラとして中心投影モデルを考えると、2枚の画像8点の対応点がわかると、(大きな物体を遠くから撮像したものと小さな物体を近くから撮像したものは区別がつかないから)スケールをのぞいて、8点の3次元座標と、2枚の画像間での物体の回転、並進移動のパラメータを計算することができる(シェイプ・フロム・モーション(Shape from Motion)の理論)。対応点が9点以上ある場合、画像が3枚以上ある場合には最小自乗法による最適な推定アルゴリズムも知られている。
カメラとして平行投影モデルを考えると、参照点を4点にして、中心投影モデルの場合と同じことが言える。ただし、平行投影モデルでは並進移動によって奥行きの情報は得られないので、回転パラメータのみを考える。
30 カメラ
40 コンピュータ本体
42 モニタ
Claims (3)
- 複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための撮影手段と、
前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された複数の較正用画像を予め取得する較正画像取得手段と、
前記撮影手段により撮影された前記対象画像領域内において前記複数の参照点の投影位置を検出し、前記複数の較正用画像内の前記参照点の投影位置に基づいて、前記人間の眼球中心の投影位置を推定する眼球中心推定手段とを備え、
前記眼球中心推定手段は、
前記複数の較正用画像内の前記複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、前記較正用画像内の前記眼球中心の投影位置を表現するための線形結合定数を算出する眼球中心表現算出手段と、
前記撮影手段により撮影された前記対象画像領域内において検出された前記複数の参照点と前記線形結合定数とにより、前記眼球中心の投影位置を推定する推定演算手段とを含み、
前記対象画像領域内において、虹彩を抽出し虹彩中心位置を算出する虹彩中心抽出手段と、
抽出された前記虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定する視線推定手段とをさらに備える、視線方向の検出装置。 - 複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影手段により撮影して準備するステップと、
前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された複数の較正用画像を予め取得するステップと、
前記複数の較正用画像内の前記複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、前記較正用画像内の前記眼球中心の投影位置を表現するための線形結合定数を算出するステップと、
前記撮影手段により撮影された前記対象画像領域内において前記複数の参照点の投影位置を検出し、前記複数の較正用画像内の前記参照点の投影位置に基づいて、前記人間の眼球中心の投影位置を推定するステップとを備え、
前記眼球中心の投影位置を推定するステップは、
前記撮影手段により撮影された前記対象画像領域内において検出された前記複数の参照点と前記線形結合定数とにより、前記眼球中心の投影位置を推定するステップを含み、
前記対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップと、
抽出された前記虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップとをさらに備える、視線方向の検出方法。 - コンピュータに、対象となる画像領域内の顔について視線方向の検出方法を実行させるためのプログラムであって、前記プログラムは、
複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影手段により撮影して準備するステップと、
前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された複数の較正用画像を予め取得するステップと、
前記複数の較正用画像内の前記複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、前記較正用画像内の前記眼球中心の投影位置を表現するための線形結合定数を算出するステップと、
前記撮影手段により撮影された前記対象画像領域内において前記複数の参照点の投影位置を検出し、前記複数の較正用画像内の前記参照点の投影位置に基づいて、前記人間の眼球中心の投影位置を推定するステップとを備え、
前記眼球中心の投影位置を推定するステップは、
前記撮影手段により撮影された前記対象画像領域内において検出された前記複数の参照点と前記線形結合定数とにより、前記眼球中心の投影位置を推定するステップを含み、
前記対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップと、
抽出された前記虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップとをさらに備える、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005103168A JP4682372B2 (ja) | 2005-03-31 | 2005-03-31 | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005103168A JP4682372B2 (ja) | 2005-03-31 | 2005-03-31 | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006285531A JP2006285531A (ja) | 2006-10-19 |
JP4682372B2 true JP4682372B2 (ja) | 2011-05-11 |
Family
ID=37407409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005103168A Expired - Fee Related JP4682372B2 (ja) | 2005-03-31 | 2005-03-31 | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4682372B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4692526B2 (ja) * | 2006-07-18 | 2011-06-01 | 株式会社国際電気通信基礎技術研究所 | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2008186075A (ja) * | 2007-01-26 | 2008-08-14 | Advanced Telecommunication Research Institute International | インタラクティブ画像表示装置 |
JP5688514B2 (ja) * | 2011-03-31 | 2015-03-25 | 株式会社国際電気通信基礎技術研究所 | 視線計測システム、方法およびプログラム |
JP6483715B2 (ja) * | 2014-02-04 | 2019-03-13 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ハフプロセッサ |
CN105930821B (zh) * | 2016-05-10 | 2024-02-02 | 上海青研科技有限公司 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
JP7220905B2 (ja) * | 2019-03-04 | 2023-02-13 | 学校法人帝京大学 | 眼球運動解析システム、眼球運動解析方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004504684A (ja) * | 2000-07-24 | 2004-02-12 | シーイング・マシーンズ・プロプライエタリー・リミテッド | 顔画像処理システム |
JP2005066358A (ja) * | 2004-10-29 | 2005-03-17 | Arei Kk | 計測装置およびその方法 |
-
2005
- 2005-03-31 JP JP2005103168A patent/JP4682372B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004504684A (ja) * | 2000-07-24 | 2004-02-12 | シーイング・マシーンズ・プロプライエタリー・リミテッド | 顔画像処理システム |
JP2005066358A (ja) * | 2004-10-29 | 2005-03-17 | Arei Kk | 計測装置およびその方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2006285531A (ja) | 2006-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4692526B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
US11126016B2 (en) | Method and device for determining parameters for spectacle fitting | |
JP4936491B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
Nishino et al. | The world in an eye [eye image interpretation] | |
US20180336737A1 (en) | Systems and methods for determining the scale of human anatomy from images | |
Nishino et al. | Corneal imaging system: Environment from eyes | |
EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
EP1833004B1 (en) | Apparatus for detecting feature point and method of detecting feature point | |
US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
CN110913751B (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪系统 | |
Hennessey et al. | Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions | |
US20160202756A1 (en) | Gaze tracking via eye gaze model | |
US8369625B2 (en) | Method for grouping 3D models to classify constitution | |
US20160166145A1 (en) | Method for determining ocular measurements using a consumer sensor | |
CN113808160B (zh) | 视线方向追踪方法和装置 | |
JP5828167B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
US9110312B2 (en) | Measurement method and equipment for the customization and mounting of corrective ophthalmic lenses | |
JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
JP6191943B2 (ja) | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム | |
US20200393896A1 (en) | System and method for gaze estimation | |
JP2017194301A (ja) | 顔形状測定装置及び方法 | |
JPH0351407B2 (ja) | ||
TWI557601B (zh) | 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體 | |
JP2020140630A (ja) | 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体 | |
KR20230085901A (ko) | 탈모 상태 정보 제공 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4682372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |