JP6972393B2 - 注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム - Google Patents
注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム Download PDFInfo
- Publication number
- JP6972393B2 JP6972393B2 JP2020567668A JP2020567668A JP6972393B2 JP 6972393 B2 JP6972393 B2 JP 6972393B2 JP 2020567668 A JP2020567668 A JP 2020567668A JP 2020567668 A JP2020567668 A JP 2020567668A JP 6972393 B2 JP6972393 B2 JP 6972393B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- eyeball
- coordinates
- coordinate
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/08—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
- A61B3/085—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus for testing strabismus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Developmental Disabilities (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Description
本発明は、注意力判定装置、注意力判定システム、注意力判定方法、およびプログラムに関する。
人の顔画像から飛越眼球運動を検出し、検出された飛越眼球運動の発生頻度に基づいて、その人の注意力レベル(単に「注意力」とも称する)を判定する情報提示装置が提案されている(例えば、特許文献1)。
特許文献1に記載の情報提示装置は、高速な眼球運動であるサッカードを検出し、検出されたサッカードの発生頻度に基づき、操作者の注意力レベルを判定する。しかしながら、サッカードのような高速な眼球運動を撮影するためには、高フレームレートで撮影が可能なカメラが必要である。その結果、情報提示装置のコストが増加する。
本発明は、上述の問題を解決するためになされたものであり、低フレームレートで撮影された画像を用いて人の注意力を判定することを目的とする。
本発明の一態様に係る注意力判定装置は、
撮影された、人の第1の眼球および第2の眼球を含む画像を用いる注意力判定装置であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影された画像内に設定し、前記第1の眼球の瞳孔の前記画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記画像内における座標である第2の瞳孔座標を算出し、前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力する画像処理部と、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出する瞳孔距離算出部と、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を有する。
本発明の他の態様に係る注意力判定装置は、
撮影された、人の第1の眼球および第2の眼球を含む画像を用いる注意力判定装置であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影された画像内に設定し、前記第1の眼球の瞳孔の前記画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記画像内における座標である第2の瞳孔座標を算出し、前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力する画像処理部と、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出する瞳孔距離算出部と、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、正規化された値を瞳孔距離補正値として出力する瞳孔距離補正部と、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を有する。
撮影された、人の第1の眼球および第2の眼球を含む画像を用いる注意力判定装置であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影された画像内に設定し、前記第1の眼球の瞳孔の前記画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記画像内における座標である第2の瞳孔座標を算出し、前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力する画像処理部と、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出する瞳孔距離算出部と、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を有する。
本発明の他の態様に係る注意力判定装置は、
撮影された、人の第1の眼球および第2の眼球を含む画像を用いる注意力判定装置であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影された画像内に設定し、前記第1の眼球の瞳孔の前記画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記画像内における座標である第2の瞳孔座標を算出し、前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力する画像処理部と、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出する瞳孔距離算出部と、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、正規化された値を瞳孔距離補正値として出力する瞳孔距離補正部と、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を有する。
本発明の他の態様に係る注意力判定システムは、前記注意力判定装置を有する。
本発明の他の態様に係る注意力判定方法は、
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係る注意力判定方法は、
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係る注意力判定方法は、
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係るプログラムは、
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係るプログラムは、
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係るプログラムは、
人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明によれば、低フレームレートで撮影された画像を用いて人の注意力を判定することができる。
実施の形態1.
図1は、本発明の実施の形態1に係る注意力判定システム101の構成を概略的に示すブロック図である。
注意力判定システム101は、撮像部10と、撮像部10によって撮影された人Hの第1の眼球S1および第2の眼球S2を含む画像を用いる注意力判定装置100とを有する。
注意力判定装置100は、画像処理部20と、瞳孔距離算出部30と、斜位検出部40と、注意力判定部50とを有する。注意力判定装置100は、第1の眼球S1および第2の眼球S2を含む画像を用いて人Hの注意力を判定する。注意力判定装置100は、さらに出力装置70を有してもよい。
図1は、本発明の実施の形態1に係る注意力判定システム101の構成を概略的に示すブロック図である。
注意力判定システム101は、撮像部10と、撮像部10によって撮影された人Hの第1の眼球S1および第2の眼球S2を含む画像を用いる注意力判定装置100とを有する。
注意力判定装置100は、画像処理部20と、瞳孔距離算出部30と、斜位検出部40と、注意力判定部50とを有する。注意力判定装置100は、第1の眼球S1および第2の眼球S2を含む画像を用いて人Hの注意力を判定する。注意力判定装置100は、さらに出力装置70を有してもよい。
撮像部10によって撮影される画像は、例えば、人Hの顔を含む画像である。撮像部10は、少なくとも人Hの第1の眼球S1および第2の眼球S2を含む画像を撮影する。すなわち、撮像部10によって撮影される人Hの顔を含む画像は、少なくとも人Hの第1の眼球S1および第2の眼球S2を含む画像である。本実施の形態では、第1の眼球S1は、人Hの右眼であり、第2の眼球S2は、人Hの左眼である。撮像部10によって撮影される画像は、静止画または動画でもよい。
通常、撮像部10は、人Hの第1の眼球S1、第2の眼球S2、および鼻S3を含む画像を撮影する。この場合、撮像部10によって撮影される人Hの顔を含む画像は、人Hの第1の眼球S1、第2の眼球S2、および鼻S3を含む画像である。
第1の眼球S1および第2の眼球S2は、注意力判定部50によって判定される対象である。
撮像部10によって撮影された画像を「撮影画像A1」と称する。撮像部10は、撮影画像A1を出力する。本実施の形態では、撮像部10は、人Hの顔を含む画像を周期的または連続的に撮影し、撮影画像A1を周期的または連続的に出力する。
撮像部10は、撮影画像A1を記憶するメモリを有してもよい。この場合、撮像部10は、撮影画像A1をメモリに記憶することができ、メモリに記憶された撮影画像A1を出力することができる。
撮像部10から出力された撮影画像A1は、画像処理部20に入力される。
図2は、上述の注意力判定システム101における人Hの注意力を判定する注意力判定方法の工程の一例を示すフローチャートである。
ステップST1では、第1の眼球S1についての第1の基準座標と第2の眼球S2についての第2の基準座標とが撮影画像A1内に設定される。
ステップST2では、第1の眼球S1の瞳孔24(第1の瞳孔または右瞳孔とも称する)の撮影画像A1内における座標である第1の瞳孔座標および第2の眼球S2の瞳孔25(第2の瞳孔または左瞳孔とも称する)の撮影画像A1内における座標である第2の瞳孔座標が算出される。
ステップST3では、第1の基準座標、第2の基準座標、第1の瞳孔座標、および第2の瞳孔座標が出力される。
ステップST4では、第1の基準座標に対する第1の瞳孔座標の少なくとも1つの位置成分と、第2の基準座標に対する第2の瞳孔座標の少なくとも1つの位置成分とが算出される。
ステップST5では、第1の瞳孔座標の少なくとも1つの位置成分と第2の瞳孔座標の少なくとも1つの位置成分とを用いて第1の眼球S1および第2の眼球S2の状態を示す斜位検出結果が出力される。
ステップST6では、斜位検出結果に応じて人Hの注意力が判定される。
ステップST7では、注意力状態E1が出力される。
以下に、上述の注意力判定方法を具体的に説明する。
画像処理部20は、撮影画像A1を取得する。画像処理部20は、撮影画像A1を用いて出力座標B1を生成し、生成された出力座標B1を出力する。出力座標B1は、画像処理部20によって算出された少なくとも1つの座標を含むデータである。出力座標B1は、例えば、少なくとも1つの基準座標、第1の瞳孔座標Re(右瞳孔座標とも称する)、および第2の瞳孔座標Le(左瞳孔座標とも称する)を含む。出力座標B1は、さらに、鼻座標Ntなどの他の座標を含んでもよい。
図3は、人Hの第1の眼球S1、第2の眼球S2、および鼻S3の位置と、撮影画像A1内におけるこれらの要素の位置との間の対応関係を示す図である。
図3に示される直交座標系において、x軸方向(x軸)は、撮影画像A1内の横方向を示し、y軸方向(y軸)は、撮影画像A1内のx軸方向に直交する方向、すなわち、縦方向を示す。
図3に示される直交座標系において、x軸方向(x軸)は、撮影画像A1内の横方向を示し、y軸方向(y軸)は、撮影画像A1内のx軸方向に直交する方向、すなわち、縦方向を示す。
ステップST1では、画像処理部20は、撮影された画像(すなわち、撮影画像A1)内に少なくとも1つの基準座標を設定する。本実施の形態では、第1の眼球S1についての基準座標(第1の基準座標とも称する)と、第2の眼球S2についての基準座標(第2の基準座標とも称する)とを撮影画像A1内に設定する。
本実施の形態では、画像処理部20は、第1の眼球S1についての基準座標として第1の眼球S1の目頭26の座標を選択し、第1の眼球S1についての基準座標を第1の目頭座標Rcに設定する。同様に、画像処理部20は、第2の眼球S2についての基準座標として第2の眼球S2の目頭27の座標を選択し、第2の眼球S2についての基準座標を第2の目頭座標Lcに設定する。
本実施の形態では、第1の眼球S1についての基準座標として第1の目頭座標Rcを用いるが、他の座標を第1の眼球S1についての基準座標として用いてもよい。同様に、第2の眼球S2についての基準座標として第2の目頭座標Lcを用いるが、他の座標を第2の眼球S2についての基準座標として用いてもよい。第1の眼球S1および第2の眼球S2についての基準座標として同じ座標を用いてもよい。
第1の目頭座標Rcは、第1の眼球S1の目頭26の撮影画像A1内における座標であり、第2の目頭座標Lcは、第2の眼球S2の目頭27の撮影画像A1内における座標である。
第1の目頭座標Rcは、例えば、座標(Rcx,Rcy)で表され、第2の目頭座標Lcは、例えば、座標(Lcx,Lcy)で表される。Rcxは、目頭26のx座標、すなわち、x軸における目頭26の位置を示す。Rcyは、目頭26のy座標、すなわち、y軸における目頭26の位置を示す。Lcxは、目頭27のx座標、すなわち、x軸における目頭27の位置を示す。Lcyは、目頭27のy座標、すなわち、y軸における目頭27の位置を示す。
ステップST2では、画像処理部20は、第1の瞳孔座標Reおよび第2の瞳孔座標Leを算出する。第1の瞳孔座標Reは、第1の眼球S1の瞳孔24の撮影画像A1内における座標である。第2の瞳孔座標Leは、第2の眼球S2の瞳孔25の撮影画像A1内における座標である。鼻座標Ntは、撮影画像A1内における鼻S3の鼻先端28の座標である。鼻先端28は、鼻S3のy軸方向における先端部である。
第1の瞳孔座標Reは、例えば、座標(Rex,Rey)で表され、第2の瞳孔座標Leは、例えば、座標(Lex,Ley)で表され、鼻座標Ntは、例えば、座標(Ntx、Nty)で表される。Rexは、瞳孔24のx座標、すなわち、x軸における瞳孔24の位置を示す。Reyは、瞳孔24のy座標、すなわち、y軸における瞳孔24の位置を示す。Lexは、瞳孔25のx座標、すなわち、x軸における瞳孔25の位置を示す。Leyは、瞳孔25のy座標、すなわち、y軸における瞳孔25の位置を示す。Ntxは、鼻先端28のx座標、すなわち、x軸における鼻先端28の位置を示す。Ntyは、鼻先端28のy座標、すなわち、y軸における鼻先端28の位置を示す。
ステップST3では、画像処理部20は、少なくとも1つの瞳孔座標および少なくとも1つの基準座標を、出力座標B1として出力する。本実施の形態では、画像処理部20は、第1の瞳孔座標Re、第2の瞳孔座標Le、第1の基準座標、および第2の基準座標を出力する。
例えば、画像処理部20が第1の基準座標としての第1の目頭座標Rcと第2の基準座標としての第2の目頭座標Lcを設定した場合、画像処理部20は、第1の瞳孔座標Re、第2の瞳孔座標Le、第1の目頭座標Rc、および第2の目頭座標Lcを出力座標B1として出力する。この場合、出力座標B1は、例えば、1次元配列(すなわち、B1=[Rex,Rey,Lex,Ley,Rcx,Rcy,Lcx,Lcy])として表される。
図4は、瞳孔距離の算出方法を示す図である。
出力座標B1は、瞳孔距離算出部30に入力される。瞳孔距離算出部30は、出力座標B1を用いて、瞳孔距離31(第1の瞳孔距離とも称する)、瞳孔距離32(第2の瞳孔距離とも称する)、瞳孔距離33(第3の瞳孔距離とも称する)、瞳孔距離34(第4の瞳孔距離とも称する)、瞳孔距離35(第5の瞳孔距離とも称する)、および瞳孔距離36(第6の瞳孔距離とも称する)を算出する。
出力座標B1は、瞳孔距離算出部30に入力される。瞳孔距離算出部30は、出力座標B1を用いて、瞳孔距離31(第1の瞳孔距離とも称する)、瞳孔距離32(第2の瞳孔距離とも称する)、瞳孔距離33(第3の瞳孔距離とも称する)、瞳孔距離34(第4の瞳孔距離とも称する)、瞳孔距離35(第5の瞳孔距離とも称する)、および瞳孔距離36(第6の瞳孔距離とも称する)を算出する。
瞳孔距離算出部30は、瞳孔距離31,32,33,34,35,および36を周期的に算出する。これにより、瞳孔距離算出部30において時系列データが算出される。
具体的には、瞳孔距離算出部30は、撮影画像A1内の第1の基準座標に対する第1の瞳孔座標Reの少なくとも1つの位置成分と、撮影画像A1内の第2の基準座標に対する第2の瞳孔座標Leの少なくとも1つの位置成分とを周期的に算出する。本実施の形態では、第1の瞳孔座標Reの位置成分は、瞳孔距離31,33,および35であり、第2の瞳孔座標Leの位置成分は、瞳孔距離32,34,および36である。
瞳孔距離31は、第1の基準位置から瞳孔24までの距離である。撮影画像A1内では、瞳孔距離31は、第1の基準座標としての第1の目頭座標Rcから第1の瞳孔座標Reまでの距離である。本実施の形態では、撮影画像A1内の第1の目頭座標Rcから第1の瞳孔座標Reまでの距離をRとする。
瞳孔距離32は、第2の基準位置から瞳孔25までの距離である。撮影画像A1内では、瞳孔距離32は、第2の基準座標としての第2の目頭座標Lcから第2の瞳孔座標Leまでの距離である。本実施の形態では、撮影画像A1内の第2の目頭座標Lcから第2の瞳孔座標Leまでの距離をLとする。
瞳孔距離33は、横方向における第1の基準位置から瞳孔24までの距離である。撮影画像A1内では、瞳孔距離33は、撮影画像A1内の横方向における第1の基準座標としての第1の目頭座標Rcから第1の瞳孔座標Reまでの距離である。本実施の形態では、撮影画像A1内の横方向における第1の目頭座標Rcから第1の瞳孔座標Reまでの距離をRhとする。
瞳孔距離34は、横方向における第2の基準位置から瞳孔25までの距離である。撮影画像A1内では、瞳孔距離34は、撮影画像A1内の横方向における第2の基準座標としての第2の目頭座標Lcから第2の瞳孔座標Leまでの距離である。本実施の形態では、撮影画像A1内の横方向における第2の目頭座標Lcから第2の瞳孔座標Leまでの距離をLhとする。
瞳孔距離35は、縦方向における、第1の基準位置から瞳孔24までの距離である。撮影画像A1内では、瞳孔距離35は、撮影画像A1内の縦方向における第1の基準座標としての第1の目頭座標Rcから第1の瞳孔座標Reまでの距離である。本実施の形態では、撮影画像A1内の縦方向における第1の目頭座標Rcから第1の瞳孔座標Reまでの距離をRvとする。
瞳孔距離36は、縦方向における、第2の基準位置から瞳孔25までの距離である。撮影画像A1内では、瞳孔距離36は、撮影画像A1内の縦方向における第2の基準座標としての第2の目頭座標Lcから第2の瞳孔座標Leまでの距離である。本実施の形態では、撮影画像A1内の縦方向における第2の目頭座標Lcから第2の瞳孔座標Leまでの距離をLvとする。
画像処理部20が、第1の基準座標および第2の基準座標として第1の目頭座標Rcおよび第2の目頭座標Lcをそれぞれ選択した場合、距離Rhは、|Rcx−Rex|で表され、距離Lhは、|Lcx−Lex|で表され、距離Rvは、|Rcy−Rey|で表され、距離Lvは、|Lcy−Ley|で表される。
ステップST4では、瞳孔距離算出部30は、算出された距離Rh,Lh,Rv,Lv,R,およびLを瞳孔距離出力C1として出力する。瞳孔距離出力C1は、例えば、1次元配列(すなわち、C1=[Rh,Lh,Rv,Lv,R,L])として表される。
瞳孔距離出力C1は、斜位検出部40に入力される。斜位検出部40は、第1の瞳孔座標Reの少なくとも1つの位置成分と第2の瞳孔座標Leの少なくとも1つの位置成分とを用いて予め定められた期間における、瞳孔24の位置の変動と瞳孔25の位置の変動とを算出する。さらに、斜位検出部40は、瞳孔24の位置の変動および瞳孔25の位置の変動の算出結果を用いて人Hの眼球運動を判定する。
すなわち、斜位検出部40は、時系列データとしての瞳孔距離出力C1の成分の変動を用いて、人Hの眼球運動を判定する。瞳孔距離出力C1の成分は、距離Rh,Lh,Rv,Lv,R,およびLである。
具体的には、斜位検出部40は、瞳孔距離出力C1の成分の変動を用いて、人Hの両眼の状態が、人Hの両眼の眼球運動(両眼球運動状態とも称する)か片眼の眼球運動(例えば、斜位状態)かを判定する。例えば、瞳孔24の位置の変動および瞳孔25の位置の変動の両方が閾値以上または閾値以下であるとき、斜位検出部40は、人Hの両眼の状態が両眼球運動状態であると判定する。一方、瞳孔24の位置の変動および瞳孔25の位置の変動の一方が閾値以上であり、他方が閾値より小さいとき、斜位検出部40は、第1の眼球S1および第2の眼球S2の一方が斜位状態(すなわち、眼位ずれ)であると判定する。斜位検出部40が用いる閾値は1個の閾値でもよく2個以上の閾値でもよい。
瞳孔距離出力C1の成分の変動は、例えば、分散で示される。
斜位検出部40が両眼球運動状態か斜位状態かを判定するので、その判定結果に応じて人Hの注意力を判定することができる。
図5(A)から図5(D)は、人Hの両眼の眼球運動(すなわち、両眼球運動状態)の例を示す図である。
図5(A)は、固視状態を示す。固視状態は、左右の眼球が固定された状態であり、人Hが視対象を注視している状態である。
図5(A)は、固視状態を示す。固視状態は、左右の眼球が固定された状態であり、人Hが視対象を注視している状態である。
図5(B)は、横方向における視線移動状態を示す図である。
例えば、距離Rhが増加し、距離Lhが減少したとき、人Hの視線は右を向いていると判定される。一方、距離Rhが減少し、距離Lhが増加したとき、人Hの視線は左を向いていると判定される。
例えば、距離Rhが増加し、距離Lhが減少したとき、人Hの視線は右を向いていると判定される。一方、距離Rhが減少し、距離Lhが増加したとき、人Hの視線は左を向いていると判定される。
図5(C)は、縦方向における視線移動状態を示す図である。
例えば、距離Rvおよび距離Lvが増加するとき、人Hの視線は上を向いていると判定される。一方、距離Rvおよび距離Lvが増加するとき、人Hの視線は下を向いていると判定される。距離Rおよび距離Lが増加するとき、人Hの視線は斜めを向いていると判定される。
例えば、距離Rvおよび距離Lvが増加するとき、人Hの視線は上を向いていると判定される。一方、距離Rvおよび距離Lvが増加するとき、人Hの視線は下を向いていると判定される。距離Rおよび距離Lが増加するとき、人Hの視線は斜めを向いていると判定される。
図5(D)は、輻輳運動状態を示す図である。
輻輳運動は、両眼を鼻側に寄せる運動である。すなわち、輻輳運動状態は、人Hの両眼が輻輳運動を行っている状態である。例えば、距離Rhおよび距離Lhが減少するとき、人Hの両眼の状態は、輻輳運動状態であると判定される。
輻輳運動は、両眼を鼻側に寄せる運動である。すなわち、輻輳運動状態は、人Hの両眼が輻輳運動を行っている状態である。例えば、距離Rhおよび距離Lhが減少するとき、人Hの両眼の状態は、輻輳運動状態であると判定される。
人Hの両眼の眼球運動は、図5(A)から図5(D)に示される例に限られない。例えば、距離Rhおよび距離Lhが増加するとき、人Hの両眼が開散運動を行っていると判定される。開散運動は、両眼を耳側に寄せる運動である。
図6(A)から図6(D)は、人Hの片眼の眼球運動、具体的には、斜位状態の例を示す図である。
一般に、人の眼位として、例えば、両眼視の眼位、融像除去眼位、生理学的安静位、および絶対的安静位がある。両眼視の眼位では、外眼筋および内眼筋を緊張させて両眼視機能が働く。融像除去眼位では、左右の眼球に入力される像を融像するための融像性輻輳を除去する。生理学的安静位は、例えば、深い睡眠下に見られ、眼筋の刺激を受ける状態が最小限になる。絶対的安静位は、例えば、死後に見られ、眼筋があらゆる刺激から解放される。
一般に、人の眼位として、例えば、両眼視の眼位、融像除去眼位、生理学的安静位、および絶対的安静位がある。両眼視の眼位では、外眼筋および内眼筋を緊張させて両眼視機能が働く。融像除去眼位では、左右の眼球に入力される像を融像するための融像性輻輳を除去する。生理学的安静位は、例えば、深い睡眠下に見られ、眼筋の刺激を受ける状態が最小限になる。絶対的安静位は、例えば、死後に見られ、眼筋があらゆる刺激から解放される。
斜位とは、通常は眼筋を緊張させて両眼視機能を有しているが、潜在的に融像除去眼位を有することであり、眼筋の緊張が不十分になった場合に一時的に融像除去眼位に近づく状態のことである。両眼視機能が働いている状態から融像性輻輳が失われていくと、片眼に斜位として眼位ずれが見られるようになり、視線の方向は人により異なる。
例えば、距離Rの分散値である分散値σrが閾値Tr未満であり且つ距離Lの分散値である分散値σlがTl以上であるとき、斜位検出部40は、人H(すなわち、第1の眼球S1および第2の眼球S2)が図6(A)から図6(D)に示される斜位状態の一つであると判定することができる。
図6(A)は、外斜位状態を示す。外斜位状態は、第1の眼球S1の瞳孔および第2の眼球S2の瞳孔の一方が耳側に寄っている状態である。例えば、図6(A)に示されるように、距離Rhが一定であり距離Lhが増加するとき、第1の眼球S1および第2の眼球S2は、外斜位状態であると判定される。同様に、距離Rhが増加し距離Lhが一定であるとき、第1の眼球S1および第2の眼球S2は、外斜位状態であると判定される。
図6(B)は、内斜位状態を示す。内斜位状態は、第1の眼球S1の瞳孔および第2の眼球S2の瞳孔の一方が鼻側に寄っている状態である。例えば、図6(B)に示されるように、距離Rhが一定であり距離Lhが減少するとき、第1の眼球S1および第2の眼球S2は、内斜位状態であると判定される。同様に、距離Rhが減少し距離Lhが一定であるとき、第1の眼球S1および第2の眼球S2は、内斜位状態であると判定される。
図6(C)は、上斜位状態を示す。上斜位状態は、第1の眼球S1の瞳孔および第2の眼球S2の瞳孔の一方が上側に寄っている状態である。例えば、図6(C)に示されるように、距離Rvが一定であり距離Lvが増加するとき、第1の眼球S1および第2の眼球S2は、上斜位状態であると判定される。同様に、距離Rvが増加し距離Lvが一定であるとき、第1の眼球S1および第2の眼球S2は、上斜位状態であると判定される。
図6(D)は、下斜位状態を示す。下斜位状態は、第1の眼球S1の瞳孔および第2の眼球S2の瞳孔の一方が下側に寄っている状態である。例えば、図6(D)に示されるように、距離Rvが一定であり距離Lvが減少するとき、第1の眼球S1および第2の眼球S2は、下斜位状態であると判定される。同様に、距離Rvが減少し距離Lvが一定であるとき、第1の眼球S1および第2の眼球S2は、下斜位状態であると判定される。
斜位状態は、図6(A)から図6(D)に示される例に限定されない。例えば、外斜位状態および内斜位状態の一方と上斜位状態および下斜位状態の一方とが同時に生じているとき、第1の眼球S1および第2の眼球S2は、斜め方向の斜位であると判定される。
斜位検出部40が人Hの両眼の状態を判定する場合、斜位検出部40は、例えば、時系列データを用いて、瞳孔距離出力C1に含まれる各成分の分散値σrh,σlh,σrv,σlv,σr,およびσlを算出する。この場合、時系列データは、斜位検出部40に周期的に入力される瞳孔距離出力C1である。
分散値σrhは、予め定められた期間内に斜位検出部40に入力された距離Rhの分散値である。分散値σlhは、予め定められた期間内に斜位検出部40に入力された距離Lhの分散値である。分散値σrvは、予め定められた期間内に斜位検出部40に入力された距離Rvの分散値である。分散値σlvは、予め定められた期間内に斜位検出部40に入力された距離Lvの分散値である。分散値σrは、予め定められた期間内に斜位検出部40に入力された距離Rの分散値である。分散値σlは、予め定められた期間内に斜位検出部40に入力された距離Lの分散値である。
斜位検出部40は、各成分の分散値と、その分散値に対応する予め定められた閾値(「変動閾値」とも称する)とを比較する。
分散値σrhに対応する閾値は、閾値Trhである。分散値σlhに対応する閾値は、閾値Tlhである。分散値σrvに対応する閾値は、閾値Trvである。分散値σlvに対応する閾値は、閾値Tlvである。分散値σrに対応する閾値は、閾値Trである。分散値σlに対応する閾値は、閾値Tlである。
閾値Trh,Tlh,Trv,Tlv,Tr,およびTlの各々は、予め定められた値である。例えば、各閾値として、予め定められた期間における瞳孔距離出力C1に含まれる各成分の分散値を用いてもよく、固視状態における時系列データから得られる分散値に重みを与えて得られる値を用いてもよい。
例えば、斜位検出部40は、第1の眼球S1についてのデータが第1の条件(すなわち、σrh<Trh、σrv<Trv、且つσr<Tr)を満たすか判定し、第2の眼球S2についてのデータが第2の条件(すなわち、σlh<Tlh、σlv<Tlv、且つσl<Tl)を満たすか判定する。
第1の条件(すなわち、σrh<Trh、σrv<Trv、且つσr<Tr)の場合、斜位検出部40は、人Hの第1の眼球S1が固視状態であると判定する。
一方、第1の条件を満たさない場合、斜位検出部40は、人Hの第1の眼球S1が固視状態ではないと判定する。すなわち、斜位検出部40は、第1の眼球S1がいずれかの方向に運動していると判定する。
第2の条件(すなわち、σlh<Tlh、σlv<Tlv、且つσl<Tl)の場合、斜位検出部40は、人Hの第2の眼球S2が固視状態であると判定する。
一方、第2の条件を満たさない場合、斜位検出部40は、人Hの第1の眼球S1が固視状態ではないと判定する。すなわち、斜位検出部40は、第2の眼球S2がいずれかの方向に運動していると判定する。
第1の眼球S1および第2の眼球S2についてのデータが第1の条件および第2の条件の両方を満たさないとき、斜位検出部40は、第1の眼球S1および第2の眼球S2が、上下方向への視線移動、左右方向への視線移動、輻輳運動、または開散運動などの両眼球運動を行っていると判定する。言い換えると、第1の眼球S1および第2の眼球S2についてのデータが第1の条件および第2の条件の両方を満たさないとき、斜位検出部40は、第1の眼球S1および第2の眼球S2の状態が、両眼球運動状態であると判定する。
第1の眼球S1および第2の眼球S2についてのデータが第1の条件および第2の条件のうちの一方のみを満たすとき、斜位検出部40は、人Hの片眼における眼位のずれが生じていると判定する。この場合、斜位検出部40は、人Hの状態は、斜位状態であると判定する。言い換えると、斜位検出部40は、第1の眼球S1および第2の眼球S2の一方が斜位状態であると判定する。
人Hの両眼の挙動を判定することにより、第1の眼球S1および第2の眼球S2が両眼球運動状態か、第1の眼球S1および第2の眼球S2のうちの一方が斜位状態であるかを判定することができる。
斜位検出部40は、第1の眼球S1および第2の眼球S2が両眼球運動状態であるか、または第1の眼球S1および第2の眼球S2のうちの一方が斜位状態であるかさえ判定すればよい。斜位検出部40における上述の判定方法は一例であり、種々の判定条件が組み合わされていてもよい。
ステップST5では、斜位検出部40は、判定結果を斜位検出結果D1として出力する。斜位検出結果D1は、第1の眼球S1および第2の眼球S2の状態を示す。例えば、斜位検出結果D1は、第1の眼球S1および第2の眼球S2が両眼球運動状態であるか、または第1の眼球S1および第2の眼球S2のうちの一方が斜位状態であるかを示す。
斜位検出結果D1は、注意力判定部50に入力される。ステップST6では、注意力判定部50は、斜位検出結果D1に応じて人Hの注意力を判定し、判定結果を注意力状態E1として生成する。
注意力状態E1は、例えば、注意力低下状態または注意力維持状態である。この場合、注意力低下状態は、人Hの注意力が低い状態であり、注意力維持状態は、人Hの注意力が高い状態である。
例えば、斜位検出結果D1が両眼球運動状態を示す場合、注意力判定部50は、人Hが注意力維持状態であると判定し、注意力維持状態を示す信号である注意力状態E1を生成する。一方、斜位検出結果D1が斜位状態を示す場合、注意力判定部50は、人Hが注意力低下状態であると判定し、注意力低下状態を示す信号である注意力状態E1を生成する。
ステップST7では、注意力判定部50は、注意力状態E1を出力する。注意力状態E1は、例えば、モニタ、ヘッドアップディスプレイ、スピーカ、または振動器などの出力装置70に入力される。出力装置70は、例えば、注意力状態E1に応じて少なくとも画像(例えば、静止画または動画)、音声、および振動の1つを出力する。注意力状態E1が注意力低下状態でない場合、出力装置70は何も出力しなくてもよい。
図7(A)は、注意力判定装置100のハードウェア構成の一例を示す図である。
図7(B)は、注意力判定装置100のハードウェア構成の他の例を示す図である。
図7(B)は、注意力判定装置100のハードウェア構成の他の例を示す図である。
注意力判定装置100は、例えば、少なくとも1つのプロセッサ108aおよび少なくとも1つのメモリ108bで構成される。プロセッサ108aは、例えば、メモリ108bに格納されるプログラムを実行するCentral Processing Unit(CPU)である。この場合、注意力判定装置100の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとしてメモリ108bに格納することができる。これにより、注意力判定装置100の機能(例えば、本実施の形態で説明される注意力判定方法)を実現するためのプログラムは、コンピュータによって実行される。
メモリ108bは、コンピュータで読み取り可能な記録媒体であり、例えば、RAM(Random Access Memory)およびROM(Read Only Memory)などの揮発性メモリ、不揮発性メモリ、または揮発性メモリと不揮発性メモリとの組み合わせである。
注意力判定装置100は、単一回路または複合回路などの専用のハードウェアとしての処理回路108cで構成されてもよい。この場合、注意力判定装置100の機能は、処理回路108cで実現される。
上述のように、実施の形態1における注意力判定装置100は、人Hにおける眼位ずれが生じているかを検出する。したがって、注意力判定装置100は、低フレームレートで撮影された画像を用いて注意力を判定することができる。これにより、注意力判定装置100は、高速な眼球運動であるサッカードを検出する装置に比べて、CPUの高い処理能力を必要としない。その結果、注意力判定装置100の製造コストを下げることができる。
実施の形態1に係る注意力判定システム101は、注意力判定装置100を有する。したがって、注意力判定システム101は、上述の注意力判定装置100の利点と同じ利点を持つ。
実施の形態2.
図8は、本発明の実施の形態2に係る注意力判定システム201の構成を概略的に示すブロック図である。
図8は、本発明の実施の形態2に係る注意力判定システム201の構成を概略的に示すブロック図である。
図9は、上述の注意力判定システム201における人Hの注意力を判定する注意力判定方法の工程の一例を示すフローチャートである。
ステップST1では、第1の眼球S1についての第1の基準座標と第2の眼球S2についての第2の基準座標とが撮影画像A1内に設定される。
ステップST2では、第1の眼球S1の瞳孔の撮影画像A1内における座標である第1の瞳孔座標および第2の眼球S2の瞳孔の撮影画像A1内における座標である第2の瞳孔座標が算出される。
ステップST3では、第1の基準座標、第2の基準座標、第1の瞳孔座標、および第2の瞳孔座標が出力される。
ステップST4では、第1の基準座標に対する第1の瞳孔座標の少なくとも1つの位置成分と、第2の基準座標に対する第2の瞳孔座標の少なくとも1つの位置成分とが算出される。
ステップST5では、第1の瞳孔座標の少なくとも1つの位置成分および第2の瞳孔座標の少なくとも1つの位置成分が正規化される。
ステップST6では、正規化された値が瞳孔距離補正値として出力される。
ステップST7では、瞳孔距離補正値を用いて第1の眼球S1および第2の眼球S2の状態を示す斜位検出結果が出力される。
ステップST8では、斜位検出結果に応じて人Hの注意力が判定される。
ステップST9では、注意力状態E1が出力される。
実施の形態2では、実施の形態1と異なる構成および動作を主に説明する。
実施の形態2に係る注意力判定システム201は、注意力判定装置100の代わりに注意力判定装置200を有する。実施の形態2では、注意力判定装置200は、撮像部10によって撮影された人Hの第1の眼球S1、第2の眼球S2、および鼻S3を含む画像を用いる。
注意力判定装置200は、撮像部10と、画像処理部20と、瞳孔距離算出部30と、斜位検出部40と、注意力判定部50と、瞳孔距離補正部60とを有する。すなわち、実施の形態2に係る注意力判定装置200は、実施の形態1で説明した、撮像部10と、画像処理部20と、瞳孔距離算出部30と、斜位検出部40と、注意力判定部50とに加えて、瞳孔距離補正部60を有する。注意力判定装置200は、さらに出力装置70を有してもよい。
注意力判定装置200は、第1の眼球S1、第2の眼球S2、および鼻S3を含む画像を用いて人Hの注意力を判定する。
注意力判定装置200のハードウェア構成は、実施の形態1で説明したハードウェア構成と同じでもよい。この場合、注意力判定装置200のハードウェア構成は、図7(A)または図7(B)に示されるハードウェア構成である。
ステップST2において、画像処理部20は、第1の瞳孔座標Reおよび第2の瞳孔座標Leに加えて、第1の眼球S1の第1の目頭座標Rc、第2の眼球S2の第2の目頭座標Lc、および鼻座標Ntをさらに算出する。
ステップST3では、画像処理部20は、少なくとも1つの瞳孔座標、鼻座標Nt、および少なくとも1つの基準座標を、出力座標B2として出力する。本実施の形態では、画像処理部20は、第1の瞳孔座標Re、第2の瞳孔座標Le、鼻座標Nt、第1の基準座標、および第2の基準座標を、出力座標B2として出力する。
例えば、実施の形態1と同様に画像処理部20が第1の基準座標としての第1の目頭座標Rcと第2の基準座標としての第2の目頭座標Lcを設定した場合、画像処理部20は、第1の瞳孔座標Re、第2の瞳孔座標Le、鼻座標Nt、第1の目頭座標Rc、および第2の目頭座標Lcを出力座標B2として出力する。この場合、出力座標B2は、例えば、1次元配列(すなわち、B2=[Rex,Rey,Lex,Ley,Rcx,Rcy,Lcx,Lcy,Ntx,Nty])として表される。
出力座標B2は、瞳孔距離算出部30に入力される。ステップST4では、瞳孔距離算出部30は、出力座標B2を用いて、瞳孔距離31,32,33,34,35,および36に加えて、目頭距離37および鼻筋距離38を周期的に算出する。これにより、瞳孔距離算出部30において時系列データが算出される。
目頭距離37は、第1の眼球S1と第2の眼球S2との間の距離である。具体的には、目頭距離37は、第1の眼球S1の目頭26と第2の眼球S2の目頭27との間の距離である。撮影画像A1内では、目頭距離37は、第1の目頭座標Rcから第2の目頭座標Lcまでの距離である。本実施の形態では、撮影画像A1内の第1の目頭座標Rcから第2の目頭座標Lcまでの距離をDとする。
鼻筋距離38は、目頭距離37の中点P1と鼻先端28との間の距離である。撮影画像A1内では、鼻筋距離38は、中点P1から鼻座標Ntまでの距離である。本実施の形態では、撮影画像A1内の中点P1から鼻座標Ntまでの距離をNとする。
瞳孔距離算出部30は、算出された距離Rh,Lh,Rv,Lv,R,L,D,およびNを瞳孔距離出力C2として出力する。瞳孔距離出力C2は、例えば、1次元配列(すなわち、C2=[Rh,Lh,Rv,Lv,R,L,D,N])として表される。
さらに、瞳孔距離算出部30は、算出された距離DおよびNを基準値出力Gとして出力してもよい。基準値出力Gは、例えば、1次元配列(すなわち、G=[D,N])として表される。
瞳孔距離出力C2および基準値出力Gは、瞳孔距離補正部60に入力される。ステップST5では、瞳孔距離補正部60は、少なくとも1つの任意の値を用いて、瞳孔距離、すなわち、第1の瞳孔座標Reの少なくとも1つの位置成分および第2の瞳孔座標Leの少なくとも1つの位置成分を正規化する。
本実施の形態では、瞳孔距離補正部60は、目頭距離37(すなわち、距離D)または鼻筋距離38(すなわち、距離N)を用いて、瞳孔距離、すなわち、第1の瞳孔座標Reの少なくとも1つの位置成分および第2の瞳孔座標Leの少なくとも1つの位置成分を正規化する。
具体的には、瞳孔距離補正部60は、目頭距離37を用いて、瞳孔距離33および瞳孔距離34を正規化する。例えば、瞳孔距離33は、Rh/Dによって正規化され、瞳孔距離34は、Lh/Dによって正規化される。
瞳孔距離補正部60は、鼻筋距離38を用いて、瞳孔距離35および瞳孔距離36を正規化する。例えば、瞳孔距離35は、Rv/Nによって正規化され、瞳孔距離36は、Lv/Nによって正規化される。
ステップST6では、瞳孔距離補正部60は、正規化された値(すなわち、正規化された位置成分)を瞳孔距離補正値Fとして出力する。瞳孔距離補正値Fは、例えば、1次元配列(すなわち、F=[Rh/D,Lh/D,Rv/N,Lv/N,R,L])として表される。
瞳孔距離補正値Fは、斜位検出部40に入力される。ステップST7では、斜位検出部40は、瞳孔距離補正値Fを用いて第1の眼球S1および第2の眼球S2の状態を示す斜位検出結果を出力する。具体的には、斜位検出部40は、瞳孔距離補正値Fの変動を用いて、人Hの眼球運動、すなわち、人Hの両眼の状態を判定する。より具体的には、斜位検出部40は、瞳孔距離補正値Fの変動を用いて、人Hの両眼の状態が、人Hの両眼の眼球運動か片眼の眼球運動かを判定する。斜位検出部40は、判定結果を斜位検出結果として出力する。
斜位検出部40が人Hの両眼の状態を判定する場合、斜位検出部40は、例えば、時系列データを用いて、瞳孔距離補正値Fに含まれる各成分の分散値を算出する。この場合、時系列データは、斜位検出部40に周期的に入力される瞳孔距離補正値Fである。
斜位検出部40は、各成分の分散値と、その分散値に対応する予め定められた閾値(「変動閾値」とも称する)とを比較する。
実施の形態1で説明したように、斜位検出部40は、斜位検出部40は、第1の眼球S1についてのデータが第1の条件を満たすか判定し、第2の眼球S2についてのデータが第2の条件を満たすか判定し、判定結果を斜位検出結果D1として出力する。
斜位検出結果D1は、注意力判定部50に入力される。さらに基準値出力G、すなわち、目頭距離37の時系列データおよび鼻筋距離38の時系列データが、注意力判定部50に入力される。図8に示される例では、基準値出力Gは、瞳孔距離算出部30から注意力判定部50に入力される。ただし、基準値出力Gは、瞳孔距離算出部30以外の構成要素(例えば、斜位検出部40または瞳孔距離補正部60)から注意力判定部50に入力されてもよい。
ステップST8では、注意力判定部50は、目頭距離37の時系列データを用いて目頭距離37の分散値σdを算出し、鼻筋距離38の時系列データを用いて分散値σnを算出する。注意力判定部50は、算出された分散値を変動閾値と比較する。
具体的には、注意力判定部50は、算出された分散値σdと変動閾値Tdとを比較し、算出された分散値σnと変動閾値Tnとを比較する。
変動閾値Tdは、予め定められた値である。例えば、変動閾値Tdとして、予め定められた期間における目頭距離37の分散値を用いてもよく、固視状態における時系列データから得られる分散値に重みを与えて得られる値を用いてもよい。同様に、変動閾値Tnは、予め定められた値である。例えば、変動閾値Tnとして、予め定められた期間における鼻筋距離38の分散値を用いてもよく、固視状態における時系列データから得られる分散値に重みを与えて得られる値を用いてもよい。
時系列データ(具体的には、目頭距離37についての分散値σdおよび鼻筋距離38についての分散値σn)が注意力条件(すなわち、σd<Td且つσn<Tn)を満たす場合、人Hの顔の向きの変化が小さい。したがって、時系列データが注意力条件(すなわち、σd<Td且つσn<Tn)を満たす場合、注意力判定部50は、人Hが注意力低下状態であると判定し、注意力低下状態を示す注意力状態E1を生成する。
一方、分散値σdが変動閾値Td以上である場合、人Hの顔の向きは、Pitch方向(図3ではy軸方向)に大きく動いている。分散値σnが変動閾値Tn以上である場合、人Hの顔の向きは、Yaw方向(図3ではx軸方向)に大きく動いている。
すなわち、時系列データ(具体的には、目頭距離37についての分散値σdおよび鼻筋距離38についての分散値σn)が注意力条件を満たさない場合、(すなわち、σd<Td且つσn<Tn)、人Hの顔の向きは、Pitch方向およびYaw方向に大きく動いている。この場合、注意力判定部50は、人Hが周囲を充分に視認していると判定する。したがって、時系列データが注意力条件を満たさない場合、注意力判定部50は、人Hが注意力維持状態であると判定し、注意力維持状態を示す注意力状態E1を生成する。
ステップST9では、注意力判定部50は、注意力状態E1を出力する。
実施の形態2における注意力判定装置200は、実施の形態1における注意力判定装置100の利点と同じ利点を有する。
さらに、実施の形態2に係る注意力判定装置200は、目頭距離37および鼻筋距離38を用いて人Hの注意力を判定する。目頭距離37および鼻筋距離38は、人Hの固定の指標とみなすことができる。したがって、瞳孔距離(例えば、瞳孔距離33,34,35,および36)を、目頭距離37または鼻筋距離38で正規化することにより、人Hの顔の向きの微小な変化に起因する瞳孔距離の変動の影響を軽減することができる。その結果、瞳孔距離(例えば、瞳孔距離33,34,35,および36)の時系列データの解析の精度を高めることができる。
注意力判定装置200を有する注意力判定システム201は、上述の注意力判定装置200の利点と同じ利点を持つ。
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
10 撮像部、 20 画像処理部、 30 瞳孔距離算出部、 40 斜位検出部、 50 注意力判定部、 60 瞳孔距離補正部、 70 出力装置、 100,200 注意力判定装置、 101,201 注意力判定システム。
Claims (13)
- 撮影された、人の第1の眼球および第2の眼球を含む画像を用いる注意力判定装置であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影された画像内に設定し、前記第1の眼球の瞳孔の前記画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記画像内における座標である第2の瞳孔座標を算出し、前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力する画像処理部と、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出する瞳孔距離算出部と、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を備えた注意力判定装置。 - 前記第1の瞳孔座標の前記少なくとも1つの位置成分は、前記第1の基準座標から前記第1の瞳孔座標までの距離を含み、
前記第2の瞳孔座標の前記少なくとも1つの位置成分は、前記第2の基準座標から前記第2の瞳孔座標までの距離を含む
請求項1に記載の注意力判定装置。 - 前記斜位検出部は、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて、前記第1の眼球の瞳孔の位置の変動と前記第2の眼球の瞳孔の位置の変動とを算出し、
前記第1の眼球の瞳孔の位置の変動および前記第2の眼球の瞳孔の位置の変動の算出結果を用いて、前記第1の眼球および前記第2の眼球の状態を判定する
請求項1または2に記載の注意力判定装置。 - 前記第1の眼球の瞳孔の位置の変動および前記第2の眼球の瞳孔の位置の変動の両方が閾値以上または前記閾値以下であるとき、前記斜位検出部は、前記第1の眼球および前記第2の眼球が両眼球運動であると判定し、
前記第1の眼球の瞳孔の位置の変動および前記第2の眼球の瞳孔の位置の変動の一方が前記閾値以上であり、他方が前記閾値より小さいとき、前記斜位検出部は、前記第1の眼球および前記第2の眼球の一方が斜位状態であると判定する
請求項1から3のいずれか1項に記載の注意力判定装置。 - 前記斜位検出結果は、前記第1の眼球および前記第2の眼球が両眼球運動状態であるか、または前記第1の眼球および前記第2の眼球のうちの一方が斜位状態であるかを示す請求項1から4のいずれか1項に記載の注意力判定装置。
- 前記斜位検出結果が前記両眼球運動状態を示す場合、前記注意力判定部は、前記人が注意力維持状態であると判定し、
前記斜位検出結果が前記斜位状態を示す場合、前記注意力判定部は、前記人が注意力低下状態であると判定する
請求項5に記載の注意力判定装置。 - 前記注意力判定部は、前記斜位検出結果に応じて、前記人の、前記注意力低下状態または前記注意力維持状態を示す信号を出力する請求項6に記載の注意力判定装置。
- 撮影された、人の第1の眼球および第2の眼球を含む画像を用いる注意力判定装置であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影された画像内に設定し、前記第1の眼球の瞳孔の前記画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記画像内における座標である第2の瞳孔座標を算出し、前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力する画像処理部と、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出する瞳孔距離算出部と、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、正規化された値を瞳孔距離補正値として出力する瞳孔距離補正部と、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を備えた注意力判定装置。 - 前記人の前記第1の眼球および前記第2の眼球を含む前記画像を撮影する撮像部と、
前記請求項1から8のいずれか1項に記載の注意力判定装置と
を備えた注意力判定システム。 - 人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
注意力判定方法。 - 人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
注意力判定方法。 - 人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分と前記第2の瞳孔座標の前記少なくとも1つの位置成分とを用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
プログラム。 - 人の第1の眼球および第2の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第1の眼球についての第1の基準座標と前記第2の眼球についての第2の基準座標とを前記撮影画像内に設定し、
前記第1の眼球の瞳孔の前記撮影画像内における座標である第1の瞳孔座標および前記第2の眼球の瞳孔の前記撮影画像内における座標である第2の瞳孔座標を算出し、
前記第1の基準座標、前記第2の基準座標、前記第1の瞳孔座標、および前記第2の瞳孔座標を出力し、
前記第1の基準座標に対する前記第1の瞳孔座標の少なくとも1つの位置成分と、前記第2の基準座標に対する前記第2の瞳孔座標の少なくとも1つの位置成分とを算出し、
前記第1の瞳孔座標の前記少なくとも1つの位置成分および前記第2の瞳孔座標の前記少なくとも1つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第1の眼球および前記第2の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/001586 WO2020152732A1 (ja) | 2019-01-21 | 2019-01-21 | 注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020152732A1 JPWO2020152732A1 (ja) | 2021-09-09 |
JP6972393B2 true JP6972393B2 (ja) | 2021-11-24 |
Family
ID=71736624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567668A Active JP6972393B2 (ja) | 2019-01-21 | 2019-01-21 | 注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220095972A1 (ja) |
JP (1) | JP6972393B2 (ja) |
DE (1) | DE112019006700T5 (ja) |
WO (1) | WO2020152732A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111679772B (zh) * | 2020-08-17 | 2020-11-24 | 深圳诚一信科技有限公司 | 一种屏幕录制方法、系统、多屏设备和可读存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4478210A (en) * | 1979-04-16 | 1984-10-23 | Sieradski Leonard M | Solar heating system |
JPS5730463A (en) * | 1980-07-30 | 1982-02-18 | Nec Corp | Adaptive forecasting and decoding device |
JPH11276461A (ja) * | 1998-03-27 | 1999-10-12 | Suzuki Motor Corp | 注意力測定装置及びこれを用いた情報提示装置 |
US20170156585A1 (en) * | 2014-07-02 | 2017-06-08 | Koninklijke Philips N.V. | Eye condition determination system |
US20170169726A1 (en) * | 2015-12-09 | 2017-06-15 | At&T Intellectual Property I, Lp | Method and apparatus for managing feedback based on user monitoring |
JP6479708B2 (ja) * | 2016-05-10 | 2019-03-06 | 日本電信電話株式会社 | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
EP3609756A4 (en) * | 2017-05-08 | 2021-01-27 | Joyson Safety Systems Acquisition LLC | INTEGRATION OF OCCUPANT MONITORING SYSTEMS THROUGH VEHICLE CONTROL SYSTEMS |
US11102462B2 (en) * | 2017-09-27 | 2021-08-24 | University Of Miami | Vision defect determination via a dynamic eye characteristic-based fixation point |
JP6418342B1 (ja) * | 2018-02-07 | 2018-11-07 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
JP6432702B1 (ja) * | 2018-03-15 | 2018-12-05 | オムロン株式会社 | 算出システム、指標算出方法、およびコンピュータプログラム |
EP3576074A1 (en) * | 2018-06-01 | 2019-12-04 | Volvo Car Corporation | Method and system for assisting drivers to drive with precaution |
-
2019
- 2019-01-21 WO PCT/JP2019/001586 patent/WO2020152732A1/ja active Application Filing
- 2019-01-21 DE DE112019006700.1T patent/DE112019006700T5/de active Pending
- 2019-01-21 US US17/421,736 patent/US20220095972A1/en active Pending
- 2019-01-21 JP JP2020567668A patent/JP6972393B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020152732A1 (ja) | 2020-07-30 |
CN113271852A (zh) | 2021-08-17 |
US20220095972A1 (en) | 2022-03-31 |
JPWO2020152732A1 (ja) | 2021-09-09 |
DE112019006700T5 (de) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101868597B1 (ko) | 올바른 기기사용자세 유도 장치 및 방법 | |
US11644896B2 (en) | Interactive motion-based eye tracking calibration | |
JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
CN107272904B (zh) | 一种图像显示方法及电子设备 | |
JP5189057B2 (ja) | 視線追跡方法及び視線追跡システム | |
US9526448B2 (en) | State estimation device and state estimation program | |
US20160132726A1 (en) | System and method for analysis of eye movements using two dimensional images | |
KR20170095194A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
CN109034108B (zh) | 一种视线估计的方法、装置和系统 | |
CN111513670B (zh) | 用于眼睛追踪中的角膜半径的估计 | |
EP3760102B1 (en) | Technique for determining a risk indicator for myopia | |
JP2006285715A (ja) | 視線検出システム | |
JP6972393B2 (ja) | 注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム | |
Tatler et al. | Eye movement recordings in natural settings | |
JPWO2019021601A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Dunn | Required accuracy of gaze tracking for varifocal displays | |
CN109189216B (zh) | 一种视线检测的方法、装置和系统 | |
US20170031438A1 (en) | Interaction method, interaction apparatus and user equipment | |
EP3657299A1 (en) | Information processing device, information processing method and program | |
WO2021019360A1 (ja) | 疲労度評価システム、および疲労度評価装置 | |
US11749024B2 (en) | Graphics processing method and related eye-tracking system | |
CN113271852B (zh) | 注意力判定装置、注意力判定系统、注意力判定方法和计算机能读取的存储介质 | |
JP2005081101A (ja) | 視線方向検出装置及び視線方向検出方法 | |
CN111753628B (zh) | 训练眼睛跟踪模型 | |
US12026309B2 (en) | Interactive motion-based eye tracking calibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6972393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |