JP6958828B1 - 視距離推定方法、視距離推定装置、及び視距離推定プログラム - Google Patents
視距離推定方法、視距離推定装置、及び視距離推定プログラム Download PDFInfo
- Publication number
- JP6958828B1 JP6958828B1 JP2020212617A JP2020212617A JP6958828B1 JP 6958828 B1 JP6958828 B1 JP 6958828B1 JP 2020212617 A JP2020212617 A JP 2020212617A JP 2020212617 A JP2020212617 A JP 2020212617A JP 6958828 B1 JP6958828 B1 JP 6958828B1
- Authority
- JP
- Japan
- Prior art keywords
- viewing distance
- value
- iris
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
デジタル機器の普及により、人はスマートフォン及びタブレット端末等の携帯端末装置のディスプレイを近くで長時間視認する機会が増加している。このような機会の増加は眼精疲労を誘発する。例えば、ディスプレイと人の目との視距離を計測し、人の目がディスプレイに近づきすぎている場合、人に注意を促す機能を携帯端末装置に組み込めば、眼精疲労を未然に防ぐことができる。
図1は、本開示の実施の形態1における視距離推定システム100の外観図である。視距離推定システム100は、スマートフォン又はタブレット端末等の携帯端末装置により構成されている。但し、これは一例であり、視距離推定システム100は、据え置き型のコンピュータ又はクラウドサーバとカメラとディスプレイとを適宜組み合わせて構成されてもよい。
ステップS48において、虹彩検出部12は、虹彩推定中心位置のX座標を算出する。図12は、虹彩推定中心位置P3の説明図である。虹彩推定中心位置P3は、虹彩中心位置の推定位置であり、最終的に算出される虹彩中心位置P0とは異なる。二重まぶた、まつ毛の濃さ、及びつけまつ毛等の影響によりこれらの部位が白領域D1として大きく表れることがある。この場合、白目103の部位が塗りつぶされる可能性がある。このような事態を回避するために、本実施の形態では虹彩推定中心位置P3を算出している。
実施の形態2は、顔の向きに応じて視距離を補正するものである。図17は、本開示の実施の形態2における視距離推定システム100の全体構成の一例を示すブロック図である。なお、本実施の形態において実施の形態1と同一の構成要素は同一の符号を付して説明を省略する。実施の形態2における視距離推定システム100は、視距離推定装置1Aを含む。視距離推定装置1Aのプロセッサ10Aは、視距離推定装置1のプロセッサ10に対してさらに視距離補正部18を含む。
実施の形態3は、輻輳角を算出するものである。輻輳角とは、両目の視線が注視する対象物の位置に収束してできる角度である。図20は、本開示の実施の形態3における視距離推定システム100の全体構成の一例を示す図である。なお、本実施の形態において、実施の形態1、2と同一の構成要素には同一の符号を付し、説明を省略する。実施の形態3における視距離推定システム100は、視距離推定装置1Bを含む。視距離推定装置1Bのプロセッサ10Bは、視距離推定装置1Aのプロセッサ10Aに対してさらに輻輳角算出部19を含む。
2 :撮像装置
3 :ディスプレイ
10 :プロセッサ
11 :画像取得部
12 :虹彩検出部
13 :画素数算出部
14 :解像度取得部
15 :実寸算出部
16 :推定部
17 :出力部
18 :視距離補正部
19 :輻輳角算出部
20 :メモリ
100 :視距離推定システム
Claims (12)
- 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置における視距離推定方法であって、
前記視距離推定装置のコンピュータが、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得し、
前記第1画像から前記人の虹彩のサイズを検出し、
検出した前記虹彩のサイズの画素数を示す第1値を算出し、
前記第1画像の解像度を取得し、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出し、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、取得した前記解像度と、算出した前記第3値とに対応する前記視距離を推定し、
推定した前記視距離を含む推定情報を出力し、
前記第1画像に基づいて前記顔の向きを検出し、検出した前記顔の向きに応じて前記視距離を補正する、
視距離推定方法。 - 前記視距離の補正では、
前記顔の向きが正面の向きから離れた方向に向かうにつれて前記視距離を小さくするための補正係数を前記視距離に乗じることによって、前記視距離を補正する、
請求項1記載の視距離推定方法。 - 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置における視距離推定方法であって、
前記視距離推定装置のコンピュータが、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得し、
前記第1画像から前記人の虹彩のサイズを検出し、
検出した前記虹彩のサイズの画素数を示す第1値を算出し、
前記第1画像の解像度を取得し、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出し、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、取得した前記解像度と、算出した前記第3値とに対応する前記視距離を推定し、
推定した前記視距離を含む推定情報を出力し、
前記虹彩のサイズの検出では、
前記第1画像から前記人の目の領域を含む第2画像を生成し、
前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、前記階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、
前記第3画像において、前記第1輝度値を有する第1輝度領域内に表れる前記第2輝度値の画素であって所定の条件を満たす前記第2輝度値の画素を、前記第1輝度値の画素に置き換えて第4画像を生成し、
前記第4画像を用いて前記虹彩を検出する、
視距離推定方法。 - 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置における視距離推定方法であって、
前記視距離推定装置のコンピュータが、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得し、
前記第1画像から前記人の虹彩のサイズを検出し、
検出した前記虹彩のサイズの画素数を示す第1値を算出し、
前記第1画像の解像度を取得し、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出し、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、取得した前記解像度と、算出した前記第3値とに対応する前記視距離を推定し、
推定した前記視距離を含む推定情報を出力し、
前記虹彩のサイズの検出では、前記人の左右の目の虹彩の中心位置を検出し、
さらに、検出した前記左右の目の前記虹彩の中心位置と推定した前記視距離とに基づいて、前記人の目の輻輳角を算出する、
視距離推定方法。 - 前記輻輳角の算出では、前記第1画像に基づいて、前記人の目頭間の中心を示す目頭間の中点を検出し、前記目頭間の中点から左の目の前記虹彩の中心位置までの第1距離と前記目頭間の中点から右の目の前記虹彩の中心位置までの第2距離とを算出し、前記第1距離及び推定した前記視距離に基づいて第1輻輳半角を算出すると共に前記第2距離及び推定した前記視距離に基づいて第2輻輳半角を算出し、前記第1輻輳半角と前記第2輻輳半角との和を前記輻輳角として算出する、
請求項4記載の視距離推定方法。 - 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置における視距離推定方法であって、
前記視距離推定装置のコンピュータが、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得し、
前記第1画像から前記人の虹彩のサイズを検出し、
検出した前記虹彩のサイズの画素数を示す第1値を算出し、
前記第1画像の解像度を取得し、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出し、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、取得した前記解像度と、算出した前記第3値とに対応する前記視距離を推定し、
推定した前記視距離を含む推定情報を出力し、
前記第1画像に重畳表示される前記推定情報は、前記第1値及び前記第2値に基づいて生成された、前記第1画像内の物体の実寸を示すゲージオブジェクトを含む、
視距離推定方法。 - 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置における視距離推定方法であって、
前記視距離推定装置のコンピュータが、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得し、
前記第1画像から前記人の虹彩のサイズを検出し、
検出した前記虹彩のサイズの画素数を示す第1値を算出し、
前記第1画像の解像度を取得し、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出し、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、取得した前記解像度と、算出した前記第3値とに対応する前記視距離を推定し、
推定した前記視距離を含む推定情報を出力し、
前記虹彩のサイズの検出では、左右の目のそれぞれの虹彩のサイズを検出し、
前記視距離の推定では、前記左右の目のそれぞれについて、検出された前記虹彩のサイズに基づいて前記虹彩の検出結果が適正であるか否かを判定し、前記左右の目のうち適正と判定された目に対する前記第3値のみを用いて前記視距離を推定する、
視距離推定方法。 - 前記視距離推定装置は、カメラ及びディスプレイを備える携帯端末装置であり、
前記対象物は、前記ディスプレイであり、
前記第1画像は、前記カメラにより撮像されたものである、
請求項1〜7のいずれかに記載の視距離推定方法。 - さらに、前記推定情報を前記第1画像に重畳表示させる、
請求項1〜8のいずれかに記載の視距離推定方法。 - 前記関係情報は、前記解像度及び前記第3値を説明変数、前記視距離を目的変数とする回帰式である、
請求項1〜9のいずれかに記載の視距離推定方法。 - 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置であって、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得する画像取得部と、
前記第1画像から前記人の虹彩のサイズを検出する虹彩検出部と、
検出した前記虹彩のサイズの画素数を示す第1値を算出する画素数算出部と、
前記第1画像の解像度を取得する解像度取得部と、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出する実寸算出部と、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、前記解像度取得部により取得された前記解像度と、実寸算出部により算出された前記第3値とに対応する前記視距離を推定する推定部と、
前記推定部により推定された前記視距離を含む推定情報を出力する出力部とを備え、
前記第1画像に重畳表示される前記推定情報は、前記第1値及び前記第2値に基づいて生成された、前記第1画像内の物体の実寸を示すゲージオブジェクトを含む、
視距離推定装置。 - 対象物と人の目との間の距離を示す視距離を推定する視距離推定装置としてコンピュータを機能させる視距離推定プログラムであって、
撮像装置により撮像された、前記対象物を見る前記人の顔を含む第1画像を取得する画像取得部と、
前記第1画像から前記人の虹彩のサイズを検出する虹彩検出部と、
検出した前記虹彩のサイズの画素数を示す第1値を算出する画素数算出部と、
前記第1画像の解像度を取得する解像度取得部と、
前記第1値及び予め定められた前記虹彩のサイズの実寸を示す第2値に基づき、1画素に対応する実寸を示す第3値を算出する実寸算出部と、
前記解像度及び前記第3値と前記視距離との関係を示す関係情報に基づいて、前記解像度取得部により取得された前記解像度と、実寸算出部により算出された前記第3値とに対応する前記視距離を推定する推定部と、
前記推定部により推定された前記視距離を含む推定情報を出力する出力部としてコンピュータを機能させ、
前記第1画像に重畳表示される前記推定情報は、前記第1値及び前記第2値に基づいて生成された、前記第1画像内の物体の実寸を示すゲージオブジェクトを含む、
視距離推定プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212617A JP6958828B1 (ja) | 2020-12-22 | 2020-12-22 | 視距離推定方法、視距離推定装置、及び視距離推定プログラム |
CN202180007158.XA CN115039130A (zh) | 2020-12-22 | 2021-06-09 | 视距推测方法、视距推测装置以及视距推测程序 |
PCT/JP2021/021983 WO2022137601A1 (ja) | 2020-12-22 | 2021-06-09 | 視距離推定方法、視距離推定装置、及び視距離推定プログラム |
US17/836,316 US20220301204A1 (en) | 2020-12-22 | 2022-06-09 | Viewing distance estimation method, viewing distance estimation device, and non-transitory computer-readable recording medium recording viewing distance estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212617A JP6958828B1 (ja) | 2020-12-22 | 2020-12-22 | 視距離推定方法、視距離推定装置、及び視距離推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6958828B1 true JP6958828B1 (ja) | 2021-11-02 |
JP2022098932A JP2022098932A (ja) | 2022-07-04 |
Family
ID=78282002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020212617A Active JP6958828B1 (ja) | 2020-12-22 | 2020-12-22 | 視距離推定方法、視距離推定装置、及び視距離推定プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220301204A1 (ja) |
JP (1) | JP6958828B1 (ja) |
CN (1) | CN115039130A (ja) |
WO (1) | WO2022137601A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116421135A (zh) * | 2023-04-27 | 2023-07-14 | 北京京东拓先科技有限公司 | 视力测试方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001145613A (ja) * | 1999-11-22 | 2001-05-29 | Oki Electric Ind Co Ltd | 距離計測機能付きカメラ装置 |
JP2012068937A (ja) * | 2010-09-24 | 2012-04-05 | Panasonic Corp | 瞳孔検出装置及び瞳孔検出方法 |
-
2020
- 2020-12-22 JP JP2020212617A patent/JP6958828B1/ja active Active
-
2021
- 2021-06-09 WO PCT/JP2021/021983 patent/WO2022137601A1/ja active Application Filing
- 2021-06-09 CN CN202180007158.XA patent/CN115039130A/zh active Pending
-
2022
- 2022-06-09 US US17/836,316 patent/US20220301204A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001145613A (ja) * | 1999-11-22 | 2001-05-29 | Oki Electric Ind Co Ltd | 距離計測機能付きカメラ装置 |
JP2012068937A (ja) * | 2010-09-24 | 2012-04-05 | Panasonic Corp | 瞳孔検出装置及び瞳孔検出方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220301204A1 (en) | 2022-09-22 |
CN115039130A (zh) | 2022-09-09 |
WO2022137601A1 (ja) | 2022-06-30 |
JP2022098932A (ja) | 2022-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106598221B (zh) | 基于眼部关键点检测的3d视线方向估计方法 | |
CN111126180B (zh) | 一种基于计算机视觉的面瘫严重程度自动检测系统 | |
JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
EP3651457A1 (en) | Pupillary distance measurement method, wearable eye equipment and storage medium | |
JP6956986B1 (ja) | 判定方法、判定装置、及び判定プログラム | |
US20170156585A1 (en) | Eye condition determination system | |
WO2019153927A1 (zh) | 屏幕显示方法、具有显示屏幕的装置、设备及存储介质 | |
US11270100B2 (en) | Face image detection method and terminal device | |
JP2016530000A (ja) | 顔特徴を測定するシステム及び方法 | |
CN110930446A (zh) | 一种眼底图像定量分析的前置处理方法及存储设备 | |
JP6958828B1 (ja) | 視距離推定方法、視距離推定装置、及び視距離推定プログラム | |
CN115171024A (zh) | 一种基于视频序列的面部多特征融合疲劳检测方法及系统 | |
KR102182185B1 (ko) | 안구 운동장애 평가 시스템, 그를 이용한 안구 운동장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체 | |
JP3726122B2 (ja) | 視線検出システム | |
JP5242827B2 (ja) | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 | |
CN109998501A (zh) | 生理指标及心理指标的检测方法、装置及终端设备 | |
WO2022137604A1 (ja) | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム | |
CN109765990A (zh) | 画面显示控制方法及画面显示控制系统 | |
JP2015198789A (ja) | 情報処理装置、脈波計測プログラムおよび脈波計測方法 | |
JP6994704B1 (ja) | 虹彩検出方法、虹彩検出装置、及び虹彩検出プログラム | |
JP6721169B1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
EP4012604B1 (en) | A method for identifying a lip-makeup product appearing in an image | |
CN113408531B (zh) | 一种基于图像识别的目标物形状框选方法及终端 | |
KR102473744B1 (ko) | 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법 | |
JP4762329B2 (ja) | 顔画像処理装置および顔画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210903 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6958828 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |