WO2020045023A1 - 眼情報推定装置、眼情報推定方法、プログラム - Google Patents

眼情報推定装置、眼情報推定方法、プログラム Download PDF

Info

Publication number
WO2020045023A1
WO2020045023A1 PCT/JP2019/031292 JP2019031292W WO2020045023A1 WO 2020045023 A1 WO2020045023 A1 WO 2020045023A1 JP 2019031292 W JP2019031292 W JP 2019031292W WO 2020045023 A1 WO2020045023 A1 WO 2020045023A1
Authority
WO
WIPO (PCT)
Prior art keywords
ellipse
point
pupil
iris
coordinates
Prior art date
Application number
PCT/JP2019/031292
Other languages
English (en)
French (fr)
Inventor
惇 米家
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/271,074 priority Critical patent/US11941835B2/en
Publication of WO2020045023A1 publication Critical patent/WO2020045023A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a technique for estimating position / size information about a pupil and an iris.
  • Non-Patent Document 1 JP-A-2013-132783
  • a dedicated device called an eye movement measuring device (Non-Patent Document 1) or a method described in Non-Patent Document 2 can be used. .
  • a general eye movement measuring instrument as described in Non-Patent Document 1 measures the size of a pupil using an image taken by a camera. Specifically, an edge (outer edge) of the pupil is detected from the captured image, and a circle fitting is performed on a set of the detected edge points, thereby obtaining a pupil diameter and a pupil center position. For this reason, it is necessary that the entire pupil is included in the captured image, and in a state like a half-blink, the pupil diameter is underestimated and the center position of the pupil is shifted. Also, since the upper and lower parts of the iris are usually shielded by the eyelid, it cannot be detected by a commercially available eye movement measuring instrument.
  • Non-Patent Document 2 the pupil center and the iris center always output the same position in the vertical direction because the center position is obtained by detecting the edge of the iris by scanning in the horizontal direction with reference to the center position of the pupil. I do. Therefore, the method of Non-Patent Document 2 cannot rely on the position information in the vertical direction. Also, with respect to position information in the horizontal direction, if the center position of the iris and the center position of the pupil deviate vertically, there is a problem that accurate information cannot be obtained by the method of Non-Patent Document 2.
  • a technique capable of estimating position / size information about the pupil or the iris using the image is used. The purpose is to provide.
  • One embodiment of the present invention provides, from an image of an eyeball of a subject, coordinates of two points P1 and P2 corresponding to the outer edge of a pupil or an iris on a predetermined row included in the image (x 1 , y 0 ), (x 2 , y 0 ), and profile determination information for acquiring the inclinations ⁇ 1 and ⁇ 2 of the tangents of the ellipse at the points P1 and P2 assuming that the shape of the pupil or iris is an ellipse an acquisition unit, the length Satoshi of the major axis of the ellipse R, the coordinates of the point P1, the point P2 (x 1, y 0) , (x 2, y 0) and the tangent of the ellipse at the point P1, the point P2 Using the inclinations ⁇ 1 and ⁇ 2 of the ellipse and the length R of the major axis of the ellipse, the center coordinates (x c
  • FIG. 2 is a block diagram showing an example of the configuration of the eye information estimation device 100.
  • 5 is a flowchart illustrating an example of the operation of the eye information estimation device 100. The figure which shows an example of four points corresponding to the outer edge of the pupil (iris) on two adjacent rows.
  • FIG. 2 is a block diagram showing an example of a configuration of an eye information calculation unit 130. 9 is a flowchart illustrating an example of the operation of the eye information calculation unit 130.
  • the target for estimating the position / size information is a pupil or an iris.
  • an image of the subject's eyeball is used to estimate the position / size of the pupil or iris.
  • the shape of the pupil or iris in the captured image is elliptical. Therefore, the position / size of the pupil or iris is estimated as the center coordinate of the ellipse, the argument / length of the long axis, and the length of the short axis.
  • the coordinates of two points P1 and P2 corresponding to the outer edge of the pupil or iris on a predetermined row included in the image of the subject's eyeball and the ellipse at these points that is, the estimated From the inclination of the tangent of the target pupil or iris
  • the center coordinates, declination, length of the major axis, and length of the minor axis, which are the profiles of the ellipse are estimated.
  • the length of the long axis does not change while capturing an image at a predetermined sampling frequency. That is, the length of the major axis can be obtained from the image.
  • the length is R.
  • the ellipse at an arbitrary position passes through the point (1, 0) on the x-axis and the point (0, 1) on the y-axis, and the x-axis at the point (1, 0).
  • Coordinate conversion is performed so as to correspond to the ellipse tangent to the y-axis at the point (0, 1), and the calculation is performed using the converted ellipse represented by the following equation.
  • ⁇ is called a hyperparameter.
  • Coordinates (x s, y s) of the ellipse tangent intersection C in the ellipse tangent point P2 at the point P1 is the point P1
  • ⁇ 1 and ⁇ 2 of the tangents of the ellipse at the two points the following expression can be used.
  • the equation of the ellipse obtained by transforming the coordinate system so that the intersection C corresponds to the point (0, 0), the point P1 corresponds to the point (1, 0), and the point P2 corresponds to the point (0, 1) is ,
  • the profile of the ellipse that is, the center coordinates (x c , y c ), declination ⁇ , major axis length R a , and minor axis length R b are calculated using the hyperparameter ⁇ as follows: Can be expressed.
  • R a, b 2 in the expression (4) means R a 2 or R b 2
  • the value on the right side of the expression (4) (that is, two values expressed using ⁇ )
  • the smaller one means R b 2
  • the larger one means R a 2
  • the square roots on the right side of Expression (4) are Ra and Rb .
  • Expressions (2a) and (2b) are referred to as expressions of center coordinates (x c , y c ) using the hyperparameter ⁇ .
  • Expression (3) is used to represent the argument ⁇ using the hyperparameter ⁇
  • Expression (4) is used to represent the length Ra of the long axis using the hyperparameter ⁇
  • Expression (8) of the expression of the length Rb is referred to as expression of the ratio r of the length of the minor axis to the length of the major axis using the hyperparameter ⁇ .
  • the hyperparameter ⁇ is also referred to as a hyperparameter used for expressing an elliptic profile.
  • FIG. 1 is a block diagram illustrating a configuration of the eye information estimation device 100.
  • FIG. 2 is a flowchart illustrating the operation of the eye information estimation device 100.
  • the eye information estimating apparatus 100 includes an image acquisition unit 110, a profile determination information acquisition unit 120, an eye information calculation unit 130, and a recording unit 190.
  • the recording unit 190 is a component that appropriately records information necessary for the processing of the eye information estimation device 100.
  • the image obtaining unit 110 obtains and outputs an image of the subject's eyeball.
  • the camera used for image capturing is assumed to be a camera having a relatively low sampling frequency, such as a camera of a smartphone, but a camera having a high sampling frequency may be used.
  • the camera may be set so as to shoot both left and right eyeballs, or may be set so as to shoot only one of the eyeballs.
  • the setting is such that only one eyeball is photographed.
  • the profile determination information acquisition unit 120 receives the image acquired in S110 as an input, and sets the coordinates of two points P1 and P2 corresponding to the outer edge of the pupil or iris on a predetermined row included in the image ( x 1 , y 0 ), (x 2 , y 0 ), and the inclinations ⁇ 1 , ⁇ 2 of the tangents of the ellipse at the points P 1 and P 2 assuming that the shape of the pupil or iris is an ellipse, and the ellipse And obtains the length R of the major axis as profile determination information and outputs it.
  • the coordinates (x 1 , y 0 ) and (x 2 , y 0 ) of the point P1 and the point P2 are obtained by detecting a region / boundary of a pupil or an iris using a method described in Reference Non-Patent Document 1, for example. Can be obtained.
  • Reference Non-Patent Document 1 Daugman, J, “Probing the uniqueness and randomness of IrisCodes: Results from 200 billion iris pair comparisons”, Proceedings of the IEEE, Vol.94, No.11, pp.1927-1935, 2006. )
  • the inclinations ⁇ 1 and ⁇ 2 of the tangents of the ellipse at the points P1 and P2 are the coordinates of the point corresponding to the outer edge of the pupil or iris on the row adjacent to the predetermined row, and the coordinates of the point P1 and the point P2 ( x 1 , y 0 ) and (x 2 , y 0 ). Specifically, it is obtained as follows.
  • the coordinates of two points P1 ′ and P2 ′ corresponding to the outer edge of the pupil or iris on the upper row in the image are represented by (x 1 ′, y 0 ′), (x 2 ′, y 0 ′), and the slopes ⁇ 1 ′, ⁇ 2 ′ are obtained by the following equations (see FIG. 3).
  • the coordinates of two points P1 ′′ and P2 ′′ corresponding to the outer edge of the pupil or the iris on the lower row in the image are represented by (x 1 ) , y 0 ′′), (x 2 ′′, y 0 ′′), and the slopes ⁇ 1 ′′, ⁇ 2 ′′ are obtained by the following equations.
  • the inclinations ⁇ 1 and ⁇ 2 are obtained by the following equations using the inclinations ⁇ 1 ′, ⁇ 2 ′, ⁇ 1 ′′, and ⁇ 2 ′′.
  • the inclinations ⁇ 1 and ⁇ 2 are the coordinates of the two points corresponding to the outer edges of the pupil or iris on the upper row in the image among the rows adjacent to the predetermined row, point P1, and point P1.
  • the slope calculated using the coordinates (x 1 , y 0 ) and (x 2 , y 0 ) of P2, and the row adjacent to the predetermined row, in the image, above the row located on the lower side It is obtained as the average of the slopes calculated using the coordinates of the two points corresponding to the outer edge of the pupil or the iris and the coordinates (x 1 , y 0 ) and (x 2 , y 0 ) of the points P 1 and P 2 .
  • the length R of the major axis of the ellipse is obtained as the length of the major axis obtained as a result of performing the ellipse fitting on the outer edge of the pupil or the iris included in the image.
  • FIG. 4 is a block diagram illustrating a configuration of the eye information calculation unit 130.
  • FIG. 5 is a flowchart showing the operation of the eye information calculation unit 130.
  • the eye information calculation unit 130 includes an intersection coordinate calculation unit 131 and a profile calculation unit 132.
  • intersection coordinate calculation unit 131 calculates the coordinates (x 1 , y 0 ), (x 2 , y 0 ) of the points P1 and P2, and the inclinations ⁇ 1 and ⁇ 2 of the tangents of the ellipse at the points P1 and P2. Is used to calculate the coordinates (x s , y s ) of the intersection C of these tangents. Specifically, the coordinates (x s , y s ) of the intersection C are calculated by equation (1).
  • the profile calculation unit 132 uses the coordinates (x 1 , y 0 ) and (x 2 , y 0 ) of the point P1 and the point P2 and the coordinates (x s , y s ) of the intersection C to obtain a hyperparameter. representation of the length R a of the major axis with alpha (i.e., formula (4)) is obtained.
  • the profile calculation unit 132 determines the hyperparameter ⁇ using the expression of the length Ra of the long axis and the length R of the long axis in Expression (4). Specifically, ⁇ (
  • the profile calculation unit 132 calculates the center coordinates (x c , y c ) and the argument ⁇ of the ellipse from the equations (2a), (2b), and (3) using the determined ⁇ . . Further, the profile calculation unit 132 calculates the length Rb of the minor axis of the ellipse from the equation (4) using the determined ⁇ .
  • the eye information calculation unit 130 outputs a profile representing the position of the pupil or the iris as eye information
  • only the center coordinates (x c , y c ) of the ellipse and the argument ⁇ need to be calculated.
  • only the length Rb of the minor axis of the ellipse may be calculated.
  • the processes from S120 to S130 may be performed on each eyeball.
  • the length R of the long axis has been described as being obtained from the image.
  • the present invention is not limited to this method, and the length R of the long axis may be obtained by another method and used.
  • the length of the long axis is determined based on the distance between the camera and the eyeball.
  • the estimated value of R may be calculated and used. In this case, for example, the length R of the major axis may be recorded in the recording unit 190 in advance.
  • the profile (the profile representing the position / size of the pupil or the iris) is calculated from the profile determination information on a predetermined line in the image, but the profile calculation method is not limited to this method. .
  • the profile calculation method is not limited to this method.
  • a plurality of profiles are obtained, and the obtained plurality of profiles are obtained. May be output as a profile.
  • the device of the present invention includes, for example, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) that can communicate outside the hardware entity as a single hardware entity.
  • a communication unit a CPU (which may include a Central Processing Unit, a cache memory and a register), a RAM or ROM as a memory, an external storage device as a hard disk, and an input unit, an output unit, and a communication unit thereof.
  • the hardware entity may be provided with a device (drive) that can read and write a recording medium such as a CD-ROM.
  • a physical entity provided with such hardware resources includes a general-purpose computer.
  • the external storage device of the hardware entity stores a program necessary for realizing the above-described functions, data necessary for processing the program, and the like. It may be stored in a ROM that is a dedicated storage device). Data obtained by the processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in an external storage device or ROM or the like
  • data necessary for processing of each program are read into a memory as needed, and interpreted and executed / processed by the CPU as appropriate.
  • the CPU realizes predetermined functions (the above-described components, such as components, means, etc.).
  • the processing function of the hardware entity (the device of the present invention) described in the above embodiment is implemented by a computer, the processing content of the function that the hardware entity should have is described by a program. By executing this program on a computer, the processing functions of the hardware entity are realized on the computer.
  • a program describing this processing content can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
  • a hard disk device, a flexible disk, a magnetic tape, or the like is used as a magnetic recording device, and a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), and a CD-ROM (Compact Disc Read Only) are used as optical disks.
  • DVD Digital Versatile Disc
  • DVD-RAM Random Access Memory
  • CD-ROM Compact Disc Read Only
  • CD-R Recordable
  • RW ReWritable
  • MO Magnetic-Optical disc
  • EEP-ROM Electrically Erasable and Programmable-Read Only Memory
  • This program is distributed by selling, transferring, lending, or the like, a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • the computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when executing the processing, the computer reads the program stored in its own recording medium and executes the processing according to the read program. Further, as another execution form of the program, the computer may directly read the program from the portable recording medium and execute processing according to the program, and further, the program may be transferred from the server computer to the computer. Each time, the processing according to the received program may be sequentially executed.
  • ASP Application ⁇ Service ⁇ Provider
  • the program in the present embodiment includes information used for processing by the computer and which is similar to the program (data that is not a direct command to the computer but has characteristics that define the processing of the computer).
  • a hardware entity is configured by executing a predetermined program on a computer, but at least a part of the processing may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することができる技術を提供する。対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1,y0),(x2,y0)と瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1,θ2とを取得するプロファイル決定情報取得部と、Rを楕円の長軸の長さとし、点P1、点P2の座標(x1,y0),(x2,y0)と点P1、点P2における楕円の接線の傾きθ1,θ2と楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す楕円の中心座標(xc,yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す楕円の短軸の長さRbを算出する眼情報算出部とを含む。

Description

眼情報推定装置、眼情報推定方法、プログラム
　本発明は、瞳孔や虹彩に関する位置／大きさの情報を推定する技術に関する。
　瞳孔は、人が見ている領域の輝度や心理状態に応じて大きさが変化することが知られている。この瞳孔の大きさや位置の変化を用いることにより、例えば、音の顕著度合いを推定することができる（参考特許文献１）。
（参考特許文献１：特開２０１５－１３２７８３号公報）
　参考特許文献１で用いた瞳孔の大きさや位置の変化の推定には、例えば、眼球運動計測器と呼ばれる専用の装置（非特許文献１）や非特許文献２に記載の方法を用いることができる。
tobii pro, [online], ［平成３０年６月６日検索］, インターネット<URL:https://www.tobiipro.com/ja/?gclid=EAIaIQobChMI9dzRgfq92wIVlYePCh2l1ge6EAAYASAAEgLqy_D_BwE> Nystrom, M., Hooge, I., Holmqvist, K. ,"Post-saccadic oscillations in eye movement data recorded with pupil-based eye trackers reflect motion of the pupil inside the iris", Vision Research, Vol.92, pp.59-66, 2013.
　非特許文献１にあるような一般的な眼球運動計測器では、カメラで撮影した画像を用いて瞳孔の大きさを計測する。具体的には、撮影した画像から瞳孔のエッジ（外縁）を検出し、検出したエッジの点の集合に対して円フィッティングをかけることにより、瞳孔径及び瞳孔の中心位置を求める。そのため、撮影した画像中に瞳孔全体が含まれている必要があり、半瞬目のような状態では、瞳孔径が過小評価される上に、瞳孔の中心位置もずれるという問題がある。また、虹彩は通常上下が眼瞼に遮蔽されているため、市販の眼球運動計測器では検出することができない。
　非特許文献２では、瞳孔の中心位置を基準として水平方向に走査することにより虹彩のエッジを検出した上で中心位置を求めているため、瞳孔中心と虹彩中心は垂直方向について常に同じ位置を出力する。そのため、非特許文献２の方法では垂直方向の位置情報については信頼することができない。また、そもそも水平方向の位置情報についても、虹彩の中心位置と瞳孔の中心位置が上下でずれている場合には、非特許文献２の方法では正確な情報が得られないという問題がある。
　そこで本発明では、対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することができる技術を提供することを目的とする。
　本発明の一態様は、対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2とを取得するプロファイル決定情報取得部と、Rを前記楕円の長軸の長さとし、前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2と、前記楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す前記楕円の短軸の長さRbを算出する眼情報算出部とを含む。
　本発明によれば、対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することが可能となる。
眼情報推定装置１００の構成の一例を示すブロック図。 眼情報推定装置１００の動作の一例を示すフローチャート。 隣接する２行の上にある瞳孔（虹彩）の外縁に対応する４つの点の一例を示す図。 眼情報算出部１３０の構成の一例を示すブロック図。 眼情報算出部１３０の動作の一例を示すフローチャート。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜技術的背景＞
　位置／大きさの情報を推定する対象は、瞳孔または虹彩とする。また、瞳孔や虹彩の位置／大きさの推定には、対象者の眼球を撮影した画像を用いる。推定に際して、撮影した画像中の瞳孔や虹彩の形状は楕円であると仮定する。したがって、瞳孔や虹彩の位置／大きさは、楕円の中心座標、偏角／長軸の長さ、短軸の長さとして推定されることになる。具体的には、対象者の眼球を撮影した画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標とこれらの点における楕円（つまり、推定対象である瞳孔または虹彩を表す楕円）の接線の傾きから、楕円のプロファイルである中心座標、偏角、長軸の長さ、短軸の長さを推定する。その際、所定のサンプリング周波数で画像を撮影している間、長軸の長さは変化しないものと仮定する。つまり、当該画像から長軸の長さを取得できるものとする。以下、その長さをRとする。
　以上より、瞳孔や虹彩の位置／大きさを推定する問題は、楕円上の点P1、点P2の座標(x1, y0), (x2, y0)と当該2点における楕円の接線の傾きθ1, θ2と楕円の長軸の長さRから楕円の中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbを求める問題に帰着する（ただし、Ra=Rである）。
　なお、対象者の眼球を撮影した画像から、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを求める方法については、後述する。
　以下、上記問題を解く手順について説明する。一般に、２次元平面上の任意の位置にある楕円は、以下の方程式により表される。
Figure JPOXMLDOC01-appb-M000001
　ここでは、上記問題を解くために、任意の位置にある楕円がx軸上の点(1, 0)、y軸上の点(0, 1)を通り、点(1, 0)においてx軸、点(0, 1)においてy軸に接する楕円に対応するように座標変換し、当該変換後の楕円が以下の式で表されることを用いて計算を行う。
Figure JPOXMLDOC01-appb-M000002
　ここで、αのことをハイパーパラメータという。
　以下、詳しく説明する。点P1における楕円の接線と点P2における楕円の接線の交点Cの座標(xs, ys)は、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2を用いて次式により表せる。
Figure JPOXMLDOC01-appb-M000003
　ここで、交点Cが点(0, 0)、点P1が点(1, 0)、点P2が点(0, 1)にそれぞれ対応するように座標系を変換して得られる楕円の方程式は、
Figure JPOXMLDOC01-appb-M000004
として、次式により表現できる。
Figure JPOXMLDOC01-appb-M000005
　すると、楕円のプロファイル、つまり、中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbは、ハイパーパラメータαを用いて、以下のように表現できる。
Figure JPOXMLDOC01-appb-M000006
ただし、
Figure JPOXMLDOC01-appb-M000007
である。ここで、式(4)中のRa,b 2は、Ra 2またはRb 2の意味であり、式(4)の右辺の値（つまり、±を用いて表される２つの値）のうち小さい方がRb 2、大きい方がRa 2であることを意味する。また、式(4)の右辺の平方根がRa, Rbとなる。
　なお、長軸の長さに対する短軸の長さの比r(=Rb/Ra)も、ハイパーパラメータαを用いて以下のように表現することができる。
Figure JPOXMLDOC01-appb-M000008
　以下、式(2a)と式(2b)をハイパーパラメータαを用いた中心座標(xc, yc)の表現という。同様に、式(3)をハイパーパラメータαを用いた偏角ψの表現、式(4)をハイパーパラメータαを用いた長軸の長さRaの表現、ハイパーパラメータαを用いた短軸の長さRbの表現、式(8)をハイパーパラメータαを用いた長軸の長さに対する短軸の長さの比rの表現という。また、ハイパーパラメータαのことを楕円プロファイルの表現に用いるハイパーパラメータともいう。
　したがって、上記表現を用いれば、式(4)を用いてRa=Rとなるハイパーパラメータα（ただし、|α|≦1）を求めることにより、中心座標(xc, yc)、偏角ψ、短軸の長さRbを求めることができる。
＜第１実施形態＞
　以下、図１～図２を参照して、眼情報推定装置１００を説明する。図１は、眼情報推定装置１００の構成を示すブロック図である。図２は、眼情報推定装置１００の動作を示すフローチャートである。図１に示すように眼情報推定装置１００は、画像取得部１１０と、プロファイル決定情報取得部１２０と、眼情報算出部１３０と、記録部１９０を含む。記録部１９０は、眼情報推定装置１００の処理に必要な情報を適宜記録する構成部である。
　図２に従い眼情報推定装置１００の動作について説明する。
［画像取得部１１０］
　Ｓ１１０において、画像取得部１１０は、対象者の眼球を撮影した画像を取得し、出力する。ここで、画像撮影に用いるカメラは、スマートフォンのカメラのようなサンプリング周波数が比較的低いカメラを想定しているが、サンプリング周波数が高いカメラを用いてもよい。なお、カメラは、左右両方の眼球を撮影するように設定してもよいし、いずれか一方の眼球のみを撮影するように設定してもよい。以下では、一方の眼球のみを撮影するように設定しているものとする。
［プロファイル決定情報取得部１２０］
　Ｓ１２０において、プロファイル決定情報取得部１２０は、Ｓ１１０で取得した画像を入力とし、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2と、当該楕円の長軸の長さRとをプロファイル決定情報として取得し、出力する。以下、点P1、点P2の座標(x1, y0), (x2, y0)、点P1、点P2における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを取得する方法について説明する。
　点P1、点P2の座標(x1, y0), (x2, y0)は、例えば、参考非特許文献１に記載された方法を用いて瞳孔または虹彩の領域／境界を検出することにより、取得することができる。
（参考非特許文献１：Daugman, J, “Probing the uniqueness and randomness of IrisCodes: Results from 200 billion iris pair comparisons”, Proceedings of the IEEE, Vol.94, No.11, pp.1927-1935, 2006.）
　点P1、点P2における楕円の接線の傾きθ1, θ2は、所定の行に隣接する行の上にある瞳孔または虹彩の外縁に対応する点の座標と、点P1、点P2の座標(x1, y0), (x2, y0)とを用いて取得することができる。具体的には、以下のようにして求める。まず、所定の行に隣接する行のうち、画像中、上側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点P1’、点P2’の座標を(x1’, y0’), (x2’, y0’)とし、傾きθ1’, θ2’を次式により求める（図３参照）。
Figure JPOXMLDOC01-appb-M000009
同様に、所定の行に隣接する行のうち、画像中、下側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点P1”、点P2”の座標を(x1”, y0”), (x2”, y0”)とし、傾きθ1”, θ2” を次式により求める。
Figure JPOXMLDOC01-appb-M000010
そして、傾きθ1, θ2を、傾きθ1’, θ2’, θ1”, θ2”を用いて次式により求める。
Figure JPOXMLDOC01-appb-M000011
つまり、傾きθ1, θ2は、所定の行に隣接する行のうち、画像中、上側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点の座標と点P1、点P2の座標(x1, y0), (x2, y0)とを用いて計算した傾きと、所定の行に隣接する行のうち、画像中、下側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点の座標と点P1、点P2の座標(x1, y0), (x2, y0)とを用いて計算した傾きの平均値として求められる。
　楕円の長軸の長さRは、画像に含まれる瞳孔または虹彩の外縁に対して楕円フィッティングを行った結果として得られる長軸の長さとして取得する。
［眼情報算出部１３０］
　Ｓ１３０において、眼情報算出部１３０は、Ｓ１２０で取得した点P1、点P2の座標(x1, y0), (x2, y0)、点P1、点P2における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを入力とし、点P1、点P2の座標(x1, y0), (x2, y0)と、点P1、点P2における楕円の接線の傾きθ1, θ2と、楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す楕円の短軸の長さRbを算出し、楕円の中心座標(xc, yc)と偏角ψ、及び／または、楕円の長軸の長さRaと短軸の長さRbを出力する。なお、長軸の長さRaについては、入力された値Rを出力すればよい。
　以下、図４～図５を参照して眼情報算出部１３０について説明する。図４は、眼情報算出部１３０の構成を示すブロック図である。図５は、眼情報算出部１３０の動作を示すフローチャートである。図４に示すように眼情報算出部１３０は、交点座標計算部１３１と、プロファイル算出部１３２を含む。
　図５に従い眼情報算出部１３０の動作について説明する。
［交点座標計算部１３１］
　Ｓ１３１において、交点座標計算部１３１は、点P1、点P2の座標(x1, y0), (x2, y0)と点P1、点P2における楕円の接線の傾きθ1, θ2とを用いて、これらの接線の交点Cの座標(xs, ys)を計算する。具体的には、式(1)により交点Cの座標(xs, ys)を計算する。
［プロファイル算出部１３２］
　Ｓ１３２において、プロファイル算出部１３２は、点P1、点P2の座標(x1, y0), (x2, y0)と、Ｓ１３１で計算した交点Cの座標(xs, ys)とを用いて、ハイパーパラメータα(ただし、|α|≦1)を求めることにより、楕円の中心座標(xc, yc)と偏角ψ、及び／または、楕円の短軸の長さRbを算出する。以下、具体的に説明する。
　まず、プロファイル算出部１３２は、点P1、点P2の座標(x1, y0), (x2, y0)と、交点Cの座標(xs, ys)とを用いて、ハイパーパラメータαを用いた長軸の長さRaの表現（つまり、式(4)）を求める。
　次に、プロファイル算出部１３２は、式(4)の長軸の長さRaの表現と長軸の長さRを用いて、ハイパーパラメータαを決定する。具体的には、式(4)の値がRとなるα(|α|≦1)を求めることになる。なお、式(4)の値がRとなるαが|α|≦1を満たさない場合には、当該画像から瞳孔または虹彩の位置／大きさを推定することができない（推定不能）と判断し、以下説明するプロファイルの算出を行わないものとする。
　そして、プロファイル算出部１３２は、上記決定したαを用いて、式(2a)、式(2b)、式(3)より、楕円の中心座標(xc, yc)と偏角ψを算出する。また、プロファイル算出部１３２は、上記決定したαを用いて、式(4)より、楕円の短軸の長さRbを算出する。なお、眼情報算出部１３０が、眼情報として瞳孔または虹彩の位置を表すプロファイルを出力する場合は、楕円の中心座標(xc, yc)と偏角ψのみを算出すればよいし、眼情報として瞳孔または虹彩の大きさを表すプロファイルを出力する場合は、楕円の短軸の長さRbのみを算出すればよい。
　なお、左右両方の眼球を撮影した画像を用いる場合は、Ｓ１２０～Ｓ１３０までの処理を各眼球に対して実行するようにすればよい。
　本実施形態の発明によれば、対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することが可能となる。
＜変形例１＞
　上述の説明では、長軸の長さRは画像から取得するものとして説明した。しかし、この方法に限らず、別の方法で長軸の長さRを求め、それを利用するようにしてもよい。例えば、成人の虹彩の大きさは時間的に大きく変化しないので、過去に既に虹彩の大きさを求めていてデータとして保有しているのであれば、カメラと眼球の距離に基づいて長軸の長さRの推定値を計算し、利用するようにしてもよい。この場合、例えば、長軸の長さRは記録部１９０に事前に記録しておくようにすればよい。
＜変形例２＞
　上述の説明では、画像中の所定の一行に関するプロファイル決定情報からプロファイル（瞳孔または虹彩の位置／大きさを表すプロファイル）を算出するものとして説明したが、プロファイル算出方法はこの方法に限るものではない。例えば、同一画像中の（楕円（の一部）が含まれる）複数の行に対して、Ｓ１２０～Ｓ１３０までの処理を繰り返し実行することにより、複数のプロファイルを取得し、当該取得した複数のプロファイルから求めた代表値（例えば、平均値等）をプロファイルとして出力するようにしてもよい。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 　対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2とを取得するプロファイル決定情報取得部と、
    　Rを前記楕円の長軸の長さとし、
    　前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2と、前記楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す前記楕円の短軸の長さRbを算出する眼情報算出部と
    　を含む眼情報推定装置。
  2. 　請求項１に記載の眼情報推定装置であって、
    　前記眼情報算出部は、
    　前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2とを用いて、これらの接線の交点Cの座標(xs, ys)を計算する交点座標計算部と、
    　前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記交点Cの座標(xs, ys)とを用いて、ハイパーパラメータα(ただし、|α|≦1)を求めることにより、前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、前記楕円の短軸の長さRbを算出するプロファイル算出部とを含む
    　ことを特徴とする眼情報推定装置。
  3. 　請求項１または２に記載の眼情報推定装置であって、
    　前記プロファイル決定情報取得部は、
    　前記所定の行に隣接する行の上にある瞳孔または虹彩の外縁に対応する点の座標と、前記点P1、点P2の座標(x1, y0), (x2, y0)とを用いて、前記点P1、点P2における楕円の接線の傾きθ1, θ2を取得する
    　ことを特徴とする眼情報推定装置。
  4. 　眼情報推定装置が、対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2とを取得するプロファイル決定情報取得ステップと、
    　Rを前記楕円の長軸の長さとし、
    　前記眼情報推定装置が、前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2と、前記楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す前記楕円の短軸の長さRbを算出する眼情報算出ステップと
    　を含む眼情報推定方法。
  5. 　請求項１ないし３のいずれか１項に記載の眼情報推定装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/031292 2018-08-30 2019-08-08 眼情報推定装置、眼情報推定方法、プログラム WO2020045023A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/271,074 US11941835B2 (en) 2018-08-30 2019-08-08 Eye information estimate apparatus, eye information estimate method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-161041 2018-08-30
JP2018161041A JP7180209B2 (ja) 2018-08-30 2018-08-30 眼情報推定装置、眼情報推定方法、プログラム

Publications (1)

Publication Number Publication Date
WO2020045023A1 true WO2020045023A1 (ja) 2020-03-05

Family

ID=69644890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031292 WO2020045023A1 (ja) 2018-08-30 2019-08-08 眼情報推定装置、眼情報推定方法、プログラム

Country Status (3)

Country Link
US (1) US11941835B2 (ja)
JP (1) JP7180209B2 (ja)
WO (1) WO2020045023A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349388B2 (ja) 2020-02-27 2023-09-22 大王製紙株式会社 包装シート、及び包装吸収性物品
CN115359548B (zh) * 2022-07-22 2023-07-18 吉林大学第一医院 一种手持式智能瞳孔检测装置及检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313447A (ja) * 1996-06-02 1997-12-09 Topcon Corp 眼底疾患に関する解析装置
JP2004028977A (ja) * 2002-05-02 2004-01-29 Fuji Xerox Co Ltd 位置計測システム
JP2011115460A (ja) * 2009-12-04 2011-06-16 Saga Univ 視線制御装置、視線制御方法、及びそのプログラム
WO2017154348A1 (ja) * 2016-03-08 2017-09-14 株式会社トプコン 眼科装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
WO2004069044A1 (ja) * 2003-02-03 2004-08-19 Kabushiki Kaisha Topcon 眼科データ測定装置、眼科データ測定プログラム及び眼特性測定装置
JP4767971B2 (ja) * 2005-01-26 2011-09-07 ハネウェル・インターナショナル・インコーポレーテッド 距離虹彩認識システム
US7668337B2 (en) * 2005-12-14 2010-02-23 Denso Corporation Ellipsoid detecting method, figure center detecting method, image recognizing device, and controller based on image
JP5158842B2 (ja) * 2007-04-24 2013-03-06 学校法人中部大学 眼球運動計測方法および眼球運動計測装置
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
US9301678B2 (en) * 2013-03-15 2016-04-05 Drexel University Apparatus and method for assessing effects of drugs by recording ocular parameters
US20150029322A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
KR20160094190A (ko) * 2015-01-30 2016-08-09 한국전자통신연구원 시선 추적 장치 및 방법
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN109429060B (zh) * 2017-07-07 2020-07-28 京东方科技集团股份有限公司 瞳孔距离测量方法、可穿戴眼部设备及存储介质
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
JP7001042B2 (ja) * 2018-11-08 2022-01-19 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313447A (ja) * 1996-06-02 1997-12-09 Topcon Corp 眼底疾患に関する解析装置
JP2004028977A (ja) * 2002-05-02 2004-01-29 Fuji Xerox Co Ltd 位置計測システム
JP2011115460A (ja) * 2009-12-04 2011-06-16 Saga Univ 視線制御装置、視線制御方法、及びそのプログラム
WO2017154348A1 (ja) * 2016-03-08 2017-09-14 株式会社トプコン 眼科装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKAYA, NAOKI: "Real-time Measurement of EyeMovement Based on Fast Ellipse Detection", DENSO TECHNICAL REVIEW, vol. 12, no. 1, 18 May 2007 (2007-05-18), pages 103 - 112 *
WATANABE, TAKASHI: "Extraction of Tangent Information and Detection of Broken Ellipses Using Hough Transform", PROCEEDINGS D-II OF IEICE), vol. J82-D-II, no. 12, December 1999 (1999-12-01), pages 2221 - 2229 *

Also Published As

Publication number Publication date
JP7180209B2 (ja) 2022-11-30
US11941835B2 (en) 2024-03-26
US20210319583A1 (en) 2021-10-14
JP2020031875A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
JP6374107B2 (ja) アイトラッキングシステムのための改良されたキャリブレーション
US10762674B2 (en) Beautifying freeform drawings using arc and circle center snapping
WO2020056903A1 (zh) 用于生成信息的方法和装置
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
US20170228453A1 (en) Photograph organization based on facial recognition
WO2020095708A1 (ja) 眼情報推定装置、眼情報推定方法、プログラム
US20120319817A1 (en) Biometric information processing apparatus and biometric information processing method
WO2020045023A1 (ja) 眼情報推定装置、眼情報推定方法、プログラム
JP6885474B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6936852B2 (ja) アイバッグの３次元分析のための、システム、デバイス、及び方法
JP6781417B2 (ja) 患者間脳レジストレーション
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
JP6396353B2 (ja) 判定装置、および判定方法
JP2017096656A (ja) 姿勢計測装置、方法及びプログラム
CN107844803A (zh) 一种图片比对的方法和装置
CN114743150A (zh) 目标跟踪方法、装置、电子设备及存储介质
US10609311B2 (en) Method and device for increasing resolution of an image sensor
US20160350608A1 (en) Biometrics authentication device and biometrics authentication method
WO2024047770A1 (ja) 情報処理システム、情報処理方法及び記録媒体
US11451887B1 (en) Systems, apparatus, and methods for providing filtered sets of sensor data
WO2023005341A1 (zh) 一种姿态估计方法、装置、设备及介质
Cortés et al. Asymmetry Level in Cleft Lip Children Using Dendrite Morphological Neural Network
US20220414225A1 (en) Systems, apparatus, and methods for embedded opt-in permission for an artifical intelligence service
JP2022092816A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
WO2020036019A1 (ja) 瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19853359

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19853359

Country of ref document: EP

Kind code of ref document: A1