WO2019240157A1 - 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム - Google Patents

眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム Download PDF

Info

Publication number
WO2019240157A1
WO2019240157A1 PCT/JP2019/023226 JP2019023226W WO2019240157A1 WO 2019240157 A1 WO2019240157 A1 WO 2019240157A1 JP 2019023226 W JP2019023226 W JP 2019023226W WO 2019240157 A1 WO2019240157 A1 WO 2019240157A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
eyeball
template
unit
feature point
Prior art date
Application number
PCT/JP2019/023226
Other languages
English (en)
French (fr)
Inventor
聖 星野
那由他 小野
Original Assignee
国立大学法人筑波大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人筑波大学 filed Critical 国立大学法人筑波大学
Priority to US16/973,754 priority Critical patent/US20210264618A1/en
Priority to JP2020525607A priority patent/JP7320283B2/ja
Publication of WO2019240157A1 publication Critical patent/WO2019240157A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to an eye movement measurement device, an eye movement measurement method, and an eye movement measurement program.
  • This application claims priority on June 12, 2018 based on Japanese Patent Application No. 2018-111535 for which it applied to Japan, and uses the content for it here.
  • an acquisition unit that acquires an eyeball image obtained by capturing an eyeball of a subject, a feature point extraction unit that extracts a feature point in a white-eye region included in the eyeball image acquired by the acquisition unit,
  • the candidate region generation unit that generates, for each feature point, a template candidate region that is a region including pixels of the feature points extracted by the feature point extraction unit in the eyeball image, and the candidate region generation unit generates Using the selection unit that selects, as a template region, the template candidate region that includes more feature points among the plurality of template candidate regions that are to be acquired, and the template region that is selected by the selection unit.
  • An eye comprising: a measuring unit that measures a three-dimensional movement of the eyeball including at least a rotation angle of the eyeball of the subject by tracking a movement of the eyeball image acquired by the unit It is a movement measuring apparatus.
  • the candidate region generation unit includes feature points corresponding to blood vessel positions in the white eye region among the feature points extracted by the feature point extraction unit.
  • the template candidate region is generated for each selected feature point.
  • the feature point extraction unit performs statistical processing including at least histogram flattening on the pixel value of each pixel in the white eye region, whereby the white eye region Extract feature points.
  • the selection unit is less frequently matched with a plurality of different regions in the eye image among the plurality of template candidate regions.
  • a candidate area is selected as the template area.
  • One embodiment of the present invention further includes an imaging unit that generates the eyeball image by imaging the eyeball of the subject in the eye movement measurement apparatus described above.
  • the first irradiation unit that irradiates the eyeball of the subject with an electromagnetic wave having a wavelength longer than 570 nanometers, and the electromagnetic wave having a wavelength shorter than 570 nanometers.
  • An irradiation control unit that irradiates electromagnetic waves from any one of the second irradiation unit that irradiates the eyeball of the subject, the first irradiation unit, and the second irradiation unit.
  • an acquisition step of acquiring an eyeball image obtained by capturing an eyeball of a subject, and a feature point extraction step of extracting a feature point in a white eye region included in the eyeball image acquired in the acquisition step A candidate area generating step for generating, for each feature point, a template candidate area that is an area including pixels of the feature points extracted in the feature point extracting step in the eyeball image; and the candidate area generating step
  • a selection step of selecting, as a template region, the template candidate region that includes a larger number of the feature points from among the plurality of template candidate regions generated in the step, and using the template region selected in the selection step Tracking the movement of the eyeball image acquired in the acquisition step More, a measurement step of measuring at least including eye three-dimensional motion rotation angle of the eyeball of the subject, it is the eye movement measuring method comprising the.
  • an acquisition step of acquiring an eyeball image in which a subject's eyeball is imaged and a feature point in a white-eye region included in the eyeball image acquired in the acquisition step are extracted by a computer.
  • a selection step of selecting, as a template region, the template candidate region that contains more feature points among the plurality of template candidate regions generated in the region generation step, and the template selected in the selection step Using the region, the movement of the eyeball image acquired in the acquisition step By tracking a eye movement measurement program for executing, a measurement step of measuring at least including eye three-dimensional motion rotation angle of the eyeball of the subject.
  • an eye movement measuring device an eye movement measuring method, and an eye movement measuring program capable of improving the eye movement measurement accuracy.
  • FIG. 1 is a diagram illustrating an example of a functional configuration of an eye movement measurement system 1 according to the present embodiment.
  • the eye movement measurement system 1 includes an eye movement measurement device 10 and an imaging device 20.
  • the case where the eye movement measurement device 10 and the imaging device 20 are configured as separate devices will be described, but the present invention is not limited thereto.
  • the eye movement measurement device 10 and the imaging device 20 may be configured as one integrated device. First, the configuration of the imaging device 20 will be described, and then the configuration of the eye movement measurement device 10 will be described.
  • the imaging device 20 includes an imaging unit 210.
  • the imaging unit 210 includes a camera that can capture a moving image, for example.
  • the imaging unit 210 generates an eyeball image IMG by imaging the eyeball EY of the subject SB.
  • the imaging device 20 is configured as a glasses-type goggles worn on the head of the subject SB.
  • the imaging device 20 includes a color board camera for angiography as the imaging unit 210, and images a blood vessel image of the eyeball EY and a pupil.
  • This color board camera is installed at the same height as the eyeball EY and at a distance of 20 mm (millimeters) from the eyeball in a direction of 50 degrees from the front to the outer corner of the eyeball.
  • the EW is imaged while keeping the angle of view.
  • the screen resolution of the imaging unit 210 is 720 ⁇ 480 [pixel], and the imaging speed is 29.97 [fps].
  • the relative positional relationship between the eyeball EY and the imaging unit 210 will be described.
  • [Relative positional relationship between eyeball and imaging unit] 2 to 10 are diagrams illustrating an example of the relative positional relationship between the eyeball EY and the imaging unit 210.
  • an angle formed by the direction in front of the head of the subject SB (front direction FA) and the direction of the visual axis AX of the eyeball EY is “angle ⁇ ”, the front direction FA and the imaging axis AI of the imaging unit 210.
  • the angle formed by the direction of is described as “angle ⁇ ”.
  • the angle ⁇ is also referred to as “line-of-sight angle ⁇ ”
  • the angle ⁇ is also referred to as “imaging angle ⁇ ”.
  • the distance between the lens of the imaging unit 210 and the center of the eyeball EY is referred to as “distance d”.
  • FIG. 2 is a diagram illustrating an example of the relative positional relationship when the imaging angle ⁇ 11 (40 degrees) and the distance d11 (15 mm) are provided.
  • the subject SB looks at the left direction with the face facing frontward.
  • the angle of view of the imaging unit 210 includes both the white eye portion of the eyeball EY and the black eye portion of the eyeball EY.
  • the imaging unit 210 can capture the white eye portion of the eyeball EY and the black eye portion of the eyeball EY.
  • the direction of the visual axis AX of the eyeball EY coincides with the direction of the front direction FA, and the visual line angle ⁇ is 0 degree. That is, in FIG. 2B, the subject SB looks at the front front.
  • the angle of view of the imaging unit 210 includes both the white eye portion of the eyeball EY and the black eye portion of the eyeball EY. That is, in the state of FIG. 2B, the imaging unit 210 can capture the white eye portion of the eyeball EY and the black eye portion of the eyeball EY.
  • FIG. 2B the direction of the visual axis AX of the eyeball EY coincides with the direction of the front direction FA, and the visual line angle ⁇ is 0 degree. That is, in FIG. 2B, the subject SB looks at the front front.
  • the angle of view of the imaging unit 210 includes both the white eye portion of the eyeball EY and the
  • the subject SB looks at the right direction with the face facing forward.
  • the angle of view of the imaging unit 210 includes the white-eye portion of the eyeball EY, but does not include the black-eye portion of the eyeball EY. That is, in the state of FIG. 2C, the imaging unit 210 can image the white eye portion of the eyeball EY, but cannot capture the black eye portion of the eyeball EY.
  • portions where the positional relationship between the imaging unit 210 and the eyeball EY is the same as that shown in FIG. 2 are omitted.
  • FIG. 3 is a diagram illustrating an example of the relative positional relationship when the imaging angle ⁇ 12 (50 degrees) and the distance d12 (15 mm) are provided.
  • the imaging unit 210 can capture both white eyes and black eyes.
  • the imaging unit 210 can capture both white eyes and black eyes.
  • the imaging unit 210 can image the white eye, but cannot image the black eye.
  • FIG. 4 is a diagram illustrating an example of the relative positional relationship in the case of the imaging angle ⁇ 13 (60 degrees) and the distance d13 (15 mm). Also in the case shown in FIG. 4, whether or not white eyes and black eyes can be imaged is the same as that described with reference to FIGS. That is, when the distance d is 15 mm, depending on the direction of the visual axis AX, it may not be possible to capture white eyes and black eyes simultaneously.
  • FIG. 5 is a diagram illustrating an example of the relative positional relationship in the case of the imaging angle ⁇ 21 (40 degrees) and the distance d21 (20 mm).
  • FIG. 6 is a diagram illustrating an example of the relative positional relationship in the case of the imaging angle ⁇ 22 (50 degrees) and the distance d22 (20 mm).
  • FIG. 7 is a diagram illustrating an example of the relative positional relationship in the case of the imaging angle ⁇ 23 (60 degrees) and the distance d23 (20 mm).
  • the imaging angle ⁇ is the imaging angle ⁇ 23 (60 degrees)
  • white eyes and black eyes may not be simultaneously imaged.
  • the imaging angle ⁇ is the imaging angle ⁇ 21 (40 degrees) and the imaging angle ⁇ 22 (50 degrees
  • white eyes and black eyes can be simultaneously imaged regardless of the direction of the visual axis AX.
  • FIG. 8 is a diagram illustrating an example of the relative positional relationship when the imaging angle ⁇ 31 (40 degrees) and the distance d31 (25 mm).
  • FIG. 9 is a diagram illustrating an example of the relative positional relationship when the imaging angle ⁇ 32 (50 degrees) and the distance d32 (25 mm) are provided.
  • FIG. 10 is a diagram illustrating an example of the relative positional relationship when the imaging angle ⁇ 33 (60 degrees) and the distance d32 (25 mm) are provided.
  • the relative positional relationship between the imaging unit 210 and the eyeball EY changes, there are cases where white eyes and black eyes can be imaged simultaneously and where imaging is impossible.
  • the distance d should be large and the imaging angle ⁇ should be small.
  • the distance d should be small and the imaging angle ⁇ should be large. That is, in order to increase the area of white eyes that can capture white eyes and black eyes at the same time and fall within the angle of view of the imaging unit 210, the relative positional relationship between the imaging unit 210 and the eyeball EY is set to a predetermined value.
  • the distance d is 20 to 25 mm and the imaging angle ⁇ is 40 to 50 degrees.
  • the imaging angle ⁇ may be 60 degrees.
  • the eye movement measurement device 10 includes an acquisition unit 110, a feature point extraction unit 120, a candidate area generation unit 130, a selection unit 140, and a measurement unit 150.
  • the acquisition unit 110 acquires an eyeball image IMG obtained by imaging the eyeball EY of the subject SB.
  • the feature point extraction unit 120 extracts feature points FP in the white eye region EW included in the eyeball image IMG acquired by the acquisition unit 110.
  • the candidate area generation unit 130 generates, for each feature point FP, a template candidate area TC that is an area including the pixels of the feature points FP extracted by the feature point extraction unit 120 in the eyeball image IMG.
  • the selection unit 140 selects, as the template region TP, a template candidate region TC that includes more feature points FP among the plurality of template candidate regions TC generated by the candidate region generation unit 130.
  • the measurement unit 150 uses the template region TP selected by the selection unit 140 to track the movement of the eyeball image IMG acquired by the acquisition unit 110, thereby including at least the rotation angle AT of the eyeball EY of the subject SB. Measure exercise. A specific example of the operation of these units will be described with reference to FIG.
  • FIG. 11 is a diagram illustrating an example of the operation of the eye movement measurement system 1 of the present embodiment.
  • Step S10 The eye movement measurement device 10 determines the template region TP.
  • the details of the procedure for determining the template region TP by the eye movement measurement device 10 will be described with reference to FIG.
  • FIG. 12 is a diagram illustrating an example of an operation for determining the template region TP of the eye movement measurement system 1 of the present embodiment.
  • the acquisition unit 110 acquires an eyeball image IMG captured by the imaging unit 210. An example of this eyeball image IMG is shown in FIG.
  • FIG. 13 is a diagram illustrating an example of the eyeball image IMG of the present embodiment.
  • the imaging unit 210 images the eyeball EY of the left eye of the subject SB and generates an eyeball image IMG.
  • This eyeball image IMG includes a white eye region EW.
  • Step S120 The feature point extraction unit 120 extracts an image of the white eye region EW (also referred to as a white eye image) from the eyeball image IMG acquired by the acquisition unit 110.
  • EW white eye region
  • Step S130 The feature point extraction unit 120 performs histogram flattening on the white-eye image extracted in step S120. By this histogram averaging, the feature point extraction unit 120 enhances the contrast of the white eye region EW and the blood vessel image, thereby enhancing the blood vessel image included in the white eye region EW.
  • the feature point extraction unit 120 performs the conversion shown in Expression (1) for the pixel value (for example, luminance value) of each pixel of the eyeball image IMG.
  • the feature point extraction unit 120 performs statistical processing including at least histogram flattening on the pixel value of each pixel in the white eye region EW.
  • An example of the image of the white eye region EW after the feature point extraction unit 120 performs the histogram flattening is shown in FIG.
  • FIG. 14 is a diagram illustrating an example of an image of the white eye region EW after the histogram flattening process according to the present embodiment.
  • Step S140 the feature point extraction unit 120 extracts feature points FP from the white-eye image subjected to the histogram flattening by a conventional method (for example, ORB; Oriented ; FAST and Rotated BRIEF).
  • a conventional method for example, ORB; Oriented ; FAST and Rotated BRIEF.
  • FIG. 15 is a diagram illustrating an example of the extraction result of the feature points FP of the present embodiment.
  • the feature point extraction unit 120 extracts the feature points FP in the white eye region EW by performing statistical processing on the pixel values of each pixel in the white eye region EW. In this example, the feature point extraction unit 120 performs histogram flattening as statistical processing for each pixel.
  • the feature point extraction unit 120 binarizes the white eye image extracted in step S120, and further thins the binarized image (blood vessel binarized thinned image BTN). Is generated. Specifically, the feature point extraction unit 120 uses an adaptive two-value threshold value that is obtained by subtracting an offset value (for example, 4) from the sum of the weighting by Gaussian in the luminance value of the size 17 ⁇ 17 [pixel] of the neighboring region. After performing the value processing, thinning processing is performed. As a result, the position PV of the blood vessel included in the image of the white eye region EW is extracted.
  • FIG. 16 is a diagram illustrating an example of a blood vessel binarized thinned image BTN according to the present embodiment.
  • Step S160 the feature point extraction unit 120 superimposes the feature point FP extracted in step S140 on the blood vessel position PV extracted in step S150, thereby extracting the feature point extracted in step S140.
  • a feature point around the blood vessel (blood vessel corresponding feature point VFP) is extracted from the FP.
  • An example of the blood vessel correspondence feature point VFP extracted by the feature point extraction unit 120 is shown in FIG.
  • FIG. 17 is a diagram showing an example of the blood vessel corresponding feature point VFP of the present embodiment. That is, the feature point extraction unit 120 selects the blood vessel corresponding feature point VFP as the feature point FP corresponding to the position PV of the blood vessel in the white eye region EW from the feature points FP.
  • the candidate area generation unit 130 has an area (for example, 50 [pixel] ⁇ 50 [pixel]) centered on a certain feature point FP among the feature points FP extracted in step S140.
  • the number of feature points included in the region (2) is counted for each feature point extracted in step S140.
  • the region centered on the feature point FP is also referred to as a template candidate region TC.
  • the candidate region generation unit 130 selects the feature point selected from the feature points FP extracted by the feature point extraction unit 120 as the feature point FP corresponding to the blood vessel position PV in the white-eye region EW (the blood vessel corresponding feature point VFP). )
  • a template candidate area TC is generated every time.
  • FIG. 18 is a diagram illustrating an example of the template candidate region TC according to the present embodiment.
  • a plurality of feature points FP are extracted in the white eye region EW shown in FIG.
  • the candidate region generation unit 130 generates a template candidate region TC for each feature point FP.
  • FIG. 5A shows a case where the candidate area generation unit 130 generates a template candidate area TC1 for the feature point FP1 and a template candidate area TC2 for the feature point FP2 among the plurality of feature points FP. Yes.
  • illustration of template candidate regions TC for other feature points FP is omitted.
  • the feature point FP referred to by the candidate region generation unit 130 described above for generating the template candidate region TC is the feature point FP corresponding to the position of the blood vessel position PV among all the feature points FP. (That is, the blood vessel corresponding feature point VFP).
  • the candidate area generation unit 130 counts the number CNT of the blood vessel corresponding feature points VFP included in the generated template candidate area TC.
  • the candidate region generation unit 130 counts the number CNT of the blood vessel corresponding feature points VFP included in the template candidate region TC1 as “7”.
  • the candidate region generation unit 130 counts the blood vessel corresponding feature point VFP CNT “11” for the template candidate region TC2
  • the number CNT “17” of corresponding feature points VFP and the number CNT “19” of blood vessel corresponding feature points VFP for the template candidate region TC5 are counted for each template candidate region TC.
  • the candidate area generation unit 130 corresponds to an area of 50 ⁇ 50 [pixel] around the pixel of the blood vessel corresponding feature point VFP shown in FIG. 17 in the image of the white eye area EW shown in FIG. A region at the position to be cut is cut out, and an image of the cut out region is generated as a template candidate region TC.
  • the candidate area generation unit 130 repeats the generation of the template candidate area TC for each blood vessel corresponding feature point VFP.
  • Step S180 the candidate area generation unit 130 ranks the template candidate areas TC based on the number of feature points FP counted in step S170.
  • FIG. 18C shows an example of ranking of the template candidate areas TC performed by the candidate area generating unit 130.
  • the selection unit 140 includes more feature points FP (or blood vessel corresponding feature points VFP) among the plurality of template candidate regions TC generated by the candidate region generation unit 130.
  • the template candidate area TC is selected as the template area TP. That is, the selection unit 140 selects a higher template candidate region TC as the template region TP from among the template candidate regions TC ranked by the candidate region generation unit 130.
  • the selection unit 140 removes the template candidate area TC including the reflected light image so as not to be selected as the template area TP.
  • the selection unit 140 creates a luminance value histogram of the white-eye region EW, and examines the luminance value within a predetermined range (for example, up to 10%) from the top with respect to the cumulative frequency of the created histogram.
  • a predetermined range for example, up to 10%
  • the selection unit 140 has reflection from the ambient light in the template candidate region TC. Is determined.
  • Step S ⁇ b> 200 The selection unit 140 removes the template candidate region TC that easily causes erroneous matching. Specifically, the selection unit 140 selects, as a template region TP, a template candidate region TC that is less frequently matched with a plurality of different regions in the eyeball image IMG among the plurality of template candidate regions TC. .
  • the white-eye region EW when a blood vessel image having a shape close to a straight line exists, a region including the blood vessel image and not including the image of the end point of the blood vessel is generated as the template candidate region TC.
  • the image similarity may increase in other regions within the white-eye region EW.
  • the template candidate region TC may be matched even in a region other than the originally matching region, that is, erroneously matched. Therefore, the selection unit 140 calculates the number of times that the degree of similarity exceeds 70% as a result of performing template matching using the template candidate region TC in the white-eye region EW.
  • the degree of similarity exceeds 70% at least once, and even when it is shifted by 1 [pixel] vertically and horizontally, in many cases.
  • Has a similarity of over 70% That is, in the calculation of the number of times by the selection unit 140, the number of times that the degree of similarity exceeds 70% can normally occur up to five times. However, if the degree of similarity exceeds 70% more than that, it is presumed that erroneous matching is caused.
  • the selection unit 140 determines that the template candidate region TC is a template candidate region TC that easily causes erroneous matching. It judges and excludes it from selection of template field TP.
  • Step S210 The selection unit 140 selects a template region TP from the template candidate regions TC excluding the template candidate regions TC excluded in Steps S190 and S200. That is, the selection unit 140 determines the template region TP.
  • Step S20 The acquisition unit 110 acquires an eyeball image IMG.
  • the measurement unit 150 calculates the pupil center coordinates by a known procedure based on the eyeball image IMG acquired by the acquisition unit 110. Specifically, the measurement unit 150 performs binarization and labeling processing on the eyeball image IMG, thereby extracting a pupil image region included in the eyeball image IMG. The measurement unit 150 extracts the outline of the pupil from the extracted pupil image, and acquires the convex hull of the outline. The measurement unit 150 calculates the center coordinates of the pupil by performing ellipse fitting on the point group obtained by the convex hull using, for example, the least square method. Note that the elliptical fitting is an example for calculating the center coordinates of the pupil, and the measurement unit 150 may calculate the center coordinates of the pupil by various procedures.
  • the measurement unit 150 tracks the blood vessel image in the white-eye region EW using the template region TP described above. Specifically, the measurement unit 150 performs adaptive binarization on a region corresponding to the template region TP of the eyeball image IMG acquired by the acquisition unit 110, and extracts a blood vessel image indicating the position PV of the blood vessel. The measurement unit 150 selects a region having the largest area in the eyeball image IMG by performing a labeling process on the eyeball image IMG after the adaptive binarization process. A normalized cross-correlation coefficient is used for calculation of similarity in template matching performed by the measurement unit 150. The normalized cross-correlation coefficient R (x, y) is expressed by equations (2) to (4).
  • x, y xy coordinates of the pixel to be referred to
  • w vertical size of the template image
  • h horizontal size of the template image
  • I luminance value in the search image
  • T luminance value of the template image
  • R (x, y) takes the largest value (x, y) is a coordinate corresponding to the upper left corner of the template region TP described above.
  • the position PV of the blood vessel (coordinates of the blood vessel image) is defined as the center of the template image.
  • the coordinates obtained by template matching are (x + w / 2, y + h / 2).
  • the measuring unit 150 calculates the rotation angle based on the result of template matching using the template region TP.
  • the measurement unit 150 calculates an eyeball rotation angle from the difference between the angle ⁇ i obtained from the i-th frame image used to determine the template region TP and the angle ⁇ (i + t) after t frames from the i-th frame. .
  • the measurement unit 150 does not consider that the eyeball is a sphere for simplification of processing, and simply uses an inverse trigonometric function from two (x, y) coordinates in the same manner as the angle calculation on a plane.
  • the angle may be obtained.
  • the angle ⁇ i calculated from the coordinates of the center of the template region TP with respect to the coordinates of the center of the pupil is expressed by the following equation.
  • the angle ⁇ i obtained from the image of the i-th frame used for determining the template region TP is defined as an eyeball rotation angle 0 [deg].
  • the measuring unit 150 calculates the rotation angle from the difference from ⁇ (i + t) obtained from the coordinates (x + w / 2, y + h / 2) of the blood vessel image obtained by template matching after the T frame.
  • the measurement unit 150 may perform template matching in the template matching described above using the template region TP that has been rotated in advance with the pupil center as the rotation center.
  • FIG. 19 is a diagram illustrating a modification of the functional configuration of the eye movement measurement system 1.
  • the eye movement measurement system 1a of the present modification includes the eye movement measurement apparatus 10a described above in that the eye movement measurement apparatus 10a includes the irradiation control unit 160, and the imaging apparatus 20a includes the first irradiation unit 220 and the second irradiation unit 230. Different from system 1.
  • the irradiation control unit 160 irradiates the electromagnetic wave from either the first irradiation unit 220 or the second irradiation unit 230.
  • the first irradiation unit 220 irradiates the eyeball EY of the subject SB with electromagnetic waves.
  • the electromagnetic wave irradiated from the first irradiation unit 220 is, for example, visible light in a wavelength region such as green light, yellow light, and red light, or infrared light having a longer wavelength.
  • the first irradiation unit 220 irradiates the eyeball EY of the subject SB with an electromagnetic wave having a wavelength longer than 495 nanometers.
  • the first irradiation unit 220 includes a red LED (light emitting diode) and emits red light.
  • the second irradiation unit 230 irradiates the eyeball EY of the subject SB with an electromagnetic wave having a wavelength shorter than 570 nm and shorter than the wavelength of the electromagnetic wave irradiated by the first irradiation unit 220.
  • the electromagnetic wave irradiated from the second irradiation unit 230 is, for example, visible light in a wavelength region such as green light, blue light, and violet light, or ultraviolet light having a shorter wavelength.
  • the second irradiation unit 230 when the first irradiation unit 220 emits electromagnetic waves having a wavelength of 495 nanometers (for example, green light), the second irradiation unit 230 has electromagnetic waves having a wavelength shorter than 495 nanometers, for example, 450 Irradiate electromagnetic waves with a wavelength of nanometer (for example, blue light).
  • the first irradiation unit 220 emits an electromagnetic wave having a wavelength of 570 nanometers (for example, yellow light) the second irradiation unit 230 has an electromagnetic wave having a wavelength shorter than 570 nanometers.
  • an electromagnetic wave having a wavelength of 495 nanometers (for example, green light) is irradiated.
  • the 2nd irradiation part 230 is provided with blue LED, and irradiates blue light.
  • the irradiation control unit 160 irradiates electromagnetic waves from either the first irradiation unit 220 or the second irradiation unit 230.
  • the 1st irradiation part 220 irradiates red light (or electromagnetic waves with a longer wavelength).
  • the second irradiation unit 230 emits blue light (or an electromagnetic wave having a shorter wavelength).
  • the pupil of the eyeball EY is easily depicted.
  • blood vessels in the white-eye region EW of the eyeball EY are easily depicted.
  • the irradiation control unit 160 emits red light when the measurement unit 150 calculates the coordinates of the pupil of the eyeball EY, and emits blue light when the measurement unit 150 calculates the coordinates of the blood vessels of the eyeball EY. To do.
  • the irradiation control unit 160 sets the irradiation wavelength switching cycle to a half of the imaging frame cycle of the imaging unit 210.
  • the measurement unit 150 detects the center of the pupil when the average value of the entire luminance value of the eyeball image IMG is equal to or greater than a predetermined value (for example, 200 in the case of 256 gradations). If the value is less than the value, the position PV of the blood vessel is tracked.
  • the irradiation control unit 160 outputs a signal indicating which wavelength of the electromagnetic wave is being irradiated to the imaging unit 210, the acquisition unit 110, or the measurement unit 150, and the eyeball imaged with the irradiation wavelength.
  • the image IMG may be synchronized.
  • the eye movement measurement system 1 measures the three-dimensional movement of the eyeball by tracking the movement of the eyeball image IMG using the template region TP.
  • This eye movement measurement system 1 selects a template candidate region TC that includes more feature points FP from among a plurality of template candidate regions TC as a template region TP.
  • the template candidate region TC containing more feature points FP has higher template matching performance than the template candidate region TC having fewer feature points FP.
  • the eye movement measurement system 1 can improve the tracking performance of the eyeball image IMG. That is, according to the eye movement measurement system 1 of the present embodiment, the measurement accuracy of eye movement can be improved.
  • the eye movement measurement system 1 has the feature point selected as the feature point FP corresponding to the position PV of the blood vessel in the white eye region EW among the extracted feature points FP (that is, the blood vessel correspondence feature point).
  • a template candidate region TC is generated for each (VFP).
  • the feature point FP extracted from the white-eye region EW is derived from an image of a blood vessel of the eyeball EY and one derived from an image of elements other than blood vessels (for example, eyelids, eyelashes, dust, etc.). There is. Since the position of the blood vessel of the eyeball EY does not change with respect to the eyeball EY, the blood vessel well represents the movement of the eyeball EY.
  • the position of the elements other than the blood vessel may fluctuate with respect to the eyeball EY, the movement of the eyeball EY is not necessarily represented. Therefore, in order to improve the tracking performance of the movement of the eyeball EY, it is preferable to set the region including the image of the blood vessel as the template region TP rather than the region including the image of the elements other than the blood vessel as the template region TP. That is, a region including an image of an element other than a blood vessel has relatively low tracking performance of the eyeball EY when used as the template region TP.
  • the eye movement measurement system 1 can improve the tracking performance of the movement of the eyeball EY by setting a region corresponding to the blood vessel position PV as a generation target of the template candidate region TC.
  • the eye movement measurement system 1 excludes a region that does not correspond to the position PV of the blood vessel (that is, a region where the tracking performance of the movement of the eyeball EY is relatively low) from the generation target of the template candidate region TC.
  • the number of TC candidates can be reduced. That is, according to the eye movement measurement system 1, the amount of calculation for selecting the template region TP can be reduced. That is, according to the eye movement measurement system 1 configured as described above, it is possible to achieve both improvement of the tracking performance of the movement of the eyeball EY and reduction of the calculation amount.
  • the eye movement measurement system 1 extracts feature points FP in the white eye region EW by performing statistical processing including at least histogram flattening on the pixel values of each pixel in the white eye region EW.
  • the white-eye image of the eyeball EY the area of the ground color (white) is relatively large, and the area of the blood vessel color (red to dark red to black) from which the feature point FP is extracted is relatively small.
  • the color of the blood vessel may have low saturation and low (weak) contrast as a whole image. Therefore, if the image of the white eye region EW is simply binarized, it may be difficult to extract a blood vessel image.
  • the eye movement measurement system 1 of the present embodiment since the histogram is flattened for the pixel values of each pixel in the white eye region EW, it is easy to distinguish the ground color from the blood vessel color for the white eye region EW. be able to. That is, according to the eye movement measurement system 1, the extraction performance of the blood vessel position PV can be improved, so that the tracking performance of the movement of the eyeball EY can be improved.
  • the eye movement measurement system 1 selects a template candidate region TC that is less frequently matched with a plurality of different regions in the eyeball image IMG from among the plurality of template candidate regions TC as a template region TP.
  • the template candidate region TC includes a relatively high and low tracking performance of the eyeball EY.
  • the template candidate region TC may match a plurality of regions in the white-eye region EW. In the case of such a template candidate area TC, when following the movement of the eyeball EY, it is not determined which of the plurality of areas is matched, so that the movement tracking performance of the eyeball EY is low.
  • the tracking performance of the movement of the eyeball EY is high. That is, the smaller the number of regions that match the template candidate region TC, the higher the tracking performance of the eyeball EY.
  • the template candidate region TC matches a certain region in the white eye region EW, it may also match the region around the region. Therefore, if the selection conditions for the template region TP are limited to the template candidate region TC that matches only a single region, there are fewer options for the template candidate region TC, and the tracking performance may be reduced.
  • the eye movement measurement system 1 of the present embodiment selects the template region TP based on the frequency of matching for a plurality of regions. For example, the eye movement measurement system 1 selects a template candidate region TC having a matching frequency of 2 or more and a predetermined value or less (for example, 5 or less) as the template region TP. By configuring in this way, the eye movement measurement system 1 can suppress the decrease in the number of options for the template candidate region TC and improve the movement tracking performance of the eyeball EY.
  • the eye movement measurement system 1 of the present embodiment includes an imaging unit 210.
  • the eye movement measurement system 1 integrates the image pickup apparatus 20 including the image pickup unit 210 and the eye movement measurement apparatus 10, thereby connecting a wired or wireless communication function for connecting the image pickup apparatus 20 and the eye movement measurement apparatus 10. Can be simplified.
  • the eye movement measurement system 1 includes a first irradiation unit 220, a second irradiation unit 230, and an irradiation control unit 160.
  • the first irradiation unit 220 irradiates the eyeball EY with long-wave electromagnetic waves (for example, green light, yellow light, red light, and infrared rays).
  • long-wave electromagnetic waves for example, green light, yellow light, red light, and infrared rays.
  • the pupil rendering performance of the eyeball EY is improved in the image generated by the imaging unit 210.
  • the second irradiation unit 230 irradiates the eyeball EY with a short-wave electromagnetic wave (for example, blue light or ultraviolet light).
  • the blood vessel rendering performance of the white-eye region EW of the eyeball EY is improved in the image generated by the imaging unit 210.
  • the imaging performance of either (or both) of the pupil of the eyeball EY and the blood vessel of the white eye region EW of the eyeball EY May not be improved.
  • the irradiation control unit 160 since the irradiation control unit 160 exclusively irradiates long-wave electromagnetic waves and short-wave electromagnetic waves, the pupil rendering performance of the eyeball EY and the white-eye area EW of the eyeball EY. Both blood vessel rendering performance can be improved.
  • each of the above devices has a computer inside.
  • the process of each device described above is stored in a computer-readable recording medium in the form of a program, and the above-described processing is performed by the computer reading and executing the program.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

眼球運動測定装置は、被験者の眼球が撮像された眼球画像を取得する取得部と、取得部が取得する眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出部と、眼球画像のうち、特徴点抽出部が抽出する特徴点の画素を含む領域であるテンプレート候補領域を、特徴点毎に生成する候補領域生成部と、候補領域生成部が生成する複数のテンプレート候補領域のうち、特徴点がより多く含まれているテンプレート候補領域を、テンプレート領域として選択する選択部と、選択部が選択するテンプレート領域を用いて、取得部が取得する眼球画像の動きを追跡することにより、被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定部とを備える。

Description

眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム
　本発明は、眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラムに関する。
　本願は、２０１８年６月１２日に、日本に出願された特願２０１８－１１１５３５号に基づき優先権を主張し、その内容をここに援用する。
　従来、例えばＨＭＤを用いたＶＲ画像による映像酔いや、３Ｄ酔いを定量化するために、眼球を撮像することによって眼球運動を計測する技術が開示されている（例えば、特許文献１を参照）。
特開２０１７－１８９４７０号公報
　しかしながら、特許文献１に示すような技術によると、撮像された眼球の画像の状況によっては眼球運動（特に、眼球回旋運動）の計測精度が低下してしまうことがあり、この場合には、安定した計測ができないという課題があった。
　本発明の一実施形態は、被験者の眼球が撮像された眼球画像を取得する取得部と、前記取得部が取得する前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出部と、前記眼球画像のうち、前記特徴点抽出部が抽出する前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成部と、前記候補領域生成部が生成する複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択部と、前記選択部が選択する前記テンプレート領域を用いて、前記取得部が取得する前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定部と、を備える眼球運動測定装置である。
　本発明の一実施形態は、上述の眼球運動測定装置において前記候補領域生成部は、前記特徴点抽出部が抽出する前記特徴点のうち、前記白目領域内の血管の位置に対応する特徴点として選択された前記特徴点毎に、前記テンプレート候補領域を生成する。
　本発明の一実施形態は、上述の眼球運動測定装置において前記特徴点抽出部は、前記白目領域内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、前記白目領域内の特徴点を抽出する。
　本発明の一実施形態は、上述の眼球運動測定装置において前記選択部は、複数の前記テンプレート候補領域のうち、前記眼球画像内の互いに異なる複数の領域に対してマッチングする頻度がより少ない前記テンプレート候補領域を、前記テンプレート領域として選択する。
　本発明の一実施形態は、上述の眼球運動測定装置において、前記被験者の眼球を撮像することにより前記眼球画像を生成する撮像部をさらに備える。
　本発明の一実施形態は、上述の眼球運動測定装置において、波長が５７０ナノメートルより長い電磁波を前記被験者の眼球に対して照射する第１照射部と、波長が５７０ナノメートルより短い電磁波を前記被験者の眼球に対して照射する第２照射部と、前記第１照射部と、前記第２照射部とのうちいずれか一方から電磁波を照射させる照射制御部と、を更に備える。
　本発明の一実施形態は、被験者の眼球が撮像された眼球画像を取得する取得ステップと、前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、を有する眼球運動測定方法である。
　本発明の一実施形態は、コンピュータに、被験者の眼球が撮像された眼球画像を取得する取得ステップと、前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、を実行させるための眼球運動測定プログラムである。
　本発明によれば、眼球運動の計測精度を向上させることができる眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラムを提供することができる。
本実施形態の眼球運動測定システムの機能構成の一例を示す図である。 撮像角度４０度、距離１５ｍｍの場合の相対位置の一例を示す図である。 撮像角度５０度、距離１５ｍｍの場合の相対位置の一例を示す図である。 撮像角度６０度、距離１５ｍｍの場合の相対位置の一例を示す図である。 撮像角度４０度、距離２０ｍｍの場合の相対位置の一例を示す図である。 撮像角度５０度、距離２０ｍｍの場合の相対位置の一例を示す図である。 撮像角度６０度、距離２０ｍｍの場合の相対位置の一例を示す図である。 撮像角度４０度、距離２５ｍｍの場合の相対位置の一例を示す図である。 撮像角度５０度、距離２５ｍｍの場合の相対位置の一例を示す図である。 撮像角度６０度、距離２５ｍｍの場合の相対位置の一例を示す図である。 本実施形態の眼球運動測定システムの動作の一例を示す図である。 本実施形態の眼球運動測定システムのテンプレート領域を決定する動作の一例を示す図である。 本実施形態の眼球画像の一例を示す図である。 本実施形態のヒストグラム平坦化処理後の白目領域の画像の一例を示す図である。 本実施形態の特徴点の抽出結果の一例を示す図である。 本実施形態の血管二値化細線化画像の一例を示す図である。 本実施形態の血管対応特徴点の一例を示す図である。 本実施形態のテンプレート候補領域の一例を示す図である。 眼球運動測定システムの機能構成の変形例を示す図である。
［実施形態］
　以下、図面を参照して本実施形態の眼球運動測定システム１について説明する。
　図１は、本実施形態の眼球運動測定システム１の機能構成の一例を示す図である。眼球運動測定システム１は、眼球運動測定装置１０と、撮像装置２０とを備える。
　なお、この一例においては、眼球運動測定装置１０と撮像装置２０とが別装置として構成される場合について説明するが、これに限られない。眼球運動測定装置１０と撮像装置２０とは一体化された１つの装置として構成されてもよい。
　まず、撮像装置２０の構成について説明し、次に眼球運動測定装置１０の構成について説明する。
［撮像装置２０の機能構成］
　撮像装置２０は、撮像部２１０を備える。撮像部２１０は、例えば動画像を撮像可能なカメラを備えている。撮像部２１０は、被験者ＳＢの眼球ＥＹを撮像することにより眼球画像ＩＭＧを生成する。
　この一例では、撮像装置２０は、被験者ＳＢの頭部に装着されるメガネ型のゴーグルとして構成される。撮像装置２０は、撮像部２１０としての血管撮影用のカラーボードカメラを備え、眼球ＥＹの血管像と瞳孔とを撮像する。このカラーボードカメラは、眼球ＥＹと同じ高さで、眼球から２０ｍｍ（ミリメートル）離れた位置に、正面から目尻側へ５０度の方向に設置し、主に眼球ＥＹの黒目と目尻側の白目領域ＥＷとを画角に収めつつ撮像する。撮像部２１０の画面解像度は７２０×４８０［ｐｉｘｅｌ］、撮像速度２９．９７［ｆｐｓ］である。
　ここで、眼球ＥＹと撮像部２１０との間の相対的な位置関係について説明する。
［眼球と撮像部との間の相対的な位置関係］
　図２から図１０までは、いずれも、眼球ＥＹと撮像部２１０との相対位置関係の一例を示す図である。以下の説明において、被験者ＳＢの頭部正面の方向（正面方向ＦＡ）と、眼球ＥＹの視線軸ＡＸの方向とが成す角を「角α」と、正面方向ＦＡと撮像部２１０の撮像軸ＡＩの方向とが成す角を「角θ」と記載する。なお、以下の説明において、角αのことを「視線角度α」とも称し、角θのことを「撮像角度θ」とも称する。また、撮像部２１０のレンズと眼球ＥＹの中心との間の距離を「距離ｄ」と記載する。
　まず、距離ｄが１５ｍｍである場合について説明する。
　図２は、撮像角度θ１１（４０度）、距離ｄ１１（１５ｍｍ）である場合の相対位置関係の一例を示す図である。
　図２（ａ）において、眼球ＥＹの視線軸ＡＸの方向は、正面方向ＦＡの方向に対して左方向に４５度回転している。すなわち、視線角度αについて、角α１＝４５度である。この図２（ａ）において、被験者ＳＢは顔面を正面前方に向けながら、左方向を見ている。
この場合、撮像部２１０の画角には、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分とのいずれもが含まれる。つまり、この図２（ａ）の状態において、撮像部２１０は、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分を撮像可能である。
　図２（ｂ）において、眼球ＥＹの視線軸ＡＸの方向と、正面方向ＦＡの方向とは一致しており視線角度αは０度である。つまり、この図２（ｂ）において、被験者ＳＢは正面前方を見ている。この一例の場合、撮像部２１０の画角には、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分とのいずれもが含まれる。つまり、この図２（ｂ）の状態において、撮像部２１０は、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分を撮像可能である。
　図２（ｃ）において、眼球ＥＹの視線軸ＡＸの方向は、正面方向ＦＡの方向に対して右方向に４５度回転している。すなわち、角α３＝４５度である。この図２（ｃ）において、被験者ＳＢは顔面を正面前方に向けながら、右方向を見ている。この場合、撮像部２１０の画角には、眼球ＥＹの白目の部分が含まれるが、眼球ＥＹの黒目の部分は含まれない。つまり、この図２（ｃ）の状態において、撮像部２１０は、眼球ＥＹの白目の部分を撮像可能であるが、眼球ＥＹの黒目の部分を撮像することはできない。
　なお、以下の説明において、撮像部２１０と眼球ＥＹとの位置関係が図２に示した場合と同様である部分については省略する。
　図３は、撮像角度θ１２（５０度）、距離ｄ１２（１５ｍｍ）である場合の相対位置関係の一例を示す図である。図３（ａ）の状態において、撮像部２１０は、白目と、黒目とをいずれも撮像可能である。図３（ｂ）の状態において、撮像部２１０は、白目と、黒目とをいずれも撮像可能である。図３（ｃ）の状態において、撮像部２１０は、白目を撮像可能であるが、黒目を撮像することはできない。
　図４は、撮像角度θ１３（６０度）、距離ｄ１３（１５ｍｍ）である場合の相対位置関係の一例を示す図である。この図４に示す場合も、白目及び黒目の撮像可否は、図２、図３を参照して説明した場合と同様である。
　つまり、距離ｄが１５ｍｍである場合には、視線軸ＡＸの方向によっては、白目と黒目とを同時に撮像することができない場合がある。
　次に、距離ｄが２０ｍｍである場合について説明する。
　図５は、撮像角度θ２１（４０度）、距離ｄ２１（２０ｍｍ）である場合の相対位置関係の一例を示す図である。
　図６は、撮像角度θ２２（５０度）、距離ｄ２２（２０ｍｍ）である場合の相対位置関係の一例を示す図である。
　図７は、撮像角度θ２３（６０度）、距離ｄ２３（２０ｍｍ）である場合の相対位置関係の一例を示す図である。
　これら図５～図７を参照すると、撮像角度θが、撮像角度θ２３（６０度）である場合には、白目と黒目とを同時に撮像することができない場合がある。一方、撮像角度θが、撮像角度θ２１（４０度）及び撮像角度θ２２（５０度）である場合には、視線軸ＡＸの方向によらず白目と黒目とを同時に撮像可能である。
　次に、距離ｄが２５ｍｍである場合について説明する。
　図８は、撮像角度θ３１（４０度）、距離ｄ３１（２５ｍｍ）である場合の相対位置関係の一例を示す図である。
　図９は、撮像角度θ３２（５０度）、距離ｄ３２（２５ｍｍ）である場合の相対位置関係の一例を示す図である。
　図１０は、撮像角度θ３３（６０度）、距離ｄ３２（２５ｍｍ）である場合の相対位置関係の一例を示す図である。
　これら図８～図１０を参照すると、撮像角度θが撮像角度θ３１、撮像角度θ３２及び撮像角度θ３３のいずれであっても、視線軸ＡＸの方向によらず白目と黒目とを同時に撮像可能である。
　すなわち、撮像部２１０と眼球ＥＹとの相対的な位置関係が変化すると、白目と黒目とが同時に撮像できる場合と撮像できない場合とが生じる。この一例では、白目と黒目とを同時に撮像するためには、距離ｄは大きいほうがよく、撮像角度θは小さいほうがよい。
また、撮像部２１０の画角内に収まる白目の面積を大きくするためには、距離ｄは小さいほうがよく、撮像角度θは大きいほうがよい。つまり、白目と黒目とを同時に撮像可能であり、かつ撮像部２１０の画角内に収まる白目の面積を大きくするためには、撮像部２１０と眼球ＥＹとの相対的な位置関係が、所定の範囲内にあることが求められる。この所定の範囲の一例として、上述したように、距離ｄが２０～２５ｍｍ、撮像角度θが４０度～５０度であることが望ましい。また、この所定の範囲の一例として、上述したように、距離ｄが２５ｍｍである場合には、撮像角度θが６０度であってもよい。
［眼球運動測定装置１０の機能構成］
　図１に戻り、眼球運動測定装置１０の機能構成について説明する。眼球運動測定装置１０は、取得部１１０と、特徴点抽出部１２０と、候補領域生成部１３０と、選択部１４０と、測定部１５０とを備える。
　取得部１１０は、被験者ＳＢの眼球ＥＹが撮像された眼球画像ＩＭＧを取得する。
　特徴点抽出部１２０は、取得部１１０が取得する眼球画像ＩＭＧに含まれる白目領域ＥＷ内の特徴点ＦＰを抽出する。
　候補領域生成部１３０は、眼球画像ＩＭＧのうち、特徴点抽出部１２０が抽出する特徴点ＦＰの画素を含む領域であるテンプレート候補領域ＴＣを、特徴点ＦＰ毎に生成する。
　選択部１４０は、候補領域生成部１３０が生成する複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
　測定部１５０は、選択部１４０が選択するテンプレート領域ＴＰを用いて、取得部１１０が取得する眼球画像ＩＭＧの動きを追跡することにより、被験者ＳＢの眼球ＥＹの回旋角度ＡＴを少なくとも含む眼球三次元運動を測定する。
　これら各部の動作の具体例について、図１１を参照して説明する。
［眼球運動測定システムの動作］
　図１１は、本実施形態の眼球運動測定システム１の動作の一例を示す図である。
　（ステップＳ１０）眼球運動測定装置１０は、テンプレート領域ＴＰを決定する。ここで、眼球運動測定装置１０がテンプレート領域ＴＰを決定する手順の詳細について、図１２を参照して説明する。
［テンプレート画像の決定］
　図１２は、本実施形態の眼球運動測定システム１のテンプレート領域ＴＰを決定する動作の一例を示す図である。
　（ステップＳ１１０）取得部１１０は、撮像部２１０が撮像した眼球画像ＩＭＧを取得する。この眼球画像ＩＭＧの一例について、図１３に示す。
　図１３は、本実施形態の眼球画像ＩＭＧの一例を示す図である。この一例においては、撮像部２１０は、被験者ＳＢの左目の眼球ＥＹを撮像して眼球画像ＩＭＧを生成する。この眼球画像ＩＭＧには、白目領域ＥＷが含まれている。
　（ステップＳ１２０）特徴点抽出部１２０は、取得部１１０が取得した眼球画像ＩＭＧから白目領域ＥＷの画像（白目画像ともいう。）を抽出する。
（ステップＳ１３０）特徴点抽出部１２０は、ステップＳ１２０において抽出した白目画像に対して、ヒストグラム平坦化を行う。このヒストグラム平均化によって、特徴点抽出部１２０は、白目領域ＥＷと血管像との濃淡コントラストを大きくすることにより、白目領域ＥＷに含まれる血管の画像を強調する。
　具体的には、特徴点抽出部１２０は、眼球画像ＩＭＧの各画素の画素値（例えば、輝度値）について、式（１）に示す変換を行う。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｚ：変換前の輝度値、ｚ’：変換後の輝度値、ｈ（ｚ）：輝度値ｚにおける画素数、Ｈｅｉｇｈｔ：入力画像の縦の大きさ、Ｗｉｄｔｈ：入力画像の横の大きさ、である。
　すなわち、特徴点抽出部１２０は、白目領域ＥＷ内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行う。特徴点抽出部１２０がヒストグラム平坦化を行った後の白目領域ＥＷの画像の一例を図１４に示す。
　図１４は、本実施形態のヒストグラム平坦化処理後の白目領域ＥＷの画像の一例を示す図である。
（ステップＳ１４０）図１２に戻り、特徴点抽出部１２０は、ヒストグラム平坦化を行った白目画像に対して、従来手法（例えば、ＯＲＢ；Oriented FAST and Rotated BRIEF）によって特徴点ＦＰの抽出を行う。特徴点抽出部１２０が特徴点ＦＰの抽出を行った結果の一例を図１５に示す。
　図１５は、本実施形態の特徴点ＦＰの抽出結果の一例を示す図である。特徴点抽出部１２０は、特徴点抽出部１２０は、白目領域ＥＷ内の各画素の画素値について統計処理を行うことにより、白目領域ＥＷ内の特徴点ＦＰを抽出する。この一例では、特徴点抽出部１２０は、各画素に対する統計処理として、ヒストグラム平坦化を行う。
　（ステップＳ１５０）図１２に戻り、特徴点抽出部１２０は、ステップＳ１２０において抽出した白目画像を二値化し、さらに、二値化した画像を細線化した画像（血管二値化細線化画像ＢＴＮ）を生成する。具体的には、特徴点抽出部１２０は、近傍領域のサイズ１７×１７［ｐｉｘｅｌ］の輝度値においてガウシアンによる重み付けの総和からオフセット値（例えば、４）を差し引いた数値を閾値とする適応的二値化処理を行った後、細線化処理を行う。この結果、白目領域ＥＷの画像に含まれる血管の位置ＰＶが抽出される。
特徴点抽出部１２０が生成する血管二値化細線化画像ＢＴＮの一例を図１６に示す。
　図１６は、本実施形態の血管二値化細線化画像ＢＴＮの一例を示す図である。
　（ステップＳ１６０）図１２に戻り、特徴点抽出部１２０は、ステップＳ１４０において抽出した特徴点ＦＰと、ステップＳ１５０において抽出した血管の位置ＰＶとを重ね合わせることにより、ステップＳ１４０において抽出された特徴点ＦＰのうち血管の周囲の特徴点（血管対応特徴点ＶＦＰ）を抽出する。この特徴点抽出部１２０が抽出した血管対応特徴点ＶＦＰの一例を図１７に示す。
　図１７は、本実施形態の血管対応特徴点ＶＦＰの一例を示す図である。すなわち、特徴点抽出部１２０は、特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとしての血管対応特徴点ＶＦＰを選択する。
　（ステップＳ１７０）図１２に戻り、候補領域生成部１３０は、ステップＳ１４０において抽出された特徴点ＦＰのうちの、ある特徴点ＦＰを中心とする領域（例えば、５０［ｐｉｘｅｌ］×５０［ｐｉｘｅｌ］の領域）内に、特徴点がいくつ含まれるかを、ステップＳ１４０において抽出された特徴点毎に計数する。以下の説明において、この特徴点ＦＰを中心とする領域のことを、テンプレート候補領域ＴＣともいう。
　すなわち、候補領域生成部１３０は、特徴点抽出部１２０が抽出する特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとして選択された特徴点（血管対応特徴点ＶＦＰ）毎に、テンプレート候補領域ＴＣを生成する。図１８を参照して、より具体的に説明する。
　図１８は、本実施形態のテンプレート候補領域ＴＣの一例を示す図である。同図（ａ）に示す白目領域ＥＷには、複数の特徴点ＦＰが抽出されている。ステップＳ１７０において、候補領域生成部１３０は、テンプレート候補領域ＴＣを、特徴点ＦＰ毎に生成する。
同図（ａ）においては、候補領域生成部１３０が、複数の特徴点ＦＰのうち、特徴点ＦＰ１についてテンプレート候補領域ＴＣ１を、特徴点ＦＰ２についてテンプレート候補領域ＴＣ２を、それぞれ生成した場合を示している。なお、同図（ａ）においては、他の特徴点ＦＰについてのテンプレート候補領域ＴＣの図示を省略している。
　なお、この一例では、上述した候補領域生成部１３０がテンプレート候補領域ＴＣの生成のために参照する特徴点ＦＰとは、すべての特徴点ＦＰのうち血管の位置ＰＶの位置に対応する特徴点ＦＰ（すなわち、血管対応特徴点ＶＦＰ）のことである。
　次に候補領域生成部１３０は、生成したテンプレート候補領域ＴＣに含まれる血管対応特徴点ＶＦＰの数ＣＮＴを計数する。同図（ｂ）に示す一例では、候補領域生成部１３０は、テンプレート候補領域ＴＣ１に含まれる血管対応特徴点ＶＦＰの数ＣＮＴを「７」と計数する。同様に、候補領域生成部１３０は、テンプレート候補領域ＴＣ２について血管対応特徴点ＶＦＰの数ＣＮＴ「１１」、テンプレート候補領域ＴＣ３について血管対応特徴点ＶＦＰの数ＣＮＴ「２３」、テンプレート候補領域ＴＣ４について血管対応特徴点ＶＦＰの数ＣＮＴ「１７」、テンプレート候補領域ＴＣ５について血管対応特徴点ＶＦＰの数ＣＮＴ「１９」…と、テンプレート候補領域ＴＣごとに計数する。
　より具体的には、候補領域生成部１３０は、図１４に示した白目領域ＥＷの画像のうち、図１７に示した血管対応特徴点ＶＦＰの画素の周囲５０×５０［ｐｉｘｅｌ］の領域に対応する位置の領域を切り取り、切り取った領域の画像をテンプレート候補領域ＴＣとして生成する。候補領域生成部１３０は、このテンプレート候補領域ＴＣの生成を、血管対応特徴点ＶＦＰ毎に繰り返す。
　（ステップＳ１８０）図１２に戻り、候補領域生成部１３０は、ステップＳ１７０において計数した特徴点ＦＰの数に基づいて、テンプレート候補領域ＴＣの順位付けを行う。
図１８（ｃ）に、候補領域生成部１３０が行うテンプレート候補領域ＴＣの順位付けの一例を示す。
（ステップＳ１９０）図１２に戻り、選択部１４０は、候補領域生成部１３０が生成する複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰ（または、血管対応特徴点ＶＦＰ）がより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。つまり、選択部１４０は、候補領域生成部１３０が順位付けしたテンプレート候補領域ＴＣのうち、上位のテンプレート候補領域ＴＣをテンプレート領域ＴＰとして選択する。
　ここで、白目領域ＥＷに環境光が反射している（照り返しがある）場合、反射光によって生じた輝度勾配によっても特徴点ＦＰとして抽出されることがある。つまり、白目領域ＥＷに環境光が反射している場合には、白目領域ＥＷの形態に由来する特徴ではなく、外乱に由来する特徴によって特徴点ＦＰが抽出されてしまうことがある。選択部１４０は、テンプレート候補領域ＴＣに反射光の画像が含まれている場合には、この反射光の画像が含まれているテンプレート候補領域ＴＣをテンプレート領域ＴＰとして選択しないように除去する。
　より具体的には、選択部１４０は、白目領域ＥＷの輝度値ヒストグラムを作成し、作成したヒストグラムの累積度数について、上位から所定範囲（例えば、１０％まで）の輝度値を調べる。選択部１４０は、テンプレート候補領域ＴＣ内に、上述した所定範囲内の輝度値の領域が２５［ｐｉｘｅｌ］以上含まれている場合には、テンプレート候補領域ＴＣに環境光による照り返しが存在していると判定する。
（ステップＳ２００）選択部１４０は、誤マッチングを起こしやすいテンプレート候補領域ＴＣを除去する。具体的には、選択部１４０は、複数のテンプレート候補領域ＴＣのうち、眼球画像ＩＭＧ内の互いに異なる複数の領域に対してマッチングする頻度がより少ないテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
　例えば、白目領域ＥＷ内において、直線に近い形状の血管の画像が存在する場合には、その血管の画像を含み、かつその血管の端点の画像を含まない領域が、テンプレート候補領域ＴＣとして生成される場合がある。このようなテンプレート候補領域ＴＣの場合、白目領域ＥＷ内の他の領域においても画像の類似度が大きくなることがある。この場合、テンプレート候補領域ＴＣが、本来マッチングする領域以外の領域においてもマッチングしてしまう、すなわち誤マッチングしてしまうことがある。
　そこで、選択部１４０は、白目領域ＥＷにおいてテンプレート候補領域ＴＣによるテンプレートマッチングを行なった結果、類似度が７０％を超えた回数を算出する。なお、この類似度の計算には後述する正規化相互相関係数を用いてもよい。
　選択部１４０による探索領域内（例えば、白目領域ＥＷ内）には、テンプレート候補領域ＴＣである領域も存在する。このため、選択部１４０による類似度が７０％を超えた回数の算出において、少なくとも１回は類似度が７０％を超え、また上下左右に１［ｐｉｘｅｌ］ずらした場合においても、多くの場合には類似度が７０％を超える。すなわち、選択部１４０による回数の算出において、類似度が７０％を超える回数が５回までは通常発生しうる。しかし、それ以上の回数で類似度が７０％を超える場合は、誤マッチングを引き起こしているものと推定される。このため、選択部１４０は、類似度が７０％を超える回数が所定回数（例えば、５回）を超える場合には、当該テンプレート候補領域ＴＣを、誤マッチングを起こしやすいテンプレート候補領域ＴＣであると判定して、テンプレート領域ＴＰの選択から除外する。
（ステップＳ２１０）選択部１４０は、ステップＳ１９０及びステップＳ２００において除外されたテンプレート候補領域ＴＣを除いたテンプレート候補領域ＴＣから、テンプレート領域ＴＰを選択する。すなわち、選択部１４０は、テンプレート領域ＴＰを決定する。
　図１１に戻り、眼球運動測定システム１の動作についての説明を続ける。
　（ステップＳ２０）取得部１１０は、眼球画像ＩＭＧを取得する。
［瞳孔中心座標の算出（楕円フィッティング）］
　（ステップＳ３０）測定部１５０は、取得部１１０が取得した眼球画像ＩＭＧに基づいて、既知の手順によって瞳孔中心座標を算出する。具体的には、測定部１５０は、眼球画像ＩＭＧに対して二値化及びラベリング処理を施すことによって、眼球画像ＩＭＧに含まれる瞳孔画像の領域を抽出する。測定部１５０は、抽出した瞳孔画像から、瞳孔の輪郭を抽出し、輪郭の凸包を取得する。測定部１５０は、凸包によって得られた点群に対して、例えば最小二乗法を用いて楕円フィッティングを行うことにより、瞳孔の中心座標を算出する。
　なお、瞳孔の中心座標の算出について、楕円フィッティングを用いることは一例であり、測定部１５０は、種々の手順によって瞳孔の中心座標を算出してよい。
［回旋角度の算出］
　測定部１５０は、上述したテンプレート領域ＴＰによって、白目領域ＥＷ内の血管画像を追跡する。具体的には、測定部１５０は、取得部１１０が取得する眼球画像ＩＭＧのテンプレート領域ＴＰに相当する領域に対して適応的二値化を行い、血管の位置ＰＶを示す血管画像を抽出する。測定部１５０は、適応的二値化処理後の眼球画像ＩＭＧに対してラべリング処理を行うことにより、眼球画像ＩＭＧの中で最も面積の大きい領域を選択する。この測定部１５０が行うテンプレートマッチングにおける類似度の計算には、正規化相互相関係数を用いる。正規化相互相関係数のＲ（ｘ，ｙ）は、式（２）～式（４）によって示される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　ただし、ｘ，ｙ：参照する画素のｘｙ座標、ｗ：テンプレート画像の縦の大きさ、ｈ：テンプレート画像の横の大きさ、Ｉ：探索画像での輝度値、Ｔ：テンプレート画像の輝度値、Ｒ：類似度計算結果、（ｘ＾’＝０，１…ｗ－１，ｙ＾’＝０，１，…ｈ－１）である。
　上述したテンプレートマッチングにおいて、Ｒ（ｘ，ｙ）が最も大きな値をとる（ｘ，ｙ）は，上述したテンプレート領域ＴＰの左上隅に対応する座標である。血管の位置ＰＶ（血管像の座標）はテンプレート画像の中心と定めている。この場合、テンプレートマッチングによって得られる座標は（ｘ＋ｗ／２，ｙ＋ｈ／２）である。
［回旋角度の算出］
　測定部１５０は、テンプレート領域ＴＰによるテンプレートマッチングの結果に基づいて、回旋角度を算出する。測定部１５０は、テンプレート領域ＴＰの決定に用いられたｉフレーム目の画像から求められる角度θｉと、当該ｉフレーム目からｔフレーム後の角度θ（ｉ＋ｔ）との差から眼球回旋角度を算出する。
　一例として、測定部１５０は、処理の簡易化のために眼球が球体ということを考慮せず、単純に平面での角度計算と同様に２点の（ｘ，ｙ）座標から逆三角関数を用いて角度を求めてもよい。なお、瞳孔の中心の座標に対する、テンプレート領域ＴＰの中心の座標から計算される角度θｉは，次式で表される。
Figure JPOXMLDOC01-appb-M000005
　ここで、（ｘ＿ｖｅｓｓｅｌ，ｙ＿ｖｅｓｓｅｌ）：血管像の座標、（ｘ＿ｐｕｐｉｌ，ｙ＿ｐｕｐｉｌ）：瞳孔中心の座標である。
　テンプレート領域ＴＰの決定に用いられたｉフレーム目の画像から求められる角度θｉを眼球回旋角度０［ｄｅｇ］と定める。測定部１５０は、Ｔフレーム後のテンプレートマッチングによって得られた血管像の座標（ｘ＋ｗ／２，ｙ＋ｈ／２）から求められるθ（ｉ＋ｔ）との差から回旋角度を計算する。
　なお、測定部１５０は、上述したテンプレートマッチングにおいて、瞳孔中心を回転中心として予め回転させたテンプレート領域ＴＰを用いて、テンプレートマッチングを行ってもよい。
［変形例］
　図１９は、眼球運動測定システム１の機能構成の変形例を示す図である。
　本変形例の眼球運動測定システム１ａは、眼球運動測定装置１０ａが、照射制御部１６０を、撮像装置２０ａが第１照射部２２０と第２照射部２３０とを備える点において、上述した眼球運動測定システム１と異なる。
　照射制御部１６０は、第１照射部２２０と、第２照射部２３０とのうちいずれか一方から電磁波を照射させる。
　第１照射部２２０は、電磁波を被験者ＳＢの眼球ＥＹに対して照射する。この第１照射部２２０から照射される電磁波は、例えば、緑色光、黄色光、赤色光などの波長領域の可視光線、又は更に波長が長い赤外線などである。一例としては、第１照射部２２０は、４９５ナノメートルより長い波長の電磁波を被験者ＳＢの眼球ＥＹに対して照射する。一例として、第１照射部２２０は、赤色ＬＥＤ（light emitting diode）を備えており、赤色光を照射する。
　第２照射部２３０は、５７０ナノメートルより短い波長であって、かつ第１照射部２２０が照射する電磁波の波長よりも短い波長の電磁波を被験者ＳＢの眼球ＥＹに対して照射する。この第２照射部２３０から照射される電磁波は、例えば、緑色光、青色光、紫色光などの波長領域の可視光線、又は更に波長が短い紫外線などである。一例として、第１照射部２２０が、４９５ナノメートルの波長の電磁波（例えば、緑色光）を照射する場合には、第２照射部２３０は、４９５ナノメートルよりも短い波長の電磁波、例えば、４５０ナノメートルの波長の電磁波（例えば、青色光）を照射する。また、他の一例として、第１照射部２２０が、５７０ナノメートルの波長の電磁波（例えば、黄色光）を照射する場合には、第２照射部２３０は、５７０ナノメートルよりも短い波長の電磁波、例えば、４９５ナノメートルの波長の電磁波（例えば、緑色光）を照射する。一例として、第２照射部２３０は、青色ＬＥＤを備えており、青色光を照射する。
［交互照明］
　ここで、照射制御部１６０は、第１照射部２２０と、第２照射部２３０とのうちいずれか一方から電磁波を照射させる。第１照射部２２０は、赤色光（又はより波長の長い電磁波）を照射する。第２照射部２３０は、青色光（又はより波長の短い電磁波）を照射する。長波長の電磁波が照射された眼球ＥＹの画像は、眼球ＥＹの瞳孔が描出されやすい。短波長の電磁波が照射された眼球ＥＹの画像は、眼球ＥＹの白目領域ＥＷの血管が描出されやすい。
　照射制御部１６０は、測定部１５０が眼球ＥＹの瞳孔の座標を算出する場合には、赤色光を照射し、測定部１５０が眼球ＥＹの血管の座標を算出する場合には、青色光を照射する。例えば、照射制御部１６０は、照射する波長の切り替え周期を、撮像部２１０の撮像フレーム周期の半分の周期にする。
　また、上述の場合、測定部１５０は、眼球画像ＩＭＧの全体の輝度値の平均値が所定値（例えば、２５６階調の場合において２００）以上の場合には、瞳孔中心の検出を行い、所定値未満の場合には、血管の位置ＰＶの追跡を行う。また、照射制御部１６０は、いずれの波長の電磁波を照射しているのかを示す信号を、撮像部２１０、取得部１１０、又は測定部１５０に対して出力して、照射波長と撮像された眼球画像ＩＭＧとを同期させてもよい。
［実施形態のまとめ］
　以上説明したように、本実施形態の眼球運動測定システム１は、テンプレート領域ＴＰを用いて、眼球画像ＩＭＧの動きを追跡することにより眼球三次元運動を測定する。この眼球運動測定システム１は、複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
ここで、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣは、特徴点ＦＰがより少ないテンプレート候補領域ＴＣに比べてテンプレートマッチング性能が高い。
　このように構成することにより、眼球運動測定システム１は、眼球画像ＩＭＧの動きの追跡性能を向上させることができる。すなわち、本実施形態の眼球運動測定システム１によれば、眼球運動の計測精度を向上させることができる。
　また、本実施形態の眼球運動測定システム１は、抽出される特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとして選択された特徴点（すなわち、血管対応特徴点ＶＦＰ）毎に、テンプレート候補領域ＴＣを生成する。ここで、白目領域ＥＷから抽出される特徴点ＦＰには、眼球ＥＹの血管の画像に由来するものと、血管以外の要素（例えば、瞼、まつ毛、埃など）の画像に由来しているものとがある。眼球ＥＹの血管は、眼球ＥＹに対してその位置が変化しないため、眼球ＥＹの動きをよく表す。一方、血管以外の要素は、眼球ＥＹに対してその位置が変動することがあるため、眼球ＥＹの動きを必ずしも表さない。したがって、眼球ＥＹの動きの追跡性能を向上させるためには、血管以外の要素の画像を含む領域をテンプレート領域ＴＰとすることよりも、血管の画像を含む領域をテンプレート領域ＴＰとするほうが好ましい。つまり、血管以外の要素の画像を含む領域は、テンプレート領域ＴＰとして用いた場合、眼球ＥＹの動きの追跡性能が相対的に低い。
　眼球運動測定システム１は、血管の位置ＰＶに対応する領域をテンプレート候補領域ＴＣの生成対象とすることにより、眼球ＥＹの動きの追跡性能を向上させることができる。
また、眼球運動測定システム１は、血管の位置ＰＶに対応しない領域（すなわち眼球ＥＹの動きの追跡性能が相対的に低い領域）をテンプレート候補領域ＴＣの生成対象から除外することにより、テンプレート候補領域ＴＣの候補数を低減することができる。つまり、眼球運動測定システム１によれば、テンプレート領域ＴＰの選択のための演算量を低減することができる。
　すなわち、上述のように構成された眼球運動測定システム１によれば、眼球ＥＹの動きの追跡性能の向上と、演算量の低減とを両立させることができる。
　また、本実施形態の眼球運動測定システム１は、白目領域ＥＷ内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、白目領域ＥＷ内の特徴点ＦＰを抽出する。ここで、眼球ＥＹの白目の画像において、地色（白色）の面積が相対的に大きく、特徴点ＦＰの抽出対象である血管の色（赤色～暗赤色～黒色）の面積が相対的に小さい。また、眼球ＥＹの白目の画像において、血管の色は彩度が低く画像全体としてのコントラストが低い（弱い）場合がある。
　したがって、仮に白目領域ＥＷの画像を単純に二値化した場合には、血管の画像が抽出されにくい場合がある。このため、従来は、眼球ＥＹに青色光などを照射することによって画像のコントラストを高める手法が用いられる場合があった。
　一方、本実施形態の眼球運動測定システム１によれば、白目領域ＥＷ内の各画素の画素値についてヒストグラム平坦化を行うため、白目領域ＥＷについて、地色と血管の色とを峻別しやすくすることができる。つまり、眼球運動測定システム１によれば、血管の位置ＰＶの抽出性能を向上させることができるため、眼球ＥＹの動きの追跡性能を向上させることができる。
　また、本実施形態の眼球運動測定システム１は、複数のテンプレート候補領域ＴＣのうち、眼球画像ＩＭＧ内の互いに異なる複数の領域に対してマッチングする頻度がより少ないテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
　ここで、テンプレート候補領域ＴＣには、眼球ＥＹの動きの追跡性能が相対的に高いものと低いものとがある。例えば、あるテンプレート候補領域ＴＣについて、テンプレート候補領域ＴＣが白目領域ＥＷ内の複数の領域に対してマッチングする場合がある。このようなテンプレート候補領域ＴＣの場合、眼球ＥＹの動きを追従する際に複数の領域のうちいずれの領域にマッチングするのかが確定しないため、眼球ＥＹの動きの追従性能が低い。また、テンプレート候補領域ＴＣが、白目領域ＥＷ内の単一の領域に対してマッチングし、白目領域ＥＷ内の他の領域に対してマッチングしない場合には、眼球ＥＹの動きの追従性能が高い。つまり、テンプレート候補領域ＴＣがマッチングする領域の数が少ないほうが、眼球ＥＹの動きの追従性能が高い。
　一方で、テンプレート候補領域ＴＣが、白目領域ＥＷ内のある領域に対してマッチングする場合には、当該領域の周囲の領域にもマッチングする場合がある。したがって、仮にテンプレート領域ＴＰの選択条件を、単一の領域のみに対してマッチングするテンプレート候補領域ＴＣに限ってしまうと、テンプレート候補領域ＴＣの選択肢が少なくなり追跡性能が低下するおそれがある。
　本実施形態の眼球運動測定システム１は、複数の領域に対してマッチングする頻度に基づいてテンプレート領域ＴＰを選択する。例えば、眼球運動測定システム１は、マッチングする頻度が２以上であり所定値以下（例えば、５以下）であるテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。このように構成することにより、眼球運動測定システム１は、テンプレート候補領域ＴＣの選択肢の数が少なくなることを抑止して、眼球ＥＹの動きの追従性能を向上させることができる。
　また、本実施形態の眼球運動測定システム１は、撮像部２１０を備える。眼球運動測定システム１は、撮像部２１０を備える撮像装置２０と眼球運動測定装置１０とを一体化することにより、撮像装置２０と眼球運動測定装置１０とを接続するための有線又は無線による通信機能を簡素化することができる。
　また、眼球運動測定システム１は、第１照射部２２０と、第２照射部２３０と、照射制御部１６０とを備える。第１照射部２２０は、長波長の電磁波（例えば、緑色光、黄色光、赤色光や赤外線）を眼球ＥＹに照射する。ここで、長波長の電磁波が照射された眼球ＥＹが撮像部２１０に撮像された場合、撮像部２１０が生成する画像において、眼球ＥＹの瞳孔の描出性能が向上する。また、第２照射部２３０は、短波長の電磁波（例えば、青色光や紫外線）を眼球ＥＹに照射する。ここで、短波長の電磁波が照射された眼球ＥＹが撮像部２１０に撮像された場合、撮像部２１０が生成する画像において、眼球ＥＹの白目領域ＥＷの血管の描出性能が向上する。一方で、長波長の電磁波と短波長の電磁波とが同時に眼球ＥＹに照射されると、眼球ＥＹの瞳孔と、眼球ＥＹの白目領域ＥＷの血管とのうち、いずれか（又は両方）の描出性能が向上できない場合がある。
　本実施形態の眼球運動測定システム１は、照射制御部１６０が、長波長の電磁波と短波長の電磁波とを排他的に照射させるため、眼球ＥＹの瞳孔の描出性能と、眼球ＥＹの白目領域ＥＷの血管の描出性能との両方を向上させることができる。
　以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
　なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
　また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　１…眼球運動測定システム１０…眼球運動測定装置、１１０…取得部、１２０…特徴点
抽出部、１３０…候補領域生成部、１４０…選択部、１５０…測定部、１６０…照射制御
部、２０…撮像装置、２１０…撮像部、２２０…第１照射部、２３０…第２照射部

Claims (8)

  1. 　被験者の眼球が撮像された眼球画像を取得する取得部と、
    　前記取得部が取得する前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出部と、
    　前記眼球画像のうち、前記特徴点抽出部が抽出する前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成部と、
    　前記候補領域生成部が生成する複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択部と、
    　前記選択部が選択する前記テンプレート領域を用いて、前記取得部が取得する前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定部と、
    　を備える眼球運動測定装置。
  2. 　前記候補領域生成部は、
    　前記特徴点抽出部が抽出する前記特徴点のうち、前記白目領域内の血管の位置に対応する特徴点として選択された前記特徴点毎に、前記テンプレート候補領域を生成する
    　請求項１に記載の眼球運動測定装置。
  3. 　前記特徴点抽出部は、
    　前記白目領域内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、前記白目領域内の特徴点を抽出する
    　請求項１又は請求項２に記載の眼球運動測定装置。
  4. 　前記選択部は、
    　複数の前記テンプレート候補領域のうち、前記眼球画像内の互いに異なる複数の領域に対してマッチングする頻度がより少ない前記テンプレート候補領域を、前記テンプレート領域として選択する
    　請求項１から請求項３のいずれか一項に記載の眼球運動測定装置。
  5. 　前記被験者の眼球を撮像することにより前記眼球画像を生成する撮像部
    　を更に備える請求項１から請求項４のいずれか一項に記載の眼球運動測定装置。
  6. 　電磁波を前記被験者の眼球に対して照射する第１照射部と、
    　５７０ナノメートルより短い波長であって、かつ前記第１照射部が照射する電磁波の波長よりも短い波長の電磁波を前記被験者の眼球に対して照射する第２照射部と、
    　前記第１照射部と、前記第２照射部とのうちいずれか一方から電磁波を照射させる照射制御部と、
    　を更に備える請求項１から請求項５のいずれか一項に記載の眼球運動測定装置。
  7. 　被験者の眼球が撮像された眼球画像を取得する取得ステップと、
    　前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、
    　前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、
    　前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、
    　前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、
    　を有する眼球運動測定方法。
  8. 　コンピュータに、
    　被験者の眼球が撮像された眼球画像を取得する取得ステップと、
    　前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、
    　前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、
    　前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、
    　前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、
    　を実行させるための眼球運動測定プログラム。
PCT/JP2019/023226 2018-06-12 2019-06-12 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム WO2019240157A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/973,754 US20210264618A1 (en) 2018-06-12 2019-06-12 Eye movement measurement device, eye movement measurement method, and eye movement measurement program
JP2020525607A JP7320283B2 (ja) 2018-06-12 2019-06-12 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-111535 2018-06-12
JP2018111535 2018-06-12

Publications (1)

Publication Number Publication Date
WO2019240157A1 true WO2019240157A1 (ja) 2019-12-19

Family

ID=68842945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023226 WO2019240157A1 (ja) 2018-06-12 2019-06-12 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム

Country Status (3)

Country Link
US (1) US20210264618A1 (ja)
JP (1) JP7320283B2 (ja)
WO (1) WO2019240157A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635589B1 (ko) * 2023-03-22 2024-02-07 가톨릭대학교 산학협력단 인도시아닌 그린 혈관조영술에서의 맥락막 혈관 과투과 검출 장치, 방법 및 프로그램

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011056069A (ja) * 2009-09-10 2011-03-24 Canon Inc テンプレート画像の評価方法及び生体運動検出装置
JP2012125490A (ja) * 2010-12-17 2012-07-05 Canon Inc 眼底撮像装置及びその制御方法
WO2013125707A1 (ja) * 2012-02-24 2013-08-29 国立大学法人筑波大学 眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラム
JP2015016290A (ja) * 2013-07-12 2015-01-29 株式会社トプコン ダイナミックフォーカススイープおよび窓平均化を用いた光コヒーレンストモグラフィ
WO2016195066A1 (ja) * 2015-06-05 2016-12-08 聖 星野 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
US20170131768A1 (en) * 2015-11-10 2017-05-11 The Johns Hopkins University Systems and methods for human-machine subconscious data exploration
US20170164829A1 (en) * 2014-03-13 2017-06-15 Nanophthalmos, Llc Registration Using a Microscope Insert

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3504313B2 (ja) * 1994-02-03 2004-03-08 株式会社三城 個人識別装置
AU2002361210A1 (en) 2001-12-21 2003-07-09 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
WO2015130849A1 (en) 2014-02-25 2015-09-03 Eyeverify Eye gaze tracking
JP7213511B1 (ja) 2022-09-07 2023-01-27 東京瓦斯株式会社 超音波検査方法、超音波検査装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011056069A (ja) * 2009-09-10 2011-03-24 Canon Inc テンプレート画像の評価方法及び生体運動検出装置
JP2012125490A (ja) * 2010-12-17 2012-07-05 Canon Inc 眼底撮像装置及びその制御方法
WO2013125707A1 (ja) * 2012-02-24 2013-08-29 国立大学法人筑波大学 眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラム
JP2015016290A (ja) * 2013-07-12 2015-01-29 株式会社トプコン ダイナミックフォーカススイープおよび窓平均化を用いた光コヒーレンストモグラフィ
US20170164829A1 (en) * 2014-03-13 2017-06-15 Nanophthalmos, Llc Registration Using a Microscope Insert
WO2016195066A1 (ja) * 2015-06-05 2016-12-08 聖 星野 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
US20170131768A1 (en) * 2015-11-10 2017-05-11 The Johns Hopkins University Systems and methods for human-machine subconscious data exploration

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635589B1 (ko) * 2023-03-22 2024-02-07 가톨릭대학교 산학협력단 인도시아닌 그린 혈관조영술에서의 맥락막 혈관 과투과 검출 장치, 방법 및 프로그램

Also Published As

Publication number Publication date
US20210264618A1 (en) 2021-08-26
JPWO2019240157A1 (ja) 2021-07-08
JP7320283B2 (ja) 2023-08-03

Similar Documents

Publication Publication Date Title
US11699293B2 (en) Neural network image processing apparatus
US10234957B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
JP5873442B2 (ja) 物体検出装置および物体検出方法
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
US9411417B2 (en) Eye gaze tracking system and method
US9892316B2 (en) Method and apparatus for pattern tracking
US9305206B2 (en) Method for enhancing depth maps
Crihalmeanu et al. Enhancement and registration schemes for matching conjunctival vasculature
JP2017182739A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
JP2012120647A (ja) 姿勢検出装置
US12056274B2 (en) Eye tracking device and a method thereof
JP5776323B2 (ja) 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法
US10521659B2 (en) Image processing device, image processing method, and image processing program
KR101748563B1 (ko) 양안기반 시선추적 방법
JP6855872B2 (ja) 顔認識装置
JP2007271554A (ja) 顔姿勢検出方法
WO2010010926A1 (ja) 特徴点追跡方法及び特徴点追跡装置
WO2019240157A1 (ja) 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム
JP7044504B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Shreve Automatic macro-and micro-facial expression spotting and applications
US11763601B2 (en) Techniques for detecting a three-dimensional face in facial recognition
Tomari et al. Multi-view head detection and tracking with long range capability for social navigation planning
JP7444358B2 (ja) 眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19819732

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525607

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19819732

Country of ref document: EP

Kind code of ref document: A1