WO2016013634A1 - 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム - Google Patents

画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム Download PDF

Info

Publication number
WO2016013634A1
WO2016013634A1 PCT/JP2015/071027 JP2015071027W WO2016013634A1 WO 2016013634 A1 WO2016013634 A1 WO 2016013634A1 JP 2015071027 W JP2015071027 W JP 2015071027W WO 2016013634 A1 WO2016013634 A1 WO 2016013634A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point
mapping
data
ray map
Prior art date
Application number
PCT/JP2015/071027
Other languages
English (en)
French (fr)
Inventor
篤志 中澤
クリスティアン ニチュケ
Original Assignee
国立研究開発法人科学技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人科学技術振興機構 filed Critical 国立研究開発法人科学技術振興機構
Priority to JP2016535977A priority Critical patent/JP6371849B2/ja
Priority to CN201580039748.5A priority patent/CN106575439B/zh
Priority to KR1020177000056A priority patent/KR101909006B1/ko
Priority to EP15825115.7A priority patent/EP3188129A4/en
Publication of WO2016013634A1 publication Critical patent/WO2016013634A1/ja
Priority to US15/413,629 priority patent/US10628948B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the present invention relates to an apparatus for image alignment (registration, alignment).
  • Patent Document 1 describes an apparatus that estimates a point (gaze point) that a subject is gazing at and a personal parameter of the subject.
  • the apparatus acquires an image (eyeball image) including an image of the eyeball of the subject, estimates the posture of the eyeball (that is, the direction of the optical axis of the eyeball) from the eyeball image, and the direction of the subject's line of sight (gaze) Direction).
  • the apparatus quantifies the amount of deviation between the direction of the optical axis of the eyeball and the direction of the line of sight as a personal parameter.
  • An image (eyeball image) obtained by imaging an eyeball generally includes an image of light that is specularly reflected by the cornea of the eyeball (corneal surface reflection image).
  • the cornea surface reflection image corresponds to a scene that the subject actually sees.
  • the present invention provides an apparatus capable of robustly performing mutual registration (registration, alignment) between two or more images such as an eyeball image and a scene image.
  • One embodiment of the present invention provides: An acquisition unit for acquiring data of the first image and data of the second image; A storage unit for storing data of the first image and data of the second image; A mapping unit that determines a first mapping that is a mapping that transfers the first image to the spherical ray map and a second mapping that is a mapping that transfers the second image to the spherical ray map; A corresponding point pair extraction unit that extracts a corresponding point pair by detecting one point in the first image and one point in the second image corresponding to the one point; The position and local feature amount of one point in the first image constituting the corresponding point pair, and the transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map, and A transferred image deriving unit for deriving based on the position of one point in the second image constituting the corresponding point pair and the local feature amount; Based on the first mapping, the transfer image, and the second mapping, the
  • the image alignment apparatus can robustly perform mutual alignment (registration, alignment) between two or more images.
  • FIG. 1 The figure which shows the i-th set of initial corresponding point pairs
  • FIG. 1 The figure which shows the example which plotted the secondary corresponding point in the eyeball image at random Plot the secondary corresponding points on the scene image corresponding to the secondary corresponding points randomly plotted on the eyeball image based on the warping function derived according to the corresponding relationship between the i-th pair of initial corresponding points.
  • Figure showing an example A diagram showing an example of a registered eyeball image and an example of executing fine registration (fine adjustment)
  • the system as shown in FIG. 1 is taken as an example to explain the background to the present invention.
  • the system shown in FIG. 1 captures an eye camera 911e that images the subject's eyeball 20 (mainly the cornea 21), and a scene (scene) that the subject is viewing (the direction of imaging is substantially the same as the direction of the subject's line of sight). It has a scene camera 911s (installed to match).
  • the system further includes a computer (not shown).
  • the computer estimates the direction of the subject's line of sight from an image (eyeball image) captured by the eye camera 911e and an image (scene) captured by the scene camera 911s. Image) to try to restore the scene that the subject is seeing in high definition.
  • FIG. 2 is a diagram showing an example of an eyeball image and a scene image captured by the eye camera 911e and the scene camera 911s of the system of FIG.
  • FIG. 2A is an example of an eyeball image (eyeball image) Ie9 of the subject imaged by the eye camera 911e.
  • FIG. 2B is an example of an image (scene image) Is9 of a sight (scene) seen by the subject imaged by the scene camera 911s.
  • the above-described computer estimates the scene (scene) that the subject is viewing from the image of the reflected light on the corneal surface (eg, as seen in the region I930e). Then, the computer obtains an image corresponding to the scene from, for example, the region I930s of the scene image Is9, and based on this result, tries to restore the scene seen by the subject using the high-definition scene image Is9.
  • the contrast of the corneal surface reflection image is relatively low, and the corneal surface reflection image is overflowing with noise such as iris texture Iit, eyelash Iel, and eyelash shadow Isel.
  • the cornea has a curved surface, the image of the scene reflected on the cornea is subjected to nonlinear distortion. Therefore, with the conventional image alignment method, it is difficult to robustly align the eyeball image Ie9 and the scene image Is9.
  • the image alignment apparatus acquires the data of the eyeball image Ie and the scene image Is and stores them in storage means such as a memory. Then, the image alignment apparatus determines a map (first map and second map) that moves the scene image Is and the eyeball image Ie to a spherical ray map (spherical ray environment, Environmental Map (EM)).
  • a map first map and second map
  • EM Environmental Map
  • the “spherical ray map” is a map relating to the light environment surrounding the imaging means, which is generated when the light incident on the center is mapped to a spherical surface having a predetermined radius with the means that has taken the image as the center. is there.
  • FIG. 3C is an example of a spherical ray map EMs for the scene image Is, and shows an image of the scene image in the spherical ray map EMs.
  • FIG. 3D is an example of a spherical ray map EMe for the eyeball image Ie, and shows an image of the eyeball image in the spherical ray map EMe.
  • the mapping (conversion function) for transferring (converting) the scene image Is to the spherical ray map EMs is As (), and the mapping (function for transferring) the corneal surface reflection image of the eyeball image Ie to the spherical ray map EMe. ) Is L ().
  • the pixel x 1 of the scene image Is moves to As (x 1 ) on the spherical ray map EMs by the mapping As, and the pixel x 2 of the eyeball image Ie becomes L (on the spherical ray map EMe by the mapping L. moves to the x 2).
  • the image alignment apparatus performs a corresponding pair of feature points (hereinafter referred to as “corneal surface reflection image”) between the scene image Is (first image) and the eyeball image Ie (second image). At least one pair (for example, a pair of point p and point q) is obtained.
  • the image alignment device can use existing methods (SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), etc.) for detection of corresponding points here.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • direction information ⁇ p , ⁇ q
  • the image alignment apparatus uses the orientation information ( ⁇ p and ⁇ q ) and the position information of corresponding points (feature points) (point p, point q) to generate an image of the scene image on the spherical ray map EMs. Is determined so as to be aligned with the corneal surface reflection image on the spherical ray map EMe.
  • the spherical ray map EMs and the spherical ray map EMe are substantially equal. Therefore, it is assumed that the above-described positional alignment can be expressed by the transfer image R.
  • the image alignment device performs mapping L (), inverse mapping R ⁇ 1 of the transfer image R, inverse mapping As () ⁇ 1 of the mapping As () (warping in the figure) for each pixel of the eyeball image Ie.
  • mapping L () inverse mapping R ⁇ 1 of the transfer image R
  • inverse mapping As () ⁇ 1 of the mapping As () warping in the figure
  • each pixel of the eyeball image Ie is aligned (registration, alignment) with the scene image Is. That is, according to the present embodiment, the problem of image alignment is reduced to the problem of alignment of two images on the spherical ray map. By reducing to a spherical alignment problem, the number of parameters required for registration is reduced.
  • the image alignment apparatus can perform alignment by obtaining only one set of initial corresponding point pairs (a pair composed of the feature point p and the feature point q). That is, in the image registration method executed by the image registration apparatus, only a pair of initial corresponding points (the position of each feature point and the local feature amount (orientation)) can be determined correctly. Can be executed. In this sense, the image alignment performed by the image alignment apparatus is robust. In other words, even when it is difficult to extract a plurality of correct initial corresponding point pairs, the image registration apparatus can perform registration correctly as long as only one initial corresponding point pair can be determined. In a sense, this method is robust.
  • an image alignment apparatus and method according to an embodiment of the present invention will be described using image registration (registration) between an eyeball image (a corneal surface reflection image thereof) and a scene image as an example.
  • image registration registration
  • the present invention can perform mutual registration (registration, alignment) for various images, not limited to eyeball images and scene images.
  • the image alignment apparatus 10 aligns both images using the scene image and eyeball image data input to the apparatus 10 via the first and second video interfaces 3e and 3s and stored in the storage unit 2.
  • a calculation unit 1 control unit
  • a storage unit 2 that stores various data such as eyeball image data and scene image data, a program executed by the calculation unit 1, and the like.
  • the image alignment device 10 constitutes an image alignment system together with the eye camera 11e and the scene camera 11s.
  • the calculation unit 1 operates as a mapping unit, a corresponding point extraction unit, a transfer image derivation unit, and a registration unit of the image registration device by executing a predetermined program (image registration program).
  • calculation unit 1 also operates as a control unit that controls the overall operation of the device 10. As one of the control operations, the calculation unit 1 may control the operations (such as imaging) of the scene camera 11s and the eye camera 11e.
  • the calculation unit 1 is a so-called central processing unit (CPU). However, the configuration of the calculation unit 1 is not limited to the CPU and its peripheral auxiliary circuits.
  • the calculation unit 1 may be a GPU (Graphics Processing Unit) specialized for predetermined calculation processing.
  • the calculation unit 1 can be implemented as a processor such as a programmable logic device such as ASIC (Application Specific Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), or a microcontroller.
  • the calculation unit 1 may be configured by combining a plurality of the above-described elements such as a CPU, and the elements configuring the calculation unit 1 are not limited to the above example.
  • the computing unit 1 can execute the image registration method according to the embodiment of the present invention by executing the image registration program stored in the storage unit 2.
  • the image alignment program may be recorded on a flexible disk, an optical disk, a flash memory, or the like, or may be transmitted via a network such as the Internet.
  • the storage unit 2 stores various data, an image alignment program executed by the calculation unit 1, and the like.
  • the storage unit 2 is, for example, a ROM (Read-Only memory) and a RAM (Random Memory).
  • the storage unit 2 holds a camera internal matrix (camera ⁇ ⁇ ⁇ internal matrix) of the scene camera 11s and the eye camera 11e.
  • the camera internal matrix is data in a matrix format that includes camera internal parameters in its elements.
  • the camera internal matrix data is loaded from the outside into the storage unit 2 and stored in the storage unit 2 before image alignment.
  • camera internal matrix data may be included in the image registration program.
  • the image alignment device 10 performs camera calibration on each of the scene camera 11s and the eye camera 11e under the control of the calculation unit 1 (CPU) before the image alignment, thereby obtaining each camera internal matrix. You may operate
  • CPU calculation unit 1
  • the output unit 4 outputs the result of the image alignment performed by the calculation unit 1.
  • the output unit 4 is, for example, a monitor display or a printer.
  • the output unit 4 may include an interface mechanism for realizing connection with an external storage device such as a hard disk or a flash memory, or another computer connected via a network.
  • FIG. 5 is a flowchart showing a flow of image alignment processing executed by the image alignment apparatus 10 (FIG. 4).
  • step S2 the calculation unit 1 (FIG. 4) continues to operate as an acquisition unit and inverts the acquired eyeball image Ie in the left-right direction. This is to make the direction of the scene included in the cornea surface reflection image of the eyeball image Ie coincide with the direction of the scene image in the scene image Is.
  • FIG. 6C shows an example of the eyeball image Is inverted as described above.
  • the inverted eyeball image Is is stored in the storage unit 2 (FIG. 4). Thereafter, the calculation unit 1 performs processing using the inverted eyeball image Is. Note that the image inversion processing may be performed on the scene image Is instead of the eyeball image Ie.
  • step S3 the calculation unit 1 (FIG. 4) operates as a mapping unit to map the scene image Is to the spherical ray map EMs (FIG. 3) and the eyeball image Ie (the cornea surface reflection image). To the spherical ray map EMe is determined as a mapping L () (FIG. 3).
  • the mapping As () (FIG. 3) for transferring the scene image Is to the spherical ray map EMs is determined as follows.
  • the calculation unit 1 (FIG. 4) reads the 3 ⁇ 3 camera internal matrix Ks of the scene camera 11s stored in the storage unit 2 (FIG. 4). Then, the calculation unit 1 converts the mapping As () to the following formula: Determine according to (Here, the vector q is a vector indicating a point (pixel) in the scene image Is. The point q in the scene image Is is on the spherical ray map EMs pointed to by the vector As (q) by the mapping As (). The calculation unit 1 stores the mapping As () (conversion function) thus determined in the storage unit 2.
  • the calculation unit 1 determines a mapping L () (FIG. 3) for transferring the eyeball image Ie to the spherical ray map EMe as follows.
  • FIG. 7A shows a non-rigid catadioptric imaging system (non-) comprising a cornea 21 regarded as a part of a spherical surface (the surface of the corneal sphere 21 SPH ) and an eye camera 11e (origin O).
  • This is a weak perspective projection model of rigid catadioptric imaging system.
  • FIG. 7B is an example of the projection plane IP when viewed from the origin O side.
  • FIG. 7C illustrates the relationship between the optical axis direction vector g of the eyeball and the angles ⁇ and ⁇ .
  • cornea 21, the cornea ball 21 SPH can be regarded as a partially spherical taken in the limbus 21 L.
  • a fixed value (average value of human) is adopted as a representative dimension of the cornea 21 (radius r L , distance d LC between the cornea edge center I and the center C of the spherical surface 21 SPH ).
  • the posture of the eyeball can be determined by the position of the corneal margin center I and the eyeball optical axis direction g. Assuming that the thickness of the cornea 21 is sufficiently thin with respect to the Z cam axis direction, the corneal edge 21 L which is substantially a perfect circle becomes an ellipse 21 LP (including a true circle) on the projection plane IP.
  • the ellipse 21 LP can be defined by four parameters: a center i I , a major axis length r max , a minor axis length r min , and a rotation angle ⁇ .
  • the reverse path of the light path formed as the eyeball image Ie (light emitted from the pixel p of the eyeball image Ie is reflected by the point P on the cornea 21 and is reflected in the scene). The path to the light source).
  • the 3 ⁇ 3 camera internal matrix of the eye camera 11e (FIG. 4) is Ke
  • the normalized backprojection vector Ae (p) of the eye camera 11e is Where the vector p is the position vector of the pixel p in the eyeball image.
  • the spherical ray map EMe (FIG. 3) for the corneal surface reflection image can be constructed from the above equation.
  • L () in Expression (5) is a mapping (conversion function) that shifts the corneal surface reflection image of the eyeball image Ie (FIG. 6) to a spherical ray map for the non-rigid catadioptric imaging system. .
  • the calculation unit 1 (FIG. 4) operates as a mapping unit to perform a calculation corresponding to the above formulas (2) to (5), thereby transferring the corneal surface reflection image of the eyeball image Ie to the spherical ray map EMe.
  • L () (FIG. 3) is determined.
  • the calculation algorithm used for the calculation is stored in the image alignment program.
  • the vector p is a vector indicating a point (pixel) in the corneal surface reflection image of the eyeball image Is.
  • the point p in the corneal surface reflection image of the eyeball image Is is expressed by the map L () by the vector L
  • the operation unit 1 stores the mapping L () determined in this way in the storage unit 2.
  • step S4 the calculation unit 1 operates as a corresponding point extraction unit, and as shown in FIGS. 8 and 9, the scene image Is (FIG. 6A) and the eyeball image Ie (FIG. 6).
  • rotation / scale invariant feature points LP s 1 and LP e 1 etc.
  • the detection of feature points and the calculation of local feature amounts may be performed according to, for example, SIFT.
  • Algorithms necessary for feature point detection and local feature amount calculation are stored in an image registration program stored in the storage unit 2. For example, when the SIFT feature value is used, the local feature value calculated by the calculation unit 1 is 1.
  • Position information vector x
  • the calculation unit 1 stores the detected feature point position and local feature amount in the storage unit 2.
  • the calculation unit 1 continues to operate as a corresponding point extraction unit, and based on the feature points detected according to SIFT or the like and the calculated local feature amount, the feature points (LP s 1 etc.) in the scene image Is and the eyeball image Corresponding point matching (CP1 etc.) with feature points (LP s 1 etc.) in Ie is performed.
  • FIG. 8 illustrates the first initial corresponding point pair CP1.
  • the calculation unit 1 performs corresponding point matching a plurality of times to obtain a plurality of sets (M sets) of initial corresponding point pairs (CP 1 to CP M ).
  • the calculation unit 1 stores information on the positions of the corresponding points (LP s 1 to LP s M and LP e 1 to LP e M) and the correspondence relationship of the initial corresponding point pairs (CP 1 to CP M ). Store in part 2.
  • step S5 the calculation unit 1 sets each initial corresponding point pair (CP 1 , CP 2 ,... CP M ⁇ 1 ) for each of the initial corresponding point pairs (CP 1 to CP M ) obtained in step S4. Or the position of the image of the scene image Is on the spherical ray map EMs and the image of the eyeball image Ie (the corneal surface reflection image thereof) on the spherical ray map EMe based on the correspondence relationship of CP M ).
  • (3 ⁇ 3 matrix) transfer image R be And a conversion function (warping function W) for registering the pixel of the eyeball image Ie with the pixel of the scene image Is is derived using the transfer image R.
  • the vector p and the vector q in the equation (6) are the points (LP) of the scene image Is and the eyeball image Ie that constitute the initial corresponding point pair (CP 1 , CP 2 ,... CP M ⁇ 1 , or CP M ).
  • s 1, LP s 2, ..., LP s M-1, or LP s M, and LP e 1, LP e 2, ..., LP e M-1, or LP e M) is there.
  • the optical system constituting the scene camera 11s and the imaging system constituted by the eye camera 11e and the cornea 21 are both substantially in the same light environment. (With this assumption, registration of the eyeball image Ie and the scene image Is (derivation of the warping function W) results in the derivation of the transfer image R.)
  • the calculation unit 1 derives the transfer image R according to a calculation algorithm expressed as follows.
  • the warping function Wi is a mapping that registers the pixels of the eyeball image Ie with respect to the pixels of the scene image Is according to the correspondence relationship of the i-th initial corresponding point pair (CP i ).
  • the computing unit 1 stores the warping function W i (i: 1 to M) in the storage unit 2 in association with the initial corresponding point pairs (CP 1 to CP M ).
  • the calculating portion 1 further obtains the initial pair of corresponding points (CP i) secondary corresponding point pairs in the eyeball image Ie and the scene image Is with warping function W i obtained according to the step S5, they by calculating the image correlation regarding secondary corresponding point pairs, by evaluating the correctness of the warping function W i, to determine the optimal warping function W from among the warping function W i of a plurality of (M-number) .
  • FIG. 10 is a flowchart showing details of a process (RANRESAC process) for determining an optimal initial corresponding point pair.
  • the calculation unit 1 operates as a corresponding point pair extraction unit and executes the processing shown in FIG.
  • step S61 the calculation unit 1 operates as a corresponding point pair extraction unit, and uses the warping function Wi obtained based on the i-th corresponding point pair CP i (FIG. 11) to generate a secondary corresponding point pair. Generate. Specifically, the calculation unit 1 detects a cornea region of the eyeball image Ie, and randomly sets K points SLP ei (FIG. 12) within the cornea region. The arithmetic unit 1 extracts the SLP si (Fig. 13) point in the scene in the image Is corresponding to each of K points SLP ei in the region of the cornea using a warping function Wi, K sets of sub The corresponding pair of points. These secondary corresponding point pairs are
  • the vector p j * is a position vector indicating a randomly selected point in the cornea region of the eyeball image Ie.
  • the degree of similarity is evaluated using the local texture correlation and the direction similarity as a scale with respect to the group of secondary corresponding points obtained in accordance with .about.M)).
  • the calculation unit 1 evaluates the similarity using the following evaluation function.
  • the first term on the right side of the above expression represents the texture similarity
  • the second term on the right side represents the direction similarity.
  • ⁇ t , ⁇ o , and ⁇ are positive constants that define the weight of the texture correlation and the direction similarity.
  • (•, •) is an inner product of vectors.
  • q j * represents W (p j * ).
  • the calculation unit 1 evaluates a group of secondary corresponding point pairs of each of the M pairs of initial corresponding points by using Expression (10) (step S63).
  • step S64 the calculation unit 1 operates as a corresponding point pair extraction unit, and is a group of secondary corresponding point pairs that are evaluated to have the highest similarity, that is, The i'th initial corresponding point pair (CP i ' ) determined by (1) and its warping function W i' are specified.
  • the scale parameter may be adjusted to occupy the same size (spatial volume) in the spherical ray map.
  • the ratio of the scale parameter at the point (p, q) in each image is obtained.
  • s i p is a scale parameter in the corneal surface reflection image set by the user
  • s i q is a scale parameter at a point q in the corresponding scene image.
  • step S ⁇ b> 7 the calculation unit 1 operates as a registration unit, and uses the warping function Wi ′ determined in step S ⁇ b> 6 to convert the eyeball image Ie (the corneal surface reflection image) into the scene image Is. Is registered (registration, alignment), and the data of the aligned eyeball image is generated.
  • FIG. 14A shows the aligned eyeball image (the cornea surface reflection image) IeR thus obtained.
  • step S8 in FIG. 5 the calculation unit 1 operates as a registration unit, and performs fine adjustment (fine registration) of the warping function Wi ′ determined in step S6.
  • the finely adjusted eyeball image data is stored in the storage unit 2 (FIG. 4).
  • the calculation unit 1 performs the evaluation according to the equation (10) by slightly changing the position of the corneal sphere center C (FIG. 7), that is, the length of the distance d LC and the rotation angle ⁇ of the ellipse on the projection plane IP. Repeatedly converges the evaluation value. For convergence, the interior point method is used.
  • FIG. 14C is an image obtained by superimposing the image IeR before fine registration with the scene image Is.
  • FIG. 14D is an image obtained by superimposing the image IeR after fine registration with the scene image Is. As can be seen from FIGS. 14C and 14D, the fine registration process further improves the accuracy of registration.
  • the image registration device 10 can convert the mapping (warping function W i ′ ()) based on only one pair of corresponding points (the optimum initial corresponding points determined in step S6). Can be determined. By doing so, registration (registration) of the eyeball image Ie with respect to the scene image Is can be performed robustly. Further, the image registration device 10 (FIG. 4) can appropriately determine the above-mentioned corresponding pair of points by performing the RANRESAC process. That is, the image alignment apparatus can appropriately determine a set of initial corresponding point pairs by RANRESAC processing and perform registration correctly. In this sense, the image alignment performed by the image alignment apparatus is robust. In other words, even when it is difficult to extract a plurality of correct initial corresponding point pairs, the image registration apparatus can perform registration correctly as long as only one initial corresponding point pair can be determined. In a sense, this method is robust.
  • the image alignment apparatus 10 acquires image data to be aligned from the imaging devices (eye camera 11e and scene camera 11s (FIG. 4)) connected to the device. .
  • the image alignment apparatus 10 can acquire data of one or more images from an apparatus (such as an image database) other than such an imaging apparatus, and can perform alignment on the image.
  • the image registration device 10 acquires image data from an open database such as Google Street View via the network, and between the image and the eyeball image Ie (FIG. 6) captured by the eye camera 11e. You may align with.
  • the image registration device 10 acquires data of a plurality of images from one or a plurality of external devices (for example, an image database), a recording medium such as an optical disk or a flash memory, and positions between the plurality of images. You may combine.
  • a mapping for transferring each acquired image to the spherical ray map may be prepared in advance by the image registration apparatus 10 as appropriate prior to the image registration process. This preparation method is obvious to those skilled in the art.
  • the gain and exposure parameters of the eye camera 11e were adjusted.
  • the eye camera 11e and the scene camera 11s acquired an image at 10 fps while being connected to the image alignment device 10 (personal computer, PC).
  • 2-point RANRESAC the warping function was estimated in the same way as 2-point RANSAC. Thereafter, evaluation was performed according to the RANRESAC method. This was repeated 500 times in the same manner as 2-pointCRANSAC, and the best solution was selected.
  • Tables 1 to 7 show the alignment accuracy (success rate).
  • the time required for alignment is 37.0 seconds per frame (image alignment method according to the embodiment (1-point RANRESAC)), 14.47 seconds (2-point RANSAC), 180.47 seconds (2- point RANRESAC).
  • the success rate is 85.5% (Table 1 to Table 3) in the outdoor scene and 86.3% in the indoor scene (Table 4 to Table 6), and 2-point RANSAC and It is significantly higher than 2-point RANRESAC.
  • 2-point RANRESAC has a lower success rate than 1-point RANRESAC (this embodiment), but exceeds the success rate in comparison with 2-point RANSAC that performs the same rotation matrix estimation. This confirms that the RANRESAC method is robust with respect to noise conditions.
  • Gaze point estimation using the image registration device will be described.
  • an image of a landscape that the user is looking at can be extracted, and an object or place that the user is looking at can be specified by referring to an image such as Google Street View.
  • This technique can be applied to, for example, an AR (Augmented Reality) system.
  • the gaze point estimation using the image alignment apparatus unlike the conventional example, calibration of the relative positional relationship between the eye camera and the scene camera is unnecessary. Further, it is not necessary to fix the relative positional relationship.
  • the calculation unit 1 operates as a viewpoint extraction unit, and detects the gaze reflection point GRP (FIG. 15) of the subject by detecting the posture of the eyeball from the eyeball image by a known method.
  • the gaze reflection point GRP here is a point at which the light coming from the direction of the line of sight substantially coincident with the optical axis of the eyeball of the subject is reflected on the cornea surface.
  • the calculation unit 1 derives a warping function W for registering the eyeball image Ie to the scene image Is.
  • the calculation unit 1 obtains a point GRP ′ (FIG. 15) corresponding to the gaze reflection point GRP of the eyeball image Ie in the scene image Is.
  • a point GRP ′ in the scene image Is corresponds to a scene (gaze point) that the subject is gazing at.
  • the image alignment device can extract a scene (gaze point) that the subject is gazing from from the scene image Is. That is, as described above, the image alignment apparatus according to the present embodiment also operates as a gazing point extraction system.
  • a display device using an image alignment device that operates as the above-described gazing point extraction system will be described.
  • This technique can be applied to, for example, an AR (Augmented Reality) system.
  • AR system Augmented Reality
  • This display apparatus has the configuration shown in FIG. 4 as in the image alignment apparatus according to the present embodiment.
  • the output unit 4 is a monitor display that displays an image.
  • the computing unit 1 displays the scene image Is on the output unit 4 and displays a predetermined image in an overlapped position at an arbitrary point in the scene image in the scene image Is extracted as described above. Thereby, the superimposed display by the AR system can be performed.
  • peripheral visual field of the subject can be restored to the scene image Is by the image alignment device and the image alignment method according to the present embodiment.
  • the calculation unit 1 operates as a visual field estimation unit, specifies the posture (optical axis) of the eyeball using the eyeball image Ie, and determines a predetermined angle (for example, 10 degrees, 20 degrees, etc.) with respect to the optical axis of the eyeball. (..90 degrees), the point at which the light arriving from the direction of the angle is reflected on the corneal surface is identified (FIG. 16). These points are distributed so as to draw a curve in the eyeball image Ie.
  • the calculation unit 1 detects points corresponding to these points from the scene image Is using the warping function W determined by the present embodiment.
  • the detected point group forms a region of the subject's peripheral visual field (region spreading at a predetermined angle with the gazing point at the center).
  • the peripheral region of the subject can be extracted from the scene image Is by the image alignment apparatus according to the present embodiment.
  • the image alignment apparatus can estimate the peripheral visual field region of the subject in the scene image Is, that is, operates as a peripheral visual field estimation system.
  • iris recognition In the existing iris recognition method, an eyeball image is acquired using infrared illumination in order to suppress specular reflection on the cornea surface. On the other hand, if the image alignment apparatus according to the present embodiment is used, specular reflection (corneal surface reflection image) included in the eyeball image can be removed using the scene image.
  • the calculation unit 1 of the image alignment apparatus derives a warping function W between the eyeball image Ie (FIG. 17) and the scene image Is (FIG. 17).
  • the calculation unit 1 uses the warping function W to align the scene image Is with the eyeball image Ie.
  • the calculation unit 1 operates as an iris image generation unit to remove the cornea surface reflection image of the eyeball image Is by subtracting the aligned scene image Is from the portion corresponding to the scene image Is in the eyeball image Ie. To generate an iris image.
  • the image Iit in FIG. 17 is an eyeball image from which the specular reflection of the cornea has been effectively removed as described above, that is, an iris image.
  • the specular reflection of the cornea that is included in the eyeball image Is can be effectively removed, it is possible to obtain a noiseless iris image I it.
  • the calculation unit 1 operates as a recognition unit, and performs iris recognition processing on the iris image using a known method.
  • the image alignment apparatus effectively removes specular reflection of the cornea even when an eyeball image is acquired using not only infrared illumination but also illumination in the visible light region. And an accurate iris image can be obtained. By using the iris image obtained in this way, it is possible to improve the accuracy of iris recognition. That is, the image alignment apparatus according to the present embodiment also operates as an iris recognition system.
  • the present embodiment also discloses the following system and method.
  • An acquisition unit that acquires a first image that is an image obtained by photographing the eyeball of the subject and a second image that is an image obtained by photographing the subject in the visual line direction of the subject;
  • a mapping unit for determining a first mapping that is a mapping for moving the first image to a spherical ray map and a second mapping that is a mapping for transferring the second image to a spherical ray map;
  • a corresponding point pair extraction unit that extracts a corresponding point pair by detecting one point in the first image and one point in the second image corresponding to the one point; The position of one point in the first image that constitutes the corresponding point pair, and a transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map, and
  • a transferred image deriving unit for deriving based on the local feature amount and the position and local feature amount of one point in the second image constituting the corresponding point pair;
  • a display system (AR system) provided with the gazing point extraction system of (1).
  • An acquisition unit that acquires a first image that is an image obtained by photographing the eyeball of the subject and a second image that is an image obtained by photographing the subject in the visual line direction of the subject;
  • a mapping unit for determining a first mapping that is a mapping for moving the first image to a spherical ray map and a second mapping that is a mapping for transferring the second image to a spherical ray map;
  • a corresponding point pair extraction unit that extracts a corresponding point pair by detecting one point in the first image and one point in the second image corresponding to the one point; The position of one point in the first image that constitutes the corresponding point pair, and a transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map, and Based on the local feature amount, and the position and local feature amount of one point in the second image that constitutes the corresponding point pair, The optical axis of the eyeball is specified from the
  • an acquisition unit that acquires a first image that is an image of a subject in the direction of the line of sight of the subject and a second image that is an image of the eyeball of the subject;
  • a storage unit for storing data of the first image and data of the second image;
  • a mapping unit for determining a first mapping that is a mapping for moving the first image to a spherical ray map and a second mapping that is a mapping for transferring the second image to a spherical ray map;
  • a corresponding point pair extraction unit that extracts a corresponding point pair by detecting one point in the first image and one point in the second image corresponding to the one point; The position of one point in the first image that constitutes the corresponding point pair, and a transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map, and Based on the local feature amount, and the position and local feature amount of one point in the second image that constitutes the
  • a calculation unit that determines a first mapping that is a mapping for transferring the first image to a spherical ray map and a second mapping that is a mapping for transferring the second image to a spherical ray map;
  • a calculation unit is configured to perform a transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map in the first image constituting the corresponding point pair.
  • a calculation unit detecting a gaze reflection point on the first image by detecting a posture of an eyeball from the first image; The calculation unit obtains a point corresponding to the gaze reflection point in the second image as a point at which the subject is gazing, based on the first mapping, the transfer image, and the second mapping. Steps, A method of extracting a gazing point.
  • (6) a step of obtaining a first image that is an image obtained by photographing the eyeball of the subject and a second image that is an image obtained by photographing the subject in the eye gaze direction of the subject;
  • a calculation unit that determines a first mapping that is a mapping for transferring the first image to a spherical ray map and a second mapping that is a mapping for transferring the second image to a spherical ray map;
  • a calculation unit is configured to perform a transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map in the first image constituting the corresponding point pair.
  • a calculation unit that determines a first mapping that is a mapping for transferring the first image to a spherical ray map and a second mapping that is a mapping for transferring the second image to a spherical ray map;
  • a calculation unit is configured to perform a transfer image that aligns the image of the first image in the spherical ray map and the image of the second image in the spherical ray map in the first image constituting the corresponding point pair.
  • the calculation unit Based on the first mapping, the re-transfer image, and the second mapping, the calculation unit stores the first image data stored in the storage unit and the second image stored in the storage unit. Generating the first image data aligned with the second image by aligning with the image data; A calculation unit subtracting the aligned first image from the second image to generate an iris image; A calculation unit performing iris recognition using the iris image; An iris recognition method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　画像位置合わせ装置は、第１画像を球面光線マップへ移す写像である第１写像と第２画像を球面光線マップへ移す写像である第２写像とを決定するマッピング部と、第１画像中の一点と、当該一点と対応する第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、球面光線マップにおける第１画像の像と、球面光線マップにおける第２画像の像とを位置整合させる回転写像を、対応点対を構成する第１画像中の一点の位置および局所特徴量、ならびに、対応点対を構成する第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、第１写像と回転写像と第２写像とに基づいて、第１画像のデータを、第２画像のデータに対して位置合わせして第２画像に対して位置合わせされた第１画像のデータを生成するレジストレーション部と、を有する。

Description

画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
　本発明は、画像の位置合わせ（レジストレーション（registration）、アライメント（alignment））のための装置に関する。
　特許文献１には、被験者が注視している点（注視点）および同被験者の個人パラメータを推定する装置が記載されている。該装置は、被験者の眼球の像が含まれる画像（眼球画像）を取得し、当該眼球画像から、眼球の姿勢（すなわち眼球の光軸の方向）を推定するとともに、被験者の視線の方向（注視の方向）を推定する。そして、該装置は、眼球の光軸の方向と視線の方向との間のずれ量を個人パラメータとして定量化する。
国際公開第２０１４／０２１１６９号パンフレット
　眼球を撮像して得られる画像（眼球画像）には一般に、眼球の角膜で鏡面反射した光の像（角膜表面反射像）が含まれる。当該角膜表面反射像は、被験者が実際に見ている光景と対応している。このことを利用して、例えば、そのような角膜表面反射像を含む眼球画像と、被験者周囲の風景の画像（シーン画像）とを用いて、被験者が目にした光景を復元しようとする試みが近年活発に行われている。このような研究およびその成果から派生する種々のアプリケーションにおいては、眼球画像と、眼球画像とは別に被験者の周囲の風景を撮像して取得されるシーン画像との位置合わせ（レジストレーション）は極めて重要な技術である。
　しかしながら、角膜表面反射像に多くのノイズ成分が含まれるため、眼球画像とシーン画像との位置合わせ（レジストレーション、アライメント）をロバストに行うことは、困難であった。
　本発明は、例えば眼球画像とシーン画像のような、２つまたはそれ以上の画像間で相互の位置合わせ（レジストレーション、アライメント）をロバストに行うことができる装置を提供する。
　本発明の一態様は、
　第１画像のデータおよび第２画像のデータを取得する取得部と、
　第１画像のデータおよび第２画像のデータを格納する記憶部と、
　第１画像を球面光線マップへ移す写像である第１写像と、第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
　第１画像中の一点と、当該一点と対応する第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
　球面光線マップにおける第１画像の像と、球面光線マップにおける第２画像の像とを位置整合させる回転写像を、対応点対を構成する第１画像中の一点の位置および局所特徴量、ならびに、対応点対を構成する第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
　第１写像と、回転写像と、第２写像と、に基づいて、記憶部に格納された第１画像のデータを、記憶部に格納された第２画像のデータに対して位置合わせして第２画像に対して位置合わせされた第１画像のデータを生成するレジストレーション部と、を有する画像位置合わせ装置である。
　本発明の実施形態による画像位置合わせ装置は、２つまたはそれ以上の画像間で相互の位置合わせ（レジストレーション、アライメント）をロバストに行うことができる。
アイ・カメラおよびシーン・カメラの配置例を示す図 アイ・カメラが撮像した眼球画像の例（ａ）、および、シーン・カメラが撮像したシーン画像の例（ｂ）を示す図 実施形態による画像位置合わせ方法の概略を示す図 実施形態による画像位置合わせ装置の構成を示すブロック図 画像位置合わせ装置が実行する画像位置合わせの処理の流れを示すフローチャート 取得した眼球画像およびシーン画像、ならびに、左右反転を施した眼球画像の例を示す図 弱透視投影モデルを用いた眼球姿勢推定の方法を説明する図 眼球画像およびシーン画像における初期対応点対の例を示す図 眼球画像およびシーン画像における複数組の初期対応点対の例を示す図 図５のステップＳ５での処理（ＲＡＮＲＥＳＡＣ処理）の詳細を示すフローチャート 第ｉ組の初期対応点対を示す図 眼球画像において副次的対応点をランダムにプロットした例を示す図 第ｉ組の初期対応点対での対応関係に従って導出されたワーピング関数に基づいて、眼球画像上にランダムにプロットされた副次的対応点に対応するシーン画像上の副次的対応点をプロットした例を示す図 レジストレーションされた眼球画像の例、および、ファイン・レジストレーション（微調整）の実行の例を示す図 実施形態による位置合わせ装置を用いた応用例（視点推定）を示す図 実施形態による位置合わせ装置を用いた応用例（周辺視野推定）を示す図 実施形態による位置合わせ装置を用いた応用例（虹彩認証用画像の生成）を示す図
　１．発明に至った経緯
　図１に示すようなシステムを例に挙げ、本発明に至った経緯を説明する。同図のシステムは、被験者の眼球２０（のうち、主として角膜２１）を撮像するアイ・カメラ９１１ｅと、被験者が見ている光景（シーン）を撮像する（撮像の方向が被験者の視線方向と略一致するように設置されている）シーン・カメラ９１１ｓを有する。同システムには、図示しないコンピュータがさらに含まれ、そのコンピュータが、アイ・カメラ９１１ｅが撮像した画像（眼球画像）から被験者の視線の方向を推定するとともに、シーン・カメラ９１１ｓが撮像した画像（シーン画像）を用いて被験者が目にしている光景を高精細に復元することを試みる。
　図２は、図１のシステムのアイ・カメラ９１１ｅおよびシーン・カメラ９１１ｓが撮像する眼球画像およびシーン画像の例を示す図である。図２（ａ）は、アイ・カメラ９１１ｅが撮像した被験者の眼球の画像（眼球画像）Ｉｅ９の例である。図２（ｂ）は、シーン・カメラ９１１ｓが撮像した被験者が目にした光景（シーン）の画像（シーン画像）Ｉｓ９の例である。
　上記したコンピュータは、（例えば領域Ｉ９３０ｅに見られるような）角膜表面での反射光の像から、被験者が見ている光景（シーン）を推定する。そして、コンピュータは、当該シーンに対応する影像をシーン画像Ｉｓ９の例えば領域Ｉ９３０ｓから求め、この結果を踏まえて、高精細なシーン画像Ｉｓ９を用いて被験者が目にした光景を復元しようとする。
　しかしながら、眼球画像Ｉｅ９を見れば、角膜表面反射像のコントラストは比較的低く、かつ、角膜表面反射像には虹彩のテクスチャＩｉｔや、まつげＩｅｌおよびまつげの影Ｉｓｅｌといったノイズが溢れている。さらに、角膜が曲面状の表面を有するために、角膜に映るシーンの影像は非線形的な歪みを受けている。そのため、従来の画像位置合わせの手法では、眼球画像Ｉｅ９と、シーン画像Ｉｓ９とをロバストに位置合わせすることは困難であった。
　２．本発明の実施形態の概要
　そこで、本願発明者は、以下に説明する新規な画像位置合わせのための装置および方法を提案する。まずここでは図３を参照し、本発明の実施形態による画像位置合わせ装置が実行する画像位置合わせ方法の概要を説明する。
　本発明の実施形態による画像位置合わせ装置は、眼球画像Ｉｅとシーン画像Ｉｓのデータを取得して、メモリ等の記憶手段に格納する。そして、画像位置合わせ装置は、シーン画像Ｉｓ、および、眼球画像Ｉｅそれぞれを球面光線マップ（球面光線環境、Environmental Map （ＥＭ））へ移す写像（第１写像および第２写像）を決定する。ここでの「球面光線マップ」とは、画像を撮像した手段を中心として当該中心へ入射する光を所定の半径を有する球面にマッピングしたときに生成される、撮像手段を取り囲む光線環境に関するマップである。図３（ｃ）は、シーン画像Ｉｓについての球面光線マップＥＭｓの例であり、同図には、球面光線マップＥＭｓにおけるシーン画像の像が示されている。図３（ｄ）は、眼球画像Ｉｅについての球面光線マップＥＭｅの例であり、同図には、球面光線マップＥＭｅにおける眼球画像の像が示されている。ここでは、シーン画像Ｉｓを球面光線マップＥＭｓへ移す（変換する）写像（変換関数）をＡｓ（）とし、眼球画像Ｉｅの角膜表面反射像を球面光線マップＥＭｅへ移す（変換する）写像（関数）をＬ（）としている。たとえば、シーン画像Ｉｓの画素ｘ１は、写像Ａｓにより、球面光線マップＥＭｓ上のＡｓ（ｘ１）へ移り、眼球画像Ｉｅの画素ｘ２は、写像Ｌにより、球面光線マップＥＭｅ上のＬ（ｘ２）へ移る。
　次に、画像位置合わせ装置は、シーン画像Ｉｓ（第１画像）と、眼球画像Ｉｅ（第２画像）（の角膜表面反射像）と、の間で、対応する特徴点のペア（以下で「初期対応点対」とも称される点対）を少なくとも一対（例えば点ｐと点ｑの一対）求める。画像位置合わせ装置は、ここでの対応点の検出のため、既存の手法（ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等）を用いることができる。ＳＩＦＴやＳＵＲＦといった既存の特徴点検出の手法では、検出された対応点対の各特徴点（点ｐ、点ｑ）それぞれについての局所特徴量として、方向（オリエンテーション）の情報（θｐ、θｑ）を算出することができる。画像位置合わせ装置は、このオリエンテーションの情報（θｐおよびθｑ）と対応点（特徴点）（点ｐ、点ｑ）の位置の情報を利用して、球面光線マップＥＭｓ上のシーン画像の像を球面光線マップＥＭｅ上の角膜表面反射像に対して位置整合させる回転写像Ｒを決定する。ここでは、球面光線マップＥＭｓと球面光線マップＥＭｅとが実質的に等しいと仮定し、故に、上述の位置整合は回転写像Ｒにより表現可能であることを仮定している。（つまり、たとえば、シーン画像Ｉｓの画素ｑ１は、写像Ａｓにより、球面光線マップＥＭｓ上のＡｓ（ｑ）へ移り、球面光線マップＥＭｓ上のシーン画像の像の画素Ａｓ（ｑ）におけるオリエンテーションの情報は、Ａｓ’（ｑ，θｑ）と表現され、眼球画像Ｉｅの画素ｐは、写像Ｌにより、球面光線マップＥＭｓと共通する球面光線マップＥＭｓ上のＬ（ｐ）へ移り、球面光線マップＥＭｅ上の眼球画像（の角膜表面反射像）の像の画素Ｌ（ｐ）におけるオリエンテーションの情報は、Ｌ’（ｐ，θｐ）と表現される。）
　最後に、画像位置合わせ装置は、眼球画像Ｉｅの各画素に対し、写像Ｌ（）、回転写像Ｒの逆写像Ｒ－１、写像Ａｓ（）の逆写像Ａｓ（）－１（図中のワーピング関数Ｗ（Ｗ＝Ａｓ（）－１・Ｒ－１・Ｌ（）））を適用することにより、眼球画像Ｉｅの各画素をシーン画像Ｉｓに対し位置合わせ（レジストレーション、アライメント）する。つまり、本実施形態によれば、画像位置合わせの問題は、球面光線マップ上での２つの像の位置整合の問題に帰着される。球面上の位置整合の問題へ帰着されることにより、レジストレーションに必要な、求めるべきパラメータの数が低減される、という効果が奏される。そのため、本画像位置合わせ装置は、ただ一組の初期対応点対（特徴点ｐと特徴点ｑで構成されるペア）を求めることで、位置合わせが可能となる。すなわち、本画像位置合わせ装置が実行する画像位置合わせ方法においては、ただ一組の初期対応点対（の各特徴点の位置および局所特徴量（オリエンテーション））が決定できさえすれば、正しくレジストレーションを実行可能である。この意味で、本画像位置合わせ装置が実行する画像位置合わせはロバストである。つまり、正しい初期対応点対を複数組み抽出することが困難な場合にも、本画像位置合わせ装置は、ただ一組の初期対応点対が決定できさえすれば正しくレジストレーションを実行可能であるという意味で、本手法はロバストである。なお、画像位置合わせ装置は、初期対応点対の検出および当該初期対応点対を構成する各点での局所特徴量（例えばオリエンテーションの情報）の算出に、上述のＳＩＦＴおよびＳＵＲＦのほかにも、ＭＳＥＲ（Maximally Stable External Regions）といった手法を用いることができる。
　また、画像位置合わせ装置が、上述の「一組の初期対応点対」を決定する工程も、新規な特徴を有している。本明細書では、この、新規で特徴的な初期対応点対抽出の工程を、「ＲＡＮＲＥＳＡＣ」（RANdom RESAmple Consensus）と称する。ＲＡＮＲＥＳＡＣは、一言で言えば、二画像の複数の初期対応点対の候補から最も対応がよい一組の初期対応点対を決定して当該一組の初期対応点対に基づいて画像の位置合わせをするものである。ＲＡＮＲＥＳＡＣは、最適なただ一組の最適な初期対応点対に基づいて画像の位置合わせをする点において、位置合わせに大勢の適切な（よく対応した）対応点対を必要とするＲＡＮＳＡＣ（RANdom SAmple Consensus）と大きく相違する。なお、このＲＡＮＲＥＳＡＣが適用可能な二画像は、眼球画像とシーン画像の組み合わせに限定されない。
　以下では、眼球画像（の角膜表面反射像）とシーン画像との間での画像位置合わせ（レジストレーション）を例として、本発明の実施形態による画像位置合わせ装置および方法を説明する。しかしながら、本発明は、言うまでも無いことだが、眼球画像およびシーン画像に限らず、様々な画像について相互の位置合わせ（レジストレーション、アライメント）を行うことができる。
　３．画像位置合わせ装置の構成
　図４は、本発明の実施形態による画像位置合わせ装置１０の構成を示す概略図である。画像位置合わせ装置１０は、被験者の眼球２０（のうち主として角膜２１）を撮像するアイ・カメラ１１ｅから画像データ（「眼球画像」のデータ）を取得するための第１映像インタフェース３ｅと、被験者が見ている光景（シーン）を撮像する（撮像の方向および画角が被験者の視線方向（眼球の光軸の方向）と略一致するように（あるいは視線方向を含むように）設置されている）シーン・カメラ１１ｓから画像データ（「シーン画像」のデータ）を取得するための第２映像インタフェース３ｓを備えている。さらに、画像位置合わせ装置１０は、第１および第２映像インタフェース３ｅ，３ｓを介して装置１０へ入力され記憶部２に格納されたシーン画像および眼球画像のデータを用いて両画像の位置合わせを行う演算部１（制御部）と、眼球画像のデータやシーン画像のデータといった各種データおよび演算部１が実行するプログラム等を格納する記憶部２を備える。なお、画像位置合わせ装置１０は、アイ・カメラ１１ｅとシーン・カメラ１１ｓとともに画像位置合わせシステムを構成する。
　演算部１は、所定のプログラム（画像位置合わせプログラム）を実行することにより、　画像位置合わせ装置のマッピング部、対応点抽出部、回転写像導出部、および、レジストレーション部として動作する。
　入力部５は、外部の演算装置に対するデータ・インタフェース、および、ユーザからのデータ入力を受け付けるユーザ・インタフェースを含み、ユーザ・インタフェースは、マウス、キーボードといった入力装置を含む。
　なお、演算部１は、装置１０の全体の動作を制御する制御部としても動作する。当該制御動作の一つとして、演算部１はシーン・カメラ１１ｓおよびアイ・カメラ１１ｅの動作（撮像等）を制御してもよい。
　演算部１は、所謂、中央処理装置（ＣＰＵ、Central Processing Unit）である。しかしながら、演算部１の構成は、ＣＰＵおよびその周辺の補助回路に限定されない。演算部１は、所定の演算処理に特化したＧＰＵ（Graphics Processing Unit）等でもよい。あるいは、演算部１は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルロジックデバイスや、マイクロコントローラ、といったプロセッサとして実装することも可能である。演算部１は、ＣＰＵ等の上記要素を複数組み合わせて構成されてもよく、かつ演算部１を構成する要素は上述の例に限定されるものではない。演算部１は、記憶部２に格納された画像位置合わせプログラムを実行することにより、本発明の実施形態による画像位置合わせ方法を実行することができる。また、画像位置合わせプログラムは、フレキシブル・ディスク、光ディスク、フラッシュメモリ等に記録されてよく、また、インターネット等のネットワークを介して送信されてよい。
　記憶部２は、各種データおよび演算部１が実行する画像位置合わせプログラム等を格納する。記憶部２は、例えば、ＲＯＭ（Read-Only memory）およびＲＡＭ（Random Access Memory）である。記憶部２には、画像位置合わせプログラムのほか、シーン・カメラ１１ｓおよびアイ・カメラ１１ｅのカメラ内部マトリクス（camera internal matrix）が保持されている。（カメラ内部マトリクスとは、カメラ内部パラメータをその要素に含むマトリクス形式のデータである。）カメラ内部マトリクスのデータは、画像位置合わせの前に外部から記憶部２へロードして記憶部２へ格納されてもよいし、あるいは、カメラ内部マトリクスのデータは、画像位置合わせプログラムに含まれてもよい。あるいは、画像位置合わせ装置１０は、画像位置合わせの前に、演算部１（ＣＰＵ）の制御の下、シーン・カメラ１１ｓおよびアイ・カメラ１１ｅについてカメラキャリブレーションを行うことにより各々のカメラ内部マトリクスを求めてそれらを記憶部２に格納するように動作してもよい。
　出力部４は、演算部１が行った画像位置合わせの結果を出力する。出力部４は、例えば、モニタディスプレイであり、あるいは、プリンタである。あるいは、出力部４は、ハードディスクやフラッシュメモリといった外部記憶装置や、ネットワークを介して接続された他のコンピュータとの接続を実現するためのインタフェース機構を備えてもよい。
　４．画像位置合わせの流れ
　次に、図５～図１４を参照し、画像位置合わせ装置１０の演算部１（図４）が、画像位置合わせプログラムを実行したときに行う処理について説明する。
　図５は、画像位置合わせ装置１０（図４）が実行する画像位置合わせの処理の流れを示すフローチャートである。
　ステップＳ１において、演算部１（図４）は、取得部として動作して、アイ・カメラ１１ｅが撮像した眼球画像、および、シーン・カメラ１１ｓが撮像したシーン画像を取得する。図６（ａ）は、そのようにして取得されたシーン画像Ｉｓの例であり、図６（ｂ）は、同様にして取得された眼球画像Ｉｅ’の例である。取得したシーン画像Ｉｓおよび眼球画像Ｉｅ’は、記憶部２（図４）に格納される。
　ステップＳ２において、演算部１（図４）は、引き続き取得部として動作して、取得した眼球画像Ｉｅを、左右方向について反転させる。これは、眼球画像Ｉｅの角膜表面反射像に含まれるシーンの向きを、シーン画像Ｉｓにおけるシーンの像の向きと一致させるためである。図６（ｃ）は、そのようにして反転された眼球画像Ｉｓの例である。反転された眼球画像Ｉｓは、記憶部２（図４）に格納される。以降、演算部１は、反転された眼球画像Ｉｓを用いて処理を行う。なお、画像の反転の処理は、眼球画像Ｉｅに代えて、シーン画像Ｉｓに対して施されてもよい。
　ステップＳ３において、演算部１（図４）は、マッピング部として動作して、シーン画像Ｉｓを球面光線マップＥＭｓへ移す写像Ａｓ（）（図３）と、眼球画像Ｉｅ（の角膜表面反射像）を、球面光線マップＥＭｅへ移す写像Ｌ（）（図３）とを決定する。
　シーン画像Ｉｓを球面光線マップＥＭｓへ移す写像Ａｓ（）（図３）は次のようにして決定される。演算部１（図４）は、記憶部２（図４）に格納されている、シーン・カメラ１１ｓの３×３カメラ内部マトリクスＫｓを読み出す。そして、演算部１は、写像Ａｓ（）を次式
Figure JPOXMLDOC01-appb-M000001
 に従って決定する。（ここで、ベクトルｑは、シーン画像Ｉｓ中の点（画素）を指すベクトルである。シーン画像Ｉｓ中の点ｑは、写像Ａｓ（）により、ベクトルＡｓ（ｑ）が指す球面光線マップＥＭｓ上の点に移る。）演算部１は、このようにして決定した写像Ａｓ（）（変換関数）を、記憶部２に格納する。
　他方、演算部１は、次のようにして、眼球画像Ｉｅを球面光線マップＥＭｅへ移す写像Ｌ（）（図３）を決定する。
　写像Ｌ（）の決定方法について、主として図７を参照して説明する。図７（ａ）は、球面（角膜球２１ＳＰＨの表面）の一部とみなした角膜２１と、アイ・カメラ１１ｅ（原点Ｏ）と、で構成される非剛体反射屈折結像系（non-rigid catadioptric imaging system）の弱透視投影モデルである。図７（ｂ）は、原点Ｏ側から見た場合の投影面ＩＰの例図である。図７（ｃ）は、眼球の光軸方向ベクトルｇと角度φおよびτとの関係を説明する図である。この弱透視投影モデルにおいては、角膜２１は、角膜球２１ＳＰＨを角膜縁２１Ｌで切り取った部分球面とみなすことができる。なおここでは、角膜２１の代表寸法（半径ｒＬ、角膜縁中心Ｉと球面２１ＳＰＨの中心Ｃと間の距離ｄＬＣ）として、固定値（ヒトの平均値）を採用するものとする。
　眼球の姿勢は、角膜縁中心Ｉの位置と、眼球光軸方向ｇと、で定めることができる。Ｚｃａｍ軸方向に関し、角膜２１の厚さは十分に薄いと仮定すれば、ほぼ真円である角膜縁２１Ｌは、投影面ＩＰにおいて、（真円を含む）楕円２１ＬＰとなる。この楕円２１ＬＰは、中心ｉＩ、長軸の長さｒｍａｘ、短軸の長さｒｍｉｎ、および、回転角φ、の４つのパラメータで定めることができる。角膜縁２１Ｌの中心の位置は、投影面ＩＰにおける楕円２１ＬＰの中心ｉＩ、および、角膜２１とカメラ（原点Ｏ）との間の距離ｄ（ｄ＝ｒＬ・ｆ／ｒｍａｘ、（ｆは焦点距離））とで定めることができる。つまり、角膜２１Ｌの中心を指し示す位置ベクトルをベクトルＩとすれば、Ｉ＝ｄ・Ｋｅ－１ｉＩと表すことができ、ここで、Ｋｅは、シーン・カメラ１１ｓの３×３カメラ内部マトリクスである。
　次に、眼球光軸方向ｇ（これは、被験者の視線の方向と略一致する。）は、方向ベクトルｇ＝［ｓｉｎ（τ）ｓｉｎ（φ）　－ｓｉｎ（τ）ｃｏｓ（φ）　－ｃｏｓ（τ）］Ｔと表すことができ、ここで、角度τは、アイ・カメラ１１ｅの結像面（投影面ＩＰ）に対する角膜縁２１Ｌの傾きすなわちτ＝±ａｒｃｃｏｓ（ｒｍｉｎ／ｒｍａｘ）であり、角度φは、同結像面に対する楕円２１ＬＰの回転角である。（図７（ａ）から（ｃ）を参照。）
　次に角膜球２１ＳＰＨの中心Ｃの位置について考察する。角膜球２１ＳＰＨの半径ｒＣをおよそ７．７ミリメートル（ヒトの平均値）とすれば、角膜球中心Ｃは、光軸方向ｇのマイナス方向に沿って角膜縁中心Ｉからおよそ５．６ミリメートル（ｄＬＣ ２＝ｒＣ ２－ｒＬ ２）の位置にあることがわかる。
　以上を踏まえ、眼球画像Ｉｅ（図６（ｃ））として結像される光の経路の逆経路（眼球画像Ｉｅの画素ｐから出た光が、角膜２１上の点Ｐで反射してシーン内の光源へ向かう経路）を考える。アイ・カメラ１１ｅ（図４）の３×３カメラ内部マトリクスをＫｅとすれば、アイ・カメラ１１ｅの正規化逆投影ベクトルＡｅ（ｐ）は、
Figure JPOXMLDOC01-appb-M000002
 と表すことができ、ここで、ベクトルｐは、眼球画像中のピクセルｐの位置ベクトルである。角膜２１上の点Ｐにおいて反射した光が、眼球画像のピクセルｐに結像するとき、点Ｐの位置ベクトルは、Ｐ＝ｔ１×Ａｅ（ｐ）と表すことができる。角膜球２１ＳＰＨの中心をＣとして、関係式｜｜Ｐ－Ｃ｜｜２＝ｒＣ ２をｔ１について解く。
Figure JPOXMLDOC01-appb-M000003
 ここで、定義より、｜｜Ａｅ（ｐ）｜｜２＝１であるから、
Figure JPOXMLDOC01-appb-M000004
 を得る。角膜表面における反射光に興味があるので、２つのｔ１のうちで値が小さいほうを採る。これにより、眼球画像のピクセルｐに結像する光の、角膜２１上における反射点Ｐが定まる。以上より、眼球画像のピクセルｐに結像する光の経路のシーン中の点を示すベクトルＬ（ｐ）と、角膜表面上の点Ｐにおける法線ベクトルＮ（ｐ）は、次式、
Figure JPOXMLDOC01-appb-M000005
 で求めることができる。上式を用いることで、眼球画像Ｉｅの少なくとも瞳の領域の画素の影像について角膜表面で反射した光の光源の方向を特定することができる。すなわち、上式から、角膜表面反射像についての球面光線マップＥＭｅ（図３）を構成することができる。換言すれば、式（５）のＬ（）は、眼球画像Ｉｅ（図６）の角膜表面反射像を、上記非剛体反射屈折結像系についての球面光線マップに移す写像（変換関数）である。
　演算部１（図４）は、マッピング部として動作して、上記式（２）から（５）に相当する演算を行うことによって、眼球画像Ｉｅの角膜表面反射像を球面光線マップＥＭｅへ移す写像Ｌ（）（図３）を決定する。当該演算に用いられる計算アルゴリズムは、画像位置合わせプログラム内に格納されている。（ここで、ベクトルｐは、眼球画像Ｉｓの角膜表面反射像中の点（画素）を指すベクトルである。眼球画像Ｉｓの角膜表面反射像中の点ｐは、写像Ｌ（）により、ベクトルＬ（ｐ）が指す球面光線マップＥＭｅ上の点に移る。）演算部１は、このようにして決定された写像Ｌ（）を、記憶部２に格納する。
　図５に戻り、ステップＳ４において、演算部１は、対応点抽出部として動作して、図８および図９に示すように、シーン画像Ｉｓ（図６（ａ））および眼球画像Ｉｅ（図６（ｃ））において回転・スケール不変な特徴点（ＬＰｓ１およびＬＰｅ１等）を検出し、それら特徴点それぞれの局所特徴量を算出する。特徴点の検出および局所特徴量の算出は、例えばＳＩＦＴに従えばよい。特徴点の検出および局所特徴量の算出に必要なアルゴリズムは、記憶部２に格納された画像位置合わせプログラム内に格納されている。例えば、ＳＩＦＴ特徴量を用いる場合、演算部１が算出する局所特徴量は、１．位置の情報（ベクトルｘ）、２．オリエンテーションの情報（θｘ）、３．特徴ベクトル（ベクトルＦ（ｘ））、４．スケールパラメータ（ｓｘ）の４つの成分で構成される。したがって局所特徴量は、眼球画像Ｉｅのｉ番目の特徴点ｐについて
Figure JPOXMLDOC01-appb-M000006
 ｛ｐｉ，Ｆ（ｐｉ），θｉ ｐ，ｓｉ ｐ｝、シーン画像Ｉｓのｉ番目の特徴点ｑについて
Figure JPOXMLDOC01-appb-M000007
 ｛ｑｉ，Ｆ（ｑｉ），θｉ ｑ，ｓｉ ｑ｝と表現することができる。演算部１は、検出した特徴点の位置および局所特徴量を記憶部２に格納する。
　次に演算部１は、引き続き対応点抽出部として動作して、ＳＩＦＴ等に従って検出した特徴点および算出した局所特徴量に基づき、シーン画像Ｉｓ中の特徴点（ＬＰｓ１等）と、眼球画像Ｉｅ中の特徴点（ＬＰｓ１等）との対応点マッチング（ＣＰ１等）を行う。図８は、１番目の初期対応点対ＣＰ１を例示する。演算部１は、図９に示すように、対応点マッチングを複数回行って、複数組み（Ｍ組み）の初期対応点対（ＣＰ１～ＣＰＭ）を求める。そして、演算部１は、対応点（ＬＰｓ１～ＬＰｓＭおよびＬＰｅ１～ＬＰｅＭ）の位置、および、初期対応点対（ＣＰ１～ＣＰＭ）の対応関係の情報を、記憶部２に格納する。
　次に、ステップＳ５において、演算部１は、ステップＳ４で求めた初期対応点対（ＣＰ１～ＣＰＭ）それぞれについて、各初期対応点対（ＣＰ１、ＣＰ２、．．．ＣＰＭ－１、または、ＣＰＭ）の対応関係に基づいて、球面光線マップＥＭｓ上でのシーン画像Ｉｓの像と、球面光線マップＥＭｅ上での眼球画像Ｉｅ（の角膜表面反射像）の像とを位置整合させる（３×３マトリクス）回転写像Ｒを次式
Figure JPOXMLDOC01-appb-M000008
 に従って導出し、回転写像Ｒを用いて眼球画像Ｉｅの画素をシーン画像Ｉｓの画素とレジストレーションする変換関数（ワーピング関数Ｗ）を導出する。式（６）におけるベクトルｐおよびベクトルｑは、初期対応点対（ＣＰ１、ＣＰ２、．．．ＣＰＭ－１、または、ＣＰＭ）を構成するシーン画像Ｉｓおよび眼球画像Ｉｅの点（ＬＰｓ１、ＬＰｓ２、．．．、ＬＰｓＭ－１、または、ＬＰｓＭ、ならびに、ＬＰｅ１、ＬＰｅ２、．．．、ＬＰｅＭ－１、または、ＬＰｅＭ）である。また、シーン・カメラ１１ｓを構成する光学系と、アイ・カメラ１１ｅおよび角膜２１で構成される結像系は、両者とも、実質的に同一な光線環境にあることを仮定している。（この仮定により、眼球画像Ｉｅとシーン画像Ｉｓのレジストレーション（ワーピング関数Ｗの導出）は、回転写像Ｒの導出に帰着される。）
　演算部１は、次のように表現される計算アルゴリズムに従って回転写像Ｒを導出する。
　式（１）および式（６）ならびに図３等から明らかなように、シーン画像Ｉｓのｉ番目の対応点ＬＰｓｉと眼球画像Ｉｅのｉ番目の対応点ＬＰｅｉで構成される初期対応点対（ＣＰｉ）の対応関係に従う回転写像Ｒｉは、
Figure JPOXMLDOC01-appb-M000009
 であり、ここで、
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 である。式（７）のハット記号（「＾」）は、規格化されたベクトルを表し、Ｌ’（）およびＡｓ’（）は、二次元で表されたオリエンテーションの情報を、球面光線マップにおける三次元的なオリエンテーション情報に変換する関数である。第ｉ番目の初期対応点対（ＣＰｉ）の対応関係に従う回転写像Ｒｉを用いれば、次式
Figure JPOXMLDOC01-appb-M000013
 より、第ｉ番目の初期対応点対（ＣＰｉ）の対応関係に従う変換写像（ワーピング関数Ｗｉ）が定まる。ワーピング関数Ｗｉは、第ｉ番目の初期対応点対（ＣＰｉ）の対応関係に従って眼球画像Ｉｅの画素をシーン画像Ｉｓの画素に対してレジストレーションする写像である。演算部１は、初期対応点対（ＣＰ１～ＣＰＭ）と対応付けて、ワーピング関数Ｗｉ（ｉ：１～Ｍ）を記憶部２に格納する。
　図５に戻り、ステップＳ６において、演算部１（図４）は、対応点対抽出部として動作して、Ｍ組みの初期対応点対それぞれの対応関係を評価し、最も高く評価された点対で構成される初期対応点対を対応点対として抽出する（「ＲＡＮＲＥＳＡＣ」処理）。より具体的には、演算部１は、ＲＡＮＲＥＳＡＣ処理においては、前記初期対応点対のうちの１組の点対の対応関係に従うように、前記第１画像および前記第２画像において複数の副次的対応点対を特定してそれら副次的対応点対の対応関係を評価することにより、上記初期対応点対の１組の点対の対応関係を評価する。そして、最も高く評価された点対で構成される初期対応点対を最適な初期対応点対として抽出する。つまり、演算部１は、ステップＳ５において初期対応点対（ＣＰｉ）に応じて求めたワーピング関数Ｗｉを用いて眼球画像Ｉｅおよびシーン画像Ｉｓにおいて副次的な対応点対をさらに求め、それら副次的な対応点対に関する画像相関を計算して、ワーピング関数Ｗｉの正しさを評価することにより、複数の（Ｍ個）のワーピング関数Ｗｉのうちから最適なワーピング関数Ｗを決定する。
　図１０は、最適な初期対応点対を決定するための処理（ＲＡＮＲＥＳＡＣの処理）の詳細を示すフローチャートである。演算部１は、対応点対抽出部として動作して、図１０に示された処理を実行する。
　ステップＳ６１において、演算部１は、対応点対抽出部として動作して、ｉ番目の対応点対ＣＰｉ（図１１）に基づいて求めたワーピング関数Ｗｉを用いて副次的な対応点対を生成する。具体的には、演算部１は、眼球画像Ｉｅの角膜の領域を検出し、角膜の領域内でランダムにＫ個の点ＳＬＰｅｉ（図１２）を設定する。そして、演算部１は、ワーピング関数Ｗｉを用いて角膜の領域内のＫ個の点ＳＬＰｅｉそれぞれと対応するシーン画像Ｉｓ中の点ＳＬＰｓｉ（図１３）を抽出して、Ｋ組みの副次的な対応点対を抽出する。これら副次的な対応点対は、
Figure JPOXMLDOC01-appb-M000014
 と表現することもでき、ここで、ベクトルｐｊ ＊は、眼球画像Ｉｅの角膜の領域内のランダムに選ばれた点を指す位置ベクトルである。
　次に、ステップＳ６２において、演算部１は、対応点対抽出部として動作して、上述の副次的な対応点対のグループ（ワーピング関数Ｗｉ（ｉは、所与の整数（ｉ＝１～Ｍ））に従って求められた副次的対応点対群）について、局所的なテクスチャの相関性および方向の類似度を尺度として類似度を評価する。具体的には、演算部１は、以下の評価関数を用いて類似度を評価する。
Figure JPOXMLDOC01-appb-M000015
 上式の右辺第１項は、テクスチャの類似度を表し、右辺第２項は、方向の類似度を表している。同項のσｔ、σｏ、αは、テクスチャの相関性と方向の類似度の重みを定義する正定数である。（・，・）は、ベクトルの内積である。ｑｊ ＊は、Ｗ（ｐｊ ＊）を表す。
　演算部１は、Ｍ組みの初期対応点対それぞれの副次的な対応点対のグループについて式（１０）を用いて評価を行う（ステップＳ６３）。
　そして、演算部１は、ステップＳ６４において、対応点対抽出部として動作して、最も類似度が高いと評価された副次的な対応点対のグループ、すなわち、
Figure JPOXMLDOC01-appb-M000016
 で定まる第ｉ’番目の初期対応点対（ＣＰｉ’）およびそのワーピング関数Ｗｉ’を特定する。
　なお、副次的な対応点対を構成する各点における局所特徴のスケール・パラメータを適切に設定することが重要である。理想的には、スケール・パラメータは、球面光線マップにおいて同じ大きさ（空間ボリューム）を占めるように調整されればよい。ここでは、次式
Figure JPOXMLDOC01-appb-M000017
 に従い、各画像での点（ｐ，ｑ）におけるスケール・パラメータの比率を求める。ここで、ｓｉ ｐは、ユーザが設定した角膜表面反射像におけるスケール・パラメータであり、ｓｉ ｑは、対応するシーン画像中の点ｑでのスケール・パラメータである。
　図５に戻り、ステップＳ７において、演算部１は、レジストレーション部として動作して、ステップＳ６で決定したワーピング関数Ｗｉ’を用いて、眼球画像Ｉｅ（の角膜表面反射像）をシーン画像Ｉｓに対して位置合わせ（レジストレーション、アライメント）して、位置合わせされた眼球画像のデータを生成する。図１４（ａ）はそのようにして求めた、位置合わせされた眼球画像（の角膜表面反射像）ＩｅＲである。
　図５のステップＳ８において、演算部１は、レジストレーション部として動作して、ステップＳ６で決定したワーピング関数Ｗｉ’の微調整（ファインレジストレーション）を行う。微調整が施された眼球画像のデータは、記憶部２（図４）に格納される。本ステップでは、演算部１は、角膜球中心Ｃの位置（図７）すなわち距離ｄＬＣの長さ、および、投影面ＩＰにおける楕円の回転角φを微小変動させて式（１０）に従う評価を繰り返し行い、評価値を収束させる。収束には、内点法を用いる。図１４（ｃ）は、ファインレジストレーション前の画像ＩｅＲをシーン画像Ｉｓと重ね合わせた画像である。図１４（ｄ）は、ファインレジストレーション後の画像ＩｅＲをシーン画像Ｉｓと重ね合わせた画像である。図１４（ｃ）および（ｄ）を見れば判るように、ファインレジストレーション処理によって、さらにレジストレーションの精度が向上する。
　このように、画像位置合わせ装置１０（図４）は、ただ一組の対応点対（ステップＳ６で決定された最適な初期対応点対）に基づいて変換写像（ワーピング関数Ｗｉ’（））を決定することができる。そうすることによって、眼球画像Ｉｅのシーン画像Ｉｓに対する位置合わせ（レジストレーション）をロバストに実行することができる。また、画像位置合わせ装置１０（図４）は、ＲＡＮＲＥＳＡＣ処理を行って、上記ただ一組の対応点対を適切に決定することができる。すなわち、本画像位置合わせ装置は、ＲＡＮＲＥＳＡＣ処理により適切に一組の初期対応点対を決定し、正しくレジストレーションを実行可能である。この意味で、本画像位置合わせ装置が実行する画像位置合わせはロバストである。つまり、正しい初期対応点対を複数組み抽出することが困難な場合にも、本画像位置合わせ装置は、ただ一組の初期対応点対が決定できさえすれば正しくレジストレーションを実行可能であるという意味で、本手法はロバストである。
　なお、上記実施形態では、眼球画像Ｉｅをシーン画像Ｉｓに対して位置合わせする例を示したが、反対に、シーン画像Ｉｓを眼球画像Ｉｅに対して位置合わせすることも、当然のことながら可能である。また、本実施形態による画像位置合わせ装置１０が位置合わせできる画像は、眼球画像Ｉｅとシーン画像Ｉｓとの組み合わせに限定されない。また、上記実施形態では、画像位置合わせ装置１０は、自装置に接続された撮像装置（アイ・カメラ１１ｅおよびシーン・カメラ１１ｓ（図４））から位置合わせすべき画像のデータを取得している。しかしながら、画像位置合わせ装置１０は、そういった撮像装置以外の装置（画像データベース等）から１つまたは２つ以上の画像のデータを取得し、当該画像について、位置合わせを実行することができる。例えば、画像位置合わせ装置１０は、ネットワークを介して、Google Street Viewといったオープン・データベースから画像のデータを取得し、当該画像と、アイ・カメラ１１ｅが撮像した眼球画像Ｉｅ（図６）との間で位置合わせを行ってよい。あるいは、画像位置合わせ装置１０は、１つまたは複数の外部の装置（例えば、画像のデータベース）や光ディスク、フラッシュメモリといった記録媒体から複数の画像のデータを取得し、当該複数の画像の間で位置合わせを行ってもよい。これらの場合も、取得された各画像を球面光線マップへ移す写像は、画像位置合わせ装置１０が、適宜、画像位置合わせ処理に先立って、予め準備すればよい。この準備の方法は、当業者にとっては自明である。
　なお、画像位置合わせ装置１０は、画像位置合わせプログラムを記憶部２（図４）に格納し、当該プログラムは、上で説明した諸量の計算に必要な計算アルゴリズムを格納している。（しかしながら、当然のことながら、計算アルゴリズムの一部または全部は、画像位置合わせプログラムとは別に記憶部２に格納されてもよい。）
　５．実験結果
　本実施形態による画像位置合わせ装置１０（図４）を用いた画像位置合わせ実験の結果を示す。本実験においては、角膜表面反射像（眼球画像Ｉｅ）およびシーン画像Ｉｓを安定して同時撮影するため、アイ・カメラ１１ｅ（図４）およびシーン・カメラ１１ｓ（図４）として、２台の小型ボードカメラ（IDS UI-1241LE-C-HQ, 1/1.8'' CMOS, 1280 x 1024 pixel）および、ヘッドマウントシステムからなるシステムを構成した。該システムでは、アイ・カメラ１１ｅ（f=12 mm, (H, V）=(33.3, 24.8)deg）は、眼球２０から７０～１１０ミリメートル程度離れた距離に位置し、瞳直径を約４００～４５０画素程度の大きさで撮影した。低照度環境での撮影に際しては、アイ・カメラ１１ｅのゲインおよび露出パラメータを調整した。アイ・カメラ１１ｅおよびシーン・カメラ１１ｓは、画像位置合わせ装置１０（パーソナル・コンピュータ、ＰＣ）に接続された状態で、１０ｆｐｓで画像を取得した。
　４人の被験者それぞれについて、屋外および屋内の環境で３か所ずつデータの取得を行った。取得後、手動で閉瞼のフレームを除去した後、１０フレームごとに瞳輪郭抽出を行った。
　本実施形態による画像位置合わせ方法（1-point RANRESAC）ならびに、比較のため、2-point RANSACおよび2-point RANRESACをＰＣに実装して実験を行った。
　2-point RANSACでは、初期対応点対から２組みの初期対応点対をランダムに選択して、当該２組みの対応点対からワーピング関数を推定した。その後、残りの初期対応点対を用いて、何組みが正しく変換（レジストレーション）できたかをカウントする。これを５００回繰り返し、そのなかで得られた解（ワーピング関数）のうち最良のものをワーピング関数に決定する。
　2-point RANRESACでは、2-point RANSACと同様にしてワーピング関数を推定した。その後、ＲＡＮＲＥＳＡＣ法に従って評価を行った。これを、2-point RANSACと同様、５００回繰り返し、最良の解を選択した。
　すべての実験において、MATLAB 2013bのComputer Vision System Toolbox上で実装されたＳＵＲＦ局所特徴を用い、ＰＣ（Intel Core i7 3.2 GHz, 16GB RAM）を用いた。また、パラメータには、（σｔ，σｏ，α，ｓｐ）＝（０．２，０．２，０．３，０．５）を設定した。本実施形態による方法（1-point RANRESAC）および2-point RANRESACでのランダムサンプリングの点数（点対の組数）Ｋは、２００とした。
　表１～表７に位置合わせの精度（成功率）を示す。位置合わせに要した時間は、１フレームあたり、３７．０秒（実施形態による画像位置合わせ方法（1-point RANRESAC））、１４．４７秒（2-point RANSAC）、１８０．４７秒（2-point RANRESAC）であった。
Figure JPOXMLDOC01-appb-T000018
Figure JPOXMLDOC01-appb-T000019
Figure JPOXMLDOC01-appb-T000020
Figure JPOXMLDOC01-appb-T000021
Figure JPOXMLDOC01-appb-T000022
Figure JPOXMLDOC01-appb-T000023
Figure JPOXMLDOC01-appb-T000024
　実施形態による画像位置合わせ方法では、屋外シーンで８５．５％（表１～表３）、屋内シーン（表４～表６）で８６．３％、の成功率であり、2-point RANSACおよび2-point RANRESACを大幅に上回っている。2-point RANRESACは、1-point RANRESAC（本実施形態）よりは成功率が劣るが、同じ回転行列推定を行う2-point RANSACと比べて成功率の点で上回っている。このことから、RANRESAC法がノイズ状況に関してロバストであることが確認できた。
　６．応用例
　本実施形態による画像位置合わせ装置および画像位置合わせ方法は、眼球画像Ｉｅの角膜表面反射像と、シーン画像Ｉｓとのマッチングを可能にする。以下、本実施形態を用いて実現される応用用途の例を紹介する。
　６．１．注視点の推定
　本実施形態による画像位置合わせ装置を用いた注視点推定を説明する。この注視点の推定により、例えば、ユーザが目で見ている風景の画像を抽出し、Googleストリートビュー等の画像を参照することで、ユーザが見ている物や場所を特定することができる。この技術は例えばAR(Augmented Reality)システムへの応用が可能である。本実施形態による画像位置合わせ装置を用いた注視点推定においては、従来の例と異なり、アイ・カメラとシーン・カメラとの相対的位置関係のキャリブレーションが不要である。また、同相対的位置関係を固定化する必要もない。
　まず、演算部１は、視点抽出部として動作して、公知の手法により眼球画像から眼球の姿勢を検出することにより被験者の注視反射点ＧＲＰ（図１５）を検出する。ここでの注視反射点ＧＲＰとは、被験者の眼球の光軸とほぼ一致する視線の方向から到来した光が角膜表面において反射する点である。（公知の手法については、例えば、国際公開パンフレットＷＯ２０１４／０２１１６９Ａ１を参照。）そして、演算部１は、眼球画像Ｉｅをシーン画像Ｉｓにレジストレーションするワーピング関数Ｗを導出する。そして最後に、演算部１は、シーン画像Ｉｓにおける、眼球画像Ｉｅの注視反射点ＧＲＰに対応する点ＧＲＰ’（図１５）を求める。シーン画像Ｉｓにおける点ＧＲＰ’は、被験者が注視している光景（注視点）に相当する。
　このようにして、本実施形態による画像位置合わせ装置によって、被験者が注視している光景（注視点）を、シーン画像Ｉｓ中から抽出することが可能になる。すなわち、以上のように、本実施形態による画像位置合わせ装置は、注視点抽出システムとしても動作する。
　６．１．１　ディスプレイ装置への応用
　上記の注視点抽出システムとして動作する画像位置合わせ装置を用いたディスプレイ装置を説明する。この技術は例えばAR(Augmented Reality)システムへの応用が可能である。このディスプレイ装置（ＡＲシステム）においては、従来の例と異なり、アイ・カメラとシーン・カメラとの相対的位置関係のキャリブレーションが不要である。また、同相対的位置関係を固定化する必要もない。このディスプレイ装置は、本実施形態による画像位置合わせ装置と同様に図４に示す構成を有する。出力部４は画像を表示するモニタディスプレイである。演算部１は、出力部４にシーン画像Ｉｓを表示させるととともに、上述のように抽出したシーン画像Ｉｓにおけるシーン画像中の任意の点の位置に所定の画像を重ねて表示させる。これによってＡＲシステムによる重畳表示を行う事ができる。
　６．２．周辺視野の推定
　さらに、本実施形態による画像位置合わせ装置および画像位置合わせ方法により、被験者の周辺視野をシーン画像Ｉｓに復元することもできるようになる。
　まず、演算部１は、視野推定部として動作して、眼球画像Ｉｅを用いて眼球の姿勢（光軸）を特定し、眼球の光軸に対し所定の角度（たとえば、１０度、２０度、．．．９０度）を成す方向から到来した光が角膜表面において反射した点を特定する（図１６）。これらの点は、眼球画像Ｉｅにおいて、曲線を描くように分布する。次に、演算部１は、これらの点に対応する点を、本実施形態により決定されたワーピング関数Wを用い、シーン画像Ｉｓ内から検出する。検出された点群は、被験者の周辺視野（注視点を中心として所定の角度で広がる領域）の領域を形成する。
　このようにして、本実施形態による画像位置合わせ装置によって、被験者の周辺視野の領域を、シーン画像Ｉｓ中から抽出することが可能になる。すなわち、画像位置合わせ装置は、シーン画像Ｉｓにおいて被験者の周辺視野の領域を推定することができ、つまり、周辺視野の推定システムとしても動作する。
　６．３．虹彩認識への応用
　既存の虹彩認識の手法では、角膜表面での鏡面反射を抑制するため赤外線照明を用いて眼球の画像を取得している。これに対し、本実施形態による画像位置合わせ装置を用いれば、シーン画像を用いて、眼球画像に含まれる鏡面反射（角膜表面反射像）を除去することができるようになる。
　まず、本実施形態による画像位置合わせ装置の演算部１は、眼球画像Ｉｅ（図１７）とシーン画像Ｉｓ（図１７）との間のワーピング関数Wを導出する。演算部１は、このワーピング関数Wを用いて、シーン画像Ｉｓを眼球画像Ｉｅに対して位置合わせする。演算部１は、虹彩画像生成部として動作して、位置合わせされたシーン画像Ｉｓを、眼球画像Ｉｅにおけるシーン画像Ｉｓに対応する部分から減算することにより、眼球画像Ｉｓの角膜表面反射像を除去することで虹彩画像を生成する。図１７の画像Ｉｉｔは、そのようにして角膜の鏡面反射が効果的に除去された眼球画像、すなわち、虹彩画像である。このように、本実施形態による画像位置合わせ装置によれば、眼球画像Ｉｓに含まれた角膜の鏡面反射を効果的に除去でき、ノイズのない虹彩画像Ｉｉｔを得ることができる。これにより、角膜表面での鏡面反射を抑制するために照明に赤外光を使用する必要がなくなる。その後、演算部１は、認識部として動作して、虹彩画像に対して公知の方法を用いて虹彩認識処理を行う。
　このように、本実施形態による画像位置合わせ装置は、赤外線照明のみならず、可視光領域の照明を用いて眼球画像を取得した場合であっても、効果的に角膜の鏡面反射を除去することができ、精度のよい虹彩画像を得ることができる。このようにして得られた虹彩画像を用いることで、虹彩認識の精度を向上させることが可能になる。すなわち、本実施形態による画像位置合わせ装置は、虹彩認識システムとしても動作する。
　以上の点から、本実施の形態は以下のシステム及び方法も開示している。
　（１）被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
　前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出し、
　前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、
を有する、注視点抽出システム。
　（２）（１）の注視点抽出システムを備える表示システム（ＡＲシステム）。
　（３）被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
　前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
を有する、周辺視野推定システム。
　（４）被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得する取得部と、
　前記第１画像のデータおよび前記第２画像のデータを格納する記憶部と、
　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
　前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション部と、
　位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成する虹彩画像生成部と、
　前記虹彩画像を用いて虹彩認識を行う認識部と、
を有する、虹彩認識システム。
　（５）被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
　演算部が、前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出するステップと、
　演算部が、前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
を有する、注視点抽出方法。
　（６）演算部が、被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
　演算部が、前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
を有する、周辺視野推定方法。
　（７）被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得するステップと、
　前記第１画像のデータおよび前記第２画像のデータを格納するステップと、
　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
　演算部が、前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するステップと、
　演算部が、位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成するステップと、
　演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、
を有する、虹彩認識方法。
　以上、本発明を特定の実施形態と関連させて説明したが、当業者にとっては他の多くの変更、修正、置換、削除、応用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されるものではなく、添付の請求の範囲によってのみ限定される。

Claims (15)

  1. 　第１画像のデータおよび第２画像のデータを取得する取得部と、
    　前記第１画像のデータおよび前記第２画像のデータを格納する記憶部と、
    　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
    　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
    　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
    　前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション部と、
    を有する画像位置合わせ装置。
  2. 　前記局所特徴量は、オリエンテーションの情報を含む、ことを特徴とする請求項１に記載の画像位置合わせ装置。
  3. 　前記対応点対抽出部は、前記対応点対の候補として、前記第１画像の点と前記第２画像の点とで構成される対応点対候補を複数組み検出し、前記複数組みの対応点対候補それぞれの点対の対応関係を評価し、最も高く評価された点対で構成される対応点対候補を前記対応点対として抽出する、ことを特徴とする請求項１または２に記載の画像位置合わせ装置。
  4. 　前記対応点対抽出部は、前記対応点対候補を構成する前記第１画像の点と前記第２画像の点との対応関係に従って前記第１画像および前記第２画像から抽出された点対で構成される複数の副次的対応点対の対応関係を評価することにより、前記対応点対候補の対応関係を評価する、ことを特徴とする請求項３に記載の画像位置合わせ装置。
  5. 　前記第１画像は被験者の眼球を撮影した画像であり、前記第２画像は被験者の視線方向の被写体を撮影した画像である、ことを特徴とする請求項１に記載の画像位置合わせ装置。
  6. 　第１画像を撮影する第１のカメラと、
    　第２の画像を撮影する第２のカメラと、
    　前記第１画像と前記第２画像の位置合わせを行う、請求項１ないし５のいずれかに記載の画像位置合わせ装置と
    を備えた、ことを特徴とする画像位置合わせシステム。
  7. 　第１画像のデータおよび第２画像のデータを取得する取得ステップと、
    　前記第１画像のデータおよび前記第２画像のデータを記憶部に格納する記憶ステップと、
    　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング・ステップと、
    　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
    　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出ステップと、
    　演算部が、前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション・ステップと、を有する画像位置合わせ方法。
  8. 　コンピュータが実行可能な画像位置合わせプログラムであって、
    　前記画像位置合わせプログラムは、前記コンピュータに、
    　第１画像のデータおよび第２画像のデータを取得する取得ステップと、
    　前記第１画像のデータおよび前記第２画像のデータを記憶部に格納する記憶ステップと、
    　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング・ステップと、
    　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
    　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出ステップと、
    　前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション・ステップと、を実行させることを特徴とする画像位置合わせプログラム。
  9. 　被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
    　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
    　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
    　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
    　前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出し、前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の、前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、
    を有する、注視点抽出システム。
  10. 　請求項９記載の注視点抽出システムを備えた表示システム。
  11. 　被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
    　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
    　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
    　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
    　前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
    を有する、周辺視野推定システム。
  12. 　被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得する取得部と、
    　前記第１画像のデータおよび前記第２画像のデータを格納する記憶部と、
    　前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
    　前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
    　前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
    　前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション部と、
    　位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成する虹彩画像生成部と、
    　前記虹彩画像を用いて虹彩認識を行う認識部と、
    を有する、虹彩認識システム。
  13. 　被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
    　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
    　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
    　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
    　演算部が、前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出するステップと、
    　演算部が、前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
    を有する、注視点抽出方法。
  14. 　演算部が、被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
    　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
    　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
    　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
    　演算部が、前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
    を有する、
    周辺視野推定方法。
  15. 　被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得するステップと、
    　前記第１画像のデータおよび前記第２画像のデータを格納するステップと、
    　演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
    　演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
    　演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
    　演算部が、前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するステップと、
    　演算部が、位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成するステップと、
    　演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、を有する、
    虹彩認識方法。
PCT/JP2015/071027 2014-07-24 2015-07-23 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム WO2016013634A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016535977A JP6371849B2 (ja) 2014-07-24 2015-07-23 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
CN201580039748.5A CN106575439B (zh) 2014-07-24 2015-07-23 图像位置对准装置、图像位置对准方法以及记录介质
KR1020177000056A KR101909006B1 (ko) 2014-07-24 2015-07-23 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램
EP15825115.7A EP3188129A4 (en) 2014-07-24 2015-07-23 Image registration device, image registration method, and image registration program
US15/413,629 US10628948B2 (en) 2014-07-24 2017-01-24 Image registration device, image registration method, and image registration program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-150848 2014-07-24
JP2014150848 2014-07-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/413,629 Continuation US10628948B2 (en) 2014-07-24 2017-01-24 Image registration device, image registration method, and image registration program

Publications (1)

Publication Number Publication Date
WO2016013634A1 true WO2016013634A1 (ja) 2016-01-28

Family

ID=55163158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/071027 WO2016013634A1 (ja) 2014-07-24 2015-07-23 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム

Country Status (6)

Country Link
US (1) US10628948B2 (ja)
EP (1) EP3188129A4 (ja)
JP (1) JP6371849B2 (ja)
KR (1) KR101909006B1 (ja)
CN (1) CN106575439B (ja)
WO (1) WO2016013634A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017219837A (ja) * 2016-06-07 2017-12-14 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 透明表示装置及びその駆動方法
WO2018008232A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019537042A (ja) * 2016-10-27 2019-12-19 サムスン エレクトロニクス カンパニー リミテッド 映像表示装置及び映像表示方法
CN111815688A (zh) * 2020-06-24 2020-10-23 杭州宏华数码科技股份有限公司 一种长线条图像的精准配准方法
WO2021024095A1 (en) * 2019-08-06 2021-02-11 Alcon Inc. Scene camera systems and methods for vitreoretinal surgery
JP2021508109A (ja) * 2017-12-19 2021-02-25 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3616600B1 (en) * 2017-04-28 2022-06-22 Nikon Corporation Ophthalmological device
CN107230066B (zh) * 2017-06-01 2020-11-03 珠海市魅族科技有限公司 一种支付方法以及装置、计算机装置、可读存储介质
CN110944571B (zh) * 2017-08-11 2023-09-29 卡尔蔡司医疗技术公司 用于改进眼科成像的系统和方法
US11335079B2 (en) * 2018-03-05 2022-05-17 Intel Corporation Method and system of reflection suppression for image processing
JP6840697B2 (ja) * 2018-03-23 2021-03-10 株式会社豊田中央研究所 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP7173836B2 (ja) * 2018-11-05 2022-11-16 京セラ株式会社 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
CN110220675B (zh) * 2019-06-11 2021-09-28 深圳创维－Rgb电子有限公司 一种显示器性能测试系统、方法、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322040A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像生成装置
JP2005100407A (ja) * 2003-09-24 2005-04-14 Seiko Epson Corp 複数のソース画像からパノラマ画像を作成するシステム及び方法
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
WO2014021169A1 (ja) * 2012-07-31 2014-02-06 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389179B1 (en) 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP2001108933A (ja) 1999-08-03 2001-04-20 Sony Corp ヘッドマウントディスプレイ装置
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5217585B2 (ja) 2008-04-09 2013-06-19 セイコーエプソン株式会社 頭部装着型画像表示装置
JP2010056661A (ja) 2008-08-26 2010-03-11 Olympus Corp 頭部装着型映像取得表示装置
JP5329882B2 (ja) 2008-09-17 2013-10-30 パイオニア株式会社 ディスプレイ装置
JP5295714B2 (ja) 2008-10-27 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 表示装置、画像処理方法、及びコンピュータプログラム
JP5612371B2 (ja) * 2010-06-11 2014-10-22 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN102324043B (zh) * 2011-09-07 2013-12-18 北京邮电大学 基于dct的特征描述算子及优化空间量化的图像匹配方法
CN103024350B (zh) * 2012-11-13 2015-07-29 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
JP5533988B2 (ja) * 2012-11-30 2014-06-25 株式会社デンソーアイティーラボラトリ 画像処理システム
US10007336B2 (en) * 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322040A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像生成装置
JP2005100407A (ja) * 2003-09-24 2005-04-14 Seiko Epson Corp 複数のソース画像からパノラマ画像を作成するシステム及び方法
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
WO2014021169A1 (ja) * 2012-07-31 2014-02-06 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN NITSCHKE ET AL.: "Super resolution scene reconstruction using corneal reflections", IEICE TECHNICAL REPORT, vol. 112, no. 225, 27 August 2012 (2012-08-27), pages 65 - 70, XP008185282 *
See also references of EP3188129A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017219837A (ja) * 2016-06-07 2017-12-14 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 透明表示装置及びその駆動方法
WO2018008232A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11030975B2 (en) 2016-07-04 2021-06-08 Sony Corporation Information processing apparatus and information processing method
JP2019537042A (ja) * 2016-10-27 2019-12-19 サムスン エレクトロニクス カンパニー リミテッド 映像表示装置及び映像表示方法
US10742880B2 (en) 2016-10-27 2020-08-11 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image
JP2021508109A (ja) * 2017-12-19 2021-02-25 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法
JP7012163B2 (ja) 2017-12-19 2022-01-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法
US11380018B2 (en) 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
US11935267B2 (en) 2017-12-19 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
WO2021024095A1 (en) * 2019-08-06 2021-02-11 Alcon Inc. Scene camera systems and methods for vitreoretinal surgery
US11826101B2 (en) 2019-08-06 2023-11-28 Alcon Inc. Scene camera systems and methods for vitreoretinal surgery
CN111815688A (zh) * 2020-06-24 2020-10-23 杭州宏华数码科技股份有限公司 一种长线条图像的精准配准方法
CN111815688B (zh) * 2020-06-24 2022-10-21 杭州宏华数码科技股份有限公司 一种长线条图像的精准配准方法

Also Published As

Publication number Publication date
EP3188129A4 (en) 2018-03-07
JPWO2016013634A1 (ja) 2017-06-01
KR20170020839A (ko) 2017-02-24
EP3188129A1 (en) 2017-07-05
JP6371849B2 (ja) 2018-08-08
US20170169578A1 (en) 2017-06-15
KR101909006B1 (ko) 2018-10-17
US10628948B2 (en) 2020-04-21
CN106575439A (zh) 2017-04-19
CN106575439B (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
JP6371849B2 (ja) 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
US11644898B2 (en) Eye tracking method and system
Schuckers et al. On techniques for angle compensation in nonideal iris recognition
Lu et al. Learning gaze biases with head motion for head pose-free gaze estimation
US9235928B2 (en) 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
Nishino et al. Corneal imaging system: Environment from eyes
JP5728009B2 (ja) 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US11294455B2 (en) Method and device for determining gaze placement, computer readable storage medium
JP6191943B2 (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
CN106529409A (zh) 一种基于头部姿态的眼睛注视视角测定方法
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
US20210097644A1 (en) Gaze adjustment and enhancement for eye images
JP7030317B2 (ja) 瞳孔検出装置及び瞳孔検出方法
Cristina et al. Model-based head pose-free gaze estimation for assistive communication
US20140009570A1 (en) Systems and methods for capture and display of flex-focus panoramas
WO2021197466A1 (zh) 眼球检测方法、装置、设备及存储介质
JP2016130693A (ja) 画像データ処理方法、画像データ処理装置および画像データ処理プログラム
JP6377566B2 (ja) 視線計測装置、視線計測方法、およびプログラム
JP6302427B2 (ja) 画像データ処理方法、画像データ処理装置および画像データ処理プログラム
Ogawa et al. Point of gaze estimation using corneal surface reflection and omnidirectional camera image
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム
JP2012212325A (ja) 視線計測システム、方法およびプログラム
De Jesús et al. Methodology for iris scanning through Smartphones
WO2024113275A1 (zh) 凝视点获取方法和装置、电子设备和存储介质
Du et al. Location Estimation from an Indoor Selfie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15825115

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177000056

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016535977

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015825115

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015825115

Country of ref document: EP