WO2024201645A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2024201645A1
WO2024201645A1 PCT/JP2023/012153 JP2023012153W WO2024201645A1 WO 2024201645 A1 WO2024201645 A1 WO 2024201645A1 JP 2023012153 W JP2023012153 W JP 2023012153W WO 2024201645 A1 WO2024201645 A1 WO 2024201645A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
pupil
information
image processing
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012153
Other languages
English (en)
French (fr)
Inventor
旭美 梅松
祥史 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/012153 priority Critical patent/WO2024201645A1/ja
Priority to JP2025509276A priority patent/JPWO2024201645A5/ja
Publication of WO2024201645A1 publication Critical patent/WO2024201645A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils

Definitions

  • the present disclosure relates to the technical fields of image processing devices, image processing methods, and storage media that perform processing related to measuring near vision response using images.
  • Patent Document 1 discloses a system that detects the area of the subject's pupils based on video signals from two cameras and analyzes the pupil area, pupil diameter, and pupil position.
  • measuring near vision response requires a dedicated device or system.
  • one of the objectives of the present disclosure is to provide an image processing device, an image processing method, and a storage medium that can suitably generate information regarding a subject's near vision response from an image of the subject.
  • One aspect of the image processing device is a first instruction means for instructing the subject to be in a first state in which the subject visually recognizes an object a first distance ahead; a first generating means for generating first pupil information, which is information about a pupil of the subject, based on an image generated by an imaging means when the subject is in the first state; a constancy determination means for determining whether or not the pupil of the subject is in the first state based on the first pupil information; a second instruction means for instructing the subject to be in a second state in which the subject looks ahead at a second distance that is shorter than the first distance when it is determined that the continuity exists; a second generating means for generating second pupil information, which is information about the pupil, based on an image generated by the imaging means when the subject is in a second state;
  • the image processing device has the following features.
  • One aspect of the image processing method includes: The computer Instruct the subject to be in a first state in which the subject looks at a first distance ahead; generating first pupil information, which is information about the pupil of the subject, based on an image generated by an imaging means when the subject is in the first state; determining whether or not the pupil of the subject is in the first state based on the first pupil information; When it is determined that the continuity exists, instruct the subject to be in a second state in which the subject looks ahead at a second distance that is shorter than the first distance; generating second pupil information, which is information about the pupil, based on the image generated by the imaging means when the subject is in a second state; It is an image processing method.
  • the "computer” includes any electronic device (or a processor included in the electronic device), and may be configured from multiple electronic devices.
  • One aspect of the storage medium is Instruct the subject to be in a first state in which the subject looks at a first distance ahead; generating first pupil information, which is information about the pupil of the subject, based on an image generated by an imaging means when the subject is in the first state; determining whether or not the pupil of the subject is in the first state based on the first pupil information; When it is determined that the continuity exists, instruct the subject to be in a second state in which the subject looks ahead at a second distance that is shorter than the first distance;
  • a storage medium storing a program that causes a computer to execute a process of generating second pupil information, which is information about the pupil, based on an image generated by the photographing means when the subject is in the second state.
  • 1 shows a schematic configuration of a near vision reaction measuring system according to a first embodiment. 13 shows how near vision response is measured when the near vision response measurement system is a single terminal device.
  • 2 illustrates an example of a hardware configuration of an image processing apparatus common to each embodiment.
  • 4 is an example of a functional block of an image processing device related to near vision reaction measurement processing in the first embodiment.
  • 1 is an example of a camera image capturing a subject's face.
  • 1 is an example of a graph showing the change in pupil size over time when switching from a far-vision state to a near-vision state.
  • 11 is an example of a graph showing a time change in the degree of convergence recognized when a far-vision instruction is given again after a near-vision instruction is given.
  • FIG. 13 is an example of a flowchart relating to a near vision reaction measurement process in the first embodiment. 13 shows a schematic configuration of a near vision reaction measuring system according to a second embodiment.
  • FIG. 13 is a block diagram of an image processing device according to a third embodiment. 13 is an example of a flowchart executed by the image processing apparatus in the third embodiment.
  • System Configuration Fig. 1 shows a schematic configuration of a near vision reaction measurement system 100 according to the first embodiment.
  • the near vision reaction measurement system 100 is a system for simply measuring the near vision reaction of a subject 6 based on an image of the face of the subject 6 captured by a visible light camera, and mainly includes an image processing device 1, an input device 2, an output device 3, a storage device 4, and a measurement device 5 including a camera (imaging device) 51.
  • the subject 6 simply measures his/her own near vision reaction using the near vision reaction measurement system 100 for the purpose of, for example, managing his/her health condition (including self-care).
  • the image processing device 1 measures the near vision response of the subject 6 based on the facial images of the subject 6 generated by the camera 51 (including a video that is a sequence of a predetermined number of images obtained in time series, the same applies below), and outputs the measurement results.
  • the image processing device 1 communicates data with the input device 2, output device 3, storage device 4, and measurement device 5 via a communication network or by direct wireless or wired communication.
  • the input device 2 is an interface that accepts user input (manual input).
  • the user who inputs information using the input device 2 may be the subject 6 himself or a person who manages or supervises the subject 6.
  • the input device 2 may be, for example, any of a variety of user input interfaces, such as a touch panel, a button, a keyboard, a mouse, or a voice input device.
  • the input device 2 supplies an input signal generated based on the user's input to the image processing device 1.
  • the output device 3 outputs predetermined information based on an output signal supplied from the image processing device 1.
  • the output signal includes at least one of a display signal and an audio signal.
  • the output device 3 displays information based on the display signal supplied from the image processing device 1, and outputs information as audio based on the audio signal supplied from the image processing device 1.
  • the output device 3 includes at least one of a display device such as a display or projector, and an audio output device such as a speaker.
  • the storage device 4 is a memory that stores various information necessary for measuring near vision response, etc.
  • the storage device 4 may be an external storage device such as a hard disk connected to or built into the image processing device 1, or may be a storage medium such as a flash memory.
  • the storage device 4 may also be a server device that performs data communication with the image processing device 1.
  • the storage device 4 may also be composed of multiple devices.
  • the measuring device 5 is one or more sensors including the camera 51, which is a visible light camera.
  • the measuring device 5 may include an illuminance sensor for detecting changes in the amount of external light in the measurement environment of the subject's 6 near vision response.
  • the measuring device 5 supplies signals measured by each sensor to the image processing device 1.
  • the image generated by the camera 51 will also be referred to as a "camera image.”
  • the camera 51 is an example of an "imaging means.”
  • the configuration of the near vision reaction measurement system 100 shown in FIG. 1 is an example, and various modifications may be made to the configuration.
  • the image processing device 1, the input device 2, the output device 3, the storage device 4, and the measurement device 5 may be realized by a single terminal device such as a smartphone or a tablet terminal.
  • Figure 2 shows the state of near reaction measurement when the near reaction measurement system 100 is a single terminal device (e.g., a smartphone).
  • the subject 6 holds the near reaction measurement system 100, which is a terminal device, and adjusts the orientation of the terminal device so that the subject's face is included in the shooting range of the camera 51.
  • the near reaction measurement system 100 may be fixed to a tripod or the like. Then, in the state shown in Figure 2, the subject 6 looks at distance and near in sequence according to the instructions (guidance) output by the near reaction measurement system 100, and causes the near reaction measurement system 100 to measure the near reaction.
  • the instructions guidance
  • FIG. 3 shows the hardware configuration of the image processing device 1.
  • the image processing device 1 includes, as hardware, a processor 11, a memory 12, and an interface 13.
  • the processor 11, the memory 12, and the interface 13 are connected via a data bus 90.
  • the processor 11 functions as a controller (computing device) that controls the entire image processing device 1 by executing a program stored in the memory 12.
  • the processor 11 is, for example, a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • the processor 11 may be composed of multiple processors.
  • the processor 11 is an example of a computer.
  • the memory 12 is composed of various types of volatile and non-volatile memory, such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the memory 12 also stores programs for executing the processes executed by the image processing device 1. Note that part of the information stored in the memory 12 may be stored in one or more external storage devices capable of communicating with the image processing device 1, or may be stored in a storage medium that is detachable from the image processing device 1.
  • the memory 12 may also function as at least part of the storage device 4.
  • the interface 13 is an interface for electrically connecting the image processing device 1 to other devices.
  • These interfaces may be wireless interfaces such as network adapters for wirelessly transmitting and receiving data to and from other devices, or may be hardware interfaces for connecting to other devices via cables or the like.
  • the hardware configuration of the image processing device 1 is not limited to the configuration shown in FIG. 3.
  • the image processing device 1 may include at least one of the input device 2, the output device 3, the storage device 4, and the measurement device 5.
  • the image processing device 1 determines whether or not the pupil of the subject 6 has reached a steady state based on a camera image generated after instructing the subject 6 to look at a distance. Then, when the pupil of the subject 6 has reached a steady state, the image processing device 1 instructs the subject 6 to look at a near view, and calculates an index related to the near vision response based on information related to the time series of the pupil of the subject 6 recognized from the camera image generated after the instruction. This enables the image processing device 1 to suitably measure the near vision response based on the camera image.
  • FIG. 4 shows an example of functional blocks of the image processing device 1 related to near vision response measurement processing.
  • the processor 11 of the image processing device 1 has a first instruction unit 14, a first pupil information generation unit 15, a constancy determination unit 16, a second instruction unit 17, a second pupil information generation unit 18, and a near vision response output unit 19.
  • blocks where data is exchanged are connected by solid lines, but the combination of blocks where data is exchanged is not limited to that shown. The same applies to the diagrams of other functional blocks described later.
  • the first instruction unit 14 determines that the measurement of the near vision response should be started, it instructs the subject 6 to focus on a location at a predetermined distance (also called a “distance instruction") so that the subject 6 is in a state of far vision. Specifically, the first instruction unit 14 instructs the subject 6 to focus on a location at a predetermined distance (also called a "first distance”).
  • the "first distance” is a focal distance at which the subject 6 can be considered to be in a state of far vision, and is, for example, a distance of 6 m or more at which the focal distance is essentially infinity.
  • the first instruction unit 14 generates an output signal including at least one of a display signal or an audio signal instructing the subject 6 to focus on a location at least 6 m away, and supplies the output signal to the output device 3 via the interface 13.
  • the first instruction unit 14 causes the output device 3 to execute the output of a distance instruction to the subject 6.
  • the first instruction unit 14 outputs a distance instruction, it notifies the first pupil information generation unit 15 that the distance instruction has been output.
  • the first instruction unit 14 determines that the measurement of the near response should be started when a specific user input by the input device 2 instructing the start of measurement of the near response is detected. In another example, the first instruction unit 14 determines that the measurement of the near response should be started when a pre-planned measurement timing for the near response arrives. In this case, information regarding the measurement timing is pre-stored in the storage device 4 or memory 12.
  • the first pupil information generating unit 15 generates information about the pupil of the subject 6 based on the camera image acquired from the camera 51 via the interface 13 during the period from when the first instruction unit 14 outputs an instruction until the constancy determining unit 16 determines that the pupil of the subject 6 is constancy.
  • the first pupil information generating unit 15 assumes that the subject 6 is looking at a location where the focal length is a first distance (e.g., infinity) (i.e., a state of far-looking, also called the "first state"), and generates information about the pupil of the subject 6 in the state of far-looking.
  • Information about the pupil of the subject 6 is also called "pupil information”.
  • the first pupil information generating unit 15 calculates at least the pupil size (e.g., pupil diameter) of the subject 6 and the degree of convergence (i.e., a state of closer eyes) (also called the "convergence degree") of the subject 6 as the pupil information. Specific examples of pupil diameter and convergence degree will be described later.
  • the first pupil information generating unit 15 supplies the pupil information (also called “first pupil information") generated by the first pupil information generating unit 15 to the constancy determining unit 16 and the near vision response output unit 19.
  • the constancy determination unit 16 determines whether the pupil of the subject 6 recognized from the camera image has constancy based on the first pupil information. In this case, the constancy determination unit 16 assumes that the subject 6 is in a far-looking state after the far-looking instruction is issued by the first instruction unit 14, and determines whether the pupil of the subject 6 recognized in the far-looking state has constancy. Then, if the constancy determination unit 16 determines that there is constancy, it notifies the second instruction unit 17 and the second pupil information generation unit 18 that processing should be started.
  • the continuity determination unit 16 determines whether or not continuity exists.
  • the continuity determination unit 16 determines whether or not continuity exists.
  • all of the conditions (a) to (c) of (a) the focus of the subject 6 is not changing, (b) there is no light reaction, and (c) the pupil size is stable are continuously satisfied for a predetermined time, it is determined that there is constancy, and when any of the conditions (a) to (c) is not continuously satisfied for a predetermined time, it is determined that there is no constancy.
  • the length of the above-mentioned predetermined time is, for example, a default value stored in advance in the storage device 4 or the memory 12.
  • condition (a) will be described.
  • the constancy determination unit 16 determines whether or not condition (a) is satisfied based on, for example, the time-series congestion indicated by the pupil information supplied from the first pupil information generation unit 15 at a specified time immediately preceding the constancy determination unit 16. The constancy determination unit 16 then determines that condition (a) is satisfied if the congestion has not changed substantially at the specified time, and determines that condition (a) is not satisfied if the congestion has changed substantially at the specified time.
  • the constancy determination unit 16 determines whether or not the congestion has changed substantially based on a comparison between a specified threshold value and the variance of a specified number of congestions obtained within the above-mentioned specified time, the difference between the maximum and minimum values, or other statistics representing variation.
  • the above-mentioned threshold value is stored in advance in, for example, the storage device 4 or the memory 12.
  • condition (b) determines whether or not condition (b) is satisfied based on, for example, the time series of light quantities (illuminance) measured by the measurement device 5 at the immediately preceding predetermined time. Specifically, the continuity determination unit 16 determines that condition (b) is satisfied when the illuminance measured by the measurement device 5 has not changed substantially during the above-mentioned predetermined time, and determines that condition (b) is not satisfied when the illuminance measured by the measurement device 5 has changed substantially during the above-mentioned predetermined time.
  • the continuity determination unit 16 determines whether or not the illuminance has changed substantially based on a comparison between a predetermined threshold value and the variance of a predetermined number of illuminance measurement values obtained within the above-mentioned predetermined time, the difference between the maximum and minimum values, or other statistics representing variation.
  • the above-mentioned threshold value is stored in advance in, for example, the storage device 4 or the memory 12.
  • the constancy determination unit 16 may determine whether or not condition (b) is satisfied based on the pupil size over time. In this case, condition (b) is the same as condition (c) described below.
  • condition (c) will be described.
  • the constancy determination unit 16 determines whether or not condition (c) is satisfied based on, for example, whether or not there has been a substantial change in the time-series pupil size indicated by the pupil information supplied from the first pupil information generation unit 15 at a specified time immediately preceding the above. In this case, the constancy determination unit 16 determines whether or not there has been a substantial change in the pupil size based on the result of comparing the variance of a specified number of pupil sizes based on the pupil information obtained within the above-mentioned specified time, the difference between the maximum and minimum values, or other statistics representing variation with a specified threshold value.
  • the above-mentioned threshold value is stored in advance, for example, in the storage device 4 or memory 12.
  • the second instruction unit 17 instructs the subject 6 to focus on a location at a predetermined distance (also called the "second distance") so that the subject 6 is in a near vision state.
  • the above-mentioned "second distance” is a focal distance at which the subject 6 is considered to be in a near vision state, and is a distance shorter than the first distance (e.g., a distance less than 50 cm). For example, in the configuration shown in FIG.
  • the second instruction unit 17 generates an output signal including at least one of a display signal or an audio signal that instructs the subject 6 to focus on the camera 51 provided on the terminal device held by the subject 6, and supplies the output signal to the output device 3 via the interface 13.
  • the first instruction unit 14 causes the output device 3 to execute the output of the near vision instruction to the subject 6.
  • the first instruction unit 14 outputs a near vision instruction, it notifies the first pupil information generation unit 15 that a near vision instruction has been output.
  • the second pupil information generating unit 18 generates time-series pupil information of the subject 6 based on the camera images acquired from the camera 51 via the interface 13 during a period from when the second instruction unit 17 outputs a near vision instruction until a predetermined time (e.g., several seconds) has elapsed.
  • a predetermined time e.g., several seconds
  • the first pupil information generating unit 15 assumes that the subject 6 is looking at a location where the focal length is the second distance (i.e., a near vision state, also referred to as the "second state"), and generates pupil information including the time-series pupil size and convergence of the subject 6 in the near vision state.
  • the second pupil information generating unit 18 supplies the pupil information generated by the second pupil information generating unit 18 (also referred to as the "second pupil information") to the near vision response output unit 19.
  • the near response output unit 19 calculates an index related to near response (also called a "near response index") based on the first pupil information supplied from the first pupil information generation unit 15 and the second pupil information supplied from the second pupil information generation unit 18, and displays or outputs by voice information related to the calculation result of the near response index by the output device 3.
  • the near response output unit 19 calculates the near response index based on the first pupil information last supplied from the first pupil information generation unit 15 (i.e., pupil information in a far-looking state at the time when the constancy determination unit 16 determines that there is constancy) and the time-series second pupil information supplied from the second pupil information generation unit 18.
  • the type of near response index to be calculated varies depending on the application to which the near response measurement system 100 is applied, and specific examples will be described later in the sections "(4) Pupil information and near response index " and "(7) Application ".
  • the information on the calculation result of the near vision response index that the near vision response output unit 19 outputs to the output device 3 may be information indicating the calculated near vision response index itself, or may be information on the state of the subject 6 estimated based on the near vision response index.
  • the latter example will be specifically described in the section "(7) Application ".
  • the near vision response output unit 19 generates an output signal (i.e., at least one of a display signal and an audio signal) for outputting information on the calculation result of the calculated near vision response index, and supplies the output signal to the output device 3 via the interface 13.
  • the near vision response output unit 19 causes the output device 3 to output information on the calculation result of the near vision response index.
  • the near response output unit 19 may calculate the near response index based on the second pupil information in time series without using the first pupil information.
  • the second pupil information obtained first in the time series is regarded as pupil information in the far vision state, and the near response index described above is calculated.
  • the image processing device 1 may also calculate a predetermined number of near vision response indices by executing the processes of the first instruction unit 14, the first pupil information generation unit 15, the constancy determination unit 16, the second instruction unit 17, the second pupil information generation unit 18, and the near vision response output unit 19 a predetermined number of times.
  • the near vision response output unit 19 calculates a time average or other representative value of the near vision response indices for the predetermined number of times, and outputs the calculation results to the output device 3. This makes it possible to output a highly accurate near vision response index that has been subjected to statistical processing.
  • the near vision response output unit 19 may further calculate an index (also called a "distance vision response index") indicating the response of the subject 6 when switching from a near vision state to a far vision state.
  • an index also called a "distance vision response index”
  • the first instruction unit 14 issues a far vision instruction again, and the near vision response output unit 19 calculates the far vision response index based on the time-series first pupil information (and the immediately preceding second pupil information) generated by the first pupil information generation unit 15 after the far vision instruction.
  • each of the components of the first instruction unit 14, the first pupil information generation unit 15, the constancy determination unit 16, the second instruction unit 17, the second pupil information generation unit 18, and the near vision response output unit 19 described in FIG. 4 can be realized, for example, by the processor 11 executing a program. Also, each component may be realized by recording the necessary program in an arbitrary non-volatile storage medium and installing it as necessary. Note that at least a part of each of these components may be realized by any combination of hardware, firmware, and software, without being limited to being realized by software using a program. Also, at least a part of each of these components may be realized by using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcontroller.
  • FPGA Field-Programmable Gate Array
  • the integrated circuit may be used to realize a program composed of each of the above components.
  • at least a portion of each component may be configured by an ASSP (Application Specific Standard Production), an ASIC (Application Specific Integrated Circuit), or a quantum processor (quantum computer control chip).
  • ASSP Application Specific Standard Production
  • ASIC Application Specific Integrated Circuit
  • quantum processor quantum computer control chip
  • the image processing device 1 recognizes the areas of the subject 6's eyes (both eyes in this case) 9a, iris 9b, and pupil 9c from a camera image of the subject's 6's face based on any image recognition technology. Then, based on each of the recognized areas, the image processing device 1 calculates pupil information indicating pupil size and degree of convergence, which will be described later.
  • the image processing device 1 calculates the pupil size (i.e., pupil diameter) corresponding to the length of the arrow 90.
  • the image processing device 1 may also calculate the pupil size for each eye and generate pupil information indicating the average of the calculated pupil sizes.
  • the image processing device 1 calculates the interpupillary distance equivalent to the length of the arrow 91 as an example of the degree of convergence. In this way, the image processing device 1 can accurately recognize the convergence by calculating the degree of convergence based on both eyes.
  • the camera image is an image capturing at least both eyes of the subject 6, and the image processing device 1 calculates the degree of convergence based on the positions of the pupils 9c of both eyes in the camera image.
  • the image processing device 1 may calculate pupil information based on a camera image capturing only one eye of the subject.
  • the image processing device 1 may calculate the relative position of the center of the pupil 9c with respect to both ends of the eye 9a (i.e., the distance equivalent to the lengths of the arrows 93 and 94) as the degree of convergence. In this way, the image processing device 1 may calculate a value indicating the relative position of the pupil 9c in the eye 9a as the degree of convergence.
  • the image processing device 1 may perform a normalization process to convert the pupil size and interpupillary distance, etc., from a size based on the number of pixels on the camera image to a size of a predetermined scale (e.g., actual size), and generate pupil information indicating the normalized pupil size and interpupillary distance.
  • the image processing device 1 may normalize the pupil size and interpupillary distance based on the size of the iris 9b, taking advantage of the characteristics that the size of the iris 9b varies little between individuals and does not change over time.
  • the image processing device 1 may recognize the actual pupil size and interpupillary distance by three-dimensionally reconstructing the face of the subject 6 from the camera images of the multiple cameras based on any three-dimensional reconstruction technology such as SfM (Structure From Motion).
  • SfM Structure From Motion
  • Figure 6 is an example of a graph showing the change in pupil size over time associated with near vision response.
  • subject 6 switches from far vision to near vision, causing subject 6's pupil size (pupil radius in this case) to gradually decrease from the maximum value "Dmax” over a latency period, reaching the minimum value "Dmin” at time "t2". After that, the pupil size expands again, and reaches a steady state around time "t3", a predetermined time after time t2.
  • the image processing device 1 calculates, as near vision response indices, the maximum pupil contraction amount corresponding to the length of arrow 95 (i.e., Dmax-Dmin), the maximum pupil contraction rate corresponding to the ratio of size Dmax to size Dmin, the pupil contraction speed corresponding to the slope of line 96, the re-dilation speed corresponding to the slope of line 97, etc.
  • the slope of line 96 corresponds to the speed of pupil size decrease during the period of pupil size decrease
  • the slope of line 97 corresponds to the speed of pupil size increase during the period of pupil size increase (re-dilation).
  • the near vision response index based on pupil size is not limited to the index described above, but may be any index based on a time series of pupil size measured in the period before and after switching from far vision to near vision.
  • the image processing device 1 may also calculate the far vision response index based on pupil size in the same manner as the near vision response index described above.
  • Figure 7 is an example of a graph showing the change over time in the degree of convergence recognized when a near vision instruction is given by the second instruction unit 17 and then a far vision instruction is given by the first instruction unit 14.
  • the degree of convergence is set to a larger value as the degree of the eyes becomes higher.
  • the image processing device 1 calculates, as the near vision response index, the difference between the minimum value of the convergence corresponding to the far vision state and the maximum value of the convergence corresponding to the near vision state (corresponding to the length of the arrow 95a) and the increase speed of the convergence (corresponding to the slope of the arrow 97a), as in the example of FIG. 6.
  • the image processing device 1 calculates, as the far vision response index, the difference between the maximum value of the convergence corresponding to the near vision state and the minimum value of the convergence corresponding to the far vision state (corresponding to the length of the arrow 98a) and the decrease speed of the convergence during the period of decrease in the convergence accompanying the switch from near vision to far vision (corresponding to the slope of the arrow 96a).
  • the difference between the maximum values of the convergence described above is the degree of change in the convergence, and is hereinafter also referred to as the "amount of convergence”.
  • the increase speed and decrease speed described above are hereinafter also referred to as the "change speed of the convergence”.
  • the amount of convergence and the change speed of the convergence are examples of "indices related to the change in the degree of convergence".
  • the near vision response index based on the degree of convergence is not limited to the above-mentioned index, but may be any index based on the time series of the degree of convergence measured in the period before and after switching from far vision to near vision.
  • the far vision response index based on the degree of convergence is not limited to the above-mentioned index, but may be any index based on the time series of the degree of convergence measured in the period before and after switching from near vision to far vision.
  • FIG. 8 is an example of a flowchart relating to the near vision reaction measurement processing executed by the image processing device 1.
  • the image processing device 1 outputs a distance vision instruction to the subject 6 via the output device 3 (step S11). Then, the image processing device 1 generates pupil information (i.e., first pupil information) of the subject 6 based on each of the time-series camera images generated by the camera 51 after step S11 (step S12).
  • pupil information i.e., first pupil information
  • the image processing device 1 judges whether or not the pupil of the subject 6 is constancy based on the pupil information etc. obtained in step S12 (step S13). In this case, the image processing device 1 judges whether or not the pupil is constancy based on a predetermined number of pieces of pupil information generated in a predetermined period immediately prior to step S12. Then, if the image processing device 1 judges that the pupil of the subject 6 is constancy (step S13; Yes), it proceeds to step S14. On the other hand, if the image processing device 1 judges that the pupil of the subject 6 is not constancy (step S13; No), it continues to step S12 and generates pupil information based on the latest camera image generated by the camera 51.
  • the image processing device 1 outputs a near vision instruction to instruct the subject 6 to look at near vision through the output device 3 (step S14). Then, the image processing device 1 generates pupil information (i.e., second pupil information) of the subject 6 based on each of the time-series camera images generated by the camera 51 after step S14 (step S15). Then, the image processing device 1 calculates a near vision response index based on the pupil information (step S16). In this case, the image processing device 1 calculates one or more types of near vision response index based on the time-series second pupil information obtained in step S15 (and the first pupil information obtained in step S12). Note that the image processing device 1 may calculate a time average (or other representative value) of the near vision response index for each type based on multiple samples of the near vision response index obtained by repeating steps S11 to S16 multiple times.
  • the image processing device 1 outputs information related to the calculation result of the near vision response index by the output device 3 (step S17).
  • the image processing device 1 may determine the state of the subject 6 with respect to the presence or absence of aging phenomena, fatigue, nervous system disease, etc. from the calculated near vision response index according to the application applied, and output the determination result by the output device 3. Examples of applications will be described later.
  • the image processing device 1 may output guidance so that the distance (shooting distance) between the subject 6 and the camera 51 is a predetermined distance based on the size of the iris of the subject 6 recognized from the camera image.
  • the image processing device 1 outputs a far vision instruction and recognizes the size of the iris of the subject 6 from the camera image. Then, the image processing device 1 judges whether the recognized iris size belongs to the appropriate size range.
  • the above-mentioned appropriate size range is a range of iris sizes corresponding to a shooting distance range that is within a distance range preferable for near vision reaction measurement processing, and is, for example, a range stored in advance in the storage device 4 or memory 12. Then, when the recognized iris size is outside the appropriate size range, the image processing device 1 outputs information to the output device 3 instructing the subject 6 to adjust the shooting distance.
  • the image processing device 1 when the recognized iris size is smaller than the appropriate size range, the image processing device 1 instructs the subject 6 to shorten the shooting distance, and when the recognized iris size is larger than the appropriate size range, the image processing device 1 instructs the subject 6 to lengthen the shooting distance.
  • the image processing device 1 may recognize the size of the iris of the subject 6 from the camera image and output guidance regarding the shooting distance based on the judgment result of whether the recognized iris size belongs to the appropriate size range.
  • the image processing device 1 can appropriately adjust the shooting distance to a distance suitable for measuring near vision response.
  • (Variation 2) Acquiring the second pupil information in time series is not essential, and the image processing device 1 may acquire the second pupil information at least at one point in time in a near vision state.
  • the near response output unit 19 calculates a near response index based on the second pupil information based on the camera image generated at a predetermined time after the second instruction unit 17 issues a far-looking instruction, and the first pupil information generated last before the second instruction unit 17 issues a far-looking instruction.
  • the above-mentioned predetermined time may be, for example, a time corresponding to the time between time t1 and time t2 in FIG. 6 (i.e., a time during the period when the pupil size decreases), or a time near the steady time t3 (i.e., the time when the state of the pupil becomes steady).
  • the near response output unit 19 can calculate the difference between the pupil size indicated by the first pupil information and the pupil size indicated by the second pupil information as the maximum pupil contraction rate. In the latter example, the near response output unit 19 can calculate the difference between the pupil size indicated by the first pupil information and the pupil size indicated by the second pupil information as the difference between the pupil size for near and far vision in the steady state.
  • the near vision response measurement system 100 estimates the state (particularly the state related to health) of the subject 6 based on the calculated near vision response index, and outputs the estimated state of the subject 6.
  • an application relating to quantitative understanding of functional decline due to aging an application relating to quantitative understanding of eye fatigue, and an application relating to detection of binocular vision abnormalities will be described.
  • the image processing device 1 calculates, as near vision response indices, the pupil size in a state of far vision (i.e., the maximum pupil size Dmax), the pupil size in a state of near vision (i.e., the minimum pupil size Dmin or the pupil size after re-dilation), the pupil contraction speed, the amount of convergence, and the change speed of the degree of convergence. Then, the image processing device 1 compares the calculated values of various near vision response indices with the reference values of the near vision response indices to quantitatively estimate the degree of functional deterioration due to aging of the subject 6.
  • the above-mentioned reference values may be general reference values of various near vision response indices at the age of the subject 6, or may be past calculated values of the near vision response indices of the subject 6.
  • the above-mentioned reference values may also be threshold values for determining the presence or absence or level of functional deterioration due to aging.
  • the image processing device 1 may use a model that estimates the degree of functional decline due to aging of the subject 6, and output information output by the model to the output device 3.
  • the above-mentioned model is a machine learning model such as an equation, a lookup table, or a neural network, and outputs an estimation result regarding the degree of functional decline due to aging (e.g., the estimated age of the subject 6) when the calculated values of various near vision response indices (or the differences between the calculated values and reference values, etc.) are input.
  • the parameters of the above-mentioned model are stored in advance in the storage device 4 or memory 12, etc.
  • the image processing device 1 may also display a graph that shows the calculated values of various near vision response indices and the corresponding reference values in a comparative manner.
  • the subject 6 can easily measure his/her own near vision response using a smartphone or the like, and quantitatively grasp the functional decline due to aging.
  • the image processing device 1 can also suggest preventive activities against functional decline due to aging and make the preventive effects of functional decline due to aging visible, thereby increasing the subject 6 (user)'s awareness of continuing to take preventive activities against functional decline due to aging.
  • the image processing device 1 calculates, for example, the maximum pupil contraction rate, pupil contraction speed, re-dilation speed, and convergence amount as near vision response indices. The image processing device 1 then compares the calculated values of various near vision response indices with the reference values of the near vision response indices to quantitatively estimate the degree of eye strain of the subject 6. The image processing device 1 then outputs the estimation result to the output device 3.
  • the above-mentioned reference values may be general reference values of various near vision response indices for the age of the subject 6, or may be past calculated values of the near vision response indices of the subject 6. The above-mentioned reference values may also be threshold values for determining the presence or absence or level of eye strain of the subject 6.
  • the image processing device 1 may use a model for estimating the degree of eye strain of the subject 6, and output information output by the model to the output device 3.
  • the above-mentioned model is a machine learning model such as an equation, a lookup table, or a neural network, and outputs an estimation result regarding the degree of eye strain of the subject 6 when, for example, calculated values of various near vision response indices (or differences between the calculated values and reference values, etc.) are input.
  • the parameters of the above-mentioned model are stored in advance in the storage device 4 or memory 12, etc.
  • the image processing device 1 may display, as information representing the degree of eye strain of the subject 6, a graph that shows a comparison between the calculated values of various near vision response indices and the corresponding reference values.
  • the subject 6 can easily measure his/her near vision response using his/her own smartphone or the like, and quantitatively grasp his/her eye strain.
  • the image processing device 1 calculates, for example, the maximum pupil contraction rate, pupil contraction velocity, amount of convergence, and rate of change of the degree of convergence as near vision response indices.
  • the image processing device 1 calculates a distance vision response index in addition to the near vision response index. Therefore, after the image processing device 1 issues a near vision instruction using the second instruction unit 17, the image processing device 1 again issues a far vision instruction using the first instruction unit 14, and calculates the distance vision response index based on the time-series first pupil information (and the immediately preceding second pupil information) generated by the first pupil information generation unit 15 after the far vision instruction.
  • the image processing device 1 calculates the pupil expansion rate, pupil expansion velocity, amount of convergence, and rate of change of the degree of convergence associated with the subject 6's response to switching from a near vision state to a far vision state.
  • the "pupil dilation ratio” is the ratio of the pupil size in the near vision state to the pupil size in the subsequent far vision state
  • the "pupil dilation speed” is the speed at which the pupil size dilates during the period of pupil size dilation caused by switching from the near vision state to the far vision state.
  • the image processing device 1 compares the calculated values of the various near vision response indexes and distance vision response indexes with the reference values of the various near vision response indexes and distance vision response indexes to estimate the binocular vision abnormality of the subject 6.
  • the image processing device 1 then outputs the estimation result to the output device 3.
  • the above-mentioned reference values may be general standard values of the various near vision response indexes and distance vision response indexes for the age of the subject 6, or may be past calculated values of the near vision response indexes and distance vision response indexes of the subject 6.
  • the above-mentioned reference values may also be threshold values for determining the presence or absence or level of binocular vision abnormality of the subject 6.
  • the above-mentioned threshold value be set as a reference value for determining whether or not the subject 6 is in any of the above-mentioned states.
  • the subject 6 can easily measure his/her near vision response using his/her own smartphone or the like, and understand the results of the binocular vision abnormality assessment.
  • the image processing device 1 can also suggest preventive activities according to the results of the binocular vision abnormality assessment and make the preventive effects visible, thereby increasing the subject 6's awareness of continuing preventive activities regarding binocular vision abnormalities.
  • This application can be used not only for self-checks by the subject 6, but also for checks by parents if the subject 6 is a minor.
  • Second Embodiment 9 shows a schematic configuration of a near vision reaction measurement system 100A in the second embodiment.
  • the near vision reaction measurement system 100A according to the second embodiment has an image processing device 1A that functions as a server, and a terminal device 8 that is used by a subject and functions as a client.
  • the image processing device 1A and the terminal device 8 perform data communication via a network 99.
  • the same components as those in the first embodiment are appropriately designated by the same reference numerals, and the description thereof will be omitted.
  • the terminal device 8 is a terminal used by a user who is to be a subject, and has input, display, communication, and imaging functions, and functions as the input device 2, output device 3, and measurement device 5 including camera 51 shown in FIG. 1.
  • the terminal device 8 may be, for example, a personal computer, a tablet terminal such as a smartphone, or a PDA (Personal Digital Assistant).
  • the terminal device 8 transmits the facial image of the subject output by the camera 51 to the image processing device 1A via the network 99.
  • the image processing device 1A has the same hardware configuration as the image processing device 1 shown in FIG. 2, and the processor 11 of the image processing device 1A has the functional blocks shown in FIG. 4 described in the first embodiment.
  • the image processing device 1A receives camera images from the terminal device 8 via the network 99 and executes near vision reaction measurement processing of the subject. In addition, the image processing device 1A transmits an output signal for outputting the processing results to the terminal device 8 via the network 99 based on a display request from the terminal device 8.
  • the image processing device 1A in the second embodiment performs processing related to measuring the near vision response of the subject who is the user of the terminal device 8, and can present the near vision response measurement results to the subject via the terminal device 8 in an optimal manner.
  • Third Embodiment 10 is a block diagram of an image processing device 1X in the third embodiment.
  • the image processing device 1X mainly includes a first instruction means 14X, a first generation means 15X, a continuity determination means 16X, a second instruction means 17X, and a second generation means 18X. Note that the image processing device 1X may be composed of a plurality of devices.
  • the first instruction means 14X instructs the subject to be in a first state in which the subject views a first distance ahead.
  • the first instruction means 14X can be, for example, the first instruction unit 14 in the first or second embodiment.
  • the first generating means 15X generates first pupil information, which is information about the pupil of the subject, based on an image generated by the imaging means when the subject is in the first state.
  • the first generating means 15X can be, for example, the first pupil information generating unit 15 in the first or second embodiment.
  • the constancy determination means 16X determines whether or not the subject's pupil is constancy in the first state based on the first pupil information.
  • the constancy determination means 16X can be, for example, the constancy determination unit 16 in the first or second embodiment.
  • the second instruction means 17X instructs the subject to enter a second state in which the subject looks ahead at a second distance that is shorter than the first distance.
  • the second instruction means 17X can be, for example, the second instruction unit 17 in the first or second embodiment.
  • the second generating means 18X generates second pupil information, which is information about the subject's pupil, based on the image generated by the imaging means when the subject is in the second state.
  • the second generating means 18X can be, for example, the second pupil information generating unit 18 in the first or second embodiment.
  • the first instruction means 14X instructs the subject to enter a first state in which the subject looks ahead at a first distance (step S21).
  • the first generation means 15X generates first pupil information, which is information about the subject's pupil, based on an image generated by the imaging means when the subject is in the first state (step S22).
  • the constancy determination means 16X determines whether the pupil of the subject is constancy in the first state based on the first pupil information (step S23). If it is determined that there is constancy, the second instruction means 17X instructs the subject to enter a second state in which the subject looks ahead at a second distance shorter than the first distance (step S24).
  • the second generation means 18X generates second pupil information, which is information about the subject's pupil, based on an image generated by the imaging means when the subject is in the second state (step S25).
  • the image processing device 1X can suitably acquire pupil information associated with the subject's near vision response.
  • Non-transitory computer readable medium includes various types of tangible storage medium.
  • Examples of non-transitory computer readable medium include magnetic storage medium (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical storage medium (e.g., magneto-optical disks), CD-ROM (Read Only Memory), CD-R, CD-R/W, and semiconductor memory (e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to a computer by various types of transitory computer readable medium.
  • Examples of transitory computer readable medium include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via a wired communication path, such as an electric wire or optical fiber, or via a wireless communication path.
  • [Appendix 1] a first instruction means for instructing the subject to be in a first state in which the subject visually recognizes an object a first distance ahead; a first generating means for generating first pupil information, which is information about a pupil of the subject, based on an image generated by an imaging means when the subject is in the first state; a constancy determination means for determining whether or not the pupil of the subject is in the first state based on the first pupil information; a second instruction means for instructing the subject to be in a second state in which the subject looks ahead at a second distance that is shorter than the first distance when it is determined that the continuity exists; a second generating means for generating second pupil information, which is information about the pupil, based on an image generated by the imaging means when the subject is in a second state;
  • An image processing device comprising: [Appendix 2] The image processing device according to claim 1, further comprising a near vision response calculation means for calculating an index related to a near vision response of the subject based on the second pupil information.
  • [Appendix 3] The image processing device according to claim 2, wherein the near vision reaction calculation means calculates the index based on the second pupil information in a time series generated after an instruction to enter the second state is given.
  • [Appendix 4] 2. The image processing device according to claim 1, wherein the first pupil information and the second pupil information include information regarding a degree of convergence and a size of the pupil.
  • [Appendix 5] The image is an image of at least both eyes of the subject, The image processing device according to claim 4, wherein the first generation means and the second generation means calculate the degree of convergence based on positions of the pupils of both eyes in the image.
  • the constancy determination means determines whether or not the pupil is constancy based on whether or not there is a change in focus, whether or not there is a light reflex, and whether or not there is a change in the size of the pupil.
  • the first instruction means after generating the second pupil information, instructs the subject to be in the first state again;
  • the image processing device described in Appendix 2 wherein the near vision reaction calculation means calculates an index related to the reaction when the subject switches from the second state to the first state based on the second pupil information and the first pupil information generated after the re-instruction.
  • the near vision response calculation means calculates, as the index, at least one of a maximum value of the pupil size, a minimum value of the pupil size, a maximum contraction rate of the pupil, a contraction speed of the pupil, a re-dilation speed of the pupil, or an index related to a change in the degree of convergence.
  • the near vision reaction calculation means outputs information regarding the subject's condition estimated based on the index by an output device.
  • the near vision response calculation means outputs a degree of functional decline due to aging of the subject estimated based on the index as information regarding the condition.
  • the computer Instruct the subject to be in a first state in which the subject looks at a first distance ahead; generating first pupil information, which is information about the pupil of the subject, based on an image generated by an imaging means when the subject is in the first state; determining whether or not the pupil of the subject is in the first state based on the first pupil information; When it is determined that the continuity exists, instruct the subject to be in a second state in which the subject looks ahead at a second distance that is shorter than the first distance; generating second pupil information, which is information about the pupil, based on the image generated by the imaging means when the subject is in a second state; Image processing methods.
  • [Appendix 14] Instruct the subject to be in a first state in which the subject looks at a first distance ahead; generating first pupil information, which is information about the pupil of the subject, based on an image generated by an imaging means when the subject is in the first state; determining whether or not the pupil of the subject is in the first state based on the first pupil information; when it is determined that the continuity exists, instruct the subject to be in a second state in which the subject looks ahead at a second distance that is shorter than the first distance;
  • a storage medium storing a program that causes a computer to execute a process of generating second pupil information, which is information about the pupil, based on an image generated by the photographing means when the subject is in a second state.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

画像処理装置１Ｘの第１指示手段１４Ｘは、被検者が第１距離だけ先を視認する第１状態になるように指示する。第１生成手段１５Ｘは、被検者が第１状態の場合において撮影手段が生成した画像に基づき、被検者の瞳孔に関する情報である第１瞳孔情報を生成する。定常性判定手段１６Ｘは、第１瞳孔情報に基づき、被検者の第１状態での瞳孔の定常性の有無を判定する。第２指示手段１７Ｘは、定常性があると判定した場合に、被検者が第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示する。第２生成手段１８Ｘは、被検者が第２状態の場合において撮影手段が生成した画像に基づき、被検者の瞳孔に関する情報である第２瞳孔情報を生成する。

Description

画像処理装置、画像処理方法及び記憶媒体
　本開示は、画像による近見反応の計測に関する処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。
　被検者を撮影した顔画像に基づき被検者の瞳孔の計測を行うシステムが知られている。例えば、特許文献１には、２台設けられたカメラからの映像信号に基づき、被検者の瞳孔の領域を検出し、瞳孔面積、瞳孔直径、瞳孔の位置の解析などを行うシステムが開示されている。
国際公開ＷＯ２００２／００３８５３
　一般に、近見反応の計測では、専用の装置又はシステムが必要となっていた。一方、セルフケアなどを目的として日常的に近見反応に関する計測を行う場合には、被検者本人が簡便に計測を実行できることが望ましい。
　本開示は、上述した課題を鑑み、被検者を撮影した画像から被検者の近見反応に関する情報を好適に生成することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。
　画像処理装置の一の態様は、
　被検者が第１距離だけ先を視認する第１状態になるように指示する第１指示手段と、
　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成する第１生成手段と、
　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定する定常性判定手段と、
　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示する第２指示手段と、
　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する第２生成手段と、
を有する画像処理装置である。
　画像処理方法の一の態様は、
　コンピュータが、
　被検者が第１距離だけ先を視認する第１状態になるように指示し、
　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成し、
　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定し、
　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示し、
　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する、
画像処理方法である。なお、「コンピュータ」は、あらゆる電子機器（電子機器に含まれるプロセッサであってもよい）を含み、かつ、複数の電子機器により構成されてもよい。
　記憶媒体の一の態様は、
　被検者が第１距離だけ先を視認する第１状態になるように指示し、
　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成し、
　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定し、
　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示し、
　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体である。
　被検者を撮影した画像から被検者の近見反応に関する情報を好適に生成することが可能となる。
第１実施形態に係る近見反応計測システムの概略構成を示す。 近見反応計測システムが１台の端末装置である場合の近見反応の計測時の様子を示す。 各実施形態に共通する画像処理装置のハードウェア構成の一例を示す。 第１実施形態における近見反応計測処理に関する画像処理装置の機能ブロックの一例である。 被検者の顔を撮影したカメラ画像の一例である。 遠見の状態から近見の状態へ切り替わった時の瞳孔サイズの時間変化を示すグラフの一例である。 近見指示後に再び遠見指示を行った場合に認識される輻輳度の時間変化を示すグラフの一例である。 第１実施形態における近見反応計測処理に関するフローチャートの一例である。 第２実施形態における近見反応計測システムの概略構成を示す。 第３実施形態における画像処理装置のブロック図である。 第３実施形態において画像処理装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、第１実施形態に係る近見反応計測システム１００の概略構成を示す。近見反応計測システム１００は、可視光カメラにより被検者６の顔を撮影した画像に基づいて被検者６の近見反応を簡易的に計測するシステムであって、主に、画像処理装置１と、入力装置２と、出力装置３と、記憶装置４と、カメラ（撮像装置）５１を含む計測装置５とを備える。被検者６は、例えば、健康状態の管理（セルフケアを含む）を目的として、近見反応計測システム１００により自身の近見反応の計測を簡易的に行う。
　画像処理装置１は、カメラ５１が生成する被検者６の顔画像（時系列にて得られる所定枚数の画像列である映像を含む、以下同じ）に基づき、被検者６の近見反応の計測を行い、計測結果の出力を行う。画像処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、出力装置３、記憶装置４及び計測装置５と、データ通信を行う。
　入力装置２は、ユーザ入力（手入力）を受け付けるインターフェースである。なお、入力装置２を用いて情報の入力を行うユーザは、被検者６本人であってもよく、被検者６を管理又は監督する者であってもよい。入力装置２は、例えば、タッチパネル、ボタン、キーボード、マウス、音声入力装置などの種々のユーザ入力用インターフェースであってもよい。入力装置２は、ユーザの入力に基づき生成した入力信号を、画像処理装置１へ供給する。
　出力装置３は、画像処理装置１から供給される出力信号に基づき、所定の情報を出力する。この場合、出力信号は、表示信号又は音声信号の少なくとも一方を含んでいる。そして、出力装置３は、画像処理装置１から供給される表示信号に基づいて、情報の表示を行い、画像処理装置１から供給される音声信号に基づいて、情報の音声出力を行う。出力装置３は、例えば、ディスプレイ又はプロジェクタなどの表示装置と、スピーカーなどの音声出力装置との少なくとも一方を含む。
　記憶装置４は、近見反応の計測等に必要な各種情報を記憶するメモリである。記憶装置４は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、画像処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。
　計測装置５は、可視光カメラであるカメラ５１を含む１又は複数のセンサである。例えば、計測装置５は、被検者６の近見反応の計測環境下での外光の光量変化を検知するための照度センサを含んでもよい。計測装置５は、各センサが計測した信号を画像処理装置１へ供給する。以後では、カメラ５１が生成する画像を「カメラ画像」とも呼ぶ。カメラ５１は、「撮影手段」の一例である。
　図１に示す近見反応計測システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、画像処理装置１と、入力装置２と、出力装置３と、記憶装置４と、計測装置５とは、スマートフォンやタブレット端末等として１台の端末装置により実現されてもよい。
　図２は、近見反応計測システム１００が１台の端末装置（例えばスマートフォン）である場合の近見反応の計測時の様子を示す。図２に示すように、被検者６は、端末装置である近見反応計測システム１００を把持し、カメラ５１の撮影範囲に自身の顔が含まれるように端末装置の向きを調整している。近見反応計測システム１００は三脚等に固定してもよい。そして、被検者６は、図２に示す状態において、近見反応計測システム１００が出力する指示（ガイダンス）に従い、遠見及び近見を順に行い、近見反応の計測を近見反応計測システム１００に実行させる。
　（２）ハードウェア構成
　図３は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス９０を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、画像処理装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、画像処理装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、画像処理装置１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、画像処理装置１に対して着脱自在な記憶媒体により記憶されてもよい。また、メモリ１２は、記憶装置４の少なくとも一部として機能してもよい。
　インターフェース１３は、画像処理装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
　なお、画像処理装置１のハードウェア構成は、図３に示す構成に限定されない。例えば、画像処理装置１は、入力装置２、出力装置３、記憶装置４、及び計測装置５の少なくともいずれかを含んでもよい。
　（３）近見反応計測処理の概要
　次に、近見反応の計測に関する処理である近見反応計測処理について説明する。概略的には、画像処理装置１は、被検者６に遠見を指示した後に生成されるカメラ画像に基づいて被検者６の瞳孔が定常状態となったか否か判定する。そして、画像処理装置１は、被検者６の瞳孔が定常状態となった場合に被検者６に近見を指示し、当該指示後に生成されるカメラ画像から認識した被検者６の時系列の瞳孔に関する情報に基づいて、近見反応に関する指標を算出する。これにより、画像処理装置１は、カメラ画像に基づいて近見反応を好適に計測することが可能となる。
　図４は、近見反応計測処理に関する画像処理装置１の機能ブロックの一例である。画像処理装置１のプロセッサ１１は、機能的には、第１指示部１４と、第１瞳孔情報生成部１５と、定常性判定部１６と、第２指示部１７と、第２瞳孔情報生成部１８と、近見反応出力部１９と、を有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図示されるものに限定されない。後述する他の機能ブロックの図においても同様である。
　第１指示部１４は、近見反応の計測を開始すべきと判定した場合に、被検者６が遠見の状態となるように被検者６への指示（「遠見指示」とも呼ぶ。）を行う。具体的には、第１指示部１４は、所定距離（「第１距離」とも呼ぶ。）先の場所に焦点を合わせることを被検者６に指示する。「第１距離」は、被検者６が遠見の状態であるとみなせる焦点距離であり、例えば、焦点距離が実質的に無限遠となる６ｍ以上の距離となる。従って、例えば、第１指示部１４は、６ｍ以上先の場所に焦点を当てることを指示する表示信号又は音声信号の少なくとも一方を含む出力信号を生成し、出力信号をインターフェース１３を介して出力装置３に供給する。これにより、第１指示部１４は、被検者６への遠見指示の出力を出力装置３に実行させる。第１指示部１４は、遠見指示の出力を行った場合に、遠見指示の出力を行ったことを第１瞳孔情報生成部１５に通知する。
　ここで、近見反応の計測を開始すべきか否かの判定について補足説明する。第１指示部１４は、例えば、近見反応の計測の開始を指示する入力装置２による所定のユーザ入力を検知した場合に、近見反応の計測を開始すべきと判定する。他の例では、第１指示部１４は、予め計画された近見反応の計測タイミングになった場合に、近見反応の計測を開始すべきと判定する。この場合、計測タイミングに関する情報は、記憶装置４又はメモリ１２に予め記憶されている。
　第１瞳孔情報生成部１５は、第１指示部１４による指示の出力後から定常性判定部１６によって被検者６の瞳孔の定常性があると判定されるまでの期間、カメラ５１からインターフェース１３を介して取得されるカメラ画像に基づき、被検者６の瞳孔に関する情報を生成する。上述の期間では、第１瞳孔情報生成部１５は、焦点距離が第１距離（例えば無限遠）となる場所を被検者６が見ている状態（即ち遠見の状態であり、「第１の状態」とも呼ぶ。）であるとみなし、遠見の状態での被検者６の瞳孔に関する情報を生成する。被検者６の瞳孔に関する情報を「瞳孔情報」とも呼ぶ。本実施形態では、第１瞳孔情報生成部１５は、瞳孔情報として、被検者６の瞳孔サイズ（例えば瞳孔径）と、被検者６の目の輻輳（即ち、より目の状態）の度合い（「輻輳度」とも呼ぶ。）とを少なくとも算出する。瞳孔径及び輻輳度の具体例については後述する。第１瞳孔情報生成部１５は、第１瞳孔情報生成部１５が生成した瞳孔情報（「第１瞳孔情報」とも呼ぶ。）を、定常性判定部１６及び近見反応出力部１９に供給する。
　定常性判定部１６は、第１指示部１４による遠見指示の出力後、第１瞳孔情報に基づき、カメラ画像から認識される被検者６の瞳孔が定常性を有しているか否か判定する。この場合、定常性判定部１６は、第１指示部１４による遠見指示後には被検者６が遠見の状態であるとみなし、遠見の状態において認識される被検者６の瞳孔の定常性の有無を判定する。そして、定常性判定部１６は、定常性があると判定した場合、処理を開始すべきことを第２指示部１７及び第２瞳孔情報生成部１８に通知する。
　ここで、定常性の有無の基準について補足説明する。定常性判定部１６は、例えば、遠見指示後において、
（ａ）被検者６の焦点が変化していない
（ｂ）対光反応がない
（ｃ）瞳孔サイズが安定している
の条件（ａ）～（ｃ）が所定時間継続して全て満たされた場合に、定常性があると判定し、条件（ａ）～（ｃ）のいずれかが所定時間継続して満たされていない場合に、定常性がないと判定する。上述の所定時間の長さは、例えば、記憶装置４又はメモリ１２等に予め記憶された既定値である。
　まず、条件（ａ）について説明する。定常性判定部１６は、例えば、第１瞳孔情報生成部１５から直前の所定時間において供給された瞳孔情報が示す時系列の輻輳度に基づき、条件（ａ）が満たされるか否か判定する。そして、定常性判定部１６は、所定時間において輻輳度が実質的に変化していない場合に、条件（ａ）が満たされると判定し、所定時間において輻輳度が実質的な変化がある場合に、条件（ａ）が満たされないと判定する。この場合、例えば、定常性判定部１６は、上述の所定時間内に得られた所定個数の輻輳度の分散、最大値と最小値の差、又は、その他のばらつきを表す統計量と所定の閾値との比較に基づき、輻輳度が実質的に変化しているか否か判定する。上述の閾値は、例えば、記憶装置４又はメモリ１２等に予め記憶されている。
　次に、条件（ｂ）について説明する。定常性判定部１６は、例えば、直前の所定時間において計測装置５が計測した時系列の光量（照度）に基づき、条件（ｂ）が満たされるか否か判定する。具体的には、定常性判定部１６は、計測装置５が計測した照度が上述の所定時間において実質的に変化していない場合に、条件（ｂ）がみたされると判定し、計測装置５が計測した照度が上述の所定時間において実質的な変化がある場合に、条件（ｂ）が満たされないと判定する。この場合、例えば、定常性判定部１６は、上述の所定時間内に得られた所定個数の照度の計測値の分散、最大値と最小値の差、又は、その他のばらつきを表す統計量と所定の閾値との比較に基づき、照度が実質的に変化しているか否か判定する。上述の閾値は、例えば、記憶装置４又はメモリ１２等に予め記憶されている。
　他の例では、定常性判定部１６は、時系列での瞳孔サイズに基づき、条件（ｂ）が満たされるか否か判定してもよい。この場合、条件（ｂ）は、後述する条件（ｃ）と同一の条件となる。
　次に、条件（ｃ）について説明する。定常性判定部１６は、例えば、第１瞳孔情報生成部１５から直前の所定時間において供給された瞳孔情報が示す時系列の瞳孔サイズの実質的な変化の有無に基づき、条件（ｃ）が満たされるか否か判定する。この場合、定常性判定部１６は、上述の所定時間内に得られた瞳孔情報に基づく所定個数の瞳孔サイズの分散、最大値と最小値の差、又は、その他のばらつきを表す統計量と所定の閾値との比較結果に基づき、瞳孔サイズの実質的な変化の有無を判定する。上述の閾値は、例えば、記憶装置４又はメモリ１２等に予め記憶されている。
　第２指示部１７は、定常性判定部１６が定常性があると判定した場合に、被検者６が近見の状態となるように被検者６への指示（「近見指示」とも呼ぶ。）を行う。具体的には、第２指示部１７は、所定距離（「第２距離」とも呼ぶ。）先の場所に焦点を合わせることを被検者６に指示する。上述の「第２距離」は、被検者６が近見の状態であるとみなせる焦点距離であり、第１距離よりも短い距離（例えば、５０ｃｍ未満の距離）となる。例えば、図２に示される構成（即ち被検者６が近見反応計測システム１００である端末装置を把持している構成）では、第２指示部１７は、被検者６が把持した端末装置に備えられたカメラ５１に焦点を当てることを指示する表示信号又は音声信号の少なくとも一方を含む出力信号を生成し、出力信号をインターフェース１３を介して出力装置３に供給する。これにより、第１指示部１４は、被検者６への近見指示の出力を出力装置３に実行させる。第１指示部１４は、近見指示の出力を行った場合に、近見指示の出力を行ったことを第１瞳孔情報生成部１５に通知する。
　第２瞳孔情報生成部１８は、第２指示部１７による近見指示の出力後から所定時間（例えば数秒）が経過するまでの期間、カメラ５１からインターフェース１３を介して取得されるカメラ画像に基づき、被検者６の時系列での瞳孔情報を生成する。上述の期間では、第１瞳孔情報生成部１５は、焦点距離が第２距離となる場所を被検者６が見ている状態（即ち近見の状態であり、「第２の状態」とも呼ぶ。）であるとみなし、近見の状態での被検者６の時系列での瞳孔サイズ及び輻輳度を含む瞳孔情報を生成する。第２瞳孔情報生成部１８は、第２瞳孔情報生成部１８が生成した瞳孔情報（「第２瞳孔情報」とも呼ぶ。）を、近見反応出力部１９に供給する。
　近見反応出力部１９は、第１瞳孔情報生成部１５から供給される第１瞳孔情報と、第２瞳孔情報生成部１８から供給される第２瞳孔情報とに基づき、近見反応に関する指標（「近見反応指標」とも呼ぶ。）を算出し、近見反応指標の算出結果に関する情報を出力装置３により表示又は音声出力する。この場合、近見反応出力部１９は、第１瞳孔情報生成部１５から最後に供給された第１瞳孔情報（即ち定常性判定部１６が定常性ありと判定した時点での遠見の状態での瞳孔情報）と、第２瞳孔情報生成部１８から供給された時系列の第２瞳孔情報と、に基づき、近見反応指標を算出する。算出すべき近見反応指標の種類は、近見反応計測システム１００が適用されるアプリケーションによって異なり、その具体例については「（４）瞳孔情報及び近見反応指標」及び「（７）アプリケーション」のセクションにて後述する。
　ここで、近見反応出力部１９が出力装置３に出力させる近見反応指標の算出結果に関する情報は、算出された近見反応指標そのものを示す情報であってもよく、近見反応指標に基づき推定した被検者６の状態等に関する情報であってもよい。後者の例については、「（７）アプリケーション」のセクションにて具体的に説明する。近見反応出力部１９は、算出した近見反応指標の算出結果に関する情報を出力するための出力信号（即ち、表示信号又は音声信号の少なくとも一方）を生成し、出力信号をインターフェース１３を介して出力装置３に供給する。これにより、近見反応出力部１９は、近見反応指標の算出結果に関する情報を出力装置３に出力させる。
　なお、近見反応出力部１９は、第１瞳孔情報を用いずに時系列の第２瞳孔情報に基づいて近見反応指標を算出してもよい。この場合、時系列の最初に得られた第２瞳孔情報を遠見の状態での瞳孔情報とみなし、上述の近見反応指標を算出する。
　また、画像処理装置１は、第１指示部１４、第１瞳孔情報生成部１５、定常性判定部１６、第２指示部１７、第２瞳孔情報生成部１８、及び近見反応出力部１９の処理を所定回数実行することで、所定回数分の近見反応指標を算出してもよい。この場合、近見反応出力部１９は、所定回数分の近見反応指標の時間平均又はその他の代表値を算出し、算出結果を出力装置３に出力させる。これにより、統計処理が行われた高精度な近見反応指標を出力することができる。
　また、近見反応出力部１９は、近見の状態から遠見の状態への切替に伴う被検者６の反応を示す指標（「遠見反応指標」とも呼ぶ。）をさらに算出してもよい。この場合、第２指示部１７による近見指示後、再び第１指示部１４が遠見指示を行い、当該遠見指示後に第１瞳孔情報生成部１５が生成する時系列の第１瞳孔情報（及び直前の第２瞳孔情報）に基づき、近見反応出力部１９は、遠見反応指標を算出する。この具体例については、「（７）アプリケーション」のセクションにて説明する。
　なお、図４において説明した第１指示部１４、第１瞳孔情報生成部１５、定常性判定部１６、第２指示部１７、第２瞳孔情報生成部１８及び近見反応出力部１９の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（４）瞳孔情報及び近見反応指標
　まず、瞳孔情報の具体例について説明する。図５は、被検者６の顔を撮影したカメラ画像の一例である。
　画像処理装置１は、被検者６の顔を撮影したカメラ画像から任意の画像認識技術に基づき、被検者６の目（ここでは両目）９ａ、虹彩９ｂ、瞳孔９ｃの各領域を認識する。そして、画像処理装置１は、認識した各領域に基づき、後述する瞳孔サイズと輻輳度とを示す瞳孔情報を算出する。
　例えば、画像処理装置１は、矢印９０の長さに相当する瞳孔サイズ（即ち、瞳孔径）を算出する。なお、画像処理装置１は、両目について瞳孔サイズを夫々算出し、さらに算出した瞳孔サイズの平均を示す瞳孔情報を生成してもよい。
　他の例では、画像処理装置１は、輻輳度の一例として、矢印９１の長さに相当する瞳孔間距離を算出する。このように、画像処理装置１は、両目に基づき輻輳度を算出することで、正確な輻輳を認識することが可能である。この場合、カメラ画像は、被検者６の両目を少なくとも撮影した画像となっており、画像処理装置１は、カメラ画像における両目の瞳孔９ｃの位置に基づき、輻輳度を算出する。なお、画像処理装置１は、被検者の片目のみ撮影されたカメラ画像に基づいて、瞳孔情報を算出してもよい。この場合、例えば、画像処理装置１は、輻輳度として、目９ａの両端に対する瞳孔９ｃの中心の相対位置（即ち、矢印９３及び９４の長さに相当する距離）を算出してもよい。このように、画像処理装置１は、目９ａにおける瞳孔９ｃの相対位置を示す値を輻輳度として算出してもよい。
　ここで、画像処理装置１は、瞳孔サイズ及び瞳孔間距離などを、カメラ画像上での画素数に基づくサイズから所定の尺度のサイズ（例えば実サイズ）に変換する正規化処理を行い、正規化された瞳孔サイズ及び瞳孔間距離を示す瞳孔情報を生成してもよい。この場合、例えば、画像処理装置１は、虹彩９ｂのサイズが個人差が少なく、かつ、経年変化しないという特性を利用し、虹彩９ｂのサイズに基づき、瞳孔サイズ及び瞳孔間距離を正規化してもよい。この場合、例えば、虹彩９ｂの画像上のサイズと、正規化後の虹彩９ｂのサイズとの関係を示す情報が記憶装置４又はメモリ１２等に予め記憶されており、画像処理装置１は、この情報を参照して上述の正規化を行う。他の例では、視点の異なる複数のカメラがカメラ５１として近見反応計測システム１００に設けられている場合には、画像処理装置１は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　Ｆｒｏｍ　Ｍｏｔｉｏｎ）などの任意の三次元復元技術に基づき、複数のカメラのカメラ画像から被検者６の顔を三次元復元することで、瞳孔サイズ及び瞳孔間距離の実サイズを認識してもよい。
　次に、近見反応指標の具体例について説明する。まず、瞳孔サイズから得られる近見反応指標について説明する。図６は、近見反応に伴う瞳孔サイズの時間変化を示すグラフの一例である。
　この場合、近見指示を行った時刻「ｔ１」後、被検者６は遠見から近見に切替えることに起因して、被検者６の瞳孔サイズ（ここでは瞳孔半径とする）は潜時を経て最大値「Ｄｍａｘ」から徐々に減少していき、時刻「ｔ２」において最小値「Ｄｍｉｎ」となる。その後、瞳孔サイズは再び拡大し、時刻ｔ２から所定時間後の時刻「ｔ３」付近において定常状態となる。
　この場合、例えば、画像処理装置１は、近見反応指標として、矢印９５の長さ（即ち、Ｄｍａｘ－Ｄｍｉｎ）に相当する最大瞳孔収縮量、サイズＤｍａｘとサイズＤｍｉｎとの比に相当する最大瞳孔収縮率、線９６の傾きに相当する瞳孔収縮速度、線９７の傾きに相当する再拡張速度などを算出する。なお、線９６の傾きは、瞳孔サイズの減少期間での瞳孔サイズの減少速度に相当し、線９７の傾きは、瞳孔サイズの増加（再拡張）期間での瞳孔サイズの増加速度に相当する。
　なお、瞳孔サイズに基づく近見反応指標は、上述した指標に限らず、遠見から近見への切替の前後期間において計測される時系列の瞳孔サイズに基づく任意の指標であってもよい。また、画像処理装置１は、瞳孔サイズに基づく遠見反応指標についても、上述した近見反応指標と同様に算出してもよい。
　次に、輻輳度に関する近見反応指標について説明する。図７は、第２指示部１７による近見指示後に再び第１指示部１４による遠見指示を行った場合に認識される輻輳度の時間変化を示すグラフの一例である。ここでは、一例として、輻輳度は、より目の度合いが高いほど大きい値となるものとする。
　図７の例では、近見指示を行った時刻「ｔ１１」後、被検者６は遠見から近見に切替えることに起因して、輻輳度は潜時を経て最小量から徐々に増大していきその後定常状態となる。さらに、定常状態になった時刻「ｔ１２」において遠見指示が行われ、被検者６が近見から遠見に切替えることに起因して輻輳度は潜時を経て徐々に減少していき、時刻「ｔ１３」付近において定常状態となる。
　この場合、例えば、画像処理装置１は、近見反応指標として、図６の例と同様、遠見の状態に対応する輻輳度の最小値と近見の状態に対応する輻輳度の最大値との差（矢印９５ａの長さに相当）と、輻輳度の増加速度（矢印９７ａの傾きに相当）とを算出する。また、例えば、画像処理装置１は、遠見反応指標として、近見の状態に対応する輻輳度の最大値と遠見の状態に対応する輻輳度の最小値との差（矢印９８ａの長さに相当）と、近見から遠見への切替に伴う輻輳度の減少期間での輻輳度の減少速度（矢印９６ａの傾きに相当）とを算出する。ここで、上述した輻輳度の最大値と最大値との差は、輻輳度の変化の度合いであり、以後では「輻輳量」とも呼ぶ。また、上述の増加速度と減少速度を、以後では、「輻輳度の変化速度」とも呼ぶ。輻輳量及び輻輳度の変化速度は、「輻輳の度合いの変化に関する指標」の例である。
　なお、輻輳度に基づく近見反応指標は、上述した指標に限らず、遠見から近見への切替の前後期間において計測される時系列の輻輳度に基づく任意の指標であってもよい。同様に、輻輳度に基づく遠見反応指標は、上述した指標に限らず、近見から遠見への切替の前後期間において計測される時系列の輻輳度に基づく任意の指標であってもよい。
　（５）処理フロー
　図８は、画像処理装置１が実行する近見反応計測処理に関するフローチャートの一例である。
　まず、画像処理装置１は、被検者６に遠見を指示する遠見指示を出力装置３により出力する（ステップＳ１１）。そして、画像処理装置１は、ステップＳ１１後にカメラ５１が生成する時系列のカメラ画像の各々に基づいて、被検者６の瞳孔情報（即ち、第１瞳孔情報）を生成する（ステップＳ１２）。
　そして、画像処理装置１は、ステップＳ１２にて得られる瞳孔情報等に基づいて、被検者６の瞳孔の定常性の有無を判定する（ステップＳ１３）。この場合、画像処理装置１は、ステップＳ１２にて直前の所定期間において生成された所定個数分の瞳孔情報に基づき、瞳孔の定常性の有無を判定する。そして、画像処理装置１は、被検者６の瞳孔について定常性があると判定した場合（ステップＳ１３；Ｙｅｓ）、ステップＳ１４へ処理を進める。一方、画像処理装置１は、被検者６の瞳孔について定常性がないと判定した場合（ステップＳ１３；Ｎｏ）、引き続きステップＳ１２において、カメラ５１が生成する最新のカメラ画像に基づき瞳孔情報を生成する。
　次に、被検者６の瞳孔について定常性があると判定後、画像処理装置１は、被検者６に近見を指示する近見指示を出力装置３により出力する（ステップＳ１４）。そして、画像処理装置１は、ステップＳ１４後にカメラ５１が生成する時系列のカメラ画像の各々に基づいて、被検者６の瞳孔情報（即ち、第２瞳孔情報）を生成する（ステップＳ１５）。そして、画像処理装置１は、瞳孔情報に基づいて近見反応指標を算出する（ステップＳ１６）。この場合、画像処理装置１は、ステップＳ１５で得られた時系列の第２瞳孔情報（及びステップＳ１２で得られた第１瞳孔情報）に基づいて、１又は複数種類の近見反応指標を算出する。なお、画像処理装置１は、ステップＳ１１～ステップＳ１６を複数回繰り返すことで得られる複数回分の近見反応指標のサンプルに基づき、種類ごとの近見反応指標の時間平均（又はその他の代表値）を算出してもよい。
　そして、画像処理装置１は、近見反応指標の算出結果に関する情報を出力装置３により出力する（ステップＳ１７）。この場合、画像処理装置１は、適用されるアプリケーションに応じ、算出した近見反応指標から老化現象の有無、疲労の有無、神経系疾患の有無などに関する被検者６の状態を判定し、その判定結果を出力装置３により出力してもよい。なお、アプリケーションの例については後述する。
　（６）変形例
　次に、上述した実施形態の変形例について説明する。以下の変形例は任意に組み合わせて上述した実施形態に適用してもよい。
　（変形例１）
　画像処理装置１は、遠見指示及び近見指示において、カメラ画像から認識した被検者６の虹彩のサイズに基づいて、被検者６とカメラ５１との距離（撮影距離）が予め定めた距離となるように、ガイダンスを出力してもよい。
　この場合、例えば、ステップＳ１１において、画像処理装置１は、遠見指示を出力すると共に、カメラ画像から被検者６の虹彩のサイズを認識する。そして、画像処理装置１は、認識した虹彩のサイズが適正サイズ範囲に属するか否か判定する。上述の適正サイズ範囲は、近見反応計測処理に好ましい距離範囲内となるような撮影距離の範囲に対応する虹彩のサイズの範囲であり、例えば記憶装置４又はメモリ１２等に予め記憶された範囲である。そして、画像処理装置１は、認識した虹彩のサイズが適正サイズ範囲外である場合には、撮影距離を調整すべき旨を被検者６に指示する情報を出力装置３に出力させる。この場合、画像処理装置１は、認識した虹彩のサイズが適正サイズ範囲より小さい場合には、撮影距離を短くすることを指示し、認識した虹彩のサイズが適正サイズ範囲より大きい場合には、撮影距離を長くすることを指示する。画像処理装置１は、ステップＳ１４等においても同様に、カメラ画像から被検者６の虹彩のサイズを認識し、認識した虹彩のサイズが適正サイズ範囲に属するか否かの判定結果に基づいて、撮影距離に関するガイダンスを出力してもよい。
　本変形例によれば、画像処理装置１は、撮影距離が近見反応の計測に適した距離となるように好適に調整することができる。
　（変形例２）
　時系列の第２瞳孔情報の取得は必須ではなく、画像処理装置１は、近見の状態での少なくとも１時点での第２瞳孔情報を取得してもよい。
　この場合、例えば、近見反応出力部１９は、第２指示部１７による遠見指示後の所定時刻に生成されたカメラ画像に基づく第２瞳孔情報と、第２指示部１７による遠見指示前の最後に生成された第１瞳孔情報とに基づき、近見反応指標を算出する。上述の所定時刻は、例えば、図６における時刻ｔ１と時刻ｔ２との間に相当する時刻（即ち瞳孔サイズの減少期間内の時刻）であってもよく、定常時刻ｔ３付近の時刻（即ち、瞳孔の状態が定常状態となった時刻）であってもよい。前者の例では、近見反応出力部１９は、第１瞳孔情報が示す瞳孔サイズと第２瞳孔情報が示す瞳孔サイズとの差を、最大瞳孔収縮率として算出することができる。また、後者の例では、近見反応出力部１９は、第１瞳孔情報が示す瞳孔サイズと第２瞳孔情報が示す瞳孔サイズとの差を、定常状態での近見と遠見の瞳孔サイズの差として算出することができる。
　（７）アプリケーション
　次に、近見反応計測システム１００のアプリケーションについて例示する。以下のアプリケーションでは、近見反応計測システム１００は、算出した近見反応指標に基づき、被検者６の状態（特に健康に関する状態）を推定し、被検者６の状態の推定結果を出力する。ここでは、近見反応計測システム１００のアプリケーションの具体例として、加齢による機能低下の定量把握に関するアプリケーション、眼精疲労の定量把握に関するアプリケーション、及び両眼視異常の検知に関するアプリケーションについて例示する。
　（７－１）加齢による機能低下の定量把握
　加齢による機能低下の定量把握に関するアプリケーションでは、例えば、画像処理装置１は、近見反応指標として、遠見の状態での瞳孔サイズ（即ち瞳孔サイズの最大値Ｄｍａｘ）と、近見の状態での瞳孔サイズ（即ち瞳孔サイズの最小値Ｄｍｉｎ又は再拡張後の瞳孔サイズ）と、瞳孔収縮速度、輻輳量、及び輻輳度の変化速度等と、を夫々算出する。そして、画像処理装置１は、算出した各種の近見反応指標の算出値と、近見反応指標の参考値とを比較し、被検者６の加齢による機能低下の度合いを定量的に推定する。そして、画像処理装置１は、推定結果を出力装置３に出力する。上述の参考値は、被検者６の年齢における一般的な各種の近見反応指標の基準値であってもよく、被検者６の近見反応指標の算出値の過去の算出値であってもよい。また、上述の参考値は、加齢による機能低下の有無又はレベルを判定するための閾値であってもよい。
　ここで、画像処理装置１は、被検者６の加齢による機能低下の度合いを推定するモデルを用い、当該モデルが出力する情報を出力装置３に出力させてもよい。上述のモデルは、式、ルックアップテーブル、又はニューラルネットワークなどの機械学習モデル等であり、例えば、各種の近見反応指標の算出値（又は当該算出値と参考値との差等）を入力とした場合に加齢による機能低下の度合いに関する推定結果（例えば被検者６の推定年齢など）を出力する。上述のモデルのパラメータ等は、予め記憶装置４又はメモリ１２等に記憶されている。また、画像処理装置１は、算出した各種の近見反応指標の算出値と対応する参考値とを比較可能に示したグラフなどを表示してもよい。
　このようなアプリケーションによれば、被検者６は、簡便に被検者６自身で近見反応の計測を自身が所有するスマートフォンなどを用いて行い、加齢による機能低下を定量把握することができる。そして、画像処理装置１は、加齢による機能低下の予防活動の提案、加齢による機能低下の予防効果のみえる化などを行うことも可能であり、被検者６であるユーザの加齢による機能低下の予防活動の継続意識を高めることができる。
　（７－２）眼精疲労の定量把握
　眼精疲労の定量把握に関するアプリケーションでは、画像処理装置１は、例えば、近見反応指標として、最大瞳孔収縮率、瞳孔収縮速度、再拡張速度、及び輻輳量等を算出する。そして、画像処理装置１は、算出した各種の近見反応指標の算出値と、近見反応指標の参考値とを比較し、被検者６の眼精疲労の度合いを定量的に推定する。そして、画像処理装置１は、推定結果を出力装置３に出力する。上述の参考値は、被検者６の年齢における一般的な各種の近見反応指標の基準値であってもよく、被検者６の近見反応指標の過去の算出値であってもよい。また、上述の参考値は、被検者６の眼精疲労の有無又はレベルを判定するための閾値であってもよい。
　ここで、画像処理装置１は、被検者６の眼精疲労の度合いを推定するモデルを用い、当該モデルが出力する情報を出力装置３に出力させてもよい。上述のモデルは、式、ルックアップテーブル、又はニューラルネットワークなどの機械学習モデル等であり、例えば、各種の近見反応指標の算出値（又は当該算出値と参考値との差等）を入力とした場合に被検者６の眼精疲労の度合いに関する推定結果を出力する。上述のモデルのパラメータ等は、予め記憶装置４又はメモリ１２等に記憶されている。また、画像処理装置１は、被検者６の眼精疲労の度合いを表す情報として、算出した各種の近見反応指標の算出値と対応する参考値とを比較可能に示したグラフなどを表示してもよい。
　このようなアプリケーションによれば、被検者６は、簡便に被検者６自身で近見反応の計測を自身が所有するスマートフォンなどを用いて行い、眼精疲労を定量把握することができる。
　（７－３）両眼視異常の検知
　次に、両眼視異常（スマートフォンの使用による内斜視も含む）の検知に関するアプリケーションについて説明する。
　このアプリケーションでは、画像処理装置１は、例えば、近見反応指標として、最大瞳孔収縮率、瞳孔収縮速度、輻輳量、及び輻輳度の変化速度等、を算出する。また、本アプリケーションでは、画像処理装置１は、近見反応指標に加えて、遠見反応指標を算出する。従って、画像処理装置１は、第２指示部１７による近見指示後、再び第１指示部１４による遠見指示を行い、当該遠見指示後に第１瞳孔情報生成部１５が生成する時系列の第１瞳孔情報（及び直前の第２瞳孔情報）に基づき、遠見反応指標を算出する。これにより、画像処理装置１は、近見の状態から遠見の状態への切替に伴う被検者６の反応に伴う瞳孔拡大率、瞳孔拡大速度、輻輳量、及び輻輳度の変化速度等、を算出する。なお、「瞳孔拡大率」は、近見の状態での瞳孔サイズに対するその後の遠見の状態での瞳孔サイズの比であり、「瞳孔拡大速度」は、近見の状態から遠見の状態への切替によって生じる瞳孔サイズの拡大期間における瞳孔サイズの拡大速度である。
　そして、画像処理装置１は、算出した各種の近見反応指標及び遠見反応指標の算出値と、各種の近見反応指標及び遠見反応指標の参考値とを比較し、被検者６の両眼視異常を推定する。そして、画像処理装置１は、推定結果を出力装置３に出力する。上述の参考値は、被検者６の年齢における一般的な各種の近見反応指標及び遠見反応指標の基準値であってもよく、被検者６の近見反応指標及び遠見反応指標の過去の算出値であってもよい。また、上述の参考値は、被検者６の両眼視異常の有無又はレベルを判定するための閾値であってもよい。
　なお、近見反応において輻輳しても縮瞳しない状態、又は、近見の状態から遠見の状態への切替に伴う被検者６の反応において輻輳度が当初の遠見のときの輻輳度に戻らない状態のいずれかに該当する場合には、両眼視異常が生じている可能性が高い。従って、上述した閾値は、上述のいずれかの状態に該当するか否かを判定するための基準値となるように設定されるとよい。
　このようなアプリケーションによれば、被検者６は、簡便に被検者６自身で近見反応の計測等を自身が所有するスマートフォンなどを用いて行い、両眼視異常の判定結果を把握することができる。また、画像処理装置１は、両眼視異常の判定結果に応じた予防活動の提案や予防効果のみえる化などを行うこともでき、被検者６による両眼視異常に関する予防活動の継続意識を高めることができる。なお、このアプリケーションは、被検者６のセルフチェックのみならず、被検者６が未成年である場合の親によるチェックにも活用することが可能である。
　＜第２実施形態＞
　図９は、第２実施形態における近見反応計測システム１００Ａの概略構成を示す。第２実施形態に係る近見反応計測システム１００Ａは、サーバとして機能する画像処理装置１Ａと、被検者が使用し、クライアントとして機能する端末装置８とを有する。画像処理装置１Ａと端末装置８とは、ネットワーク９９を介してデータ通信を行う。以後では、第１実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
　端末装置８は、被検者となる利用者（ユーザ）が使用する端末であり、入力機能、表示機能、通信機能、及び撮像機能を有し、図１に示される入力装置２、出力装置３、及びカメラ５１を含む計測装置５等として機能する。端末装置８は、例えば、パーソナルコンピュータ、スマートフォンなどのタブレット型端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）などであってもよい。端末装置８は、カメラ５１が出力する被検者の顔画像を、ネットワーク９９を介して画像処理装置１Ａに送信する。
　画像処理装置１Ａは、図２に示す画像処理装置１のハードウェア構成と同一のハードウェア構成を有し、画像処理装置１Ａのプロセッサ１１は、第１実施形態において説明した図４に示される機能ブロックを有する。そして、画像処理装置１Ａは、カメラ画像を端末装置８からネットワーク９９を介して受信し、被検者の近見反応計測処理を実行する。また、画像処理装置１Ａは、端末装置８からの表示要求に基づき、処理結果を出力するための出力信号を、ネットワーク９９を介して端末装置８へ送信する。
　このように、第２実施形態における画像処理装置１Ａは、端末装置８のユーザとなる被検者の近見反応の計測に関する処理を行い、近見反応の計測結果を端末装置８により好適に被検者に提示することができる。
　＜第３実施形態＞
　図１０は、第３実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、主に、第１指示手段１４Ｘと、第１生成手段１５Ｘと、定常性判定手段１６Ｘと、第２指示手段１７Ｘと、第２生成手段１８Ｘと、を有する。なお、画像処理装置１Ｘは、複数の装置により構成されてもよい。
　第１指示手段１４Ｘは、被検者が第１距離だけ先を視認する第１状態になるように指示する。第１指示手段１４Ｘは、例えば、第１実施形態又は第２実施形態における第１指示部１４とすることができる。
　第１生成手段１５Ｘは、被検者が第１状態の場合において撮影手段が生成した画像に基づき、被検者の瞳孔に関する情報である第１瞳孔情報を生成する。第１生成手段１５Ｘは、例えば、第１実施形態又は第２実施形態における第１瞳孔情報生成部１５とすることができる。
　定常性判定手段１６Ｘは、第１瞳孔情報に基づき、被検者の第１状態での瞳孔の定常性の有無を判定する。定常性判定手段１６Ｘは、例えば、第１実施形態又は第２実施形態における定常性判定部１６とすることができる。
　第２指示手段１７Ｘは、定常性があると判定した場合に、被検者が第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示する。第２指示手段１７Ｘは、例えば、第１実施形態又は第２実施形態における第２指示部１７とすることができる。
　第２生成手段１８Ｘは、被検者が第２状態の場合において撮影手段が生成した画像に基づき、被検者の瞳孔に関する情報である第２瞳孔情報を生成する。第２生成手段１８Ｘは、例えば、第１実施形態又は第２実施形態における第２瞳孔情報生成部１８とすることができる。
　図１１は、第３実施形態において画像処理装置１Ｘが実行するフローチャートの一例である。まず、第１指示手段１４Ｘは、被検者が第１距離だけ先を視認する第１状態になるように指示する（ステップＳ２１）。第１生成手段１５Ｘは、被検者が第１状態の場合において撮影手段が生成した画像に基づき、被検者の瞳孔に関する情報である第１瞳孔情報を生成する（ステップＳ２２）。定常性判定手段１６Ｘは、第１瞳孔情報に基づき、被検者の第１状態での瞳孔の定常性の有無を判定する（ステップＳ２３）。第２指示手段１７Ｘは、定常性があると判定した場合に、被検者が第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示する（ステップＳ２４）。第２生成手段１８Ｘは、被検者が第２状態の場合において撮影手段が生成した画像に基づき、被検者の瞳孔に関する情報である第２瞳孔情報を生成する（ステップＳ２５）。
　第３実施形態によれば、画像処理装置１Ｘは、被検者の近見反応に伴う瞳孔情報を好適に取得することができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
　被検者が第１距離だけ先を視認する第１状態になるように指示する第１指示手段と、
　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成する第１生成手段と、
　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定する定常性判定手段と、
　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示する第２指示手段と、
　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する第２生成手段と、
を有する画像処理装置。
［付記２］
　前記第２瞳孔情報に基づいて、前記被検者の近見反応に関する指標を算出する近見反応算出手段をさらに有する、付記１に記載の画像処理装置。
［付記３］
　前記近見反応算出手段は、前記第２状態となるように指示が行われた後に生成された時系列の前記第２瞳孔情報に基づいて、前記指標を算出する、付記２に記載の画像処理装置。
［付記４］
　前記第１瞳孔情報と前記第２瞳孔情報は、輻輳の度合いと前記瞳孔のサイズとに関する情報を含む、付記１に記載の画像処理装置。
［付記５］
　前記画像は、前記被検者の両目を少なくとも撮影した画像であり、
　前記第１生成手段及び前記第２生成手段は、前記画像における前記両目の瞳孔の位置に基づき、前記輻輳の度合いを算出する、付記４に記載の画像処理装置。
［付記６］
　前記定常性判定手段は、焦点が変化の有無、対光反射の有無、及び前記瞳孔のサイズの変化の有無に基づき、前記瞳孔の定常性の有無を判定する、付記１に記載の画像処理装置。
［付記７］
　前記第１指示手段は、前記第２瞳孔情報の生成後、前記被検者が前記第１状態になるように再指示を行い、
　前記近見反応算出手段は、前記第２瞳孔情報と、前記再指示後に生成された前記第１瞳孔情報と、に基づいて、前記被検者が前記第２状態から前記第１状態に切り替わったときの反応に関する指標を算出する、付記２に記載の画像処理装置。
［付記８］
　前記近見反応算出手段は、前記指標として、前記瞳孔のサイズの最大値、前記サイズの最小値、前記瞳孔の最大収縮率、前記瞳孔の収縮速度、前記瞳孔の再拡張速度、又は輻輳の度合いの変化に関する指標の少なくともいずれかを算出する、付記２に記載の画像処理装置。
［付記９］
　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の状態に関する情報を出力装置により出力する、付記２に記載の画像処理装置。
［付記１０］
　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の加齢による機能低下の度合いを、前記状態に関する情報として出力する、付記９に記載の画像処理装置。
［付記１１］
　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の眼精疲労の度合いを、前記状態に関する情報として出力する、付記９に記載の画像処理装置。
［付記１２］
　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の両眼視異常に関する情報を、前記状態に関する情報として出力する、付記９に記載の画像処理装置。
［付記１３］
　コンピュータが、
　被検者が第１距離だけ先を視認する第１状態になるように指示し、
　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成し、
　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定し、
　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示し、
　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する、
画像処理方法。
［付記１４］
　被検者が第１距離だけ先を視認する第１状態になるように指示し、
　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成し、
　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定し、
　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示し、
　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ａ、１Ｘ　画像処理装置
　２　入力装置
　３　出力装置
　４　記憶装置
　５　計測装置
　８　端末装置
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　５１　カメラ
　９０　データバス
　９９　ネットワーク
　１００、１００Ａ　近見反応計測システム

Claims (14)

  1. 　被検者が第１距離だけ先を視認する第１状態になるように指示する第１指示手段と、
    　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成する第１生成手段と、
    　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定する定常性判定手段と、
    　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示する第２指示手段と、
    　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する第２生成手段と、
    を有する画像処理装置。
  2. 　前記第２瞳孔情報に基づいて、前記被検者の近見反応に関する指標を算出する近見反応算出手段をさらに有する、請求項１に記載の画像処理装置。
  3. 　前記近見反応算出手段は、前記第２状態となるように指示が行われた後に生成された時系列の前記第２瞳孔情報に基づいて、前記指標を算出する、請求項２に記載の画像処理装置。
  4. 　前記第１瞳孔情報と前記第２瞳孔情報は、輻輳の度合いと前記瞳孔のサイズとに関する情報を含む、請求項１に記載の画像処理装置。
  5. 　前記画像は、前記被検者の両目を少なくとも撮影した画像であり、
    　前記第１生成手段及び前記第２生成手段は、前記画像における前記両目の瞳孔の位置に基づき、前記輻輳の度合いを算出する、請求項４に記載の画像処理装置。
  6. 　前記定常性判定手段は、焦点が変化の有無、対光反射の有無、及び前記瞳孔のサイズの変化の有無に基づき、前記瞳孔の定常性の有無を判定する、請求項１に記載の画像処理装置。
  7. 　前記第１指示手段は、前記第２瞳孔情報の生成後、前記被検者が前記第１状態になるように再指示を行い、
    　前記近見反応算出手段は、前記再指示後に生成された前記第１瞳孔情報に基づいて、前記被検者が前記第２状態から前記第１状態に切り替わったときの反応に関する指標を算出する、請求項２に記載の画像処理装置。
  8. 　前記近見反応算出手段は、前記指標として、前記瞳孔のサイズの最大値、前記サイズの最小値、前記瞳孔の最大収縮率、前記瞳孔の収縮速度、前記瞳孔の再拡張速度、又は輻輳の度合いの変化に関する指標の少なくともいずれかを算出する、請求項２に記載の画像処理装置。
  9. 　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の状態に関する情報を出力装置により出力する、請求項２に記載の画像処理装置。
  10. 　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の加齢による機能低下の度合いを、前記状態に関する情報として出力する、請求項９に記載の画像処理装置。
  11. 　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の眼精疲労の度合いを、前記状態に関する情報として出力する、請求項９に記載の画像処理装置。
  12. 　前記近見反応算出手段は、前記指標に基づき推定した前記被検者の両眼視異常に関する情報を、前記状態に関する情報として出力する、請求項９に記載の画像処理装置。
  13. 　コンピュータが、
    　被検者が第１距離だけ先を視認する第１状態になるように指示し、
    　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成し、
    　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定し、
    　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示し、
    　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する、
    画像処理方法。
  14. 　被検者が第１距離だけ先を視認する第１状態になるように指示し、
    　前記被検者が前記第１状態の場合において撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する情報である第１瞳孔情報を生成し、
    　前記第１瞳孔情報に基づき、前記被検者の前記第１状態での前記瞳孔の定常性の有無を判定し、
    　前記定常性があると判定した場合に、前記被検者が前記第１距離より短い第２距離だけ離れて先を視認する第２状態となるように指示し、
    　前記被検者が第２状態の場合において前記撮影手段が生成した画像に基づき、前記瞳孔に関する情報である第２瞳孔情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
PCT/JP2023/012153 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体 Ceased WO2024201645A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/012153 WO2024201645A1 (ja) 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体
JP2025509276A JPWO2024201645A5 (ja) 2023-03-27 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012153 WO2024201645A1 (ja) 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2024201645A1 true WO2024201645A1 (ja) 2024-10-03

Family

ID=92904040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012153 Ceased WO2024201645A1 (ja) 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2024201645A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002003853A1 (fr) * 2000-07-07 2002-01-17 Hamamatsu Photonics K.K. Dispositif de mesure de la pupille
JP2005230459A (ja) * 2004-02-23 2005-09-02 Tsuneto Iwasaki 三次元ディスプレイを用いた輻湊性調節対輻湊比の測定方法
WO2020226133A1 (ja) * 2019-05-09 2020-11-12 一般財団法人Ｍａｒｉｅ Ｆｏｕｎｄａｔｉｏｎ 機能回復訓練システム、機能回復訓練装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002003853A1 (fr) * 2000-07-07 2002-01-17 Hamamatsu Photonics K.K. Dispositif de mesure de la pupille
JP2005230459A (ja) * 2004-02-23 2005-09-02 Tsuneto Iwasaki 三次元ディスプレイを用いた輻湊性調節対輻湊比の測定方法
WO2020226133A1 (ja) * 2019-05-09 2020-11-12 一般財団法人Ｍａｒｉｅ Ｆｏｕｎｄａｔｉｏｎ 機能回復訓練システム、機能回復訓練装置およびプログラム

Also Published As

Publication number Publication date
JPWO2024201645A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
CN104951084B (zh) 视线追踪方法及装置
US20140085189A1 (en) Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
JP2019522300A (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
EP4134981A1 (en) Method for acquiring side image for eye protrusion analysis, image capture device for performing same, and recording medium
US12200354B2 (en) Information processing apparatus and terminal device
JP6819633B2 (ja) 個人識別装置および特徴収集装置
US11662574B2 (en) Determining gaze depth using eye tracking functions
JP6322927B2 (ja) インタラクション装置、インタラクションプログラムおよびインタラクション方法
US20250261854A1 (en) Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
CN113662506B (zh) 一种角膜表面形态的测量方法、装置、介质及电子设备
CN110353626A (zh) 眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
US20230301572A1 (en) Information processing device, control method, and storage medium
CN106303205A (zh) 对焦区域调整方法和装置
WO2024201645A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
US20230036611A1 (en) Gaze estimation apparatus, gaze estimation method, model generation apparatus, and model generation method
WO2024189727A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
US11983961B2 (en) Image processing apparatus, method, system, and computer readable medium
JP2022048077A (ja) 画像処理装置およびその制御方法
KR101610496B1 (ko) 시선 추적 방법 및 장치
KR20220075980A (ko) 상황 인지 인터페이스 기반의 인지 장애를 위한 착용형 보조 기기 및 이의 서비스 제공 방법
CN113662566B (zh) 一种基于电信号的眨眼检测方法、装置、介质及电子设备
JP2025162316A (ja) 端末装置および測定方法
WO2024154292A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体
KR102784047B1 (ko) 기기 내외장 카메라의 영상정보를 통한 화면에 대한 시선응시점 산출방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930285

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509276

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509276

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930285

Country of ref document: EP

Kind code of ref document: A1