WO2020194529A1 - 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2020194529A1
WO2020194529A1 PCT/JP2019/012946 JP2019012946W WO2020194529A1 WO 2020194529 A1 WO2020194529 A1 WO 2020194529A1 JP 2019012946 W JP2019012946 W JP 2019012946W WO 2020194529 A1 WO2020194529 A1 WO 2020194529A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target person
incident light
pupil size
eyes
Prior art date
Application number
PCT/JP2019/012946
Other languages
English (en)
French (fr)
Inventor
塚田　正人
浩 今井
知里 舟山
有加 荻野
竜一 赤司
慶一 蝶野
恵美 乾
吉田　康彦
山田　洋志
尚司 谷内田
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/012946 priority Critical patent/WO2020194529A1/ja
Priority to US17/439,898 priority patent/US11887349B2/en
Priority to JP2021508491A priority patent/JP7207520B2/ja
Publication of WO2020194529A1 publication Critical patent/WO2020194529A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • the present invention relates to a non-temporary computer-readable medium in which an interest determination device, an interest determination system, an interest determination method, and a program are stored.
  • Patent Document 1 describes a visual visual emotion determination device for a visual scene, which diagnoses emotions (emotions and emotions) of a viewer who looks at a scene including a specific object. To disclose.
  • the device according to Patent Document 1 changes the brightness of the video display, obtains the pupil diameter of the viewer corresponding to the change, and accumulates the data as the relationship data between the basic brightness and the pupil diameter.
  • the device according to Patent Document 1 measures the pupil diameter of the viewer when the viewer visually recognizes the target object, and at the same time, measures the brightness of the target in the viewing range with a luminance meter. Then, the device according to Patent Document 1 subtracts the value of the pupil diameter corresponding to the brightness when the object is visually recognized from the accumulated basic brightness and the pupil diameter relationship data from the value of the pupil diameter when the object is visually recognized. Therefore, the pupil diameter corresponding only to the degree of attention to the object is obtained.
  • the apparatus according to Patent Document 1 applies an illuminance indicating the brightness of the viewing range instead of the brightness, and measures using an illuminance meter instead of the luminance meter.
  • the "relationship data between the basic illuminance and the pupil diameter" corresponding to the "relationship data between the basic brightness and the pupil diameter” can be obtained by preparing a room in which the basic illuminance can be changed and measuring the pupil diameter. Can be done.
  • the purpose of the present disclosure is to solve such a problem, and an interest determination device, an interest determination system, and an interest determination capable of determining an interest of a target person for an object under an arbitrary environment. To provide methods and programs.
  • the interest determination device includes an image acquisition means for acquiring at least an image in which the eyes of the target person are photographed, and an object identification means for identifying an object in the line-of-sight direction of the target person using the image.
  • An incident light amount calculating means for calculating an incident light amount representing the amount of light incident on the eyes of the target person using the image, and a reference pupil size determining means for determining a reference pupil size based on the incident light amount. And, by comparing the reference pupil size and the pupil size with the pupil size calculating means for calculating the pupil size of the target person using the image, the interest of the target person in the object is determined. It has an interest determination means.
  • the interest determination system includes at least one image pickup device and an interest determination device, and the interest determination device is such that the image acquisition means is photographed by the image pickup device and at least the eyes of the target person are visible.
  • An image acquisition means for acquiring a captured image
  • an object identification means for identifying an object in the line-of-sight direction of the target person using the image
  • an object incident on the eyes of the target person using the image Using the incident light amount calculating means for calculating the incident light amount representing the amount of light to be light, the reference pupil size determining means for determining the reference pupil size based on the incident light amount, and the image, the pupil size of the target person is determined. It has a pupil size calculating means for calculating, and an interest determining means for determining an interest of the target person in the object by comparing the reference pupil size with the pupil size.
  • the interest determination method at least an image in which the eyes of the target person are photographed is acquired, an object in the line-of-sight direction of the target person is specified using the image, and the image is used. , The amount of incident light representing the amount of light incident on the eyes of the target person is calculated, the reference pupil size is determined based on the amount of incident light, and the pupil size of the target person is calculated using the image. By comparing the reference pupil size with the pupil size, the interest of the target person in the object is determined.
  • the program according to the present disclosure includes at least a step of acquiring an image in which the eyes of the target person are photographed, a step of identifying an object in the line-of-sight direction of the target person using the image, and the image. Using the image, a step of calculating an incident light amount representing the amount of light incident on the eyes of the target person, a step of determining a reference pupil size based on the incident light amount, and a step of determining the target person's eyes.
  • a computer is made to perform a step of calculating the pupil size and a step of determining the interest of the target person in the object by comparing the reference pupil size with the pupil size.
  • an interest determination device an interest determination system, an interest determination method, and a program capable of determining an interest of a target person in an object under an arbitrary environment.
  • FIG. 1 It is a figure which shows the outline of the interest determination apparatus which concerns on embodiment of this disclosure. It is a figure which shows the structure of the interest determination system which concerns on Embodiment 1.
  • FIG. It is a functional block diagram which shows the interest determination apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the interest determination method performed by the interest determination apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which illustrates the absolute brightness table used by the object brightness calculation part which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating the calculation method of the irradiance which concerns on Embodiment 1.
  • FIG. It is a figure which illustrates the reference pupil size table which concerns on Embodiment 1.
  • FIG. 1 is a diagram showing an outline of an interest determination device 1 according to an embodiment of the present disclosure.
  • the interest determination device 1 is, for example, a computer.
  • the interest determination device 1 includes an image acquisition unit 2, an object identification unit 4, an incident light amount calculation unit 6, a reference pupil size determination unit 8, a pupil size calculation unit 10, and an interest determination unit 12.
  • the image acquisition unit 2 functions as an image acquisition means.
  • the object identification unit 4 functions as an object identification means.
  • the incident light amount calculation unit 6 functions as an incident light amount calculation means.
  • the reference pupil size determining unit 8 functions as a reference pupil size determining means.
  • the pupil size calculation unit 10 functions as a pupil size calculation means.
  • the interest determination unit 12 functions as an interest determination means.
  • the image acquisition unit 2 acquires at least an image in which the eyes of the target person are photographed.
  • the target person is a person who is the target of interest determination.
  • the object identification unit 4 identifies an object in the line-of-sight direction of the target person by using the acquired image.
  • the object is an object that the target person is gazing at and is a target for determining whether or not the target person is interested.
  • the incident light amount calculation unit 6 calculates the incident light amount representing the amount of light incident on the eyes of the target person by using the acquired image.
  • the reference pupil size determination unit 8 determines the reference pupil size based on the calculated incident light amount.
  • the pupil size calculation unit 10 calculates the pupil size of the target person using the acquired image.
  • the interest determination unit 12 determines the interest of the target person in the object by comparing the determined reference pupil size with the calculated pupil size.
  • the interest determination device 1 identifies an object in the line-of-sight direction of the target person using the acquired image, and calculates the amount of incident light on the eyes of the target person. Thereby, the target person can determine the interest of the target person in the object without wearing a special device such as a luminance meter, an eyeball photographing device, a face photographing device, a visual scene photographing device, and a brightness measuring device. Therefore, the interest determination device 1 according to the present embodiment can determine the interest of the target person in the object under an arbitrary environment.
  • the interest determination method executed by the interest determination device 1 it is possible to determine the interest of the target person for the object under an arbitrary environment. Further, even if a program that executes the interest determination method is used, it is possible to determine the interest of the target person for the object under an arbitrary environment. Further, even if the interest determination device 1 and at least one imaging device (camera) are used, it is possible to determine the interest of the target person in the object under any environment.
  • FIG. 2 is a diagram showing the configuration of the interest determination system 20 according to the first embodiment.
  • the interest determination system 20 according to the first embodiment includes cameras 30A and 30B, and an interest determination device 100.
  • the interest determination device 100 corresponds to the interest determination device 1 shown in FIG.
  • the cameras 30A and 30B are described without distinction, they may be referred to as the camera 30.
  • the camera 30 is, for example, an imaging device installed in a store or the like.
  • the interest determination system 20 may be provided with three or more cameras 30. Alternatively, the interest determination system 20 may be provided with only one camera 30. That is, the interest determination system 20 has at least one imaging device (camera 30).
  • the camera 30 photographs the eyes 82 of the target person 80. Then, the camera 30 generates an image (image data) in which at least the eyes of the target person are captured. Further, the camera 30 can take a picture of the object 90 in the line-of-sight direction of the eyes 82 of the target person 80. That is, the object 90 is an object to be watched by the target person 80.
  • the camera 30A may photograph the target person 80 (eyes 82), and the camera 30B may photograph the object 90. That is, the camera 30A may be provided at a position where the target person 80 can be photographed. Further, the camera 30B may be provided at a position where the object 90 can be photographed.
  • one camera 30 may take a picture of the eyes 82 of the target person 80 and the object 90.
  • image may also mean "image data indicating an image” as a processing target in information processing. Further, the image may be a still image or a moving image.
  • the interest determination device 100 is, for example, a computer.
  • the interest determination device 100 is communicably connected to the camera 30 via a wired or wireless connection.
  • the interest determination device 100 acquires an image in which at least the eyes 82 of the target person 80 are taken.
  • the interest determination device 100 uses this image to identify an object in the line-of-sight direction of the target person 80.
  • the interest determination device 100 calculates the amount of incident light representing the amount of light incident on the eyes 82 of the target person 80 using the image.
  • the interest determination device 100 determines the reference pupil size based on the calculated incident light amount.
  • the interest determination device 100 calculates the pupil size of the target person using the image. Then, the interest determination device 100 determines the interest of the target person 80 in the object 90 by comparing the determined reference pupil size with the calculated pupil size.
  • the interest determination device 100 has a CPU 102 (Central Processing Unit), a ROM 104 (Read Only Memory), a RAM 106 (Random Access Memory), and an interface unit 108 (IF; Interface) as a main hardware configuration.
  • the CPU 102, ROM 104, RAM 106, and interface unit 108 are connected to each other via a data bus or the like.
  • the CPU 102 has a function as an arithmetic unit that performs control processing, arithmetic processing, and the like.
  • the ROM 104 has a function for storing a control program, an arithmetic program, and the like executed by the CPU 102.
  • the RAM 106 has a function for temporarily storing processing data and the like.
  • the interface unit 108 inputs and outputs signals to and from the outside via wired or wireless. In addition, the interface unit 108 accepts a data input operation by the user and displays the information to the user. For example, the interface unit 108 communicates with the camera 30.
  • FIG. 3 is a functional block diagram showing the interest determination device 100 according to the first embodiment.
  • the interest determination device 100 includes an image acquisition unit 110, an eye area identification unit 112, a line-of-sight direction estimation unit 114, an object identification unit 116, and an incident light amount calculation unit 120. Further, the interest determination device 100 includes a reference pupil size determination unit 130, a table storage unit 132, a pupil size calculation unit 134, an interest determination unit 140, and a determination result output unit 142. Further, the incident light amount calculation unit 120 includes an object brightness calculation unit 122 and an eye region illuminance calculation unit 126.
  • the image acquisition unit 110, the eye area identification unit 112, the line-of-sight direction estimation unit 114, the object identification unit 116, and the incident light amount calculation unit 120 are the image acquisition means, the eye area identification means, the line-of-sight direction estimation means, and the object identification, respectively. It functions as a means and a means for calculating the amount of incident light. Further, the object brightness calculation unit 122 and the eye area illuminance calculation unit 126 function as the object brightness calculation means and the eye area illuminance calculation means, respectively.
  • the reference pupil size determination unit 130, the table storage unit 132, the pupil size calculation unit 134, and the determination result output unit 142 function as reference pupil size determination means, table storage means, pupil size calculation means, and determination result output means, respectively. To do.
  • Each component shown in FIG. 3 can be realized, for example, by the CPU 102 executing a program stored in the ROM 104. Further, the necessary program may be recorded on an arbitrary non-volatile recording medium and installed if necessary. It should be noted that each component is not limited to being realized by software as described above, and may be realized by some hardware such as a circuit element. In addition, one or more of the above components may be realized by physically separate hardware. The specific functions of each component will be described later.
  • FIG. 4 is a flowchart showing an interest determination method performed by the interest determination device 100 according to the first embodiment.
  • the image acquisition unit 110 acquires an image from the camera 30 via the interface unit 108 (step S102). Specifically, the image acquisition unit 110 may acquire an image taken by the eyes 82 of the target person 80 from the camera 30A. Further, the image acquisition unit 110 may acquire an image of the object 90 taken from the camera 30B.
  • the interest determination device 100 estimates the line-of-sight direction of the target person 80 using the image acquired in the process of S102 (step S104).
  • the eye area specifying unit 112 detects the eye area of the eye 82 of the target person 80 from the image output from the camera 30A. The detection of this eye region can be realized by, for example, an object detection technique using a learning model obtained by machine learning. Further, the eye region identification unit 112 detects the white eye region (sclera) in the detected eye region. Then, the eye area specifying unit 112 acquires the color information (R, G, B) of the white eye area.
  • the line-of-sight direction estimation unit 114 estimates the line-of-sight direction of the target person 80 from the detected eye area.
  • the gaze direction can be estimated by an existing method.
  • the line-of-sight direction estimation unit 114 detects the orientation of the face of the target person 80 by using the image in which the face of the target person 80 is captured.
  • the line-of-sight direction estimation unit 114 detects the position of the center of the pupil in the eye region. Then, the line-of-sight direction estimation unit 114 estimates the line-of-sight direction from the direction of the face and the position of the center of the pupil.
  • the object identification unit 116 identifies the object 90 in the line-of-sight direction of the target person 80 (step S106). Specifically, the object identification unit 116 identifies the object 90 by using the image output from the camera 30B. More specifically, the object identification unit 116 obtains the line-of-sight direction estimated by the processing of S104 from the positions and angles of view of the cameras 30A and 30B from the camera 30B from the coordinate system in the image output from the camera 30A. Geometrically transform to the coordinate system in the output image. As a result, the object identification unit 116 maps the line-of-sight direction vector to the image output from the camera 30B. Then, the object identification unit 116 identifies the object at the tip of the line-of-sight direction vector as the object 90.
  • the incident light amount calculation unit 120 calculates the incident light amount representing the amount of light incident on the eyes 82 of the target person 80 using the image acquired in the process of S102 (S108 to S112).
  • the object brightness calculation unit 122 calculates the brightness L of the object 90 using the image acquired in the process of S102 (step S108). That is, the object brightness calculation unit 122 (incident light amount calculation unit 120) calculates the brightness L in the region of the object 90 in the image acquired by the process of S102. An example of a specific calculation method of the brightness L will be described later.
  • Eye area illumination calculation unit 126 by using the image obtained in the processing in S102, and calculates the illuminance E A in the eye 82 of the target person 80 (step S110). That is, the eye region illuminance calculation unit 126 (incident light amount calculation unit 120) uses the brightness (color information) in the eye 82 region (white eye region) of the target person 80 in the image acquired by the process of S102 to obtain the eyes of the target person 80. calculating the illuminance E a at 82. It will be described later examples of the specific method for calculating the illuminance E A.
  • Incident light intensity calculator 120 calculates the amount of incident light EE to the eye 82 of the target person 80 (step S112).
  • the incident light intensity calculator 120, the amount of incident light EE, function showing the relationship between the brightness L and the illuminance E A EE f (L, E A) is used to calculate the amount of incident light EE.
  • An example of a specific calculation method of the incident light amount EE will be described later.
  • the object brightness calculation unit 122 calculates the brightness L of the object 90 in the color image captured by the camera 30B. It is assumed that the color image is composed of an RGB color space. It is assumed that the chromaticity of the RGB phosphor and the chromaticity of white with respect to the RGB color space can be specified in advance as the color characteristics of the camera 30B. Further, it is assumed that the RGB data (color information) can be uniquely converted into the tristimulus value XYZ.
  • MRX is a 3 ⁇ 3 transformation matrix.
  • the conversion formula is not limited to the above formula 1, and it is sufficient that the RGB value can be uniquely converted to the XYZ value.
  • the conversion formula may be defined as a form in which a quadratic term is added, as in the following formula 2.
  • M'RX is a 3 ⁇ 9 transformation matrix.
  • M RX and M 'RX may be calculated in advance by performing the camera color calibration with known color patches.
  • the tristimulus value Y representing the brightness can be converted into the absolute brightness L (cd / m 2 ). That is, the object brightness calculation unit 122 (incident light amount calculation unit 120) may calculate the absolute brightness L in the region of the object 90 in the image.
  • the aperture value F, shutter speed, and gain of the lens are set in order to obtain an appropriate exposure.
  • the gain is set to 1.0.
  • the tristimulus value Y corresponding to the pixel values (R, G, B) on the captured image with respect to the absolute brightness L, which is the amount of light incident on the camera is two variables of the lens aperture value F and the shutter speed. Can be decided.
  • the camera to be used is calibrated in advance. Specifically, the pixel values (R, G, B) of the captured image when the amount of incident light (absolute brightness L (cd / m 2 )), the lens aperture value F, and the shutter speed S are changed. From, the relationship between the tristimulus values Y obtained by the formula 1 or the formula 2 and these values is grasped.
  • an absolute brightness table (Lookup table (LUT)) for obtaining an absolute brightness L, which is the amount of incident light corresponding to the lens aperture value F, the shutter speed S, and the tristimulus value Y, is obtained. It is generated (see Figure 5).
  • the lens aperture value F and the shutter speed S of the camera at the time of shooting are recorded, and the tristimulus value Y corresponding to the pixel value (R, G, B) of the region of the object 90 in the image captured under that condition is calculated.
  • the absolute brightness L (cd / m 2 ) which is the amount of incident light with respect to the tristimulus value Y or the like, is determined.
  • the average value of the tristimulus values Y corresponding to each pixel may be used.
  • the absolute brightness may be calculated using the LUT for each of the tristimulus values corresponding to each pixel, and the average value of the absolute brightness obtained for each pixel may be calculated as the absolute brightness L.
  • FIG. 5 is a diagram illustrating an absolute brightness table (LUT) used by the object brightness calculation unit 122 according to the first embodiment.
  • the absolute brightness table may be stored in the table storage unit 132 described later.
  • the aperture value F and the shutter speed S are changed to take an image of a completely white plate.
  • the amount of light incident on the camera 30 from the completely white plate is L1 and L2
  • the aperture values are F1 and F2
  • the shutter speeds are S1 and S2.
  • the LUT as illustrated in FIG. 5 is generated by obtaining the tristimulus value Y with respect to the pixel value of each captured image when the images are photographed under eight combinations of the above conditions by Equation 1 or Equation 2.
  • the object brightness calculation unit 122 calculates the tristimulus value Yx from the pixel values of the images taken at the aperture value F1 and the shutter speed S2. Then, the object brightness calculation unit 122 compares the tristimulus values Y2 and Y6 at the aperture value F1 and the shutter speed S2 of the LUT illustrated in FIG. 5 with the tristimulus value Yx, and performs an interpolation calculation (interpolation calculation) which is an existing method.
  • the amount of incident light Lx is calculated by (interpolation) or the like. When creating this LUT, it is possible to take pictures under many conditions instead of the above eight conditions to expand the amount of information in the LUT. As a result, a more accurate amount of incident light can be obtained.
  • the relationship between the amount of incident light, the lens aperture value F, the shutter speed S, and the image output value (pixel value) may differ depending on the camera model or individual difference. Therefore, by performing calibration for each camera, it is possible to calculate the absolute brightness L (cd / m 2 ) with higher accuracy.
  • the eye region illuminance calculation unit 126 calculates the apparent irradiance at each pixel position of the reflector in the image.
  • the reflector corresponds to the white eye region (sclera) of the eye 82. Therefore, the eye area illuminance calculation unit 126 calculates the illuminance of the target person 80 in the eyes 82 from the color information in the white eye area.
  • FIG. 6 is a diagram for explaining a method of calculating irradiance according to the first embodiment.
  • FIG. 6 shows an all-around light environment model considering a surface light source. In this model, it is assumed that any point of the reflector (white-eyed region) is located at the center A of the sphere, and there is no obstruction between the light source and the center A, and the radiance distribution of the light source from the entire periphery is calculated. Observe. Let this radiance distribution be L ( ⁇ , ⁇ ). Here, ⁇ represents the zenith angle and ⁇ represents the azimuth.
  • the illuminance E A at the center A receives the incident light energy received from the light source represented by the minute zenith angle d ⁇ i and the minute azimuth d ⁇ i and the minute solid angle d ⁇ i in all directions. It is the integral in.
  • the above calculation is conditional on the light reflection characteristic of the reflector being Lambertian reflection.
  • Lambertian reflection white eyes
  • it is not necessarily Lambertian reflection, but since it is a situation where a minute object called an eye is observed from a distance, the light reflected at the center A is centered from all directions.
  • the ambient light incident on A is integrated, and is constant regardless of the viewpoint direction. Therefore, it can be said that the above calculation method is appropriate.
  • the luminance value I A in the recorded reflectors as an image is represented by the product of the illuminance E a and the surface reflectance S a of the reflector.
  • the brightness value I A is used tristimulus value Y is calculated using Equation 1 or Equation 2 described above, and the aperture value F of the camera lens at the time of shooting, the shutter speed, the absolute brightness can be determined from the gain You may.
  • the brightness value I A has a reflect the spectral sensitivity characteristics of the camera is expressed as a function of the wavelength ⁇ of light.
  • the wavelength ⁇ can be regarded as a constant. Therefore, (the k r, g, b) the luminance value I A k at point A is represented by the following formula 5 so.
  • ⁇ k is the camera gain. That is, the equation 5, the illuminance E A k at point A (white eye area), may be calculated from the luminance value I A (color information) and the camera gain at point A.
  • the illuminance E A of visible light at the point A (white eye region) can be obtained by adding E A r , E A g , and E A b .
  • the illuminance E A is calculated from the color information in the white eye area.
  • the illuminance EE incident light amount considering the influence of the light from the object 90 that the target person 80 is paying attention to can be expressed by the following equation 7.
  • EE E1 + E A ⁇ ( 7) Therefore, the incident light intensity calculator 120, using Equation 6 and Equation 7, the luminance L calculated in the processing of S108, and from the illuminance E A calculated in the processing of S110, and calculates the amount of incident light EE.
  • the reference pupil size determination unit 130 determines the reference pupil size D0 using the incident light amount EE calculated in the process of S112 (step S114). Specifically, the reference pupil size determination unit 130 determines the reference pupil size D0 using the reference pupil size table stored in the table storage unit 132.
  • the "reference pupil size” is the size of the pupil diameter that changes due to the light reflex with respect to the brightness under illumination and the brightness of the object 90. In other words, the reference pupil size is the pupil size in which the change in the pupil size due to the interest (emotion) of the target person 80 with respect to the object 90 is not taken into consideration.
  • FIG. 7 is a diagram illustrating a reference pupil size table according to the first embodiment.
  • the reference pupil size table associates the incident light amount EE (illuminance) with the reference pupil size.
  • the size of the pupil diameter when the incident light amount is 0.01, 1.0, 100, 10000 (lpx) is 7.0, 6.0, 3.0, 2.1 (mm), respectively.
  • the size of the pupil diameter with respect to the illuminance is defined as the reference pupil size.
  • the table storage unit 132 stores the LUT showing the relationship between the amount of incident light (illuminance) and the reference pupil size as a reference pupil size table.
  • the reference pupil size determination unit 130 calculates the size of the pupil diameter (reference pupil size) with respect to the incident light amount EE (illuminance) by using the reference pupil size table illustrated in FIG. 7. As the calculation method, an existing method such as interpolation calculation (interpolation) can be used. If a function indicating the reference pupil size table can be prepared in advance, the reference pupil size determining unit 130 can calculate the reference pupil size by substituting the incident light amount EE into the function.
  • the pupil size calculation unit 134 calculates the pupil size D1 of the eyes 82 of the target person 80 (step S116). Specifically, the pupil size calculation unit 134 calculates the pupil size D1 of the eyes 82 of the target person 80 who is gazing at the object 90 by using the image acquired in the process of S102. More specifically, the pupil size calculation unit 134 detects the pupil region in the eye region specified by the eye region identification unit 112. Then, the pupil size calculation unit 134 calculates the size of the pupil region.
  • the pupil size calculation unit 134 determines the pupil size (number of pixels) from the ratio of the pupil diameter (number of pixels) to the iris diameter (number of pixels) in the image. Pupil diameter) D1 (mm) may be calculated.
  • the interest determination unit 140 compares the reference pupil size D0 with the pupil size D1 and determines the interest of the target person 80 in the object 90 (S120 to S124). Specifically, the interest determination unit 140 determines whether or not the pupil size D1 is larger than the reference pupil size D0 (step S120). When the pupil size D1 is larger than the reference pupil size D0 (YES in S120), the interest determination unit 140 determines that the target person 80 is interested in the object 90 (step S122). On the other hand, when the pupil size D1 is equal to or less than the reference pupil size D0 (NO in S120), the interest determination unit 140 determines that the target person 80 is not interested in the object 90 (step S124). Then, the determination result output unit 142 outputs the determination result by the interest determination unit 140 (step S126).
  • the interest determination unit 140 determines whether or not the target person 80 is interested in the object 90, but the configuration is not limited to this.
  • the interest determination unit 140 may determine the degree of interest of the target person 80 with respect to the object 90.
  • the degree of interest may be expressed by the following equation 8. (D1-D0) / D0 ... (8)
  • the interest determination device 100 calculates the amount of incident light incident on the eyes 82 of the target person 80 using the image taken by the camera 30, and the reference pupil is based on the amount of incident light. Determine the size. Then, the interest determination device 100 according to the first embodiment determines the interest of the target person 80 in the object 90 by comparing the reference pupil size and the pupil size. As a result, the target person 80 determines the interest of the target person 80 in the object 90 without wearing a special device such as a luminance meter, an eyeball photographing device, a face photographing device, a visual scene photographing device, and a brightness measuring device. it can. Therefore, the interest determination device 100 according to the embodiment can determine the interest of the target person in the object under any environment.
  • the interest determination device 100 is configured to calculate the incident light amount by calculating the brightness of the object 90 using the image taken by the object 90.
  • the target person 80 can determine the interest of the target person 80 in the object 90 without wearing a luminance meter or the like. Further, even if the object 90 is not a display such as a monitor, the interest of the target person 80 in the object 90 can be determined.
  • the interest determination device 100 is configured to calculate the incident light amount by calculating the absolute brightness of the object 90 by using the pixel value in the region of the object 90 in the image. .. This makes it possible to accurately calculate the amount of incident light due to the light from the object 90, regardless of the settings of the camera 30 or the like.
  • the interest determination device 100 is configured to calculate the incident light amount by calculating the illuminance in the eyes 82 of the target person 80 using an image.
  • the target person 80 can determine the interest of the target person 80 in the object 90 without wearing a brightness measuring device or the like.
  • the interest determination device 100 calculates the illuminance in the eyes 82 of the target person 80 using an image, and is incident based on the brightness in the object 90 and the illuminance in the eyes 82 of the target person 80. It is configured to calculate the amount of light. Even in an environment of the same brightness (illuminance), if the brightness (luminance) of the object 90 to be watched is different, the size of the pupil may be different. For example, even in a dark environment, when the target person 80 gazes at a bright object 90, the pupil of the target person 80 can be small. On the contrary, even in a bright environment, when the target person 80 gazes at the dark object 90, the pupil of the target person 80 can be enlarged.
  • the reference pupil size can be obtained more accurately by using both the luminance in the object 90 and the illuminance in the eyes 82 of the subject 80. Then, in the first embodiment, when determining the reference pupil size, the amount of incident light is calculated based on the brightness of the object 90 and the illuminance of the target person 80 at the eyes 82. Therefore, the interest determination device 100 according to the first embodiment can calculate the incident light amount more accurately, so that the reference pupil size can be determined more accurately. This makes it possible to more accurately determine the interest of the target person 80 in the object 90.
  • the interest determination device 100 is configured to calculate the illuminance in the eyes 82 of the target person 80 from the color information in the white eye region of the eyes 82 of the target person 80 in the image. This makes it possible to accurately calculate the amount of incident light due to ambient light using an image.
  • the present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
  • the order of each process in the flowchart shown in FIG. 4 can be changed as appropriate.
  • one or more of the processing of the flowchart shown in FIG. 4 may not be necessary.
  • one or more of the processes of S104 to S114 may be executed after the process of S116.
  • one or more of the processes of S104 to S108 may be executed after the process of S110.
  • one of the processing of S108 and the processing of S110 may not be performed.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of transient computer readable medium.
  • Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • Appendix 1 At least an image acquisition means for acquiring an image of the target person's eyes, An object specifying means for identifying an object in the line-of-sight direction of the target person using the image, and An incident light amount calculating means for calculating an incident light amount representing the amount of light incident on the eyes of the target person using the image, and A reference pupil size determining means for determining a reference pupil size based on the amount of incident light, A pupil size calculating means for calculating the pupil size of the target person using the image, and An interest determination device having an interest determination means for determining an interest of the target person in the object by comparing the reference pupil size with the pupil size.
  • the image acquisition means acquires an image in which the object is captured, and obtains an image.
  • the interest determination device according to Appendix 1, wherein the incident light amount calculation means calculates the incident light amount by calculating the brightness of the object using the image.
  • the interest determination device according to Appendix 2, wherein the incident light amount calculating means calculates the incident light amount by calculating the absolute brightness of the object by using the pixel value in the region of the object in the image.
  • the incident light amount calculation means calculates the illuminance in the eyes of the target person using the image, and calculates the incident light amount based on the brightness in the object and the illuminance in the eyes of the target person.
  • the interest determination device according to 2 or 3.
  • the image acquisition means is an interest determination system that acquires the image captured by the imaging device.
  • Appendix 8 At least get the image of the target person's eyes, Using the image, an object in the line-of-sight direction of the target person is identified. Using the image, the amount of incident light representing the amount of light incident on the eyes of the target person was calculated. The reference pupil size is determined based on the amount of incident light, and Using the image, the pupil size of the target person was calculated. An interest determination method for determining an interest of the target person in the object by comparing the reference pupil size with the pupil size. (Appendix 9) Acquire the image in which the object was taken, The interest determination method according to Appendix 8, wherein the incident light amount is calculated by calculating the brightness of the object using the image.
  • Appendix 10 The interest determination method according to Appendix 9, which calculates the amount of incident light by calculating the absolute brightness of the object using the pixel values in the region of the object in the image.
  • Appendix 11 The interest determination according to Appendix 9 or 10, wherein the illuminance in the eyes of the target person is calculated using the image, and the incident light amount is calculated based on the brightness in the object and the illuminance in the eyes of the target person.
  • Method Appendix 12
  • the interest determination method according to Appendix 8 which calculates the amount of incident light by calculating the illuminance in the eyes of the target person using the image.
  • Appendix 13 The method for determining interest according to Appendix 11 or 12, wherein the illuminance in the eyes of the target person is calculated from the color information in the white eye region of the eyes of the target person in the image.
  • Appendix 14 At least the steps to get the image of the target person's eyes, Using the image, a step of identifying an object in the line-of-sight direction of the target person, and Using the image, a step of calculating the amount of incident light representing the amount of light incident on the eyes of the target person, and The step of determining the reference pupil size based on the amount of incident light, Using the image, the step of calculating the pupil size of the target person and A non-transitory computer-readable medium containing a program that causes a computer to perform a step of determining an interest of the target person in the object by comparing the reference pupil size with the pupil size.
  • Interest judgment device 2 Image acquisition unit 4
  • Object identification unit 6 Incident light amount calculation unit 8
  • Reference pupil size determination unit 10 Pupil size calculation unit 12
  • Interest judgment unit 20 Interest judgment system 30
  • Camera 100
  • Interest judgment device 110 Image acquisition unit 112 Eye area Specific unit 114 Line-of-sight direction estimation unit 116 Object specific unit 120
  • Incident light amount calculation unit 122 Object brightness calculation unit 126
  • Eye area illuminance calculation unit 130 Reference pupil size determination unit 132
  • Table storage unit 134 Pupil size calculation unit 140
  • Interest judgment unit 142 Judgment Result output section

Abstract

任意の環境下で対象人物の対象物に対する興味を判定することが可能な興味判定装置を提供する。画像取得部（２）は、少なくとも対象人物の目が撮影された画像を取得する。対象物特定部（４）は、取得された画像を用いて、対象人物の視線方向にある対象物を特定する。入射光量算出部（６）は、取得された画像を用いて、対象人物の目に入射する光の量を表す入射光量を算出する。基準瞳孔サイズ決定部（８）は、算出された入射光量に基づいて基準瞳孔サイズを決定する。瞳孔サイズ算出部（１０）は、取得された画像を用いて、対象人物の瞳孔サイズを算出する。興味判定部（１２）は、決定された基準瞳孔サイズと算出された瞳孔サイズとを比較することによって、対象人物の対象物に対する興味を判定する。

Description

興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　例えば店舗の顧客等の商品に対する興味を判定する方法が検討されている。ここで、人の情動と瞳孔径とに関係があることが知られており、瞳孔のサイズから人間の興味を把握する方法が考えられる。一方、瞳孔径は視認対象の明るさ（照度および輝度）にも大きく反応するので、視認対象の明るさに相当する瞳孔径反応を取り除かないと、正確な注目度による瞳孔径反応が得られないおそれがある。この技術に関連し、特許文献１は、特定の対象物を含む情景に視線を向けた視認者の、特定の対象物に対する情感（情動と感情）を診断する、視認情景に対する視認者情感判定装置を開示する。
　特許文献１にかかる装置は、視認対象が映像ディスプレイの場合、映像ディスプレイの輝度を変化させ、それに対応する視認者の瞳孔径を求め、基本輝度と瞳孔径の関係データとして蓄積する。特許文献１にかかる装置は、視認者が目的の対象物を視認したとき、視認者の瞳孔径を計測すると同時に、輝度計により視認範囲を対象に輝度を計測する。そして、特許文献１にかかる装置は、対象物を視認した時の瞳孔径の値から、蓄積した基本輝度と瞳孔径の関係データの対象物視認時の輝度に相当する瞳孔径の値を差し引くことにより、対象物に対する注目度だけに相当する瞳孔径を求める。
　また、特許文献１にかかる装置は、視認対象が映像ディスプレイを除くその他の視認情景の場合は、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置を一体として視認者の頭部に装着して計測する。この場合、特許文献１にかかる装置は、輝度の代わりに視認範囲の明るさを示す照度を適用し、輝度計の代わりに照度計を使って計測を行う。この場合、「基本輝度と瞳孔径の関係データ」に相当する「基本照度と瞳孔径の関係データ」は、基本照度を変化させることのできる部屋を用意して瞳孔径を計測することで得ることができる。
国際公開第２０１１／０４２９８９号
　上記の特許文献１にかかる技術では、輝度計、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置等の特別な装置を視認者が装着しないと、輝度及び照度を計測できない。したがって、特許文献１にかかる技術では、視認者が特別な装置を装着しないような任意の環境下で、視認者（対象人物）の対象物に対する興味を判定することが困難である。
　本開示の目的は、このような課題を解決するためになされたものであり、任意の環境下で対象人物の対象物に対する興味を判定することが可能な興味判定装置、興味判定システム、興味判定方法及びプログラムを提供することにある。
　本開示にかかる興味判定装置は、少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段とを有する。
　また、本開示にかかる興味判定システムは、少なくとも１つの撮像装置と、興味判定装置とを有し、前記興味判定装置は、前記画像取得手段は、前記撮像装置によって撮影され少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段とを有する。
　また、本開示にかかる興味判定方法は、少なくとも対象人物の目が撮影された画像を取得し、前記画像を用いて、前記対象人物の視線方向にある対象物を特定し、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出し、前記入射光量に基づいて基準瞳孔サイズを決定し、前記画像を用いて、前記対象人物の瞳孔サイズを算出し、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する。
　また、本開示にかかるプログラムは、少なくとも対象人物の目が撮影された画像を取得するステップと、前記画像を用いて、前記対象人物の視線方向にある対象物を特定するステップと、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出するステップと、前記入射光量に基づいて基準瞳孔サイズを決定するステップと、前記画像を用いて、前記対象人物の瞳孔サイズを算出するステップと、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定するステップとをコンピュータに実行させる。
　本開示によれば、任意の環境下で対象人物の対象物に対する興味を判定することが可能な興味判定装置、興味判定システム、興味判定方法及びプログラムを提供できる。
本開示の実施の形態にかかる興味判定装置の概要を示す図である。 実施の形態１にかかる興味判定システムの構成を示す図である。 実施の形態１にかかる興味判定装置を示す機能ブロック図である。 実施の形態１にかかる興味判定装置によって行われる、興味判定方法を示すフローチャートである。 実施の形態１にかかる対象物輝度算出部によって使用される絶対輝度テーブルを例示する図である。 実施の形態１にかかる、放射照度の算出方法を説明するための図である。 実施の形態１にかかる基準瞳孔サイズテーブルを例示する図である。
（本開示にかかる実施の形態の概要）
　本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる興味判定装置１の概要を示す図である。興味判定装置１は、例えば、コンピュータである。
　興味判定装置１は、画像取得部２と、対象物特定部４と、入射光量算出部６と、基準瞳孔サイズ決定部８と、瞳孔サイズ算出部１０と、興味判定部１２とを有する。画像取得部２は、画像取得手段として機能する。対象物特定部４は、対象物特定手段として機能する。入射光量算出部６は、入射光量算出手段として機能する。基準瞳孔サイズ決定部８は、基準瞳孔サイズ決定手段として機能する。瞳孔サイズ算出部１０は、瞳孔サイズ算出手段として機能する。興味判定部１２は、興味判定手段として機能する。
　画像取得部２は、少なくとも対象人物の目が撮影された画像を取得する。ここで、対象人物とは、興味判定の対象となる人物である。対象物特定部４は、取得された画像を用いて、対象人物の視線方向にある対象物を特定する。ここで、対象物とは、対象人物が注視している物体であって、対象人物が興味を示しているかの判定の対象となる物体である。入射光量算出部６は、取得された画像を用いて、対象人物の目に入射する光の量を表す入射光量を算出する。基準瞳孔サイズ決定部８は、算出された入射光量に基づいて基準瞳孔サイズを決定する。瞳孔サイズ算出部１０は、取得された画像を用いて、対象人物の瞳孔サイズを算出する。興味判定部１２は、決定された基準瞳孔サイズと算出された瞳孔サイズとを比較することによって、対象人物の対象物に対する興味を判定する。
　本実施の形態にかかる興味判定装置１は、取得された画像を用いて、対象人物の視線方向にある対象物を特定し、対象人物の目に対する入射光量を算出する。これにより、対象人物が、輝度計、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置等の特別な装置を装着することなく、対象人物の対象物に対する興味を判定できる。したがって、本実施の形態にかかる興味判定装置１は、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。
　なお、興味判定装置１によって実行される興味判定方法を用いても、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。また、興味判定方法を実行するプログラムを用いても、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。さらに、興味判定装置１と少なくとも１つの撮像装置（カメラ）を用いても、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。
（実施の形態１）
　以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　図２は、実施の形態１にかかる興味判定システム２０の構成を示す図である。実施の形態１にかかる興味判定システム２０は、カメラ３０Ａ，３０Ｂ、及び、興味判定装置１００を有する。興味判定装置１００は、図１に示した興味判定装置１に対応する。なお、以降、カメラ３０Ａ，３０Ｂを区別しないで説明する場合に、カメラ３０と称することがある。カメラ３０は、例えば店舗等に設置される撮像装置である。
　なお、興味判定システム２０には、３つ以上のカメラ３０が設けられてもよい。あるいは、興味判定システム２０には、１つのカメラ３０のみが設けられてもよい。つまり、興味判定システム２０は、少なくとも１つの撮像装置（カメラ３０）を有する。
　カメラ３０は、対象人物８０の目８２を撮影する。そして、カメラ３０は、少なくとも対象人物の目が撮影された画像（画像データ）を生成する。また、カメラ３０は、対象人物８０の目８２の視線方向にある対象物９０を撮影し得る。つまり、対象物９０は、対象人物８０の注視の対象となる物体である。なお、カメラ３０Ａが対象人物８０（目８２）を撮影し、カメラ３０Ｂが対象物９０を撮影してもよい。つまり、カメラ３０Ａは、対象人物８０を撮影可能な位置に設けられてもよい。また、カメラ３０Ｂは、対象物９０を撮影可能な位置に設けられてもよい。但し、一方のカメラ３０（例えばカメラ３０Ｂ）が、対象人物８０の目８２と対象物９０とを撮影してもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味し得る。また、画像は、静止画像であってもよいし、動画像であってもよい。
　興味判定装置１００は、例えばコンピュータである。興味判定装置１００は、カメラ３０と有線又は無線を介して通信可能に接続されている。興味判定装置１００は、少なくとも対象人物８０の目８２が撮影された画像を取得する。興味判定装置１００は、この画像を用いて、対象人物８０の視線方向にある対象物を特定する。また、興味判定装置１００は、画像を用いて、対象人物８０の目８２に入射する光の量を表す入射光量を算出する。また、興味判定装置１００は、算出された入射光量に基づいて基準瞳孔サイズを決定する。また、興味判定装置１００は、画像を用いて、対象人物の瞳孔サイズを算出する。そして、興味判定装置１００は、決定された基準瞳孔サイズと算出された瞳孔サイズとを比較することによって、対象人物８０の対象物９０に対する興味を判定する。
　興味判定装置１００は、主要なハードウェア構成として、ＣＰＵ１０２（Central Processing Unit）と、ＲＯＭ１０４（Read Only Memory）と、ＲＡＭ１０６（Random Access Memory）と、インタフェース部１０８（ＩＦ；Interface）とを有する。ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。
　ＣＰＵ１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。ＲＯＭ１０４は、ＣＰＵ１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。ＲＡＭ１０６は、処理データ等を一時的に記憶するための機能を有する。インタフェース部１０８は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部１０８は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。例えば、インタフェース部１０８は、カメラ３０と通信を行う。
　図３は、実施の形態１にかかる興味判定装置１００を示す機能ブロック図である。興味判定装置１００は、画像取得部１１０、目領域特定部１１２、視線方向推定部１１４、対象物特定部１１６、及び入射光量算出部１２０を有する。また、興味判定装置１００は、基準瞳孔サイズ決定部１３０、テーブル格納部１３２、瞳孔サイズ算出部１３４、興味判定部１４０、及び判定結果出力部１４２を有する。また、入射光量算出部１２０は、対象物輝度算出部１２２及び目領域照度算出部１２６を有する。
　画像取得部１１０、目領域特定部１１２、視線方向推定部１１４、対象物特定部１１６、及び入射光量算出部１２０は、それぞれ、画像取得手段、目領域特定手段、視線方向推定手段、対象物特定手段、及び入射光量算出手段として機能する。また、対象物輝度算出部１２２及び目領域照度算出部１２６は、それぞれ、対象物輝度算出手段及び目領域照度算出手段として機能する。基準瞳孔サイズ決定部１３０、テーブル格納部１３２、瞳孔サイズ算出部１３４、及び判定結果出力部１４２は、それぞれ、基準瞳孔サイズ決定手段、テーブル格納手段、瞳孔サイズ算出手段、及び判定結果出力手段として機能する。
　図３に示した各構成要素は、例えば、ＣＰＵ１０２がＲＯＭ１０４に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。また、上記構成要素の１つ以上は、物理的に別個のハードウェアによってそれぞれ実現されてもよい。なお、各構成要素の具体的な機能については後述する。
　図４は、実施の形態１にかかる興味判定装置１００によって行われる、興味判定方法を示すフローチャートである。画像取得部１１０は、インタフェース部１０８を介して、カメラ３０から画像を取得する（ステップＳ１０２）。具体的には、画像取得部１１０は、カメラ３０Ａから、対象人物８０の目８２が撮影された画像を取得してもよい。また、画像取得部１１０は、カメラ３０Ｂから、対象物９０が撮影された画像を取得してもよい。
　次に、興味判定装置１００は、Ｓ１０２の処理で取得された画像を用いて、対象人物８０の視線方向を推定する（ステップＳ１０４）。具体的には、目領域特定部１１２は、カメラ３０Ａから出力された画像から、対象人物８０の目８２の目領域を検出する。この目領域の検出は、例えば、機械学習によって得られた学習モデルを用いた物体検出技術によって実現できる。さらに、目領域特定部１１２は、検出された目領域における白目領域（強膜）を検出する。そして、目領域特定部１１２は、白目領域の色情報（Ｒ，Ｇ，Ｂ）を取得する。
　視線方向推定部１１４は、検出された目領域から、対象人物８０の視線方向を推定する。視線方向の推定は、既存の手法によって実現できる。例えば、視線方向推定部１１４は、対象人物８０の顔が撮影された画像を用いて、対象人物８０の顔の向きを検出する。また、視線方向推定部１１４は、目領域における瞳孔中心の位置を検出する。そして、視線方向推定部１１４は、顔の向きと瞳孔中心の位置とから、視線方向を推定する。
　次に、対象物特定部１１６は、対象人物８０の視線方向にある対象物９０を特定する（ステップＳ１０６）。具体的には、対象物特定部１１６は、カメラ３０Ｂから出力された画像を用いて、対象物９０を特定する。さらに具体的には、対象物特定部１１６は、カメラ３０Ａ，３０Ｂそれぞれの位置及び画角から、Ｓ１０４の処理で推定された視線方向を、カメラ３０Ａから出力された画像における座標系からカメラ３０Ｂから出力された画像における座標系に幾何変換する。これにより、対象物特定部１１６は、カメラ３０Ｂから出力された画像に、視線方向ベクトルをマッピングする。そして、対象物特定部１１６は、視線方向ベクトルの先にある物体を、対象物９０と特定する。
　次に、入射光量算出部１２０は、Ｓ１０２の処理で取得された画像を用いて、対象人物８０の目８２に入射する光の量を表す入射光量を算出する（Ｓ１０８～Ｓ１１２）。対象物輝度算出部１２２は、Ｓ１０２の処理で取得された画像を用いて、対象物９０における輝度Ｌを算出する（ステップＳ１０８）。つまり、対象物輝度算出部１２２（入射光量算出部１２０）は、Ｓ１０２の処理で取得された画像における対象物９０の領域における輝度Ｌを算出する。輝度Ｌの具体的な算出方法の例については後述する。
　目領域照度算出部１２６は、Ｓ１０２の処理で取得された画像を用いて、対象人物８０の目８２における照度ＥＡを算出する（ステップＳ１１０）。つまり、目領域照度算出部１２６（入射光量算出部１２０）は、Ｓ１０２の処理で取得された画像における対象人物８０の目８２の領域（白目領域）における輝度（色情報）から対象人物８０の目８２における照度ＥＡを算出する。照度ＥＡの具体的な算出方法の例については後述する。
　入射光量算出部１２０は、Ｓ１０８の処理で算出された輝度Ｌ及びＳ１１０の処理で算出された照度ＥＡから、対象人物８０の目８２への入射光量ＥＥを算出する（ステップＳ１１２）。具体的には、入射光量算出部１２０は、入射光量ＥＥ、輝度Ｌ及び照度ＥＡの関係を示す関数ＥＥ＝ｆ（Ｌ，ＥＡ）を用いて、入射光量ＥＥを算出する。入射光量ＥＥの具体的な算出方法の例については後述する。
　以下、Ｓ１０８～Ｓ１１２の処理の具体例について説明する。
　まず、画像を用いた、対象物９０における輝度Ｌの算出方法（Ｓ１０８）について説明する。対象物輝度算出部１２２は、カメラ３０Ｂによって撮影されたカラー画像中の対象物９０の輝度Ｌを算出する。カラー画像は、ＲＧＢ色空間で構成されているものとする。このＲＧＢ色空間についてのＲＧＢ蛍光体の色度および白色の色度は、カメラ３０Ｂの色特性としてあらかじめ指定され得るとする。また、ＲＧＢデータ（色情報）は、三刺激値ＸＹＺに一意に変換され得るとする。
　以下、その変換方法の一例を示す。入力画像のＲＧＢ値と三刺激値ＸＹＺとの関係は、以下の式１のように定められる。
Figure JPOXMLDOC01-appb-M000001
　ここで、式１において、ＭＲＸは、３×３変換行列である。また、カメラから出力される撮影画像は、一般にガンマ補正が施されたＲＧＢ空間で構成されるが、式１におけるＲＧＢ空間は、ガンマ補正が施されていないリニアな特性（γ＝１．０）を有するものとする。なお、変換式は、上記の式１に限られず、ＲＧＢ値からＸＹＺ値に一意に変換できればよい。
　例えば、変換式は、以下の式２のように、２次の項を追加した形として定められてもよい。
Figure JPOXMLDOC01-appb-M000002
 　ここで、式２において、Ｍ’ＲＸは、３×９変換行列である。なお、ＭＲＸ及びＭ’ＲＸは、既知のカラーパッチを用いたカメラのカラーキャリブレーションを実施することで予め算出しておくことが可能である。
　撮影時におけるカメラレンズの絞り値Ｆ、シャッタースピード、及びゲインの情報を得ることで、明るさを表す三刺激値Ｙは、絶対輝度Ｌ（ｃｄ／ｍ２）に変換され得る。つまり、対象物輝度算出部１２２（入射光量算出部１２０）は、画像における対象物９０の領域における絶対輝度Ｌを算出してもよい。
　ここで、式１又は式２で算出される三刺激値Ｙを絶対輝度Ｙ（ｃｄ／ｍ２）に変換する方法の一例を示す。一般に、カメラによる撮影では、適正露出を得るために、レンズの絞り値Ｆ、シャッタースピード、及びゲインを設定する。ここで、ゲインは１．０に設定されているものとする。この場合、カメラへの入射光の量である絶対輝度Ｌに対する撮像画像上の画素値（Ｒ、Ｇ、Ｂ）に対応する三刺激値Ｙは、レンズ絞り値Ｆ及びシャッタースピードの２つの変数で決定され得る。
　まず、予め、使用するカメラについて、キャリブレーションを実施する。具体的には、入射光の量（絶対輝度Ｌ（ｃｄ／ｍ２））、レンズ絞り値Ｆ、及びシャッタースピードＳを変化させて撮影したときの撮像画像の画素値（Ｒ、Ｇ、Ｂ）から、式１又は式２で得られる三刺激値Ｙとこれらの値との関係を把握する。このキャリブレーションにより、レンズ絞り値Ｆ、シャッタースピードＳ、及び三刺激値Ｙに対応する入射光の量である絶対輝度Ｌを得るための絶対輝度テーブル（ルックアップテーブル（ＬＵＴ：Lookup table））が生成される（図５参照）。
　そして、撮影時のカメラのレンズ絞り値Ｆ及びシャッタースピードＳを記録し、その条件で撮像した画像における対象物９０の領域の画素値（Ｒ，Ｇ，Ｂ）に対応する三刺激値Ｙを算出する。これにより、ＬＵＴを用いることで、その三刺激値Ｙ等に対する入射光の量である絶対輝度Ｌ（ｃｄ／ｍ２）が決定される。ここで、ＬＵＴを参照する場合、各画素に対応する三刺激値Ｙの平均値を用いてもよい。あるいは、各画素に対応する三刺激値それぞれについてＬＵＴを用いて絶対輝度を算出し、各画素について得られた絶対輝度の平均値を、絶対輝度Ｌとして算出してもよい。
　図５は、実施の形態１にかかる対象物輝度算出部１２２によって使用される絶対輝度テーブル（ＬＵＴ）を例示する図である。絶対輝度テーブルは、後述するテーブル格納部１３２に格納されてもよい、この絶対輝度テーブル（ＬＵＴ）を作成する際に、絞り値Ｆ及びシャッタースピードＳを変化させて、完全白色板の画像を撮影する。図５の例では、完全白色板からカメラ３０に入射する光の量をＬ１，Ｌ２とし、絞り値をＦ１，Ｆ２とし、シャッタースピードをＳ１，Ｓ２としている。そして、上記を組み合わせた８通りの条件で撮影した際の各撮影画像の画素値に対する三刺激値Ｙを式１又は式２で求めることで、図５に例示するようなＬＵＴを生成する。
　例えば、対象物輝度算出部１２２は、絞り値Ｆ１、シャッタースピードＳ２にて撮影した画像の画素値から三刺激値Ｙｘを計算する。そして、対象物輝度算出部１２２は、図５に例示するＬＵＴの絞り値Ｆ１、シャッタースピードＳ２における三刺激値Ｙ２とＹ６と、三刺激値Ｙｘを比較し、既存の方法である内挿計算（補間）などにより入射光の量Ｌｘを算出する。なお、このＬＵＴを作成する際には、上記のような８通りの条件ではなく、多くの条件での撮影を行い、ＬＵＴの情報量を拡充させるようにしてもよい。これにより、より精度の高い入射光の量が得られる。
　なお、カメラの機種又は個体差等により、入射光の量と、レンズ絞り値Ｆと、シャッタースピードＳと、画像出力値（画素値）との関係は異なる場合がある。したがって、カメラごとのキャリブレーションを実施することで、より精度の高い絶対輝度Ｌ（ｃｄ／ｍ２）を算出することができる。
　次に、画像を用いた、対象人物８０の目８２における環境光による照度ＥＡの算出方法（Ｓ１１０）について説明する。目領域照度算出部１２６は、画像中の反射体の各画素位置における見かけの放射照度を算出する。この例では、反射体は、目８２の白目領域（強膜）に対応する。したがって、目領域照度算出部１２６は、白目領域における色情報から、対象人物８０の目８２における照度を算出する。
　図６は、実施の形態１にかかる、放射照度の算出方法を説明するための図である。図６は、面光源を考慮した全周光環境モデルを示す。このモデルでは、反射体（白目領域）の任意の点を球の中心Ａにあるものとし、光源と中心Ａとの間を遮る遮蔽物はないものとして、全周辺からの光源の放射輝度分布を観測する。この放射輝度分布をＬ（θ，φ）とする。ここで、θは天頂角を表し、φは方位角を表す。
　中心Ａにおける照度ＥＡは、以下の式３で示すように、微小天頂角ｄθｉ及び微小方位角ｄφｉで表される微小立体角ｄωｉで表される光源から受け取る入射光エネルギーを全方向において積分したものである。
Figure JPOXMLDOC01-appb-M000003
　なお、上記計算は、反射体の光の反射特性がランバート反射であることが条件となる。ここで、強膜（白目）の場合、必ずしもランバート反射とは言えないが、目という微小物体を離れた距離から観測する状況であるために、中心Ａで反射される光は、あらゆる方向から中心Ａに入射した周辺環境光が積分された形となっており、視点方向によらず一定となる。ことから、上記計算方法は妥当であると言える。
　次に、中心Ａにおける反射体（白目領域）の表面反射率ＳＡ（つまり色）が既知であれば、画像として記録された反射体における輝度値ＩＡは、以下の式４で示すように、照度ＥＡと反射体の表面反射率ＳＡとの積で表される。ここで、輝度値ＩＡは、上記の式１又は式２を用いて算出される三刺激値Ｙ、及び、撮影時におけるカメラレンズの絞り値Ｆ、シャッタースピード、ゲインから決定できる絶対輝度を用いてもよい。
Figure JPOXMLDOC01-appb-M000004
　ここで、輝度値ＩＡは、光の波長λの関数として表されるカメラの分光感度特性を反映したものとなっている。ここで、カメラの分光感度特性がデルタ関数で近似されるとすると、波長λは定数とみなせる。したがって、点Ａにおける輝度値ＩＡ ｋ（ｋはｒ，ｇ，ｂ）は、以下の式５ように表される。
Figure JPOXMLDOC01-appb-M000005
　ここで、τｋはカメラゲインである。すなわち、式５より、点Ａ（白目領域）における照度ＥＡ ｋは、点Ａにおける輝度値ＩＡ（色情報）およびカメラゲインから算出され得る。ここで、点Ａ（白目領域）における可視光の照度ＥＡは、ＥＡ ｒ、ＥＡ ｇ、ＥＡ ｂを加算することで得られ得る。したがって、照度ＥＡは、白目領域における色情報から算出される。
　次に、入射光量ＥＥの算出方法（Ｓ１１２）について説明する。以上の計算により、対象人物８０が見ている対象物９０からの光の絶対輝度Ｌ、及び対象人物８０の目８２（目領域）における照度ＥＡが得られている。ここで、対象人物８０が見ている対象物９０からの輝度Ｌ（ｃｄ／ｍ２）の光によって照らされている目領域における照度Ｅ１（ｌｘ）は、以下の式６で表され得る。
Ｅ１＝Ｌ・π　・・・（６）
　また、ある照明下で、対象人物８０が注目している対象物９０からの光の影響を考慮した照度ＥＥ（入射光量）は、以下の式７のように表すことができる。
ＥＥ＝Ｅ１＋ＥＡ　・・・（７）
　したがって、入射光量算出部１２０は、式６及び式７を用いて、Ｓ１０８の処理で算出された輝度Ｌ、及びＳ１１０の処理で算出された照度ＥＡから、入射光量ＥＥを算出する。
　次に、基準瞳孔サイズ決定部１３０は、Ｓ１１２の処理で算出された入射光量ＥＥを用いて、基準瞳孔サイズＤ０を決定する（ステップＳ１１４）。具体的には、基準瞳孔サイズ決定部１３０は、テーブル格納部１３２に格納された基準瞳孔サイズテーブルを用いて、基準瞳孔サイズＤ０を決定する。ここで、「基準瞳孔サイズ」とは、照明下の明るさ及び対象物９０の明るさに対する対光反射によって変化する瞳孔直径のサイズである。言い換えると、基準瞳孔サイズは、対象人物８０の対象物９０に対する興味（情動）による瞳孔サイズの変化が考慮されていない瞳孔サイズである。
　図７は、実施の形態１にかかる基準瞳孔サイズテーブルを例示する図である。基準瞳孔サイズテーブルは、入射光量ＥＥ（照度）と、基準瞳孔サイズとを対応付けている。一般に、入射光量０．０１，１．０，１００，１００００（ｌｘ）のときの瞳孔直径のサイズは、それぞれ、７．０，６．０，３．０，２．１（ｍｍ）とされている。本実施の形態では、照度（入射光量）に対する瞳孔直径のサイズを、基準瞳孔サイズとする。そして、テーブル格納部１３２は、これらの入射光量（照度）と基準瞳孔サイズとの関係を示すＬＵＴを、基準瞳孔サイズテーブルとして格納する。
　基準瞳孔サイズ決定部１３０は、図７に例示する基準瞳孔サイズテーブルを用いて、入射光量ＥＥ（照度）に対する瞳孔直径のサイズ（基準瞳孔サイズ）を算出する。なお、算出方法は、既存の方法である内挿計算（補間）などを利用できる。また、基準瞳孔サイズテーブルを示す関数を予め準備できる場合は、基準瞳孔サイズ決定部１３０は、入射光量ＥＥをその関数に代入することで、基準瞳孔サイズを算出できる。
　瞳孔サイズ算出部１３４は、対象人物８０の目８２の瞳孔サイズＤ１を算出する（ステップＳ１１６）。具体的には、瞳孔サイズ算出部１３４は、Ｓ１０２の処理で取得された画像を用いて、対象物９０を注視している対象人物８０の目８２の瞳孔サイズＤ１を算出する。さらに具体的には、瞳孔サイズ算出部１３４は、目領域特定部１１２によって特定された目領域における瞳孔領域を検出する。そして、瞳孔サイズ算出部１３４は、瞳孔領域のサイズを算出する。例えば、人間の虹彩の直径は、約１１～１２ｍｍと個人差が小さいので、瞳孔サイズ算出部１３４は、画像における瞳孔径（画素数）と虹彩径（画素数）との比から、瞳孔サイズ（瞳孔直径）Ｄ１（ｍｍ）を算出してもよい。
　興味判定部１４０は、基準瞳孔サイズＤ０と瞳孔サイズＤ１とを比較して、対象人物８０の対象物９０に対する興味を判定する（Ｓ１２０～Ｓ１２４）。具体的には、興味判定部１４０は、瞳孔サイズＤ１が基準瞳孔サイズＤ０よりも大きいか否かを判定する（ステップＳ１２０）。瞳孔サイズＤ１が基準瞳孔サイズＤ０よりも大きい場合（Ｓ１２０のＹＥＳ）、興味判定部１４０は、対象人物８０は対象物９０に対して興味があると判定する（ステップＳ１２２）。一方、瞳孔サイズＤ１が基準瞳孔サイズＤ０以下である場合（Ｓ１２０のＮＯ）、興味判定部１４０は、対象人物８０は対象物９０に対して興味がないと判定する（ステップＳ１２４）。そして、判定結果出力部１４２は、興味判定部１４０による判定結果を出力する（ステップＳ１２６）。
　なお、上記の例では、興味判定部１４０は、対象人物８０の対象物９０に対する興味の有無を判定するとしたが、このような構成に限られない。興味判定部１４０は、対象人物８０の対象物９０に対する興味度を判定してもよい。例えば、興味度は、以下の式８で表されてもよい。
（Ｄ１－Ｄ０）／Ｄ０　・・・（８）
　上述したように、実施の形態１にかかる興味判定装置１００は、カメラ３０によって撮影された画像を用いて、対象人物８０の目８２に入射する入射光量を算出し、入射光量に基づいて基準瞳孔サイズを決定する。そして、実施の形態１にかかる興味判定装置１００は、基準瞳孔サイズと瞳孔サイズとを比較することによって、対象人物８０の対象物９０に対する興味を判定する。これにより、対象人物８０が、輝度計、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置等の特別な装置を装着することなく、対象人物８０の対象物９０に対する興味を判定できる。したがって、実施の形態にかかる興味判定装置１００は、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。
　また、実施の形態１にかかる興味判定装置１００は、対象物９０が撮影された画像を用いて対象物９０における輝度を算出することで、入射光量を算出するように構成されている。これにより、対象人物８０が、輝度計等を装着することなく、対象人物８０の対象物９０に対する興味を判定できる。また、対象物９０がモニタ等のディスプレイでなくても、対象人物８０の対象物９０に対する興味を判定できる。
　また、実施の形態１にかかる興味判定装置１００は、画像における対象物９０の領域における画素値を用いて対象物９０の絶対輝度を算出することで、入射光量を算出するように構成されている。これにより、カメラ３０の設定等によらないで、対象物９０からの光による入射光量を精度良く算出することが可能となる。
　また、実施の形態１にかかる興味判定装置１００は、画像を用いて対象人物８０の目８２における照度を算出することで、入射光量を算出するように構成されている。これにより、対象人物８０が、明るさ計測装置等を装着することなく、対象人物８０の対象物９０に対する興味を判定できる。
　また、実施の形態１にかかる興味判定装置１００は、画像を用いて対象人物８０の目８２における照度を算出し、対象物９０における輝度と対象人物８０の目８２における照度とに基づいて、入射光量を算出するように構成されている。同じ明るさ（照度）の環境下であっても、注視する対象物９０の明るさ（輝度）が異なると、瞳孔のサイズは異なり得る。例えば、照明が暗い環境下であっても、対象人物８０が明るい対象物９０を注視した場合、対象人物８０の瞳孔は小さくなり得る。逆に、照明が明るい環境下であっても、対象人物８０が暗い対象物９０を注視した場合、対象人物８０の瞳孔は大きくなり得る。このように、基準瞳孔サイズは、対象物９０における輝度及び対象人物８０の目８２における照度の両方を用いることで、より正確に求められ得る。そして、実施の形態１では、基準瞳孔サイズを決定する際に、対象物９０における輝度と対象人物８０の目８２における照度とに基づいて、入射光量を算出している。したがって、実施の形態１にかかる興味判定装置１００は、より正確に入射光量を算出できるので、より正確に基準瞳孔サイズを決定できる。これにより、対象人物８０の対象物９０に対する興味をより正確に判定することが可能となる。
　また、実施の形態１にかかる興味判定装置１００は、画像における対象人物８０の目８２の白目領域における色情報から、対象人物８０の目８２における照度を算出するように構成されている。これにより、画像を用いて、環境光による入射光量を精度良く算出することが可能となる。
（変形例）
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図４に示したフローチャートの各処理の順序は、適宜、変更可能である。また、図４に示したフローチャートの処理の１つ以上は、なくてもよい。例えば、Ｓ１０４～Ｓ１１４の処理の１つ以上は、Ｓ１１６の処理の後で実行されてもよい。また、Ｓ１０４～Ｓ１０８の処理の１つ以上は、Ｓ１１０の処理の後で実行されてもよい。また、Ｓ１０８の処理及びＳ１１０の処理の一方は、なくてもよい。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、
　前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、
　前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、
　前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、
　前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、
　前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段と
　を有する興味判定装置。
　（付記２）
　前記画像取得手段は、前記対象物が撮影された画像を取得し、
　前記入射光量算出手段は、前記画像を用いて前記対象物における輝度を算出することで、前記入射光量を算出する
　付記１に記載の興味判定装置。
　（付記３）
　前記入射光量算出手段は、前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
　付記２に記載の興味判定装置。
　（付記４）
　前記入射光量算出手段は、前記画像を用いて前記対象人物の目における照度を算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
　付記２又は３に記載の興味判定装置。
　（付記５）
　前記入射光量算出手段は、前記画像を用いて前記対象人物の目における照度を算出することで、前記入射光量を算出する
　付記１に記載の興味判定装置。
　（付記６）
　前記入射光量算出手段は、前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
　付記４又は５に記載の興味判定装置。
　（付記７）
　少なくとも１つの撮像装置と、
　付記１～６のいずれか１項に記載の興味判定装置と
　を有し、
　前記画像取得手段は、前記撮像装置によって撮影された前記画像を取得する
　興味判定システム。
　（付記８）
　少なくとも対象人物の目が撮影された画像を取得し、
　前記画像を用いて、前記対象人物の視線方向にある対象物を特定し、
　前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出し、
　前記入射光量に基づいて基準瞳孔サイズを決定し、
　前記画像を用いて、前記対象人物の瞳孔サイズを算出し、
　前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する
　興味判定方法。
　（付記９）
　前記対象物が撮影された画像を取得し、
　前記画像を用いて前記対象物における輝度を算出することで、前記入射光量を算出する
　付記８に記載の興味判定方法。
　（付記１０）
　前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
　付記９に記載の興味判定方法。
　（付記１１）
　前記画像を用いて前記対象人物の目における照度を算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
　付記９又は１０に記載の興味判定方法。
　（付記１２）
　前記画像を用いて前記対象人物の目における照度を算出することで、前記入射光量を算出する
　付記８に記載の興味判定方法。
　（付記１３）
　前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
　付記１１又は１２に記載の興味判定方法。
　（付記１４）
　少なくとも対象人物の目が撮影された画像を取得するステップと、
　前記画像を用いて、前記対象人物の視線方向にある対象物を特定するステップと、
　前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出するステップと、
　前記入射光量に基づいて基準瞳孔サイズを決定するステップと、
　前記画像を用いて、前記対象人物の瞳孔サイズを算出するステップと、
　前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定するステップと
　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
１　興味判定装置
２　画像取得部
４　対象物特定部
６　入射光量算出部
８　基準瞳孔サイズ決定部
１０　瞳孔サイズ算出部
１２　興味判定部
２０　興味判定システム
３０　カメラ
１００　興味判定装置
１１０　画像取得部
１１２　目領域特定部
１１４　視線方向推定部
１１６　対象物特定部
１２０　入射光量算出部
１２２　対象物輝度算出部
１２６　目領域照度算出部
１３０　基準瞳孔サイズ決定部
１３２　テーブル格納部
１３４　瞳孔サイズ算出部
１４０　興味判定部
１４２　判定結果出力部

Claims (14)

  1. 　少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、
    　前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、
    　前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、
    　前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、
    　前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、
    　前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段と
    　を有する興味判定装置。
  2. 　前記画像取得手段は、前記対象物が撮影された画像を取得し、
    　前記入射光量算出手段は、前記画像を用いて前記対象物における輝度を算出することで、前記入射光量を算出する
    　請求項１に記載の興味判定装置。
  3. 　前記入射光量算出手段は、前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
    　請求項２に記載の興味判定装置。
  4. 　前記入射光量算出手段は、前記画像を用いて前記対象人物の目における照度を算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
    　請求項２又は３に記載の興味判定装置。
  5. 　前記入射光量算出手段は、前記画像を用いて前記対象人物の目における照度を算出することで、前記入射光量を算出する
    　請求項１に記載の興味判定装置。
  6. 　前記入射光量算出手段は、前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
    　請求項４又は５に記載の興味判定装置。
  7. 　少なくとも１つの撮像装置と、
    　請求項１～６のいずれか１項に記載の興味判定装置と
    　を有し、
    　前記画像取得手段は、前記撮像装置によって撮影された前記画像を取得する
    　興味判定システム。
  8. 　少なくとも対象人物の目が撮影された画像を取得し、
    　前記画像を用いて、前記対象人物の視線方向にある対象物を特定し、
    　前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出し、
    　前記入射光量に基づいて基準瞳孔サイズを決定し、
    　前記画像を用いて、前記対象人物の瞳孔サイズを算出し、
    　前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する
    　興味判定方法。
  9. 　前記対象物が撮影された画像を取得し、
    　前記画像を用いて前記対象物における輝度を算出することで、前記入射光量を算出する
    　請求項８に記載の興味判定方法。
  10. 　前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
    　請求項９に記載の興味判定方法。
  11. 　前記画像を用いて前記対象人物の目における照度を算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
    　請求項９又は１０に記載の興味判定方法。
  12. 　前記画像を用いて前記対象人物の目における照度を算出することで、前記入射光量を算出する
    　請求項８に記載の興味判定方法。
  13. 　前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
    　請求項１１又は１２に記載の興味判定方法。
  14. 　少なくとも対象人物の目が撮影された画像を取得するステップと、
    　前記画像を用いて、前記対象人物の視線方向にある対象物を特定するステップと、
    　前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出するステップと、
    　前記入射光量に基づいて基準瞳孔サイズを決定するステップと、
    　前記画像を用いて、前記対象人物の瞳孔サイズを算出するステップと、
    　前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定するステップと
    　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/012946 2019-03-26 2019-03-26 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2020194529A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/012946 WO2020194529A1 (ja) 2019-03-26 2019-03-26 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US17/439,898 US11887349B2 (en) 2019-03-26 2019-03-26 Interest determination apparatus, interest determination system, interest determination method, and non-transitory computer readable medium storing program
JP2021508491A JP7207520B2 (ja) 2019-03-26 2019-03-26 興味判定装置、興味判定システム、興味判定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012946 WO2020194529A1 (ja) 2019-03-26 2019-03-26 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2020194529A1 true WO2020194529A1 (ja) 2020-10-01

Family

ID=72609385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012946 WO2020194529A1 (ja) 2019-03-26 2019-03-26 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US11887349B2 (ja)
JP (1) JP7207520B2 (ja)
WO (1) WO2020194529A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107288A1 (ja) * 2020-11-19 2022-05-27 日本電信電話株式会社 推定装置、推定方法、および、推定プログラム
WO2022239793A1 (ja) * 2021-05-12 2022-11-17 株式会社夏目綜合研究所 被験者分析装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197656A (ja) * 2009-02-25 2010-09-09 Hitachi Ltd 映像表示装置
JP2011002401A (ja) * 2009-06-22 2011-01-06 Yokogawa Electric Corp 輝度測定装置における補正係数算出方法および輝度測定装置
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
JP2017510203A (ja) * 2014-03-31 2017-04-06 ノキア テクノロジーズ オーユー 画像取り込みを制御するための方法および装置
CN108052973A (zh) * 2017-12-11 2018-05-18 中国人民解放军战略支援部队信息工程大学 基于多项眼动数据的地图符号用户兴趣分析方法
WO2018100875A1 (ja) * 2016-11-30 2018-06-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859686A (en) * 1997-05-19 1999-01-12 Northrop Grumman Corporation Eye finding and tracking system
JPH11101935A (ja) * 1997-09-26 1999-04-13 Canon Inc 注視状態検出装置及び電子機器の制御装置
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
JP2006050233A (ja) 2004-08-04 2006-02-16 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法およびプログラム
US20100010370A1 (en) 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
KR101640190B1 (ko) * 2011-12-28 2016-07-15 웨이브라이트 게엠베하 광 간섭 단층 촬영을 위한 방법 및 광 간섭 단층 촬영을 위한 장치
US20140155763A1 (en) * 2012-12-03 2014-06-05 Ben F. Bruce Medical analysis and diagnostic system
TWI533224B (zh) * 2013-11-14 2016-05-11 原相科技股份有限公司 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
CN106663183B (zh) * 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
WO2016143759A1 (ja) 2015-03-06 2016-09-15 株式会社 脳機能研究所 感情推定装置及び感情推定方法
US11170514B2 (en) * 2015-10-27 2021-11-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, 3D printing system, and storage medium
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US20210169417A1 (en) * 2016-01-06 2021-06-10 David Burton Mobile wearable monitoring systems
US20180120933A1 (en) * 2016-10-28 2018-05-03 Ocular Data Systems, Inc. Image-based system, having interchangeable vision elements, to observe and document eye responses
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
WO2019178483A1 (en) * 2018-03-16 2019-09-19 REBIScan, Inc. Apparatus and method for ophthalmic neural scanning
US20200302825A1 (en) * 2019-03-21 2020-09-24 Dan Sachs Automated selection and titration of sensory stimuli to induce a target pattern of autonomic nervous system activity
WO2021130860A1 (ja) * 2019-12-24 2021-07-01 日本電気株式会社 情報処理装置、制御方法及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197656A (ja) * 2009-02-25 2010-09-09 Hitachi Ltd 映像表示装置
JP2011002401A (ja) * 2009-06-22 2011-01-06 Yokogawa Electric Corp 輝度測定装置における補正係数算出方法および輝度測定装置
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
JP2017510203A (ja) * 2014-03-31 2017-04-06 ノキア テクノロジーズ オーユー 画像取り込みを制御するための方法および装置
WO2018100875A1 (ja) * 2016-11-30 2018-06-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN108052973A (zh) * 2017-12-11 2018-05-18 中国人民解放军战略支援部队信息工程大学 基于多项眼动数据的地图符号用户兴趣分析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107288A1 (ja) * 2020-11-19 2022-05-27 日本電信電話株式会社 推定装置、推定方法、および、推定プログラム
JP7444286B2 (ja) 2020-11-19 2024-03-06 日本電信電話株式会社 推定装置、推定方法、および、推定プログラム
WO2022239793A1 (ja) * 2021-05-12 2022-11-17 株式会社夏目綜合研究所 被験者分析装置

Also Published As

Publication number Publication date
US20220189132A1 (en) 2022-06-16
US11887349B2 (en) 2024-01-30
JPWO2020194529A1 (ja) 2020-10-01
JP7207520B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
US11503219B2 (en) Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject
US10587795B2 (en) System for producing compliant facial images for selected identification documents
US10979649B2 (en) Auxiliary apparatus for a digital imaging device
US20190281269A1 (en) Method and apparatus for determining fisheye camera shadow correction parameter
US10996751B2 (en) Training of a gaze tracking model
US8730352B2 (en) Image processing apparatus and image processing method
KR20150085710A (ko) 디스플레이 장치 및 그 제어 방법
JP6540885B2 (ja) 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
WO2020194529A1 (ja) 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US11336944B2 (en) Method for controlling a display parameter of a mobile device and computer program product
KR102251307B1 (ko) 거리측정 기능을 갖는 열상 카메라 시스템
KR20180000580A (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR102487590B1 (ko) 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
JP7311995B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9906705B2 (en) Image pickup apparatus
Krüger et al. 71‐4: Imaging Luminance Measuring Devices (ILMDs)‐Characterization and Standardization with Respect to Display Measurements
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置
US20240112608A1 (en) Display system and display method
US20240071275A1 (en) Calibration system for display apparatus and operating method thereof
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
Zhao et al. Camera-based measurement of relative image contrast in projection displays
JP2021179815A (ja) 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置
JP2020129313A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2019201274A (ja) 画像計測装置、画像計測方法、プログラム、及び画像補正装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920883

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508491

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920883

Country of ref document: EP

Kind code of ref document: A1