WO2023095679A1 - 視認状態判定装置及び視認状態判定システム - Google Patents

視認状態判定装置及び視認状態判定システム Download PDF

Info

Publication number
WO2023095679A1
WO2023095679A1 PCT/JP2022/042401 JP2022042401W WO2023095679A1 WO 2023095679 A1 WO2023095679 A1 WO 2023095679A1 JP 2022042401 W JP2022042401 W JP 2022042401W WO 2023095679 A1 WO2023095679 A1 WO 2023095679A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
infrared light
area
pupil
Prior art date
Application number
PCT/JP2022/042401
Other languages
English (en)
French (fr)
Inventor
勇氣 ▲高▼橋
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Publication of WO2023095679A1 publication Critical patent/WO2023095679A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a visibility state determination device and a visibility state determination system.
  • the detection of the viewing position where a person is looking can be realized by a system configuration that mainly uses a camera, and it is effective for product installation in that it does not require the person to be measured to wear a measuring device and does not place a burden on them. is.
  • a line-of-sight measurement system for example, the positions of the face and the eyes of the person being measured are detected by image processing, and the viewing position of the person being measured is detected from the calculated line-of-sight angle.
  • Japanese Patent Laid-Open No. 2002-200001 proposes a method for detecting a pupil region in an eyeball with high accuracy when estimating a line-of-sight position.
  • the visual recognition state determination device includes a light source that emits infrared light, and at least an eyeball of a person to be measured illuminated by the infrared light and light other than the infrared light.
  • a photographing unit having a camera for photographing; and a processing unit for determining a line-of-sight direction of the person to be measured based on the image photographed by the photographing unit, wherein the camera is an emission direction of the infrared light. and the processing unit receives from the photographing unit an image taken with the light source turned off and an image taken with the light source turned on.
  • the reflected infrared light area corresponding to the reflected light is detected, and the reflected infrared light area overlaps the pupil image area, the direction of the line of sight of the person to be measured is opposite to the exit direction. If it is determined that the visible object is located on the extension line of the direction, and the reflected infrared light area does not overlap the pupil image area, the line-of-sight direction is on the extension line of the direction opposite to the emission direction. It is characterized in that it is determined that the object to be visually recognized located at is not present.
  • the visual recognition state determination device and the visual recognition state determination system it is possible to easily determine the line-of-sight direction of the person to be measured with a simple configuration.
  • FIG. 1 is a block diagram showing a schematic configuration of a visual recognition state determination device according to an embodiment.
  • FIG. 2 is a schematic diagram showing a schematic configuration of each part constituting the visual recognition state determination device.
  • FIG. 3 is a schematic diagram showing a state in which the emission direction of near-infrared light and the line-of-sight direction do not match.
  • FIG. 4 is a schematic diagram showing a state in which the emission direction of near-infrared light and the line-of-sight direction match.
  • FIG. 5 is a flowchart showing the flow of visual recognition state determination processing executed by the visual recognition state determination device.
  • FIG. 6 is a flowchart for explaining pupil position detection in step S3 of FIG. FIG.
  • FIG. 7 is a schematic diagram showing an outline of a pupil detection algorithm executed by the visual recognition state determination device.
  • FIG. 8 is a flow chart showing the flow of reflected light position detection in step S6 of FIG.
  • FIG. 9 is a flow chart showing the flow of reflected light position detection in step S23 of FIG.
  • FIG. 10 is a diagram showing an example of the binarized image in step S22 of FIG.
  • FIG. 11 is a diagram showing an example of the binarized image in step S22 of FIG.
  • FIG. 12 is a diagram for explaining a method of extracting a region having an area closest to the assumed area value in step S33 of FIG.
  • FIG. 13 is a schematic diagram showing a schematic configuration of a visual recognition state determination device according to a modification of the present embodiment.
  • FIG. 14 is a flowchart showing the flow of visual recognition state determination processing executed by the visual recognition state determination device according to the modification.
  • FIG. 15 is a flowchart showing the flow of visual recognition state determination processing executed by the visual
  • the visual recognition state determination device 1 determines the visual recognition state of a person with respect to an object to be visually recognized.
  • the visual recognition state determination device 1 includes one photographing unit 2 and a processing section 3 connected to the photographing unit 2 .
  • the photographing unit 2 is arranged, for example, on an object to be visually recognized (not shown) or in the vicinity of the object to be visually recognized, and outputs image data of an image obtained by photographing a person to the processing unit 3 .
  • the processing unit 3 is an example of a processing device, and performs predetermined processing based on the image data input from the imaging unit 2 so that a person appearing in an image corresponding to the image data visually recognizes an object to be viewed.
  • the photographing unit 2 includes a light source 10 and a camera 20 .
  • the light source 10 and the camera 20 are arranged adjacent to each other on one substrate 40, for example (FIGS. 3 and 4). Further, the processing section 3 is arranged on the substrate 40 .
  • the light source 10 is, for example, an LED (Light Emitting Diode) that emits near-infrared light toward the outside of the imaging unit 2 .
  • Near-infrared light is an electromagnetic wave with a wavelength of about 0.7 to 2.5 ⁇ m, and has a wavelength close to red visible light. ing.
  • the light source 10 turns on (emits infrared light) in response to a lighting signal input from the processing unit 3, and turns off in response to a turn-off signal.
  • the light source 10 is arranged on or in the vicinity of the object to be viewed.
  • the light source 10 preferably emits light with high directivity.
  • the camera 20 is arranged in the vicinity of the light source 10 and photographs a photographing range (for example, angle of view ⁇ ) set outside the photographing unit 2 .
  • the camera 20 is illuminated by infrared light emitted from the light source 10 or light other than infrared light (for example, natural light) when the person to be measured 100 exists in the shooting range set outside the shooting unit 2.
  • a person 100 to be measured is photographed.
  • the camera 20 is arranged at a position where the face 101 or eyeballs 103 of the person 100 to be measured can be photographed.
  • a measurement target person 100 is a person whose visibility state is to be determined.
  • the camera 20 is arranged at a position for receiving reflected light reflected in a direction opposite to the direction in which the infrared light emitted from the light source 10 is emitted.
  • the optical axis of the camera 20 and the optical axis of the light source 10 overlap.
  • the fact that the optical axis of the camera 20 and the optical axis of the light source 10 overlap means that both optical axes are coaxial.
  • the camera 20 can capture at least the entire face 101 with sufficient resolution.
  • the shooting range can be determined according to the detection range requested by the application.
  • the camera 20 is composed of a sensor module 21 and a lens module 29 .
  • the sensor module 21 converts an image formed through the lens module 29 into an electrical signal and outputs the electrical signal as image data.
  • the lens module 29 is configured by incorporating a plurality of optical lenses into a lens barrel, and forms an image of a subject on the image sensor 22 .
  • the sensor module 21 includes an image sensor 22, a system controller 23, an image signal processor 24, an I2C interface 25, and an output interface 26, as shown in FIG.
  • the image sensor 22 converts an optical image of a subject into an electrical signal, and is connected to the system controller 23 and image signal processor 24 .
  • the image sensor 22 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 22 may be another type of image sensor such as a CCD (Charge-Coupled Device) image sensor.
  • the system controller 23 is a CPU (Central Processing Unit) dedicated to the sensor module, is connected to the image signal processor 24, and controls them.
  • CPU Central Processing Unit
  • the image signal processor 24 performs image processing on raw image signals (for example, RAW data) output from the image sensor 22 .
  • the image signal processor 24 corrects the optical system, corrects defective pixels, removes noise, and corrects brightness, color, edge, etc. for high image quality.
  • the image signal processor 24 outputs image data to the processing section 3 via the output interface 26 .
  • the I2C interface 25 uses, for example, two-wire wiring hardware to input camera setting signals and the like with the processing unit 3 .
  • a camera setting signal is input from the processing unit 3 to the image signal processor 24 via the I2C interface 25 .
  • the processing unit 3 includes a light source/camera control unit 30 and an arithmetic processing unit 31 .
  • the light source/camera control unit 30 outputs a turn-on signal or turn-off signal to the light source 10 according to the control signal input from the arithmetic processing unit 31 to control the light emission of the light source 10 .
  • the light source/camera control section 30 outputs a shutter ON signal to the camera 20 according to the control signal input from the arithmetic processing section 31 to control shutter drive of the camera 20 .
  • the control signal includes, for example, an enable signal, a disable signal, register setting data, and the like.
  • the arithmetic processing unit 31 has, for example, a processing circuit (not shown) that implements various processing functions in the visual recognition state determination device 1 .
  • a processing circuit is implemented by, for example, a processor.
  • a processor means a circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array).
  • the arithmetic processing unit 31 implements each processing function by, for example, executing a program read from a storage circuit (storage unit) (not shown). Further, the arithmetic processing unit 31 can store a plurality of images in the storage unit, reads out the images stored in the storage unit, and performs image processing.
  • the arithmetic processing unit 31 performs image processing on the image input from the camera 20 and determines whether or not the direction of the line of sight of the person to be measured 100 is in the opposite direction to the direction in which the near-infrared light emitted from the light source 10 is emitted. It has a visibility judgment function. Specifically, the arithmetic processing unit 31 acquires from the imaging unit 2 an image taken with the light source 10 turned off and an image taken with the light source 10 turned on. The arithmetic processing unit 31 detects a pupil image region P corresponding to light other than infrared light reflected by the pupil 104 in the eyeball 103 of the person to be measured 100 from the obtained image when the light is off. As shown in FIGS.
  • the pupil image area P is an image area occupied by the pupil 104 in each lit image 50, 50A.
  • the arithmetic processing unit 31 detects an infrared light reflected light area Q corresponding to the reflected light of the near-infrared light in the eyeball 103 of the measurement target person 100 from the acquired lit-up image.
  • the reflected infrared light area Q is an image area occupied by the reflected light in the lighting images 50 and 50A. This reflected light is reflected light that is reflected in a direction opposite to the direction in which the infrared light emitted from the light source 10 is emitted.
  • the pupil image region P and the infrared light reflected light region Q do not overlap.
  • the pupil image region P and the infrared light reflected light region Q overlap.
  • the arithmetic processing unit 31 compares the position of the detected pupil image region P and the position of the infrared light reflected light region Q, and as shown in FIG. If it is determined that the positions of the regions overlap, it is determined that the sight line direction of the person to be measured 100 is on the visible object located on the extension line in the direction opposite to the emission direction. In this case, the processing unit 3 may externally output a determination result signal indicating that the line of sight of the person 100 to be measured faces the object to be visually recognized (or the photographing unit 2). On the other hand, as shown in FIG.
  • the processing unit 3 may indicate that the line of sight of the person to be measured 100 is not directed toward the object to be visually recognized by not outputting the determination result to the outside.
  • a determination result signal indicating that the visual line direction of 100 is not facing the object to be visually recognized (or the photographing unit 2) may be output to the outside.
  • step S1 the arithmetic processing unit 31 outputs a control signal to the light source/camera control unit 30, causes the light source/camera control unit 30 to output a turn-off signal for turning off the light source 10, and turns off the light source 10.
  • the light source/camera control unit 30 outputs a light-off signal to turn off the light source 10, the output of the LED pulse drive signal to the light source 10 may be stopped.
  • step S2 the arithmetic processing unit 31 outputs a control signal to the light source/camera control unit 30 to cause the light source/camera control unit 30 to output a shutter ON signal to the camera 20, and the camera 20 performs photographing.
  • the camera 20 performs photographing according to the shutter ON signal input from the light source/camera control section 30 and outputs data of the obtained image (light-off image) to the arithmetic processing section 31 .
  • step S ⁇ b>3 the arithmetic processing unit 31 performs pupil position detection based on the data of the unlit image input from the camera 20 .
  • the details of pupil position detection will be described later.
  • step S4 the arithmetic processing unit 31 outputs a control signal to the light source/camera control unit 30, and causes the light source/camera control unit 30 to output a lighting signal for lighting the light source 10, thereby lighting the light source 10.
  • the light source/camera control unit 30 outputs a lighting signal to light the light source 10, the output of the LED pulse driving signal to the light source 10 may be started.
  • step S5 the arithmetic processing unit 31 outputs a control signal to the light source/camera control unit 30 to cause the light source/camera control unit 30 to output a shutter ON signal to the camera 20, and the camera 20 performs photographing.
  • the camera 20 takes a picture in response to a shutter ON signal input from the light source/camera control section 30 and outputs data of the obtained image (lighted image) to the arithmetic processing section 31 .
  • step S ⁇ b>6 the arithmetic processing unit 31 performs reflected light position detection based on the data of the lighting image input from the camera 20 .
  • the details of reflected light position detection will be described later.
  • step S7 the arithmetic processing unit 31 compares the pupil image area P obtained in step S3 with the infrared light reflected light area Q obtained in step S6, and determines the position of the pupil image area P. It is determined whether or not the positions of the external light reflected light regions Q are overlapped, and the visual recognition determination of the person 100 to be measured is performed.
  • step S8 the arithmetic processing unit 31 outputs the determination result determined in step S7 to the outside, and ends this process.
  • step S ⁇ b>11 the arithmetic processing unit 31 acquires one frame of the video signal of the off-time image from the camera 20 .
  • step S12 the arithmetic processing unit 31 performs conversion (preprocessing) of the data format of the image, including grayscaling. For example, for each pixel position within a frame, 8-bit data representing the brightness in a gradation range of "0 to 255" is arranged vertically and horizontally according to the scanning direction within the frame at the time of shooting. (2D) Generate array image data.
  • step S13 the arithmetic processing unit 31 performs face detection using, for example, the "Viola-Jones method", and extracts a face image area containing a face from one frame of two-dimensional image data.
  • a face image region is extracted using a detector that is characterized by the shadow difference of the face and created by learning using “Boosting”.
  • Boosting the technique of the "Viola-Jones method” is disclosed, for example, in the following documents. "P. viola and MJ Jones, Rapid Object Detection Using a Boosted Cascade of Simple Features, IEEE CVPR (2001).”
  • step S14 the arithmetic processing unit 31 extracts an eye image area corresponding to the eye 102 from the face image area extracted in step S13, for example, using the Viola-Jones method described above.
  • step S15 the arithmetic processing unit 31 performs rough search for the pupil 104 by applying a template matching method to the rectangular area data corresponding to the eye 102 detected in step S14. Specifically, a black circle image is matched as a template to an image obtained by binarizing an eye image area cut out around the eye 102, and the coordinates of the image center (the center of the black circle) of the black circle image with the highest likelihood are obtained. is the center position of the pupil 104 in the eye image area, and the radius of the black circle image with the highest likelihood is the radius of the pupil 104 in the eye image area. If the pupil 104 cannot be detected, the arithmetic processing unit 31 may determine that the line of sight of the person 100 to be measured does not face the object to be visually recognized (or the photographing unit 2).
  • step S16 the arithmetic processing unit 31 uses the center position and radius of the pupil 104 searched in step S15, applies a particle filter technique, and obtains the coordinates of the center position and the center position of the pupil 104 with higher accuracy. Find the radius of .
  • the arithmetic processing unit 31 stores the detected coordinates of the center position of the pupil 104 and the radius from the center position in the storage unit for one frame image.
  • the arithmetic processing unit 31 cuts out an eye and a rectangular area around the eye from the entire one-frame unlit image as an eye image area.
  • the arithmetic processing unit 31 generates binarized data based on the clipped eye image area so that the gradation for each pixel is only binary black/white, and applies a template to this data. Carry out matching. That is, an image of a black circle shape similar to the shape of the pupil 104 is used as a template, and while scanning this template on the image, the approximate position of the pupil 104 whose characteristics are most similar is searched, and the position and the pupil are searched. Specify the radius or diameter.
  • the arithmetic processing unit 31 performs edge detection using a Sobel filter on the clipped eye image area. Specifically, the eye image area is sequentially scanned in the horizontal direction from left to right, and black (gradation value: 0) is output in areas where there is no change in brightness, and the gradient of change in brightness is large. Edges are detected by approaching white (gradation value: 255) as much as possible.
  • the arithmetic processing unit 31 uses the approximate position of the pupil 104 obtained in D42 as a starting point, performs particle filter processing on the edge-detected eye image region detected in D43, and obtains a pupil image region P (D45).
  • step S6 of FIG. 5 the details of the reflected light position detection algorithm in step S6 of FIG. 5 will be described with reference to FIG.
  • step S21 the arithmetic processing unit 31 extracts the eye area including the eye periphery from the lit image based on the (coordinate) position of the face image area corresponding to the face image area extracted by the pupil position detection in step S3 of FIG. Extract image regions.
  • the arithmetic processing unit 31 cuts out the eye image area from the face image area in grayscale, and enlarges or reduces the image corresponding to the eye image area to a preset size. Convert.
  • the arithmetic processing unit 31 extracts the eye image area from the lighting image based on the (coordinate) position of the face image area corresponding to the face image area extracted in the pupil position detection in step S3 of FIG. is extracted, but it is not limited to this.
  • the arithmetic processing unit 31 may extract the eye image area from the lit-time image by the processing of steps S12 to S15 in FIG.
  • step S22 the arithmetic processing unit 31 performs binarization processing on the eye image region extracted in step S21.
  • the arithmetic processing unit 31 uses a threshold value, sets the pixel value to 1 for pixels equal to or higher than the threshold value, and sets the pixel value to 0 for pixels lower than the threshold value.
  • the threshold should be set to a high (bright) value of 200 or more.
  • the binarized eye image area 50Ba is obtained by binarizing the lighting image 50B, and the area R is white and the area other than the area R is black.
  • the areas R1, R2, and R3 are white, and the areas other than the areas R1 to R3 are black.
  • the area R3 is the area corresponding to the infrared light reflected light area Q.
  • step S23 the arithmetic processing unit 31 performs reflected light position search for the eye image area binarized in step S22.
  • the details of the reflected light position search will be described later.
  • step S24 the arithmetic processing unit 31 stores (saves) the position of the infrared reflected light region Q detected in step S23 in the storage unit, and returns.
  • step S31 the arithmetic processing unit 31 performs area division on the binarized eye image area. As shown in FIG. 11, the arithmetic processing unit 31 combines adjacent pixels having a pixel value of 1 (white portion in the binarized eye image area) in the binarized eye image area 50Ca, area. In the illustrated example, it is divided into two regions R1 to R3.
  • step S32 the arithmetic processing unit 31 calculates the area of each region (R, R1 to R3) divided in step S31.
  • the area corresponds to the number of pixel values in each region.
  • the area Ak corresponding to the K-th region Rk is obtained by the following equation (1).
  • n(Rk) number of points included in region Rk (k: 1, 2, . . . )
  • step S33 the arithmetic processing unit 31 extracts a region Rk having an area closest to the assumed area value among the plurality of regions Rk calculated in step S32.
  • the size of the light source 10 is constant, and since the size of the cut-out eye image area is set to a fixed value and then enlarged or reduced, it is assumed that the reflected light is also reflected in a constant size. Therefore, an area corresponding to the infrared light reflected light region Q is set as an assumed area value, and an area value closest to that area value is extracted. As shown in FIG.
  • the region area corresponding to the region R1 is 236 [mm 2 ]
  • the region area corresponding to the region R2 is 91 [mm 2 ]
  • the region area corresponding to the region R3 is 28 [mm 2 ].
  • a region R3 having an area closest to the assumed area value of 30 [mm 2 ] is extracted.
  • the assumed area value needs to be set in advance, and can be calculated, for example, based on the size of the infrared light and the assumed distance from the camera to the face.
  • step S34 the arithmetic processing unit 31 calculates the center position based on the region R3 extracted in step S33, and returns this process. Specifically, the arithmetic processing unit 31 obtains the coordinates C(x, y) of the central position of the infrared light reflected light region Q corresponding to the extracted region R3.
  • the center position is a value obtained by adding up the coordinate values of all pixels and dividing the result by the number of pixels.
  • the arithmetic processing unit 31 stores the obtained coordinates C(x, y) of the central position of the reflected infrared light region Q in the storage unit.
  • C(x, y) Coordinates of the central position of the infrared light reflected light area T(x, y): Coordinates of the point T in the infrared light reflected light area Rn: Included in the infrared light reflected light area It is a set of point clouds, and here refers to a set of R3 in the eye image region 50Ca.
  • the visual recognition state determination device 1 determines the position of the subject 100 based on the positional relationship between the pupil image region P obtained in step S3 of FIG. It is determined whether or not the line-of-sight direction of is on the visible object located on the extension line of the direction opposite to the emitting direction.
  • the reflected infrared light area Q overlaps the pupil image area P
  • the line of sight of the person 100 to be measured faces the object to be visually recognized (or the photographing unit 2).
  • the reflected infrared light area Q does not overlap the pupil image area P
  • the line of sight of the person 100 to be measured does not face the object to be visually recognized (or the photographing unit 2).
  • the condition for determining that the reflected infrared light area Q overlaps the pupil image area P is that the coordinate values of all pixels in the pupil image area P are within the reflected infrared light area Q.
  • the coordinate values of all pixels overlap for example, by 80% or more.
  • the conditions for determining that the reflected infrared light area Q overlaps the pupil image area P include, for example, It includes overlapping position coordinates.
  • the value (distance) of the separation is equal to or less than the threshold (pixel value). In some cases, it may be determined that the two reflected light areas P and Q overlap.
  • the pupil image region When the separation distance (pixel value) between the coordinates of the center position of P and the coordinates of the center position of the infrared light reflected light region Q is equal to or less than a threshold value, it is determined that the two reflected light regions P and Q overlap.
  • the separation distance (pixel value) between the coordinates of the center position of the pupil image region P and the coordinates of the center position of the infrared light reflected light region Q is not equal to or less than the threshold value, all the pixels in the pupil image region P
  • the coordinate values of all pixels in the infrared light reflected light area Q overlap with the coordinate values of the pixels by, for example, 80% or more, it is determined that the two reflected light areas P and Q overlap. good too.
  • the above ratio of 80% is an example, and is not limited to this.
  • the separation distance (pixel value) is within a preset threshold value (pixel value), it may be determined that the two reflected light regions P and Q overlap.
  • pixel value a preset threshold value
  • Any of the above thresholds can be set arbitrarily, but it is preferable that the value be such that the line-of-sight direction of the person to be measured 100 is assumed to face the object to be visually recognized (or the photographing unit 2).
  • the visual recognition state determination device 1 described above includes a photographing unit 2 having a light source 10 that emits infrared light, a camera 20 that photographs the eyeball 103 of the person to be measured 100 illuminated by the light source 10, and the photographing unit 2.
  • a processing unit 3 for determining the line-of-sight direction of the person to be measured 100 based on the captured image.
  • the camera 20 is arranged at a position for receiving reflected light reflected in a direction opposite to the direction in which the infrared light emitted from the light source 10 is emitted.
  • the processing unit 3 acquires an image when turned off and an image when turned on from the photographing unit 2, and obtains a pupil image corresponding to light other than infrared light reflected by the pupil 104 in the eyeball 103 of the person to be measured 100 from the image when turned off.
  • the area P is detected, and the infrared light reflected light area Q corresponding to the reflected light of the infrared light in the eyeball 103 is detected from the lighting image.
  • the processing unit 3 determines that the sight line direction of the person to be measured 100 is on the object to be visually recognized located on the extension line in the direction opposite to the emission direction. I judge.
  • the reflected infrared light area Q does not overlap the pupil image area P, it is determined that the line of sight does not lie on the visible object located on the extension line opposite to the emitting direction.
  • the line of sight of the person to be measured 100 is directed in the direction opposite to the emission direction of the infrared light emitted from the photographing unit 2 .
  • an object to be measured e.g., if the person being measured is a driver, a meter inside the vehicle
  • it is possible to determine whether the driver is visually recognizing the meter. can be easily determined.
  • the visual recognition state determination device 1 only determines whether or not the line of sight of the person to be measured 100 is directed in the direction opposite to the direction in which the infrared light is emitted, and can reduce the load on image processing.
  • the visibility state determination device 1 can be applied to a visibility state determination system.
  • the visual recognition state determination system includes a photographing unit 2 having a light source 10, a camera 20 for photographing an eyeball 103 of a person to be measured 100 illuminated by the light source 10 and natural light other than the light source 10, and an image photographed by the photographing unit 2. and a processing device (processing unit 3) that determines whether or not the person to be measured 100 is looking at an object to be visually recognized located in the line-of-sight direction based on the above.
  • the camera 20 is arranged at a position for receiving reflected light reflected in a direction opposite to the direction in which the infrared light emitted from the light source 10 is emitted.
  • the processing device acquires an image when the light is off and an image when the light is on from the photographing unit 2, and from the image when the light is off, the pupil image area corresponding to the light other than the infrared light reflected by the pupil 104 in the eyeball 103 of the person 100 to be measured. P is detected, and an infrared light reflected light area Q corresponding to the reflected light of the infrared light is detected in the eyeball 103 from the lighting image.
  • the processing device determines that the sight line direction of the person to be measured 100 is on the object to be viewed located on the extension line in the direction opposite to the emitting direction. judge.
  • the reflected infrared light area Q does not overlap the pupil image area P, it is determined that the line of sight does not lie on the visible object located on the extension line opposite to the emitting direction.
  • the visual recognition state determination device 1 has a configuration in which one photographing unit 2 is connected to one processing section 3, but is not limited to this.
  • a plurality of imaging units 2 may be connected to one processing section 3 .
  • FIG. 13 is a schematic diagram showing a schematic configuration of a visual recognition state determination device according to a modification of the present embodiment.
  • 14 and 15 are flowcharts showing the flow of visual recognition state determination processing executed by the visual recognition state determination device according to the modification.
  • a visual recognition state determination device 1A has a plurality of photographing units 2A, 2B, 2C, 2D, and 2E.
  • a plurality of photographing units 2A to 2E in this embodiment are arranged with respect to a person to be measured 100, for example, a driver of a vehicle.
  • the photographing unit 2A is arranged in the rearview mirror inside the vehicle.
  • the viewed object 110A is a rearview mirror.
  • the imaging units 2B and 2C are arranged on the left and right side mirrors.
  • the visible objects 110B and 110C are left and right side mirrors.
  • the photographing unit 2D is arranged on the meter panel inside the vehicle.
  • the visually recognized object 110D is a meter panel.
  • the photographing unit 2E is arranged near the display of the navigation system in the passenger compartment. In this case, the viewed object 110E is the display of the navigation system.
  • the processing device 3A has the same configuration as the processing unit 3, but based on the turned-off image and the turned-on image acquired from each of the imaging units 2A to 2E, any one of the plurality of imaging units 2A to 2E is selected. It is determined whether or not there is a line-of-sight direction in the direction opposite to the emission direction corresponding to the unit 2 .
  • FIG. 14 An algorithm for visual recognition state determination executed by the visual recognition state determination device 1A will be described with reference to FIGS. 14 and 15.
  • FIG. 14 An algorithm for visual recognition state determination executed by the visual recognition state determination device 1A will be described with reference to FIGS. 14 and 15.
  • step S51 the processing device 3A causes the light source/camera control section 30 to output a turn-off signal for turning off the light source 10, thereby turning off all the light sources 10 in the imaging units 2A to 2E.
  • step S52 the processing device 3A causes the light source/camera control section 30 to output a shutter ON signal to the cameras 20, and all the cameras 20 in the photographing units 2A to 2E perform photographing.
  • the camera 20 takes a picture in response to the shutter ON signal input from the light source/camera control section 30, and outputs the data of the obtained image (light-off image) to the processing device 3A.
  • step S53 the processing device 3A performs respective pupil position detection based on the data of the off-light image input from the imaging units 2A to 2E.
  • step S54 the processing device 3A performs the above-described pupil position detection, acquires and stores pupil image regions P corresponding to the photographing units 2A to 2E.
  • the processing device 3A substitutes 0 for the counter N.
  • the counter corresponds to the number of light sources 10 .
  • counter N 5.
  • the counter N may be the number of the photographing units 2 or the number of the cameras 20 .
  • step S56 the processing device 3A adds 1 to the counter N.
  • step S57 the processing device 3A turns on the light source 10 corresponding to the N-th imaging unit 2.
  • step S58 the processing device 3A takes an image with the camera 20 corresponding to the N-th imaging unit 2.
  • step S59 the processing device 3A performs the above-described reflected light position detection, acquires and stores the infrared light reflected light area Q corresponding to the N-th imaging unit 2.
  • step S60 the processing device 3A processes the pupil image area P corresponding to the Nth imaging unit 2 obtained in step S53 and the reflected infrared light corresponding to the Nth imaging unit 2 obtained in step S69.
  • the area Q is compared with the position of the pupil image area P to determine whether or not the position of the reflected infrared light area Q overlaps with the position of the pupil image area P, and the visual recognition determination of the person 100 to be measured is performed.
  • step S61 the processing device 3A outputs the determination result determined in step S60 to the outside.
  • step S62 the processing device 3A turns off the light source 10 corresponding to the N-th imaging unit 2.
  • step S63 the processing device 3A determines whether or not the counter N has reached the same number as the number of light sources. If the numbers are not the same, the process proceeds to step S56, and steps S56 to S63 are repeated N times.
  • a visual recognition state determination device 1A includes a plurality of photographing units 2A to 2E for the visual recognition state determination device 1.
  • FIG. 1 As a result, since a plurality of photographing units 2 are arranged with respect to the person to be measured 100, for example, a photographing unit 2 is arranged for each of the plurality of visually recognized objects 110A to 110E to be viewed by the person to be measured 100. For example, it is possible to easily determine which object 110 the person to be measured 100 is looking at.
  • the visibility state determination device 1 may be configured to determine the visibility state when a human sensor or the like detects a person (person to be measured).
  • the arithmetic processing unit 31 has been described as having each processing function implemented by a single processor, but the present invention is not limited to this.
  • the arithmetic processing unit 31 may realize each processing function by combining a plurality of independent processors and having each processor execute a program. Further, the processing functions of the arithmetic processing unit 31 may be appropriately distributed or integrated in a single or a plurality of processing circuits and implemented. Moreover, the processing functions of the arithmetic processing unit 31 may be implemented entirely or in part by a program, or may be implemented by hardware such as wired logic.
  • the visual recognition state determination device 1 is applied to vehicles such as automobiles, but is not limited to this, and may be applied to ships, aircraft, etc. other than vehicles, for example. Further, the visual recognition state determination device 1 may be applied to a billboard installed on a vending machine or a wall surface on a passage. In this case, the visible object is, for example, a product sold by a vending machine, a digital signage, or the like. Further, although the visual recognition state determination device 1 is divided into the photographing unit 2 and the processing unit 3, it is not limited to this, and may be configured integrally.
  • the program executed by the processor described above is pre-installed in a memory circuit or the like and provided.
  • This program may be recorded in a computer-readable storage medium and provided as an installable or executable file for these devices. Also, this program may be provided or distributed by being stored on a computer connected to a network such as the Internet and downloaded via the network.

Abstract

【課題】測定対象者の視線方向を簡素な構成で容易に判定することができる視認状態判定装置及び視認状態判定システムを提供する。 【解決手段】視認状態判定装置１は、光源１０からの赤外光で照らされた測定対象者１００の眼球１０３を撮影する撮影ユニット２と、撮影された画像に基づき測定対象者１００の視線方向を判定する処理部３とを備える。カメラ２０は、赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置される。処理部３は、撮影ユニット２による消灯時画像から眼球１０３の瞳孔１０４で赤外光以外の光の反射光に対応する瞳孔画像領域Ｐを検出し、点灯時画像から眼球１０３の赤外光の反射光に対応する赤外光反射光領域Ｑを検出する。処理部３は、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっている場合、測定対象者１００の視線方向が出射方向と反対方向の延長線上に位置する被視認対象物１１０にあると判定する。

Description

視認状態判定装置及び視認状態判定システム
　本発明は、視認状態判定装置及び視認状態判定システムに関する。
　人物が視線を向けている視認位置の検出は、カメラを主としたシステム構成で実現することができ、測定対象者に測定器を装着する必要がなく負担をかけない点で、製品搭載に有効である。このような視線計測システムでは、例えば、測定対象者の顔の位置及び目の位置をそれぞれ画像処理によって検出し、計算した視線角度から測定対象者の視認位置を検出している。視線位置を推定する際に、眼球における瞳孔の領域を高精度に検出する方法として、例えば、特許文献１が提案されている。
特開２０１８－８８２３６号公報
　ところで、測定対象者の視認位置を判定する場合、測定対象者の目の位置に加えて顔の向きを精度よく検出する必要があることから、複雑な画像処理を実施しなければならず、高価な演算処理装置が必要となる。また、視認位置を計測するために、測定対象者から測定装置まで距離を測定する場合、３次元センサやレーザ照射装置、別方向からのカメラ画像等が必要となり、システムを構成するためのコストが増加するおそれがある。
　本発明は、上記課題に鑑みて成されたものであり、測定対象者の視線方向を簡素な構成で容易に判定することができる視認状態判定装置及び視認状態判定システムを提供することを目的とする。
　上記目的を達成するために、本発明に係る視認状態判定装置は、赤外光を出射する光源と、前記赤外光及び前記赤外光以外の光によって照らされた測定対象者の少なくとも眼球を撮影するカメラとを有する撮影ユニットと、前記撮影ユニットによって撮影された画像に基づいて、前記測定対象者の視線方向を判定する処理部と、を備え、前記カメラは、前記赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置され、前記処理部は、前記撮影ユニットから、前記光源を消灯して撮影された消灯時画像と、前記光源を点灯して撮影された点灯時画像とを取得し、前記消灯時画像から前記赤外光以外の光によって照らされた前記測定対象者の眼球における瞳孔の瞳孔画像領域を検出し、前記点灯時画像から前記眼球において前記赤外光の反射光に対応する赤外光反射光領域を検出し、前記瞳孔画像領域に対して前記赤外光反射光領域が重なっている場合、前記測定対象者の視線方向が前記出射方向と反対方向の延長線上に位置する被視認対象物にあると判定し、前記瞳孔画像領域に対して前記赤外光反射光領域が重なっていない場合、前記視線方向が前記出射方向と反対方向の延長線上に位置する被視認対象物にないと判定する、ことを特徴とする。
　本発明に係る視認状態判定装置及び視認状態判定システムによれば、測定対象者の視線方向を簡素な構成で容易に判定することができる、という効果を奏する。
図１は、実施形態に係る視認状態判定装置の概略構成を示すブロック図である。 図２は、視認状態判定装置を構成する各部の概略構成を示す模式図である。 図３は、近赤外光の出射方向と視線方向とが一致しない状態を示す模式図である。 図４は、近赤外光の出射方向と視線方向とが一致した状態を示す模式図である。 図５は、視認状態判定装置にて実行される視認状態判定処理の流れを示すフローチャート図である。 図６は、図５のステップＳ３における瞳孔位置検出を説明するためのフローチャート図である。 図７は、視認状態判定装置にて実行される瞳孔検出アルゴリズムの概要を示す模式図である。 図８は、図５のステップＳ６における反射光位置検出の流れを示すフローチャート図である。 図９は、図８のステップＳ２３における反射光位置検出の流れを示すフローチャート図である。 図１０は、図８のステップＳ２２における２値化した画像の一例を示す図である。 図１１は、図８のステップＳ２２における２値化した画像の一例を示す図である。 図１２は、図９のステップＳ３３にて想定面積値に最も近い面積を有する領域の抽出方法を説明するための図である。 図１３は、本実施形態の変形例に係る視認状態判定装置の概略構成を示す模式図である。 図１４は、変形例に係る視認状態判定装置にて実行される視認状態判定処理の流れを示すフローチャート図である。 図１５は、変形例に係る視認状態判定装置にて実行される視認状態判定処理の流れを示すフローチャート図である。
　以下に、本発明の実施形態に係る視認状態判定装置及び視認状態判定システムについて図面を参照しつつ詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。以下の実施形態における構成要素には、いわゆる当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、以下の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
　［実施形態］
　本実施形態における視認状態判定装置１は、被視認対象物に対する人物の視認状態を判定するものである。視認状態判定装置１は、図１に示すように、１つの撮影ユニット２と、当該撮影ユニット２に接続された処理部３とを含んで構成される。撮影ユニット２は、例えば、被視認対象物（不図示）上または被視認対象物の近傍に配置され、人物を撮影した画像の画像データを処理部３に出力する。処理部３は、処理装置の一例であり、撮影ユニット２から入力された画像データに基づいて所定の処理を行い、当該画像データに対応する画像に写っている人物が被視認対象物を視認しているか否かを判定する。ここで被視認対象物は、例えば自動車に搭載されたディスプレイやメータ類である。撮影ユニット２は、光源１０と、カメラ２０とを含んで構成される。光源１０及びカメラ２０は、例えば、１枚の基板４０上に互いに隣接して配置される（図３、図４）。また、基板４０上には、処理部３が配置される。
　光源１０は、例えば、撮影ユニット２の外部に向けて近赤外光を出射するＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）である。近赤外光は、波長が凡そ０．７～２．５μｍの電磁波であり、赤色の可視光線に近い波長を有し、例えば、「見えない光」として、赤外線カメラや赤外線通信等に利用されている。光源１０は、処理部３から入力された点灯信号に応じて点灯（赤外光を発光）し、消灯信号に応じて消灯する。光源１０は、被視認対象物上または被視認対象物の近傍に配置される。光源１０は、指向性が高い光を出射するものであることが好ましい。
　カメラ２０は、光源１０の近傍に配置され、撮影ユニット２外側に設定される撮影範囲（例えば画角α）を撮影する。カメラ２０は、撮影ユニット２外側に設定される撮影範囲に測定対象者１００が存在する場合、光源１０から出射された赤外光、または、赤外光以外の光（例えば自然光）によって照らされた測定対象者１００を撮影する。カメラ２０は、測定対象者１００の顔１０１または眼球１０３を撮影できる位置に配置される。測定対象者１００は、視認状態の判定対象となる人物である。カメラ２０は、光源１０から出射される赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置される。カメラ２０が赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置された場合、当該カメラ２０の光軸と光源１０の光軸とは重なる。カメラ２０の光軸と光源１０の光軸とが重なるとは、両方の光軸が同軸になることであるが、両方の光軸が並行であって反射光が受光可能な位置であればよい。カメラ２０は、少なくとも顔１０１全体が十分な解像度で撮影できることが好ましい。撮影範囲は、アプリケーションより要求される検出したい範囲より決めることができる。アプリケーションは、例えば、自動販売機の興味の計測、デジタルサイネージ等の広告の視認者の自動カウント、ディスプレイシステムの視認時のみ点灯させる（または輝度をあげる）といったものがある。カメラ２０は、センサモジュール２１と、レンズモジュール２９とで構成される。センサモジュール２１は、レンズモジュール２９を介して結像した像を電気信号に変換して画像データとして出力する。レンズモジュール２９は、複数の光学レンズを鏡筒に組み込んで構成され、被写体をイメージセンサ２２上に結像させる。
　センサモジュール２１は、図２に示すように、イメージセンサ２２と、システムコントローラ２３と、イメージシグナルプロセッサ２４と、Ｉ２Ｃインターフェース２５と、アウトプットインターフェース２６とを含んで構成される。
　イメージセンサ２２は、被写体の光学像を電気信号に変換するものであり、システムコントローラ２３、イメージシグナルプロセッサ２４に接続されている。イメージセンサ２２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含む。イメージセンサ２２は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ等の他の種類のイメージセンサであってもよい。
　システムコントローラ２３は、センサモジュール専用のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、イメージシグナルプロセッサ２４に接続され、これらを制御する。
　イメージシグナルプロセッサ２４は、イメージセンサ２２から出力された生の画像信号（例えばＲＡＷデータ）に対して画像処理を行う。イメージシグナルプロセッサ２４は、光学系の補正、欠陥画素の補正、ノイズ除去、高画質化のために明るさ、色、エッジなどの補正を行う。イメージシグナルプロセッサ２４は、アウトプットインターフェース２６を介して画像データを処理部３へ出力する。
　Ｉ２Ｃインターフェース２５は、例えば、２線式の配線ハードウェアを利用し、処理部３との間でカメラ設定信号等の入力を行う。カメラ設定信号は、Ｉ２Ｃインターフェース２５を介して処理部３からイメージシグナルプロセッサ２４に入力される。
　処理部３は、光源／カメラ制御部３０と、演算処理部３１とを含んで構成される。
　光源／カメラ制御部３０は、演算処理部３１から入力される制御信号に応じて、光源１０に対して点灯信号または消灯信号を出力して光源１０の発光を制御する。また、光源／カメラ制御部３０は、演算処理部３１から入力される制御信号に応じて、カメラ２０に対してシャッターＯＮ信号を出力して、カメラ２０のシャッター駆動を制御する。ここで制御信号は、例えば、イネーブル信号、ディスエイブル信号、レジスタの設定データなどを含む。
　演算処理部３１は、例えば、視認状態判定装置１における各種処理機能を実現する処理回路（不図示）を有する。処理回路は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の回路を意味する。演算処理部３１は、例えば、不図示の記憶回路（記憶部）から読み出したプログラムを実行することにより、各処理機能を実現する。また、演算処理部３１は、複数の画像を記憶部に記憶することが可能であり、記憶部に記憶された画像を読み出して画像処理を行う。
　演算処理部３１は、カメラ２０から入力された画像を画像処理し、測定対象者１００の視線方向が光源１０から出射される近赤外光の出射方向と反対方向にあるか否かを判定する視認判定機能を有する。具体的に、演算処理部３１は、撮影ユニット２から、光源１０を消灯して撮影された消灯時画像と、光源１０を点灯して撮影された点灯時画像とを取得する。演算処理部３１は、取得した消灯時画像から測定対象者１００の眼球１０３における瞳孔１０４で赤外光以外の光の反射光に対応する瞳孔画像領域Ｐを検出する。瞳孔画像領域Ｐは、図３、図４に示すように、各点灯時画像５０，５０Ａにおける瞳孔１０４が占める画像領域である。演算処理部３１は、取得した点灯時画像から測定対象者１００の眼球１０３において近赤外光の反射光に対応する赤外光反射光領域Ｑを検出する。赤外光反射光領域Ｑは、図３、図４に示すように、各点灯時画像５０，５０Ａにおける反射光が占める画像領域である。この反射光は、光源１０から出射される赤外光の出射方向と反対方向に反射する反射光である。
　図３に示す点灯時画像５０及び図４に示す点灯時画像５０Ａは、それぞれが撮影ユニット２に得られるものである。点灯時画像５０，５０Ａには、測定対象者１００の眼球１０３に対応する眼球画像領域５１、瞳孔１０４に対応する瞳孔画像領域Ｐ、近赤外光の反射光に対応する赤外光反射光領域Ｑが含まれる。点灯時画像５０では、瞳孔画像領域Ｐと、赤外光反射光領域Ｑとが重なっていない状態にある。一方、点灯時画像５０Ａでは、瞳孔画像領域Ｐと、赤外光反射光領域Ｑとが重なっている状態にある。
　演算処理部３１は、検出した瞳孔画像領域Ｐの位置と赤外光反射光領域Ｑの位置とを比較し、図４に示すように、瞳孔画像領域Ｐの位置に対して赤外光反射光領域の位置が重なっていると判定した場合、測定対象者１００の視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にあると判定する。この場合、処理部３が、測定対象者１００の視線方向が被視認対象物（または撮影ユニット２）を向いていることを示す判定結果信号を外部に出力してもよい。一方、演算処理部３１は、図３に示すように、瞳孔画像領域Ｐの位置に対して赤外光反射光領域の位置が重なっていない場合、測定対象者１００の視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にないと判定する。この場合、処理部３が判定結果を外部に出力しないことで、測定対象者１００の視線が被視認対象物に向いていないことを表すようにしてもよいし、処理部３が、測定対象者１００の視線方向が被視認対象物（または撮影ユニット２）に向いていないことを示す判定結果信号を外部に出力してもよい。
　次に、視認状態判定装置１にて実行される視認状態判定のアルゴリズムについて図５を参照して説明する。
　ステップＳ１では、演算処理部３１は、光源／カメラ制御部３０に制御信号を出力し、光源／カメラ制御部３０から光源１０を消灯させる消灯信号を出力させて、光源１０を消灯させる。なお、光源１０を消灯させるために光源／カメラ制御部３０が消灯信号を出力するようにしているが、これに限らず、光源１０へのＬＥＤパルス駆動信号の出力を停止してもよい。
　ステップＳ２では、演算処理部３１は、光源／カメラ制御部３０に制御信号を出力することで、光源／カメラ制御部３０からカメラ２０にシャッターＯＮ信号を出力させて、カメラ２０による撮影を行う。カメラ２０は、光源／カメラ制御部３０から入力されたシャッターＯＮ信号に応じて撮影を行い、得られた画像（消灯時画像）のデータを演算処理部３１に出力する。
　ステップＳ３では、演算処理部３１は、カメラ２０から入力された消灯時画像のデータに基づいて瞳孔位置検出を行う。瞳孔位置検出の詳細は後述する。
　ステップＳ４では、演算処理部３１は、光源／カメラ制御部３０に制御信号を出力し、光源／カメラ制御部３０から光源１０を点灯させる点灯信号を出力させて、光源１０を点灯させる。なお、光源１０を点灯させるために光源／カメラ制御部３０が点灯信号を出力するようにしているが、これに限らず、光源１０へのＬＥＤパルス駆動信号の出力を開始してもよい。
　ステップＳ５では、演算処理部３１は、光源／カメラ制御部３０に制御信号を出力することで、光源／カメラ制御部３０からカメラ２０にシャッターＯＮ信号を出力させて、カメラ２０による撮影を行う。カメラ２０は、光源／カメラ制御部３０から入力されたシャッターＯＮ信号に応じて撮影を行い、得られた画像（点灯時画像）のデータを演算処理部３１に出力する。
　ステップＳ６では、演算処理部３１は、カメラ２０から入力された点灯時画像のデータに基づいて反射光位置検出を行う。反射光位置検出の詳細は後述する。
　ステップＳ７では、演算処理部３１は、ステップＳ３で得られた瞳孔画像領域Ｐと、ステップＳ６で得られた赤外光反射光領域Ｑとを比較し、瞳孔画像領域Ｐの位置に対して赤外光反射光領域Ｑの位置が重なっているか否かを判定し、測定対象者１００の視認判定を行う。
　ステップＳ８では、演算処理部３１は、ステップＳ７で判定された判定結果を外部に出力して、本処理を終了する。
　次に、図５のステップＳ３における瞳孔位置検出のアルゴリズムの詳細について図６を参照して説明する。
　ステップＳ１１では、演算処理部３１は、カメラ２０から消灯時画像の映像信号を１フレーム分取り込む。
　ステップＳ１２では、演算処理部３１は、グレースケール化を含む、画像のデータ形式の変換（下処理）を行う。例えば、１フレーム内の画素位置毎に、輝度を「０～２５５」の範囲の階調で表す８ビットデータを、撮影時のフレーム内走査方向に合わせて縦方向及び横方向に並べた二次元（２Ｄ）配列の画像データを生成する。
　ステップＳ１３では、演算処理部３１は、例えば「Ｖｉｏｌａ－Ｊｏｎｅｓ法」を用いて顔検出を行い、１フレームの二次元画像データの中から顔を含む顔画像領域を抽出する。例えば、顔の陰影差を特徴とし「Ｂｏｏｓｔｉｎｇ」を用いた学習によって作成された検出器を使って顔画像領域を抽出する。「Ｖｉｏｌａ－Ｊｏｎｅｓ法」の技術は、例えば以下の文献に示されている。「Ｐ．ｖｉｏｌａ　ａｎｄ　Ｍ．Ｊ．Ｊｏｎｅｓ，Ｒａｐｉｄ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ　Ｕｓｉｎｇ　ａ　Ｂｏｏｓｔｅｄ　Ｃａｓｃａｄｅ　ｏｆ　Ｓｉｍｐｌｅ　Ｆｅａｔｕｒｅｓ，　ＩＥＥＥ　ＣＶＰＲ（２００１）．」
　ステップＳ１４では、演算処理部３１は、ステップＳ１３で抽出した顔画像領域から、例えば上述したＶｉｏｌａ－Ｊｏｎｅｓ法を用いて目１０２に対応する目画像領域を抽出する。
　ステップＳ１５では、演算処理部３１は、ステップＳ１４で検出した目１０２に対応する矩形領域のデータについて、テンプレートマッチングの手法を適用して、瞳孔１０４の粗探索を行う。具体的には、目１０２周辺を切り出した目画像領域を２値化した画像に対して、テンプレートとして黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の画像中心（黒丸の中心）の座標を目画像領域中の瞳孔１０４の中心位置とし、最も尤度の大きかった黒丸画像の半径を目画像領域中の瞳孔１０４の半径とする。なお、演算処理部３１は、瞳孔１０４が検出できなかった場合は、測定対象者１００の視線方向が被視認対象物（または撮影ユニット２）を向いていないものと判定してもよい。
　ステップＳ１６では、演算処理部３１は、ステップＳ１５で探索した瞳孔１０４の中心位置及び半径を利用し、パーティクルフィルタの手法を適用して、より精度の高い瞳孔１０４の中心位置の座標及び中心位置からの半径を検出する。演算処理部３１は、１フレームの画像について、検出した瞳孔１０４の中心位置の座標及び中心位置からの半径を記憶部に記憶する。
　ここで、上記ステップＳ１５，Ｓ１６における瞳孔画像領域Ｐの探索処理の詳細について図７を参照して説明する。
　Ｄ４１では、演算処理部３１は、１フレーム全体の消灯時画像の中から目及びその周辺の矩形領域を目画像領域として切り出す。
　Ｄ４２では、演算処理部３１は、切り出した目画像領域に基づいて、画素毎の階調が黒／白の二値のみになるように２値化したデータを生成し、このデータに対してテンプレートマッチングを実施する。すなわち、瞳孔１０４の形状に似た黒丸形状の画像をテンプレートとして利用し、このテンプレートを画像上で走査しながら、特徴が尤も似ている大凡の瞳孔１０４の位置を探索し、その位置および瞳孔の半径または直径を特定する。
　Ｄ４３では、演算処理部３１は、切り出した目画像領域に対して、ソーベルフィルタによるエッジ検出を行う。具体的には、目画像領域に対して、左から右に向かって水平方向に順次に走査し、輝度変化のない部分では黒（階調値：０）を出力し、輝度変化の勾配が大きいほど白（階調値：２５５）に近づくようにして、エッジを検出する。
　Ｄ４４では、演算処理部３１は、Ｄ４２で得られた大凡の瞳孔１０４の位置を起点とし、Ｄ４３で検出されたエッジ検出された目画像領域に対してパーティクルフィルタの処理を行い、瞳孔画像領域Ｐを取得する（Ｄ４５）。
　次に、図５のステップＳ６における反射光位置検出のアルゴリズムの詳細について図８を参照して説明する。
　ステップＳ２１では、演算処理部３１は、図５のステップＳ３の瞳孔位置検出にて抽出した顔画像領域に対応する顔画像領域の（座標）位置に基づいて、点灯時画像から目周辺を含む目画像領域を抽出する。ここで演算処理部３１は、後段の処理のために、顔画像領域から目画像領域をグレースケールにして切り出し、当該目画像領域に対応する画像を拡大、縮小処理により、予め設定されたサイズに変換する。なお、ステップＳ３１では、演算処理部３１は、図５のステップＳ３の瞳孔位置検出にて抽出した顔画像領域に対応する顔画像領域の（座標）位置に基づいて、点灯時画像から目画像領域を抽出しているが、これに限定されるものではない。例えば、演算処理部３１は、図６のステップＳ１２～ステップＳ１５の処理により点灯時画像から目画像領域を抽出するものであってもよい。
　ステップＳ２２では、演算処理部３１は、ステップＳ２１で抽出した目画像領域に対して２値化の処理を行う。ここでは、演算処理部３１は、閾値を利用し、閾値以上の画素については画素値を１とし、閾値より低い画素は０とする。光源１０がＬＥＤである場合、反射光は高い輝度値（白色）であることから、閾値は２００以上の高い（明るい）値を設定するとよい。例えば、図１０に示す点灯時画像５０Ｂに対して２値化処理が行われた場合、例えば、赤外光反射光領域Ｑに対応する領域Ｒが、閾値以上の輝度値を有するものとして明確になる。２値化された目画像領域５０Ｂａは、点灯時画像５０Ｂを２値化処理したものであり、領域Ｒが白色、領域Ｒ以外が黒色となっている。図１１に示す点灯時画像５０Ｃに対して２値化処理を行った場合、２値化された目画像領域５０Ｃａでは、領域Ｒ１，Ｒ２，Ｒ３が白色、領域Ｒ１～Ｒ３以外が黒色となっている。２値化された目画像領域５０Ｃａにおいて、領域Ｒ３が、赤外光反射光領域Ｑに対応する領域となる。
　ステップＳ２３では、演算処理部３１は、ステップＳ２２で２値化した目画像領域に対して反射光位置探索を行う。反射光位置探索の詳細は後述する。
　ステップＳ２４では、演算処理部３１は、ステップＳ２３で検出した赤外光反射光領域Ｑの位置を記憶部に記憶（保存）して、リターンする。
　次に、図８のステップＳ２３における反射光位置探索のアルゴリズムの詳細について図９を参照して説明する。
　ステップＳ３１では、演算処理部３１は、２値化した目画像領域に対して領域分割を行う。演算処理部３１は、図１１に示すように、２値化した目画像領域５０Ｃａにおいて、隣接する画素値が１（２値化された目画像領域における白色部分）の画素を結合し、いくつかの領域に分割する。図示例では、２つの領域Ｒ１～Ｒ３に分割される。
　ステップＳ３２では、演算処理部３１は、ステップＳ３１で分割した各領域（Ｒ，Ｒ１～Ｒ３）の面積を算出する。面積は、各領域の画素値の数と対応する。例えば、Ｋ番目の領域Ｒｋに対応する面積Ａｋは次式（１）で求められる。
　Ａｋ＝ｎ（Ｒｋ）　　　　　　　・・・（１）
　　ｎ（Ｒｋ）：領域Ｒｋ（ｋ：１，２，…）に含まれる点の個数
　ステップＳ３３では、演算処理部３１は、ステップＳ３２で算出した複数の領域Ｒｋのうち、想定面積値に最も近い面積を有する領域Ｒｋを抽出する。光源１０の大きさは一定であり、切り出した目画像領域の大きさを固定値にした上で拡大縮小されているため、反射光も一定の大きさに映ることが想定される。そのため、赤外光反射光領域Ｑに対応する面積を想定面積値として設定し、その面積値に最も近いものを抽出する。図１２に示すように、領域Ｒ１に対応する領域面積は２３６［ｍｍ２］、領域Ｒ２に対応する領域面積は９１［ｍｍ２］、領域Ｒ３に対応する領域面積が２８［ｍｍ２］となった場合、想定面積値３０［ｍｍ２］に最も近い面積を有する領域Ｒ３が抽出される。ここで想定面積値は、事前に設定する必要があり、例えば、赤外光の大きさやカメラから顔までの想定距離によって算出することができる。
　ステップＳ３４では、演算処理部３１は、ステップＳ３３で抽出した領域Ｒ３に基づいて、その中心位置を算出して、本処理をリターンする。具体的には、演算処理部３１は、抽出した領域Ｒ３に対応する赤外光反射光領域Ｑの中心位置の座標Ｃ（ｘ，ｙ）を求める。ここで中心位置は、全画素の座標値を足し合わせて画素数で割った値となる。演算処理部３１は、求めた赤外光反射光領域Ｑの中心位置の座標Ｃ（ｘ，ｙ）を記憶部に記憶する。
Figure JPOXMLDOC01-appb-M000001
 　
　
　
　Ｃ（ｘ，ｙ）：赤外光反射光領域の中心位置の座標
　Ｔ（ｘ，ｙ）：赤外光反射光領域内にある点Ｔの座標値
　Ｒｎ：赤外光反射光領域に含まれる点群の集合であり、ここでは目画像領域５０ＣａにおけるＲ３の集合を指す。
　このように、視認状態判定装置１は、図５のステップＳ３で得られた瞳孔画像領域Ｐと、ステップＳ６で得られた赤外光反射光領域Ｑの位置関係に基づいて、測定対象者１００の視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にあるか否かを判定する。ここで、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっている場合、測定対象者１００の視線方向が被視認対象物（または撮影ユニット２）を向いているものと判定する。一方、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっていない場合、測定対象者１００の視線方向が被視認対象物（または撮影ユニット２）を向いていないものと判定する。
　瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっていると判定する条件には、瞳孔画像領域Ｐ内にある全画素の座標値に対して赤外光反射光領域Ｑ内にある全画素の座標値が、例えば８０％以上重なっていることが含まれる。または、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっていると判定する条件には、例えば、瞳孔画像領域Ｐの中心位置の座標に対して赤外光反射光領域Ｑの中心位置の座標同士が重なっていることが含まれる。さらに、瞳孔画像領域Ｐの中心位置の座標に対して赤外光反射光領域Ｑの中心位置の座標が離間している場合、離間している値（距離）が閾値（画素値）以下である場合には、２つの反射光領域Ｐ，Ｑが重なっていると判定してもよい。または、瞳孔画像領域Ｐ内にある全画素の座標値に対して赤外光反射光領域Ｑ内にある全画素の座標値が、例えば８０％以上重なっていない場合であっても、瞳孔画像領域Ｐの中心位置の座標と赤外光反射光領域Ｑの中心位置の座標との離間距離（画素値）が閾値以下であるときは、２つの反射光領域Ｐ，Ｑが重なっていると判定してもよい。または、瞳孔画像領域Ｐの中心位置の座標と赤外光反射光領域Ｑの中心位置の座標との離間距離（画素値）が閾値以下でない場合であっても、瞳孔画像領域Ｐ内にある全画素の座標値に対して赤外光反射光領域Ｑ内にある全画素の座標値が、例えば８０％以上重なっているときは、２つの反射光領域Ｐ，Ｑが重なっていると判定してもよい。なお、上記８０％の割合は、一例であり、これに限定されるものではない。
　なお、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっていない場合であっても、瞳孔画像領域Ｐの中心位置と赤外光反射光領域Ｑの中心位置との離間距離（画素値）が予め設定された閾値（画素値）以内であれば、２つの反射光領域Ｐ，Ｑが重なっていると判定してもよい。上記閾値は、いずれも任意に設定可能であるが、測定対象者１００の視線方向が略被視認対象物（または撮影ユニット２）を向いているとみなされる値であることが好ましい。
　以上説明した視認状態判定装置１は、赤外光を出射する光源１０、及び、光源１０により照らされた測定対象者１００の眼球１０３を撮影するカメラ２０を有する撮影ユニット２と、撮影ユニット２により撮影された画像に基づいて、測定対象者１００の視線方向を判定する処理部３とを備える。カメラ２０は、光源１０から出射される赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置される。処理部３は、撮影ユニット２から消灯時画像と点灯時画像をそれぞれ取得し、消灯時画像から測定対象者１００の眼球１０３における瞳孔１０４で赤外光以外の光の反射光に対応する瞳孔画像領域Ｐを検出し、点灯時画像から眼球１０３において赤外光の反射光に対応する赤外光反射光領域Ｑを検出する。処理部３は、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっている場合、測定対象者１００の視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にあると判定する。一方、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっていない場合、視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にないと判定する。
　上記構成により、測定対象者１００の視線が撮影ユニット２から出射された赤外光の出射方向と反対方向に向いているか否かを容易に判定することができる。例えば、赤外光の出射方向と反対方向の延長線上に被測定対象物（例えば、測定対象者がドライバーであれば車室内のメータ等）があれば、ドライバーが当該メータを視認しているか否かを容易に判定することができる。また、従来、測定対象者１００の視線方向をより精度よく検出するために、例えば、測定対象者１００の顔１０１の位置及び目１０２の位置を検出した後、瞳孔１０４の位置を特定する等、複雑な画像処理を複数回に渡って行わなければならない。上記視認状態判定装置１は、測定対象者１００の視線が赤外光の出射方向と反対方向に向いているか否かを判定するのみであり、画像処理にかかる負荷を低減することができる。
　上記視認状態判定装置１は、視認状態判定システムに対して適用することができる。視認状態判定システムは、光源１０と、光源１０及び光源１０以外の自然光によって照らされた測定対象者１００の眼球１０３を撮影するカメラ２０とを有する撮影ユニット２と、撮影ユニット２によって撮影された画像に基づいて、測定対象者１００の視線方向に位置する被視認対象物を視ているか否かを判定する処理装置（処理部３）とを備える。カメラ２０は、光源１０から出射される赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置される。処理装置は、撮影ユニット２から消灯時画像と点灯時画像をそれぞれ取得し、消灯時画像から測定対象者１００の眼球１０３における瞳孔１０４で赤外光以外の光の反射光に対応する瞳孔画像領域Ｐを検出し、点灯時画像から眼球１０３において赤外光の反射光に対応する赤外光反射光領域Ｑを検出する。処理装置は、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっている場合、測定対象者１００の視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にあると判定する。一方、瞳孔画像領域Ｐに対して赤外光反射光領域Ｑが重なっていない場合、視線方向が出射方向と反対方向の延長線上に位置する被視認対象物にないと判定する。
　上記構成により、上述した視認状態判定装置１で得られる効果と同様の効果を得ることができる。
　［変形例］
　上記実施形態では、視認状態判定装置１は、１つの処理部３に対して１つの撮影ユニット２が接続された構成を有するが、これに限定されるものではない。例えば、１つの処理部３に対して複数の撮影ユニット２が接続されていてもよい。図１３は、本実施形態の変形例に係る視認状態判定装置の概略構成を示す模式図である。図１４及び図１５は、変形例に係る視認状態判定装置にて実行される視認状態判定処理の流れを示すフローチャート図である。
　変形例に係る視認状態判定装置１Ａは、複数の撮影ユニット２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅを有する。本実施形態における撮影ユニット２Ａ～２Ｅは、測定対象者１００、例えば車両のドライバーに対して複数配置される。撮影ユニット２Ａは、車室内のバックミラーに配置される。この場合、被視認対象物１１０Ａは、バックミラーである。撮影ユニット２Ｂ，２Ｃは、左右のサイドミラーに配置される。この場合、被視認対象物１１０Ｂ，１１０Ｃは、左右のサイドミラーである。撮影ユニット２Ｄは、車室内のメータパネルに配置される。この場合、被視認対象物１１０Ｄは、メータパネルである。撮影ユニット２Ｅは、車室内のナビゲーションシステムのディスプレイ近傍に配置される。この場合、被視認対象物１１０Ｅは、ナビゲーションシステムのディスプレイである。
　処理装置３Ａは、処理部３と同様の構成を有するが、各撮影ユニット２Ａ～２Ｅから取得した消灯時画像及び点灯時画像に基づいて、複数の撮影ユニット２Ａ～２Ｅのうち、いずれかの撮影ユニット２に対応する出射方向と反対方向に視線方向があるか否かを判定する。
　次に、視認状態判定装置１Ａにて実行される視認状態判定のアルゴリズムについて図１４、図１５を参照して説明する。
　図１４において、ステップＳ５１では、処理装置３Ａは、光源／カメラ制御部３０から光源１０を消灯させる消灯信号を出力させて、撮影ユニット２Ａ～２Ｅにおける全ての光源１０を消灯させる。
　ステップＳ５２では、処理装置３Ａは、光源／カメラ制御部３０からカメラ２０にシャッターＯＮ信号を出力させて、撮影ユニット２Ａ～２Ｅにおける全てのカメラ２０による撮影を行う。カメラ２０は、光源／カメラ制御部３０から入力されたシャッターＯＮ信号に応じて撮影を行い、得られた画像（消灯時画像）のデータを処理装置３Ａに出力する。
　ステップＳ５３では、処理装置３Ａは、撮影ユニット２Ａ～２Ｅから入力された消灯時画像のデータに基づいてそれぞれの瞳孔位置検出を行う。
　ステップＳ５４では、処理装置３Ａは、上述した瞳孔位置検出を行い、撮影ユニット２Ａ～２Ｅに対応する瞳孔画像領域Ｐを取得して記憶する。
　ステップＳ５５では、処理装置３Ａは、カウンタＮに０を代入する。カウンタは、光源１０の数に対応している。例えば、カウンタＮ＝５である。なお、カウンタＮは、撮影ユニット２の数であっても、カメラ２０の数であってもよい。
　ステップＳ５６では、処理装置３Ａは、カウンタＮに１を加算する。ステップＳ５７では、処理装置３Ａは、Ｎ番目の撮影ユニット２に対応する光源１０を点灯させる。ステップＳ５８では、処理装置３Ａは、Ｎ番目の撮影ユニット２に対応するカメラ２０で撮影を行う。
　図１５において、ステップＳ５９では、処理装置３Ａは、上述した反射光位置検出を行い、Ｎ番目の撮影ユニット２に対応する赤外光反射光領域Ｑを取得して記憶する。
　ステップＳ６０では、処理装置３Ａは、ステップＳ５３で得られたＮ番目の撮影ユニット２に対応する瞳孔画像領域Ｐと、ステップＳ６９で得られたＮ番目の撮影ユニット２に対応する赤外光反射光領域Ｑとを比較し、瞳孔画像領域Ｐの位置に対して赤外光反射光領域Ｑの位置が重なっているか否かを判定し、測定対象者１００の視認判定を行う。
　ステップＳ６１では、処理装置３Ａは、ステップＳ６０で判定された判定結果を外部に出力する。ステップＳ６２では、処理装置３Ａは、Ｎ番目の撮影ユニット２に対応する光源１０を消灯する。
　ステップＳ６３では、処理装置３Ａは、カウンタＮが光源数と同数になったか否かを判定し、カウンタＮが光源数と同数になった場合は、ステップＳ５１に戻る一方、カウンタＮが光源数と同数になっていない場合、ステップＳ５６へ移行し、ステップＳ５６～Ｓ６３をＮ回繰り返す。
　上記実施形態の変形例に係る視認状態判定装置１Ａは、視認状態判定装置１に対して複数の撮影ユニット２Ａ～２Ｅを備える。これにより、撮影ユニット２が測定対象者１００に対して複数配置されているので、例えば、測定対象者１００が見るべき複数の被視認対象物１１０Ａ～１１０Ｅのそれぞれに撮影ユニット２が配置されていれば、測定対象者１００がどの被視認対象物１１０を視ているかを容易に判定することができる。
　また、上記実施形態及び変形例では、視認状態判定装置１は、人感センサ等で人（測定対象者）を検出した場合に、視認状態を判定するように構成されていてもよい。
　また、上記実施形態及び変形例では、本発明を視認状態判定装置１に適用した場合について説明したが、撮影ユニット２と、処理部３に相当する処理装置とを備える視認状態判定システムに適用しても、上述した効果を得ることが可能である。
　また、上記実施形態及び変形例では、演算処理部３１は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。演算処理部３１は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、演算処理部３１が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、演算処理部３１が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
　また、上記実施形態及び変形例では、視認状態判定装置１は、自動車等の車両に適用されているが、これに限定されず、例えば車両以外の船舶や航空機等に適用してもよい。また、視認状態判定装置１は、自動販売機や通路上の壁面に設置された広告板に適用してもよい。この場合、被視認対象物は、例えば、自動販売機で販売されている商品であり、デジタルサイネージ等である。また、視認状態判定装置１は、撮影ユニット２と、処理部３とに分かれているが、これに限定されず、一体で構成されていてもよい。
　以上で説明したプロセッサによって実行されるプログラムは、記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。
　１　視認状態判定装置
　２　撮影ユニット
　３　処理部
　１０　光源
　２０　カメラ
　２１　センサモジュール
　２２　イメージセンサ
　２３　システムコントローラ
　２４　イメージシグナルプロセッサ
　２５　Ｉ２Ｃインターフェース
　２６　アウトプットインターフェース
　２９　レンズモジュール
　３０　光源／カメラ制御部
　３１　演算処理部
　４０　基板
　５０，５０Ａ　点灯時画像
　５１　眼球画像領域
　１００　測定対象者
　１０１　顔
　１０２　目
　１０３　眼球
　１０４　瞳孔
　１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ，１１０Ｅ　被視認対象物
　Ｐ　瞳孔画像領域
　Ｑ　赤外光反射光領域
　Ｒ　領域

Claims (3)

  1. 　赤外光を出射する光源と、前記赤外光及び前記赤外光以外の光によって照らされた測定対象者の少なくとも眼球を撮影するカメラとを有する撮影ユニットと、
    　前記撮影ユニットによって撮影された画像に基づいて、前記測定対象者の視線方向を判定する処理部と、を備え、
    　前記カメラは、
    　前記赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置され、
    　前記処理部は、
    　前記撮影ユニットから、前記光源を消灯して撮影された消灯時画像と、前記光源を点灯して撮影された点灯時画像とを取得し、
    　前記消灯時画像から前記赤外光以外の光によって照らされた前記測定対象者の眼球における瞳孔の瞳孔画像領域を検出し、
    　前記点灯時画像から前記眼球において前記赤外光の反射光に対応する赤外光反射光領域を検出し、
    　前記瞳孔画像領域に対して前記赤外光反射光領域が重なっている場合、前記測定対象者の視線方向が前記出射方向と反対方向の延長線上に位置する被視認対象物にあると判定し、
    　前記瞳孔画像領域に対して前記赤外光反射光領域が重なっていない場合、前記視線方向が前記出射方向と反対方向の延長線上に位置する被視認対象物にないと判定する、
    　ことを特徴とする視認状態判定装置。
  2. 　前記撮影ユニットは、
    　前記測定対象者に対して複数配置され、
    　前記処理部は、
    　各前記撮影ユニットから取得した前記消灯時画像及び前記点灯時画像に基づいて、複数の前記撮影ユニットのうち、いずれかの撮像ユニットに対応する出射方向と反対方向の延長線上に視線方向があるかを判定する、
    　請求項１に記載の視認状態判定装置。
  3. 　赤外光を出射する光源と、前記赤外光及び前記赤外光以外の光によって照らされた測定対象者の少なくとも眼球を撮影するカメラとを有する撮影ユニットと、
    　前記撮影ユニットによって撮影された画像に基づいて、前記測定対象者の視線方向に位置する被視認対象物を視ているか否かを判定する処理装置と、を備え、
    　前記カメラは、
    　前記赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置され、
    　前記処理装置は、
    　前記撮影ユニットから、前記光源を消灯して撮影された消灯時画像と、前記光源を点灯して撮影された点灯時画像とを取得し、
    　前記消灯時画像から前記赤外光以外の光によって照らされた前記測定対象者の眼球における瞳孔の瞳孔画像領域を検出し、
    　前記点灯時画像から前記眼球において前記赤外光の反射光に対応する赤外光反射光領域を検出し、
    　前記瞳孔画像領域に対して前記赤外光反射光領域が重なっている場合、前記測定対象者の視線方向が前記出射方向と反対方向の延長線上に位置する前記被視認対象物にあると判定し、
    　前記瞳孔画像領域に対して前記赤外光反射光領域が重なっていない場合、前記視線方向が前記出射方向と反対方向の延長線上に位置する前記被視認対象物にないと判定する、
    　ことを特徴とする視認状態判定システム。
PCT/JP2022/042401 2021-11-29 2022-11-15 視認状態判定装置及び視認状態判定システム WO2023095679A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021192665A JP2023079280A (ja) 2021-11-29 2021-11-29 視認状態判定装置及び視認状態判定システム
JP2021-192665 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095679A1 true WO2023095679A1 (ja) 2023-06-01

Family

ID=86539562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042401 WO2023095679A1 (ja) 2021-11-29 2022-11-15 視認状態判定装置及び視認状態判定システム

Country Status (2)

Country Link
JP (1) JP2023079280A (ja)
WO (1) WO2023095679A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029702A (ja) * 2006-07-31 2008-02-14 National Univ Corp Shizuoka Univ 瞳孔を検出する方法及び装置
JP2020179040A (ja) * 2019-04-26 2020-11-05 株式会社富士通コンピュータテクノロジーズ 視線検出システム、視線検出装置、及び視線検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029702A (ja) * 2006-07-31 2008-02-14 National Univ Corp Shizuoka Univ 瞳孔を検出する方法及び装置
JP2020179040A (ja) * 2019-04-26 2020-11-05 株式会社富士通コンピュータテクノロジーズ 視線検出システム、視線検出装置、及び視線検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KITAZUMI. KAZUNORI ET AL.: "Pupil Detection from Visible Light Corneal Image Using Deep Learning and Application to Gaze Estimation", IEICE TECHNICAL REPORT, vol. 117, no. 392, 2018, XP009546095 *

Also Published As

Publication number Publication date
JP2023079280A (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
JP7369921B2 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
US10440355B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US9852339B2 (en) Method for recognizing iris and electronic device thereof
KR100682067B1 (ko) 차량 전조등들이나 또는 타의 차량 장비를 제어하기 위한 영상 처리 시스템
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
JP5435307B2 (ja) 車載カメラ装置
US20090278922A1 (en) Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
US20230179841A1 (en) Gating camera
JP6553624B2 (ja) 計測機器、及びシステム
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
JP2013005234A5 (ja)
JP6782433B2 (ja) 画像認識装置
JP2917953B2 (ja) 視点位置検出装置
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
CN110199294A (zh) 为机动车检测交通灯阶段的设备和方法
EP2976990B1 (en) Pupil detection device and pupil detection method
WO2023095679A1 (ja) 視認状態判定装置及び視認状態判定システム
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
JP2007089094A (ja) 歩行者検知装置
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
US10829042B2 (en) Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same
US11272086B2 (en) Camera system, vehicle and method for configuring light source of camera system
US20160321509A1 (en) Image processing device, warning device and method for processing image
WO2013062401A1 (en) A machine vision based obstacle detection system and a method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898463

Country of ref document: EP

Kind code of ref document: A1