WO2020158413A1 - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

映像処理装置、映像処理方法および映像処理プログラム Download PDF

Info

Publication number
WO2020158413A1
WO2020158413A1 PCT/JP2020/001278 JP2020001278W WO2020158413A1 WO 2020158413 A1 WO2020158413 A1 WO 2020158413A1 JP 2020001278 W JP2020001278 W JP 2020001278W WO 2020158413 A1 WO2020158413 A1 WO 2020158413A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
eyelid
iris
image
value
Prior art date
Application number
PCT/JP2020/001278
Other languages
English (en)
French (fr)
Inventor
久 小磯
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP20747620.1A priority Critical patent/EP3920525A4/en
Priority to CN202080008743.7A priority patent/CN113287298B/zh
Publication of WO2020158413A1 publication Critical patent/WO2020158413A1/ja
Priority to US17/389,451 priority patent/US20210357619A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Definitions

  • the present invention relates to a video processing device, a video processing method, and a video processing program.
  • the image obtained by photographing the outside of the vehicle or the inside of the vehicle is stored in a storage device.
  • the state of the vehicle interior is stored as an image, the image centered on the driver is stored, and the like.
  • Patent Document 1 discloses an image processing device that performs image processing on an image obtained by photographing a subject irradiated with infrared light.
  • the control microcomputer of the image processing device controls the face detection unit to detect the face area of the subject in the image, and detects the iris portion from the face area.
  • the control microcomputer performs an iris correction process of controlling the brightness changing unit to reduce the brightness of the iris portion to a predetermined brightness.
  • the image processing apparatus obtains an image in which the impression of the face does not feel uncomfortable by the iris correction process when irradiating infrared light in a dark place to photograph a subject such as a person.
  • the conventional image processing apparatus described in Patent Document 1 obtains an image in which the impression of the face does not feel uncomfortable by lowering the brightness of the iris part photographed at high brightness. For example, the degree of opening and closing the eyes based on the face image. It did not consider analyzing the condition of the subject. For example, in order to detect the contour of an eye or the like by an image processing apparatus and analyze the eye portion such as the degree of eye open/closed, it is necessary to adjust not only the iris portion in a captured image but also the eyelid and the like.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a video processing device, a video processing method, and a video processing program capable of performing brightness adjustment suitable for analysis of an eye part. To provide.
  • An image processing apparatus is an image acquisition unit that acquires an image of a face of a subject to be imaged, and image recognition that recognizes an iris part and an eyelid part from the image acquired by the image acquisition unit.
  • Section a brightness value acquisition section for acquiring respective brightness values in the iris part and the eyelid part recognized by the video recognition section, and brightness values in the iris part and the eyelid part acquired by the brightness value acquisition section, respectively.
  • a brightness adjusting unit that adjusts the brightness value of the image so as to approach a predetermined iris brightness upper limit threshold in the iris portion and a predetermined eyelid brightness lower limit threshold in the eyelid part.
  • This image processing method includes an image acquisition step of acquiring an image of a face of a subject, an image recognition step of recognizing an iris part and an eyelid part from the image acquired by the image acquisition step, and the image recognition.
  • the luminance value acquisition step of acquiring the respective luminance values in the iris portion and the eyelid portion recognized by the step, and the luminance values in the iris portion and the eyelid portion acquired in the luminance value acquisition step are respectively the predetermined iris in the iris portion.
  • a brightness adjusting step of adjusting the brightness value of the image so as to approach the brightness upper limit threshold value and the predetermined eyelid brightness lower limit threshold value in the eyelid portion.
  • FIG. 3 is a block diagram showing a configuration of a driver monitor including the video processing device according to the first embodiment.
  • FIG. FIG. 2A is a schematic diagram for explaining acquisition of a brightness value when the eyes are open
  • FIG. 2B is a schematic view for explaining acquisition of a brightness value when the eyes are closed.
  • FIG. FIG. 3A is a schematic diagram showing the eyes when the image is taken by the visible light camera
  • FIG. 3B is a schematic diagram showing the eyes when the image is taken by the near infrared camera.
  • FIG. 4A and FIG. 4B are schematic diagrams showing the eyes when the images are taken in a scene in which the angle of the eyes with respect to the camera and the situation of the light are different.
  • FIG. 6A is a schematic diagram showing an example in which a portion having a high luminance value is generated by reflection of eyeglasses
  • FIG. 6B is a schematic diagram showing an example in which a portion having a high luminance value is generated by corneal reflection. It is a schematic diagram for demonstrating contrast adjustment.
  • FIG. 1 is a block diagram showing the configuration of a driver monitor 100 including the video processing device 30 according to the first embodiment.
  • the driver monitor 100 is mounted on a vehicle and continuously photographs the interior of the vehicle in time.
  • the driver monitor 100 may record the captured image, or may discard it without recording it.
  • the driver monitor 100 is arranged, for example, on the dashboard below the windshield of the vehicle.
  • the image processing device 30 of the driver monitor 100 images, for example, a driver who is in a vehicle as an imaged object, and recognizes the eyes from the face of the imaged object.
  • the image processing device 30 acquires the brightness value of the eyelid part and the iris part and adjusts each brightness value.
  • the brightness value of the iris part may be high, and the contrast between the eyelid part and the iris part, which are generally photographed with high brightness, is reduced.
  • the image processing device 30 adjusts the brightness so as to increase the contrast according to the brightness values of the eyelid part and the iris part.
  • the contours of the left and right eyes of the image whose brightness has been adjusted by the image processing device 30 can be easily discriminated, which makes the image suitable for analysis of the eye opening and closing degree and the inclination of the left and right eyes. Boundaries and the like are well identified.
  • the image processing device 30 may be provided with the analysis function related to the eye part such as the degree of opening/closing of the eyes and the inclination of the left and right eyes. Further, the eye part may be analyzed in an external device based on the image stored or output by the image processing device 30.
  • the analysis function regarding the eye part such as the degree of opening/closing of the eyes and the inclination of the left and right eyes is used, for example, to determine the degree of drowsiness in the imaged object, the emotional state (for example, a normal state, a tense state, etc.).
  • the driver monitor 100 includes an imaging unit 10, a recording unit 20, a video processing device 30, an external input unit 40, an external output unit 41, and the like.
  • the image capturing unit 10 is a camera having a detector such as a CCD, and captures an image of, for example, a driver in a vehicle as an image capturing target.
  • the imaging unit 10 appropriately irradiates the imaged object with infrared light so that the imaged object such as a driver can be imaged even in the dark at night.
  • the imaging unit 10 acquires video continuously in time and sends it to the video acquisition unit 31 of the video processing device 30 described later.
  • the recording unit 20 is, for example, a removable medium such as an SD card or a USB memory, a hard disk, or the like, and is capable of recording the image acquired by the image acquisition unit 31 and deleting it.
  • a removable medium such as an SD card or a USB memory, a hard disk, or the like
  • the recording unit 20 may not be provided.
  • the recording unit 20 By making the recording unit 20 attachable to and detachable from the driver monitor 100, the recording unit 20 can be detached from the driver monitor 100 and the image can be played back by another PC or the like.
  • the external input unit 40 acquires vehicle speed information and position information from an external device. Further, the external output unit 41 outputs the video information and the like processed by the video processing device 30 to the external device.
  • the driver monitor 100 may add the speed information, the position information, and the like acquired by the external input unit 40 to the video and record or output the video.
  • the video processing device 30 includes a video acquisition unit 31, a video recognition unit 32, a brightness value acquisition unit 33, a brightness difference calculation unit 34, and a brightness adjustment unit 35.
  • the video processing device 30 is configured by, for example, a CPU and the like, and operates in accordance with a computer program to execute the processing by the above-described units.
  • the storage unit 30a includes a data storage device such as a RAM (Random Access Memory), a flash memory, and a hard disk storage device, and stores a computer program executed by the video processing device 30.
  • the storage unit 30a also stores a recognition dictionary for recognizing the face, eyes, etc. of the imaged subject from the captured image.
  • the video acquisition unit 31 acquires the video captured by the imaging unit 10, performs processing such as data compression, and outputs the video to the recording unit 20.
  • the image acquisition unit 31 may be configured to include the imaging unit 10.
  • the image recognition unit 32 recognizes the face or eyes of the imaged object from the image input from the image acquisition unit 31, based on the recognition dictionary stored in the storage unit 30a.
  • the recognition dictionary stored in the storage unit 30a includes shape data such as faces and eyes, and the image recognition unit 32 extracts the shape pattern appearing in the image and includes it in the recognition dictionary. Faces, eyes, etc. are recognized by collating with shape data.
  • the image recognition unit 32 can recognize a face, eyes, and the like from an image by using a known image recognition processing method that has been developed in various fields.
  • the brightness value acquisition unit 33 acquires the brightness value X of the iris part of the eye and the brightness value Y of the eyelid part.
  • FIG. 2A is a schematic diagram for explaining acquisition of a brightness value when the eyes are open
  • FIG. 2B is a schematic view for explaining acquisition of a brightness value when the eyes are closed.
  • the luminance value acquisition unit 33 acquires the luminance values in the iris portion and the eyelid portion within the rectangular frame shown in FIGS. 2A and 2B.
  • the brightness value acquisition unit 33 suppresses fluctuations in brightness adjustment due to local brightness values, for example, by calculating a brightness average value within a frame and acquiring the brightness value as a brightness value.
  • the brightness value acquisition unit 33 outputs the acquired brightness value to the brightness difference calculation unit 34 and the brightness adjustment unit 35.
  • the eyelids and the iris are present in the frames of the eyelid portion and the iris portion, and the brightness values of the eyelid portion and the iris portion are acquired in the respective frames. ..
  • the eyes are closed as shown in FIG. 2B, the eyelids are present in the frames of the eyelid portion and the iris portion, and the brightness value of the eyelid portion is acquired in each frame.
  • the brightness adjusting unit 35 adjusts the brightness of the image acquired by the image acquiring unit 31 so that the brightness values in the iris portion and the eyelid portion become desired values, and first determines whether the eyes are open or closed. In the eye open/close determination, a predetermined brightness difference threshold ⁇ Bs and the brightness difference ⁇ B calculated by the brightness difference calculation unit 34 are compared and determined. When the brightness values of the iris part and the eyelid part are gradation levels of 0 to 255, the brightness difference threshold ⁇ Bs is set to, for example, about 20, but the set value of the brightness difference threshold ⁇ Bs is not limited to this. The brightness adjusting unit 35 determines that the eyes are open when the brightness difference ⁇ B is equal to or more than the brightness difference threshold ⁇ Bs, and determines that the eyes are closed when the brightness difference ⁇ B is less than the brightness difference threshold ⁇ Bs.
  • the brightness adjusting unit 35 adjusts the brightness of the iris part and the eyelid part so that the brightness value Y of the eyelid part becomes the eyelid brightness reference value Ls.
  • the eyelid luminance reference value Ls is set to, for example, a value of 200 in the luminance range of 0 to 255, although it depends on the brightness setting of the imaging unit 10 itself.
  • the set value of the brightness reference value Ls is not limited to this, and may be changed according to the brightness in the shooting environment.
  • the brightness adjusting unit 35 calculates the adjustment amount and adjusts the brightness of the iris part and the eyelid part so that the brightness value of the iris part becomes equal to or lower than the iris brightness upper limit threshold R1.
  • the iris luminance upper limit threshold R1 is set to about 50 in the luminance range of 0 to 255, for example, but the setting value of the iris luminance upper limit threshold R1 is not limited to this.
  • FIG. 3A is a schematic diagram showing the eyes when the image is taken by the visible light camera
  • FIG. 3B is a schematic diagram showing the eyes when the image is taken by the near infrared camera.
  • the image captured by the near-infrared camera shown in FIG. 3(b) has a slightly higher luminance value in the iris portion than the image captured by the visible light camera shown in FIG.
  • the brightness difference is small. For example, when a vehicle driver is exposed to infrared light in a dark situation at night, an image as shown in FIG. 3(b) is obtained, and the difference in brightness between the iris portion and the eyelid portion becomes small. It is necessary to adjust the brightness for the part.
  • the brightness of the iris part and the eyelid part is adjusted so that the iris part having a slightly higher brightness value becomes equal to or lower than the iris brightness upper limit threshold R1.
  • the brightness value of the iris part acquired by the brightness value acquisition unit 33 is X0
  • the brightness value of the eyelid part is Y0.
  • Y1 Y0- ⁇ 1 (2)
  • the brightness adjusting unit 35 adjusts the brightness of the image acquired by the video acquisition unit 31 by the adjustment amount ⁇ 1 and ends the processing.
  • the eyelid luminance lower limit threshold L1 is set to about 150 in the luminance range of 0 to 255, for example, but the set value of the eyelid luminance lower limit threshold L1 is not limited to this.
  • FIG. 4A and FIG. 4B are schematic diagrams showing the eyes when the images are taken in a scene in which the angle of the eyes with respect to the camera and the situation of the light are different.
  • FIG. 4A shows a scene in which the imaged object is photographed from the front
  • FIG. 4B shows a scene in which the imaged object is photographed obliquely from the front.
  • the brightness value of the iris part in FIG. 4B is higher than the brightness value of the iris part in FIG. 4A, and the brightness difference between the iris part and the eyelid part is small.
  • the brightness adjusting unit 35 adjusts the brightness so as to increase the brightness toward the eyelid brightness lower limit threshold L1 side in order to mitigate that the image becomes dark due to too low a brightness value.
  • the brightness adjusting unit 35 adopts the adjustment amount ⁇ 2 ( ⁇ 2 ⁇ 1) instead of the adjustment amount ⁇ 1 and adjusts the brightness according to the following equation.
  • the equations (3) to (5) are solved for ⁇ 2 to obtain the following equation.
  • ⁇ 2 ⁇ (X0+Y0)-(R1+L1) ⁇ /2 (6)
  • the brightness adjusting unit 35 makes the difference between the brightness value X1 and the iris brightness upper limit threshold R1 equal to the difference between the brightness value Y1 and the eyelid brightness lower limit threshold L1. The brightness is adjusted to minimize the difference.
  • FIG. 5 is a flowchart showing the procedure of the brightness adjustment processing in the video processing device 30.
  • the brightness value acquisition unit 33 of the video processing device 30 acquires the brightness value X0 of the iris part and the brightness value Y0 of the eyelid part (S1).
  • the brightness difference calculator 34 calculates the brightness difference ⁇ B between the brightness value X0 and the brightness value Y0 (S2).
  • the brightness adjusting unit 35 compares and determines the brightness difference ⁇ B and the brightness difference threshold ⁇ Bs (S3), and when ⁇ B is less than ⁇ Bs (S3: NO), determines that the eyes are closed and the brightness value of the eyelid portion.
  • the brightness of the image is adjusted so that the eyelid brightness reference value Ls is obtained (S4), and the process is terminated.
  • the brightness difference threshold ⁇ Bs is set to 20
  • the acquired brightness value X0 of the iris part is 195 and the brightness value Y0 of the eyelid part is 210
  • the brightness difference ⁇ B is 15 and the brightness adjustment unit 35. Executes the process of step S4.
  • the brightness adjusting unit 35 determines whether or not the brightness value of the eyelid portion is excessively lowered by the adjustment amount ⁇ 1 by using the brightness lowering threshold ⁇ B1 from the eyelid brightness lower limit threshold L1. That is, if the adjusted luminance value of the eyelid portion is L1 ⁇ B1 or more, it is determined that the luminance value is not too low, and if it is less than L1 ⁇ B1, the luminance value is too low.
  • the brightness adjusting unit 35 determines whether Y0- ⁇ 1 which is the adjusted brightness value is L1- ⁇ B1 or more (S6), and when L0- ⁇ B1 or more (S6: YES), the image is adjusted by the adjustment amount ⁇ 1. The brightness is adjusted (S7), and the process ends.
  • the iris brightness upper limit threshold R1 is set to 50
  • the eyelid brightness lower limit threshold L1 is set to 150
  • the brightness lowering threshold ⁇ B1 is set to 20.
  • the acquired iris part brightness value X0 is 120 and the eyelid part brightness value Y0 is 210.
  • Y0 ⁇ 1 becomes 140
  • L1 ⁇ B1 becomes 130.
  • the brightness value of the eyelid portion after the adjustment by the adjustment amount ⁇ 1 is 140, which is less than the eyelid brightness lower limit threshold L1, but is within the brightness lowering threshold ⁇ B1 of the eyelid brightness lower limit threshold L1, and the adjustment amount ⁇ 1 is used in step S7. To adjust the brightness of the image.
  • the brightness adjusting unit 35 calculates the adjustment amount ⁇ 2 by the above equation (6) (S8).
  • the brightness adjusting unit 35 adjusts the brightness of the image using the calculated adjustment amount ⁇ 2 (S9), and ends the process.
  • the brightness adjustment unit 35 calculates the adjustment amount ⁇ 2 as 75 by the equation (6), and adjusts the brightness of the image using the calculated adjustment amount ⁇ 2.
  • the brightness adjustment unit 35 of the video processing device 30 adjusts the brightness so that the brightness values of the iris part and the eyelid part approach the iris brightness upper limit threshold R1 and the eyelid brightness lower limit threshold L1, respectively. That is, the brightness adjusting unit 35 uses the above-described adjustment amount ⁇ 2 to adjust the brightness so that the brightness value of the eyelid portion does not drop too much.
  • the image processing device 30 suppresses not only the iris portion but also the peripheral eyelid portion by adjusting the brightness, thereby suppressing the deterioration of the distinctiveness between the eye portion including the iris and the peripheral eyelid portion, It is possible to perform the brightness adjustment suitable for the analysis of the eye part. For example, in the analysis of the eye portion, the contour between the eyelid portion and the iris is image-recognized, and the eye open/closed degree or the like is calculated based on the contour.
  • the brightness adjusting unit 35 adjusts the brightness so that both the difference between the brightness value of the iris portion and the iris brightness upper limit threshold R1 and the difference between the brightness value of the eyelid portion and the eyelid brightness lower limit threshold L1 are minimized.
  • the brightness adjustment unit 35 calculates the adjustment amount ⁇ 2 based on, for example, the above formula (6), and the brightness values of the iris part and the eyelid part are closer to the respective threshold values, and thus it is possible to perform a well-balanced brightness adjustment.
  • FIG. 6A is a schematic diagram showing an example in which a portion having a high luminance value is generated by reflection of eyeglasses
  • FIG. 6B is a schematic diagram showing an example in which a portion having a high luminance value is generated by corneal reflection.
  • the brightness value acquisition unit 33 calculates the brightness average value of the iris part, an error occurs because the brightness of the light reflection part is extremely high.
  • the brightness value acquisition unit 33 calculates a brightness average value of the iris part excluding a part having a brightness value higher than a predetermined threshold value and an extremely high brightness value with respect to the surroundings, and sets the brightness value of the iris part as the brightness value. The error of can be reduced.
  • the corneal reflection shown in FIG. 6B uses, for example, a near-infrared camera as the image capturing unit 10, and when the near-infrared LED irradiates the image to photograph, the light is reflected on the cornea and the brightness becomes extremely high. ,appear.
  • the brightness value acquisition unit 33 calculates the brightness average value of the iris part, an error occurs because the brightness of the light reflection part is extremely high.
  • the brightness value acquisition unit 33 calculates a brightness average value of the iris part excluding a part having a brightness value higher than a predetermined threshold value and an extremely high brightness value with respect to the surroundings, and sets the brightness value of the iris part as the brightness value. The error of can be reduced.
  • the brightness value acquisition unit 33 arranges, for example, pixels whose brightness values are to be calculated in the video in descending order of brightness, calculates the brightness average value of about half the pixels with low brightness, and sets the brightness value of the iris part. Therefore, the error of the brightness value can be reduced.
  • the brightness adjusting unit 35 adjusts the brightness of the image by the adjustment amount ⁇ 2, but the brightness adjusting unit 35 may further adjust the brightness so as to increase the contrast of the iris portion and the eyelid portion.
  • FIG. 7 is a schematic diagram for explaining the contrast adjustment. The brightness adjusting unit 35 adjusts the brightness of the image by the adjustment amount ⁇ 2 and then performs the brightness adjustment to increase the contrast.
  • the brightness adjusting unit 35 calculates the adjustment amount ⁇ 2 as 75, and adjusts the brightness of the image using the calculated adjustment amount ⁇ 2.
  • the luminance value of the iris portion after the luminance adjustment is adjusted to 65, and the luminance value of the eyelid portion is adjusted to 135.
  • the difference between the original luminance value X0 of the iris portion and the luminance value Y0 of the eyelid portion is smaller, the luminance value of the iris portion after the luminance adjustment is higher and the luminance value of the eyelid portion is lower.
  • the brightness adjusting unit 35 After performing the brightness adjustment by the adjustment amount ⁇ 2, the brightness adjusting unit 35 further performs the process of increasing the contrast around the intermediate value between the brightness value of the iris part and the brightness value of the eyelid part.
  • the contrast is increased around the brightness value 100 which is an intermediate value between the brightness value 65 of the iris part and the brightness value 135 of the eyelid part.
  • the brightness adjusting unit 35 can bring the brightness value of the iris part closer to the iris brightness upper limit threshold value R1 and the brightness value of the eyelid part closer to the eyelid brightness lower limit threshold value L1, and distinguish between the iris part and the eyelid part. Can be done easily.
  • the brightness adjusting unit 35 can suppress black underexposure of the eyelid part and overexposure of the iris part in the image after the brightness adjustment by increasing the contrast.
  • the video processing device 30 includes a video acquisition unit 31, a video recognition unit 32, a brightness value acquisition unit 33, and a brightness adjustment unit 35.
  • the image acquisition unit 31 acquires an image of the face of the object to be imaged.
  • the image recognition unit 32 recognizes the iris portion and the eyelid portion from the image acquired by the image acquisition unit 31.
  • the brightness value acquisition unit 33 acquires the brightness values of the iris portion and the eyelid portion recognized by the video recognition unit 32.
  • the brightness values in the iris part and the eyelid part acquired by the brightness value acquiring unit 33 approach a predetermined iris brightness upper limit threshold R1 in the iris part and a predetermined eyelid brightness lower limit threshold L1 in the eyelid part, respectively.
  • the brightness value of the image is adjusted.
  • the image processing device 30 performs brightness adjustment not only on the iris portion but also on the peripheral eyelid portion, thereby suppressing deterioration in the distinctiveness between the eye portion including the iris and the peripheral eyelid portion, It is possible to perform the brightness adjustment suitable for the analysis of the eye part.
  • the brightness adjusting unit 35 adjusts the brightness so that the difference between the brightness value of the iris part and the upper limit threshold value R1 of the iris, and the difference between the brightness value of the eyelid part and the lower limit threshold value L1 of the eyelid brightness are equal.
  • the image processing device 30 can adjust the luminance values of the iris portion and the eyelid portion closer to the respective threshold values, and perform well-balanced luminance adjustment.
  • the brightness value acquisition unit 33 acquires the brightness values averaged in the iris part and the eyelid part. As a result, the video processing device 30 suppresses fluctuations in brightness adjustment due to local brightness values.
  • the brightness value acquisition unit 33 acquires the brightness value in at least one of the iris part and the eyelid part, excluding the part where the brightness value is higher than a predetermined threshold value. As a result, the video processing device 30 can acquire the luminance value excluding the extremely high-luminance portion caused by various reflections.
  • the brightness adjusting unit 35 further increases the contrast of the brightness value in the iris part and the eyelid part. Accordingly, the video processing device 30 can bring the luminance value of the iris portion closer to the iris luminance upper limit threshold value R1 and the luminance value of the eyelid portion closer to the eyelid luminance lower limit threshold value L1, and the iris portion and the eyelid portion can be easily distinguished. Become.
  • the video processing method includes a video acquisition step, a video recognition step, a brightness value acquisition step, and a brightness adjustment step.
  • the video acquisition step acquires a video of the face of the object to be imaged.
  • the image recognition step recognizes the iris portion and the eyelid portion from the image acquired by the image acquisition step.
  • the brightness value acquisition step acquires the brightness values of the iris portion and the eyelid portion recognized by the video recognition step.
  • the brightness values in the iris part and the eyelid part acquired in the brightness value acquiring step are made to approach a predetermined iris brightness upper limit threshold R1 in the iris part and a predetermined eyelid brightness lower limit threshold L1 in the eyelid part, respectively. , Adjust the brightness value of the image.
  • the iris portion but also the peripheral eyelid portion is adjusted in brightness to suppress the deterioration of the distinctiveness between the eye portion including the iris and the peripheral eyelid portion.
  • the brightness adjustment suitable for the analysis of the part can be performed.
  • the video processing program causes a computer to execute a video acquisition step, a video recognition step, a brightness value acquisition step, and a brightness adjustment step.
  • the video acquisition step acquires a video of the face of the object to be imaged.
  • the image recognition step recognizes the iris portion and the eyelid portion from the image acquired by the image acquisition step.
  • the brightness value acquisition step acquires the brightness values of the iris portion and the eyelid portion recognized by the video recognition step.
  • the brightness values in the iris part and the eyelid part acquired in the brightness value acquiring step are made to approach a predetermined iris brightness upper limit threshold R1 in the iris part and a predetermined eyelid brightness lower limit threshold L1 in the eyelid part, respectively. , Adjust the brightness value of the image.
  • the iris portion but also the peripheral eyelid portion is adjusted in brightness to suppress the deterioration of the distinctiveness between the eye portion including the iris and the peripheral eyelid portion.
  • the brightness adjustment suitable for the analysis of the part can be performed.
  • the present invention relates to a video processing device, a video processing method, and a video processing program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

映像処理装置（３０）は、映像取得部（３１）、映像認識部（３２）、輝度値取得部（３３）および輝度調整部（３５）を備える。映像取得部（３１）は、被撮像体の顔を撮影した映像を取得する。映像認識部（３２）は、映像取得部（３１）によって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得部（３３）は、映像認識部（３２）により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整部（３５）は、輝度値取得部（３３）により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、映像の輝度値を調整する。

Description

映像処理装置、映像処理方法および映像処理プログラム
　本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。
　例えば車両に搭載されるドライブレコーダ等では、車両の外部や車室内を撮影して得られる映像を記憶装置に記憶する。車室内を撮影する場合、車室内の様子を映像として記憶することや、運転者を中心に映像を記憶することなどが行われる。
　例えば特許文献１には、赤外光が照射された被写体を撮影して得られた画像を画像処理する画像処理装置が開示されている。画像処理装置の制御マイコンは、顔検出部を制御して画像において被写体の顔領域を検出し、当該顔領域から虹彩部分を検出する。制御マイコンは、輝度変化部を制御して虹彩部分における輝度を予め定められた輝度に下げる虹彩補正処理を行う。画像処理装置は、暗所において赤外光を照射して人物などの被写体を撮影した際に、虹彩補正処理によって、顔の印象に違和感が生じない画像を得る。
特開２０１４－０４９８６３号公報
　特許文献１に記載の従来の画像処理装置は、高輝度で撮影された虹彩部分の輝度を下げることによって顔の印象に違和感が生じない画像を得るが、例えば顔画像をもとに目開閉度等の被写体の状態を分析することを考慮するものではなかった。例えば画像処理装置によって目の輪郭などを検出して目開閉度等の目の部分について分析するためには、撮影した画像における虹彩部分だけでなく、まぶたなどを含めた輝度調整が必要となる。
　本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、目の部分に関する分析に適した輝度調整を行うことができる映像処理装置、映像処理方法および映像処理プログラムを提供することにある。
　本実施形態のある態様の映像処理装置は、被撮像体の顔を撮影した映像を取得する映像取得部と、前記映像取得部によって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識部と、前記映像認識部により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得部と、前記輝度値取得部により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整部と、を備える。
　また本実施形態の別の態様は映像処理方法である。この映像処理方法は、被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識ステップと、前記映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得ステップと、前記輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整ステップと、を備える。
　本実施形態によれば、目の部分に関する分析に適した輝度調整を行うことができる。
実施形態１に係る映像処理装置を含むドライバーモニターの構成を示すブロック図である。 図２（ａ）は目が開いている状態での輝度値の取得を説明するための模式図であり、図２（ｂ）は目が閉じている状態での輝度値の取得を説明するための模式図である。 図３（ａ）は可視光カメラで撮影したときの目を示す模式図であり、図３（ｂ）は近赤外線カメラで撮影したときの目を示す模式図である。 図４（ａ）および図４（ｂ）は、カメラに対する目の角度や光の状況が異なる場面で撮影したときの目を示す模式図である。 映像処理装置における輝度調整処理の手順を示すフローチャートである。 図６（ａ）は眼鏡の反射によって輝度値が高い部分が生じる例を示す模式図であり、図６（ｂ）は角膜反射によって輝度値が高い部分が生じる例を示す模式図である。 コントラスト調整について説明するための模式図である。
　以下、本発明を好適な実施の形態をもとに図１から図７を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
（実施形態１）
　図１は、実施形態１に係る映像処理装置３０を含むドライバーモニター１００の構成を示すブロック図である。ドライバーモニター１００は、車両に搭載され、車両の車室内を時間的に連続して撮影する。ドライバーモニター１００は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。ドライバーモニター１００は、例えば車両のフロントガラスの下方におけるダッシュボード上などに配置される。ドライバーモニター１００の映像処理装置３０は、例えば車両に搭乗している運転者を被撮像体として撮影し、撮影された被撮像体の顔から目を認識する。
　映像処理装置３０は、まぶた部分および虹彩部分について輝度値を取得し、各輝度値を調整する。赤外光を照射した被撮像体の顔では、虹彩部分の輝度値が高くなることがあり、一般的に高輝度で撮影されるまぶた部分と虹彩部分とのコントラストが低下する。映像処理装置３０は、まぶた部分と虹彩部分の輝度値に応じて、コントラストを上げるように輝度調整する。
　映像処理装置３０によって輝度が調整された映像は、例えば左右の目の輪郭が判別し易くなり、目の開閉度や、左右の目の傾きなど目部分に関する分析に適したものとなり、目およびまぶたの境界などの識別が良好となる。本実施形態では、目部分に関する分析機能に関して記載を省略するが、映像処理装置３０において、目の開閉度や、左右の目の傾きなど目部分に関する分析機能を設けてもよい。また映像処理装置３０によって蓄積または出力される映像に基づいて、外部装置において目部分に関して分析してもよい。尚、目の開閉度や左右の目の傾きなど目部分に関する分析機能は、例えば、被撮像体における眠気の度合判定や、感情状態（例えば平常状態や緊張状態など）の判定などに用いられる。
　ドライバーモニター１００は、撮像部１０、記録部２０、映像処理装置３０、外部入力部４０および外部出力部４１等を備える。撮像部１０は、例えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として撮影する。撮像部１０は、夜間の暗い時でも運転者等の被撮像体が撮影できるように、適宜、赤外光を被撮像体に照射するものとする。撮像部１０は、時間的に連続して映像を取得し、後述する映像処理装置３０の映像取得部３１へ送出する。
　記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部３１で取得された映像を記録し、削除することができるものとする。以下、記録部２０が設けられた構成について説明するが、ドライバーモニター１００が映像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、ドライバーモニター１００に着脱可能とすることで、ドライバーモニター１００から取り外し、別のＰＣ等で映像を再生等することができる。
　外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外部出力部４１は、映像処理装置３０によって処理された映像情報等を外部装置へ出力する。ドライバーモニター１００は、外部入力部４０によって取得した速度情報および位置情報等を映像に付加して記録または外部へ出力するようにしてもよい。
　映像処理装置３０は、映像取得部３１、映像認識部３２、輝度値取得部３３、輝度差算出部３４および輝度調整部３５を有する。映像処理装置３０は、例えばＣＰＵなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像処理装置３０で実行するコンピュータプログラム等を記憶する。また記憶部３０ａは、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書を記憶している。
　映像取得部３１は、撮像部１０において撮影された映像を取得してデータ圧縮等の処理を行い、記録部２０に出力する。尚、映像取得部３１は、撮像部１０を含んで構成されていてもよい。
　映像認識部３２は、記憶部３０ａに記憶された認識用辞書に基づいて、映像取得部３１から入力された映像から被撮像体の顔や目を認識する。記憶部３０ａに記憶した認識用辞書には、顔や目等の形状データ等が含まれており、映像認識部３２は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や目等を認識する。映像認識部３２は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔や目等を認識することができる。
　輝度値取得部３３は、目の虹彩部分の輝度値Ｘおよびまぶた部分の輝度値Ｙを取得する。図２（ａ）は目が開いている状態での輝度値の取得を説明するための模式図であり、図２（ｂ）は目が閉じている状態での輝度値の取得を説明するための模式図である。輝度値取得部３３は、図２（ａ）および図２（ｂ）に長方形で示した枠内において、虹彩部分およびまぶた部分における輝度値を取得する。輝度値取得部３３は、例えば枠内における輝度平均値を算出し、輝度値として取得することで、局所的な輝度値による輝度調整の変動を抑制する。輝度値取得部３３は、取得した輝度値を輝度差算出部３４および輝度調整部３５へ出力する。
　図２（ａ）に示す目が開いている状態では、まぶた部分および虹彩部分の枠内に、それぞれまぶたおよび虹彩が存在し、各枠内でそれぞれまぶた部分および虹彩部分の輝度値が取得される。一方、図２（ｂ）に示す目が閉じている状態では、まぶた部分および虹彩部分の枠内にまぶたが存在することになり、各枠内でまぶた部分の輝度値が取得される。
　輝度差算出部３４は、輝度値取得部３３から入力された輝度値の差を求め、輝度差ΔＢ（ΔＢ＝Ｙ－Ｘ）を算出する。例えば図２（ａ）に示す目が開いている状態での輝度差は、図２（ｂ）に示す目が閉じている状態での輝度差よりも大きくなる。図２（ｂ）に示す目が閉じている状態において、輝度値を算出する枠の位置が虹彩部分とまぶた部分とで異なるので、各部分において算出される輝度値は、やや異なる可能性があるものの近い値となり、輝度差も小さい値となることが想定される。
［目の開閉判別］
　輝度調整部３５は、虹彩部分およびまぶた部分における輝度値が所望の値となるように映像取得部３１で取得した映像を輝度調整するが、まず目が開いているか閉じているかについて判別する。目の開閉判別では、所定の輝度差閾値ΔＢｓと、輝度差算出部３４により算出した輝度差ΔＢとを比較判定する。虹彩部分およびまぶた部分の輝度値を０～２５５の階調としている場合、輝度差閾値ΔＢｓは、例えば２０程度に設定するが、輝度差閾値ΔＢｓの設定値はこれに限られるものではない。輝度調整部３５は、輝度差ΔＢが輝度差閾値ΔＢｓ以上である場合に目が開いていると判定し、輝度差ΔＢが輝度差閾値ΔＢｓ未満である場合に目が閉じていると判定する。
　輝度調整部３５は、目が閉じていると判定した場合には、まぶた部分の輝度値Ｙがまぶた輝度基準値Ｌｓとなるように、虹彩部分およびまぶた部分の輝度を調整する。ここで、まぶた輝度基準値Ｌｓは、撮像部１０自体の明るさ設定にもよるが、例えば輝度範囲０～２５５の範囲において２００の値などに設定する。輝度基準値Ｌｓの設定値は、これに限られるものではなく、また撮影環境における明るさなどによって変更されてもよい。
［虹彩輝度上限閾値への調整］
　輝度調整部３５は、目が開いていると判定した場合には、虹彩部分の輝度値が虹彩輝度上限閾値Ｒ１以下となるように、調整量を算出し、虹彩部分およびまぶた部分の輝度を調整する。ここで、虹彩輝度上限閾値Ｒ１は、例えば、輝度範囲０～２５５の範囲において、５０程度に設定するが、虹彩輝度上限閾値Ｒ１の設定値はこれに限られるものではない。
　図３（ａ）は可視光カメラで撮影したときの目を示す模式図であり、図３（ｂ）は近赤外線カメラで撮影したときの目を示す模式図である。図３（ｂ）に示す近赤外線カメラで撮影した映像は、図３（ａ）に示す可視光カメラで撮影したときの映像に比べて、虹彩部分の輝度値がやや高く、白目の部分との輝度差が少なくなっている。例えば、夜間の暗い状況において、車両の運転者に赤外光を当てて撮影した場合には、図３（ｂ）のような映像となり、虹彩部分とまぶた部分との輝度差が小さくなり、これらの部分に対する輝度調整が必要となる。
　やや高めの輝度値となっている虹彩部分が、虹彩輝度上限閾値Ｒ１以下となるように、虹彩部分およびまぶた部分の輝度を調整する。ここで、輝度値取得部３３により取得された虹彩部分の輝度値をＸ０、まぶた部分の輝度値をＹ０とする。輝度調整部３５は、調整量Δ１（Δ１＝Ｘ０－Ｒ１）を算出し、輝度調整後の虹彩部分の輝度値Ｘ１、まぶた部分の輝度値Ｙ１は、次式のようになる。
　　Ｘ１＝Ｘ０－Δ１（＝Ｒ１）　　・・・（１）
　　Ｙ１＝Ｙ０－Δ１　　　　　　　・・・（２）
　輝度調整部３５は、まぶた部分の輝度値Ｙ１がまぶた輝度下限閾値Ｌ１以上であれば、映像取得部３１により取得された画像が調整量Δ１で輝度調整されて終了する。ここで、まぶた輝度下限閾値Ｌ１は、例えば、輝度範囲０～２５５の範囲において、１５０程度に設定するが、まぶた輝度下限閾値Ｌ１の設定値はこれに限られるものではない。
［まぶた輝度下限閾値との調整］
　図４（ａ）および図４（ｂ）は、カメラに対する目の角度や光の状況が異なる場面で撮影したときの目を示す模式図である。図４（ａ）は被撮像体を正面から、図４（ｂ）は被撮像体を斜め前から撮影した場面を表している。図４（ｂ）における虹彩部分の輝度値は、図４（ａ）における虹彩部分の輝度値よりも高く、虹彩部分とまぶた部分との輝度差が小さくなっている。
　虹彩部分とまぶた部分との輝度差が小さい場合、上述の式（１）および式（２）に基づく輝度調整をすると、輝度調整後のまぶた部分の輝度値Ｙ１（＝Ｙ０－Δ１）が下がり過ぎて、まぶた輝度下限閾値Ｌ１を下回る。輝度調整部３５は、輝度値が下がり過ぎて映像が暗くなることを緩和するために、まぶた輝度下限閾値Ｌ１側へ輝度を上げるべく、輝度調整を行う。輝度調整部３５は、調整量Δ１に代えて、調整量Δ２（Δ２＜Δ１）を採用し、次式によって輝度調整する。
　　Ｘ１＝Ｘ０－Δ２　　　　　・・・（３）
　　Ｙ１＝Ｙ０－Δ２　　　　　・・・（４）
　このとき、輝度調整後の虹彩部分の輝度値Ｘ１は虹彩輝度上限閾値Ｒ１より大きく、まぶた部分の輝度値Ｙ１はまぶた輝度下限閾値Ｌ１より小さくなる。
　調整量Δ２は、例えば、輝度調整後の輝度値Ｘ１および虹彩輝度上限閾値Ｒ１の差分と、輝度値Ｙ１およびまぶた輝度下限閾値Ｌ１の差分とが同等となるようにするとよい。このとき、次の関係式が得られる。
　　Ｘ１－Ｒ１＝Ｌ１－Ｙ１　　　　・・・（５）
　式（３）～式（５）をΔ２について解いて次式を得る。
　　Δ２＝｛（Ｘ０＋Ｙ０）－（Ｒ１＋Ｌ１）｝／２　　　　・・・（６）
　輝度調整部３５は、式（６）で得られる調整量Δ２を用いると、輝度値Ｘ１および虹彩輝度上限閾値Ｒ１の差分、並びに輝度値Ｙ１およびまぶた輝度下限閾値Ｌ１の差分が同等となり、いずれの差分も最小となる輝度調整をすることになる。
　次に映像処理装置３０の動作について、輝度調整処理に基づいて説明する。図５は、映像処理装置３０における輝度調整処理の手順を示すフローチャートである。映像処理装置３０の輝度値取得部３３は、虹彩部分の輝度値Ｘ０およびまぶた部分の輝度値Ｙ０を取得する（Ｓ１）。輝度差算出部３４は、輝度値Ｘ０と輝度値Ｙ０との輝度差ΔＢを算出する（Ｓ２）。
　輝度調整部３５は、輝度差ΔＢと輝度差閾値ΔＢｓとを比較判定し（Ｓ３）、ΔＢがΔＢｓ未満である場合（Ｓ３：ＮＯ）、目が閉じていると判断し、まぶた部分の輝度値がまぶた輝度基準値Ｌｓとなるように映像を輝度調整し（Ｓ４）、処理を終了する。例えば、輝度差閾値ΔＢｓが２０と設定されており、取得された虹彩部分の輝度値Ｘ０が１９５、まぶた部分の輝度値Ｙ０が２１０であったとき、輝度差ΔＢが１５となり、輝度調整部３５は、ステップＳ４の処理を実行することになる。
　ステップＳ３において輝度差ΔＢが輝度差閾値ΔＢｓ以上であった場合（Ｓ３：ＹＥＳ）、輝度調整部３５は、調整量Δ１（Δ１＝Ｘ０－Ｒ１）を算出する（Ｓ５）。輝度調整部３５は、調整量Δ１によってまぶた部分の輝度値が下がり過ぎないかどうかを、まぶた輝度下限閾値Ｌ１からの輝度低下閾値ΔＢ１を用いて判別する。即ち、調整後のまぶた部分の輝度値が、Ｌ１－ΔＢ１以上であれば輝度値が下がり過ぎておらず、Ｌ１－ΔＢ１未満であれば輝度値が下がり過ぎていると判別する。輝度調整部３５は、調整後の輝度値となるＹ０－Δ１が、Ｌ１－ΔＢ１以上かを判定し（Ｓ６）、Ｌ１－ΔＢ１以上である場合（Ｓ６：ＹＥＳ）、調整量Δ１により、映像を輝度調整して（Ｓ７）、処理を終了する。
　例えば、虹彩輝度上限閾値Ｒ１が５０、まぶた輝度下限閾値Ｌ１が１５０、輝度低下閾値ΔＢ１が２０と設定されており、取得された虹彩部分の輝度値Ｘ０が１２０、まぶた部分の輝度値Ｙ０が２１０である例を考える。調整量Δ１は、Ｘ０－Ｒ１＝７０となり、Ｙ０－Δ１は１４０、Ｌ１－ΔＢ１は１３０となる。調整量Δ１による調整後のまぶた部分の輝度値は１４０となり、まぶた輝度下限閾値Ｌ１を下回るが、まぶた輝度下限閾値Ｌ１の輝度低下閾値ΔＢ１以内に納まっており、ステップＳ７により、調整量Δ１を用いて映像を輝度調整する。
　輝度調整部３５は、Ｙ０－Δ１がＬ１－ΔＢ１未満である場合（Ｓ６：ＮＯ）、調整量Δ２を上述の式（６）により算出する（Ｓ８）。輝度調整部３５は、算出した調整量Δ２を用いて映像を輝度調整し（Ｓ９）、処理を終了する。
　例えば、上述の例で、取得された虹彩部分の輝度値Ｘ０が１４０、まぶた部分の輝度値Ｙ０が２１０であった場合を考える。調整量Δ１はＸ０－Ｒ１＝９０となり、Ｙ０－Δ１は１２０、Ｌ１－ΔＢ１は１３０となり、ステップＳ６での判定はＮＯとなって、ステップＳ８で調整量Δ２が算出される。輝度調整部３５は、式（６）によって調整量Δ２を７５と算出し、算出した調整量Δ２を用いて映像を輝度調整する。
　映像処理装置３０の輝度調整部３５は、虹彩部分およびまぶた部分の輝度値がそれぞれ、虹彩輝度上限閾値Ｒ１およびまぶた輝度下限閾値Ｌ１に近づくように輝度を調整する。即ち、輝度調整部３５は、上述の調整量Δ２を用いることによって、まぶた部分の輝度値が下がり過ぎないように輝度調整する。これにより、映像処理装置３０は、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整をすることで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。例えば目の部分に関する分析では、まぶた部分および虹彩間の輪郭を画像認識し、該輪郭に基づいて目開閉度等が算出される。
　また、輝度調整部３５は、虹彩部分の輝度値および虹彩輝度上限閾値Ｒ１の差分、並びにまぶた部分の輝度値およびまぶた輝度下限閾値Ｌ１の差分のいずれもが、最小化するように輝度調整する。輝度調整部３５は、例えば上述の式（６）に基づき調整量Δ２を算出し、虹彩部分およびまぶた部分の輝度値がそれぞれの閾値により近づき、バランスの良い輝度調整を行うことができる。
（実施形態２）
　映像取得部３１によって取得された映像において、虹彩部分およびまぶた部分に周辺よりも輝度値が高い部分が生じることがあり、実施形態２に係る映像処理装置３０は、輝度値が所定の閾値以上で周辺より高い部分を除いて輝度値を取得する。図６（ａ）は眼鏡の反射によって輝度値が高い部分が生じる例を示す模式図であり、図６（ｂ）は角膜反射によって輝度値が高い部分が生じる例を示す模式図である。
　図６（ａ）に示す例では、輝度値取得部３３において虹彩部分の輝度平均値を算出すると、光の反射部分の輝度が極端に高いため、誤差が生じる。輝度値取得部３３は、所定の閾値以上に高く、周囲に対して極端に輝度値が高い部分を除いて虹彩部分の輝度平均値を算出し、虹彩部分の輝度値とすることで、輝度値の誤差を低減することができる。
　図６（ｂ）に示す角膜反射は、例えば近赤外線カメラを撮像部１０として用い、近赤外線ＬＥＤから照射して撮影したときに、角膜に光が反射して輝度が極端に高くなるなどして、発生する。この例においても、輝度値取得部３３において虹彩部分の輝度平均値を算出すると、光の反射部分の輝度が極端に高いため、誤差が生じる。輝度値取得部３３は、所定の閾値以上に高く、周囲に対して極端に輝度値が高い部分を除いて虹彩部分の輝度平均値を算出し、虹彩部分の輝度値とすることで、輝度値の誤差を低減することができる。また輝度値取得部３３は、例えば、映像内において輝度値の算出対象となる画素を輝度の高い順に並べ、輝度の低い半分程度の画素について輝度平均値を算出し、虹彩部分の輝度値とすることで、輝度値の誤差を低減することができる。
（実施形態３）
　上述の実施形態１において、輝度調整部３５は、調整量Δ２によって映像を輝度調整したが、更に虹彩部分およびまぶた部分のコントラストを上げるように輝度調整してもよい。図７はコントラスト調整について説明するための模式図である。輝度調整部３５は、調整量Δ２による映像の輝度調整後、コントラストを上げる輝度調整を行う。
　例えば、上述の取得された虹彩部分の輝度値Ｘ０が１４０、まぶた部分の輝度値Ｙ０が２１０であった場合を考える。虹彩輝度上限閾値Ｒ１は５０、まぶた輝度下限閾値Ｌ１は１５０、輝度低下閾値ΔＢ１が２０と設定されている。上述のとおり、輝度調整部３５は、調整量Δ２を７５として算出し、算出した調整量Δ２を用いて映像の輝度調整を行う。この結果、映像において、輝度調整後の虹彩部分の輝度値は６５に、まぶた部分の輝度値は１３５に調整される。元の虹彩部分の輝度値Ｘ０と、まぶた部分の輝度値Ｙ０との差が更に小さいと、輝度調整後の虹彩部分の輝度値はより高く、まぶた部分の輝度値はより低くなる。
　輝度調整部３５は、調整量Δ２による輝度調整の後、更に、虹彩部分の輝度値とまぶた部分の輝度値との中間値を中心にコントラストを上げる処理を行う。上述の例では、虹彩部分の輝度値６５およびまぶた部分の輝度値１３５の中間値である輝度値１００を中心にコントラストを上げる。輝度調整部３５は、コントラストを上げることによって、虹彩部分の輝度値を虹彩輝度上限閾値Ｒ１に、まぶた部分の輝度値をまぶた輝度下限閾値Ｌ１に更に近づけることができ、虹彩部分とまぶた部分の識別が容易にできるようになる。また、輝度調整部３５は、コントラストを上げることで、輝度調整後の映像におけるまぶた部分の黒つぶれや虹彩部分の白とびを抑制することができる。
　次に、上述の各実施形態に係る映像処理装置３０、映像処理方法および映像処理プログラムの特徴を説明する。
　実施形態に係る映像処理装置３０は、映像取得部３１、映像認識部３２、輝度値取得部３３および輝度調整部３５を備える。映像取得部３１は、被撮像体の顔を撮影した映像を取得する。映像認識部３２は、映像取得部３１によって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得部３３は、映像認識部３２により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整部３５は、輝度値取得部３３により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値Ｒ１、およびまぶた部分における所定のまぶた輝度下限閾値Ｌ１に近づくように、映像の輝度値を調整する。これにより、映像処理装置３０は、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整を行うことで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。
　また輝度調整部３５は、虹彩部分の輝度値および虹彩輝度上限閾値Ｒ１の差分、並びにまぶた部分の輝度値およびまぶた輝度下限閾値Ｌ１の差分が同等となるように輝度調整する。これにより、映像処理装置３０は、虹彩部分およびまぶた部分の輝度値がそれぞれの閾値により近づき、バランスの良い輝度調整を行うことができる。
　また輝度値取得部３３は、虹彩部分およびまぶた部分において平均化された輝度値を取得する。これにより、映像処理装置３０は、局所的な輝度値によって輝度調整が変動することを抑制する。
　また輝度値取得部３３は、虹彩部分およびまぶた部分の少なくともいずれかにおいて、輝度値が所定の閾値以上に高い部分を除いて輝度値を取得する。これにより、映像処理装置３０は、各種の反射などで生じる極端に高輝度な部分を除いて輝度値を取得することができる。
　また輝度調整部３５は、更に虹彩部分およびまぶた部分における輝度値のコントラストを上げる。これにより、映像処理装置３０は、虹彩部分の輝度値を虹彩輝度上限閾値Ｒ１に、まぶた部分の輝度値をまぶた輝度下限閾値Ｌ１に更に近づけることができ、虹彩部分とまぶた部分の識別が容易になる。
　実施形態に係る映像処理方法は、映像取得ステップ、映像認識ステップ、輝度値取得ステップおよび輝度調整ステップを備える。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像認識ステップは、映像取得ステップによって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得ステップは、映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整ステップは、輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値Ｒ１、およびまぶた部分における所定のまぶた輝度下限閾値Ｌ１に近づくように、映像の輝度値を調整する。この映像処理方法によれば、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整を行うことで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。
　実施形態に係る映像処理プログラムは、映像取得ステップ、映像認識ステップ、輝度値取得ステップおよび輝度調整ステップをコンピュータに実行させる。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像認識ステップは、映像取得ステップによって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得ステップは、映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整ステップは、輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値Ｒ１、およびまぶた部分における所定のまぶた輝度下限閾値Ｌ１に近づくように、映像の輝度値を調整する。この映像処理プログラムによれば、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整を行うことで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。
　以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
　本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。
　３０　映像処理装置、　３１　映像取得部、　３２　映像認識部、
　３３　輝度値取得部、　３５　輝度調整部。

Claims (7)

  1. 　被撮像体の顔を撮影した映像を取得する映像取得部と、
    　前記映像取得部によって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識部と、
    　前記映像認識部により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得部と、
    　前記輝度値取得部により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整部と、
    を備えることを特徴とする映像処理装置。
  2. 　前記輝度調整部は、虹彩部分の輝度値および前記虹彩輝度上限閾値の差分、並びにまぶた部分の輝度値および前記まぶた輝度下限閾値の差分が同等となるように輝度調整することを特徴とする請求項１に記載の映像処理装置。
  3. 　前記輝度値取得部は、虹彩部分およびまぶた部分において平均化された輝度値を取得することを特徴とする請求項１または２に記載の映像処理装置。
  4. 　前記輝度値取得部は、虹彩部分およびまぶた部分の少なくともいずれかにおいて、輝度値が所定の閾値以上に高い部分を除いて輝度値を取得することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
  5. 　前記輝度調整部は、更に虹彩部分およびまぶた部分における輝度値のコントラストを上げることを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
  6. 　被撮像体の顔を撮影した映像を取得する映像取得ステップと、
    　前記映像取得ステップによって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識ステップと、
    　前記映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得ステップと、
    　前記輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整ステップと、
    を備えることを特徴とする映像処理方法。
  7. 　被撮像体の顔を撮影した映像を取得する映像取得ステップと、
    　前記映像取得ステップによって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識ステップと、
    　前記映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得ステップと、
    　前記輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整ステップと、
    をコンピュータに実行させることを特徴とする映像処理プログラム。
PCT/JP2020/001278 2019-01-30 2020-01-16 映像処理装置、映像処理方法および映像処理プログラム WO2020158413A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20747620.1A EP3920525A4 (en) 2019-01-30 2020-01-16 VIDEO PROCESSING DEVICE, VIDEO PROCESSING METHOD AND VIDEO PROCESSING PROGRAM
CN202080008743.7A CN113287298B (zh) 2019-01-30 2020-01-16 影像处理装置、影像处理方法及存储介质
US17/389,451 US20210357619A1 (en) 2019-01-30 2021-07-30 Video processing device, video processing method, and recording medium for video processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019014444A JP7137746B2 (ja) 2019-01-30 2019-01-30 映像処理装置、映像処理方法および映像処理プログラム
JP2019-014444 2019-01-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/389,451 Continuation US20210357619A1 (en) 2019-01-30 2021-07-30 Video processing device, video processing method, and recording medium for video processing

Publications (1)

Publication Number Publication Date
WO2020158413A1 true WO2020158413A1 (ja) 2020-08-06

Family

ID=71842235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001278 WO2020158413A1 (ja) 2019-01-30 2020-01-16 映像処理装置、映像処理方法および映像処理プログラム

Country Status (5)

Country Link
US (1) US20210357619A1 (ja)
EP (1) EP3920525A4 (ja)
JP (1) JP7137746B2 (ja)
CN (1) CN113287298B (ja)
WO (1) WO2020158413A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743290A (zh) * 2022-05-17 2022-07-12 阿维塔科技(重庆)有限公司 一种行车记录控制方法、装置及汽车

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056394A (ja) * 2000-08-09 2002-02-20 Matsushita Electric Ind Co Ltd 眼位置検出方法および眼位置検出装置
JP2007011666A (ja) * 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 認証装置および認証方法
CN102542535A (zh) * 2011-11-18 2012-07-04 中国科学院自动化研究所 虹膜图像的去模糊方法
JP2014049863A (ja) 2012-08-30 2014-03-17 Canon Inc 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016184305A (ja) * 2015-03-26 2016-10-20 オムロン株式会社 画像処理装置および画像処理方法
US20170091550A1 (en) * 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684642B2 (en) * 2004-03-03 2010-03-23 Eastman Kodak Company Correction of redeye defects in images of humans
JP4664147B2 (ja) * 2005-07-29 2011-04-06 株式会社山武 虹彩認証装置
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置，個人識別方法
JP4747065B2 (ja) * 2006-09-29 2011-08-10 富士通株式会社 画像生成装置、画像生成方法および画像生成プログラム
JP4309928B2 (ja) * 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP5100565B2 (ja) * 2008-08-05 2012-12-19 キヤノン株式会社 画像処理装置及び画像処理方法
US20110110589A1 (en) * 2009-11-06 2011-05-12 Kabushiki Kaisha Toshiba Image Contrast Enhancement
CN101866420B (zh) * 2010-05-28 2014-06-04 中山大学 一种用于光学体全息虹膜识别的图像前处理方法
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
JP6327071B2 (ja) * 2014-09-03 2018-05-23 オムロン株式会社 画像処理装置および画像処理方法
JP6564271B2 (ja) * 2015-08-07 2019-08-21 キヤノン株式会社 撮像装置及び画像処理方法、プログラム、並びに記憶媒体
WO2019009277A1 (ja) * 2017-07-04 2019-01-10 興和株式会社 涙液層評価方法、コンピュータプログラム、装置
WO2019159364A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 搭乗者状態検出装置、搭乗者状態検出システム及び搭乗者状態検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056394A (ja) * 2000-08-09 2002-02-20 Matsushita Electric Ind Co Ltd 眼位置検出方法および眼位置検出装置
JP2007011666A (ja) * 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 認証装置および認証方法
CN102542535A (zh) * 2011-11-18 2012-07-04 中国科学院自动化研究所 虹膜图像的去模糊方法
JP2014049863A (ja) 2012-08-30 2014-03-17 Canon Inc 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US20170091550A1 (en) * 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
JP2016184305A (ja) * 2015-03-26 2016-10-20 オムロン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN113287298A (zh) 2021-08-20
US20210357619A1 (en) 2021-11-18
JP2020123829A (ja) 2020-08-13
EP3920525A4 (en) 2022-03-16
JP7137746B2 (ja) 2022-09-15
CN113287298B (zh) 2023-05-02
EP3920525A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
EP2227002B1 (en) Methods and apparatuses for eye gaze measurement
US8648938B2 (en) Detecting red eye filter and apparatus using meta-data
JP4345622B2 (ja) 瞳色推定装置
JP2008226194A (ja) 瞳色補正装置およびプログラム
WO2020179174A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
WO2020158413A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2023164485A (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP5211768B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
KR20230008041A (ko) 망막 색소 침착을 기반으로 한 플래시 강도의 동적 조정
JP2004192552A (ja) 開閉眼判定装置
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
CN114983334A (zh) 一种基于机器视觉的裂隙灯自调节控制方法和裂隙灯
US20190370942A1 (en) Red-eye correction techniques
WO2022190413A1 (ja) 目開閉判定装置および目開閉判定方法
Kumar et al. Image Enhancement using NHSI Model Employed in Color Retinal Images
WO2023181108A1 (ja) カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体
JP2006085478A (ja) 画像処理装置及び画像処理方法
WO2001067945A1 (en) Methods for measuring iris color over time

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20747620

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020747620

Country of ref document: EP

Effective date: 20210830