WO2019205633A1 - 眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质 - Google Patents

眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质 Download PDF

Info

Publication number
WO2019205633A1
WO2019205633A1 PCT/CN2018/118374 CN2018118374W WO2019205633A1 WO 2019205633 A1 WO2019205633 A1 WO 2019205633A1 CN 2018118374 W CN2018118374 W CN 2018118374W WO 2019205633 A1 WO2019205633 A1 WO 2019205633A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
feature points
eye feature
state
target image
Prior art date
Application number
PCT/CN2018/118374
Other languages
English (en)
French (fr)
Inventor
徐楚
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US16/473,491 priority Critical patent/US11386710B2/en
Publication of WO2019205633A1 publication Critical patent/WO2019205633A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • Embodiments of the present disclosure relate to a method of detecting an eye state, an electronic device, a detecting device, and a computer readable storage medium.
  • the eye is the most important feature of the human face. It plays an extremely important role in computer vision research and application.
  • the detection of eye state has always been the focus of researchers. On the basis of face recognition, the detection of eye state helps various smart devices to recognize the state of the human eye, and has broad application prospects in the field of fatigue detection and visual interaction, for example, driver's fatigue detection and invalid photos. filter.
  • a method of detecting an eye state comprising: acquiring a target image; and locating a plurality of eye feature points in the target image to determine the plurality of eye features a position coordinate of the point; normalizing the position coordinates of the plurality of eye feature points to obtain processed position feature data; and determining a state of the eye in the target image based on the position feature data.
  • the eye feature points include a left eye feature point and a right eye feature point; normalizing the position coordinates of the plurality of eye feature points, and obtaining the processed position feature data includes: determining the left Euclidean distance between the mean position coordinate of the eye feature point and the position coordinate mean value of the right eye feature point; normalizing the position coordinate of the eye feature point by using the Euclidean distance as a standard scale Processed feature data after processing.
  • determining the state of the eye in the target image based on the location feature data includes: classifying the location feature data; and determining a state of the eye in the target image based on the classification result.
  • determining the Euclidean distance between the position coordinate mean of the left eye feature point and the position coordinate mean of the right eye feature point includes:
  • i is the i-th X-coordinate of the horizontal axis of the ocular feature points
  • i is the Y coordinate of the longitudinal axis of the i-th eye feature points
  • i is an integer in the range 1 to N, the first to 0.5N
  • the eye feature points are the left eye feature points, the 0.5N+1th to the Nth eye feature points are the right eye feature points; the N is an even number; determining between E1 and Er based on El and Er European distance Ed.
  • the position coordinates of the plurality of eye feature points are normalized by using the Euclidean distance as a standard scale, and the obtained position feature data includes:
  • the N 12.
  • the classifying the location feature data includes: classifying the location feature data by using a classifier.
  • the classifying the location feature data further includes: training the classifier with the sample image to obtain a classifier parameter for detecting an eye state.
  • training the classifier with a sample image to obtain a classifier parameter for detecting an eye state includes: obtaining a positive and negative sample image from a picture library; wherein an eye state in the positive sample image is a blink state, negative The eye state in the sample image is a closed eye state; the eye feature points are positioned on the positive and negative sample images, and the position coordinates of the plurality of eye feature points in the positive and negative sample images are determined; the positions of the plurality of eye feature points are determined The coordinates are normalized to obtain the processed position feature data; the positional feature data is used to train the classifier to obtain a classifier parameter for detecting the eye state.
  • the positioning of the plurality of eye feature points in the target image includes: detecting whether the target image includes a human face; and when detecting that the target image includes a human face, Multiple eye feature points in the image are positioned.
  • an electronic device comprising: at least one processor, at least one memory, and computer program instructions stored in the memory, when the computer program instructions are processed Performing: acquiring a target image; positioning a plurality of eye feature points in the target image to determine position coordinates of the plurality of eye feature points; performing position coordinates on the plurality of eye feature points
  • the normalized processing obtains the processed position feature data; and determines the state of the eye in the target image based on the position feature data.
  • the eye feature points include a left eye feature point and a right eye feature point; normalizing the position coordinates of the plurality of eye feature points, and obtaining the processed position feature data includes: determining the left Euclidean distance between the mean position coordinate of the eye feature point and the position coordinate mean of the right eye feature point; normalizing the position coordinates of the plurality of eye feature points by using the Euclidean distance as a standard scale , the processed position feature data is obtained.
  • determining the state of the eye in the target image based on the location feature data includes: classifying the location feature data; and determining a state of the eye in the target image based on the classification result.
  • determining the Euclidean distance between the position coordinate mean of the left eye feature point and the position coordinate mean of the right eye feature point includes:
  • i is the i-th X-coordinate of the horizontal axis of the ocular feature points
  • i is the Y coordinate of the longitudinal axis of the i-th eye feature points
  • i is an integer in the range 1 to N, the first to 0.5N
  • the eye feature points are the left eye feature points, and the 0.5N+1th to Nth eye feature points are the right eye feature points; the N is an even number;
  • the Euclidean distance Ed between E1 and Er is determined based on El and Er.
  • the position coordinates of the plurality of eye feature points are normalized by using the Euclidean distance as a standard scale, and the obtained position feature data includes:
  • the classifying the location feature data includes: classifying the location feature data by using a classifier.
  • the classifying the location feature data further includes: training the classifier with the sample image to obtain a classifier parameter for detecting an eye state.
  • training the classifier with a sample image to obtain a classifier parameter for detecting an eye state includes: obtaining a positive and negative sample image from a picture library; wherein an eye state in the positive sample image is a blink state, negative The eye state in the sample image is a closed eye state; the eye feature points are positioned on the positive and negative sample images, and the position coordinates of the plurality of eye feature points in the positive and negative sample images are determined; the positions of the plurality of eye feature points are determined The coordinates are normalized to obtain the processed position feature data; the positional feature data is used to train the classifier to obtain a classifier parameter for detecting the eye state.
  • an apparatus for detecting an eye state comprising: an acquisition unit configured to acquire a target image; and a positioning unit configured to target a plurality of eye feature points in the target image Performing positioning to determine position coordinates of the plurality of eye feature points; a normalization processing unit configured to normalize position coordinates of the plurality of eye feature points to obtain processed position features a data determining unit configured to determine a state of an eye in the target image based on the location feature data.
  • a computer readable storage medium having stored thereon computer program instructions that, when executed by a processor, implements the methods described in the preceding embodiments.
  • FIG. 1 is a schematic flowchart diagram of a method for detecting an eye state according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of a training process of a classifier according to an embodiment of the present disclosure
  • FIG. 3 is a schematic flowchart of a method for detecting an eye state according to an embodiment of the present disclosure
  • FIG. 4 is a structural block diagram of an apparatus for detecting an eye state according to an embodiment of the present disclosure
  • FIG. 5 is a schematic structural diagram of a computer device suitable for implementing an embodiment of the present disclosure according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure provide a method of detecting an eye state, wherein an eye state may include a blink state and a closed eye state.
  • an eye state may also include a semi- ⁇ semi-closed state, a fatigue state, a blink state, and the like.
  • the present disclosure describes the eye state detection only by taking the blink state and the closed eye state as an example.
  • a schematic flowchart of a method for detecting an eye state according to an embodiment of the present disclosure includes the following steps 101-104 .
  • the order of description of the above steps is merely an example of the embodiments of the present disclosure, and is not the only order, and other possible execution sequences are also conceivable by those skilled in the art in light of the present disclosure.
  • Step 101 Acquire a target image.
  • the target image may be acquired by a camera or may be received from other devices other than the camera.
  • Step 102 Positioning a plurality of eye feature points in the target image to determine position coordinates of the plurality of eye feature points.
  • a face detection technique refers to a method of searching for a given image using a certain strategy to determine whether a face is contained therein.
  • a linear subspace method, a neural network method, or the like is used to detect whether a target image is included in a target image.
  • the face region in the target image is determined, and then the plurality of eye feature points in the face region are positioned, thereby determining the position coordinates of the plurality of eye feature points.
  • eye feature points can be located by an eye feature learning machine. For example, first, positive and negative samples of a plurality of eye feature points are acquired. For example, an image recognition algorithm is used to detect a plurality of images that may include eye features, and a positive sample and a sub-sample of a plurality of eye feature points are obtained.
  • a positive sample is a sample that includes eye features, such as a sample that is similar to an eye feature but is not an eye feature.
  • the face region in the target image or the target image is input into the trained learning machine, and the trained learning machine can automatically locate the eye feature points in the input face region and determine the positioning position at the target. The coordinate position on the image.
  • the eye feature points include left eye feature points and right eye feature points, which may be, but are not limited to, edge points of the eye corner points and upper and lower eyelids.
  • the number of feature points of the left and right eyes can be set according to the needs, based on the symmetrical characteristics of the human eye in the face, so the number of feature points of the left and right eyes can be the same.
  • the algorithm used in the positioning of the left and right eye feature points in the embodiment of the present disclosure determines the number of left and right eye feature points as 12, that is, 6 left eye feature points and 6 right eye feature points, for example, respectively: left eye corner Point, right eye corner point, two edge points of the upper eyelid and two edge points of the lower eyelid.
  • the number of left and right eye feature points may be other numbers depending on the detection accuracy. However, too many numbers may increase the amount of calculation, and the number is too small, which may lead to the problem of low positioning accuracy. Therefore, 12 feature points are selected in this example to balance the accuracy and the calculation amount.
  • the position coordinates of the eye feature points may be, but are not limited to, located in the XY axis coordinate system.
  • the coordinate system may take the upper left corner of the target image as the origin, the horizontal direction as the horizontal axis, that is, the X axis, and the vertical direction as the vertical axis, that is, the Y axis.
  • Step 103 normalize the position coordinates of the plurality of eye feature points to obtain the processed position feature data. For example, the Euclidean distance between the position coordinate mean value of the left eye feature point and the position coordinate mean value of the right eye feature point is used as a standard scale, and the position coordinates of the plurality of eye feature points are normalized.
  • the position coordinate mean of all eye feature points may be determined first.
  • i is the i-th X-coordinate of the horizontal axis of the ocular feature points
  • i is the Y coordinate of the longitudinal axis of the i-th eye feature points
  • i is an integer in the range 1 to N, the first to 0.5N
  • the eye feature points are left eye feature points, and the 0.5N+1 to Nth eye feature points are right eye feature points; N is an even number.
  • calculate the Euclidean distance Ed of El and Er can be calculated, for example, by the following formula:
  • ⁇ is the Euclidean distance between the point (x 2 , y 2 ) and the point (x 1 , y 1 ). Then the Euclidean distance between El and Er is:
  • the new position coordinates of the obtained eye feature points are the position feature data obtained after the normalization process.
  • Step 104 determining the state of the eye in the target image based on the location feature data. For example, the location feature data is classified to determine the state of the eye in the target image.
  • the obtained location feature data can be classified by using a classifier.
  • the embodiment of the present disclosure may further include:
  • the classifier is trained using the sample image to obtain a classifier parameter for detecting the state of the eye.
  • the training process of the classifier may be as shown in FIG. 2:
  • the positive and negative sample images are obtained from the blinking closed eye sample image library; wherein the eye state in the positive sample image is the blink state, and the eye state in the negative sample image is the closed eye state.
  • the position coordinates of the plurality of eye feature points are normalized to obtain the processed position feature data.
  • the classifier is trained to obtain a classifier parameter for detecting the state of the eye.
  • the classifier can classify the blinking state or the closed eye state. For example, if the position coordinates of the eye feature points are input into the classifier, the classifier determines whether the feature at the position coordinates is a blink state or a closed eye state.
  • FIG. 3 is a schematic flowchart diagram of a method for detecting an eye state according to an embodiment of the present disclosure.
  • the method for detecting the state of the eye specifically includes the following steps 301-305.
  • the order of description of the above steps is only an example of the embodiments of the present disclosure, and is not the only order, and other possible execution sequences are also conceivable by those skilled in the art according to the content of the present disclosure.
  • Step 301 Acquire a target image.
  • Step 302 Detect whether a face is included in the target image.
  • step 303 is performed.
  • the process ends, and the process returns to step 301.
  • Step 303 Positioning 12 eye feature points in the target image to determine position coordinates of 12 eye feature points.
  • Step 304 normalize the position coordinates of the 12 eye feature points by using the Euclidean distance between the position coordinate mean value of the left eye feature point and the position coordinate mean value of the right eye feature point as a standard scale, and obtain the processed Location feature data.
  • X i is the horizontal axis coordinate of the i-th eye feature point
  • Y i is the vertical axis coordinate of the i-th eye feature point
  • Step 305 classifying the obtained position feature data by using a classifier to determine the state of the eye in the target image.
  • the detection method of the eye state determines the position coordinates of the plurality of eye feature points in the target image by acquiring the target image, and the position coordinate mean value of the left eye feature point and the position coordinate of the right eye feature point.
  • the Euclidean distance between the mean values is used as a standard scale, and the position coordinates of the plurality of eye feature points are normalized to obtain the processed position feature data, and then the position feature data is classified to determine the state of the eye in the target image.
  • the scheme can accurately detect the state of the eye in the target image, and because of the principle of normalization processing, it is not affected by the size and position of the eye region and the face in the target image, and has good robustness.
  • FIG. 4 is a structural block diagram of an apparatus for detecting an eye condition according to an embodiment of the present disclosure, the apparatus includes:
  • the obtaining unit 41 is configured to acquire a target image.
  • the acquisition unit is, for example, a camera, a camera, or the like, and may be a program command that calls a target image.
  • the positioning unit 42 is configured to locate a plurality of eye feature points in the target image to determine position coordinates of the plurality of eye feature points.
  • eye feature points may include left eye feature points and right eye feature points.
  • the normalization processing unit 43 normalizes the position coordinates of the plurality of eye feature points to obtain the processed position feature data.
  • the position coordinates of the plurality of eye feature points may be normalized by using the Euclidean distance between the position coordinate mean value of the left eye feature point and the position coordinate mean value of the right eye feature point as a standard scale. deal with.
  • the determining unit 44 is configured to determine a state of the eye in the target image based on the location feature data.
  • the positioning unit 42, the normalization processing unit 43, and the determining unit 44 may be implemented by software, or may be implemented by hardware or firmware.
  • it is implemented by a general purpose processor, a programmable logic circuit, and an integrated circuit.
  • the positioning unit 42 is used, for example:
  • the target image includes a human face
  • a plurality of eye feature points in the target image are positioned.
  • the normalization processing unit 43 is configured to:
  • i is the i-th X-coordinate of the horizontal axis of the ocular feature points
  • i is the Y coordinate of the longitudinal axis of the i-th eye feature points
  • i is an integer in the range 1 to N, the first to 0.5N
  • the eye feature points are the left eye feature points, and the 0.5N+1th to Nth eye feature points are the right eye feature points; the N is an even number;
  • the N 12.
  • the determining unit 44 is configured to:
  • the location feature data is classified using a classifier.
  • the apparatus further includes:
  • a classifier training unit 45 is configured to train the classifier with the sample image to obtain a classifier parameter for detecting an eye state.
  • embodiments of the present disclosure also provide a computer device suitable for implementing the embodiments of the present disclosure for implementing the method of the foregoing embodiments.
  • the computer device includes a memory and a processor, the memory storing computer program instructions, and when the processor processes the program instructions, performing: acquiring a target image; and positioning a plurality of eye feature points in the target image to determine Position coordinates of the plurality of eye feature points; normalizing the position coordinates of the plurality of eye feature points to obtain processed position feature data; determining the target image based on the position feature data The state of the eye.
  • the eye feature points include a left eye feature point and a right eye feature point; normalizing the position coordinates of the plurality of eye feature points, and obtaining the processed position feature data includes: determining the left Euclidean distance between the mean position coordinate of the eye feature point and the position coordinate mean value of the right eye feature point; normalizing the position coordinate of the eye feature point by using the Euclidean distance as a standard scale Processed feature data after processing.
  • determining the state of the eye in the target image based on the location feature data includes: classifying the location feature data; and determining a state of the eye in the target image based on the classification result.
  • determining the Euclidean distance between the position coordinate mean of the left eye feature point and the position coordinate mean of the right eye feature point includes:
  • i is the i-th X-coordinate of the horizontal axis of the ocular feature points
  • i is the Y coordinate of the longitudinal axis of the i-th eye feature points
  • i is an integer in the range 1 to N, the first to 0.5N
  • the eye feature points are the left eye feature points, the 0.5N+1th to the Nth eye feature points are the right eye feature points; the N is an even number; determining between E1 and Er based on El and Er European distance Ed.
  • the position coordinates of the plurality of eye feature points are normalized by using the Euclidean distance as a standard scale, and the obtained position feature data includes:
  • the N 12.
  • the classifying the location feature data includes: classifying the location feature data by using a classifier.
  • the classifying the location feature data further includes: training the classifier with the sample image to obtain a classifier parameter for detecting an eye state.
  • training the classifier with a sample image to obtain a classifier parameter for detecting an eye state includes: obtaining a positive and negative sample image from a picture library; wherein an eye state in the positive sample image is a blink state, negative The eye state in the sample image is a closed eye state; the eye feature points are positioned on the positive and negative sample images, and the position coordinates of the plurality of eye feature points in the positive and negative sample images are determined; the positions of the plurality of eye feature points are determined The coordinates are normalized to obtain the processed position feature data; the positional feature data is used to train the classifier to obtain a classifier parameter for detecting the eye state.
  • the positioning of the plurality of eye feature points in the target image includes: detecting whether the target image includes a human face; and when detecting that the target image includes a human face, Multiple eye feature points in the image are positioned.
  • FIG. 5 a schematic structural diagram of a computer device suitable for implementing an embodiment of the present disclosure is provided in an embodiment of the present disclosure.
  • the computer system includes a central processing unit (CPU) 501, which may be loaded according to a program stored in a read only memory (ROM) 502 or a program loaded from a storage portion 508 into a random access memory (RAM) 503. Perform various appropriate actions and processes.
  • ROM read only memory
  • RAM random access memory
  • various programs and data required for the operation of the system 500 are also stored.
  • the CPU 501, the ROM 502, and the RAM 503 are connected to each other through a bus 504.
  • An input/output (I/O) interface 505 is also coupled to bus 504.
  • the following components are connected to the I/O interface 505: an input portion 506 including a keyboard, a mouse, etc.; an output portion 507 including, for example, a cathode ray tube (CRT), a liquid crystal display (LCD), and the like, and a storage portion 508 including a hard disk or the like. And a communication portion 509 including a network interface card such as a LAN card, a modem, or the like. The communication section 509 performs communication processing via a network such as the Internet.
  • Driver 310 is also coupled to I/O interface 505 as needed.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory or the like is mounted on the drive 510 as needed so that a computer program read therefrom is installed into the storage portion 508 as needed.
  • an embodiment of the present disclosure includes a computer program product comprising a computer program tangibly embodied on a machine readable medium, the computer program comprising program code for performing the methods of FIGS. 1-3.
  • the computer program can be downloaded and installed from the network via the communication portion 509, and/or installed from the removable medium 511.
  • each block of the flowchart or block diagrams can represent a module, a program segment, or a portion of code that includes one or more logic for implementing the specified.
  • Functional executable instructions can also occur in a different order than that illustrated in the drawings. For example, two successively represented blocks may in fact be executed substantially in parallel, and they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented in a dedicated hardware-based system that performs the specified function or operation. Or it can be implemented by a combination of dedicated hardware and computer instructions.
  • the units or modules described in the embodiments of the present disclosure may be implemented by software or by hardware.
  • the described unit or module can also be provided in the processor.
  • the names of these units or modules do not in any way constitute a limitation on the unit or module itself.
  • the present disclosure further provides a computer readable storage medium, which may be a computer readable storage medium included in the apparatus described in the foregoing embodiments, or may exist separately, not A computer readable storage medium that is assembled into the device.
  • the computer readable storage medium stores one or more programs that are used by one or more processors to perform the formula input methods described in this disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种眼睛状态的检测方法，包括：获取目标图像（101）；对目标图像中的多个眼部特征点进行定位，以确定多个眼部特征点的位置坐标（102）；对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据（103）；基于位置特征数据，确定目标图像中眼睛的状态（104）。还提供了一种眼睛状态的检测装置、设备和介质。

Description

眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质 技术领域
本公开实施例涉及一种眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质。
背景技术
眼睛是人体面部最重要的特征，在计算机视觉研究和应用中发挥着极其重要的作用，眼睛状态的检测一直是受研究者广泛关注的方向。在人脸识别的基础上，眼睛状态的检测有助于各种智能设备识别出人眼的状态，在疲劳检测和视觉交互领域有广阔的应用前景，例如，驾驶员的疲惫检测以及无效相片的筛选。
发明内容
根据本公开的至少一个实施例，提供了一种眼睛状态的检测方法，包括：获取目标图像；对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；基于所述位置特征数据，确定所述目标图像中眼睛的状态。
例如，所述眼部特征点包括左眼特征点和右眼特征点；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离；以所述欧式距离作为标准尺度，对所述眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
例如，基于所述位置特征数据，确定所述目标图像中眼睛的状态包括：对所述位置特征数据进行分类；基于分类结果确定所述目标图像中眼睛的状态。
例如，确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离包括：
确定所述左眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000001
和所述右眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000002
其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为所述左眼特征点，第0.5N+1至第N个眼部特征点为所述右眼特征点；所述N为偶数；基于El和Er确定E1和Er之间的欧式距离Ed。
例如，以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
按照公式
Figure PCTCN2018118374-appb-000003
和
Figure PCTCN2018118374-appb-000004
对所述多个眼部特征点的位置坐标进行归一化处理，得到所述多个眼部特征点的新位置坐标，作为处理后的位置特征数据；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
例如，所述N＝12。
例如，所述对所述位置特征数据进行分类，包括：利用分类器对所述位置特征数据进行分类。
例如，所述对所述位置特征数据进行分类还包括：利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数。
例如，利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数包括：从图片库中获取正负样本图像；其中，正样本图像中的眼睛状态为睁眼状态，负样本图像中的眼睛状态为闭眼状态；对正负样本图像进行眼部特征点的定位，确定正负样本图像中的多个眼部特征点的位置坐标；对多个眼部特征点的位置坐标进行归一 化处理，得到处理后的位置特征数据；利用位置特征数据，对分类器进行训练，得到用于检测眼睛状态的分类器参数。
例如，所述对所述目标图像中的多个眼部特征点进行定位，包括：检测所述目标图像中是否包含人脸；当检测出所述目标图像中包含人脸时，对所述目标图像中的多个眼部特征点进行定位。
根据本公开的至少一个实施例，提供了一种电子设备，其中，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行：获取目标图像；对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；基于所述位置特征数据，确定所述目标图像中眼睛的状态。
例如，所述眼部特征点包括左眼特征点和右眼特征点；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离；以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
例如，基于所述位置特征数据，确定所述目标图像中眼睛的状态包括：对所述位置特征数据进行分类；基于分类结果确定所述目标图像中眼睛的状态。
例如，确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离包括：
确定所述左眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000005
和所述右眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000006
其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为所述左眼特征点， 第0.5N+1至第N个眼部特征点为所述右眼特征点；所述N为偶数；
基于El和Er确定E1和Er之间的欧式距离Ed。
例如，以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
按照公式
Figure PCTCN2018118374-appb-000007
和
Figure PCTCN2018118374-appb-000008
对所述多个眼部特征点的位置坐标进行归一化处理，得到所述多个眼部特征点的新位置坐标，作为处理后的位置特征数据；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
例如，所述对所述位置特征数据进行分类，包括：利用分类器对所述位置特征数据进行分类。
例如，所述对所述位置特征数据进行分类还包括：利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数。
例如，利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数包括：从图片库中获取正负样本图像；其中，正样本图像中的眼睛状态为睁眼状态，负样本图像中的眼睛状态为闭眼状态；对正负样本图像进行眼部特征点的定位，确定正负样本图像中的多个眼部特征点的位置坐标；对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；利用位置特征数据，对分类器进行训练，得到用于检测眼睛状态的分类器参数。
根据本公开的至少一个实施例，提供了一种眼睛状态的检测装置，包括：获取单元，被配置为获取目标图像；定位单元，被配置为对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；归一化处理单元，被配置为对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；确定单元，被配置为基于所述位置特征数据，确定所述目标图像中眼睛的状态。
根据本公开的至少一个实施例，提供了一种计算机可读存储介质， 其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现前述实施例所述的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1为本公开实施例提供的一种眼睛状态的检测方法的流程示意图；
图2为本公开实施例提供的一种分类器的训练过程的示意图；
图3为本公开实施例提供的一种眼睛状态的检测方法的详细流程示意图；
图4为本公开实施例提供的一种眼睛状态的检测装置的结构框图；
图5为本公开实施例提供的一种适于用来实现本公开实施例的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作在一个示例中详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本公开。
本公开实施例提供了一种眼睛状态的检测方法，其中眼睛状态可以包括睁眼状态和闭眼状态。当然，眼睛状态还可以包括半睁半闭状态，疲劳状态，眯眼状态等等。本公开仅以睁眼状态和闭眼状态作为示例进行眼睛状态检测的说明。
如图1所示，为本公开实施例提供的一种眼睛状态的检测方法的流程示意图，包括如下步骤101-104。上述步骤的描述顺序仅是本公开 实施例的一种示例，并不是唯一顺序，本领域技术人员根据本公开的内容也可以想到其他可能的执行顺序。
步骤101，获取目标图像。
其中，该目标图像可以通过摄像头来获取，也可以是从非摄像头的其它设备处接收的。
步骤102，对目标图像中的多个眼部特征点进行定位，以确定多个眼部特征点的位置坐标。
本公开实施例中，在确定目标图像中的多个眼部特征点的位置坐标之前，可以首先检测目标图像中是否包含人脸，例如可以采用人脸检测技术。所述人脸检测技术是指对于一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸的方法。例如采用线性子空间方法，神经网络方法等检测目标图像中是否包含人脸。
当检测出目标图像中包含人脸时，确定目标图像中的人脸区域，再对人脸区域内的多个眼部特征点进行定位，进而确定多个眼部特征点的位置坐标。例如，可以通过眼部特征学习机器来对眼部特征点进行定位。例如，首先获取多个眼部特征点的正负样本。例如利用图像识别算法对多幅可能包括眼部特征的图像进行检测，得到多个眼部特征点的正样本和副样本。正样本为包括眼睛特征的样本，副样本例如是与眼部特征类似但不是眼部特征的样本。然后利用大量的正负样本来训练眼部特征学习机器。然后将目标图像或目标图像中的人脸区域输入到训练好的学习机器中，训练好的学习机器就可以自动对输入的人脸区域中的眼部特征点进行定位，并确定定位位置在目标图像上的坐标位置。
其中，眼部特征点包括左眼特征点和右眼特征点，其可以但不限于为眼角点和上下眼皮的边缘点。左右眼的特征点数量可以根据需求自行设定，基于人眼在人脸中的对称特性，因此左右眼的特征点数量可以相同。本公开实施例对左右眼特征点进行定位时采用的算法将左右眼特征点数量确定为12，也就是说，6个左眼特征点和6个右眼特征点，例如可以分别为：左眼角点、右眼角点、上眼皮的两个边缘点和下眼皮的两个边缘点。当然本领域技术人员了解，根据检测准确度的不同，左右眼特征点数量也可是其他数目。但数目太多可能会增大 计算量，数目太少又可能会带来定位准确度不高的问题，因此，本示例中选取12个特征点，可以在准确性和计算量之间取得平衡。
另外，眼部特征点的位置坐标可以但不限于位于XY轴坐标系中。该坐标系可以以目标图像的左上角点为原点，水平方向为横轴，即X轴，竖直方向为纵轴，即Y轴。
步骤103，对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。例如，以左眼特征点的位置坐标均值和右眼特征点的位置坐标均值之间的欧式距离作为标准尺度，进行对多个眼部特征点的位置坐标进行归一化处理。
以N为12为例，12个眼部特征点的横轴坐标X(X1，X2…X11，X12)，12个眼部特征点的纵轴坐标Y(Y1，Y2…Y11，Y12)。
步骤103实现时，可以首先确定所有眼部特征点的位置坐标均值
Figure PCTCN2018118374-appb-000009
左眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000010
以及右眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000011
其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为左眼特征点，第0.5N+1至第N个眼部特征点为右眼特征点；N为偶数。然后计算El和Er的欧式距离Ed。欧式距离例如可以通过如下公式计算：
Figure PCTCN2018118374-appb-000012
其中，ρ为点(x 2，y 2)与点(x 1，y 1)之间的欧氏距离。则El和Er之间的欧式距离为：
Figure PCTCN2018118374-appb-000013
最后再按照公式
Figure PCTCN2018118374-appb-000014
和
Figure PCTCN2018118374-appb-000015
对多个眼部特征点的位置坐标进行归一化处理，得到多个眼部特征点的新位置坐标；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
其中，得到的眼部特征点的新位置坐标就是归一化处理后得到的位置特征数据。
步骤104，基于位置特征数据，确定目标图像中眼睛的状态。例如，对位置特征数据进行分类，确定目标图像中眼睛的状态。
其中，可以利用分类器对得到的位置特征数据进行分类。
例如，本公开实施例还可以包括：
利用样本图像对分类器进行训练，得到用于检测眼睛状态的分类器参数。
本公开实施例中，分类器的训练过程可以如图2所示：
图2中的步骤的描述顺序仅是本公开实施例的一种示例，并不是唯一顺序，本领域技术人员根据本公开的内容也可以想到其他可能的执行顺序。
首先从睁眼闭眼样本图片库中获取正负样本图像；其中，正样本图像中的眼睛状态为睁眼状态，负样本图像中的眼睛状态为闭眼状态。
然后对正负样本图像进行人脸检测和眼部特征点的定位，确定正负样本图像中的多个眼部特征点的位置坐标；
再基于上述步骤103中的归一化处理规则，对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
最后利用得到的位置特征数据，对分类器进行训练，得到用于检测眼睛状态的分类器参数。该分类器可以对睁眼状态还是闭眼状态进行分类。例如向分类器中输入眼部特征点的位置坐标，那么分类器则会判断该位置坐标处的特征是睁眼状态或闭眼状态。
下面结合具体实施例对本公开作进一步说明，但本公开并不限于 以下实施例。
如图3所示，为本公开实施例提供的一种眼睛状态的检测方法的具体流程示意图。该眼睛状态的检测方法具体包括如下步骤301-305。上述步骤的描述顺序仅是本公开实施例的一种示例，并不是唯一顺序，本领域技术人员根据本公开的内容也可以想到其他可能的执行顺序。
步骤301，获取目标图像。
步骤302，检测目标图像中是否包含人脸。
当检测出目标图像中包含人脸时，执行步骤303，当检测出目标图像中不包含人脸时，流程结束，返回继续执行步骤301。
步骤303，对目标图像中的12个眼部特征点进行定位，确定12个眼部特征点的位置坐标。
其中，12个眼部特征点的横轴坐标X(X1，X2…X11，X12)，12个眼部特征点的纵轴坐标Y(Y1，Y2…Y11，Y12)。
步骤304，以左眼特征点的位置坐标均值和右眼特征点的位置坐标均值之间的欧式距离作为标准尺度，对12个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
首先，确定所有眼部特征点的位置坐标均值
Figure PCTCN2018118374-appb-000016
左眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000017
以及右眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000018
其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标。
然后计算El和Er的欧式距离Ed；
最后再按照公式
Figure PCTCN2018118374-appb-000019
和
Figure PCTCN2018118374-appb-000020
对12个眼部特征点的位置坐标进行归一化处理，得到12个眼部特征点的新位置坐标； 其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
以(X1，Y1)为例：
Figure PCTCN2018118374-appb-000021
依次计算，最终得到12个眼部特征点的新位置坐标为：
(X1 new,X2 new...X11 new,X12 new,Y1 new,Y2 new...Y11 new,Y12 new)，即归一化处理后得到的位置特征数据。
步骤305，利用分类器对得到的位置特征数据进行分类，确定目标图像中眼睛的状态。
本公开实施例提供的眼睛状态的检测方案，通过获取目标图像，确定目标图像中的多个眼部特征点的位置坐标，并以左眼特征点的位置坐标均值和右眼特征点的位置坐标均值之间的欧式距离作为标准尺度，对该多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据，再对位置特征数据进行分类，确定目标图像中眼睛的状态。该方案可以准确检测出目标图像中眼睛的状态，同时由于采用归一化处理原则，因此不受目标图像中眼部区域和脸的大小和位置的影响，具有很好的鲁棒性。
应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
基于与前述方法同一发明构思，本公开实施例还提供了一种眼睛状态的检测装置。为了说明书的简洁，以下仅作简要描述。如图4所示，为本公开实施例提供的一种眼睛状态的检测装置的结构框图，该装置包括：
获取单元41，用于获取目标图像。获取单元例如是相机，摄像头等采集装置，也可以是调用目标图像的程序指令。
定位单元42，用于对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标。例如眼部特征点可以包括左眼特征点和右眼特征点。
归一化处理单元43，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。例如可以以所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离作为标准尺度，来对所述多个眼部特征点的位置坐标进行归一化处理。
确定单元44，用于基于所述位置特征数据，确定所述目标图像中眼睛的状态。
例如，上述定位单元42，归一化处理单元43以及确定单元44可以通过软件的方式实现，也可以通过硬件或固件的方式来实现。例如通过通用处理器，可编程逻辑电路，集成电路来实现。
例如，例如所述定位单元42用于：
检测目标图像中是否包含人脸；
当检测出所述目标图像中包含人脸时，对目标图像中的多个眼部特征点进行定位。
例如，所述归一化处理单元43，用于：
确定所述左眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000022
和所述右眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000023
其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为所述左眼特征点，第0.5N+1至第N个眼部特征点为所述右眼特征点；所述N为偶数；
计算El和Er之间的欧式距离Ed；
按照公式
Figure PCTCN2018118374-appb-000024
和
Figure PCTCN2018118374-appb-000025
对所述多个眼部特征点的位置坐标进行归一化处理，得到所述多个眼部特征点的新位置坐标，作为处理后的位置特征数据；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
例如，所述N＝12。
例如，所述确定单元44，用于：
利用分类器对所述位置特征数据进行分类。
在一个示例中，所述装置还包括：
分类器训练单元45，用于利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数。
应当理解，上述睁闭眼状态的检测装置中记载的诸子系统或单元与参考图1-图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该内容分发装置及其中包含的单元，在此不再赘述。
基于同一发明构思，本公开实施例还提供了一种适于用来实现本公开实施例的计算机设备，用于实现前述实施例的方法。
例如，该计算机设备包括存储器和处理器，存储器中存储计算机程序指令，处理器处理所述程序指令时执行：获取目标图像；对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；基于所述位置特征数据，确定所述目标图像中眼睛的状态。
例如，所述眼部特征点包括左眼特征点和右眼特征点；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离；以所述欧式距离作为标准尺度，对所述眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
例如，基于所述位置特征数据，确定所述目标图像中眼睛的状态包括：对所述位置特征数据进行分类；基于分类结果确定所述目标图像中眼睛的状态。
例如，确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离包括：
确定所述左眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000026
和所述右眼特征点的位置坐标均值
Figure PCTCN2018118374-appb-000027
其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为所述左眼特征点，第0.5N+1至第N个眼部特征点为所述右眼特征点；所述N为偶数；基于El和Er确定E1和Er之间的欧式距离Ed。
例如，以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
按照公式
Figure PCTCN2018118374-appb-000028
和
Figure PCTCN2018118374-appb-000029
对所述多个眼部特征点的位置坐标进行归一化处理，得到所述多个眼部特征点的新位置坐标，作为处理后的位置特征数据；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
例如，所述N＝12。
例如，所述对所述位置特征数据进行分类，包括：利用分类器对所述位置特征数据进行分类。
例如，所述对所述位置特征数据进行分类还包括：利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数。
例如，利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数包括：从图片库中获取正负样本图像；其中，正样本图像中的眼睛状态为睁眼状态，负样本图像中的眼睛状态为闭眼状态；对正负样本图像进行眼部特征点的定位，确定正负样本图像中的多个眼部特征点的位置坐标；对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；利用位置特征数据，对分类器进行训练，得到用于检测眼睛状态的分类器参数。
例如，所述对所述目标图像中的多个眼部特征点进行定位，包括：检测所述目标图像中是否包含人脸；当检测出所述目标图像中包含人脸时，对所述目标图像中的多个眼部特征点进行定位。
如图5所示，为本公开实施例提供的一种适于用来实现本公开实施例的计算机设备的结构示意图。
如图5所示，计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考图1-图3描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1-图3的方法的程序代码。在这样的实施 例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的公式输入方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
本公开要求于2018年4月27日递交的中国专利申请第 201810394919.1号的优先权，在此全文引用上述中国专利申请公开的内容以作为本公开的一部分。

Claims (20)

  1. 一种眼睛状态的检测方法，包括：
    获取目标图像；
    对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；
    对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；
    基于所述位置特征数据，确定所述目标图像中眼睛的状态。
  2. 根据权利要求1所述的方法，其中，所述眼部特征点包括左眼特征点和右眼特征点；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
    确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离；
    以所述欧式距离作为标准尺度，对所述眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
  3. 根据权利要求1或2所述的方法，其中，基于所述位置特征数据，确定所述目标图像中眼睛的状态包括：
    对所述位置特征数据进行分类；
    基于分类结果确定所述目标图像中眼睛的状态。
  4. 根据权利要求2或3所述的方法，其中，
    确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离
    包括：
    确定所述左眼特征点的位置坐标均值
    Figure PCTCN2018118374-appb-100001
    和所述右眼 特征点的位置坐标均值
    Figure PCTCN2018118374-appb-100002
    其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为所述左眼特征点，第0.5N+1至第N个眼部特征点为所述右眼特征点；所述N为偶数；
    基于El和Er确定E1和Er之间的欧式距离Ed。
  5. 根据权利要求4所述的方法，其中，以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
    按照公式
    Figure PCTCN2018118374-appb-100003
    对所述多个眼部特征点的位置坐标进行归一化处理，得到所述多个眼部特征点的新位置坐标，作为处理后的位置特征数据；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
  6. 根据权利要求4或5所述的方法，其中，所述N＝12。
  7. 根据权利要求3-6任一所述的方法，其中，所述对所述位置特征数据进行分类，包括：
    利用分类器对所述位置特征数据进行分类。
  8. 根据权利要求7所述的方法，其中，所述对所述位置特征数据进行分类还包括：
    利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数。
  9. 根据权利要求8所述的方法，其中，利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数包括：
    从图片库中获取正负样本图像；其中，正样本图像中的眼睛状态为睁眼状态，负样本图像中的眼睛状态为闭眼状态；
    对正负样本图像进行眼部特征点的定位，确定正负样本图像中的多个眼部特征点的位置坐标；
    对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；
    利用位置特征数据，对分类器进行训练，得到用于检测眼睛状态的分类器参数。
  10. 根据权利要求1所述的方法，其中，所述对所述目标图像中的多个眼部特征点进行定位，包括：
    检测所述目标图像中是否包含人脸；
    当检测出所述目标图像中包含人脸时，对所述目标图像中的多个眼部特征点进行定位。
  11. 一种电子设备，其中，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行：
    获取目标图像；
    对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；
    对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；
    基于所述位置特征数据，确定所述目标图像中眼睛的状态。
  12. 根据权利要求11所述的电子设备，其中，所述眼部特征点包括左眼特征点和右眼特征点；对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
    确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离；
    以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据。
  13. 根据权利要求11或12所述的电子设备，其中，基于所述位置特征数据，确定所述目标图像中眼睛的状态包括：
    对所述位置特征数据进行分类；
    基于分类结果确定所述目标图像中眼睛的状态。
  14. 根据权利要求12或13所述的电子设备，其中，
    确定所述左眼特征点的位置坐标均值和所述右眼特征点的位置坐标均值之间的欧式距离包括：
    确定所述左眼特征点的位置坐标均值
    Figure PCTCN2018118374-appb-100004
    和所述右眼特征点的位置坐标均值
    Figure PCTCN2018118374-appb-100005
    其中，X i为第i个眼部特征点的横轴坐标，Y i为第i个眼部特征点的纵轴坐标；i的取值范围为1到N的整数，第一至第0.5N个眼部特征点为所述左眼特征点，第0.5N+1至第N个眼部特征点为所述右眼特征点；所述N为偶数；
    基于El和Er确定E1和Er之间的欧式距离Ed。
  15. 根据权利要求14所述的电子设备，其中，以所述欧式距离作为标准尺度，对所述多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据包括：
    按照公式
    Figure PCTCN2018118374-appb-100006
    对所述多个眼部特征点 的位置坐标进行归一化处理，得到所述多个眼部特征点的新位置坐标，作为处理后的位置特征数据；其中，X inew为第i个眼部特征点的横轴新坐标，Y inew为第i个眼部特征点的纵轴新坐标。
  16. 根据权利要求13-15任一所述的电子设备，其中，所述对所述位置特征数据进行分类，包括：
    利用分类器对所述位置特征数据进行分类。
  17. 根据权利要求16所述的电子设备，其中，所述对所述位置特征数据进行分类还包括：
    利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数。
  18. 根据权利要求17所述的电子设备，其中，利用样本图像对所述分类器进行训练，得到用于检测眼睛状态的分类器参数包括：
    从图片库中获取正负样本图像；其中，正样本图像中的眼睛状态为睁眼状态，负样本图像中的眼睛状态为闭眼状态；
    对正负样本图像进行眼部特征点的定位，确定正负样本图像中的多个眼部特征点的位置坐标；
    对多个眼部特征点的位置坐标进行归一化处理，得到处理后的位置特征数据；
    利用位置特征数据，对分类器进行训练，得到用于检测眼睛状态的分类器参数。
  19. 一种眼睛状态的检测装置，包括：
    获取单元，被配置为获取目标图像；
    定位单元，被配置为对所述目标图像中的多个眼部特征点进行定位，以确定所述多个眼部特征点的位置坐标；
    归一化处理单元，被配置为对所述多个眼部特征点的位置坐标进 行归一化处理，得到处理后的位置特征数据；
    确定单元，被配置为基于所述位置特征数据，确定所述目标图像中眼睛的状态。
  20. 一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如权利要求1-10中任一项所述的方法。
PCT/CN2018/118374 2018-04-27 2018-11-30 眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质 WO2019205633A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/473,491 US11386710B2 (en) 2018-04-27 2018-11-30 Eye state detection method, electronic device, detecting apparatus and computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810394919.1 2018-04-27
CN201810394919.1A CN108615014B (zh) 2018-04-27 2018-04-27 一种眼睛状态的检测方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
WO2019205633A1 true WO2019205633A1 (zh) 2019-10-31

Family

ID=63661343

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/118374 WO2019205633A1 (zh) 2018-04-27 2018-11-30 眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11386710B2 (zh)
CN (1) CN108615014B (zh)
WO (1) WO2019205633A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178278A (zh) * 2019-12-30 2020-05-19 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615014B (zh) * 2018-04-27 2022-06-21 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质
CN110555426A (zh) * 2019-09-11 2019-12-10 北京儒博科技有限公司 视线检测方法、装置、设备及存储介质
CN110941333A (zh) * 2019-11-12 2020-03-31 北京字节跳动网络技术有限公司 基于眼部动作的交互方法、装置、介质和电子设备
CN110866508B (zh) * 2019-11-20 2023-06-27 Oppo广东移动通信有限公司 识别目标对象的形态的方法、装置、终端及存储介质
CN112989890B (zh) * 2019-12-17 2024-08-02 腾讯科技（深圳）有限公司 图像检测方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN106485191A (zh) * 2015-09-02 2017-03-08 腾讯科技（深圳）有限公司 一种驾驶员疲劳状态检测方法及系统
CN107704805A (zh) * 2017-09-01 2018-02-16 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
CN108615014A (zh) * 2018-04-27 2018-10-02 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
CN100389388C (zh) * 2006-06-15 2008-05-21 北京中星微电子有限公司 基于人脸认证的屏幕保护方法及装置
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2009003730A (ja) * 2007-06-22 2009-01-08 Nintendo Co Ltd 情報処理プログラムおよび情報処理装置
CN101339607B (zh) * 2008-08-15 2012-08-01 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
JP5361368B2 (ja) * 2008-12-22 2013-12-04 任天堂株式会社 ゲームプログラム、ゲーム装置およびゲーム制御方法
JP5526233B2 (ja) * 2010-06-28 2014-06-18 富士フイルム株式会社 立体視用画像撮影装置およびその制御方法
JP5682291B2 (ja) * 2010-12-20 2015-03-11 ソニー株式会社 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
CN102663361B (zh) * 2012-04-01 2014-01-01 北京工业大学 一种面向整体特征分析的人脸图像可逆几何归一化方法
CN103793720B (zh) * 2014-02-12 2017-05-31 北京海鑫科金高科技股份有限公司 一种眼睛定位方法和系统
CN106709404B (zh) * 2015-11-16 2022-01-04 佳能株式会社 图像处理装置及图像处理方法
CN106529409B (zh) * 2016-10-10 2019-08-09 中山大学 一种基于头部姿态的眼睛注视视角测定方法
WO2020121425A1 (ja) * 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
CN110111418B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
US20200401879A1 (en) * 2019-06-19 2020-12-24 LegInsight, LLC Systems and methods for predicting whether experimental legislation will become enacted into law

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN106485191A (zh) * 2015-09-02 2017-03-08 腾讯科技（深圳）有限公司 一种驾驶员疲劳状态检测方法及系统
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN107704805A (zh) * 2017-09-01 2018-02-16 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
CN108615014A (zh) * 2018-04-27 2018-10-02 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178278A (zh) * 2019-12-30 2020-05-19 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质
CN111178278B (zh) * 2019-12-30 2022-04-08 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108615014B (zh) 2022-06-21
CN108615014A (zh) 2018-10-02
US11386710B2 (en) 2022-07-12
US20210357617A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
WO2019205633A1 (zh) 眼睛状态的检测方法、电子设备、检测装置和计算机可读存储介质
US10684681B2 (en) Neural network image processing apparatus
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
US11295474B2 (en) Gaze point determination method and apparatus, electronic device, and computer storage medium
CN107209849B (zh) 眼睛跟踪
WO2019232862A1 (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
WO2019232866A1 (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
JP3962803B2 (ja) 頭部検出装置、頭部検出方法および頭部検出プログラム
WO2018219180A1 (zh) 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
TWI754806B (zh) 利用深度學習定位虹膜之裝置與方法
WO2015165365A1 (zh) 一种人脸识别方法及系统
US7995807B2 (en) Automatic trimming method, apparatus and program
CN110751043A (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
US8090151B2 (en) Face feature point detection apparatus and method of the same
WO2022021029A1 (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN112597872B (zh) 视线角度估计方法和装置、存储介质、电子设备
WO2011065952A1 (en) Face recognition apparatus and methods
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
WO2021143865A1 (zh) 定位方法及装置、电子设备、计算机可读存储介质
JP2023134688A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
WO2021208767A1 (zh) 人脸轮廓修正方法、装置、设备及存储介质
JP2007048172A (ja) 情報分類装置
US20140334694A1 (en) Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18916913

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18916913

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18916913

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/05/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18916913

Country of ref document: EP

Kind code of ref document: A1