TW202011284A - 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法 - Google Patents

眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法 Download PDF

Info

Publication number
TW202011284A
TW202011284A TW107144516A TW107144516A TW202011284A TW 202011284 A TW202011284 A TW 202011284A TW 107144516 A TW107144516 A TW 107144516A TW 107144516 A TW107144516 A TW 107144516A TW 202011284 A TW202011284 A TW 202011284A
Authority
TW
Taiwan
Prior art keywords
eye
matrix
image
face
area
Prior art date
Application number
TW107144516A
Other languages
English (en)
Other versions
TWI669664B (zh
Inventor
張普
周維
林崇仰
Original Assignee
大陸商虹軟科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商虹軟科技股份有限公司 filed Critical 大陸商虹軟科技股份有限公司
Application granted granted Critical
Publication of TWI669664B publication Critical patent/TWI669664B/zh
Publication of TW202011284A publication Critical patent/TW202011284A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)

Abstract

眼睛狀態檢測系統包含影像處理器及深度學習處理器。在影像處理器接收待測圖像之後，影像處理器根據複數個人臉特徵點自待測圖像中辨識出人臉眼睛區域，影像處理器對人臉眼睛區域進行配准處理以產生歸一化的待測眼睛圖像，深度學習處理器根據深度學習模型自待測眼睛圖像中提取出複數個眼睛特徵資料，及深度學習處理器根據複數個眼睛特徵資料及深度學習模型中的複數個訓練樣本資料輸出人臉眼睛區域的眼睛狀態。

Description

眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法
本發明是有關於一種眼睛狀態檢測系統，特別是指一種運用深度學習模型來檢測眼睛狀態的眼睛狀態檢測系統。
隨著智慧手機的功能日漸強大，人們常常會利用行動裝置來拍攝照片、記錄生活並與朋友分享。為了幫助人們能夠拍攝出滿意的照片，在先前技術中，便有行動裝置能夠在拍照時進行閉眼偵測，以避免用戶拍攝到人物閉眼的照片。此外，閉眼偵測的技術也可被應用在駕駛輔助系統中，例如可以通過偵測駕駛的眼睛是否閉合來判斷是否有疲勞駕駛的情況出現。
一般來說，閉眼檢測是先從圖像中取出眼睛特徵點，並將眼睛特徵點的資訊與標準值相比對，藉以判斷出圖像中人物的眼睛是否閉上。由於每個人的眼睛大小形狀都不同，因此閉眼時的眼睛特徵點也會有不少差異。此外，若是人物的姿勢遮蔽了部分的眼睛、環境光源的干擾、或是人物所佩戴的眼鏡，都可能會造成閉眼偵測的誤判，使得閉眼偵測的穩固性(robustness)不佳，而不符合使用者的需求。
本發明的一實施例提供一種眼睛狀態檢測系統的操作方法。眼睛狀態檢測系統包含影像處理器及深度學習處理器。
眼睛狀態檢測系統的操作方法包含影像處理器接收待測圖像，影像處理器根據複數個人臉特徵點自待測圖像中辨識出人臉眼睛區域，影像處理器對人臉眼睛區域進行配准處理以產生歸一化的待測眼睛圖像，深度學習處理器根據深度學習模型自待測眼睛圖像中提取出複數個眼睛特徵資料，及深度學習處理器根據複數個眼睛特徵資料及深度學習模型中的複數個訓練樣本資料輸出人臉眼睛區域的眼睛狀態。
本發明的另一實施例提供一種眼睛狀態檢測系統，眼睛狀態檢測系統包含影像處理器及深度學習處理器。
影像處理器接收待測圖像，根據複數個人臉特徵點自待測圖像中辨識出人臉眼睛區域，並對人臉眼睛區域進行配准處理以產生歸一化的待測眼睛圖像。
深度學習處理器耦接於影像處理器，根據深度學習模型自待測眼睛圖像中提取出複數個眼睛特徵資料，及根據複數個眼睛特徵資料及深度學習模型中的複數個訓練樣本資料輸出人臉眼睛區域的眼睛狀態。
第1圖是本發明一實施例的眼睛狀態檢測系統100的示意圖。眼睛狀態檢測系統100包含影像處理器110及深度學習處理器120，且深度學習處理器120可耦接於影像處理器110。
影像處理器110可接收待測圖像IMG1。第2圖本發明一實施例的待測圖像IMG1的示意圖。待測圖像IMG1可例如是使用者拍攝的圖像或是車輛內部的監控攝影機所拍攝的圖像，又或是根據應用領域的不同，而由其他的裝置產生。此外，在本發明的有些實施例中，影像處理器110可以是專門用來處理圖像的專門應用積體電路，也可以是執行對應程式的一般應用處理器。
影像處理器110可以根據複數個人臉特徵點自待測圖像IMG1中辨識出人臉眼睛區域A1。在本發明的有些實施例中，影像處理器110可以通過複數個人臉特徵點自待測圖像IMG1中先辨識出人臉區域A0，再通過複數個眼睛關鍵點自人臉區域A0中辨識出人臉眼睛區域A1。人臉特徵點可例如是系統中所預設與人臉特徵相關的參數值，影像處理器110可以通過影像處理的技術從待測圖像IMG1中取出可供比較的參數值，並與系統中預設的人臉特徵點相比較以辨識出待測圖像IMG1中是否存在人臉，而在確定檢測出人臉區域A0之後，才進一步在人臉區域A0中檢測出人臉眼睛區域A1。如此一來，就能夠在圖像不存在人臉的情況下，避免影像處理器110直接檢測人眼所需的複雜運算。
由於在不同或相同的待測圖像中，影像處理器110可能會辨識出大小不同的人臉眼睛區域，為了有利於深度學習處理器120能夠進行後續分析，並避免因為待測圖像中眼睛大小、角度等差異而造成誤判，影像處理器110可以通過對人臉眼睛區域A1進行配准處理以產生歸一化的待測眼睛圖像。第3圖是影像處理器110根據人臉眼睛區域A1所產生的待測眼睛圖像IMG2。在第3圖的實施例中，為了方便說明，待測眼睛圖像IMG2中僅包含了人臉眼睛區域A1中的右眼，而人臉眼睛區域A1中的左眼則可由另外的帶測眼睛圖像呈現。然而本發明並不以此為限，在本發明的其他實施例中，根據深度學習處理單元130的需求，待測眼睛圖像IMG2還可同時包含人臉眼睛區域A1中的左眼。
在待測圖像IMG1中，人臉眼睛區域A1中的兩個眼角座標可以表示成座標Po1 (u1,v1)及Po2 (u2,v2)，而在完成配准之後的待測眼睛圖像IMG2中，兩眼角座標Po1 (u1,v1)及Po2 (u2,v2)則會對應於配准後的兩變換眼角座標Pe1 (x1,y1)及Pe2(x2,y2)。在本發明的有些實施例中，變換眼角座標Pe1 (x1,y1)及Pe2(x2,y2)在待測眼睛圖像IMG2中的位置可以是固定的，而影像處理器110可以通過平移、旋轉及縮放等仿射操作來將待測圖像IMG1中的眼角座標Po1 (u1,v1)及Po2轉換成待測眼睛圖像IMG2中的變換眼角座標Pe1 (x1,y1)及Pe2(x2,y2)。也就是說，不同的待測圖像IMG1可能會需要利用不同的仿射變換操作來進行轉換，使得最終待測圖像IMG1中的眼睛區域能夠在待測眼睛圖像IMG2的標準固定位置上，以標準的大小及方向呈現，達到歸一化的效果。
由於仿射變換主要是座標之間的一次線性變換，因此仿射變換的過程可以例如以式1及式2。
Figure 02_image001
式1
Figure 02_image003
式2
由於眼角座標Po1 (u1,v1)及Po2(u2,v2)會通過相同的運算轉換成變換眼角座標Pe1 (x1,y1)及Pe2(x2,y2)，因此在本發明的有些實施例中，可以根據眼角座標Po1 (u1,v1)及Po2(u2,v2)來定義兩眼角座標矩陣A，而兩眼角座標矩陣A則可例如以式3表示。
Figure 02_image005
式3
也就是說，兩眼角座標矩陣A可以看作是根據眼角座標Pe1 (x1,y1)及Pe2(x2,y2)所得出的變換目標矩陣B與仿射變換參數矩陣C相乘的結果，變換目標矩陣B包含變換眼角座標Pe1 (x1,y1)及Pe2(x2,y2)，例如以式4表示，而仿射變換參數矩陣C可以例如以式5表示。
Figure 02_image007
式4
Figure 02_image009
式5
在此情況下，影像處理器110便可通過式6來取得仿射變換參數矩陣C，以便能夠在眼角座標Po1 (u1,v1)及Po2(u2,v2)與眼角座標Pe1 (x1,y1)及Pe2(x2,y2)之間轉換。
Figure 02_image011
式6
也就是說，影像處理器110可以將變換目標矩陣B的轉置矩陣BT 與變換目標矩陣B相乘以產生第一矩陣(BT B)，並將第一矩陣(BT B)的逆矩陣(BT B)-1 與變換目標矩陣B的轉置矩陣BT 及兩眼角座標矩陣A相乘以產生仿射變換參數矩陣C。如此一來，影像處理器110便可通過仿射變換參數矩陣C對人臉眼睛區域A1進行處理以產生待測眼睛圖像IMG2，其中變換目標矩陣B包含兩眼角座標矩陣A在待測眼睛圖像中的兩座標矩陣。
在完成配准並取得歸一化的待測眼睛圖像IMG2之後，深度學習處理器120便可根據其中的深度學習模型自待測眼睛圖像IMG2中提取出複數個眼睛特徵資料，並可根據複數個眼睛特徵資料及深度學習模型中的複數個訓練樣本資料輸出人臉眼睛區域的眼睛狀態。
舉例來說，深度學習處理器120中的深度學習模型可例如包含卷積神經網路(Convolution Neural Network，CNN )。卷積神經網路主要包含卷積層(convolution layer)、池化層(pooling layer)及全連接層(fully connected layer)。在卷積層中，深度學習處理器120會將待測眼睛圖像IMG2與複數個特徵偵測子(feature detector)，或稱卷積核，進行卷積(convolution)運算以自待測眼睛圖像IMG2當中萃取出各種特徵資料。接著在池化層中則會在通過選取局部最大值的方式來減少特徵資料中的雜訊，最後則通過全連接層將池化層中的特徵資料平坦化，並連接到由先前訓練樣本資料所訓練產生的神經網路。
由於卷積神經網路能夠基於先前訓練樣本資料的內容來比對各種不同的特徵，並且可以根據不同特徵之間的關聯來輸出最終的判斷結果，因此對於各種場景、姿勢及環境光線都能夠較準確地判斷出眼睛的睜閉狀態，同時還可以輸出眼睛狀態的置信度供使用者參考。
在本發明的有些實施例中，深度學習處理器120可以是專門用來處理深度學習的專門應用積體電路，也可以是執行對應程式的一般應用處理器或是通用計算圖形處理器(General Purpose Graphic Processing Unit，GPGPU)。
第4圖是眼睛狀態檢測系統100的操作方法200流程圖，方法200包含步驟S210至S250。
S210： 影像處理器110接收待測圖像IMG1；
S220： 影像處理器110根據複數個人臉特徵點自待測圖像IMG1中辨識出人臉眼睛區域A1；
S230： 影像處理器110對人臉眼睛區域A1進行配准處理以產生歸一化的待測眼睛圖像IMG2；
S240： 深度學習處理器120根據深度學習模型自待測眼睛圖像IMG2中提取出複數個眼睛特徵資料；
S250： 深度學習處理器120根據複數個眼睛特徵資料及深度學習模型中的複數個訓練樣本資料輸出人臉眼睛區域A1的眼睛狀態。
在步驟S220中，影像處理器110可以通過複數個人臉特徵點自待測圖像IMG1中先辨識出人臉區域A0，再通過複數個眼睛關鍵點自人臉區域A0中辨識出人臉眼睛區域A1。也就是說，影像處理器110可以在確定檢測出人臉區域A0之後，才進一步在人臉區域A0中檢測出人臉眼睛區域A1。如此一來，就能夠在圖像不存在人臉的情況下，避免影像處理器110直接檢測人眼所需的複雜運算。
此外，為了避免因為不同待測圖像中眼睛大小、角度等差異而造成誤判，操作方法200可以在步驟S230中進行配准處理以產生歸一化的待測眼睛圖像IMG2。舉例來說，操作方法200可以根據式3至式6取得在待測圖像IMG1及待測眼睛圖像IMG2中，眼角座標Po1 (u1,v1)及Po2(u2,v2)與眼角座標Pe1 (x1,y1)及Pe2(x2,y2)之間轉換的仿射變換參數矩陣C。
在本發明的有些實施例中，步驟S240及S250中所使用的深度學習模型可包含含卷積神經網路。由於卷積神經網路能夠基於先前訓練樣本資料的內容來比對各種不同的特徵，並且可以根據不同特徵之間的關聯來輸出最終的判斷結果，因此對於各種場景、姿勢及環境光線都能夠較準確地判斷出眼睛的睜閉狀態，而具有高穩固性(robustness)的特徵，同時還可以輸出眼睛狀態的置信度供使用者參考。
綜上所述，本發明的實施例所提供的眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法可以透過配准處理來將待測圖像中的眼睛區域進行歸一化，並通過深度學習模型來判斷眼睛的睜閉狀態，因此在各種場景、姿勢及環境光線下，能夠較為準確地判斷出眼睛的睜閉狀態。如此一來，使得閉眼偵測能夠更有效地應用在各種領域，例如輔助駕駛系統或數位相機的拍照功能中。 以上該僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100:眼睛狀態檢測系統110:影像處理器120:深度學習處理器A0:人臉區域A1:人臉眼睛區域IMG1:待測圖像IMG2:待測眼睛圖像Po1 (u1,v1)、Po2 (u2,v2):眼角座標Pe1 (x1,y1)、Pe2 (x2,y2):變換眼角座標200:方法S210至S250:步驟
第1圖是本發明一實施例之眼睛狀態檢測系統的示意圖。 第2圖是待測圖像的示意圖。 第3圖是第1圖的影像處理器根據人臉眼睛區域所產生的待測眼睛圖像。 第4圖是第1圖的眼睛狀態檢測系統的操作方法流程圖。
200:方法
S210至S250:步驟

Claims (10)

  1. 一種眼睛狀態檢測系統的操作方法，該眼睛狀態檢測系統包含一影像處理器及一深度學習處理器，該方法包含： 該影像處理器接收一待測圖像； 該影像處理器根據複數個人臉特徵點自該待測圖像中辨識出一人臉眼睛區域； 該影像處理器對該人臉眼睛區域進行配准處理以產生歸一化的一待測眼睛圖像； 該深度學習處理器根據深度學習模型自該待測眼睛圖像中提取出複數個眼睛特徵資料；及 該深度學習處理器根據該些眼睛特徵資料及該深度學習模型中的複數個訓練樣本資料輸出該人臉眼睛區域的眼睛狀態。
  2. 如請求項1所述的方法，其中該影像處理器根據該些人臉特徵點自該待測圖像中辨識出該人臉眼睛區域的步驟包含： 通過該些人臉特徵點自該待測圖像中辨識出一人臉區域；及 通過複數個眼睛關鍵點自該人臉區域中辨識出該人臉眼睛區域。
  3. 如請求項1所述的方法，其中該深度學習模型包含一卷積神經網路。
  4. 如請求項1所述的方法，其中該影像處理器對該人臉眼睛區域進行配准處理以產生歸一化的該待測眼睛圖像的步驟包含： 自該人臉眼睛區域中定義出兩眼角座標矩陣； 定義一變換目標矩陣，該變換目標矩陣包含該兩眼角座標矩陣中兩眼角座標對應於該待測眼睛圖像中的兩變換眼角座標； 將該變換目標矩陣的一轉置矩陣與該變換目標矩陣相乘以產生一第一矩陣； 將該第一矩陣的逆矩陣、該變換目標矩陣的該轉置矩陣及該兩眼角座標矩陣相乘以產生一仿射變換參數矩陣；及 通過該仿射變換參數矩陣對該人臉眼睛區域進行處理以產生該待測眼睛圖像。
  5. 如請求項4所述的方法，其中該變換目標矩陣乘以該仿射變換參數矩陣所產生的矩陣等於該兩眼角座標矩陣。
  6. 一種眼睛狀態檢測系統，包含： 一影像處理器，用以接收一待測圖像，根據複數個人臉特徵點自該待測圖像中辨識出一人臉眼睛區域，及對該人臉眼睛區域進行配准處理以產生歸一化的一待測眼睛圖像；及 一深度學習處理器，耦接於該影像處理器，用以根據一深度學習模型自該待測眼睛圖像中提取出複數個眼睛特徵資料，及根據該些眼睛特徵資料及該深度學習模型中的複數個訓練樣本資料輸出該人臉眼睛區域的眼睛狀態。
  7. 如請求項6所述的眼睛狀態檢測系統，其中該影像處理器是通過該些人臉特徵點自該待測圖像中辨識出一人臉區域，及通過複數個眼睛關鍵點自該人臉區域中辨識出該人臉眼睛區域。
  8. 如請求項6所述的眼睛狀態檢測系統，其中該深度學習模型包含一卷積神經網路。
  9. 如請求項6所述的眼睛狀態檢測系統，其中該影像處理器是自該人臉眼睛區域中定義出兩眼角座標矩陣，定義一變換目標矩陣，將該變換目標矩陣的轉置矩陣與該變換目標矩陣相乘以產生一第一矩陣，將該第一矩陣的逆矩陣、該變換目標矩陣的該轉置矩陣及該兩眼角座標矩陣相乘以產生一仿射變換參數矩陣，及通過該仿射變換參數矩陣對該人臉眼睛區域進行處理以產生該待測眼睛圖像，其中該變換目標矩陣包含該兩眼角座標矩陣中兩眼角座標對應於該待測眼睛圖像中的兩變換眼角座標。
  10. 如請求項9所述的眼睛狀態檢測系統，其中該變換目標矩陣乘以該仿射變換參數矩陣所產生的矩陣等於該兩眼角座標矩陣。
TW107144516A 2018-09-14 2018-12-11 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法 TWI669664B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201811071988.5 2018-09-14
CN201811071988.5 2018-09-14
CN201811071988.5A CN110909561A (zh) 2018-09-14 2018-09-14 眼睛状态检测系统及眼睛状态检测系统的操作方法

Publications (2)

Publication Number Publication Date
TWI669664B TWI669664B (zh) 2019-08-21
TW202011284A true TW202011284A (zh) 2020-03-16

Family

ID=68316760

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144516A TWI669664B (zh) 2018-09-14 2018-12-11 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法

Country Status (5)

Country Link
US (1) US20200085296A1 (zh)
JP (1) JP6932742B2 (zh)
KR (1) KR102223478B1 (zh)
CN (1) CN110909561A (zh)
TW (1) TWI669664B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243236A (zh) * 2020-01-17 2020-06-05 南京邮电大学 一种基于深度学习的疲劳驾驶预警方法及系统
US11847106B2 (en) * 2020-05-12 2023-12-19 Hubspot, Inc. Multi-service business platform system having entity resolution systems and methods
WO2023277548A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
KR102477694B1 (ko) 2022-06-29 2022-12-14 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277622A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277589A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4435809B2 (ja) * 2002-07-08 2010-03-24 株式会社東芝 仮想化粧装置及びその方法
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP2008167028A (ja) * 2006-12-27 2008-07-17 Nikon Corp 撮像装置
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
TWM364858U (en) * 2008-11-28 2009-09-11 Shen-Jwu Su A drowsy driver with IR illumination detection device
JP6762794B2 (ja) * 2016-07-29 2020-09-30 アルパイン株式会社 瞼開閉検出装置および瞼開閉検出方法
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法

Also Published As

Publication number Publication date
CN110909561A (zh) 2020-03-24
JP6932742B2 (ja) 2021-09-08
TWI669664B (zh) 2019-08-21
JP2020047253A (ja) 2020-03-26
KR102223478B1 (ko) 2021-03-04
US20200085296A1 (en) 2020-03-19
KR20200031503A (ko) 2020-03-24

Similar Documents

Publication Publication Date Title
TWI669664B (zh) 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法
US10699103B2 (en) Living body detecting method and apparatus, device and storage medium
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN106446873B (zh) 人脸检测方法及装置
US9818023B2 (en) Enhanced face detection using depth information
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2015172679A1 (zh) 一种图像处理方法和装置
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
WO2019011249A1 (zh) 一种图像中物体姿态的确定方法、装置、设备及存储介质
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
Jain et al. Visual assistance for blind using image processing
Manikandan et al. Hand gesture detection and conversion to speech and text
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN116129129B (zh) 一种人物交互检测模型及检测方法
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
Saif et al. An efficient method for hand gesture recognition using robust features vector
CN113837019B (zh) 一种化妆进度检测方法、装置、设备及存储介质
Brahmankar et al. Indian sign language recognition using canny edge detection
TWI246662B (en) Face recognition system
Amjed et al. A robust geometric skin colour face detection method under unconstrained environment of smartphone database
KR20100075356A (ko) 상체자세 및 손모양 검출 장치 및 그 방법