JP6932742B2 - 深層学習モデルを利用して、眼球状態を検出する眼球状態検出システム及びその眼球状態検出システムを動作させる方法 - Google Patents

深層学習モデルを利用して、眼球状態を検出する眼球状態検出システム及びその眼球状態検出システムを動作させる方法 Download PDF

Info

Publication number
JP6932742B2
JP6932742B2 JP2019111061A JP2019111061A JP6932742B2 JP 6932742 B2 JP6932742 B2 JP 6932742B2 JP 2019111061 A JP2019111061 A JP 2019111061A JP 2019111061 A JP2019111061 A JP 2019111061A JP 6932742 B2 JP6932742 B2 JP 6932742B2
Authority
JP
Japan
Prior art keywords
image
matrix
eye
detected
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019111061A
Other languages
English (en)
Other versions
JP2020047253A (ja
Inventor
普 張
普 張
維 周
維 周
崇仰 林
崇仰 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ArcSoft Corp Ltd
Original Assignee
ArcSoft Hangzhou Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ArcSoft Hangzhou Multimedia Technology Co Ltd filed Critical ArcSoft Hangzhou Multimedia Technology Co Ltd
Publication of JP2020047253A publication Critical patent/JP2020047253A/ja
Application granted granted Critical
Publication of JP6932742B2 publication Critical patent/JP6932742B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)

Description

本発明は、眼球状態検出システムに関し、特に、深層学習モデルを利用して眼球状態を検出する眼球状態検出システムに関する。
携帯電話の高機能化により、携帯電話のユーザは、画像を取り込み、日常生活を記録し、そして、画像を共有するために携帯電話を高い頻度で使用する。ユーザが十分な画像を取り込むことを容易にするために、従来技術においては、モバイルデバイスは、閉眼検出等の機能を備え、その閉眼検出等の機能は、写真撮影の際に、ユーザが目を閉じている人物の画像を取り込むことを防止する。さらに、閉眼検出技術は、運転補助システムにも適用することが可能である。例えば、閉眼検出技術を使用して、運転者の閉眼を検出することによって、運転者の疲労状態を決定することが可能である。
一般的に、閉眼検出プロセスにおいては、最初に、画像から眼球の特徴点を抽出し、その次に、それらの眼球の特徴点の情報をディフォルトの値と比較して、その画像の中の人物が目を閉じているか否かを決定する。あらゆる人物の眼球は、形状及び大きさが異なっているため、閉眼の間に検出される眼球の特徴点は、相当程度の相違があることがある。さらに、閉眼検出は、人物のある特定の姿勢によって眼球の一部が隠されていること、周辺光の干渉、又は、人物が着用している眼鏡のために、失敗することがあり、閉眼検出の不十分な頑健性につながり、そして、ユーザの要求を満たすことができない。
本発明の1つの実施形態において、眼球状態検出システムを動作させる方法が提供される。その眼球状態検出システムは、画像プロセッサ及び深層学習プロセッサを含む。
眼球状態検出システムを動作させる方法は、
画像プロセッサが、検出されるべき画像を受信するステップと、
前記画像プロセッサが、複数の顔面特徴点にしたがって、検出されるべき前記画像から眼球領域を識別するステップと、
前記画像プロセッサが、前記眼球領域に対して画像登録(画像位置合わせ)(image registration)を実行して、検出されるべき正規化された眼球画像を生成するステップと、
深層学習プロセッサが、深層学習モデルにしたがって、検出されるべき前記正規化された眼球画像から、複数の眼球特徴を抽出するステップと、
前記深層学習プロセッサが、前記複数の眼球特徴及び前記深層学習モデルの中の複数のトレーニングサンプルにしたがって、前記眼球領域の中の眼球状態を出力するステップと、を含む。
本発明の他の実施形態において、画像プロセッサ及び深層学習プロセッサを含む眼球状態検出システムが提供される。
前記画像プロセッサは、検出されるべき画像を受信し、複数の顔面特徴点にしたがって、検出されるべき前記画像から眼球領域を識別し、そして、前記眼球領域に対して画像登録を実行して、検出されるべき正規化された眼球画像を生成する、のに使用される。
前記深層学習プロセッサは、深層学習モデルにしたがって、検出されるべき前記正規化された眼球画像から、複数の眼球特徴を抽出し、そして、前記複数の眼球特徴及び前記深層学習モデルの中の複数のトレーニングサンプルにしたがって、前記眼球領域の中の眼球状態を出力する、のに使用される。
さまざまな図表及び図面の中で図示されている好ましい実施形態の以下の詳細な説明を読んだ後に、本発明のこれらの及び他の目的は、間違いなく、当業者に明らかとなるであろう。
本発明の1つの実施形態にしたがって、眼球状態検出システムを動作させる方法の概略的な図である。 検出されるべき画像を示している。 眼球領域にしたがって、図1の中の画像プロセッサが検出して生成する眼球画像を示している。 図1の眼球状態検出システムを動作させる方法のフローチャートである。
図1は、本発明の1つの実施形態にしたがって眼球状態検出システム100を動作させる方法の概略的な図である。その眼球状態検出システム100は、画像プロセッサ110及び深層学習プロセッサ120を含む。その深層学習プロセッサ120は、画像プロセッサ110に接続していてもよい。
画像プロセッサ110は、検出されるべき画像IMG1を受信することが可能である。図2は、検出されるべき画像IMG1を示している。その検出されるべき画像IMG1は、ユーザにより撮影された画像、車載監視カメラによって取り込まれた画像、であってもよく、さまざまな応用分野に基づいて、他のデバイスによって生成されてもよい。さらに、本発明のいくつかの実施形態において、画像プロセッサ110は、画像処理のための特定用途向け集積回路、又は、対応する手順を実行するための汎用アプリケーションプロセッサであってもよい。
画像プロセッサ110は、複数の顔面特徴点にしたがって、検出されるべき画像IMG1から、眼球領域A1を識別することが可能である。本発明のいくつかの実施形態において、画像プロセッサ110は、最初に、複数の顔面特徴点にしたがって、検出されるべき画像IMG1から、顔面領域A0を識別し、その次に、複数の眼球重要点にしたがって、顔面領域A0から眼球領域A1を識別してもよい。それらの複数の顔面特徴点は、システムにおいてディフォルトの複数の顔面特徴と関連する複数のパラメータ値であってもよい。画像プロセッサ110は、画像処理技術を使用することによって、検出されるべき画像IMG1から、比較のためのパラメータ値を抽出し、そして、比較のためのそれらのパラメータ値とシステムにおいてディフォルトの複数の顔面特徴とを比較して、人物の顔面がその検出されるべき画像IMG1の中に存在するか否かを識別してもよい。顔面領域A0を検出した後に、画像プロセッサ110は、その次に、その顔面領域A0の中の眼球領域A1を検出してもよい。このように、その画像の中に人物の顔面が存在しないときは、実施形態は、画像プロセッサ110が人物の眼球の検出に必要な複雑な演算を直接的に実行することを防止することが可能である。
検出されるべき異なる画像または同一の画像において、画像プロセッサ110は、異なるサイズの眼球領域を識別することが可能であるので、深層学習プロセッサ120が実行する以降の分析を容易にするとともに、検出されるべき画像の中の眼球の大きさ及び角度の相違による誤った決定を防止するために、画像プロセッサ110は、眼球領域A1に対して画像登録(画像位置合わせ)(image registration)を実行して、検出されるべき正規化された眼球画像を生成してもよい。図3は、眼球領域A1にしたがって画像プロセッサ110によって検出されるとともに生成されるべき眼球画像IMG2を示している。参照の都合上、図3の実施形態において、検出されるべき眼球画像IMG2は、眼球領域A1の中の右側眼球のみを含み、眼球領域A1の中の左側眼球は、他の検出されるべき眼球画像によって表されてもよい。本発明は、実施形態において示されている構成に限定されないということが明らかであるはずである。本発明の他の実施形態において、検出されるべき眼球画像IMG2は、深層学習プロセッサ120の要件に応じて、眼球領域A1の中の左側眼球及び右側眼球の双方を含んでもよい。
検出されるべき画像IMG1において、眼球領域A1の中の眼球端部の座標は、座標Po1(u1,v1)及び座標Po2(u2,v2)によって表されてもよい。画像登録の後に生成される検出されるべき眼球画像IMG2において、画像登録の後に生成される変換された眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)は、眼球端部の座標Po1(u1,v1)及びPo2(u2,v2)に対応する。本発明のいくつかの実施形態において、変換された眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)の位置は、検出されるべき眼球画像IMG2の中で固定されてもよい。画像プロセッサ110は、シフト、回転、スケーリング等のアフィン演算(affine operation)を実行することによって、検出されるべき画像IMG1の中の眼球端部の座標Po1(u1,v1)及びPo2(u2,v2)を、検出されるべき眼球画像IMG2の中の変換された眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)に変換してもよい。言い換えると、複数の異なる検出されるべき画像IMG1に複数の異なるアフィン変換演算(affine transformation operation)を適用して、変換を実行し、それにより、検出されるべき画像IMG1の中の眼球領域が、検出されるべき眼球画像IMG2の中の固定されたディフォルトの位置に留まることを可能にし、結果として、標準のサイズ及び方向を使用して表現することによって正規化を実現する。
アフィン変換は、主として、複数の座標の間の一次線形変換であるので、例えば、式1及び式2によって、アフィン変換を表してもよい。
Figure 0006932742
Figure 0006932742
同じ演算を使用して、眼球端部の座標Po1(u1,v1)及びPo2(u2,v2)を眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)に変換してもよいので、眼球端部の座標Po1(u1,v1)及びPo2(u2,v2)にしたがって、眼球端部の座標行列Aを定義してもよい。眼球端部の座標行列Aは、式3によって表されてもよい。
Figure 0006932742
すなわち、眼球端部の座標行列Aは、眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)にしたがって生成されるアフィン変換パラメータ行列Cとターゲット変換行列Bとの乗算の結果と考えることが可能である。ターゲット変換行列Bは、眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)を含み、例えば、式4によって表されてもよい。アフィン変換パラメータ行列Cは、例えば、式5によって表されてもよい。
Figure 0006932742
Figure 0006932742
このような場合に、画像プロセッサ110は、式6を使用して、アフィン変換パラメータ行列Cを取得して、眼球端部の座標Po1(u1,v1)及び(u2,v2)と眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)との間で変換を実行してもよい。
Figure 0006932742
すなわち、画像プロセッサ110は、ターゲット変換行列Bの転置行列BTとターゲット変換行列Bとを乗算して、第1の行列(BTB)を生成してもよく、そして、ターゲット変換行列Bの転置行列BT及び眼球端部の座標行列Aを第1の行列(BTB)の逆行列(BTB)-1に乗算して、アフィン変換パラメータ行列Cを生成してもよい。その結果、画像プロセッサ110は、アフィン変換パラメータ行列Cを使用して、眼球領域A1を処理してもよく、それにより、検出されるべき眼球画像IMG2を生成してもよい。ターゲット変換行列Bは、検出されるべき眼球画像の眼球端部の座標行列Aの2つの座標行列を含む。
画像登録が完了し、検出されるべき眼球画像IMG2を取得した後に、深層学習プロセッサ120は、深層学習モデルにしたがって、検出されるべき眼球画像IMG2から、複数の眼球特徴を抽出し、そして、深層学習モデルの中の複数のトレーニングサンプル及び複数の眼球特徴にしたがって、眼球領域の眼球状態を出力する、ように構成される。
例えば、深層学習プロセッサ120の中の深層学習モデルは、畳み込みニューラルネットワーク(Convolution Neural Network(CNN))であってもよい。その畳み込みニューラルネットワークは、主として、畳み込み層(convolution layer)、プーリング層(pooling layer)、及び完全に接続された層(fully connected layer)を含む。その畳み込み層において、深層学習プロセッサ120は、畳み込みカーネル(convolutional kernel)とも称される複数の特徴検出器を使用して、検出されるべき眼球画像IMG2に対して畳み込み演算を実行して、検出されるべき眼球画像IMG2からさまざまな特徴データを抽出してもよい。次に、深層学習プロセッサ120は、局所的な最大値を選択し、完全に接続された層を介してプーリング層の中の特徴データを平坦化し、予備トレーニングサンプルによって学習されているとともに生成されているニューラルネットワークに接続することによって、特徴データの中の雑音を低減してもよい。
畳み込みニューラルネットワークは、予備トレーニングサンプルに基づいて、複数の異なる特徴を比較し、そして、複数の異なる特徴の間の関連性にしたがって、最終的な決定結果を出力することが可能であるので、さまざまなシナリオ、姿勢、及び周辺光について、眼球の開放又は閉鎖の状態をより正確に決定することが可能であり、そして、ユーザのための基準として役立つように、その決定された眼球の状態の信頼性を出力することが可能である。
本発明のいくつかの実施形態において、深層学習プロセッサ120は、深層学習を処理するための特定用途向け集積回路であってもよく、対応する手順を実行するための汎用アプリケーションプロセッサ又は汎用グラフィック処理ユニット(GPGPU)であってもよい。
図4は、眼球状態検出システム100を動作させる方法200のフローチャートである。その方法200は、ステップS210乃至S250を含む。
S210: 画像プロセッサ110は、検出されるべき画像IMG1を受信する。
S220: 画像プロセッサ110は、複数の顔面特徴点にしたがって、検出されるべき画像IMG1から眼球領域A1を識別する。
S230: 画像プロセッサ110は、眼球領域A1に対して画像登録を実行して、検出されるべき正規化された眼球画像IMG2を生成する。
S240: 深層学習プロセッサ120は、深層学習モデルにしたがって、検出されるべき正規化された眼球画像IMG2から、複数の眼球特徴を抽出する。
S250: 深層学習プロセッサ120は、複数の眼球特徴及び深層学習モデルの中の複数のトレーニングサンプルにしたがって、眼球領域A1の中の眼球状態を出力する。
ステップS220において、画像プロセッサ110は、最初に、複数の人物顔面特徴点を使用して、顔面領域A0を識別し、そして、その次に、複数の眼球重要点を使用して、眼球領域A1を識別してもよい。言い換えると、顔面領域A0を識別した後に、画像プロセッサ110は、その顔面領域A0から眼球領域A1を決定してもよい。このように、その画像の中に人物の顔面が存在しないときは、実施形態は、画像プロセッサ110が人物の眼球の検出に必要な複雑な演算を直接的に実行することを防止することが可能である。
追加的に、検出されるべき画像の中の眼球の大きさ及び角度の相違による誤った決定を防止するために、動作方法200のステップS230において、画像登録プロセスを実行して、検出されるべき正規化された眼球画像IMG2を生成する。例えば、演算方法200を採用して、式3乃至式6にしたがって、検出されるべき画像IMG1の中の眼球端部の座標Po1(u1,v1)及びPo2(u2,v2)と検出されるべき眼球画像IMG2の中の眼球端部の座標Pe1(x1,y1)及びPe2(x2,y2)との間の変換のためのアフィン変換パラメータ行列Cを取得してもよい。
本発明のいくつかの実施形態において、ステップS240及びS250において利用される深層学習モデルは、畳み込みニューラルネットワークを含んでもよい。畳み込みニューラルネットワークは、予備トレーニングサンプルにしたがって、さまざまな特徴を比較し、そして、さまざまな特徴の間の関連性にしたがって、最終的な決定結果を出力することが可能であるので、さまざまなシナリオ、姿勢、及び周辺光について、眼球の開放及び閉鎖の状態をより正確に決定することが可能であり、そして、ユーザのための基準として役立つように、その決定された眼球の状態の信頼性を出力してもよい。
画像登録によって、検出されるべき画像の中の眼球領域を正規化し、そして、深層学習モデルを使用して、眼球の開放及び閉鎖の状態をより正確に決定するのに、本発明の実施形態によって提供される眼球状態検出システム及びその眼球状態検出システムの動作方法を採用してもよい。その結果、運転補助システム又はディジタルカメラ等のさまざまな分野の撮影機能に、その閉眼検出をより効果的に適用することが可能である。
当業者は、本発明の教示を心に留めながら、デバイス及び方法の数多くの修正及び変更を行うことが可能であるということを容易に理解するであろう。したがって、上記の開示は、添付の特許請求の範囲の境界及び限界によってのみ限定されると解釈されるべきである。

Claims (9)

  1. 眼球状態検出システムを動作させる方法であって、前記眼球状態検出システムは、画像プロセッサ及び深層学習プロセッサを含み、当該方法は、
    前記画像プロセッサが、検出されるべき画像を受信するステップと、
    前記画像プロセッサが、複数の顔面特徴点にしたがって、検出されるべき前記画像から眼球領域を識別するステップと、
    前記画像プロセッサが、検出されるべき前記受信した画像の中の前記識別した眼球領域に対してアフィン変換演算を実行して、前記識別した眼球領域が、検出されるべき変換された画像の中で特定のサイズ及び特定の方向を有することを可能にすることによって、前記眼球領域に対して画像登録を実行して、検出されるべき正規化された眼球画像を生成するステップと、
    前記深層学習プロセッサが、深層学習モデルにしたがって、検出されるべき前記正規化された眼球画像から、複数の眼球特徴を抽出するステップと、
    前記深層学習プロセッサが、前記複数の眼球特徴及び前記深層学習モデルの中の複数のトレーニングサンプルにしたがって、前記眼球領域の中の眼球状態を出力するステップと、を含み、
    前記画像プロセッサが、検出されるべき前記受信した画像の中の前記識別した眼球領域に対してアフィン変換演算を実行する前記ステップは、
    前記画像プロセッサが、前記眼球領域の眼球端部の座標行列を定義するステップと、
    前記画像プロセッサが、前記眼球端部の座標行列にしたがって、ターゲット変換行列を定義するステップであって、前記ターゲット変換行列は、検出されるべき前記正規化された眼球画像の変換された眼球端部の座標を含む、ステップと、
    前記画像プロセッサが、前記ターゲット変換行列の転置行列と前記ターゲット変換行列とを乗算して、第1の行列を生成するステップと、
    前記画像プロセッサが、前記第1の行列の逆行列に前記ターゲット変換行列の前記転置行列及び前記眼球端部の座標行列を乗算して、アフィン変換パラメータ行列を生成するステップと、
    前記画像プロセッサが、前記アフィン変換パラメータ行列を使用することによって、前記眼球領域を処理して、検出されるべき前記正規化された眼球画像を生成するステップと、を含む、
    方法。
  2. 前記画像プロセッサが、前記複数の顔面特徴点にしたがって、検出されるべき前記画像から前記眼球領域を識別する前記ステップは、
    前記複数の顔面特徴点にしたがって、検出されるべき前記画像から、顔面領域を識別するステップと、
    複数の眼球重要点にしたがって、前記顔面領域から前記眼球領域を識別するステップと、を含む、請求項1に記載の方法。
  3. 前記深層学習モデルは、畳み込みニューラルネットワークである、請求項1に記載の方法。
  4. 前記ターゲット変換行列及び前記アフィン変換パラメータ行列の積が、前記眼球端部の座標行列である、請求項1に記載の方法。
  5. 眼球状態検出システムであって、
    検出されるべき画像を受信し、複数の顔面特徴点にしたがって、検出されるべき前記画像から眼球領域を識別し、そして、検出されるべき前記受信した画像の中の前記識別した眼球領域に対してアフィン変換演算を実行して、前記識別した眼球領域が、検出されるべき変換された画像の中で特定のサイズ及び特定の方向を有することを可能にすることによって、前記眼球領域に対して画像登録を実行して、検出されるべき正規化された眼球画像を生成する、ように構成される画像プロセッサと、
    深層学習モデルにしたがって、検出されるべき前記正規化された眼球画像から、複数の眼球特徴を抽出し、そして、前記複数の眼球特徴及び前記深層学習モデルの中の複数のトレーニングサンプルにしたがって、前記眼球領域の中の眼球状態を出力する、ように構成される深層学習プロセッサと、を含み、
    前記画像プロセッサは、前記眼球領域の眼球端部の座標行列を定義し、前記眼球端部の座標行列にしたがって、ターゲット変換行列を定義し、前記ターゲット変換行列の転置行列と前記ターゲット変換行列とを乗算して、第1の行列を生成し、前記第1の行列の逆行列に前記ターゲット変換行列の前記転置行列及び前記眼球端部の座標行列を乗算して、アフィン変換パラメータ行列を生成し、そして、前記アフィン変換パラメータ行列を使用することによって、前記眼球領域を処理して、検出されるべき前記正規化された眼球画像を生成する、ように構成され、前記ターゲット変換行列は、検出されるべき前記正規化された眼球画像の変換された眼球端部の座標を含む、
    眼球状態検出システム。
  6. 前記画像プロセッサは、前記複数の顔面特徴点にしたがって、検出されるべき前記画像から、顔面領域を識別し、そして、複数の眼球重要点にしたがって、前記顔面領域から前記眼球領域を識別する、ように構成される、請求項5に記載の眼球状態検出システム。
  7. 前記深層学習モデルは、畳み込みニューラルネットワークである、請求項5に記載の眼球状態検出システム。
  8. 前記ターゲット変換行列及び前記アフィン変換パラメータ行列の積が、前記眼球端部の座標行列である、請求項5に記載の眼球状態検出システム。
  9. コンピュータ実行可能な命令を含むコンピュータプログラムであって、前記コンピュータ実行可能な命令が眼球状態検出システムの画像プロセッサ及び深層学習プロセッサで実行されると、前記コンピュータ実行可能な命令は、
    前記画像プロセッサが、検出されるべき画像を受信するステップと、
    前記画像プロセッサが、複数の顔面特徴点にしたがって、検出されるべき前記画像から眼球領域を識別するステップと、
    前記画像プロセッサが、検出されるべき前記受信した画像の中の前記識別した眼球領域に対してアフィン変換演算を実行して、前記識別した眼球領域が、検出されるべき変換された画像の中で特定のサイズ及び特定の方向を有することを可能にすることによって、前記眼球領域に対して画像登録を実行して、検出されるべき正規化された眼球画像を生成するステップと、
    前記深層学習プロセッサが、深層学習モデルにしたがって、検出されるべき前記正規化された眼球画像から、複数の眼球特徴を抽出するステップと、
    前記深層学習プロセッサが、前記複数の眼球特徴及び前記深層学習モデルの中の複数のトレーニングサンプルにしたがって、前記眼球領域の中の眼球状態を出力するステップと、を含み、
    前記画像プロセッサが、検出されるべき前記受信した画像の中の前記識別した眼球領域に対してアフィン変換演算を実行する前記ステップは、
    前記画像プロセッサが、前記眼球領域の眼球端部の座標行列を定義するステップと、
    前記画像プロセッサが、前記眼球端部の座標行列にしたがって、ターゲット変換行列を定義するステップであって、前記ターゲット変換行列は、検出されるべき前記正規化された眼球画像の変換された眼球端部の座標を含む、ステップと、
    前記画像プロセッサが、前記ターゲット変換行列の転置行列と前記ターゲット変換行列とを乗算して、第1の行列を生成するステップと、
    前記画像プロセッサが、前記第1の行列の逆行列に前記ターゲット変換行列の前記転置行列及び前記眼球端部の座標行列を乗算して、アフィン変換パラメータ行列を生成するステップと、
    前記画像プロセッサが、前記アフィン変換パラメータ行列を使用することによって、前記眼球領域を処理して、検出されるべき前記正規化された眼球画像を生成するステップと、を含む、方法を前記眼球状態検出システムに実行させる、
    コンピュータプログラム。
JP2019111061A 2018-09-14 2019-06-14 深層学習モデルを利用して、眼球状態を検出する眼球状態検出システム及びその眼球状態検出システムを動作させる方法 Active JP6932742B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811071988.5A CN110909561A (zh) 2018-09-14 2018-09-14 眼睛状态检测系统及眼睛状态检测系统的操作方法
CN201811071988.5 2018-09-14

Publications (2)

Publication Number Publication Date
JP2020047253A JP2020047253A (ja) 2020-03-26
JP6932742B2 true JP6932742B2 (ja) 2021-09-08

Family

ID=68316760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111061A Active JP6932742B2 (ja) 2018-09-14 2019-06-14 深層学習モデルを利用して、眼球状態を検出する眼球状態検出システム及びその眼球状態検出システムを動作させる方法

Country Status (5)

Country Link
US (1) US20200085296A1 (ja)
JP (1) JP6932742B2 (ja)
KR (1) KR102223478B1 (ja)
CN (1) CN110909561A (ja)
TW (1) TWI669664B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243236A (zh) * 2020-01-17 2020-06-05 南京邮电大学 一种基于深度学习的疲劳驾驶预警方法及系统
US11775494B2 (en) * 2020-05-12 2023-10-03 Hubspot, Inc. Multi-service business platform system having entity resolution systems and methods
KR102477694B1 (ko) 2022-06-29 2022-12-14 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277622A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277548A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
WO2023277589A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
CN114820513A (zh) * 2022-04-25 2022-07-29 深圳市迪佳医疗智能科技有限公司 视力检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4435809B2 (ja) * 2002-07-08 2010-03-24 株式会社東芝 仮想化粧装置及びその方法
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP2008167028A (ja) * 2006-12-27 2008-07-17 Nikon Corp 撮像装置
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
TWM364858U (en) * 2008-11-28 2009-09-11 Shen-Jwu Su A drowsy driver with IR illumination detection device
JP6762794B2 (ja) * 2016-07-29 2020-09-30 アルパイン株式会社 瞼開閉検出装置および瞼開閉検出方法
CN109416727B (zh) * 2016-10-18 2022-04-05 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法

Also Published As

Publication number Publication date
US20200085296A1 (en) 2020-03-19
TWI669664B (zh) 2019-08-21
KR102223478B1 (ko) 2021-03-04
KR20200031503A (ko) 2020-03-24
CN110909561A (zh) 2020-03-24
TW202011284A (zh) 2020-03-16
JP2020047253A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
JP6932742B2 (ja) 深層学習モデルを利用して、眼球状態を検出する眼球状態検出システム及びその眼球状態検出システムを動作させる方法
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
WO2020125623A1 (zh) 活体检测方法、装置、存储介质及电子设备
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
JP5757063B2 (ja) 情報処理装置および方法、並びにプログラム
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
US20210319585A1 (en) Method and system for gaze estimation
WO2016089529A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN111563480A (zh) 冲突行为检测方法、装置、计算机设备和存储介质
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN111183455A (zh) 图像数据处理系统与方法
JP2014194617A (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
CN111639582B (zh) 活体检测方法及设备
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
CN113409329B (zh) 图像处理方法、图像处理装置、终端及可读存储介质
US11048926B2 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
WO2018051836A1 (ja) 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体
US20230284968A1 (en) System and method for automatic personalized assessment of human body surface conditions
CN110110742B (zh) 多特征融合方法、装置、电子设备及存储介质
JP4011426B2 (ja) 顔検出装置、顔検出方法および顔検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210608

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210818

R150 Certificate of patent or registration of utility model

Ref document number: 6932742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150