TW201405434A - 瞳孔偵測裝置 - Google Patents

瞳孔偵測裝置 Download PDF

Info

Publication number
TW201405434A
TW201405434A TW101126421A TW101126421A TW201405434A TW 201405434 A TW201405434 A TW 201405434A TW 101126421 A TW101126421 A TW 101126421A TW 101126421 A TW101126421 A TW 101126421A TW 201405434 A TW201405434 A TW 201405434A
Authority
TW
Taiwan
Prior art keywords
image
pupil
processing unit
detecting device
identified
Prior art date
Application number
TW101126421A
Other languages
English (en)
Other versions
TWI471808B (zh
Inventor
Yu-Hao Huang
Yi-Fang Lee
Ming-Tsan Kao
Meng-Huan Hsieh
En-Feng Hsu
Nien-Tse Chen
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to TW101126421A priority Critical patent/TWI471808B/zh
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to US13/934,311 priority patent/US20140022371A1/en
Publication of TW201405434A publication Critical patent/TW201405434A/zh
Application granted granted Critical
Publication of TWI471808B publication Critical patent/TWI471808B/zh
Priority to US15/253,453 priority patent/US9854159B2/en
Priority to US15/821,891 priority patent/US10574878B2/en
Priority to US15/886,013 priority patent/US20180160079A1/en
Priority to US16/717,174 priority patent/US10812706B2/en
Priority to US17/021,372 priority patent/US11196917B2/en
Priority to US17/515,739 priority patent/US11616906B2/en
Priority to US18/111,600 priority patent/US11863859B2/en
Priority to US18/510,725 priority patent/US20240089581A1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Abstract

一種瞳孔偵測裝置,包含一主動光源、一影像感測器及一處理單元。該主動光源朝一眼球發光。該影像感測器以一解析度擷取該眼球之至少一影像圖框以作為一待辨識影像。該處理單元計算該待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。

Description

瞳孔偵測裝置
本發明係關於一種互動系統,特別是關於一種瞳孔偵測裝置。
互動式控制機制能夠提供使用者更人性化的操控方式,因而已被廣泛的應用於各式多媒體系統,尤其可應用於包含一顯示幕之一影像顯示系統。
使用能夠擷取影像之一遙控器作為互動式人機介面為一種常用的手段,而且該遙控器可被製作成各式道具,例如球棒、球拍、球杆等。另一種互動式人機介面則是不需使用任何手持裝置來進行的,例如瞳孔追蹤裝置即可根據使用者的視線變化來進行互動式操作。
請參照第1A及1B圖所示,第1A圖顯示一種習知瞳孔追蹤系統,其用以進行一人眼9的瞳孔追蹤;第1B圖顯示習知瞳孔追蹤系統所擷取之人眼影像之示意圖。該瞳孔追蹤系統包含一影像顯示裝置81、一光源82、一影像感測器83及一處理單元84。該光源82用以朝向該人眼9打光,以於該人眼9中產生一光源影像I82(如第1B圖)。該影像感測器83用以擷取包含一瞳孔91及該光源影像I82之一人眼 影像,該處理單元84計算該人眼影像中該瞳孔91及該光源影像I82之一相對距離D的變化以追蹤該瞳孔91,並據以相對控制該影像顯示裝置81上一游標811的動作。然而,若環境中同時存在有其他光源(未繪示)並在該人眼影像中形成一環境光源影像I0,進行瞳孔追蹤時則可能出現錯誤的情形。
有鑑於此,本發明另提出一種瞳孔偵測裝置,其可透過計算差分影像來消除環境光源的影響,藉以提高瞳孔追蹤的正確性。
本發明之一目的在提供一種瞳孔偵測裝置,其具有較高的定位精確度。
本發明提供一種瞳孔偵測裝置,包含一主動光源、一影像感測器以及一處理單元。該主動光源朝一眼球發光。該影像感測器以一解析度擷取該眼球之至少一影像圖框以作為一待辨識影像。該處理單元計算該待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。
本發明另提供一種瞳孔偵測裝置,包含至少一主動光源、兩影像感測器以及一處理單元。該至少一主動光源發光以照明一左眼或一右眼。該兩影像 感測器以一解析度擷取該至少一主動光源照明之該左眼或該右眼之至少一影像圖框以作為一第一待辨識影像及一第二待辨識影像。該處理單元分別計算該第一待辨識影像及該第二待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。
本發明另提供一種瞳孔偵測裝置,包含兩主動光源、兩影像感測器以及一處理單元。該兩主動光源發光以分別照明一左眼及一右眼。該兩影像感測器以一解析度分別擷取該左眼及該右眼之至少一影像圖框以作為一第一待辨識影像及一第二待辨識影像。該處理單元分別計算該第一待辨識影像及該第二待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。
一實施例中,該瞳孔偵測裝置另包含一顯示單元用以顯示影像。
一實施例中,該瞳孔偵測裝置另具有眨眼偵測功能。
一實施例中,該瞳孔偵測裝置另具有瞌睡偵測及分心偵測功能。
一實施例中,該瞳孔偵測裝置另具有眨眼頻率 偵測及乾眼偵測功能。
一實施例中,該瞳孔偵測裝置另具有姿勢辨識(gesture recognition)功能。
本發明之瞳孔偵測裝置中,透過將一最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域,可消除環境光源的影響並提高定位精確度。
本發明之瞳孔偵測裝置中,該等主動光源輪流以一第一亮度及一第二亮度發光;該影像感測器擷取相對該第一亮度之一第一影像圖框及相對該第二亮度之一第二影像圖框;該處理單元計算該第一影像圖框及該第二影像圖框之一差分影像以作為該待辨識影像。藉此,可透過計算該差分影像以消除環境光源的影響並提高定位精確度。
為了讓本發明之上述和其他目的、特徵、和優點能更明顯,下文將配合所附圖示,作詳細說明如下。於本發明之說明中,相同的構件係以相同的符號表示,於此合先敘明。
請參照第2圖所示,其顯示本發明實施例之瞳孔偵測裝置1之運作示意圖,其用以偵測一眼球90之一瞳孔位置並輸出相對該瞳孔位置之一瞳孔座標。該瞳孔偵測裝置1包含一主動光源11、一影像 感測器12及一處理單元13。一般而言,當該眼球90向下看時,上眼皮會遮蔽部分眼球90,因此若該瞳孔偵測裝置1設置於一頭戴式配件2,該影像感測器12之一設置位置較佳低於該眼球90。例如第2圖中,當該瞳孔偵測裝置1設置於一眼鏡或一護目鏡時,該瞳孔偵測裝置1較佳設置於下框架附近,可避免眼球90向下看(瞳孔朝下時)導致無法偵測到瞳孔的情形。
該主動光源11例如可為一紅外光光源,例如紅外光發光二極體,以避免點亮時影響視線。該主動光源11朝向該眼球90發光。必須說明的是,該主動光源11可由單一個光源或複數光源排列而成。
該影像感測器12例如可為一CCD影像感測器、一CMOS影像感測器等用以感測光能量之光感測器,其以一解析度擷取該眼球90之至少一影像圖框以作為一待辨識影像(image to be identified)。
例如參照第3A~3C及4圖所示,第3A~3C圖顯示本實施例中該影像感測器12之影像擷取及該主動光源11之光源點亮之示意圖;第4圖顯示根據該影像感測器12所擷取之待辨識影像進行瞳孔偵測之示意圖。該影像感測器12以一圖框率擷取該眼球90之影像圖框以作為一待辨識影像F。一實施例中,該主動光源11以固定的亮度相對該影像感測器 12之影像擷取發光(第3B圖),該影像感測器12則可依序輸出影像圖框f以作為該待辨識影像F(即F=f);該待辨識影像F包含一瞳孔91、一虹膜92及眼白區域93。另一實施例中,該主動光源11輪流以一第一亮度及一第二亮度發光,該影像感測器12擷取相對該第一亮度之一第一影像圖框f1及相對該第二亮度之一第二影像圖框f2(第3C圖),該處理單元13計算該第一影像圖框f1及該第二影像圖框f2之一差分影像(f1-f2)以作為該待辨識影像F(即F=f1-f2)。必須說明的是,該第一亮度不同於該第二亮度,且均不為零亮度。藉此,該處理單元13可透過計算該差分影像(f1-f2)以消除環境光源的影響。
該處理單元13例如可為一數位處理器(DSP),用以計算該待辨識影像F中一最低灰階值P1,並將該最低灰階值P1周圍灰階值介於一灰階值範圍Rg之複數畫素辨識為一瞳孔區域PA(如第4圖所示)。當該主動光源11點亮時,該瞳孔91的亮度最低,該眼白區域93的亮度最高而該虹膜92的亮度通常介於該瞳孔91及該眼白區域93間,故該最低灰階值P1會出現於該瞳孔91中。因此,該最低灰階值P1附近的畫素區域則可被視為該瞳孔區域PA,而該最低灰階值P1附近的畫素區域例如可利用影像分群(image grouping)的方式將互相關連的畫素區域視作為同一物件,其例如可參照讓與給本發明相同受讓 人之美國專利公開第20110176733號,標題為「影像辨識方法」,中所揭示者。此外,該灰階值範圍Rg之設定可根據該瞳孔偵測裝置1之操作環境而調整,例如戶外與室內可分別設計不同的灰階值範圍Rg。再者,為避免雜訊干擾,該處理單元13另可根據該瞳孔區域PA之尺寸及形狀等特性判定是否屬於環境光源影像,例如當尺寸太小或非屬圓形者則可能為環境光源,可予以排除。
接著,該處理單元13則可計算該瞳孔區域PA之一重心或一中心以作為一瞳孔位置P2,並輸出該瞳孔位置P2相關之一瞳孔座標(x,y)。該處理單元13例如可根據該瞳孔座標(x,y)相對控制一影像顯示裝置81之一游標811的動作。可以了解的是,該瞳孔位置P2可不等於該最低灰階值P1的位置。
此外,由於該瞳孔偵測裝置1可用以控制一電子裝置,某些情形下較佳能夠辨識使用者身分以增加實用性或進行隱私保護,因此該處理單元13可根據該待辨識影像F進行虹膜辨識(iris recognition)。此時,該瞳孔偵測裝置1另可包含一記憶單元14用以儲存不同使用者的虹膜資訊。此外,由於虹膜辨識時需要較高的影像解析度(image resolution)而瞳孔區域辨識可以較低的影像解析度進行。因此本發明實施例中,該影像感測器12之一解析度及一圖框 率(frame rate)可調整,例如當該處理單元13進行虹膜辨識(第二模式)時,該影像感測器12以一第一解析度及一第一圖框率擷取影像;當該處理單元13進行瞳孔區域辨識(第一模式)時,該影像感測器12以一第二解析度及一第二圖框率擷取影像;其中,該第一解析度高於該第二解析度而該第一圖框率低於該第二圖框率。本實施例中,該影像解析度的可調整範圍例如介於640×480~160×120間而該圖框率的可調整範圍例如介於30FPS~480FPS(frame/second)間,但並不以此為限。
本實施例中,由於該處理單元13係利用眼球影像中最低灰階值的區域進行瞳孔偵測,故可排除環境光源的影響(環境光源的灰階值較高);此外,另可透過計算差分影像以進一步消除環境光源影像。
另一實施例中,該瞳孔偵測裝置1可包含兩個以上影像感測器用以擷取同一個眼球的影像,並據以計算三維瞳孔位置及涵蓋較大的偵測範圍(意即,擷取同一眼球的二影像感測器之間的距離可保持一距離)。
請參照第5A圖所示,其顯示本發明另一實施例之瞳孔偵測裝置1之示意圖。該瞳孔偵測裝置1係顯示為設置於一眼鏡上,但並不以此為限。該瞳孔偵測裝置1包含至少一主動光源11、兩影像感測器 12、12'及一處理單元13。必須說明的是,本實施例亦可利用複數主動光源11來增加照明亮度(例如該主動光源11可由複數光源排列而成);該等影像感測器12、12'的數目也不以兩個為限,若包含三個、四個…影像感測器,每個影像感測器的運作相同於該等影像感測器12、12',僅設置位置不同而已,但其設置位置較佳仍低於該人眼9。此外,雖然第5A圖中該瞳孔偵測裝置1係相對於左眼9L設置,但其亦可相對於右眼9R設置。亦即,若該瞳孔偵測裝置1設置於一頭戴式配件2;該兩影像感測器12、12'之設置位置較佳低於左眼9L或右眼9R。
該至少一主動光源11發光以照明一左眼9L或一右眼9R。該兩影像感測器12、12'以一解析度擷取該至少一主動光源11照明之該左眼9L或該右眼9R之至少一影像圖框以作為一第一待辨識影像F及一第二待辨識影像F';其中,該兩影像感測器12、12'可同時或分時進行影像圖框擷取。該處理單元13則分別計算該第一待辨識影像F及該第二待辨識影像F'中一最低灰階值P1,並將該最低灰階值P1周圍灰階值介於一灰階值範圍Rg之複數畫素辨識為一瞳孔區域PA;該瞳孔區域PA計算出後,該處理單元13則計算該瞳孔區域PA之一重心或一中心以作為一瞳孔位置P2(如第4圖所示),並輸出一左眼瞳孔座標L(x,y)及一右眼瞳孔座標R(x,y)。由於本實 施例同時利用兩張待辨識影像F、F'來偵測瞳孔,該處理單元13可根據該第一待辨識影像F及該第二待辨識影像F'中之該瞳孔位置P2計算一三維瞳孔位置。例如,該兩影像感測器12、12'可分別設置於該人眼9之一中心線之兩側,該處理單元13則可根據兩張待辨識影像F、F'來計算該三維瞳孔位置。
如前所述,為了消除環境光影像,該處理單元13可先分別計算一差分影像後再根據該差分影像辨識該瞳孔區域PA。此時,該至少一主動光源11輪流以一第一亮度及一第二亮度發光;該兩影像感測器12、12'擷取相對該第一亮度之一第一影像圖框f1及相對該第二亮度之一第二影像圖框f2(如第3C圖);該處理單元13則計算該第一影像圖框f1及該第二影像圖框f2之一差分影像(f1-f2)以作為該第一待辨識影像F及該第二待辨識影像F'。
同理,本實施例中,該處理單元13可根據該第一待辨識影像F及/或該第二待辨識影像F'進行虹膜辨識。當該處理單元13進行虹膜辨識時,該影像感測器12以一第一解析度及一第一圖框率擷取影像;當該處理單元13進行瞳孔區域辨識時,該影像感測器12以一第二解析度及一第二圖框率擷取影像;其中,該第一解析度高於該第二解析度而該第一圖框率低於該第二圖框率。
另一實施例中,該瞳孔偵測裝置1可包含兩個以上影像感測器用以分別擷取不同眼球的影像,如此可根據不同狀況輸出左眼及/或右眼的偵測結果。
參照第5B圖所示,其顯示本發明另一實施例之瞳孔偵測裝置1之示意圖。該瞳孔偵測裝置1係顯示為設置於一護目鏡上,但並不以此為限。該瞳孔偵測裝置1包含兩主動光源11、11'、兩影像感測器12、12'以及一處理單元13。必須說明的是,相對於每隻人眼可包含一個以上主動光源以增加照明亮度;相對於每隻人眼可包含複數影像感測器(如第5A圖所示)。同理,若該瞳孔偵測裝置1設置於一頭戴式配件2上,該兩影像感測器12、12之設置位置分別低於左眼9L及右眼9R。
該兩主動光源11、11'發光以分別照明一左眼9L及一右眼9R。該兩影像感測器12、12'以一解析度分別擷取該左眼9L及該右眼9R之至少一影像圖框以作為一第一待辨識影像F及一第二待辨識影像F'。該處理單元13則分別計算該第一待辨識影像F及該第二待辨識影像F'中一最低灰階值P1,並將該最低灰階值P1周圍灰階值介於一灰階值範圍Rg之複數畫素辨識為一瞳孔區域PA;該瞳孔區域PA計算出後,該處理單元13則計算該瞳孔區域PA之一重心或一中心以作為一瞳孔位置P2(如第4圖所 示),並輸出一左眼瞳孔座標L(x,y)及一右眼瞳孔座標R(x,y)。由於本實施例分別利用不同待辨識影像F、F'來偵測兩眼瞳孔,因此可分別計算兩眼瞳孔的瞳孔座標,並針對不同的情形輸出不同的瞳孔座標。例如當人眼向右看時,該左眼9L可能受到鼻樑遮蔽而看不到右方物體,此時該處理單元13可根據該瞳孔位置僅計算相對該右眼9R之一右眼瞳孔座標R(x,y);例如當人眼向左看時,該右眼9R可能受到鼻樑遮蔽而看不到左方物體,此時該處理單元13可根據該瞳孔位置僅計算相對該左眼9L之一左眼瞳孔座標L(x,y);其他狀況下該處理單元13例如可根據該瞳孔位置計算相對該左眼9L及該右眼9R之一平均瞳孔座標,但並不以此限。
另一實施例中,亦可根據左瞳孔座標L(x,y)與右眼瞳孔座標R(x,y)相對關係估測使用者注視人物的方向或是遠近距離。
再一實施例中,若相對該左眼9L及該右眼9R分別設置兩個以上的影像感測器,則可分別求得該左眼9L及該右眼9R之三維瞳孔位置。
如前所述,為了消除環境光影像,該處理單元13可先分別計算一差分影像後再根據該差分影像辨識該瞳孔區域PA。此時,該兩主動光源11、11'輪流以一第一亮度及一第二亮度發光;該兩影像感測 器擷取相對該第一亮度之一第一影像圖框f1及相對該第二亮度之一第二影像圖框f2(如第3C圖);該處理單元13則計算該第一影像圖框f1及該第二影像圖框f2之一差分影像(f1-f2)以作為該第一待辨識影像F及該第二待辨識影像F'。
同理,本實施例中,該處理單元13可根據該第一待辨識影像F及/或該第二待辨識影像F'進行虹膜辨識。當該處理單元13進行虹膜辨識時,該影像感測器12、12'以一第一解析度及一第一圖框率擷取影像;當該處理單元13進行瞳孔區域辨識時,該等影像感測器12、12以一第二解析度及一第二圖框率擷取影像;其中,該第一解析度高於該第二解析度而該第一圖框率低於該第二圖框率。
此外,本發明各實施例之瞳孔偵測裝置1可搭配一顯示單元以顯示影像,且該顯示單元例如亦可設置於頭戴式配件2上,例如眼鏡或護目鏡等。
本發明各實施例之瞳孔偵測裝置1可另具有眨眼偵測功能。例如該處理單元13可分別記錄偵測到與偵測不到瞳孔之期間,藉以辨識眨眼動作。
本發明各實施例之瞳孔偵測裝置1可另具有瞌睡偵測及分心偵測功能。例如當該瞳孔偵測裝置1應用於車用裝置時,可用以偵測駕駛是否有睡意或專注於前方,且於適當時間提出警示。偵測睡意例 如可透過偵測眼睛開闔時間的比例來實現;偵測分心例如可透過偵測駕駛的注視方向來實現。
本發明各實施例之瞳孔偵測裝置1可另具有眨眼頻率及乾眼偵測功能。具體來說,處理單元13可依據所偵測之眨眼頻率反推目前眼睛乾澀的可能性及程度,進而提醒使用者眨眼。
本發明各實施例之瞳孔偵測裝置1可另具有姿勢辨識(gesture recognition)功能。此時所述姿勢辨識例如可為辨識瞳孔朝預定方向以預定次數來改變位置,並將其與預設姿勢進行比對,可藉此達成執行特定功能的運作,其類似習知利用瞳孔以外的其他物件,例如手或手指來進行之手勢辨識。
本發明各實施例之瞳孔偵測裝置1可另具有省電功能,例如於一預設時間內偵測不到瞳孔或待辨識影像之影像變化量過小,則可進入省電模式。
必須說明的是,本發明各實施例之瞳孔偵測裝置1可直接製作成頭戴式瞳孔偵測裝置,或者透過一結合元件結合固定於一頭戴式配件,例如眼鏡、護目鏡、帽緣等。其他實施例中,本發明各實施例之瞳孔偵測裝置1亦可設置於其他位置以進行瞳孔偵測,例如設置於車內靠近使用者眼睛處,例如後照鏡等,只要設置於能夠偵測人眼9之位置即可。
綜上所述,習知瞳孔偵測裝置因無法排除環境光源的影響,因而可能出現偵測錯誤的情形。本發明另提出一種瞳孔偵測裝置(第2、5A及5B圖),其可消除環境光源的影響而具有較高的偵測精確度。
雖然本發明已以前述實施例揭示,然其並非用以限定本發明,任何本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1‧‧‧瞳孔追蹤裝置
11、11'‧‧‧主動光源
12、12'、83‧‧‧影像感測器
13、84‧‧‧處理單元
14‧‧‧記憶單元
2‧‧‧頭戴式配件
81‧‧‧影像顯示裝置
811‧‧‧游標
82‧‧‧光源
9‧‧‧人眼
90‧‧‧眼球
91‧‧‧瞳孔
92‧‧‧虹膜
93‧‧‧眼白區域
9L‧‧‧左眼
9R‧‧‧右眼
F、F'‧‧‧待辨識影像
I82‧‧‧光源影像
I0‧‧‧環境光源影像
P1‧‧‧最低灰階值
P2‧‧‧瞳孔位置
PA‧‧‧瞳孔區域
f1‧‧‧第一影像圖框
f2‧‧‧第二影像圖框
f‧‧‧影像圖框
L(x,y)、R(x,y)‧‧‧瞳孔座標
第1A圖顯示習知瞳孔追蹤系統之示意圖。
第1B圖顯示習知瞳孔追蹤系統所擷取之人眼影像之示意圖。
第2圖顯示本發明實施例之瞳孔偵測裝置之運作示意圖。
第3A~3C圖顯示本發明實施例之瞳孔偵測裝置中,影像擷取及光源點亮之示意圖。
第4圖顯示根據本發明實施例之瞳孔偵測裝置所擷取之待辨識影像進行瞳孔偵測之示意圖。
第5A圖顯示本發明另一實施例之瞳孔偵測裝置之運作示意圖。
第5B圖顯示本發明另一實施例之瞳孔偵測裝置之運作示意圖。
1‧‧‧瞳孔偵測裝置
11‧‧‧主動光源
12‧‧‧影像感測器
13‧‧‧處理單元
14‧‧‧記憶單元
2‧‧‧頭戴式配件
81‧‧‧影像顯示裝置
811‧‧‧游標
9‧‧‧人眼
90‧‧‧眼球

Claims (20)

  1. 一種瞳孔偵測裝置,包含:一主動光源,朝一眼球發光;一影像感測器,以一解析度擷取該眼球之至少一影像圖框以作為一待辨識影像;以及一處理單元,計算該待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。
  2. 依申請專利範圍第1項之瞳孔偵測裝置,其中該主動光源輪流以一第一亮度及一第二亮度發光;該影像感測器擷取相對該第一亮度之一第一影像圖框及相對該第二亮度之一第二影像圖框;該處理單元另計算該第一影像圖框及該第二影像圖框之一差分影像以作為該待辨識影像。
  3. 依申請專利範圍第1或2項之瞳孔偵測裝置,其中該處理單元另計算該瞳孔區域之一重心或一中心以作為一瞳孔位置,並輸出該瞳孔位置相關之一瞳孔座標。
  4. 依申請專利範圍第1或2項之瞳孔偵測裝置,其中該處理單元另根據該待辨識影像進行一虹膜辨識。
  5. 依申請專利範圍第4項之瞳孔偵測裝置,其中當該處理單元進行該虹膜辨識時,該影像感測器以一第一解析度擷取影像;當該處理單元進行該瞳孔區域 辨識時,該影像感測器以一第二解析度擷取影像;該第一解析度高於該第二解析度。
  6. 依申請專利範圍第1或2項之瞳孔偵測裝置,其中該瞳孔偵測裝置設置於一頭戴式配件且該影像感測器之一設置位置低於該眼球。
  7. 一種瞳孔偵測裝置,包含:至少一主動光源,發光以照明一左眼或一右眼;兩影像感測器,以一解析度擷取該至少一主動光源照明之該左眼或該右眼之至少一影像圖框以作為一第一待辨識影像及一第二待辨識影像;以及一處理單元,分別計算該第一待辨識影像及該第二待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。
  8. 依申請專利範圍第7項之瞳孔偵測裝置,其中該至少一主動光源輪流以一第一亮度及一第二亮度發光;該兩影像感測器擷取相對該第一亮度之一第一影像圖框及相對該第二亮度之一第二影像圖框;該處理單元另計算該第一影像圖框及該第二影像圖框之一差分影像以作為該第一待辨識影像及該第二待辨識影像。
  9. 依申請專利範圍第7或8項之瞳孔偵測裝置,其中該處理單元另計算該瞳孔區域之一重心或一中心以作為一瞳孔位置。
  10. 依申請專利範圍第9項之瞳孔偵測裝置,其中該處理單元另根據該第一待辨識影像及該第二待辨識影像中之該瞳孔位置計算一三維瞳孔位置。
  11. 依申請專利範圍第7或8項之瞳孔偵測裝置,其中該處理單元另根據該第一待辨識影像及/或該第二待辨識影像進行一虹膜辨識。
  12. 依申請專利範圍第11項之瞳孔偵測裝置,當該處理單元進行該虹膜辨識時,該等影像感測器以一第一解析度擷取影像;當該處理單元進行該瞳孔區域辨識時,該等影像感測器以一第二解析度擷取影像;該第一解析度高於該第二解析度。
  13. 依申請專利範圍第7或8項之瞳孔偵測裝置,其中該瞳孔偵測裝置設置於一頭戴式配件且該兩影像感測器之設置位置低於該左眼或該右眼。
  14. 一種瞳孔偵測裝置,包含:兩主動光源,發光以分別照明一左眼及一右眼;兩影像感測器,以一解析度分別擷取該左眼及該右眼之至少一影像圖框以作為一第一待辨識影像及一第二待辨識影像;以及一處理單元,分別計算該第一待辨識影像及該第二待辨識影像中一最低灰階值,並將該最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域。
  15. 依申請專利範圍第14項之瞳孔偵測裝置,其中該兩主動光源輪流以一第一亮度及一第二亮度發光;該兩影像感測器擷取相對該第一亮度之一第一影像圖框及相對該第二亮度之一第二影像圖框;該處理單元另計算該第一影像圖框及該第二影像圖框之一差分影像以作為該第一待辨識影像及該第二待辨識影像。
  16. 依申請專利範圍第14或15項之瞳孔偵測裝置,其中該處理單元另計算該瞳孔區域之一重心或一中心以作為一瞳孔位置。
  17. 依申請專利範圍第16項之瞳孔偵測裝置,該處理單元另根據該瞳孔位置僅計算相對該左眼之一左眼瞳孔座標、僅計算相對該右眼之一右眼瞳孔座標或計算相對該左眼及該右眼之一平均瞳孔座標。
  18. 依申請專利範圍第14或15項之瞳孔偵測裝置,其中該處理單元另根據該第一待辨識影像及/或該第二待辨識影像進行一虹膜辨識。
  19. 依申請專利範圍第18項之瞳孔偵測裝置,其中當該處理單元進行該虹膜辨識時,該兩影像感測器以一第一解析度擷取影像;當該處理單元進行該瞳孔區域辨識時,該兩影像感測器以一第二解析度擷取影像;該第一解析度高於該第二解析度。
  20. 依申請專利範圍第14或15項之瞳孔偵測裝置,其中該瞳孔偵測裝置設置於一頭戴式配件且該兩影像感測器之設置位置分別低於該左眼及該右眼。
TW101126421A 2012-07-20 2012-07-20 瞳孔偵測裝置 TWI471808B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
TW101126421A TWI471808B (zh) 2012-07-20 2012-07-20 瞳孔偵測裝置
US13/934,311 US20140022371A1 (en) 2012-07-20 2013-07-03 Pupil detection device
US15/253,453 US9854159B2 (en) 2012-07-20 2016-08-31 Image system with eye protection
US15/821,891 US10574878B2 (en) 2012-07-20 2017-11-24 Electronic system with eye protection
US15/886,013 US20180160079A1 (en) 2012-07-20 2018-02-01 Pupil detection device
US16/717,174 US10812706B2 (en) 2012-07-20 2019-12-17 Electronic system with eye protection
US17/021,372 US11196917B2 (en) 2012-07-20 2020-09-15 Electronic system with eye protection
US17/515,739 US11616906B2 (en) 2012-07-20 2021-11-01 Electronic system with eye protection in response to user distance
US18/111,600 US11863859B2 (en) 2012-07-20 2023-02-20 Electronic system with eye protection in response to user distance
US18/510,725 US20240089581A1 (en) 2012-07-20 2023-11-16 Electronic system with eye protection by detecting eyes and face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101126421A TWI471808B (zh) 2012-07-20 2012-07-20 瞳孔偵測裝置

Publications (2)

Publication Number Publication Date
TW201405434A true TW201405434A (zh) 2014-02-01
TWI471808B TWI471808B (zh) 2015-02-01

Family

ID=49946209

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101126421A TWI471808B (zh) 2012-07-20 2012-07-20 瞳孔偵測裝置

Country Status (2)

Country Link
US (2) US20140022371A1 (zh)
TW (1) TWI471808B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI611353B (zh) * 2015-12-02 2018-01-11 China Unionpay Co Ltd 一種眼球追蹤的方法及裝置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572008B2 (en) 2014-02-21 2020-02-25 Tobii Ab Apparatus and method for robust eye/gaze tracking
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
CN105204604B (zh) * 2014-05-30 2019-03-01 华为技术有限公司 一种眼球交互控制设备
TWI522257B (zh) * 2014-07-09 2016-02-21 原相科技股份有限公司 車用安全系統及其運作方法
CN105323539B (zh) * 2014-07-17 2020-03-31 原相科技股份有限公司 车用安全系统及其操作方法
KR20160025316A (ko) 2014-08-27 2016-03-08 현대자동차주식회사 동공 검출 시스템 및 그 방법
WO2017012519A1 (zh) * 2015-07-20 2017-01-26 谢培树 头操作的数字眼镜
KR101862499B1 (ko) * 2015-11-27 2018-05-29 포브, 아이엔씨. 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
US10783835B2 (en) * 2016-03-11 2020-09-22 Lenovo (Singapore) Pte. Ltd. Automatic control of display brightness
CN105892691A (zh) * 2016-06-07 2016-08-24 京东方科技集团股份有限公司 代步工具的控制方法和控制装置、代步工具系统
CN106595868B (zh) * 2016-11-15 2019-01-01 北京科技大学 一种基于改进三色法的高炉燃烧带温度场检测方法
TWI672608B (zh) * 2017-02-15 2019-09-21 瑞昱半導體股份有限公司 虹膜影像辨識裝置及其方法
CN108460316A (zh) * 2017-02-22 2018-08-28 瑞昱半导体股份有限公司 虹膜影像获取装置、虹膜影像辨识装置及其方法
KR102447101B1 (ko) * 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
CN107783792B (zh) * 2017-12-01 2018-08-03 好活(昆山)网络科技有限公司 基于瞳孔识别的字体调整系统
IL275071B1 (en) * 2017-12-07 2024-02-01 Eyefree Assisting Communication Ltd Communication system and method
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN109389069B (zh) 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN110033583A (zh) * 2019-03-18 2019-07-19 上海古鳌电子科技股份有限公司 一种基于机器视觉的防盗系统
CN109982041A (zh) * 2019-03-29 2019-07-05 辽东学院 一种图像处理跟踪系统及其图像跟踪方法
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN112130320A (zh) * 2019-06-24 2020-12-25 宏碁股份有限公司 头戴型显示装置及其调整方法
CN110472521B (zh) * 2019-07-25 2022-12-20 张杰辉 一种瞳孔定位校准方法及系统
CN111027502B (zh) * 2019-12-17 2023-07-28 Oppo广东移动通信有限公司 眼部图像定位方法、装置、电子设备及计算机存储介质

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
DE4102895C1 (zh) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
JP3214057B2 (ja) * 1992-04-14 2001-10-02 キヤノン株式会社 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置
GB9220433D0 (en) * 1992-09-28 1992-11-11 St George S Enterprises Ltd Pupillometer
JPH0830249A (ja) * 1994-07-11 1996-02-02 Rohm Co Ltd 高速画像濃度変換装置
US6381339B1 (en) * 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
US6229905B1 (en) * 1997-03-26 2001-05-08 Oki Electric Industry Co., Ltd. Animal identification based on irial granule analysis
US5790235A (en) * 1997-03-26 1998-08-04 Carl Zeiss, Inc. Method and apparatus to measure pupil size and position
KR19990016896A (ko) * 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법
WO1999055220A1 (en) * 1998-04-29 1999-11-04 Carnegie Mellon University Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
DE60030019T2 (de) * 1999-02-22 2006-12-21 Nidek Co., Ltd., Gamagori Vorrichtung zur Messung von Augenpunkten eines Subjektes im Bezug auf ein Brillengestell
US6633657B1 (en) * 1999-07-15 2003-10-14 General Electric Company Method and apparatus for controlling a dynamic range of a digital diagnostic image
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
KR100343223B1 (ko) * 1999-12-07 2002-07-10 윤종용 화자 위치 검출 장치 및 그 방법
US7044602B2 (en) * 2002-05-30 2006-05-16 Visx, Incorporated Methods and systems for tracking a torsional orientation and position of an eye
US7431455B2 (en) * 2005-03-22 2008-10-07 Amo Manufacturing Usa, Llc Pupilometer for pupil center drift and pupil size measurements at differing viewing distances
AU2002211048A1 (en) * 2000-10-24 2002-05-06 Alpha Engineering Co., Ltd. Eye image obtaining method, iris recognizing method, and system using the same
JP3992177B2 (ja) * 2001-11-29 2007-10-17 株式会社リコー 画像処理装置、画像処理方法及びコンピュータ・プログラム
AU2002361210A1 (en) * 2001-12-21 2003-07-09 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US7693329B2 (en) * 2004-06-30 2010-04-06 Lexmark International, Inc. Bound document scanning method and apparatus
JP4033180B2 (ja) * 2004-07-14 2008-01-16 松下電器産業株式会社 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法
GB0421215D0 (en) * 2004-09-23 2004-10-27 Procyon Instr Ltd Pupillometers
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP1693782B1 (en) * 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection
FR2890215B1 (fr) * 2005-08-31 2007-11-09 St Microelectronics Sa Traitement numerique d'une image d'iris
US20070071288A1 (en) * 2005-09-29 2007-03-29 Quen-Zong Wu Facial features based human face recognition method
US7357507B2 (en) * 2006-04-05 2008-04-15 Visionetx, Inc. Image-based system to observe and document eye responses
AU2007292271A1 (en) * 2006-09-06 2008-03-13 Eye Marker Systems, Inc. A noninvasive ocular monitor and method for measuring and analyzing physiological data
KR100826876B1 (ko) * 2006-09-18 2008-05-06 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
CN101201893A (zh) * 2006-09-30 2008-06-18 电子科技大学中山学院 一种基于灰度信息的虹膜识别预处理方法
US8055074B2 (en) * 2007-01-17 2011-11-08 Donald Martin Monro Shape representation using fourier transforms
EP2130177A1 (en) * 2007-02-28 2009-12-09 Hewlett-Packard Development Company, L.P. Restoring and synthesizing glint within digital image eye features
ES2656421T3 (es) * 2007-08-21 2018-02-27 Visionix Ltd. Sistema multifuncional de medición oftálmica y procedimiento correspondiente
US7810928B2 (en) * 2008-02-26 2010-10-12 Konan Medical Usa, Inc. Evaluating pupillary responses to light stimuli
US9131141B2 (en) * 2008-05-12 2015-09-08 Sri International Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
JP2009282925A (ja) * 2008-05-26 2009-12-03 Sharp Corp 虹彩認証支援装置及び虹彩認証支援方法
CN101359365B (zh) * 2008-08-07 2011-04-13 电子科技大学中山学院 一种基于最大类间方差和灰度信息的虹膜定位方法
CN201477518U (zh) * 2009-08-31 2010-05-19 北京科技大学 一种基于瞳孔角膜反射方法的视线追踪装置
TWI419061B (zh) * 2010-01-18 2013-12-11 Pixart Imaging Inc 多物件影像辨識方法
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
CA2812124A1 (en) * 2010-09-13 2012-03-22 Urban Schnell Method and apparatus for detecting accommodation
CN103164704B (zh) * 2013-04-12 2016-05-11 山东师范大学 一种基于混合高斯模型的虹膜图像分割算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI611353B (zh) * 2015-12-02 2018-01-11 China Unionpay Co Ltd 一種眼球追蹤的方法及裝置

Also Published As

Publication number Publication date
US20180160079A1 (en) 2018-06-07
US20140022371A1 (en) 2014-01-23
TWI471808B (zh) 2015-02-01

Similar Documents

Publication Publication Date Title
TWI471808B (zh) 瞳孔偵測裝置
US10747995B2 (en) Pupil tracking device
US11196917B2 (en) Electronic system with eye protection
JP6847124B2 (ja) ミラーコンポーネント用の適応照明システム、及び適応照明システムを制御する方法
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
CA2545202C (en) Method and apparatus for calibration-free eye tracking
US8743051B1 (en) Mirror detection-based device functionality
EP3252566B1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
KR20130107981A (ko) 시선 추적 장치 및 방법
WO2017209777A1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
CN103793045A (zh) 瞳孔追踪装置
Ko et al. A robust gaze detection method by compensating for facial movements based on corneal specularities
US20230195226A1 (en) Attention cues for head-mounted display (hmd)
WO2018164104A1 (ja) 眼部画像処理装置
CN103565399A (zh) 瞳孔检测装置
JP6687195B2 (ja) 眼部画像処理装置
JP2021051564A (ja) 視線データ補正装置、評価装置、視線データ補正方法、評価方法、視線データ補正プログラム、及び評価プログラム
JP2024022726A (ja) 電子機器