TWI392858B - Pupil position acquisition system, method and computer program products - Google Patents
Pupil position acquisition system, method and computer program products Download PDFInfo
- Publication number
- TWI392858B TWI392858B TW097148389A TW97148389A TWI392858B TW I392858 B TWI392858 B TW I392858B TW 097148389 A TW097148389 A TW 097148389A TW 97148389 A TW97148389 A TW 97148389A TW I392858 B TWI392858 B TW I392858B
- Authority
- TW
- Taiwan
- Prior art keywords
- signal
- eyeball
- image
- interval
- obtaining
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 title claims description 60
- 238000000034 method Methods 0.000 title claims description 25
- 238000004590 computer program Methods 0.000 title claims description 14
- 210000005252 bulbus oculi Anatomy 0.000 claims description 105
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 210000001508 eye Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 206010008129 cerebral palsy Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
本發明是有關於一種瞳孔位置取得系統、方法及電腦程式產品,且特別是有關於一種利用小波轉換(Wavelet Transform),對眼球影像訊號進行分析,以取得瞳孔位置的瞳孔位置取得系統、方法及電腦程式產品。
瞳孔追蹤方法,是醫學領域中用途廣泛之技術,其主要可應用於患有肌肉萎縮性脊髓側索硬化症、大腦麻痺、肢體或臉部肌肉無法行動的患者,如果患者本身的眼睛器官仍然能夠活動自如,患者就能夠依賴瞳孔追蹤方法,配合人機介面之設備,獲得獨立自主的溝通及控制能力。
然而,以往的瞳孔追蹤技術以角膜反射法(cornea and pupil reflection)為例,其主要是利用眼部各部份對光線有不同的反射率,以攝影機接收眼部反射回來的光線形成眼部影像,在以影像處理的方式決定眼睛的移動與方位,其中角膜反射法由於使用二值化影像做處理,且於影像處理的技術上,運用霍夫轉換(Hough transform)技術或圓型樣板,以尋找或比對瞳孔周圓之邊界,因此,在取得瞳孔的臨界值時,往往耗時且易產生雜訊干擾,致使取得瞳孔位置的精準度不甚理想。
本發明之目的在於提供一種利用小波轉換(Wavelet Transform),對眼球影像訊號進行分析,而取得瞳孔位置的瞳孔位置取得系統、方法及電腦程式產品,以解決上述問題。
依據上述目的,本發明所提供之技術手段在於提供一種瞳孔位置取得系統,其包括:一拍攝模組、一掃瞄模組、一訊號轉換模組及一訊號分析模組。拍攝模組係利用一影像拍攝裝置,如CCD(Charge-coupled Device)攝影機,拍攝一眼球影像。掃瞄模組掃瞄該眼球影像,以取得一眼球訊號。訊號轉換模組對此眼球訊號進行一小波轉換(Wavelet Transform)。訊號分析模組係分析小波轉換後之眼球訊號,以取得一訊號區間,並根據此訊號區間分析出瞳孔於眼球影像之位置。
本發明另外提供一種瞳孔位置取得方法,係利用一影像拍攝裝置,如CCD(Charge-coupled Device)攝影機,擷取一眼球影像,並對此眼球影像進行一掃描程序,以取得一眼球訊號,之後對眼球訊號進行一小波轉換(Wavelet Transform),並分析經過此小波轉換後之眼球訊號,以取得一訊號區間,根據此訊號區間分析出瞳孔於眼球影像之位置。
本發明亦提供一種電腦程式產品,經由一電腦程式執行一瞳孔位置取得方法,該瞳孔位置取得方法包含:取得一眼球影像,並對此眼球影像進行一掃描程序,以取得一眼球訊號,之後對眼球訊號進行一小波轉換(Wavelet Transform),並分析經過此小波轉換後之眼球訊號,以取得一訊號區間,根據此訊號區間分析出瞳孔於眼球影像之位置。
運用本發明所獲得的功效係在於:透過小波轉換,能夠輕易地分析出瞳孔位於眼球影像之位置。
為讓本發明之上述目的、特徵和特點能更明顯易懂,茲配合圖式將本發明相關實施例詳細說明如下。
請參閱圖1,圖1係為本發明之系統架構圖。如圖1所示,本發明所述瞳孔位置取得系統,其主要包含有一拍攝模組10及一伺服裝置20,其中伺服裝置20具有一掃瞄模組210、一訊號轉換模組220及一訊號分析模組230。
拍攝模組10係利用一影像拍攝裝置,拍攝受試者一眼球影像101。掃瞄模組210用以掃瞄眼球影像101,以取得一眼球數位訊號2100。訊號轉換模組220對此眼球數位訊號2100進行一小波轉換(Wavelet Transform)。訊號分析模組230分析小波轉換後之眼球數位訊號2100,以取得一訊號區間,並根據此訊號區間分析出瞳孔於眼球影像101之位置。
續請同時配合參閱圖2及圖3,圖2係為本發明之工作流程示意圖;圖3係為本發明取得一眼球影像之示意圖。
當欲取得受試者之瞳孔100位置時,係可使用拍攝模組10如CCD(Charge-coupled Device,CCD)攝影機,來拍攝受試者眼睛之眼球影像101(步驟S100),並利用影像擷取卡或安裝於電腦上的影像程式,將眼球影像101如圖3所示擷取下來,之後分別對此眼球影像101範圍內的每一縱軸與橫軸,透過掃瞄模組210進行垂直掃描與水平掃描,以取得此眼球影像101之眼球數位訊號2100(步驟S110)。
當取得眼球數位訊號2100後,利用一訊號轉換模組220,將眼球數位訊號2100進行小波轉換(Wavelet Transform),以將此眼球數位訊號2100,透過訊號分析模組230,進行高頻分析與低頻分析,其中此小波轉換之高頻分析與低頻分析之建構式係分別如下列所示:
D
=(s
,H
) (公式1)
A
=(s
,L
) (公式2)
s
為眼球數位訊號2100,H為小波轉換之高頻濾波器系數,D為眼球數位訊號2100的高頻訊號,此高頻訊號D則為眼球數位訊號2100與高頻濾波器系數H的摺積(Convolution)結果。L為小波轉換之低頻濾波器系數,A為眼球數位訊號2100的低頻訊號,此低頻訊號A則為眼球數位訊號2100與低頻濾波器系數L的摺積結果。
續請同時參閱圖4A、圖4B及圖4C,圖4A係為本發明縱軸眼球數位訊號進行小波轉換後,取得高頻訊號之示意圖;圖4B係為本發明橫軸之眼球數位訊號進行小波轉換後,取得高頻訊號之示意圖;圖4C係為本發明圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號匹配,以取得瞳孔位置之示意圖。
當眼球數位訊號2100進行縱軸與橫軸之小波轉換後,其個別具有如圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號。由圖4A與圖4B可清楚的看出,轉換後之縱軸與橫軸的眼球數位訊號,其分別具有一訊號區間22與訊號區間24(步驟S120)。
由於一般而言,瞳孔100在低頻頻帶中的各個像素的相減,小波係數變化量較少,因此,兩訊號區間的頻率值皆為零,即為瞳孔100之縱軸與橫軸位置所在,其中訊號區間22即為瞳孔100之長度;訊號區間24即為瞳孔100之寬度。此瞳孔100之位置主要係藉由一越零率法則所分析取得,越零率即為在眼球數位訊號中,其訊號的振幅通過零點之次數,在這裡將取出通過連續零點最多次數的範圍,也必須設定至少要有多少連續通過零點的次數才是瞳孔100之位置。之後,將圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號進行匹配,即可如圖4C精準的找出瞳孔100之位置(步驟S130)。
請參閱圖5A及圖5B,圖5A係為本發明縱軸眼球數位訊號進行小波轉換後,取得低頻訊號之示意圖;圖5B係為本發明橫軸眼球數位訊號進行小波轉換後,取得低頻訊號之示意圖;圖5C係為本發明圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號匹配,以取得瞳孔位置之示意圖。
同樣地,當眼球數位訊號2100進行縱軸與橫軸之小波轉換後,其個別具有圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號,由圖5A與圖5B可清楚的看出,其分別具有一訊號區間32與訊號區間34(步驟S120),其中訊號區間32即為瞳孔100之長度;訊號區間34為瞳孔100之寬度。
由於一般而言,瞳孔100在低頻頻帶中的各個像素的加總,小波係數變化量較少,因此兩訊號區間的頻率,於一連續時間下係為一特定的恒定值,即為瞳孔100之縱軸與橫軸之位置所在,其中此訊號區間32與訊號區間34為此兩低頻訊號在一連續時間內,經過此恒定頻率特定比例的訊號長度所分析而出。之後,將圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號進行匹配,即可如圖5C精準的找出瞳孔100之位置(步驟S130)。
由上述可知,本發明所述瞳孔位置取得方法,具有下列特點:
1.利用小波轉換之影像處理技術,可快速地找出受試者之瞳孔位置,因此,若將此技術應用於穿戴式電腦上,針對肢障人士而言,利用眼睛的移動亦可操控電腦滑鼠游標,享受眼到操控之效能。
2.對於患有肌肉萎縮性脊髓側索硬化症、大腦麻痺、肢體或臉部肌肉無法行動的患者,如果本身的眼睛器官仍然能夠活動自如,患者就可以依賴此技術而獲得獨立自主的溝通及控制能力
綜上所述,乃僅記載本發明為呈現解決問題所採用的技術手段之較佳實施方式或實施例而已,並非用來限定本發明專利實施之範圍。即凡與本發明專利申請範圍文義相符,或依本發明專利範圍所做的均等變化與修飾,皆為本發明專利範圍所涵蓋。
10...拍攝模組
100...瞳孔
101...眼球影像
20...伺服裝置
210...掃瞄模組
2100...眼球數位訊號
220...訊號轉換模組
230...訊號分析模組
22,24...訊號區間
32,34...訊號區間
圖1係為本發明之系統架構圖;
圖2係為本發明之工作流程示意圖;
圖3係為本發明取得一眼球影像之示意圖;
圖4A係為本發明縱軸眼球數位訊號進行小波轉換後,取得高頻訊號之示意圖;
圖4B係為本發明橫軸之眼球數位訊號進行小波轉換後,取得高頻訊號之示意圖;
圖4C係為本發明圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號匹配,以取得瞳孔位置之示意圖;
圖5A係為本發明縱軸眼球數位訊號進行小波轉換後,取得低頻訊號之示意圖;
圖5B係為本發明橫軸眼球數位訊號進行小波轉換後,取得低頻訊號之示意圖;以及
圖5C係為本發明圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號匹配,以取得瞳孔位置之示意圖。
10...拍攝模組
101...眼球影像
20...伺服裝置
210...掃瞄模組
2100...眼球數位訊號
220...訊號轉換模組
230...訊號分析模組
Claims (20)
- 一種瞳孔位置取得系統,包括:一拍攝模組,係拍攝一眼球影像;一掃瞄模組,掃瞄該眼球影像,以取得一眼球訊號;一訊號轉換模組,對該眼球訊號進行一小波轉換(Wavelet Transform);以及一訊號分析模組,分析該小波轉換後之該眼球訊號,以取得一訊號區間,並根據該訊號區間分析出該瞳孔於該眼球影像之位置;其中取得該訊號區間之該小波轉換建構式為:D =(s ,H )A =(s ,L )s 為該眼球訊號,H為該小波轉換之一高頻濾波器系數,D為該眼球訊號的一高頻訊號,該高頻訊號為該眼球訊號與該高頻濾波器系數的摺積(Convolution)結果,L為該小波轉換之一低頻濾波器系數,A為該眼球訊號的一低頻訊號,該低頻訊號為該眼球訊號與該低頻濾波器系數的摺積結果。
- 如申請專利範圍第1項所述瞳孔位置取得系統,其中該拍攝模組為CCD(Charge-coupled Device,CCD)攝影機。
- 如申請專利範圍第1項所述瞳孔位置取得系統,其中該掃瞄模組以垂直掃描之方式,掃描該眼球影像,以取得該眼球訊號。
- 如申請專利範圍第1項所述瞳孔位置取得系統, 其中,該掃瞄模組以水平掃描之方式,掃描該眼球影像,以取得該眼球訊號。
- 如申請專利範圍第1項所述瞳孔位置取得系統,其中該訊號區間為一零頻率,且該訊號區間為該高頻訊號在一連續時間內經過該零頻率之比例所分析而出。
- 如申請專利範圍第1項所述瞳孔位置取得系統,其中該低頻訊號於該訊號區間係為一特定頻率,且該訊號區間為該低頻訊號在連續時間經過該特定頻率之比例所分析而出。
- 一種瞳孔位置取得方法,包括:取得一眼球影像;掃瞄該眼球影像,以取得一眼球訊號;對該眼球訊號進行一小波轉換(Wavelet Transform),並分析該小波轉換後之該眼球訊號,以取得一訊號區間;以及根據該訊號區間分析出該瞳孔於該眼球影像之位置;其中取得該訊號區間之該小波轉換建構式為:D =(s ,H )A =(s ,L )s 為該眼球訊號,H為該小波轉換之一高頻濾波器系數,D為該眼球訊號的一高頻訊號,該高頻訊號為該眼球訊號與該高頻濾波器系數的摺積(Convolution)結果,L為該小波轉換之一低頻濾波器系數,A為該眼球訊號的一 低頻訊號,該低頻訊號為該眼球訊號與該低頻濾波器系數的摺積結果。
- 如申請專利範圍第7項所述瞳孔位置取得方法,其中該眼球影像由一影像拍攝裝置所取得。
- 如申請專利範圍第8項所述瞳孔位置取得方法,其中該影像拍攝裝置為CCD(Charge-coupled Device,CCD)攝影機。
- 如申請專利範圍第7項所述瞳孔位置取得方法,其中,以垂直掃描該眼球影像之方式,取得該眼球訊號。
- 如申請專利範圍第7項所述瞳孔位置取得方法,其中,以水平掃描該眼球影像之方式,取得該眼球訊號。
- 如申請專利範圍第7項所述瞳孔位置取得方法,其中該訊號區間為一零頻率,且該訊號區間為該高頻訊號在一連續時間內經過該零頻率之比例所分析而出。
- 如申請專利範圍第7項所述瞳孔位置取得方法,其中該低頻訊號於該訊號區間係為一特定頻率,且該訊號區間為該低頻訊號在連續時間經過該特定頻率之比例所分析而出。
- 一種電腦程式產品,經由一電腦程式執行一瞳孔位置取得方法,該瞳孔位置取得方法包含:取得一眼球影像;掃瞄該眼球影像,以取得一眼球訊號; 對該眼球訊號進行一小波轉換(Wavelet Transform),並分析該小波轉換後之該眼球訊號,以取得一訊號區間;以及根據該訊號區間分析出該瞳孔於該眼球影像之位置;其中取得該訊號區間之該小波轉換建構式為:D =(s ,H )A =(s ,L )s 為該眼球訊號,H為該小波轉換之一高頻濾波器系數,D為該眼球訊號的一高頻訊號,該高頻訊號為該眼球訊號與該高頻濾波器系數的摺積(Convolution)結果,L為該小波轉換之一低頻濾波器系數,A為該眼球訊號的一低頻訊號,該低頻訊號為該眼球訊號與該低頻濾波器系數的摺積結果。
- 如申請專利範圍第14項所述電腦程式產品,其中該眼球影像由一影像拍攝裝置所取得。
- 如申請專利範圍第15項所述電腦程式產品,其中該影像拍攝裝置為CCD(Charge-coupled Device,CCD)攝影機。
- 如申請專利範圍第14項所述電腦程式產品,其中,以垂直掃描該眼球影像之方式,取得該眼球訊號。
- 如申請專利範圍第14項所述電腦程式產品,其中,以水平掃描該眼球影像之方式,取得該眼球訊號。
- 如申請專利範圍第14項所述電腦程式產品,其中該訊號區間為一零頻率,且該訊號區間為該高頻訊號在一連續時間內經過該零頻率之比例所分析而出。
- 如申請專利範圍第14項所述電腦程式產品,其中該低頻訊號於該訊號區間係為一特定頻率,且該訊號區間為該低頻訊號在連續時間經過該特定頻率之比例所分析而出。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW097148389A TWI392858B (zh) | 2008-12-12 | 2008-12-12 | Pupil position acquisition system, method and computer program products |
US12/342,966 US7744218B1 (en) | 2008-12-12 | 2008-12-23 | Pupil position acquisition system, method therefor, and device containing computer software |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW097148389A TWI392858B (zh) | 2008-12-12 | 2008-12-12 | Pupil position acquisition system, method and computer program products |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201022648A TW201022648A (en) | 2010-06-16 |
TWI392858B true TWI392858B (zh) | 2013-04-11 |
Family
ID=42240119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW097148389A TWI392858B (zh) | 2008-12-12 | 2008-12-12 | Pupil position acquisition system, method and computer program products |
Country Status (2)
Country | Link |
---|---|
US (1) | US7744218B1 (zh) |
TW (1) | TWI392858B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103930015B (zh) | 2011-02-17 | 2017-10-20 | 伟伦公司 | 光反射照相眼部筛查装置和方法 |
US10506165B2 (en) | 2015-10-29 | 2019-12-10 | Welch Allyn, Inc. | Concussion screening system |
CN116974370B (zh) * | 2023-07-18 | 2024-04-16 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW401291B (en) * | 1998-12-08 | 2000-08-11 | Nat Science Council | The device and the method for the Instant eyeball track and the pupil area detection |
TWI261785B (en) * | 2004-02-19 | 2006-09-11 | Chung Shan Inst Of Science | Eye ball tracking method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6247813B1 (en) * | 1999-04-09 | 2001-06-19 | Iritech, Inc. | Iris identification system and method of identifying a person through iris recognition |
MXPA04011893A (es) * | 2002-05-30 | 2005-03-31 | Visx Inc | Rastreo de la posicion y orientacion torsional del ojo. |
EP2151191B1 (en) * | 2003-07-04 | 2017-02-22 | Panasonic Intellectual Property Corporation of America | Living eye judging method and device |
-
2008
- 2008-12-12 TW TW097148389A patent/TWI392858B/zh not_active IP Right Cessation
- 2008-12-23 US US12/342,966 patent/US7744218B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW401291B (en) * | 1998-12-08 | 2000-08-11 | Nat Science Council | The device and the method for the Instant eyeball track and the pupil area detection |
TWI261785B (en) * | 2004-02-19 | 2006-09-11 | Chung Shan Inst Of Science | Eye ball tracking method |
Also Published As
Publication number | Publication date |
---|---|
US20100149491A1 (en) | 2010-06-17 |
TW201022648A (en) | 2010-06-16 |
US7744218B1 (en) | 2010-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
CN105147274B (zh) | 一种从可见光谱段人脸视频信号中提取心率的方法 | |
Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
Chen et al. | Respiratory rate estimation from face videos | |
Al-Naji et al. | Remote optical cardiopulmonary signal extraction with noise artifact removal, multiple subject detection & long-distance | |
Huang et al. | A motion-robust contactless photoplethysmography using chrominance and adaptive filtering | |
TWI392858B (zh) | Pupil position acquisition system, method and computer program products | |
KR101787828B1 (ko) | 스킨컬러 필터를 이용한 심박수 측정시스템 | |
CN113920119A (zh) | 一种基于热成像技术的心率呼吸分析处理方法 | |
Bousefsaf et al. | Estimation of blood pressure waveform from facial video using a deep U-shaped network and the wavelet representation of imaging photoplethysmographic signals | |
Lin et al. | Step count and pulse rate detection based on the contactless image measurement method | |
CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
Sahoo et al. | Deep learning based non-contact physiological monitoring in Neonatal Intensive Care Unit | |
Cai et al. | Combining chrominance features and fast ICA for noncontact imaging photoplethysmography | |
CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
Das et al. | A multiresolution method for non-contact heart rate estimation using facial video frames | |
Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
Park et al. | Motion artifact reduction in PPG signals from face: Face tracking & stochastic state space modeling approach | |
KR20150101323A (ko) | 영상처리 기반 생체신호 해석 장치 | |
Le et al. | Heart Rate Estimation Based on Facial Image Sequence | |
Huang et al. | Non-contact method of heart rate measurement based on facial tracking | |
Wei et al. | Comprehensive comparison study on different ICA/BSS methods in IPPG techniques for obtaining high-quality BVP signal | |
Wang et al. | Camera-based physiological measurement: Recent advances and future prospects | |
Wu et al. | Roi selected by pixel2pixel for measuring heart rate based on ippg |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |