TWI392858B - Pupil position acquisition system, method and computer program products - Google Patents

Pupil position acquisition system, method and computer program products Download PDF

Info

Publication number
TWI392858B
TWI392858B TW097148389A TW97148389A TWI392858B TW I392858 B TWI392858 B TW I392858B TW 097148389 A TW097148389 A TW 097148389A TW 97148389 A TW97148389 A TW 97148389A TW I392858 B TWI392858 B TW I392858B
Authority
TW
Taiwan
Prior art keywords
signal
eyeball
image
interval
obtaining
Prior art date
Application number
TW097148389A
Other languages
English (en)
Other versions
TW201022648A (en
Inventor
Chia Te Chu
Jui Tang Lin
Chin Shun Hsu
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW097148389A priority Critical patent/TWI392858B/zh
Priority to US12/342,966 priority patent/US7744218B1/en
Publication of TW201022648A publication Critical patent/TW201022648A/zh
Application granted granted Critical
Publication of TWI392858B publication Critical patent/TWI392858B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

瞳孔位置取得系統、方法及電腦程式產品
本發明是有關於一種瞳孔位置取得系統、方法及電腦程式產品，且特別是有關於一種利用小波轉換(Wavelet Transform)，對眼球影像訊號進行分析，以取得瞳孔位置的瞳孔位置取得系統、方法及電腦程式產品。
瞳孔追蹤方法，是醫學領域中用途廣泛之技術，其主要可應用於患有肌肉萎縮性脊髓側索硬化症、大腦麻痺、肢體或臉部肌肉無法行動的患者，如果患者本身的眼睛器官仍然能夠活動自如，患者就能夠依賴瞳孔追蹤方法，配合人機介面之設備，獲得獨立自主的溝通及控制能力。
然而，以往的瞳孔追蹤技術以角膜反射法(cornea and pupil reflection)為例，其主要是利用眼部各部份對光線有不同的反射率，以攝影機接收眼部反射回來的光線形成眼部影像，在以影像處理的方式決定眼睛的移動與方位，其中角膜反射法由於使用二值化影像做處理，且於影像處理的技術上，運用霍夫轉換(Hough transform)技術或圓型樣板，以尋找或比對瞳孔周圓之邊界，因此，在取得瞳孔的臨界值時，往往耗時且易產生雜訊干擾，致使取得瞳孔位置的精準度不甚理想。
本發明之目的在於提供一種利用小波轉換(Wavelet Transform)，對眼球影像訊號進行分析，而取得瞳孔位置的瞳孔位置取得系統、方法及電腦程式產品，以解決上述問題。
依據上述目的，本發明所提供之技術手段在於提供一種瞳孔位置取得系統，其包括：一拍攝模組、一掃瞄模組、一訊號轉換模組及一訊號分析模組。拍攝模組係利用一影像拍攝裝置，如CCD(Charge-coupled Device)攝影機，拍攝一眼球影像。掃瞄模組掃瞄該眼球影像，以取得一眼球訊號。訊號轉換模組對此眼球訊號進行一小波轉換(Wavelet Transform)。訊號分析模組係分析小波轉換後之眼球訊號，以取得一訊號區間，並根據此訊號區間分析出瞳孔於眼球影像之位置。
本發明另外提供一種瞳孔位置取得方法，係利用一影像拍攝裝置，如CCD(Charge-coupled Device)攝影機，擷取一眼球影像，並對此眼球影像進行一掃描程序，以取得一眼球訊號，之後對眼球訊號進行一小波轉換(Wavelet Transform)，並分析經過此小波轉換後之眼球訊號，以取得一訊號區間，根據此訊號區間分析出瞳孔於眼球影像之位置。
本發明亦提供一種電腦程式產品，經由一電腦程式執行一瞳孔位置取得方法，該瞳孔位置取得方法包含：取得一眼球影像，並對此眼球影像進行一掃描程序，以取得一眼球訊號，之後對眼球訊號進行一小波轉換(Wavelet Transform)，並分析經過此小波轉換後之眼球訊號，以取得一訊號區間，根據此訊號區間分析出瞳孔於眼球影像之位置。
運用本發明所獲得的功效係在於：透過小波轉換，能夠輕易地分析出瞳孔位於眼球影像之位置。
為讓本發明之上述目的、特徵和特點能更明顯易懂，茲配合圖式將本發明相關實施例詳細說明如下。
請參閱圖1，圖1係為本發明之系統架構圖。如圖1所示，本發明所述瞳孔位置取得系統，其主要包含有一拍攝模組10及一伺服裝置20，其中伺服裝置20具有一掃瞄模組210、一訊號轉換模組220及一訊號分析模組230。
拍攝模組10係利用一影像拍攝裝置，拍攝受試者一眼球影像101。掃瞄模組210用以掃瞄眼球影像101，以取得一眼球數位訊號2100。訊號轉換模組220對此眼球數位訊號2100進行一小波轉換(Wavelet Transform)。訊號分析模組230分析小波轉換後之眼球數位訊號2100，以取得一訊號區間，並根據此訊號區間分析出瞳孔於眼球影像101之位置。
續請同時配合參閱圖2及圖3，圖2係為本發明之工作流程示意圖；圖3係為本發明取得一眼球影像之示意圖。
當欲取得受試者之瞳孔100位置時，係可使用拍攝模組10如CCD(Charge-coupled Device，CCD)攝影機，來拍攝受試者眼睛之眼球影像101(步驟S100)，並利用影像擷取卡或安裝於電腦上的影像程式，將眼球影像101如圖3所示擷取下來，之後分別對此眼球影像101範圍內的每一縱軸與橫軸，透過掃瞄模組210進行垂直掃描與水平掃描，以取得此眼球影像101之眼球數位訊號2100(步驟S110)。
當取得眼球數位訊號2100後，利用一訊號轉換模組220，將眼球數位訊號2100進行小波轉換(Wavelet Transform)，以將此眼球數位訊號2100，透過訊號分析模組230，進行高頻分析與低頻分析，其中此小波轉換之高頻分析與低頻分析之建構式係分別如下列所示：
D =(s ,H )　(公式1)
A =(s ,L )　(公式2)
s 為眼球數位訊號2100，H為小波轉換之高頻濾波器系數，D為眼球數位訊號2100的高頻訊號，此高頻訊號D則為眼球數位訊號2100與高頻濾波器系數H的摺積(Convolution)結果。L為小波轉換之低頻濾波器系數，A為眼球數位訊號2100的低頻訊號，此低頻訊號A則為眼球數位訊號2100與低頻濾波器系數L的摺積結果。
續請同時參閱圖4A、圖4B及圖4C，圖4A係為本發明縱軸眼球數位訊號進行小波轉換後，取得高頻訊號之示意圖；圖4B係為本發明橫軸之眼球數位訊號進行小波轉換後，取得高頻訊號之示意圖；圖4C係為本發明圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號匹配，以取得瞳孔位置之示意圖。
當眼球數位訊號2100進行縱軸與橫軸之小波轉換後，其個別具有如圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號。由圖4A與圖4B可清楚的看出，轉換後之縱軸與橫軸的眼球數位訊號，其分別具有一訊號區間22與訊號區間24(步驟S120)。
由於一般而言，瞳孔100在低頻頻帶中的各個像素的相減，小波係數變化量較少，因此，兩訊號區間的頻率值皆為零，即為瞳孔100之縱軸與橫軸位置所在，其中訊號區間22即為瞳孔100之長度；訊號區間24即為瞳孔100之寬度。此瞳孔100之位置主要係藉由一越零率法則所分析取得，越零率即為在眼球數位訊號中，其訊號的振幅通過零點之次數，在這裡將取出通過連續零點最多次數的範圍，也必須設定至少要有多少連續通過零點的次數才是瞳孔100之位置。之後，將圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號進行匹配，即可如圖4C精準的找出瞳孔100之位置(步驟S130)。
請參閱圖5A及圖5B，圖5A係為本發明縱軸眼球數位訊號進行小波轉換後，取得低頻訊號之示意圖；圖5B係為本發明橫軸眼球數位訊號進行小波轉換後，取得低頻訊號之示意圖；圖5C係為本發明圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號匹配，以取得瞳孔位置之示意圖。
同樣地，當眼球數位訊號2100進行縱軸與橫軸之小波轉換後，其個別具有圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號，由圖5A與圖5B可清楚的看出，其分別具有一訊號區間32與訊號區間34(步驟S120)，其中訊號區間32即為瞳孔100之長度；訊號區間34為瞳孔100之寬度。
由於一般而言，瞳孔100在低頻頻帶中的各個像素的加總，小波係數變化量較少，因此兩訊號區間的頻率，於一連續時間下係為一特定的恒定值，即為瞳孔100之縱軸與橫軸之位置所在，其中此訊號區間32與訊號區間34為此兩低頻訊號在一連續時間內，經過此恒定頻率特定比例的訊號長度所分析而出。之後，將圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號進行匹配，即可如圖5C精準的找出瞳孔100之位置(步驟S130)。
由上述可知，本發明所述瞳孔位置取得方法，具有下列特點：
1.利用小波轉換之影像處理技術，可快速地找出受試者之瞳孔位置，因此，若將此技術應用於穿戴式電腦上，針對肢障人士而言，利用眼睛的移動亦可操控電腦滑鼠游標，享受眼到操控之效能。
2.對於患有肌肉萎縮性脊髓側索硬化症、大腦麻痺、肢體或臉部肌肉無法行動的患者，如果本身的眼睛器官仍然能夠活動自如，患者就可以依賴此技術而獲得獨立自主的溝通及控制能力
綜上所述，乃僅記載本發明為呈現解決問題所採用的技術手段之較佳實施方式或實施例而已，並非用來限定本發明專利實施之範圍。即凡與本發明專利申請範圍文義相符，或依本發明專利範圍所做的均等變化與修飾，皆為本發明專利範圍所涵蓋。
10．．．拍攝模組
100．．．瞳孔
101．．．眼球影像
20．．．伺服裝置
210．．．掃瞄模組
2100．．．眼球數位訊號
220．．．訊號轉換模組
230．．．訊號分析模組
22，24．．．訊號區間
32，34．．．訊號區間
圖1係為本發明之系統架構圖；
圖2係為本發明之工作流程示意圖；
圖3係為本發明取得一眼球影像之示意圖；
圖4A係為本發明縱軸眼球數位訊號進行小波轉換後，取得高頻訊號之示意圖；
圖4B係為本發明橫軸之眼球數位訊號進行小波轉換後，取得高頻訊號之示意圖；
圖4C係為本發明圖4A縱軸之高頻訊號與圖4B橫軸之高頻訊號匹配，以取得瞳孔位置之示意圖；
圖5A係為本發明縱軸眼球數位訊號進行小波轉換後，取得低頻訊號之示意圖；
圖5B係為本發明橫軸眼球數位訊號進行小波轉換後，取得低頻訊號之示意圖；以及
圖5C係為本發明圖5A縱軸之低頻訊號與圖5B橫軸之低頻訊號匹配，以取得瞳孔位置之示意圖。
10．．．拍攝模組
101．．．眼球影像
20．．．伺服裝置
210．．．掃瞄模組
2100．．．眼球數位訊號
220．．．訊號轉換模組
230．．．訊號分析模組

Claims (20)

  1. 一種瞳孔位置取得系統，包括：一拍攝模組，係拍攝一眼球影像；一掃瞄模組，掃瞄該眼球影像，以取得一眼球訊號；一訊號轉換模組，對該眼球訊號進行一小波轉換(Wavelet Transform)；以及一訊號分析模組，分析該小波轉換後之該眼球訊號，以取得一訊號區間，並根據該訊號區間分析出該瞳孔於該眼球影像之位置；其中取得該訊號區間之該小波轉換建構式為：D =(s ,H )A =(s ,L )s 為該眼球訊號，H為該小波轉換之一高頻濾波器系數，D為該眼球訊號的一高頻訊號，該高頻訊號為該眼球訊號與該高頻濾波器系數的摺積(Convolution)結果，L為該小波轉換之一低頻濾波器系數，A為該眼球訊號的一低頻訊號，該低頻訊號為該眼球訊號與該低頻濾波器系數的摺積結果。
  2. 如申請專利範圍第1項所述瞳孔位置取得系統，其中該拍攝模組為CCD(Charge-coupled Device，CCD)攝影機。
  3. 如申請專利範圍第1項所述瞳孔位置取得系統，其中該掃瞄模組以垂直掃描之方式，掃描該眼球影像，以取得該眼球訊號。
  4. 如申請專利範圍第1項所述瞳孔位置取得系統， 其中，該掃瞄模組以水平掃描之方式，掃描該眼球影像，以取得該眼球訊號。
  5. 如申請專利範圍第1項所述瞳孔位置取得系統，其中該訊號區間為一零頻率，且該訊號區間為該高頻訊號在一連續時間內經過該零頻率之比例所分析而出。
  6. 如申請專利範圍第1項所述瞳孔位置取得系統，其中該低頻訊號於該訊號區間係為一特定頻率，且該訊號區間為該低頻訊號在連續時間經過該特定頻率之比例所分析而出。
  7. 一種瞳孔位置取得方法，包括：取得一眼球影像；掃瞄該眼球影像，以取得一眼球訊號；對該眼球訊號進行一小波轉換(Wavelet Transform)，並分析該小波轉換後之該眼球訊號，以取得一訊號區間；以及根據該訊號區間分析出該瞳孔於該眼球影像之位置；其中取得該訊號區間之該小波轉換建構式為：D =(s ,H )A =(s ,L )s 為該眼球訊號，H為該小波轉換之一高頻濾波器系數，D為該眼球訊號的一高頻訊號，該高頻訊號為該眼球訊號與該高頻濾波器系數的摺積(Convolution)結果，L為該小波轉換之一低頻濾波器系數，A為該眼球訊號的一 低頻訊號，該低頻訊號為該眼球訊號與該低頻濾波器系數的摺積結果。
  8. 如申請專利範圍第7項所述瞳孔位置取得方法，其中該眼球影像由一影像拍攝裝置所取得。
  9. 如申請專利範圍第8項所述瞳孔位置取得方法，其中該影像拍攝裝置為CCD(Charge-coupled Device，CCD)攝影機。
  10. 如申請專利範圍第7項所述瞳孔位置取得方法，其中，以垂直掃描該眼球影像之方式，取得該眼球訊號。
  11. 如申請專利範圍第7項所述瞳孔位置取得方法，其中，以水平掃描該眼球影像之方式，取得該眼球訊號。
  12. 如申請專利範圍第7項所述瞳孔位置取得方法，其中該訊號區間為一零頻率，且該訊號區間為該高頻訊號在一連續時間內經過該零頻率之比例所分析而出。
  13. 如申請專利範圍第7項所述瞳孔位置取得方法，其中該低頻訊號於該訊號區間係為一特定頻率，且該訊號區間為該低頻訊號在連續時間經過該特定頻率之比例所分析而出。
  14. 一種電腦程式產品，經由一電腦程式執行一瞳孔位置取得方法，該瞳孔位置取得方法包含：取得一眼球影像；掃瞄該眼球影像，以取得一眼球訊號； 對該眼球訊號進行一小波轉換(Wavelet Transform)，並分析該小波轉換後之該眼球訊號，以取得一訊號區間；以及根據該訊號區間分析出該瞳孔於該眼球影像之位置；其中取得該訊號區間之該小波轉換建構式為：D =(s ,H )A =(s ,L )s 為該眼球訊號，H為該小波轉換之一高頻濾波器系數，D為該眼球訊號的一高頻訊號，該高頻訊號為該眼球訊號與該高頻濾波器系數的摺積(Convolution)結果，L為該小波轉換之一低頻濾波器系數，A為該眼球訊號的一低頻訊號，該低頻訊號為該眼球訊號與該低頻濾波器系數的摺積結果。
  15. 如申請專利範圍第14項所述電腦程式產品，其中該眼球影像由一影像拍攝裝置所取得。
  16. 如申請專利範圍第15項所述電腦程式產品，其中該影像拍攝裝置為CCD(Charge-coupled Device，CCD)攝影機。
  17. 如申請專利範圍第14項所述電腦程式產品，其中，以垂直掃描該眼球影像之方式，取得該眼球訊號。
  18. 如申請專利範圍第14項所述電腦程式產品，其中，以水平掃描該眼球影像之方式，取得該眼球訊號。
  19. 如申請專利範圍第14項所述電腦程式產品，其中該訊號區間為一零頻率，且該訊號區間為該高頻訊號在一連續時間內經過該零頻率之比例所分析而出。
  20. 如申請專利範圍第14項所述電腦程式產品，其中該低頻訊號於該訊號區間係為一特定頻率，且該訊號區間為該低頻訊號在連續時間經過該特定頻率之比例所分析而出。
TW097148389A 2008-12-12 2008-12-12 Pupil position acquisition system, method and computer program products TWI392858B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097148389A TWI392858B (zh) 2008-12-12 2008-12-12 Pupil position acquisition system, method and computer program products
US12/342,966 US7744218B1 (en) 2008-12-12 2008-12-23 Pupil position acquisition system, method therefor, and device containing computer software

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097148389A TWI392858B (zh) 2008-12-12 2008-12-12 Pupil position acquisition system, method and computer program products

Publications (2)

Publication Number Publication Date
TW201022648A TW201022648A (en) 2010-06-16
TWI392858B true TWI392858B (zh) 2013-04-11

Family

ID=42240119

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097148389A TWI392858B (zh) 2008-12-12 2008-12-12 Pupil position acquisition system, method and computer program products

Country Status (2)

Country Link
US (1) US7744218B1 (zh)
TW (1) TWI392858B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930015B (zh) 2011-02-17 2017-10-20 伟伦公司 光反射照相眼部筛查装置和方法
US10506165B2 (en) 2015-10-29 2019-12-10 Welch Allyn, Inc. Concussion screening system
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW401291B (en) * 1998-12-08 2000-08-11 Nat Science Council The device and the method for the Instant eyeball track and the pupil area detection
TWI261785B (en) * 2004-02-19 2006-09-11 Chung Shan Inst Of Science Eye ball tracking method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
JP4256342B2 (ja) * 2002-05-30 2009-04-22 ヴィズイクス・インコーポレーテッド 眼の第１画像と眼の第２画像とを重ね合わせるシステム
CN100350877C (zh) * 2003-07-04 2007-11-28 松下电器产业株式会社 活体眼睛判定方法及活体眼睛判定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW401291B (en) * 1998-12-08 2000-08-11 Nat Science Council The device and the method for the Instant eyeball track and the pupil area detection
TWI261785B (en) * 2004-02-19 2006-09-11 Chung Shan Inst Of Science Eye ball tracking method

Also Published As

Publication number Publication date
US7744218B1 (en) 2010-06-29
US20100149491A1 (en) 2010-06-17
TW201022648A (en) 2010-06-16

Similar Documents

Publication Publication Date Title
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
Stricker et al. Non-contact video-based pulse rate measurement on a mobile service robot
Hanyu et al. Motion artifact detection and reduction in PPG signals based on statistics analysis
Fan et al. Non-contact remote estimation of cardiovascular parameters
Chen et al. Respiratory rate estimation from face videos
Banerjee et al. Noise cleaning and Gaussian modeling of smart phone photoplethysmogram to improve blood pressure estimation
CN110236511A (zh) 一种基于视频的无创心率测量方法
Al-Naji et al. Remote optical cardiopulmonary signal extraction with noise artifact removal, multiple subject detection & long-distance
Przybyło A deep learning approach for remote heart rate estimation
Huang et al. A motion-robust contactless photoplethysmography using chrominance and adaptive filtering
TWI392858B (zh) Pupil position acquisition system, method and computer program products
Bousefsaf et al. Estimation of blood pressure waveform from facial video using a deep U-shaped network and the wavelet representation of imaging photoplethysmographic signals
KR101787828B1 (ko) 스킨컬러 필터를 이용한 심박수 측정시스템
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Lin et al. Step count and pulse rate detection based on the contactless image measurement method
Sahoo et al. Deep learning based non-contact physiological monitoring in Neonatal Intensive Care Unit
Cai et al. Combining chrominance features and fast ICA for noncontact imaging photoplethysmography
Lin et al. Development of a FPGA-based contactless pulse rate detection system
Das et al. A multiresolution method for non-contact heart rate estimation using facial video frames
Park et al. Motion artifact reduction in PPG signals from face: Face tracking & stochastic state space modeling approach
KR20150101323A (ko) 영상처리 기반 생체신호 해석 장치
Wang et al. Camera-based physiological measurement: Recent advances and future prospects
Le et al. Heart Rate Estimation Based on Facial Image Sequence
Wei et al. Comprehensive comparison study on different ICA/BSS methods in IPPG techniques for obtaining high-quality BVP signal
Huang et al. Non-contact method of heart rate measurement based on facial tracking

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees