TW201005651A - Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module - Google Patents

Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module Download PDF

Info

Publication number
TW201005651A
TW201005651A TW97128106A TW97128106A TW201005651A TW 201005651 A TW201005651 A TW 201005651A TW 97128106 A TW97128106 A TW 97128106A TW 97128106 A TW97128106 A TW 97128106A TW 201005651 A TW201005651 A TW 201005651A
Authority
TW
Taiwan
Prior art keywords
pupil
coordinate
line
sight
user
Prior art date
Application number
TW97128106A
Other languages
English (en)
Other versions
TWI362005B (zh
Inventor
xin-min Zhao
yao-zong Hong
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW97128106A priority Critical patent/TW201005651A/zh
Publication of TW201005651A publication Critical patent/TW201005651A/zh
Application granted granted Critical
Publication of TWI362005B publication Critical patent/TWI362005B/zh

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

201005651 九、發明說明: 【發明所屬之技術領域】 本發明是有關於一 是指一種配合眼球控制 【先前技術】 種控制電子文件翻動之方法,特別 電子文件翻動之方法及系統。 一般來說,電腦使用者都是利用鍵盤、滑鼠或觸控板 等輸入裳置來控制電子文件往上移動、往下移動,或直接 參 τ-頁或上一頁’以㈣覽。但對於手部傷殘或對於控制 手部肌肉有障礙的使用者而言,並無法操作前述輸入褒置 ’也就無法順利瀏覽電子文件。 為解決上述問題,近年來在辅具發展技術上,有中華 民國第94136897號發明專利中請案「以眼電訊號控制之人 機介面裝置」’是利用在使用者臉部裝設電極的方式,讓電 極量測眼球的運動,產生控制訊號對滑鼠進行驅動,該滑 鼠進而對電腦游標進行控制。 • 、 ^"外,還有中華民國第92122827號發明專利申請案厂 以頭部轉動和眼球運動控制電腦游標方法」,其利用攝影機 揭取臉部影像,進而球認臉部區域並找出嘴以及眼球位置 最後利用兩眼球中心以及嘴中心所形成之三角形之重心 相對臉部區域質心之相對位移,決定滑鼠移動之方向。 〇然而實際上,利用臉部或眼部運動對電腦發出控制訊 '"技術雖多,標榜的功能雖強,但能做到真正準確者卻 寥寥無幾。與其提供多種控制功能但需投入大量校正工作 不如針對使用者經常需要使用之功能,提供效率高且準 201005651 確的輔助。 以使用者經常需要使用之功能—刹覽電子文件來說, 以往使用者㈣電子文件時,若頁面保持残,使用者讀 到頁面下半部時’會利用滑鼠或鍵盤輸入操作指令讓電 子文件往上移動或翻下一頁;當使用者想往前劉覽,則會 利用滑鼠或鍵盤輸入操作指令’讓電子文件往下移動或翻 上一頁。目前尚未有針對手部傷殘或控制手部肌肉有障礙 的使用者開發之辅助劉覽電子文件的技術或輔具,實有朝 這方面技術研究發展之必要。 【發明内容】 本發明之目的,即在提供一種配合眼球控制電子文件 翻動之方法及系統’透過此系統’使用者可利用其眼球方 便且準確地控制電子文件翻下一頁、i—頁,使其欲瀏覽 的内容可保持位於顯示畫面的中央。 本發明之另一目的,在於提供一種快速判斷曈孔位置 的方法及模組。 於是,本發明配合眼球控制電子文件翻動之系統是包© 含一供對一正在瀏覽一顯示幕中的電子文件的使用者擷取 一包含該使用者之眼球的影像的影像擷取裝置、一與該影 像擷取裝置連接且用以計算出曈孔座標及得到一代表視線 偏上或視線偏下訊息之瞭孔位置資訊的瞳孔分析模組,及 一與該瞳孔分析模組連接且依據該瞳孔位置資訊下達使電 子文件翻動的控制指令的指令產生模組。該系統執行配合 眼球控制電子文件翻動之方法步驟如下: 201005651 影像擷取裝置對一正在瀏覽一顯示幕中的電子文件的 使用者擷取一包含該使用者之眼球的影像。 瞳孔分析模組由該影像擷取一分析區塊,並從中分析 计算出一瞳孔座標,也就是虹膜中心座標。曈孔分析模組 並將該曈孔座標與預先決定的基準比對,該基準可以是一 上方線與一下方線,也可以是Γ瞳孔到上限的距離」與「 瞳孔到下限的距離」的比值,得到一代表視線偏上或視線 偏下訊息之瞳孔位置資訊。 才曰令產生單元依據該瞳孔位置資訊,對一連接該顯示 幕之電腦下達使該電子文件翻動的控制指令;當該瞳孔位 置資訊代表視線偏上的訊息,該控制指令為使電子文件翻 上一頁,當該曈孔位置資訊代表視線偏下的訊息,該控制 指令為使電子文件翻下一頁。 本發明之功效在於:利用影像擷取及分析之方式,提 供使用者輕鬆操作瀏覽畫面的輔助工具,使用者可在瀏覽 顯示幕所顯示之電子文件的過程中,自然且準確地控制電 子文件上移、下移,或翻下一頁、上一頁,使欲瀏覽的内 容出現在螢幕中央。 【實施方式】 有關本發明之前述及其他技術内容、特點與功效,在 以下配合參考圖式之一個較佳實施例的詳細說明中,將可 清楚的呈現。 參閱圖1與圖2,本發明配合眼球控制電子文件翻動之 方法之較佳實施例,是利用一配合眼球控制電子文件翻動 201005651 之系統100實現,使用者可藉由本發明,以自然的眼球移 動方式控制電子文件上移、下移’或翻下一頁、上一頁, 使欲瀏覽的内容出現在勞幕中央。 該系統100的較佳實施例包含相互連接之一影像擷取 裝置2、一曈孔分析模組3,及一指令產生模組4。其中, 影像擷取裝置2可以是該電腦5内建或連接電腦5的網路 攝影機(Webcam) ’瞳孔分析模組3與指令產生模組4在本 實施例是安裝於電腦5中執行演算。 為使曈孔分析模組3更有效率地找出瞳孔位置,該系〇 統100還可更包含一紅外線投光器6 ^本發明配合眼球控制 電子文件翻動之方法的較佳實施例,整體而言包含以下步 驟: 步驟S!—預先在該使用者所配戴的鏡框上標設三個特 徵點10a、10b、l〇c (圖3)。當然,特徵點的標設方式不以 本實施例為限’也可以是以該使用者臉部五官(例如眉毛 兩端以及同側嘴角)定為特徵點。特徵點的位置須在眼球 附近,且為了後續演算方便,本實施例的三個特徵點i〇a、 Q 10b、10c連接所界定的範圍,應將使用者的眼球涵蓋在内 。當然’特徵點的數量不以本實施例為限,也可以是單— 、二個,或三個以上,以下所述的擷取分析區塊的規則也 就對應改變’不應以本實施例為限。為使後續步驟S4中得 以找出該特徵點’本步驟需預先儲存特徵點影像。 步驟S2—使紅外線投光器6對該使用者照射。在此須 說明的是’利用紅外線投光器6照射,使用者不會有感覺 201005651 ,且由於眼球的瞳孔與虹膜對於紅外線的反射程度不同, 因此在後續步驟,對該使用者擷取的影像中,瞳孔位置可 被清楚地辨識出。值得一提的是,該步驟h在本發明並非 必要步驟,本發明也可以直接找出虹膜中心點定義為瞳孔 中心,不一定要確實找出瞳孔。此外,只要取像時光線充 足或取得的影像夠清楚,不使用紅外線投光器6也可找出 辨識出影像中的瞳孔。 步驟S3 —使影像擷取裝置2對該使用者擷取影像,得 到一如圖3所示的影像資訊u。本步驟所擷取之影像包含 前述特徵點l〇a、l〇b、i〇c。 接下來的步驟S4〜S7及步驟S10,皆由曈孔分析模組3 執行,該瞳孔分析模組3包括相連接之一標定單元31、一 一值化單元32、一校正單元33,及一比對單元34,其功能 在下文中將有詳細說明。 步驟S4—標定單元31接收來自影像擷取裝置2的影像 資訊,以特徵匹配(patent match )的方式在影像中尋找最 接近預設之特徵點的形狀的部分,得出該特徵點l〇a、 、10c的座標,並如圖4所示地框選包含該等特徵點1〇a、 10b、l〇c中心點的最小矩形’設定為該分析區塊a ^本發 明擷取分析區塊12的用意在於縮小計算範圍,藉此縮短運 算量及時間,至於擷取分析區塊12的方式不以上述為限, 可以作其他設定,例如也可以只標定一特徵點(例如眉心 或眉毛的一端),本步驟找出特徵點之後直接以該特徵點作 為一預設尺寸之分析區塊12的一端點。此外,本步驟找出 201005651 特徵點的方式不以尋找相似形狀為限,也可以利用現有技 術中任何找點的方式進行,例如限制條件可以是顏色、亮 度等。 步驟Ss一二值化單元32對該分析區塊12進行二值化 (thresholding,又稱灰度分劃)處理,使影像中灰度大於 預設灰度值的部分’調整為黑色;影像中灰度小於預設灰 度值的部分,調整為白色而得到如圖4所示的效果,藉此 找出瞳孔座標e(X,y)。本步驟用意在於清楚區分出背景及主 體,且藉由控制灰度值,可控制得到「主體」為「曈孔」❹ 或「虹膜」’且前述黑或白的設定也可相反。 步驟S6—校正單元33進行座標校正,本實施例是利用 座標系統轉換的方式使分析區塊12上特徵點"a、1⑽、 l〇c之座標,轉換為一預設之標準區塊(圖未示)上特徵點 的座標,曈孔座標e(X,y)因此隨之經座標轉換而得到校正後 曈孔座標e’(x,,y’),藉此排除因使用者頭部左右側移、旋轉 、移遠或靠近螢幕對瞳孔座標位置的影響。本實施例是以 仿射轉換(affine transformation)技術進行座標系統轉換,© 但不以此為限。 步驟S7—比對單元34將校正後的瞳孔座標e,(x’,y,)與 預先決定的基準比對,得到一代表視線偏上或視線偏下訊 息之瞳孔位置資訊13並傳遞至指令產生模組4。在本實施 例之比對單元34利用「絕對位置」作為比對基準,該基準 是利用下述方式決定:第一次使用時,在顯示幕的上、中 、下位置依序顯示亮點’供使用者注視,並分別藉步驟s3〜 10 201005651 步驟ss叶算代表注視上、令、下位置的瞳孔座標,接著定 義出一縱向線段,將該縱向線段作三等分(當然,也可以 乍八他仅疋不疋要等分),而如圖5所示地決定出上方 線(y=u)以及下方線(y=v)。 本步驟判斯校正後瞳孔座標e,(x,,y,)是否高於y=u, 若是,則代表視線偏上,進行步驟S8;若否,則進行步驟 Sl〇,判斷曈孔座標e,(x’,y,)是否低於y=v。須注意的是 Φ ,判斷瞳孔座標是否大於y=u」與「判斷曈孔座標是否小 於y-v」的步驟順序不以本實施例為限可以對調,也就是 先判斷視線是否偏下,若否,再判斷視線是否偏上。 除了本實施例所採方式之外,比對單元34也可以是利 用相對位置」作為比對基準,該基準的訂定方式,可如 圖6所示,同樣第一次使用時,在顯示幕的上、中、下位 置依序顯示亮點,供使用者注視,並分別藉步驟&〜步驟& 計算代表注視上、中、下位置a、b、e的瞳孔座標接著定 ❹ 義位置a、b的距離為Dl,位置b、e的距離為!)2,以其比 值(Dl/D2)作為基準。當後來量測及校正後的瞳孔座標與 位置a、c之距離Di、A改變,也就是比值改變超過 預設門檀值,定義為視線偏上或偏下。此外,也可訂其中 至少-特徵點l〇a、10b、10c的座標進一步計算基準。舉例 來說,如圓7所示’當「瞳孔座標e,與特徵點i〇a、⑽的 連線的距離Dl」與「瞳孔座標e,與特徵點他的距離仏」 的比值(擊2),小於一門檀值,則得到代表視線偏上的瞳 孔位置資訊13;當「瞳孔座標e’與特徵點1〇&、⑽的連線 11 201005651 的距離D]」與「瞳孔座標e,與特徵點他的距離&的比 值D"D2大於一門檻值,則得到代表視線偏下的瞳孔位置資 訊13。 步驟S8-指令產生模組4包括—計時器(也就是計次 器,圖未示),在本步驟判斷指令產生模組4是否持續接收 視線偏上的曈孔位置資訊13超過—預定時間長度(例如2 秒鐘)’若是,則接績進行步驟Sr若否,則計時器歸零, 回到步驟S3繼續處理下一張影像。 步驟S,—指令產生模組4依據持續且相同的瞳孔位置 資訊13對電腦5下達使電子文件翻動的控制指令】由於 上-步驟所接收之曈孔位置資訊13代表視線偏上,因此本 步驟所下達的控制指令14為使電子文件翻上一頁。在本實 施例’控制指令14使電子文件翻上一頁是指相當於利用鍵 盤下達「page up」的指令。當然,控制指令14控制電子文 件移動的程度不以本實施例為限,可另作設定。
右步驟S7判斷結果為否,接著由步驟“判斷睹孔 標 e’( X’ ν’、θ -a- )疋否小於y=v的座標門檻,若是則代表視 下’接下來進行步驟Sn、Si2如下;若否,則對該次取 的影像結束演算,回到步驟s3。 步驟Su—指令產生模組4的計時器在本步驟判斷指令 一生:組4是否持續接收視線偏下的瞳孔位置資訊13超過 預:時間長度(例如2秒鐘),若是,則接續進行步驟 、否則回到步驟S3繼續處理下一張影像。 ,驟S〗2指令產生模組4依據瞳孔位置資訊13對電 12 201005651 , 腦5下達使電子文件翻動的控制指令14。由於上一步驟所 接收之曈孔位置資訊13代表視線偏下,因此本步驟所下達 的控制指令14為使電子文件翻下一胃,且在本實施例,控 制指令14使電子文件翻下一頁是相當於利用鍵盤下達= page down」的指令。 歸納上述,本發明可準確判斷使用者瞳孔位置,進而 利用曈孔位置變化作為下達控制指令的依據;藉此,使用 者無須改變閱覽電子文件的習慣,當使用者閱覽到頁面下 ® 方超過一預定時間,本發明系統100將使電子文件自動上 移或翻下-頁,反之亦然。因此,尤其對手部傷殘或控制 手部肌肉有障礙的使用者而言,實為辅助其瀏覽電子文件 有用工具,確實可達到本發明之目的。 惟以上所述者,僅為本發明之較佳實施例而已,當不 能以此限定本發明實施之範圍,即大凡依本發明申請專利 範圍及發明說明内容所作之簡單的等效變化與修飾,皆仍 屬本發明專利涵蓋之範圍内。 ® 【圖式簡單說明】 圖1是一系統方塊圖,說明本發明配合眼球控制電子 文件翻動之系統的較佳實施例; 圖2是一流程圖,說明本發明配合眼球控制電子文件 翻動之方法的執行步驟; 圖3是一由影像擷取裝置所擷取的影像示意圖; 圖4是一由標定單元擷取出的分析區塊,並經二值化 單元處理後的結果; 13 201005651 圖5是一表示上方線及下方線位置的示意圖; 圖6是一表示注視上、中、下位置a、b、c的示意圖; 及 圖7是一表示利用特徵點計算基準的示意圖。
14 201005651 【主要元件符號說明】 100… •…配合眼球控制電 32..· ……二值化單元 子文件翻動之系統 33··· ……校正單元 11 ·.··. 34··· ……比對單元 12…… …·分析區塊 4 .... ......指令產生模組 13…… •…瞳孔位置資訊 5 ···· ……電腦 14…… •…控制指令 6 .·_· ……紅外線投光器 2 ....... …·影像擷取裝置 S 1〜S 12…步驟 3 ....... …瞳孔分析模組 10a ' 10b、10c特徵點 31…… …標定單元 15

Claims (1)

  1. 201005651 十、申請專利範圍: 1. 一種配合眼球控制電子文件翻動之方法,包含以下步驟 (A)對一正在瀏覽一顯示幕中的電子文件的使用 者擷取一包含該使用者之眼球的影像; (B )由該影像分析計算出一曈孔座標; (C) 將該瞳孔座標與預先決定的基準比對得到 一代表視線偏上或視線偏下訊息之瞳孔位置資訊;及 (D) 依據該瞳孔位置資訊,對一連接該顯示幕之 纛 電腦下達使該電子文件翻動的控制指令;#該曈孔位置 資訊代表視線偏上的訊息,該控制指令為使電子文件翻 上一頁,當該曈孔位置資訊代表視線偏下的訊息,該控 制指令為使電子文件翻下一頁。 2. 依據申請專利範圍第丨項所述之配合眼球控制電子文件 翻動之方法’更包含__預先在該使用者之眼球附近決定 至少一特徵點的步驟,且在該步驟(B )得出該特徵點 的座標,該步驟(B)還依據該等特徵點的座標利用座 ❿ 標系統轉換技術使該特徵點之座標轉換為一標準座標, 該瞳孔座標隨之獲得校正。 3. 依據申請專利範圍第2項所述之配合眼球控制電子文件 翻動之方法,其中’該步驟⑻還依據該特徵點在該 影像擷取一分析區塊,該分析區塊範圍涵蓋該使用者的 瞳孔或虹膜。 4·依據申請專利範圍第2項所述之配合眼球控制電子文件 16 201005651 翻動之方法’其中,該步驟(B)是以仿射轉換技術進 行座標系統轉換。 5.依據申請專利範圍第丨〜4項中任一項所述之配合眼球控 制電子文件翻動之方法,其中,該步驟(B )還對影像 進行二值化處理以找出一主體,該主體即瞳孔或虹膜, 並以該主體中心作為該曈孔座標。 6·依據申請專利範圍第5項所述之配合眼球控制電子文件 翻動之方法,其中,該步驟(A)還對該使用者以紅外 ® 線投光器照射。 7 ·依據申請專利範圍第2項所述之配合眼球控制電子文件 翻動之方法’更包含一步驟(A)之前的前置步驟(p) ’在一供該使用者配戴的鏡框上標設該特徵點,並儲存 該特徵點影像;該步驟(A )所擷取之影像包含該特徵 點。 8.依據申請專利範圍第2項所述之配合眼球控制電子文件 φ 翻動之方法,更包含一步驟(A)之前的前置步驟(p) ,儲存該使用者臉部五官至少一特徵影像,本方法以該 被储存的五官特徵作為該特徵點。 9·依據申請專利範圍第7或8項所述之配合眼球控制電子 文件翻動之方法,其中,該步驟(B)是以特徵匹配的 方式在該影像中尋找最接近預設之特徵點的部分。 10.依據申請專利範圍第9項所述之配合眼球控制電子文件 翻動之方法,其中,該步驟(B)是標定三個以上特徵 點’且該曈孔位於該等特徵點相連所界定的範圍内;本 17 201005651 步驟還框選包含該等被尋找到的特徵點的最小矩形,設 定為一分析區塊。 U.依據申請專利範圍第1〜4項中任一項所述之配合眼球控 制電子文件翻動之方法,其中,該步驟(C)之基準是 利用下述方式決定:第一次使用時,在該顯示幕的上、 中、下位置依序顯示亮點,供使用者注視並分別藉步 驟(A)擷取影像、步驟(B)計算使用者注視顯示幕上 中、下位置時的曈孔座標,決定出代表視線偏上的上 方線以及代表視線偏下的下方線作為座標門檻。 ❹ 依據申請專利範圍第項中任一項所述之配合眼球控 制電子文件翻動之方法,其中,該步驟(c)之基準, 疋「該曈孔座標與一上方基準的距離」與「該曈孔座標 與一下方基準的距離」的比值;該上方基準與下方基準 由第一次使用時設定或由至少一預先標定的特徵點所決 定;當該比值小於-門檀值,則得到代表視線偏上的瞳 孔位置資訊;當該比值大於一門襤值,則得到代表視線 偏下的瞳孔位置資訊。 ❹ 13. 依據申請專利範圍第卜4項中任一項所述之配合眼球控 制電子文件翻動之方法,其中,該步驟(A)〜(c)= 持續的遞迴運算,當持續出現同一種瞳孔位置資訊且超 過一預定時間長度,才進入步驟(D)。 14. 一種配合眼球控制電子文件翻動之系統,包含: 一影像操取裝置,供對一正在潘】覽一顯示幕中的電 子文件的使用者擷取一包含該使用者之眼球的影像; 18 201005651 一瞳孔分析模組,與該影像棟取裝置連接,用以接 收來自該影像擁取裝置的影像資訊,並計算出—瞳孔座 標,進而將該瞳孔座標與預先決定#基準比對,得到一 代表視線偏上或視線偏下訊息之曈孔位置資訊;及 才曰7產生模組,與該瞳孔分析模組連接用以依 據該曈孔位置資訊,對一連接該顯示幕之電腦下達使該 電子文件翻動的控制指令;當該瞳孔位置資訊代表視線 偏上的訊息’該控制指令為使電子文件翻上一頁,當該 ® 瞳孔位置資訊代表視線偏下的訊息,該控制指令為使電 子文件翻下一頁。 15. 依據申請專利範圍第14項所述之配合眼球控制電子文件 翻動之系統’其中,該瞳孔分析模組包括一用以從該影 像中找出至少一在該使用者之眼球附近之特徵點並求得 其座標的標定單元’以及一校正單元,該校正單元利用 座標系統轉換的方式使該特徵點之座標轉換為一標準座 標,該瞳孔座標隨之獲得校正。 參 16. 依據申請專利範圍第丨5項所述之配合眼球控制電子文件 翻動之系統,其中,該標定單元還依據該特徵點在該影 像擷取一分析區塊,該分析區塊範圍涵蓋該使用者的瞳 孔或虹膜。 17·依據申請專利範圍第丨5項所述之配合眼球控制電子文件 翻動之系統,其中,該校正單元是以仿射轉換技術進行 座標系統轉換。 18.依據申請專利範圍第14〜17項中任一項所述之配合眼球 19 201005651 控制電子文件翻動之系統,其中,該瞳孔分析模組更包 括一二值化單元,用以進行二值化處理以找出一主體, 該主體即瞳孔或虹膜,該二值化單元並計算該主體中心 作為該瞳孔座標。 19. 依據申請專利範圍第18項所述之配合眼球控制電子文件 翻動之系統’更包含-用以對該使用者照射紅外線的紅 外線投光器。 20. 依據申請專利範圍第16項所述之配合眼球控制電子文件 翻動之系統,其中,該瞠孔分析模組包括_用以從該影 Q 像中找出至少一特徵點的標定單元,該標定單元預先儲 存該特徵點影像;該影像擷取裝置所擷取之影像包含該 特徵點。 21·依據申請專利範圍帛2〇項所述之配合眼球控制冑子文件 翻動之系統,其中,該標定單元是以特徵匹配的方式在 該影像中尋找最接近預設之特徵點的形狀的部分 22·依據申請專利範圍第21項所述之配合眼球控制電子文件 翻動之系統,其中,該標定單元是找出三個以上特徵點❹ ,並框選包含該等被找到的特徵點的最小矩形,設定為 一分析區塊。 23·依據申請專利範圍第14〜17項中任一項所述之配合眼球 控制電子文件翻動之系統,其中’該瞳孔分析模組還包 括-比對單元,該比對單元預設該基準且該基準是利 用下述方式決n —次使㈣,在該顯示幕的上、中 、下位置依序顯示亮點,供使用者注視,並分別擷取影 20 201005651 · • I、計算曈孔座標’決定出代表視線偏上的 上方線以及 代表視線偏下的下方線作為座標門檻。 .依據申請專利範圍帛14〜17項中任—項所述之配合眼球 控制電子文件翻動之系統,其中’該瞳孔分析模組還包 括一比對單元,該比對單元預設該基準為「該曈孔座標 與上方基準的距離」與「該瞳孔座標與一下方基準的 距離」❾比值;該上方基準與下方基準由第一次使用時 ❹ 設定或由至少一預先標定的特徵點所決定;當該比值小 於一門檻值,則得到代表視線偏上的曈孔位置資訊;當 該比值大於一門檻值,則得到代表視線偏下的曈孔位置 資訊。 25.依據申請專利範圍第14〜17項中任一項所述之配合眼球 控制電子文件翻動之系統,其中,該指令產生模組包括 一计時器,當該指令產生模組持續接收同一種曈孔位置 資訊超過一預定時間長度,才產生對應該瞳孔位置資訊 ©的控制指令。 26·—種判斷瞳孔位置之方法,包含以下步驟: 在一使用者之眼球附近預先標定至少一特徵點,該 特徵點與瞳孔的相對距離會隨為瞳孔移動而改變; 對該使用者擷取一包含該特徵點及該使用者之瞳孔 或虹膜的影像; 計算得到至少一特徵點座標及一曈孔座標;及 利用座標系統轉換的方式使該分析區塊上的特徵點 座標,轉換為一標準座標,曈孔座標隨之轉換而獲得校 21 I 201005651 . 正。 27.依據申請專利範圍第26項所述之判斷瞳孔位置之方法, 其中所述特徵點的數量為至少三,該使用者之曈孔位 於由該等特徵點相連接所界定之範圍内,且定義包含該 等特徵點的最小矩形為一該分析區塊。 28·依據申請專利範圍第27項所述之判斷瞳孔位置之方法, 其中,該特徵點是藉由特徵匹配的方式在該分析區塊中 被尋找出。 29. 依據申凊專利範圍第26項所述之判斷曈孔位置之方法,❹ 更包含對該影像進行二值化處理的步驟,藉此找出一主 體,該主體即該瞳孔或虹膜,並計算出該主體中心作為 該曈孔座標。 30. 依據申請專利範圍第29項所述之判斷瞳孔位置之方法, 其中,所擷取的使用者的影像,該使用者經紅外線投光 器照射。 依據申清專利範圍第26〜30中任一項所述之判斷曈孔位 置之方法,該瞳孔座標與一基準比對,得到一代表視線 ❹ 偏上或視線偏下訊息之瞳孔位置資訊;該基準是利用下 述方式決定:第一次使用時,在該顯示幕的上、中、下 位置依序顯示亮點,供使用者注視,並分別藉擷取影像 、计算使用者注視顯示幕上、中、下位置時的曈孔座標 ,決定出代表視線偏上的上方線以及代表視線偏下的下 方線作為座標門檻。 32·依據申請專利範圍第26〜3〇中任一項所述之判斷瞳孔位 22 201005651 置之方法’該瞳孔座標還與—基準比對;該基準是「該 里子座標肖上方基準的距離」與「該瞳孔座標與一下 方基準的距離」的比值;該上方基準與下方基準由第一 次使用時設定或由該特徵點所決定;當該比值小於一門 檻值貝,】传到代表視線偏上的瞳孔位置資訊;當該比值 大於π播值,則得到代表視線偏下的瞳孔位置資訊。 33.-種曈孔^析模組,接收—影像並包括: ° ❿ 接方箱Ϊ疋單^,以特徵匹配的方式在該影像中尋找最 接近預设之特徵& 行徵點的。(W刀,找出至少_在該使用者之 球附近之特徵點,並得到特徵點座標; -值化單兀’用以進行二值化處理而找出— ’該主體即該曈孔或虹膜, 孔座標4 並4算該主體中心作為該曈 之庙;單^ ’利用座標系統轉換的方式使該特徵點 標準座標’前述瞳孔座標一 _ 34.依據申請專利範圍第33項所述之瞳孔分析模組,更包括 -比對:元’將該經校正的瞳孔座標與預先決定的基準 比對侍到《表視線偏上或視線偏下訊息之 資訊。 〜丨见置 35·依據申請專利範園坌 J靶圍第34項所述之瞳孔分析模組,其 該比對單元所決定的基準是「㈣孔座標與—上方基準 的距離」與「該瞳孔座標與-下方基準的距離」的比值 ;該上方基準與下方基準由第—次使科設定或由至^ 23 20100565] 一預先標定的特徵點所決定;當該比值小於一門檻值, 則得到代表視線偏上的瞳孔位置資訊;當該比值大於一 門權值’則得到代表視線偏下的瞳孔位置資訊。 36.依據申請專利範圍第34項所述之瞳孔分析模組,其中, 該比對單元預設該基準,且該基準是利用下述方式決定 :第-次使用時,在該顯示幕的上、中、下位置依序顯 示亮點,供使用者注視,並分別計算當時曈孔座標,、 而決定出代表視線偏上的上方線以及代表視線偏 方線作為座標門檻。 @ T
    24
TW97128106A 2008-07-24 2008-07-24 Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module TW201005651A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW97128106A TW201005651A (en) 2008-07-24 2008-07-24 Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW97128106A TW201005651A (en) 2008-07-24 2008-07-24 Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module

Publications (2)

Publication Number Publication Date
TW201005651A true TW201005651A (en) 2010-02-01
TWI362005B TWI362005B (zh) 2012-04-11

Family

ID=44826389

Family Applications (1)

Application Number Title Priority Date Filing Date
TW97128106A TW201005651A (en) 2008-07-24 2008-07-24 Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module

Country Status (1)

Country Link
TW (1) TW201005651A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
CN103631364A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种控制方法及电子设备
CN104205009A (zh) * 2012-03-23 2014-12-10 奥迪股份公司 用于操作机动车操作装置的方法
TWI473934B (zh) * 2012-11-30 2015-02-21 Utechzone Co Ltd A method for inputting a password and a safe for using the eye movement password input method
CN104765442A (zh) * 2014-01-08 2015-07-08 腾讯科技(深圳)有限公司 自动浏览方法及自动浏览装置
TWI505195B (zh) * 2012-03-15 2015-10-21 O2Micro Int Ltd 眼球關注點確定方法、裝置和系統
US9232186B2 (en) 2013-05-30 2016-01-05 Hon Hai Precision Industry Co., Ltd. Video terminal device and method of detecting direction of gaze
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技(宁波)有限公司 界面切换方法、装置、存储介质和终端
CN114615394A (zh) * 2022-03-07 2022-06-10 云知声智能科技股份有限公司 一种提词方法、装置、电子设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI509463B (zh) 2013-06-03 2015-11-21 Utechzone Co Ltd 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
TWI505195B (zh) * 2012-03-15 2015-10-21 O2Micro Int Ltd 眼球關注點確定方法、裝置和系統
CN104205009A (zh) * 2012-03-23 2014-12-10 奥迪股份公司 用于操作机动车操作装置的方法
CN104205009B (zh) * 2012-03-23 2017-09-01 奥迪股份公司 用于操作机动车操作装置的方法
CN103631364A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种控制方法及电子设备
CN103631364B (zh) * 2012-08-20 2017-06-27 联想(北京)有限公司 一种控制方法及电子设备
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法
TWI473934B (zh) * 2012-11-30 2015-02-21 Utechzone Co Ltd A method for inputting a password and a safe for using the eye movement password input method
US9232186B2 (en) 2013-05-30 2016-01-05 Hon Hai Precision Industry Co., Ltd. Video terminal device and method of detecting direction of gaze
CN104765442A (zh) * 2014-01-08 2015-07-08 腾讯科技(深圳)有限公司 自动浏览方法及自动浏览装置
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技(宁波)有限公司 界面切换方法、装置、存储介质和终端
CN114615394A (zh) * 2022-03-07 2022-06-10 云知声智能科技股份有限公司 一种提词方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI362005B (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
TW201005651A (en) Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module
CN105045398B (zh) 一种基于手势识别的虚拟现实交互设备
EP3462376B1 (en) Body information analysis apparatus and method of auxiliary comparison of eyebrow shapes thereof
EP2352112B1 (en) Remote control system for electronic device and remote control method thereof
JP6568606B2 (ja) 身体情報分析装置およびそのアイシャドウの分析方法
CN105045399B (zh) 一种具有3d摄像组件的电子设备
US10528796B2 (en) Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof
US20140275948A1 (en) Information terminal device
CN105302295B (zh) 一种具有3d摄像组件的虚拟现实交互设备
JP2015084221A (ja) 電子文書にマーキングするための方法および装置
Al-Kassim et al. Designing a low-cost eyeball tracking keyboard for paralyzed people
CN104898971B (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN105046249B (zh) 一种人机交互方法
US20220405946A1 (en) Inferring user pose using optical data
KR20070043469A (ko) 장애인을 위한 마우스 동작 인식 시스템
CN113989832A (zh) 姿势识别方法、装置、终端设备及存储介质
CN112089589B (zh) 一种颈部按摩仪的控制方法、颈部按摩仪及存储介质
JP2000172163A (ja) 手動作分節方法および装置
JPH0648458B2 (ja) 情報入力装置
KR101501165B1 (ko) 눈동자 추적을 이용한 안구 마우스
JP2000276577A (ja) 画像感応型イベント発生装置
CN101446859B (zh) 一种基于机器视觉的输入方法及其系统
TW201401187A (zh) 指尖偵測虛擬觸控之方法及其系統
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
KR100891558B1 (ko) 노터치 마우스 동작 방법