TWI362005B - - Google Patents

Description

1362005 九、發明說明： 【發明所屬之技術領域】 本發明是有關於一種控制電子文件翻動之方法，特別 是指一種配合眼球控制電子文件翻動之方法及系統。 【先前技術】 -般來說’電腦使用者都是㈣鍵盤、滑鼠或觸控板 等輸入裝置來控制t子文件往上移動、往下移動或直接 下一頁或上—頁，則更潘】覽。但對於手部傷殘或對於控制 手部肌肉有障礙的使用者而言，並無法操作前述輸入裝置 ’也就無法順利劉覽電子文件。 為解決上述問題，近年來在輔具發展技術上，有中華 民國第94mm號發明專财請案「以眼電訊號控制之人 機介面裝置」’是利用在使用者臉部裝設電極的方式，讓電 極量測眼球的運動，產生控制訊號對滑鼠進行驅動，該滑 鼠進而對電腦游標進行控制。 此外，還有中華民國第92122827號發明專利申請案厂 以頭部轉動和眼球運動控制電腦游標方法」，其利用攝影機 操取臉部影像，進而確認臉部區域並找出嘴以及眼球位置 ，最後利用兩眼球中心以及嘴中心所形成之三角形之重心 相對臉部區域質心'之相對位移’決定滑鼠移動之方向。 然而實際上，利用臉部或眼部運動對電腦發出控制訊 號的技術雖多，標榜的功能雖強，但能做到真正準=者卻 寥寥無幾。與其提供多種控制功能但需投入大量校正工作 ，不如針對使用者經常需要使用之功能，提供效率高且準 5 1362005 確的輔助。 以使用者經常需要使用之功能—瀏覽電子文件來說， 以往使用者瀏覽電子文件時，若頁面保持不動，使用者讀 到頁面下半部時，會利用滑鼠或鍵盤輸入操作指令，讓電 子文件往上移動或翻下一頁；當使用者想往前劉覽，則會 利用滑鼠或鍵盤輸入操作指令，讓電子文件往下移動或翻 上頁。目則尚未有針對手部傷殘或控制手部肌肉有障礙 的使用者開發之輔助瀏覽電子文件的技術或辅具，實有朝 這方面技術研究發展之必要。 · 【發明内容】 本發明之目的，即在提供一種配合眼球控制電子文件 翻動之方法及系統，透過此系統’使用者可利用其眼球方 便且準確地控制電子文件翻下一頁、上一頁，使其欲劉覽 的内容可保持位於顯示畫面的中央。 本發明之另一目的，在於提供一種快速判斷瞳孔位置 的方法及模組。 A於7C本發明配合眼球控制電子文件翻動之系統是包籲 3供對正在劇覽一顯示幕中的電子文件的使用者操取 一包含該使用者之眼球的影像的影像摘取裝置、一與該影 絲取裝置連接且用以計算出瞳孔座標及得到一代表視線 偏上或視線偏下訊息之曈孔位置資訊的瞳孔分析模組，及 一與該瞳孔分析模組連接且依據該瞳孔位置資訊下達使電 子文件翻動的控制指令的指令產生模組。該系統執行配合 眼球控制電子文件翻動之方法步驟如下： 1362005 影像擷取裝置對一正在瀏覽一顯示幕中的電子文件的 使用者擷取一包含該使用者之眼球的影像。 瞳孔分析模組由該影像擷取一分析區塊，並從中分析 計算出一曈孔座標，也就是虹膜中心座標。瞳孔分析模組 並將該瞳孔座標與預先決定的基準比對，該基準可以是一 上方線與一下方線，也可以是「瞳孔到上限的距離」與「 瞳孔到下限的距離」的比值，得到一代表視線偏上或視線 偏下sfl息之瞳孔位置資訊。 指令產生單元依據該瞳孔位置資訊，對一連接該顯示 幕之電腦下達使該電子文件翻動的控制指令；當該瞳孔位 置資訊代表視線偏上的訊息，該控制指令為使電子文件翻 上一頁’當該瞳孔位置資訊代表視線偏下的訊息，該控制 指令為使電子文件翻下一頁。 本發明之功效在於：利用影像擷取及分析之方式，提 供使用者輕鬆操作瀏覽晝面的辅助工具，使用者可在瀏覽 顯不幕所顯示之電子文件的過程十，自然且準確地控制電 子文件上移 '下移，或翻下一頁、上一頁，使欲瀏覽的内 容出現在螢幕中央。 【實施方式】 有關本發明之前述及其他技術内容、特點與功效，在 以下配合參考圖式之一個較佳實施例的詳細說明中，將可 清楚的呈現。 參閱圖1與圖2 ’本發明配合眼球控制電子文件翻動之 方法之較佳實施例，是利用一配合眼球控制電子文件翻動 7 1362005 之系統100貫現，使用者可藉由本發明以自然的眼球移 動方式控制電子文件上移、下移，或翻下一頁、上一頁， 使欲瀏覽的内容出現在螢幕中央。 該系統100的較佳實施例包含相互連接之一影像擷取 裝置2、一曈孔分析模組3，及一指令產生模組4 ^其中， 影像揭取裝置2可以是該電腦5内建或連接電腦5的網路 攝影機（Webcam)’冑孔分析模組3與指令產生模组4在本 實施例是安裝於電腦5中執行演算。 為使瞳孔分析模組3更有效率地找出瞳孔位置，該系 統100還可更包含一紅外線投光器6。本發明配合眼球控制 電子文件翻動之方法的較佳實施例，整體而言包含以下步 驟： 步驟S!—預先在該使用者所配戴的鏡框上標設三個特 徵點10a、1 〇b、i〇c (圖3 )。當然，特徵點的標設方式不以 本實施例為限，也可以是以該使用者臉部五官（例如眉毛 兩端以及同側嘴角）定為特徵點。特徵點的位置須在眼球 附近，且為了後續演算方便，本實施例的三個特徵點1〇&、 l〇b 1 〇c連接所界定的範圍’應將使用者的眼球涵蓋在内 。當然，特徵點的數量不以本實施例為限，也可以是單一 、二個，或三個以上，以下所述的擷取分析區塊的規則也 就對應改變，不應以本實施例為限。為使後續步驟S4中得 以找出該特徵點’本步驟需預先儲存特徵點影像。 步驟S2—使紅外線投光器6對該使用者照射。在此須 說明的是，利用紅外線投光器6照射，使用者不會有感覺 8 ’且由於眼球的曈孔與虹膜對於紅外線的反射程度不同， 此在後續步螺’對該使用者操取的影像中，瞳孔位置可 被'月楚地辨識出。值得一提的是，該步驟s2在本發明並非 必要步驟’本發明也可以直接找出虹膜中心點定義為瞳孔 中’^，不一定要確實找出瞳孔。此外，只要取像時光線充 足或取得的影像夠清楚，不使用紅外線投光器6也可找出 辨識出影像中的瞳孔。 步驟使影像操取裝置2對該使用者擷取影像，得 到一如圖3所示的影像資訊u。本步驟所擷取之影像包含 前述特徵點l〇a、10b、10c。 接下來的步驟S4〜S?及步驟s]〇，皆由瞳孔分析模組3 執仃，該瞳孔分析模組3包括相連接之一標定單元31、一 一值化單元32、一校正單元33，及一比對單元34，其功能 在下文中將有詳細說明。 步驟S4—標定單元31接收來自影像擷取裝置2的影像 資訊，以特徵匹配（patent match)的方式在影像中尋找最 接近預設之特徵點的形狀的部分，得出該特徵點i〇a、⑺匕 、i〇c的座標，並如圖4所示地框選包含該等特徵點心、 l〇b、l〇c中心點的最小矩形，設定為該分析區塊a。本發 明操取分析區塊12的用意在於縮小計算範圍，藉此縮短運 算量及時間，至於擷取分析區塊12的方式不以上述為限， 可以作其他設定，例如也可以只標定一特徵點（例如眉心 或眉毛的一端）’本步驟找出特徵點之後直接以該特徵點作 為-預設尺寸之分析區塊12的—端點。此外，本步驟找出 1362005 似形狀為限，也可以利用現有技 ，例如限制條件可以是顏色、亮 特徵點的方式不以尋找相 術中任何找點的方式進行 度等。 V驟S5-—值化單元32對該分析區塊12進行二值化 (threSh〇ldmg，又稱灰度分劃）處理，使影像中灰度大於 預設灰度值的部分’調整為黑色；影像中灰度小於預設灰 度值的部分’調整為白色而得到如圖4所示的效果，藉此 找出瞳孔座標e(x，y)e本步驟用意在於清楚區分出背景及主 體’且藉由控制灰度值，可控制得到「主體」為「瞳孔」 或「虹膜」，且前述黑或白的設定也可相反。 步驟S6-校正單元33進行座標校正，本實施例是利用 座標系統轉換的方式使分析區塊12上特徵點1Ga l0b、 10c之座標，轉換為一預設之標準區塊（圖未示）上特徵點 的座標，瞳孔座標e(x，y)因此隨之經座標轉換而得到校正後 瞳孔座標e’(x’，y’），藉此排除因使用者頭部左右側移、旋轉 、移遠或靠近螢幕對瞳孔座標位置的影響。本實施例是以 仿射轉換（afflne transf〇rmati〇n)技術進行座標系統轉換， 但不以此為限。 步驟S?—比對單元34將校正後的瞳孔座標e，（x，，y，）與 預先決定的基準比對，得到一代表視線偏上或視線偏下訊 息之瞳孔位置資訊13並傳遞至指令產生模組4。在本實施 例之比對單元34利用「絕對位置」作為比對基準，該基準 是利用下述方式決定：第一次使用時，在顯示幕的上、中 、下位置依序顯示壳點，供使用者注視，並分別藉步驟h〜 10 = 計算代表注視上、中下位置的瞳孔座標接著定 縱向線段’將該縱向線段作三等分（當然，也可以 作其他設定，不一定I笙八 括, 疋罟等刀），而如圖5所示地決定出上方 線（y=u)以及下方線（y=v)。 …本步驟校正後瞳孔座標e，（x，，y，）是以於y_ 右疋1代表視線偏上，進行步驟％;若否，則進行步驟 ，「j斷曈孔座標e (X’，y’）是否低於y=V。須注意的是 1斷曈孔座標疋否A於y=u」與「判斷瞳孔座標是否小 ^巧」的步驟順序不以本實施例為限，可以對調，也就是 先判斷視線是否偏下，若否，再判斷視線是否偏上。 除了本實施例所採方式之外，比對單元34也可以是利 用「相對位置」作為比對基準，該基準的訂定方式，可如 圖6所示，同樣第一次使用時，在顯示幕的上、中、下位 序顯示亮點’供❹者注視，並分別藉步驟S3〜步驟s5 十算代表j視上、中、下位置a、b、e的暗孔座標接著定 義位置a、b的距離為Dl，位置卜c的距離為&，以其比 值（D】/D2)作為基準。當後來量測及校正後的瞳孔座標與 位置a、e之距離Di、D2改變，也就是ΒΙΑ比值改變超過 預《又門檀值’定義為視線偏上或偏下。此外，也可訂盆中 至少-特徵點心、⑽、1Ge的座標進—步計算基準。舉例 來說’如圖7所示，當「瞳孔座標e，與特徵點10a、1〇b的 連線的距離Dl」與「瞳孔座標e，與特徵點咖的距離a」 的比值（DVD2) ’小於一門檀值，則得到代表視線偏上的瞳 孔位置資讯13 ;當「瞳孔座標e，與特徵點1〇a、i〇b的連線 1362005 的距離Di」與「瞳孔座標e，與特徵點1〇c的距離&的比 值D,/D2大於一門檻值，則得到代表視線偏下的瞳孔位置資 訊Π 〇 步驟s「指令Μ模組4包括—計時器（也就是計次 器’圖未示在本㈣判斷指令產生模組4是否持續接收 視線偏上的瞳孔位置資訊13超過一預定時間長度（例如2 秒鐘），若是，則接續進行步驟S9;若否，則計時器歸零， 回到步驟S3繼續處理下一張影像。 步驟s9-指令產生模組4依據持續且相同的瞳孔位置 資訊13對電腦5下達使電子文件翻動的控制指令14。由於 上一步驟所接收之瞳孔位置資訊13代表視線偏上，因此本 步驟所下達的控制指令14為使電子文件翻上一頁。在本實 =遠控制指令14使電子文件翻上一頁是指相當於利用鍵 :下達page UPJ的指令。當然’控制指令14控制電子文 件移動的程度^以本實施例輕，可另作設定。 产e右f步W判斷結果為否’接著由步驟Sl0判斷瞳孔座 ^ I是否小於P的座標門檀，若是則代表視線 =像!Γ進行步驟Sn、s,2如下;若否，則對該次取得 的〜像、束演算，回到步驟S3。 ^驟S『指令產生模組4的計時器在本步驟判斷指令 一箱：组4是否持續接收視線偏下的瞳孔位置資訊13超過 一 ·=間長度（例如2秒鐘），若是，則接續進行步驟 心”:否’則回到步驟S3繼續處理下—張影像。 驟Sl2纟令產生模組4依據瞳孔位置資訊13對電 12 1362005 腦5下達使電子文件翻動的控制指令14。由於上一步驟所 接收之瞳孔位置資訊13代表視線偏下，因此本步驟所下達 的控制指令14為使電子文件翻下一頁，且在本實施例，控 制指令14使電子文件翻下一頁是相當於利用鍵盤下達「 page down」的指令。 歸納上述，本發明可準確判斷使用者瞳孔位置，進而 利用曈孔位置變化作為下達控制指令的依據；藉此，使用 者無須改變閱覽電子文件的習慣，當使用者閱覽到頁面下 方超過一預凡時間，本發明系統100將使電子文件自動上 移或翻下-頁’反之亦然：。因此，尤其對手部傷殘或控制 手部肌肉有障礙的使用者而言，實為輔助其瀏覽電子文件 有用工具，確實可達到本發明之目的。 惟以上所述者，僅為本發明之較佳實施例而已，當不 能以此限定本發明實施之範圍，即大凡依本發明申請專利 範圍及發明說明内容所作之簡單的等效變化與修飾，皆仍 屬本發明專利涵蓋之範圍内。 【圖式簡單說明】 圖1是一系統方塊圖，說明本發明配合眼球控制電子 文件翻動之系統的較佳實施例； 圖2是一流程圖，說明本發明配合眼球控制電子文件 翻動之方法的執行步驟； 圖3是一由影像擷取裝置所擷取的影像示意圖； 圖4是一由標定單元擷取出的分析區塊，並經二值化 單元處理後的結果； 13 1362005 圖5是一表示上方線及下方線位置的示意圖； 圖6是一表示注視上、中、下位置a、b、c的示意圖 及 圖7是一表示利用特徵點計算基準的示意圖。 1362005 【主要元件符號說明】 100… •…配合眼球控制電 32......... 二值化單元 子文件翻動之系統 33......... 校正單元 11 •.… •…影像資訊 34......... 比對單元 12…… •…分析區塊 4 .......... 指令產生模組 13…… •…瞳孔位置資訊 5 .......... 電腦 14…… •…控制指令 6 .......... 紅外線投光器 2 ....... …·影像擷取裝置 Si〜S12… 步驟 3 ....... …瞳孔分析模組 10a 、 10b |、10 c特徵點 31…… …標定單元

15

Claims (1)

1362005 十、申請專利範圍： 1. 一種配合眼球控制電子文件翻動之方法，包含以下步驟 (A)對一正在瀏覽一顯示幕中的電子文件的使用 者擷取一包含該使用者之眼球的影像； (B )由該影像分析計算出一瞳扎座標； (C) 將該瞳孔座標與預先決定的基準比對，得到 一代表視線偏上或視線偏下訊息之瞳孔位置資訊；及 (D) 依據該曈孔位置資訊，對一連接該顯示幕之 鲁 電腦下達使該電子文件翻動的控制指令；當該瞳孔位置 資訊代表視線偏上的訊息，該控制指令為使電子文件翻 上一頁’當該瞳孔位置資訊代表視線偏下的訊息，該控 制指令為使電子文件翻下一頁。 2. 依據申請專利範圍第1項所述之配合眼球控制電子文件 翻動之方法，更包含一預先在該使用者之眼球附近決定 至特徵點的步驟’且在該步驟（B )得出該特徵點 的座標，該步驟（B)還依據該等特徵點的座標利用座 籲 標系統轉換技術使該特徵點之座標轉換為一標準座標， 該瞳孔座標隨之獲得校正。 3. 依據申請專利範圍第2項所述之配合眼球控制電子文件 翻動之方法，其中’該步驟（B)還依據該特徵點在該 影像操取一分析區塊，該分析區塊範圍涵蓋該使用者的 瞳孔或虹膜。 4·依據申請專利範圍第2項所述之配合眼球控制電子文件 16 1362005 翻動之方法，其中’該步驟（B)是以仿射轉換技術進 行座標系統轉換。 5·依據申請專利範圍第1〜4項中任一項所述之配合眼球控 制電子文件翻動之方法，其中，該步驟（B )還對影像 進行二值化處理以找出一主體’該主體即瞳孔或虹膜， 並以該主體中心作為該瞳孔座標。 6. 依據申請專利範圍第5項所述之配合眼球控制電子文件 翻動之方法，其中，該步驟（A )還對該使用者以紅外 線投光器照射。 7. 依據申請專利範圍第2項所述之配合眼球控制電子文件 翻動之方法，更包含一步驟（幻之前的前置步驟（p) ，在一供該使用者配戴的鏡框上標設該特徵點，並儲存 該特徵點影像；該步驟（A)所擷取之影像包含該特徵 8. 依據申請專利範圍第2項所述之配合眼球控制電子文件 翻動之方法’更包含-步驟（A)之前的前置步驟（p) ，儲存該使用者臉部五官至少—特徵影像，本方法以該 被儲存的五官特徵作為該特徵點。 " 9. 依據申請專利範圍第7或8項所述之配合眼球控制電子 文件翻動之方法，其中，該步驟⑻是以特徵匹配的 方式在該景/像中尋找最接近預設之特徵點的部分。 1 〇 ·依據申請專利範衝坌〇 園第9項所述之配合眼球控制電子文件 翻動之方法’其中，該步驟⑻是標定三個以上特徵 點且該曈孔位於該等特徵點相連所界定的範圍内；本 17 1362005 步驟還框選包含該等被尋找到的特徵點的最小矩形設 定為一分析區塊。 11. 依據申凊專利範圍第1〜4項中任一項所述之配合眼球控 制電子文件翻動之方法，其中，該步驟之基準是 利用下述方式決定：第一次使用時，在該顯示幕的上、 中、下位置依序顯示亮點，供使用者注視，並分別藉步 驟（A)擷取影像、步驟（B)計算使用者注視顯示幕上 、中、下位置時的瞳孔座標，決定出代表視線偏上的上 方線以及代表視線偏下的下方線作為座標門檻。 12. 依據申請專利範圍帛卜4項中任一項所述之配合眼球控 制電子文件翻動之方法，其中，該步驟（c)之基準， 疋該瞳孔座標與一上方基準的距離」與「該暗孔座標 與-下方基準的距離」的比值；該上方基準與下方基準 =第-次使用時設定或由至少__預先標定的特徵點所決 定；當該比值小於m則得到代表視線偏上的瞳 孔位置資訊；當該比值大於一門檀值，則得到代表視線 偏下的瞳孔位置資訊β 13·依據申請專利範圍帛w項中任一項所述之配合眼球控 制電子文件翻動之方法’其中，該步驟⑷〜為 持續的遞迴運算，當拄癌山^ 堤异胃持續出現同-種瞳孔位置資訊且超 過一預定時間長度，才進入步驟（D)。 14· 一種配合眼球控制電子文件翻動之系統，包含： 一影像擷取裝置，供對-正在潘i覽-顯示幕令的電 子文件的使用者榻取一包含該使用者之眼球的影像； 18 丄厶J 十算8|孔座標，決Μ代表視線偏上的上方線以及 視線偏下的下方線作為座標門檻。 24.=據申請專利範圍帛14〜17項中任一項所述之配合眼球 ^電？文件翻動之系.统，其中，該曈孔分析模組還包 盥=比對單元，該比對單元預設該基準為「該瞳孔座標 一上方基準的距離」與「該瞳孔座標與一下方基準的 的比值；該上方基準與下方基準由第一次使用時 、疋或由至少一預先標定的特徵點所決定；當該比值小 '門檻值，則得到代表視線偏上的瞳孔位置資訊；當 该比值大於一門檻值，則得到代表視線偏下的瞳孔位置 資訊。 25.依據巾請專利範圍冑14〜17項中任—項所述之配合眼球 控制電子文件翻動之系統，其中，該指令產生模組包括 计時器，當該指令產生模組持續接收同一種瞳孔位置 資Λ超過一預定時間長度，才產生對應該瞳孔位置資訊 的控制指令。 26·—種判斷瞳孔位置之方法，包含以下步驟： 在一使用者之眼球附近預先標定至少一特徵點，該 特徵點與瞳孔的相對距離會隨為瞳孔移動而改變； 對該使用者擷取一包含該特徵點及該使用者之曈孔 或虹膜的影像； 計算得到至少一特徵點座標及一瞳孔座標；及 利用座標系統轉換的方式使該分析區塊上的特徵點 座標，轉換為一標準座標’瞳孔座標隨之轉換而獲得校 21 1362005 27.依據申請專利範圍第 其中，所诫Μ傲®ι· ^ 26項所述之判斷曈孔位置之方法， ' 所述特徵點的數量為至少三，該使用 者之瞳孔位 於由該等特徵點相連接所界定之範圍内且定義包含該 等特徵點的最小矩形為一該分析區塊。 28.依據申請專利範圍第27項所述之判斷曈孔位置之方法， 其中，該特徵點是藉由特徵匹配的方式在該分析區塊中 被尋找出。 依據申明專利範圍第26項所述之判斷瞳孔位置之方法， 更包含對該影像進行二值化處理的步驟，藉此找出一主 體’ 6亥主體即該瞳孔或虹膜，並計算出該主體t心作為 該瞳孔座標。 30.依據申請專利範圍第29項所述之判斷曈孔位置之方法， 其中，所擷取的使用者的影像，該使用者經紅外線投光 器照射。 .依據申請專利範圍第26〜30中任一項所述之 中任一項所述之判斷瞳孔位

項所述之判斷瞳孔位 万線作為座標門檻。

22 136200^ 置之方法，該暗孔座择、受 厓標還與一基準比對；該基準是「該 瞳孔座標與一上方其進μ 上万基皁的距離」與「該瞳孔座標與一下 方基準的距離」的比值；該上方基準與下方基準由第一 次使用時設；t或由該特徵點所決定；當該比值小於一門 植值貝i得到代表視線偏上的瞳孔位置資訊；當該比值 大於η檻值，則得到代表視線偏下的睹孔位置資訊。 33.-種㈣^析模組，接收一影像，並包括： 標定單元，以特徵匹配的方式在該影像中尋找最 接近預設之特徵點的邱八 伋點的。ρ刀，找出至少在該使用者之眼 球附近之特徵點，並得到特徵點座標； 一值化單兀，用以進行二值化處理而找出一主體 ’該主體即該曈孔或虹膜，並計算該主體中心作為該瞎 孔座標；及 __iAr .X BS — 早凡，利用座標系統轉換的方式使該特徵點 之座標轉換為-標準隸，前述瞳孔座標隨之經座標轉 換而獲得校正。 34.依據申請專利範圍第33項所述之曈孔分析模組，更包括 一比對早元，將該經校正的瞳孔座標與預先決定的基準 比對，得到一代表視線偏上或視線偏下訊息之瞳孔位置 資訊。 35·依據申請專利範圍第34項所述之瞳孔分析模組，其中， 該比對單元所決定的基準是「該瞳孔座標與一上方基準 的距離j與该瞳孔座標與一下方基準的距離」的比值 ;該上方基準與下方基準由第一次使用時設定或由至少 23 1362005 一預先標定的特徵點所決定：當該比值小於一門檻值， 則得到代表視線偏上的瞳孔位置資訊；當該比值大於一 門檻值，則得到代表視線偏下的瞳孔位置資訊。 36. 依據申請專利範圍第34項所述之瞳孔分析模組，其中， 該比對單元預設該基準，且該基準是利用下述方式決定 .第-人使用時，在該顯示幕的上、中、下位置依序顯 示亮點，供使用者注視，並分別計算當時瞳孔座標，進 而決定出代表視線偏上的上方線以及代表視線偏下的下 方線作為座標門檻。 24