TWM569008U - 眼球定位校正系統 - Google Patents

Abstract

本創作提出一種眼球定位校正系統，包括：支架、提示裝置、處理裝置以及固接到支架上的影像獲取裝置，此影像獲取裝置拍攝使用者的眼睛而獲取眼球位置影像。其中，提示裝置播放提示資訊以指示使用者轉動眼睛注視第一特定位置；在提示裝置播放提示資訊的一段預定時間後，處理裝置控制影像獲取裝置獲取眼球位置影像、以眼球位置影像所表示的眼球位置作為指向第一特定位置時的第一標準眼球操作位置，以及以第一標準眼球操作位置為基準而估算使用者在注視第二特定位置時的眼球位置所對應的第二標準眼球操作位置。

Description

眼球定位校正系統

本創作是有關於利用眼球進行控制操作的技術領域，特別是有關於一種眼球定位校正系統。

隨著科技的發展，用來控制各類電子裝置的手段也有著極大的變化。一開始，使用者必須施力按壓鍵盤或滑鼠來進行控制指令的輸入。接著，使用者可以利用觸控面板甚至語音介面來降低輸入控制指令的時候對於力量的需求，對於有施力障礙的人群而言，這樣的進步無疑的帶來了更多生活上的便利。

到了今日，利用眼睛轉動造成視角改變來進行控制指令輸入的技術也已經開始進入實質的生活運用中。然而，在要使用視角變化來進行控制指令的輸入之前，必須先進行眼球的定位校正才行。假若眼球的定位校正不夠準確，那麼使用視角變化來輸入控制指令的時候也將必然遭遇到許多的問題。

本創作提供了一種眼球定位校正系統，其可隨時隨地的進行眼球定位校正的操作，而且校正後的準確度也很高。

本創作提供了一種眼球定位校正系統，包括：支架、提示裝置、影像獲取裝置以及處理裝置。支架適於相對固定地架設在使用者的頭部的周圍；提示裝置適於播放提示資訊；影像獲取裝置固接至支架，並適於拍攝使用者的眼睛而獲取相對應的眼球位置影像；處理裝置電性耦接至影像獲取裝置以從影像獲取裝置接收眼球位置影像，並且處理裝置也電性耦接至提示裝置以傳遞提示資訊至提示裝置。其中，提示裝置藉由播放提示資訊以指示使用者轉動眼睛注視第一特定位置；在提示裝置播放提示資訊的一段預定時間後，處理裝置控制影像獲取裝置獲取眼球位置影像、以眼球位置影像所表示的眼球位置作為指向第一特定位置時的第一標準眼球操作位置，以及以第一標準眼球操作位置為基準而估算使用者在注視第二特定位置時的眼球位置所對應的第二標準眼球操作位置。於估算第二標準眼球操作位置之後，當眼球位置影像所表示的眼球位置相當於此第二標準眼球操作位置時，處理裝置就判定使用者正注視第二特定位置。

在一個實施例中，前述的支架為眼鏡架。

在一個實施例中，前述的提示裝置是語音提示裝置。

在一個實施例中，前述的提示裝置是微型顯示裝置，且微型顯示裝置根據所接收的提示資訊而顯示畫面，並標示畫面中的特定位置為第一特定位置。

在一個實施例中，前述的影像獲取裝置包括第一攝影機，此第一攝影機設置為朝向使用者的眼球部位以獲取眼球位置影像。進一步的，影像獲取裝置還更包括第二攝影機，此第二攝影機適於獲取與使用者頭部前方環境相對應的環境影像。其中，處理裝置也電性耦接至第二攝影機以獲取環境影像，且處理裝置自環境影像中辨識特定物體、將此特定物體在環境影像中所處的位置設定為第一特定位置，並將此第一特定位置加入到提示資訊中。進一步的，當提示裝置是微型顯示裝置時，微型顯示裝置更自處理裝置取得並顯示環境影像，並且根據提示資訊在環境影像中標示環境影像中的第一特定位置。

上述內容所提供的眼球定位校正系統可以藉由直接使用現有環境存在的物體或者由微型顯示器顯示的畫面來進行眼球的定位校正，因此可以隨時隨地的進行眼球定位校正的操作。而且，由於拍攝眼球部位影像的第一攝影機與使用者頭部相對固定，眼球視角與系統顯示的影像或第二攝影機拍攝的外部環境之間的關係也因此會較為固定，所以經過眼球定位校正之後，系統可以根據眼球視角而更準確地得到使用者想要指定的物體的位置，並依此進行對應的操作。

請參照圖1，其為根據本創作一實施例的眼球定位校正系統的系統架構示意圖。如圖1所示，本實施例所提供的眼球定位校正系統10包括了支架100、提示裝置110、影像獲取裝置120以及處理裝置130。必須說明的是，雖然支架100在本實施例中是以眼鏡架的型態存在，但是支架100還可以是其它能夠相對固定地架設在使用者的頭部的周圍的物體，例如：頭戴式顯示器或安全帽等等，並不需要受限於圖1顯示的型態；其次，提示裝置110在此處以微型顯示器的型態存在於本實施例中，但提示裝置110仍可以為其它可以播放提示資訊的裝置，例如：微型投影機，同樣並不需要受限於圖1顯示的型態；再者，為了能夠盡量完整的拍攝到眼睛部位的變化，影像獲取裝置120可以是有較高解析度且拍攝角度較廣的的攝影機或照相機。

如圖所示，在本實施例中，提示裝置110與影像獲取裝置120分別固接於支架100上，而處理裝置130、提示裝置110與影像獲取裝置120之間分別利用無線傳輸的方式分進行電性耦接，以藉此達到在處理裝置130與提示裝置110之間、在處理裝置130與影像獲取裝置120之間，或者在提示裝置110與影像獲取裝置120之間傳遞資訊的功能。

提示裝置110適於播放由處理裝置130所提供的提示資訊。由於本實施例中的提示裝置110是微型顯示器，所以提示資訊可以是能藉由微型顯示器顯示為畫面的圖形資料。影像獲取裝置120以拍攝方向朝向使用者的方式固接至支架100上，並適於拍攝使用者的眼睛而獲取相對應的眼球位置影像。處理裝置130則分別從影像獲取裝置120接收眼球位置影像以及傳遞提示資訊至提示裝置110。

請合併參照圖2，其為根據本創作一實施例藉由微型顯示器所顯示的影像的示意圖。在校正操作開始的時候，提示裝置110會播放從處理裝置130所獲得的提示資訊，以藉此指示使用者轉動眼睛注視某一個事先設定好的特定位置（後稱第一特定位置）。如圖2所示，從處理裝置130所獲得的提示資訊可以使得微型顯示器顯示特定的影像200，而影像200則包括了一個可移動的影像區塊，這個可移動的影像區塊可以依照箭頭方向依序從顯示位置210移動到顯示位置220、顯示位置230以及顯示位置240。在這個過程中，顯示位置210、顯示位置220、顯示位置230及顯示位置240分別符合前述定義的第一特定位置。

在提示裝置110播放提示資訊完畢的一段預定時間後，處理裝置130會進一步控制影像獲取裝置120藉由對使用者的眼睛部位進行拍照或攝影等操作而獲取相對應的眼球位置影像。以圖2為例，提示裝置110（在此是微型顯示器）先播放前述可移動的影像區塊位在顯示位置210的影像，並在播放一段預設的時間（以使使用者的眼睛能夠有充分時間注視到可移動的影像區塊為準）之後，利用影像獲取裝置120來獲取眼球位置影像。此時獲得的眼球位置影像就是包含有使用者注視顯示位置210時的眼球位置（亦即視角方向）的影像。類似的作法可以重複數次以分別取得包含使用者注視顯示位置220、顯示位置230以及顯示位置240時的眼球位置的影像。

接下來，處理裝置130可以藉由現行的影像分析方式對眼球位置影像進行分析而獲知眼球位置，並將分析而得的眼球位置（即視角方向）作為指向第一特定位置時的標準眼球操作位置（後稱第一標準眼球操作位置）。依據圖2及上述說明，處理裝置130可以分別分析上述使用者注視顯示位置210、顯示位置220、顯示位置230以及顯示位置240時眼球位置的影像，而藉此獲得四個注視不同的第一特定位置的四個第一標準眼球操作位置。

在獲得一個以上的對應於第一特定位置的第一標準眼球操作位置之後，處理裝置130就可以根據所獲得的第一特定位置與相對應的第一標準眼球操作位置之間的關連性，估算使用者在注視其它任意特定位置（後稱第二特定位置）時，藉由拍攝使用者的眼球並進行影像分析後理論上可以得到的標準眼球操作位置（後稱第二標準眼球操作位置）。因為是以估算的方式來推得其它任意特定位置的標準眼球操作位置，所以若能以更多不同的第一特定位置及相對應的第一標準眼球操作位置為基礎，就可以獲得更精準的估算結果。但是要獲取越多的第一特定位置及相對應的第一標準眼球操作位置的資料，就會越使得校正操作的過程顯冗長，因此設計人員可以視精準度的需求以及處理裝置130處理速度的快慢，自行決定適合的資料收集次數及時間，不需以圖2所示的四次資料收集為限。

在經過上述的校正操作之後，只要眼球位置影像所表示的眼球位置相當於第二標準眼球操作位置，處理裝置130就可以判定使用者正在注視著與這一個第二標準眼球操作位置相對應的第二特定位置。

必須說明的是，雖然本實施例中的處理裝置130是類似個人電腦或伺服器之類的大型設備為例，但實際上處理裝置130也可以是能夠隨身攜帶的小型處理裝置，例如：智慧型手機或直接安裝在支架上的小型處理晶片。

接下來請參照圖3，其為根據本創作另一實施例的眼球定位校正系統的系統架構示意圖。與圖1所示實施例的不同處在於，眼球定位校正系統30進一步包括了另一個影像獲取裝置140。影像獲取裝置140同樣固接在支架100上，並且影像獲取裝置140的拍攝方向與影像獲取裝置120的拍攝方向大致相反，也就是影像獲取裝置140是用來拍攝使用者頭部前方的環境，以獲得與使用者頭部前方環境相對應的環境影像。其中，影像獲取裝置140同樣可以但不限定是攝影機或照相機，且拍攝的解析度與涵蓋的範圍可以根據實際需求而進行調整，並不影響本創作的實施。

在有第二支影像獲取裝置140存在的狀況下，就可以使用經由影像獲取裝置140所獲取的環境影像作為提示裝置110在校正操作過程中所顯示的影像。請一併參照圖4，其為根據本創作另一實施例藉由微型顯示器所顯示的影像的示意圖。如圖4所示，環境影像400在經過處理裝置130的影像辨識處理之後，辨識出包括小狗、腳踏車以及汽車的三個物件。在辨識出物件之後，處理裝置130會在物件所處的位置處進行標示，例如分別標示為小狗所處的位置410、腳踏車所處的位置420以及汽車所處的位置430（各位置410、420及430分別相當於一個前述的第一特定位置），並將這些位置410、420及430的相關位置訊息加入到提示資訊中。接下來，處理裝置130就會將提示資訊傳遞至微型顯示器（提示裝置110），以使微型顯示器（提示裝置110）能據此顯示環境影像並標示位置410、420與430。在這之後，提示裝置110還提示使用者分次注視不同物件，以藉此得到相對應的第一標準眼球操作位置並進行第二標準眼球操作位置的估算。

值得一提的是，微型顯示器（提示裝置110）在顯示影像的過程中，可以是直接從處理裝置130取得環境影像以及與位置410、420及430的相關位置訊息來進行影像顯示，也可以是從影像獲取裝置140直接取得環境影像，並且配合自處理裝置130接收的與位置410、420及430的相關位置訊息來進行影像顯示。

假若提示裝置110並不具備顯示功能而僅僅是一個語音提示裝置，則提示資訊就可以是能藉由語音提示裝置播放成語音的音頻資料。舉例來說，設若本實施例中的提示裝置110僅僅是一個語音提示裝置，則處理裝置130在經過影像辨識處理而獲得前述的三個位置410、420及430之後，就可以將這些位置的相關位置訊息加入到提示資訊中，並使提示裝置110播放這些提示資訊。舉例來說，提示裝置110可以依序發出語音訊息，提示使用者：「請注視前方左下的小狗」、「請注視前方中央的腳踏車」以及「請注視前方右上的汽車」，並且在每次播放語音訊息提示完畢後過一段時間即進行一次第一標準眼球操作位置的獲取操作，這樣就可以結合現有的外界景物來進行眼球定位的校正操作。

無論使用上述實施例中的哪一種眼球定位校正系統，在校正操作完成之後，就可以使用校正完成的參數來進行後續指令輸入時的參考依據。例如，在校正操作完成之後，可以繼續利用影像獲取裝置120追蹤眼球的注視方向；一旦處理裝置130發現眼球凝視某處一段時間，則處理裝置會將眼球凝視處（亦即第二特定位置）框選出來，並取得與眼球凝視處相關的影像來進行處理。此處與眼球凝視處相關的影像可能是正利用提示裝置110播放的影像中的一部分，也可能是處理裝置130認為需要取得相關影像時才利用影像獲取裝置140而快速取得的環境影像中的一部分。

接下來，處理裝置130會對與眼球凝視處相關的影像使用現有的影像辨識法，例如：機器學習法，來進行影像辨識。在辨識出物件之後，可以進一步藉由輸入裝置（未繪示）或者藉由眨眼（可以利用影像獲取裝置120進行偵測）輸入指令，以使處理裝置130對所辨識出來的物件進行對應的操作。舉例來說，當判斷出物件是一台汽車的時候，可以藉由語音輸入裝置輸入指令，而使處理裝置130連結上網尋找與此台汽車相關的公開資訊；或者，當影像被判斷出具有許多個物件的時候，也可以利用眨眼的方式來循環切換所選擇的物件，增加操作上的便利性。

根據上述內容而得的眼球定位校正系統，可以藉由直接使用現有環境存在的物體或者由微型顯示器顯示的畫面來進行眼球的定位校正，因此可以隨時隨地的進行眼球定位校正的操作。而且，由於拍攝眼球部位影像的第一攝影機與使用者頭部相對固定，眼球視角與系統顯示的影像或第二攝影機拍攝的外部環境之間的關係也因此會較為固定，所以經過眼球定位校正之後，系統可以根據眼球視角而更準確地得到使用者想要指定的物體的位置，並依此進行對應的操作。

10、30‧‧‧眼球定位校正系統

100‧‧‧支架

110‧‧‧提示裝置

120、140‧‧‧影像獲取裝置

130‧‧‧處理裝置

200‧‧‧影像

210～240‧‧‧顯示位置

400‧‧‧環境影像

410、420、430‧‧‧位置

圖1為根據本創作一實施例的眼球定位校正系統的系統架構示意圖。 圖2為根據本創作一實施例藉由微型顯示器所顯示的影像的示意圖。 圖3為根據本創作另一實施例的眼球定位校正系統的系統架構示意圖。 圖4為根據本創作另一實施例藉由微型顯示器所顯示的影像的示意圖。

Claims (9)

1. 一種眼球定位校正系統，其特徵在於包括： 一支架，適於相對固定地架設在一使用者的頭部的周圍； 一提示裝置，適於播放一提示資訊； 一影像獲取裝置，固接至該支架，該影像獲取裝置適於拍攝該使用者的眼睛而獲取相對應的一眼球位置影像；以及 一處理裝置，電性耦接至該影像獲取裝置以從該影像獲取裝置接收該眼球位置影像，以及電性耦接至該提示裝置以傳遞該提示資訊至該提示裝置； 其中，該提示裝置播放該提示資訊以指示該使用者轉動眼睛注視一第一特定位置；在該提示裝置播放該提示資訊的一預定時間後，該處理裝置控制該影像獲取裝置獲取該眼球位置影像、以該眼球位置影像所表示的眼球位置作為指向該第一特定位置時的一第一標準眼球操作位置，以及以該第一標準眼球操作位置為基準而估算使用者在注視一第二特定位置時的眼球位置所對應的一第二標準眼球操作位置； 其中，於估算使用者在注視該第二特定位置時的眼球位置所對應的該第二標準眼球操作位置之後，當該眼球位置影像所表示的眼球位置相當於該第二標準眼球操作位置時，該處理裝置判定使用者正注視該第二特定位置。
2. 如申請專利範圍第1項所述的眼球定位校正系統，其中，該支架為眼鏡架。
3. 如申請專利範圍第1項所述的眼球定位校正系統，其中，該提示裝置為語音提示裝置。
4. 如申請專利範圍第1項所述的眼球定位校正系統，其中，該提示裝置為一微型顯示裝置，該微型顯示裝置根據所接收的該提示資訊而顯示一畫面，並標示該畫面中的一特定位置為該第一特定位置。
5. 如申請專利範圍第1項所述的眼球定位校正系統，其中，該影像獲取裝置包括一第一攝影機，該第一攝影機設置為朝向該使用者的眼球部位以獲取該眼球位置影像。
6. 如申請專利範圍第5項所述的眼球定位校正系統，其中，該影像獲取裝置更包括一第二攝影機，該第二攝影機適於獲取與該使用者頭部前方環境相對應的一環境影像。
7. 如申請專利範圍第6項所述的眼球定位校正系統，其中，該處理裝置更電性耦接至該第二攝影機以獲取該環境影像，且該處理裝置自該環境影像辨識一特定物體、將該特定物體在該環境影像中所處的位置設定為該第一特定位置，並將該第一特定位置加入到該提示資訊中。
8. 如申請專利範圍第7項所述的眼球定位校正系統，其中，該提示裝置為語音提示裝置。
9. 如申請專利範圍第7項所述的眼球定位校正系統，其中，該提示裝置為一微型顯示裝置，該微型顯示裝置更自該處理裝置取得並顯示該環境影像，以及根據該提示資訊在該環境影像中標示該第一特定位置。