TWI447659B - 瞳孔或臉部特徵對位方法與裝置 - Google Patents

Description

瞳孔或臉部特徵對位方法與裝置

本發明係關於一種瞳孔或臉部特徵對位方法與裝置，特別關於一種應用於人眼追蹤的瞳孔或臉部特徵對位方法與裝置。

溝通是人類生活中極其重要的部份，做為社會團體中的一份子，沒有人能完全免除與他人產生互動，至於如何使這些互動關係維持在一種正面且積極的狀態，則就有賴於人與人之間完整的意思表達。

自古以來，人類為維繫感情或連絡事務，甚至於爭取權益，已經發展出各式各樣的溝通方式，使個人或群體能夠完整地表達本身的意思，這些溝通方式包含簡單直接的表情動作，以及能夠代表文化背景的聲音語言或文字圖畫，透過這些許許多多的溝通方式使得人類的生活更豐富，也促使團體生活更加多采多姿，並從中孕育了人文的智慧，激盪出科學的火花，著實為架構人類文明的基礎。

但是，對於少數疾病患者與遭遇重大事故者而言，由於其中樞神經受損或其他因素，致使無法如常人般順利地控制肢體或張口言語，即便患者或傷者本身保有意識及思考能力，但卻難以完整表達。在此種狀況下，患者或傷者與看護人員間便會因為溝通無法建立，產生許多不便的困擾，更無法藉由患者本身將自己的生理及心理狀況反應給醫護人員，導致康復時程延長。

目前，習知技術中已有利用人眼追蹤的方式，透過適當的顯示媒介，作為患者及傷者意思表示的一種手段，也就是所謂的眼控系統。但是由於每位使用者面貌輪廓、眼睛特徵或使用習慣等等因素的不同，此眼控系統在操作前一般都會藉由擷取並顯示影像的方式先行引導使用者進行臉部的對位，尤其是瞳孔的部分。然而，由於系統的使用者大部分都長久臥病在床，其神情氣色或操作環境可能都不甚良好，特別是對顏面受傷或癌症末期的患者而言，必定不願在系統的對位過程中見到自己的病容，影響其使用意願。除此之外，由於眼控系統通常還配備有輔助的光學儀器，而儀器所射出的光線會在人的眼球中形成反光點，對此，即便是生理狀況正常的使用者，若觀看到眼睛內有異物的畫面，也難免會有不舒適的感覺。

因此，如何提供一種瞳孔或臉部特徵對位方法與裝置，其能輔助使用者於非真實型式之影像畫面中進行瞳孔或臉部特徵的對位，避免對位過程中產生不舒適的感覺，從而提高使用者的使用意願，已成為重要課題之一。

有鑑於上述課題，本發明之目的為提供一種瞳孔或臉部特徵對位方法與裝置，其能輔助使用者於非真實型式之影像畫面中進行瞳孔或臉部特徵的對位，避免產生不舒適的感覺，提高使用意願。

為達上述目的，依據本發明之一種瞳孔對位方法，包含以下步驟：擷取一即時影像；轉換即時影像為一非真實型式即時影像；顯示非真實型式即時影像；分析即時影像以取得一瞳孔資料；以及依據所取得瞳孔資料判斷使用者是否位於一使用位置範圍。

依據本發明較佳實施例，非真實型式即時影像可為經浮水印處理、柔化處理、浮雕處理、馬賽克處理、描邊處理、邊緣偵測處理、紋理化處理、油畫處理、黑白處理或灰階處理的即時影像。

依據本發明較佳實施例，使用者可進行一維方向、二維方向或三維方向的位置調整。

依據本發明較佳實施例，瞳孔對位方法可更包含提供一指示訊號，引導使用者進行位置調整位置的步驟。

依據本發明較佳實施例，瞳孔資料可包含一瞳孔中心及至少一反光點的資料。

為達上述目的，依據本發明之一種臉部特徵對位方法，包含以下步驟：擷取一即時影像；轉換即時影像為一非真實型式即時影像；顯示非真實型式即時影像；分析即時影像以取得一臉部特徵資料；以及依據所取得臉部特徵資料判斷使用者是否位於一使用位置範圍。

依據本發明較佳實施例，臉部特徵資料可包含臉型輪廓、五官相對位置、臉部凸起部位、至少一眼球或至少一瞳孔的資料。

為達上述目的，依據本發明之一種瞳孔對位裝置，包含一影像擷取模組、一影像轉換模組、一顯示模組、一影像分析模組以及一控制模組。影像擷取模組用於擷取一即時影像。影像轉換模組與影像擷取模組連接，且影像轉換模組用於轉換即時影像為一非真實型式即時影像。顯示模組與影像轉換模組連接，且顯示模組用於顯示非真實型式即時影像。影像分析模組與影像擷取模組連接，且影像分析模組用於分析即時影像以取得一瞳孔資料。控制模組與影像擷取模組、影像轉換模組、影像分析模組以及顯示模組連接，且控制模組依據所取得瞳孔資料判斷使用者是否位於一使用位置範圍。

依據本發明較佳實施例，影像擷取模組可為電荷耦合元件(Charge Coupled Device,CCD)攝影機或互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,CMOS)攝影機。

為達上述目的，依據本發明之一種臉部特徵對位裝置，包含一影像擷取模組、一影像轉換模組、一顯示模組、一影像分析模組以及一控制模組。影像擷取模組用於擷取一即時影像。影像轉換模組與影像擷取模組連接，且影像轉換模組用於轉換即時影像為一非真實型式即時影像。顯示模組與影像轉換模組連接，且顯示模組用於顯示非真實型式即時影像。影像分析模組與影像擷取模組連接，且影像分析模組用於分析即時影像以取得一臉部特徵資料。控制模組與影像擷取模組、影像轉換模組、影像分析模組及顯示模組連接，且控制模組依據所取得臉部特徵資料判斷使用者是否位於一使用位置範圍。

承上所述，因依據本發明之瞳孔或臉部特徵對位方法與裝置可將即時影像轉換為非真實型式即時影像，並以此作為使用者進行位置調整的依據，從而可避免在對位過程中使用者因為直視本身面貌及/或察覺眼中出現異常的反光點所產生不舒適的感覺。與習知技術相較，應用本發明於眼控系統中，不僅可簡化操作前的對位程序，藉由轉換後之非真實型式即時影像亦可防止眼球追蹤的技術輕易被外人窺知。當然，最重要的是能保障使用者的感受，進而提高使用的意願，是為一種人性化的設計。

以下將參照相關圖式，說明依本發明較佳實施例之一種瞳孔或臉部特徵對位方法與裝置，其中相同的元件將以相同的參照符號加以說明。

請參考圖1所示，依據本發明較佳實施例之瞳孔對位方法包含以下步驟S100至步驟S140。於步驟S100，擷取一即時影像。於步驟S110，轉換即時影像為非真實型式即時影像，轉換方式可將擷取的即時影像經過特殊處理，例如但不限於浮水印處理、柔化處理、浮雕處理、馬賽克處理、描邊處理、邊緣偵測處理、紋理化處理、油畫處理、黑白處理或灰階處理等，避免因直視本身面貌而產生不舒適的感覺。

於步驟S120，顯示非真實型式即時影像，作為使用者進行位置調整的依據，使用者可調整所在位置而顯示出例如臉部全部影像。此時使用者可參照顯示出的自身影像，進行一維方向、二維方向或三維方向的位置調整。詳細來說，一維方向的調整例如僅進行左右方向、上下方向或前後方向的調整；二維方向則例如同時及/或分別進行上下左右方向、前後左右方向或上下前後方向的調整；至於三維方向為同時及/或分別進行左右、上下及前後方向調整，減少調整所需時間。

於步驟S130，分析即時影像以取得一瞳孔資料，瞳孔資料可包含單一瞳孔資料，或同時取得二個瞳孔資料以提高資料分析的準確度。瞳孔資料可包含一瞳孔中心及至少一反光點的資料，經由例如分析軟體/硬體取得的瞳孔中心及眼球上的反光點，可作為分析資料。

於步驟S140，依據所取得瞳孔資料判斷使用者是否位於一使用位置範圍，使用位置範圍例可如為使用者相對於顯示器上下左右各30度以內，前後距離(使用者與顯示器之間的距離)60～80cm。需注意者，此僅為舉例以方便瞭解，非用以限制本發明。

此外，瞳孔對位方法可更包含提供一指示訊號，引導使用者調整位置的步驟。指示訊號可例如方向指示訊號，其可顯示在顯示器上的其他位置或整合於非真實型式即時影像中，用以提示使用者如何調整位置。指示訊號亦可以語音、聲響(時間長短或聲響數等)或發光(持續亮光或閃光等)的方式引導使用者調整位置。

上述瞳孔對位方法可實施於一瞳孔對位裝置。請參考圖2及圖3所示，瞳孔對位裝置2包含一影像擷取模組21、一影像轉換模組22、一顯示模組23、一影像分析模組24以及一控制模組25。

影像擷取模組21是用於擷取即時影像。在本實施例中，影像擷取模組21例如但不限於電荷耦合元件(CCD)攝影機、互補金屬氧化物半導體(CMOS)攝影機或其他可達成相同功能者。當然，影像擷取模組21的數目亦無限制，在本發明的其他態樣中，瞳孔對位裝置2可包含二個影像擷取模組21，其各自對應於使用者的左右瞳孔。

影像轉換模組22與影像擷取模組21連接，且影像轉換模組22用於轉換即時影像為非真實型式即時影像。影像轉換方式已詳述於上，不再贅述。

顯示模組23與影像轉換模組21連接，且顯示模組23用於顯示非真實形式的即時影像，作為使用者進行位置調整的依據。顯示模組23例如但不限於液晶顯示器(LCD)、發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器或電子紙(e-paper)顯示器等，而非真實型式即時影像可以全畫面或以全畫面之一部分的方式顯示，大小是以適合使用者參考為原則。

請參考圖4所示，若未經過轉換，顯示模組23顯示原始的的即時影像P1便與一般的即時畫面相同，是一種與人眼觀察相同的視覺結果。相對而言，請參考圖5所示，在本實施例中，顯示模組23所顯示的是經過特殊處理轉換後所產生非真實型式即時影像P2，與正常狀況下人眼觀察的視覺結果不同。

影像分析模組24與影像擷取模組21連接，且影像分析模組24用於分析即時影像以取得瞳孔資料。分析的方式可例如影像分析模組24利用例如預設的資料庫，其儲存有瞳孔中心、眼球輪廓、眼球圖樣、黑白色差變化或反光亮點等資料，經過影像分析模組24比對分析後，取得所需的瞳孔資料。

控制模組25與影像擷取模組21、影像轉換模組22、影像分析模組24及顯示模組23連接，且控制模組25用於依據所取得瞳孔資料來判斷使用者是否位於使用位置範圍。判斷的標準可依據瞳孔資料中是否包含例如瞳孔中心與反光亮點、眼球輪廓是否完整、眼球圖樣是否符合、或黑白色差變化是否顯著等條件，經過與預設資料庫比對分析，判斷使用者是否位於使用位置範圍。使用位置範圍已舉例詳述於上，不再贅述。

在本實施例中，控制模組25可在判斷使用者已經位於使用位置範圍後，發出控制訊號控制瞳孔對位裝置2進入後續步驟，例如終止影像擷取模組21擷取影像及/或顯示操作介面於顯示模組23上。反之，若控制模組25判斷使用者仍未位於使用位置範圍時，瞳孔對位裝置2則持續輔助使用者進行位置調整。

在本實施例中，瞳孔對位裝置2可更包含至少一光源發射模組，請參考圖3所示，瞳孔對位裝置2較佳包含二光源發射模組26，其中光源發射模組26可例如紅外線(IR)發射模組，用以在使用者眼球中產生易於辨識的反光點。

本實施例所示的瞳孔對位裝置2雖以影像擷取模組21、影像轉換模組22、顯示模組23、影像分析模組24、控制模組25及光源發射模組26整合為單一電子結構為例作說明，然而本領域具有通常知識者當知，瞳孔對位裝置2亦可結合於既有個人電腦使用。例如將影像擷取模組21及光源發射模組26結合於既有個人電腦的顯示器(即顯示模組23)，影像轉換模組22、影像分析模組24及控制模組25則可實施於既有個人電腦的主機。

據此，請同時參考圖6A及圖6B所示，利用本發明之瞳孔對位方法及裝置，可將即時影像轉換為非真實型式即時影像，藉此免除使用者產生直視本身面孔的不舒適，另外，原本出現在使用者眼中的異常反光點(如圖6A)，亦在轉換後得以消除(如圖6B)，保障使用者的感受。

以下將以非限制性實例並配合圖7至圖9，說明瞳孔對位裝置2顯示之非真實型式即時影像與使用者調整位置間的關係。

圖7為使用者與瞳孔對位裝置2之相對位置的示意圖，圖8為圖7所示之狀態中瞳孔對位裝置2顯示即時影像的示意圖。請同時參考圖7及圖8所示，當使用者尚未位於瞳孔對位裝置2的使用位置範圍時(如圖7所示)，顯示模組23中顯示出的影像畫面便不會出現臉部全部影像(如圖8所示)，此時表示使用者的位置並不適於操作。

當使用者沒有位於使用位置範圍時，使用者或輔助使用者可藉由參照顯示模組23顯示的影像畫面，自行判斷如何進行位置調整，或經由語音及/或聲光引導進行位置調整。位置調整的方式已詳述於上，不再贅述。如此當使用者進入使用位置範圍後(如圖9所示)，顯示模組23顯示的影像畫面應包含例如臉部全部影像(如圖5所示)。

以上實例雖以瞳孔資料為例說明如何進行對位，然而本領域具有通常知識者當知，亦可以臉部特徵進行對位。請參考圖10所示，依據本發明之一種臉部特徵對位方法，包含以下步驟：擷取一即時影像(S200)；轉換即時影像為一非真實型式即時影像(S210)；顯示非真實型式即時影像，作為使用者進行位置調整的依據(S220)；分析即時影像以取得一臉部特徵資料(S230)；以及依據所取得臉部特徵資料判斷使用者是否位於使用位置範圍(S240)。此外，上述臉部特徵對位方法亦可實施於一臉部特徵對位裝置。

臉部特徵對位方法與裝置，其步驟流程、執行方法或組成模組皆與圖1至圖3所示瞳孔對位方法與裝置相同，於此不再贅述。但其中特別需要說明的是，影像分析模組所取得的臉部特徵資料可包含例如臉型輪廓、五官相對位置、臉部凸起部位、至少一眼球或至少一瞳孔等資料，並且控制模組可依據所取得臉部特徵資料來判斷使用者是否位於使用位置範圍。

綜上所述，利用本發明之瞳孔或臉孔特徵對位方法與裝置，可將即時影像轉換為非真實型式即時影像，並以此作為使用者進行位置調整的依據，從而可避免在對位過程中使用者因為直視本身面貌及/或察覺眼中出現異常的反光點所產生不舒適的感覺，提高使用的意願，此外，亦可防止眼球追蹤的技術輕易被外人窺知，保障技術的運用。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

2．．．瞳孔對位裝置

21．．．影像擷取模組

22．．．影像轉換模組

23．．．顯示模組

24．．．影像分析模組

25．．．控制模組

26．．．光源發射模組

P1．．．原始的即時影像

P2．．．非真實型式即時影像

S100～S140、S200～S240．．．步驟

圖1為依據本發明之一種瞳孔對位方法的步驟流程圖；

圖2為依據本發明之一種瞳孔對位裝置的系統方塊圖；

圖3為圖2所示瞳孔對位裝置的示意圖；

圖4為瞳孔對位裝置顯示即時影像的示意圖；

圖5為瞳孔對位裝置顯示非真實型式即時影像畫面的示意圖；

圖6A及圖6B分別為圖4及圖5所示影像畫面之眼球周圍的放大圖；

圖7為使用者與瞳孔對位裝置之相對位置的示意圖，且使用者並未位於使用位置範圍；

圖8為圖7所示之狀態中瞳孔對位裝置顯示非真實型式即時影像的示意圖；

圖9為使用者與瞳孔對位裝置之相對位置的示意圖，且使用者已完成位置調整；以及

圖10為依據本發明之一種臉部特徵對位方法的步驟流程圖。

S100~S140．．．步驟

Claims (10)

1. 一種瞳孔對位方法，包含以下步驟：擷取一即時影像；轉換該即時影像為一非真實型式即時影像；顯示該非真實型式即時影像；分析該即時影像以取得一瞳孔資料；以及依據所取得該瞳孔資料判斷使用者是否位於一使用位置範圍，其中該瞳孔資料包含一瞳孔中心及至少一反光點的資料。
2. 如申請專利範圍第1項所述之瞳孔對位方法，其中該非真實型式即時影像為經浮水印處理、柔化處理、浮雕處理、馬賽克處理、描邊處理、邊緣偵測處理、紋理化處理、油畫處理、黑白處理或灰階處理的即時影像。
3. 如申請專利範圍第1項所述之瞳孔對位方法，更包含一步驟：提供一指示訊號，引導該使用者進行位置調整。
4. 如申請專利範圍第1項所述之瞳孔對位方法，更包括一步驟：分析該即時影像以取得一臉部特徵資料。
5. 如申請專利範圍第4項所述之瞳孔對位方法，其中該臉部特徵資料包含臉型輪廓、五官相對位置、臉部凸起部位或至少一眼球的資料。
6. 一種瞳孔對位裝置，包含：一影像擷取模組，其擷取一即時影像；一影像轉換模組，與該影像擷取模組連接，該影像轉換模組轉換該即時影像為一非真實型式即時影像；一顯示模組，與該影像轉換模組連接，該顯示模組顯示該非真實型式即時影像；一影像分析模組，與該影像擷取模組連接，該影像分析模組分析該即時影像以取得一瞳孔資料；以及一控制模組，與該影像擷取模組、該影像轉換模組、該影像分析模組及該顯示模組連接，該控制模組依據所取得該瞳孔資料判斷使用者是否位於一使用位置範圍，其中該瞳孔資料包含一瞳孔中心及至少一反光點的資料。
7. 如申請專利範圍第6項所述之瞳孔對位裝置，其中該影像擷取模組為電荷耦合元件(CCD)攝影機或互補金屬氧化物半導體(CMOS)攝影機。
8. 如申請專利範圍第6項所述之瞳孔對位裝置，其中該非真實型式即時影像為經浮水印處理、柔化處理、浮雕處理、馬賽克處理、描邊處理、邊緣偵測處理、紋理化處理、油畫處理、黑白處理或灰階處理的即時影像。
9. 如申請專利範圍第6項所述之瞳孔對位裝置，其中該影像分析模組更取得一臉部特徵資料。
10. 如申請專利範圍第9項所述之瞳孔對位裝置，其中該臉部特徵資料包含臉型輪廓、五官相對位置、臉部凸起部位或至少一眼球的資料。