TWI683132B

TWI683132B - 人臉眼睛定位系統在顯微鏡的應用

Info

Publication number: TWI683132B
Application number: TW108103660A
Authority: TW
Inventors: 吳智孟
Original assignee: 創新服務股份有限公司
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2020-01-21
Also published as: CN111538401A; TW202030518A

Abstract

一種顯微鏡，包括一影像擷取裝置與一人臉眼睛定位系統，該人臉眼睛定位系統是安裝在顯微鏡的軟體程式。當人臉眼睛定位系統開啟後，該影像擷取裝置偵測一使用者的臉部，對齊且鎖定臉部包括雙眼的特徵部分。該人臉眼睛定位系統追蹤臉部及/或閉眼特徵部分的移動位置，直到閉著的眼睛張開為止。如此，使用者雙手沒空，也能通過面部表情動作，對顯微鏡進行合理的操縱。

Description

人臉眼睛定位系統在顯微鏡的應用

本發明涉及人臉表情操縱電子式顯微鏡的領域，特別是指一種人臉眼睛定位系統在顯微鏡的應用。

所述的電子式顯微鏡有一物鏡組，該物鏡組配備一組旋鈕(或是按鍵)，如臺灣第M565552號專利案(擁有者為本案發明人)。

雖然，該組旋鈕被任一使用者控制，依需求操縱顯微鏡執行放大、縮小或對焦等作業。當該名使用者雙手握持工具或其他的物品，該組旋鈕就不方便手動操縱。必要時，該名使用者可先放開工具或物品，才能用空閒下來的手進行顯微鏡操作，徒增困擾。

除此之外，一款人臉辨識軟體程式(Application，簡寫為App)安裝在某些市面販售的電子設備，譬如智慧型手機。該智慧型手機的一鏡頭對持有者或是其他人拍攝臉部的影像，該影像被人臉辨識軟體程式取得眼、鼻、口等特徵部位的注意區域(Region Of Interest，縮寫為ROI)，比對任一官方機構保留的身份證明資料，用來辨識臉部影像的人物身份或個人資料。

目前，該款人臉辨識軟體程式有傾向於金融帳號開通、收入與支出的使用趨勢。換句話說，該款人臉辨識軟體程式廣泛使用於身份證明以及金融開支的領域。

鑒於此，本發明提供人臉眼睛定位系統應用在顯微鏡的方法，其主要目的在於：利用面部表情充當無線的旋鈕(或按鍵)，即使使用者的雙手沒空，也能通過面部的表情動作，對顯微鏡進行合理的操縱。

緣於上述目的之達成，本發明應用方法所稱的顯微鏡包括一影像擷取裝置與一人臉眼睛定位系統，該人臉眼睛定位系統是安裝在顯微鏡的軟體程式。

當人臉眼睛定位系統開啟後，該影像擷取裝置偵測一使用者的臉部，對齊且鎖定臉部包括雙眼的特徵部分，透過閉眼的表情動作，操縱顯微鏡執行使用者所需的作業流程及/或動作。

在使用者閉單眼時，該人臉眼睛定位系統追蹤臉部及/或閉眼特徵部分的移動位置，直到閉著的眼睛張開為止，計算出移動量，轉換為臉部及/或閉眼特徵部分的座標輸出一電信號，該電信號比對人臉眼睛定位系統的預設值，操作顯微鏡執行相應的作業流程及/或動作。

如此，本發明的人臉眼睛定位系統，判斷人臉的雙眼特徵部分的閉眼動作，充當顯微鏡的無線式旋鈕(或按鍵)，通過閉眼動作的移動量，決定放大、縮小或對焦等範圍程度。故本發明關於人臉眼睛定位系統在顯微鏡的應用，在使用者雙手沒空的情況下，也能通過面部表情變化，對顯微鏡進行合理的操縱。

為使本發明之上述目的、構造、特徵和優點，更加淺顯易懂，茲舉一個或以上較佳的實施例，配合所附的圖式詳細說明如下。

10‧‧‧主機

12‧‧‧支柱

14‧‧‧機械臂組

16‧‧‧活動臂組

18‧‧‧使用者

181‧‧‧X軸

182‧‧‧Y軸

183‧‧‧Z軸

184‧‧‧臉部特徵部分

185‧‧‧雙眼特徵部分

186‧‧‧左眼球

187‧‧‧右眼球

20‧‧‧顯微鏡

22‧‧‧目鏡組

221‧‧‧電路

222‧‧‧電源

223‧‧‧處理器

224‧‧‧記憶體

225‧‧‧顯示器

226‧‧‧影像擷取裝置

227‧‧‧預設值對照表

24‧‧‧物鏡組

242‧‧‧按鍵

30‧‧‧開啟人臉眼睛定位系統

31‧‧‧偵測使用者的臉部

32‧‧‧對齊臉部的特徵部分

33‧‧‧鎖定臉部的特徵部分

34‧‧‧追蹤特徵部位的移動位置

341‧‧‧是

342‧‧‧否

35‧‧‧計算特徵部位的移動量

36‧‧‧移動量轉換成座標

37‧‧‧座標(含人臉及眼睛)輸出

38‧‧‧關閉人臉眼睛定位系統

39‧‧‧閉單眼

40‧‧‧水平線

41、43、45、47‧‧‧位移量

42‧‧‧直線

44‧‧‧夾角

46‧‧‧縱向線

48‧‧‧路徑

49‧‧‧虛擬線

第1圖是本發明採用顯微鏡與使用者的配置示意圖。

第2圖是模擬使用者正面的立體圖。

第3圖是顯微鏡簡易的電子電路佈局圖。

第4圖是人臉眼睛定位系統應用在顯微鏡的流程圖。

第5圖是單張人臉拍攝影像的示意圖。

第6圖是擷取第5圖影像雙眼特徵部分的示意圖。

第7圖是人臉眼睛定位系統建立雙眼座標的示意圖。

第8圖是閉單眼特徵部分的示意圖。

第9圖是座標圖，計算閉單眼特徵部分的位移量。

第10圖是人臉眼睛定位系統的預設值對照表。

第11圖是其他計算閉單眼位移量的示意圖。

第1圖繪製本發明一較佳實施例的硬體部分，闡明一根支柱12固定在一棟建築物(未繪)的內部(通常是天花板)，該支柱12支撐一個主機10在室內保持可轉動的懸空狀態。該主機10連接一機械臂組14與一活動臂組16，所述的機械臂組14既能沿著縱向來回擺動，又能與活動臂組16相互轉動。

其中，所述的活動臂組16配合機械臂組14支持一顯微鏡20面對一使用者18。所述的顯微鏡20是電子設備，由一目鏡組22和一物鏡組24所組成。所述的目鏡組22與活動臂組16相連，其配置一顯示器225與一影像擷取裝置226(譬如電子鏡頭)。所述的物鏡組24聯結於機械臂組14末端，其配置一組用來操作物鏡組24及/或顯微鏡20的按鍵242(或旋鈕)。

至於顯微鏡20的細部結構，非本發明的技術核心，故不予贅述。有興趣者，請自行參閱第M565552號專利案。

第2圖模擬X軸181、Y軸182與Z軸183相互交錯於該名使用者18的頭中。因此，該名使用者18的頭既能繞著X軸181前傾或後仰(Pitch)，也可以繞著Y軸182翻轉(Roll)。當然，繞著Z軸183迴轉(Yaw)，亦屬於該名使用者18的頭轉動運動範圍內。

在第3圖中，所述的目鏡組22(或顯微鏡)依邏輯佈局一電路221。該電路221不僅電性連接前述的顯示器225與影像擷取裝置226，同時與一電源222、一處理器223和一記憶體224電性相連。該電源222通常是指市內的電力，供應目鏡組22(或顯微鏡)所需的電力。該記憶體224安裝許多的軟體程式，譬如人臉眼睛定位系統。在軟體程式的設計，所述的處理器223接收來自於物鏡組24(見第1圖)與影像擷取裝置226的影像，進行必要的處理後，透過顯示器225呈現在使用者的面前。

如第4圖所示，該名使用者手動「開啟人臉眼睛定位系統30」，操縱目鏡組面對使用者，方便影像擷取裝置「偵測使用者的臉部31」拍攝人臉影像，供所述的人臉眼睛定位系統進行「對齊臉部的特徵部分32」的圖像處理，進一步「鎖定臉部的特徵部分33」。

此處所稱的『對齊』，是指該人臉影像的注意區域(Region Of Interest，縮寫為ROI)進行對齊處理，增強辨識率，譬如該名使用者18的臉部特徵部分184，以及人臉範圍的雙眼特徵部分185(見第5圖)。

此處所稱的『鎖定』，是指對齊處理的人臉影像中，記錄雙眼特徵部分185的左眼球186與右眼球187在該圖像的座標方位(見第6圖)，相當於定位效果。

縱使，該名使用者18(見第2圖)的頭任意轉動，以致影像擷取裝置捕捉到轉動期間的人臉影像，也不會改變顯微鏡的使用結果。因為預設值對照表227(見第10圖)中，雙眼開的參數值是「人臉眼睛定位系統等待操作」，所以使用者18張開雙眼的肢體運動，對顯微鏡不會產生操作的功效。

同樣的，所述的預設值對照表227(見第10圖)規範雙眼閉的參數值是「暫時無設定值」。因此，該影像擷取裝置捕捉到使用者18(見第2圖)眨眼動作的人臉影像，也不會改變顯微鏡的使用結果。

根據預設值對照表227(見第10圖)的參數，只有該名使用者18(見第2圖)閉單眼時，所述的人臉眼睛定位系統才會按照移動量(或座標)，控制顯微鏡執行預定的作業，譬如顯示畫面的放大、縮小，以及移動畫面、焦距調整等。假設，閉單眼的使用者靜止不動，該影像擷取裝置拍攝人臉影像的座標無變化，該人臉眼睛定位系統計算的移動量為零，也不會輸出任何電信號來改變顯微鏡的使用。當然，離開前或不使用時，該名使用者18(見第2圖)要記得「關閉人臉眼睛定位系統38」。

換句話說，該人臉眼睛定位系統界定的面部表情變化是「閉單眼39」，才能邁入下一個流程，操縱顯微鏡執行使用者所需的作業流程及/或動作。

在「閉單眼39」程序中，該人臉眼睛定位系統規劃二步驟：「追蹤特徵部位的移動位置34」與「計算特徵部位的移動量35」。此處所稱的『追蹤』，是指下一張對齊處理的人臉影像，該臉部及/或閉眼特徵部分的移動位置。至於『計算』，通常是指多張對齊處理的人臉影像，計算該臉部及/或閉眼特徵部分移動的距離值。簡單的說，該影像擷取裝置捕捉使用者閉單眼的人臉影像，該人臉眼睛定位系統追蹤影像中臉部及/或閉眼特徵部分的移動位置，直到閉著的眼睛張開為止。

因此，閉單眼的座標位置「是341」正確的，該人臉眼睛定位系統始能追蹤下一幅閉單眼的移動位置，歷經「計算特徵部位的移動量35」流程，將「移動量轉換成座標36」，執行「座標(含人臉及眼睛)輸出37」至記憶體儲存即可。易言之，計算出的移動量會轉換為臉部及/或閉眼特徵部分的座標，輸出電信號比對所述的預設值對照表227(見第10圖)參數，操作顯微鏡執行相應的作業流程及/或動作。此處所稱的『轉換』，是指移動的距離值換算成該臉部及/或閉眼特徵部分的相對/絕對座標值。

倘若座標位置為「否342」，表示人臉眼睛定位系統判斷閉單眼方位不夠清晰，依程式設計回到上一個步驟，重新執行「鎖定臉部的特徵部分33」程序。

然而，該名使用者18(見第2圖)不是機器人，因心情紓壓或個人習慣的肢體動作伸，常見頭偏左、向右轉動或是前傾、後仰擺動的情況。如此，雙眼特徵部分185(見第6圖)的座標方位通常是傾斜的。

舉例來說，劃一條通過左眼球186與右眼球187的直線42，該直線42交錯一條水平(基準)線40形成一夾角44(參閱第7圖)。該人臉眼睛定位系統執行互補的調節作業，使直線42平行或重疊於水平線40，以更正後數據充當雙眼特徵部分185(見第6圖)的座標值。

假設，該名使用者閉左眼，供影像擷取裝置226(見第1或3圖)拍攝人臉影像。基於前述互補的調節作業，該人臉眼睛定位系統鎖定閉左眼的雙眼特徵部分185(見第8圖)，直到閉著的眼睛張開為止。該人臉眼睛定位系統追蹤下一張閉左眼的座標值，計算多張閉左眼特徵部位的移動量。

如第9圖所示，多張閉左眼的特徵部位落在一2D座標圖。該2D座標圖包括前述水平線40與一條縱向(基準)線46，該縱向線46垂直於水平線40。

假設，兩條線的交錯點是原來的閉左眼座標位置，那麼順著水平線40往第9圖右邊移動取得正數(符號為+)的位移量41，該位移量41 轉換成下一張閉左眼的特徵部位座標。所述的人臉眼睛定位系統輸出電信號，該電信號包含人臉及眼睛等特徵部分的座標，經由處理器223比對記憶體224(見第3圖)儲存的預設值對照表227(見第10圖)關於閉左眼參數，命令顯微鏡執行放大動作及/或作業。放大比例，大致等於位移量41的距離。

相反的，下一張閉左眼的特徵部位座標顯示，閉左眼的雙眼特徵部分順著水平線40往第9圖左邊移動，產生負數(符號為-)的位移量43。那麼處理器223(見第3圖)比對預設值對照表227(見第10圖)的參數，命令顯微鏡執行縮小作業，縮小比例大致等於位移量43的距離。

另外，閉左眼的雙眼特徵部分順著縱向線46往第9圖上方移動，取得正數(符號為+)的位移量45。或者，閉左眼的雙眼特徵部分順著縱向線46往第9圖下方移動，產生負數(符號為-)的位移量47。無論是位移量45或位移量47，均能從預設值對照表227(見第10圖)的參數，命令顯微鏡執行相關動作及/或作業。

同樣的，閉右眼的雙眼特徵部分順著水平線40或縱向線46方向位移，也能比對預設值對照表227(見第10圖)相關的參數，對顯微鏡進行無線的操縱模式。

在第11圖中，多張閉單眼的特徵部位連成一條彎曲的路徑48。該人臉眼睛定位系統對路徑48進行計算，依中間值規劃一條直的虛擬線49，有助於閉單眼特徵部位的移動量轉換成座標作業的進行。

40‧‧‧水平線

41、43、45、47‧‧‧位移量

185‧‧‧雙眼特徵部分

46‧‧‧縱向線

Claims

一種人臉眼睛定位系統在顯微鏡的應用，所述的顯微鏡包括一影像擷取裝置，並在所述的顯微鏡安裝該人臉眼睛定位系統的軟體程式；當所述的人臉眼睛定位系統開啟後，該影像擷取裝置偵測一名使用者的臉部，對齊且鎖定所述的臉部包括雙眼的特徵部分，透過閉眼的表情動作，操縱所述的顯微鏡執行該名使用者所需的作業流程及/或動作；在該名使用者閉單眼時，該人臉眼睛定位系統追蹤所述的臉部及/或閉眼特徵部分的移動位置，直到閉著的眼睛張開為止，計算出移動量，轉換為所述的臉部及/或閉眼特徵部分的座標輸出一電信號，該電信號比對所述的人臉眼睛定位系統的預設值，操作該顯微鏡執行相應的作業流程及/或動作。
如申請專利範圍第1項所述的人臉眼睛定位系統在顯微鏡的應用，其中所述的對齊，是指該影像擷取裝置偵測到該名使用者的臉部影像，根據注意區域(Region Of Interest，縮寫為ROI)進行辨識率增強的人臉影像對齊處理。
如申請專利範圍第2項所述的人臉眼睛定位系統在顯微鏡的應用，其中所述的鎖定，是指該人臉影像對齊處理後，記錄該雙眼特徵部分的座標予以定位。
如申請專利範圍第2項所述的人臉眼睛定位系統在顯微鏡的應用，其中所述的追蹤，是指下一張對齊處理的人臉影像中，該臉部及/或閉眼特徵部分的移動位置。
如申請專利範圍第4項所述的人臉眼睛定位系統在顯微鏡的應用，其中所述的計算，是指多張對齊處理的人臉影像，計算該臉部及/或閉眼特徵部分移動的距離值。
如申請專利範圍第5項所述的人臉眼睛定位系統在顯微鏡的應用，其中所述的轉換，是指移動的距離值換算成該臉部及/或閉眼特徵部分的相對/絕對座標值。