TW202300086A - 基於視覺辨識的圖案光投影方法與系統、應用於口腔檢測的方法與系統、及機械加工系統 - Google Patents

Abstract

基於視覺辨識的圖案光投影方法包括以下步驟。首先，利用投影模組向投影幕投射校正畫面。接著，利用取像模組拍攝校正畫面，以取得投影模組及取像模組之間的校正資訊。之後，利用取像模組拍攝被攝物件，以取得被攝物件的待辨識影像。偵測待辨識影像中的被攝物件，並取得待辨識影像中關聯於被攝物件的多個特徵區域的多個特徵點。從此些特徵點中擷取對應目標物件的多個目標特徵點。然後，依據校正資訊取得此些目標特徵點的投影座標，並將投影座標提供給投影模組。投影模組依據投影座標將形狀對應目標物件的投影圖案投射在被攝物件上。

Description

基於視覺辨識的圖案光投影方法與系統、應用於口腔檢測的方法與系統、及機械加工系統

本揭露是有關於一種圖案光投影方法與系統、應用於口腔檢測的方法與系統、及機械加工系統，且特別是有關於一種基於視覺辨識的圖案光投影方法與系統、應用於口腔檢測的方法與系統、及機械加工系統。

在光照不足的情況下，一般會需要利用光源對特定區域提供光照，以能夠清楚辨識物體的特定區域的情形。然而，一般的光源出光的光型均是單一形狀；若要利用同一光源產生另一種形狀的出光效果，則需要使用遮光罩。而若是要產生多個不同形狀的出光效果，則須採用多種不同設計的遮光罩，方能改變同一光源的光型。

有鑑於此，需要一種能夠視應用需求產生不同種形式光照效果的圖案光投影方法、系統及機械加工系統，例如產生特定形狀的光照效果、或以特定形狀的光照效果達成引導及輔助之功能。

本揭露係有關於一種基於視覺辨識的圖案光投影方法與系統、應用於口腔檢測的方法與系統、及機械加工系統，可改善前述問題。

根據本揭露之一方面，提出一種基於視覺辨識的圖案光投影方法。圖案光投影方法包括以下步驟。首先，利用投影模組向投影幕投射校正畫面。接著，利用取像模組拍攝校正畫面，以取得投影模組及取像模組之間的校正資訊。之後，利用取像模組拍攝被攝物件，以取得被攝物件的待辨識影像。偵測待辨識影像中的被攝物件，並取得待辨識影像中關聯於被攝物件的多個特徵區域的多個特徵點。從此些特徵點中擷取對應目標物件的多個目標特徵點。然後，依據校正資訊取得此些目標特徵點的投影座標，並將投影座標提供給投影模組。投影模組依據投影座標將形狀對應目標物件的投影圖案投射在被攝物件上。

根據本揭露之另一方面，提出一種基於視覺辨識的圖案光投影系統。圖案光投影系統具有校正模式及投影模式，且包括投影模組、取像模組以及處理器。投影模組用於在校正模式時向投影幕投射校正畫面。取像模組用於在校正模式時拍攝校正畫面，及在投影模式時拍攝被攝物件以取得被攝物件的待辨識影像。處理器耦接於投影模組及取像模組，用於在校正模式時依據所拍攝的校正畫面取得投影模組及取像模組之間的校正資訊，及在投影模式時偵測待辨識影像中的被攝物件、取得待辨識影像中關聯於被攝物件的多個特徵區域的多個特徵點、從此些特徵點中擷取對應目標物件的多個目標特徵點、依據校正資訊取得此些目標特徵點的投影座標並將投影座標提供給投影模組、及指示投影模組依據投影座標將形狀對應目標物件的投影圖案投射在被攝物件上。

根據本揭露之又一方面，提出一種應用於口腔檢測的方法。應用於口腔檢測的方法包括以下步驟。首先，利用投影模組向投影幕投射校正畫面。接著，利用取像模組拍攝校正畫面，以取得投影模組及取像模組之間的校正資訊。之後，利用取像模組拍攝人物臉部，以取得人物臉部的待辨識影像。偵測待辨識影像中的人物臉部，並取得待辨識影像中關聯於人物臉部的多個五官區域的多個特徵點。從此些特徵點中擷取對應人物嘴部的多個嘴部特徵點。然後，依據校正資訊取得此些嘴部特徵點的投影座標，並將投影座標提供給投影模組。投影模組依據投影座標將形狀對應人物嘴部的投影圖案投射在人物臉部上。

根據本揭露之再一方面，提出一種應用於口腔檢測的系統。應用於口腔檢測的系統具有校正模式及投影模式，且包括投影模組、取像模組以及處理器。投影模組用於在校正模式時向投影幕投射校正畫面。取像模組用於在校正模式時拍攝校正畫面，及在投影模式時拍攝人物臉部以取得人物臉部的待辨識影像。處理器耦接於投影模組及取像模組，用於在校正模式時依據所拍攝的校正畫面取得投影模組及取像模組之間的校正資訊，及在投影模式時偵測待辨識影像中的人物臉部、取得待辨識影像中關聯於人物臉部的多個五官區域的多個特徵點、從此些特徵點中擷取對應人物嘴部的多個嘴部特徵點、依據校正資訊取得此些嘴部特徵點的投影座標並將投影座標提供給投影模組、及指示投影模組依據投影座標將形狀對應人物嘴部的投影圖案投射在人物臉部上。

根據本揭露之其它方面，提出一種機械加工系統。機械加工系統具有校正模式及投影模式，且包括機械手臂、投影模組、取像模組以及處理器。機械手臂沿加工路徑加工工件。投影模組，用於在校正模式時向投影幕投射校正畫面。取像模組用於在校正模式時拍攝校正畫面，及在投影模式時拍攝工件以取得工件的待辨識影像。處理器耦接於投影模組及取像模組，用於在校正模式時依據所拍攝的校正畫面取得投影模組及取像模組之間的校正資訊，及在投影模式時偵測待辨識影像中的工件、取得待辨識影像中關聯於工件的多個特徵區域的多個特徵點、依據此些特徵點擷取對應加工路徑的多個目標特徵點、依據校正資訊取得此些目標特徵點的投影座標並將投影座標提供給投影模組、及指示投影模組依據投影座標將加工路徑圖案投射在工件上。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

本揭露利用投影模組針對被攝物件的特定區域產生特定形狀的投影圖案，並將投影圖案投射於此被攝物件上，藉以產生特定形狀的光照效果、或以特定形狀的光照效果達成引導及輔助之功能。

以下將詳述本揭露的各實施例，並配合圖式作為例示。除了這些詳細描述之外，本揭露還可以廣泛地施行在其他的實施例中，任何所述實施例的輕易替代、修改、等效變化都包含在本揭露的範圍內，並以之後的專利範圍為準。在說明書的描述中，為了使讀者對本揭露有較完整的瞭解，提供了許多特定細節及實施範例；然而，這些特定細節及實施範例不應視為本揭露的限制。此外，眾所周知的步驟或元件並未描述於細節中，以避免造成本揭露不必要之限制。

第1圖是依據本揭露一實施例繪示圖案光投影系統10的示意圖；第2圖是依據本揭露一實施例繪示圖案光投影系統10的方塊圖。請參照第1圖和第2圖，圖案光投影系統10包括投影模組11、取像模組12及處理器13。投影模組11及取像模組12分別耦接於處理器13。如第1圖所示，投影模組11、取像模組12及處理器13為同一體機設置，但不以此為限；一具體實施例中，取像模組可為一深度相機；又一具體實施例中，投影模組11及取像模組12可為同一體機設置，但處理器13可設置在另一機體上。

實施例中，投影模組11可投射出一投影畫面，其例如、但不限於是光學投影裝置或數位投影裝置。取像模組12擷取影像的視野可涵蓋投影模組11所投射之投影畫面，其可以是基於主動式的測量，例如散斑式結構光、相位式結構光或飛時測距(Time of flight, TOF)技術；也可以基於被動式的測量，例如利用雙相機的立體視覺技術。於此，投影模組11和取像模組12的相對位置不以第1圖所示的配置為限，只要確保取像模組12擷取影像的視野可涵蓋投影模組11所投射之投影畫面的範圍即可。

第3圖是依據本揭露一實施例繪示圖案光投影方法100的流程圖。請參照第1圖、第2圖和第3圖，圖案光投影系統10可具有校正模式M1和投影模式M2。首先，於初次使用或有需要時，令圖案光投影系統10進入校正模式M1，以確保投影模組11所產生的投影圖案能夠準確地以特定形狀投射於被攝物件上。

於步驟110中，投影模組11向一投影幕投射一校正畫面。接著，於步驟120，取像模組12拍攝校正畫面，以取得投影模組11及取像模組12之間的一校正資訊。

第4A圖是以一投影距離D1將校正畫面Pcal投影至投影幕SC的示意圖；第4B圖是以另一投影距離D2將校正畫面Pcal投影至投影幕SC的示意圖；第5A圖是依據本揭露一實施例繪示校正畫面Pcal的示意圖。

請參照第4A圖和第4B圖，當圖案光投影系統10於校正模式M1時，投影模組11可以多個不同的投影距離(如投影距離D1、D2…等)將校正畫面Pcal投影至投影幕SC，且在每一個投影距離下，取像模組12皆拍攝投影模組11所投射的校正畫面Pcal，並將所拍攝的影像傳送給處理器13讓處理器13進行運算，以得到對應此投影距離下的校正矩陣。也就是說，處理器13可得到多個對應不同投影距離的校正矩陣，以將此多個對應不同投影距離的校正矩陣作為投影模組11及取像模組12之間的校正資訊。舉例來說，如第4A圖所示，投影模組11可先以一投影距離D1投射校正畫面Pcal，處理器13經運算後可獲得對應投影距離D1的校正矩陣；接著，可依照第4A圖的箭頭方向移動投影幕SC，如第4B圖所示，讓投影模組11以另一投影距離D2投射校正畫面Pcal，處理器13經運算後可獲得對應投影距離D2的校正矩陣；然後再依前述方式獲得對應其它不同投影距離的校正矩陣。

第5B圖和第5C圖分別繪示不同實施例之校正畫面Pcal’、Pcal’’的示意圖。校正畫面Pcal、Pcal’、Pcal’’為一視覺校正板。一實施例中，投影模組11所投射的校正畫面Pcal可如第5A圖所示。請參照第5A圖，視覺校正板為二進制校正版，校正畫面Pcal可包含多個圖樣標籤T1、T2、T3、T4，分別位於校正畫面Pcal的角落位置。在第5A圖的實施例中，校正畫面Pcal是以包括AprilTag之圖樣標籤T1、T2、T3、T4的二進制校正版為例說明，但不以此為限；其它未繪示的實施例中，圖樣標籤T1、T2、T3、T4也可以、但不限於是QR碼、Aztec碼、Aruco碼等二維條碼；在第5B圖的實施例中，視覺校正板可以是棋盤格校正版(chessboard)的校正畫面Pcal’；在第5C圖的實施例中，視覺校正板可以是圓點校正板的校正畫面Pcal’’。以下以第5A圖的實施例進行說明。在第5A圖的實施例中，當取像模組12拍攝由投影模組11所投射的校正畫面Pcal時，處理器13可從取像模組12所拍攝的影像中精確地辨識出各個圖樣標籤T1、T2、T3、T4及其位置。

第6圖是依據本揭露一實施例繪示取得投影模組11及取像模組12之間的校正資訊的步驟120之示意圖。請參照第2圖和第6圖，其為取像模組12拍攝投影模組11在一投影距離下投射校正畫面Pcal的影像IMG0，例如是在第4B圖的投影距離D2下所拍攝的影像IMG0。此影像IMG0接著傳送至處理器13，處理器13依據影像IMG0中的校正畫面Pcal辨識圖樣標籤T1、T2、T3、T4。下一步，處理器13可取得已辨識的圖樣標籤T1、T2、T3、T4所對應的多個對位點P1、P2、P3、P4的座標(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)，形成第一座標系。此些對位點P1、P2、P3、P4可分別為圖樣標籤T1、T2、T3、T4的其中一角落特徵點，如對位點P1為圖樣標籤T1左上角的角落特徵點，對位點P2為圖樣標籤T2右上角的角落特徵點，對位點P3為圖樣標籤T3左下角的角落特徵點，對位點P4為圖樣標籤T4右下角的角落特徵點。對位點P1、P2、P3、P4的座標(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)分別為對應對位點P1、P2、P3、P4之像素座標。在本實施例中，由於希望取得較大的投影範圍，故將圖樣標籤T1、T2、T3、T4置於投影幕SC的最大範圍(即四個角落)，且所選的四個對位點P1、P2、P3、P4的連線對應的是最大的投影範圍。然而，圖樣標籤T1、T2、T3、T4可依照實際投影範圍的需求來擺放，並且圖樣標籤的數量也可改變。類似地，對位點的選擇也不限於本實施例的四個對位點P1、P2、P3、P4，而是可依照實際需求來選擇對位點的位置及數量。

接著，處理器13可取得一標準畫面IMG0’的多個參考點P1’、P2’、P3’、P4’的座標(u1’,v1’)、(u2’,v2’)、(u3’,v3’)、(u4’,v4’)，形成第二座標系。這些參考點P1’、P2’、P3’、P4’可位於標準畫面IMG0’的角落。標準畫面IMG0’例如是1280×720解析度之影像，但不以此為限。然後，處理器13將此些對位點P1、P2、P3、P4的座標(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)及參考點P1’、P2’、P3’、P4’的座標(u1’,v1’)、(u2’,v2’)、(u3’,v3’)、(u4’,v4’)進行轉換。舉例來說，處理器13將第一座標系和第二座標系進行單應性轉換，以建立校正矩陣；並且，基於取像模組12可獲取深度值的功能，處理器13可得知此校正矩陣為對應投影距離D2的校正矩陣。之後，圖案光投影系統10可再依前述方式，針對不同投影距離建立校正矩陣，例如以每5公分的距離變化建立校正矩陣，並將這些校正矩陣儲存下來，以供圖案光投影系統10在投影模式M2下使用。

另一方面，於其它實施例中，當圖案光投影系統10於校正模式M1時，投影模組11還可進一步將目前投影距離下各個圖樣標籤T1、T2、T3、T4的深度值投射至投影幕SC上，以供確認投影幕SC是否共平面或有歪斜的情況發生，而可能得到錯誤的校正矩陣。請參照第7A圖和第7B圖，其是依據本揭露一實施例繪示將各個圖樣標籤T1、T2、T3、T4的深度值D _T1、D _T2、D _T3、D _T4投射至投影幕SC之示意圖。首先，處理器13可從取像模組12分別取得圖樣標籤T1、T2、T3、T4的深度值。舉例來說，處理器13可將圖樣標籤T1的四個角落特徵點的深度值進行平均，以得到圖樣標籤T1的深度值D _T1；將圖樣標籤T2的四個角落特徵點的深度值進行平均，以得到圖樣標籤T2的深度值D _T2；深度值D _T3及深度值D _T4依照同樣方式取得，於此不再贅述。然後，處理器13依據此些深度值D _T1、D _T2、D _T3、D _T4計算平均深度資訊D _AVG。接著，處理器13可令投影模組11將深度值D _T1、D _T2、D _T3、D _T4及平均深度資訊D _AVG投射至投影幕SC上。其中，因圖樣標籤T3的深度值D _T3與平均深度資訊D _AVG之間的差異大於一限值，故將此深度值標記出來，如第7A圖所示。如此一來，調校人員即可由此察覺投影幕SC可能有歪斜的情況發生，便能夠及時地調整投影幕SC相對於投影模組11的位姿，以使差異在可接受的限值內，如第7B圖所示，此時圖樣標籤T3的深度值D _T3’符合條件。一旦所有深度值D _T1、D _T2、D _T3’、D _T4與平均深度資訊D _AVG’之間的差異均在限值內，處理器13即可取得對位點的座標。

根據前述內容，本揭露係透過投影模組11將校正畫面Pcal投射至投影幕SC上，省去以往使用實體校正板的諸多不便。例如，若使用實體校正板進行校正，常會因為環境光源不可控，導致校正效果和校正品質容易受到影響，連帶地可能影響到後續進入投影模式M2時投影模組11投射的準確性。此外，由於校正畫面Pcal可透過投影模組11投影出來，因此可以因應需求快速地更換不同的校正畫面Pcal。再者，於本揭露一實施例中，校正畫面Pcal係使用圖樣標籤T1~T4，圖樣標籤T1~T4的每個角落特徵點上均具有唯一的編碼，因此能夠準確地被辨識，使得後續在利用此校正畫面Pcal所得到的校正資訊時，投影模組11能夠準確且穩定地將投影圖案投射於被攝物件的特定區域上。相較於棋盤格外觀的校正板、或是圓點校正板，其大小、排列均為固定，在進行校正時僅能粗略地得知校正後的畸變參數是否正確，而無法驗證其它相機參數，導致可能會影響後續投影模組11投射的準確性。

在完成校正模式M1之後，如第3圖所示，可令圖案光投影系統10進入投影模式M2。於步驟130中，取像模組12拍攝一被攝物件，以取得被攝物件的待辨識影像。

第8圖繪示被攝物件為臉部HF的一範例；第9A圖繪示被攝物件為臉部HF的待辨識影像IMG1。請參照第8圖和第9A圖，本實施例中，臉部HF例如是人物臉部。若今有一物體(例如是靜態或動態物體，本實施例中舉例為人物1)出現在取像模組12的視野中，取像模組12可取得物體(如人物1)之臉部HF的待辨識影像IMG1，並將待辨識影像IMG1輸入處理器13。

請參照第3圖，於步驟140中，處理器13偵測待辨識影像IMG1中的被攝物件，並取得待辨識影像IMG1中關聯於被攝物件的多個特徵區域的多個特徵點。請參照第9A圖，處理器13可基於視覺辨識演算法辨識出關聯於臉部HF的多個特徵區域，特徵區域例如是五官區域，如眉部區域R1、眼部區域R2、鼻部區域R3和嘴部區域R4等。其中，每個特徵區域可由多個特徵點所組成，如眉部區域R1由多個眉部特徵點F1組成、眼部區域R2由多個眼部特徵點F2組成、鼻部區域R3由多個鼻部特徵點F3組成和嘴部區域R4由多個嘴部特徵點F4組成等。於此，視覺辨識演算法為人臉視覺辨識演算法，其可以、但不限於是通過LeNet、AlexNet、VGGnet、NIN、GoogLeNet, MobileNet、SqueezeNet、ResNet、SiameseNet、NASNet、RNN等預訓練模型(pre-trained model)進行臉部五官的辨識，進一步找出關聯於臉部HF的多個五官區域(眉部區域R1、眼部區域R2、鼻部區域R3和嘴部區域R4)的多個特徵點(眉部特徵點F1、眼部特徵點F2、鼻部特徵點F3、嘴部特徵點F4)。

請參照第3圖，接著，於步驟150中，處理器13從此些特徵點F1、F2、F3、F4中擷取對應一目標物件的多個目標特徵點。於第8圖的實施例中，若目標物件為嘴部MT(例如是人物嘴部)，則如第9B圖所示，其繪示對應嘴部MT的多個嘴部特徵點F4。處理器13從特徵點F1、F2、F3、F4中選取歸屬於嘴部MT之類別具有最大相似度的嘴部特徵點F4為目標特徵點，並取得嘴部特徵點F4的座標。

請參照第3圖，於步驟160中，處理器13依據校正資訊取得此些目標特徵點的一投影座標，並將投影座標提供給投影模組11。由於在校正模式M1中，已針對不同投影距離建立校正矩陣，並將這些校正矩陣儲存下來作為校正資訊。因此，在此步驟中，若能得知此些目標特徵點相對取像模組12的深度距離，即可使用對應此深度距離的校正矩陣，將目標特徵點的座標轉換為投影模組11的投影座標。

進一步地說，第10圖是依據本揭露一實施例繪示依據校正資訊取得此些目標特徵點的投影座標，並將投影座標提供給投影模組11的步驟160。請參照第10圖，於步驟161中，處理器13根據此些特徵區域尋找一參考區域，並擷取參考區域的一參考特徵點。。舉例來說，請參照第9A圖，處理器13可從五官區域中尋找參考區域，從而將鼻部區域R3做為參考區域，並擷取鼻部區域R3的鼻尖特徵點F3’作為參考特徵點。

接著，請參照第10圖，於步驟162中，處理器13取得參考特徵點的一深度值。請參照第9A圖，於一實施例中，處理器13可透過取像模組12得知人物1的鼻部區域R3的深度值，進而取得鼻尖特徵點F3’的深度值。取像模組12可先取得待辨識影像IMG1中鼻部區域R3之各鼻部特徵點F3的影像座標，並透過內部參數將影像座標轉換成相機座標，而能夠得知各鼻部特徵點F3相對取像模組12的深度值，進而取得鼻尖特徵點F3’的深度值。

之後，請參照第10圖，於步驟163，處理器13利用對應此深度值的校正資訊，將此些目標特徵點的座標轉換為投影座標。請參照第9A圖和第9B圖，於一實施例中，處理器13可從所儲存的校正矩陣中，選取對應鼻尖特徵點F3’的深度值的校正矩陣，並利用此校正矩陣將多個嘴部特徵點F4的影像座標轉換為投影座標，並將投影座標提供給投影模組11。

一般而言，因嘴部MT時常有開合的情況產生，若選擇的是對應嘴部特徵點F4之深度值的校正矩陣，容易因嘴部MT的開合而選取到不正確的校正矩陣，導致轉換到錯誤的投影座標。因此，實施例中選取對應鼻部特徵點F3之深度值的校正矩陣，且進一步係選取對應鼻尖特徵點F3’之深度值的校正矩陣，相較於直接選取對應嘴部特徵點F4之深度值的校正矩陣，將可轉換而得到結果較為穩定的投影座標。此外，因臉部HF五官之間的高低起伏差距並不大，故對應鼻尖特徵點F3’之深度值的校正矩陣仍可適用於嘴部特徵點F4的座標之轉換。

第11圖繪示將投影圖案P _pat1投射在臉部HF的示意圖。請參照第3圖和第11圖，在得到投影座標後，於步驟170中，投影模組11依據投影座標將形狀對應目標物件(例如嘴部MT)的一投影圖案P _pat1投射在被攝物件(例如臉部HF)上。如第9C圖所示，其繪示對應嘴部MT之形狀的投影圖案P _pat1。請參照第9C圖和第11圖，投影模組11可針對嘴部MT的區域產生投影圖案P _pat1的光照效果，且在嘴部MT以外的其餘區域不投射光，使得投影模組11可針對臉部HF的特定區域將形狀對應嘴部MT的投影圖案P _pat1投射於臉部HF上，進而產生特定形狀的光照效果。

請參照第3圖，後續於投影模式M2中，則繼續重複執行步驟130~170，不斷地進行目標物件之自動追蹤，且投影模組11亦不斷地跟隨目標物件的位置將相應的投影圖案投射於被攝物件上。

第12圖是依據本揭露另一實施例繪示圖案光投影方法200的流程圖。請參照第12圖，相較於第3圖的實施例，本實施例在投影模式M2中，於擷取對應目標物件的多個目標特徵點之步驟150之後，還進一步包括預測追蹤此些目標特徵點的動向之步驟280。於一實施例中，處理器13可基於影像追蹤演算法，如使用卡爾曼濾波器(Kalman filter)，預測此些目標特徵點的位置及方向。例如以第9A圖為例，處理器13可預測追蹤多個嘴部特徵點F4的動向，以有效縮小待辨識影像IMG1的偵測範圍。並且，於步驟170之後的步驟290，取像模組12持續取得被攝物件的待辨識影像，接著繼續進行步驟280的預測追蹤，以持續於取像模組12的視野內動態追蹤多個目標特徵點。

另外，若前述的實施例中，如執行第3圖和第12圖的步驟140，發現待辨識影像中的被攝物件的偵測失敗時，處理器13可調整待辨識影像的亮度。舉例來說，若目前環境的亮度過暗，而無法讓處理器13進行影像辨識進而取得關聯於被攝物件的多個特徵區域的多個特徵點時，處理器13可基於影像處理演算法，對待辨識影像的全部區域、或是針對待辨識影像中的局部區域提升亮度，而得到一調光後的待辨識影像。反之，若目前環境的亮度過暗，則處理器13可基於影像處理演算法調暗待辨識影像的亮度。如此一來，即使目前環境的亮度不利於影像辨識，仍可在不影響實際環境光源的情況下，依據影像處理的方法調整待辨識影像的亮度，從而確保待辨識影像中特徵點或目標特徵點之偵測的準確性。

第13A圖繪示當被攝物件為臉部HF的應用實例。請參照第13A圖，於一實施例中，圖案光投影系統10可應用於口腔檢測，以便於採檢人員Dr採樣人物1之口腔內的檢體；或是於一未繪示的實施例中，便於牙醫檢查患者之口腔狀況。當採檢人員Dr欲採樣人物1之口腔內的檢體時，採檢人員Dr的雙手須穿過隔離板IP並套進隔離手套h內來進行採檢，以降低感染風險。此時若照明狀況不佳，採檢人員Dr不便以徒手來調整照明狀況；若要嘗試徒手調整，反而容易增加感染風險。如前內容所述，投影模組11可將形狀對應嘴部MT的投影圖案P _pat1投射於臉部HF，且投影圖案P _pat1可隨著嘴部MT的嘴型及位置自動變化以協助照明，讓採檢人員Dr能夠清楚地檢視人物1之口腔內部，採檢人員Dr無須透過手動的方式進行光照的調整以降低交叉感染的風險。

第13B圖繪示當被攝物件為物料籃2的應用實例。請參照第13B圖，於一實施例中，圖案光投影系統10可應用於操作人員在物料籃2取料的引導。物料籃2中可放置零件(例如不同規格的螺絲分別放置在不同物料籃2中)、貨品及/或商品(例如不同的寶特瓶飲料分別放置在不同物料籃2中)。投影模組11可依據工單順序向待被取料之物料籃2投射形狀對應的投影圖案P _pat2，且投影圖案P _pat2更可包含取料順序，例如在第13B圖中，投影模組11分別將「1」、「2」、「3」之數字的投影圖案P _pat2顯示在三個不同的物料籃2，此數字即代表取料順序，藉以引導及輔助操作人員依據數字的順序進行取料。

第13C圖繪示當被攝物件為待組裝的產品3的應用實例。請參照第13C圖，於一實施例中，圖案光投影系統10可應用於操作人員在產品組裝的引導，例如是組裝一電路板。投影模組11可依據組裝順序向待被組裝的產品3投射形狀對應的投影圖案P _pat3，如形狀對應電路板上某一元件的投影圖案P _pat3，讓操作人員得知此時應組裝此元件，藉以引導及輔助操作人員進行組裝。待此元件組裝完畢後，投影模組11再依據組裝順序將投影圖案P _pat3投射在電路板的另一元件上，以引導操作人員進行另一元件的組裝。藉由引導及輔助操作人員進行組裝的方式，可實現人員組裝的重複性與再現性(Gage R&R)，避免操作人員將元件組裝錯誤或遺漏組裝元件。此外，對於不熟悉組裝流程的人員來說，也能夠引導他/她進行組裝。

第14圖是依據本揭露一實施例繪示機械加工系統20的示意圖。機械加工系統20包括機械手臂Rm、投影模組11、取像模組12及處理器13。投影模組11、取像模組12及處理器13類似於前述實施例，於此不再贅述。

實施例中，機械手臂Rm可透過一攝像機的視野並經由視覺辨識對工件WP進行定位，根據所定位的工件WP自動生成加工路徑，接著沿加工路徑對工件WP進行加工。在機械手臂Rm對工件WP進行加工之前，投影模組11可向工件WP投射一加工路徑圖案P _pat4，以事先讓一旁的操作人員瞭解機械手臂Rm的加工路徑是否正確，避免機械手臂Rm在對工件WP進行加工後才發覺加工路徑有誤。進一步來說，在本實施例中，加工路徑圖案P _pat4是一個加工路徑。如第15圖所示，其繪示對應加工路徑的加工路徑圖案P _pat4。加工路徑圖案P _pat4由起始點SP與終點FP以及路徑所構成。在本實施例中，係以圖中左上角點作為起始點、同時為終點，但不以此為限。也就是說，起始點SP與終點FP可以是同個點、也可以是不同點，本揭露並未對起始點SP與終點FP加以限制。

第16圖是依據本揭露一實施例繪示將圖案光投影方法300應用於機械加工系統20的流程圖；第17圖繪示工件WP的待辨識影像IMG2。請參照第14圖和第16圖，其中校正模式M1的步驟如前所述，於此不再重複提及。在投影模式M2中，於步驟330中，取像模組12拍攝一工件WP，以取得工件WP的待辨識影像IMG2，如第17圖所示。

於步驟340中，處理器13偵測待辨識影像IMG2中的工件WP，並取得待辨識影像IMG2中關聯於工件WP的多個特徵區域的多個特徵點。如第17圖所示，處理器13可基於視覺辨識演算法辨識出關聯於工件WP的多個特徵區域，如邊緣區域R5、中心區域R6等，而每個特徵區域可由多個特徵點所組成，例如邊緣區域R5由多個邊緣特徵點F5組成、中心區域R6由中心點F6組成。因此，處理器13可取得對應於工件WP之輪廓上的邊緣區域R5的邊緣特徵點F5。

於步驟350中，處理器13依據此些特徵點(如邊緣特徵點F5)擷取對應加工路徑的多個目標特徵點F7。如第17圖所示，處理器13可擷取從邊緣特徵點F5向內縮一距離的各個特徵點作為對應加工路徑的多個目標特徵點F7。

於步驟360中，處理器13依據校正資訊取得此些目標特徵點F7的一投影座標，並將投影座標提供給投影模組11。一實施例中，步驟360可依照如第10圖所述的方式來取得多個目標特徵點F7的投影座標。舉例來說，處理器13可先尋找對應工件WP中心的中心區域R6，並擷取中心區域R6的中心點F6作為參考特徵點。接著，如前述內容，處理器13可透過取像模組12得知工件WP的中心的深度值，進而取得中心點F6的深度值。之後，處理器13利用對應此深度值的校正資訊，將多個目標特徵點F7的座標轉換為投影座標。也就是說，處理器13可從所儲存的校正矩陣中，選取對應中心點F6的深度值的校正矩陣，並利用此校正矩陣將目標特徵點F7的影像座標轉換為投影座標，並將投影座標提供給投影模組11。

接著，於步驟370中，投影模組11依據投影座標將一加工路徑圖案P _pat4投射在工件WP上。請參照第14圖和第15圖，投影模組11可針對加工路徑的區域產生加工路徑圖案P _pat4的光照效果，且在加工路徑以外的其餘區域不投射光，使得投影模組11可針對工件WP的特定區域將對應加工路徑的加工路徑圖案P _pat4投射於工件WP上，進而產生特定形狀的光照效果。

綜上所述，根據本揭露所提供的基於視覺辨識的圖案光投影方法與系統、應用於口腔檢測的方法與系統、及機械加工系統，能夠利用投影模組針對被攝物件的特定區域產生特定形狀的投影圖案，並將投影圖案投射於此被攝物件上，藉以產生特定形狀的光照效果、或以特定形狀的光照效果達成引導及輔助之功能。此外，實施例中更藉由投影模組將校正畫面投射至投影幕以進行校正，取代以往使用實體校正板的諸多不便。並且，實施例中亦開發出具有圖樣標籤的校正畫面，使得本揭露的校正品質相對以往校正方式均有改善。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

1:人物 2:物料籃 3:待被組裝的產品 10:圖案光投影系統 11:投影模組 12:取像模組 13:處理器 20:機械加工系統 100,200,300:圖案光投影方法 110,120,130,140,150,160,161,162,163,170,280,290,330,340,350,360,370:步驟 D1,D2:投影距離 D _T1,D _T2,D _T3,D _T3’,D _T4:深度值 D _AVG,D _AVG’:平均深度資訊 Dr:採檢人員 F1,F2,F3,F3’,F4,F5:特徵點 F6:中心點 F7:目標特徵點 FP:終點 h:隔離手套 HF:臉部 IMG0:影像 IMG0’:標準畫面 IMG1,IMG2:待辨識影像 IP:隔離板 M1:校正模式 M2:投影模式 MT:嘴部 P1,P2,P3,P4:對位點 P1’,P2’,P3’,P4’:參考點 Pcal,Pcal’,Pcal’’:校正畫面 P _pat1,P _pat2,P _pat3:投影圖案 P _pat4:加工路徑圖案 R1:眉部區域 R2:眼部區域 R3:鼻部區域 R4:嘴部區域 R5:邊緣區域 R6:中心區域 Rm:機械手臂 SC:投影幕 SP:起始點 T1,T2,T3,T4:圖樣標籤 WP:工件

第1圖是依據本揭露一實施例繪示圖案光投影系統的示意圖； 第2圖是依據本揭露一實施例繪示圖案光投影系統的方塊圖； 第3圖是依據本揭露一實施例繪示圖案光投影方法的流程圖； 第4A圖是以一投影距離將校正畫面投影至投影幕的示意圖； 第4B圖是以另一投影距離將校正畫面投影至投影幕的示意圖； 第5A圖是依據本揭露一實施例繪示校正畫面的示意圖； 第5B圖是依據本揭露另一實施例繪示校正畫面的示意圖； 第5C圖是依據本揭露又一實施例繪示校正畫面的示意圖； 第6圖是依據本揭露一實施例繪示取得投影模組及取像模組之間的校正資訊的步驟之示意圖； 第7A和7B圖是依據本揭露一實施例繪示將各個圖樣標籤的深度值投射至投影幕之示意圖； 第8圖繪示被攝物件為臉部的一範例； 第9A圖繪示被攝物件為臉部的待辨識影像； 第9B圖繪示對應嘴部的多個目標特徵點； 第9C圖繪示對應嘴部之形狀的投影圖案； 第10圖是依據本揭露一實施例繪示依據校正資訊取得此些目標特徵點的投影座標，並將投影座標提供給投影模組的步驟； 第11圖繪示將投影圖案投射在臉部的示意圖； 第12圖是依據本揭露另一實施例繪示圖案光投影方法的流程圖； 第13A圖繪示當被攝物件為臉部的應用實例； 第13B圖繪示當被攝物件為物料籃的應用實例； 第13C圖繪示當被攝物件為待組裝的產品的應用實例； 第14圖是依據本揭露一實施例繪示機械加工系統的示意圖； 第15圖繪示對應加工路徑的加工路徑圖案； 第16圖是依據本揭露一實施例繪示將圖案光投影方法應用於機械加工系統的流程圖；以及 第17圖繪示工件的待辨識影像及關連於工件的多個特徵點。

100:圖案光投影方法

110,120,130,140,150,160,170:步驟

M1:校正模式

M2:投影模式

Claims (35)

1. 一種基於視覺辨識的圖案光投影方法，包括： 利用一投影模組向一投影幕投射一校正畫面； 利用一取像模組拍攝該校正畫面，以取得該投影模組及該取像模組之間的一校正資訊； 利用該取像模組拍攝一被攝物件，以取得該被攝物件的一待辨識影像； 偵測該待辨識影像中的該被攝物件，並取得該待辨識影像中關聯於該被攝物件的複數個特徵區域的複數個特徵點； 從該些特徵點中擷取對應一目標物件的複數個目標特徵點； 依據該校正資訊取得該些目標特徵點的一投影座標，並將該投影座標提供給該投影模組；以及 該投影模組依據該投影座標將形狀對應該目標物件的一投影圖案投射在該被攝物件上。
2. 如請求項1所述之基於視覺辨識的圖案光投影方法，其中該校正畫面包含複數個圖樣標籤，分別位於該校正畫面的角落。
3. 如請求項2所述之基於視覺辨識的圖案光投影方法，其中取得該投影模組及該取像模組之間的該校正資訊的步驟包括： 以不同投影距離遞迴地執行以下步驟： 該投影模組以一投影距離將該校正畫面投射至該投影幕，以供該取像模組拍攝該校正畫面； 依據所拍攝的該校正畫面辨識該些圖樣標籤； 取得已辨識的該些圖樣標籤所對應的複數個對位點的座標； 取得一標準畫面的複數個參考點的座標；及 將該些對位點的座標及該些參考點的座標進行轉換，以取得對應該投影距離的一校正矩陣；以及 得到對應不同投影距離的複數個校正矩陣作為該校正資訊。
4. 如請求項3所述之基於視覺辨識的圖案光投影方法，其中該些參考點為該標準畫面的角落。
5. 如請求項3所述之基於視覺辨識的圖案光投影方法，其中取得已辨識的該些圖樣標籤所對應的該些對位點的座標的步驟包括： 利用該取像模組分別取得該些圖樣標籤的複數個深度值； 依據該些深度值計算一平均深度資訊； 其中各該圖樣標籤的各該深度值分別與該平均深度資訊之間具有一差異，當該差異小於一限值時，取得該些對位點的座標。
6. 如請求項5所述之基於視覺辨識的圖案光投影方法，其中在取得已辨識的該些圖樣標籤所對應的該些對位點的座標的步驟中，該投影模組還將該些圖樣標籤的該些深度值及該平均深度資訊投射至該投影幕。
7. 如請求項1所述之基於視覺辨識的圖案光投影方法，其中該被攝物件為臉部、工件、物料籃或待組裝的產品。
8. 如請求項1所述之基於視覺辨識的圖案光投影方法，其中該目標物件為嘴部，該投影圖案為嘴部形狀。
9. 如請求項1所述之基於視覺辨識的圖案光投影方法，更包括： 當該待辨識影像中的該被攝物件的偵測失敗時，調整該待辨識影像的亮度。
10. 如請求項1所述之基於視覺辨識的圖案光投影方法，其中依據該校正資訊取得該些目標特徵點的該投影座標，並將該投影座標提供給該投影模組的步驟包括： 根據該些特徵區域尋找一參考區域，並擷取該參考區域的一參考特徵點； 取得對應該參考特徵點的一深度值；以及 利用對應該深度值的該校正資訊，將該些目標特徵點的座標轉換為該投影座標。
11. 如請求項1所述之基於視覺辨識的圖案光投影方法，其中該取像模組為深度相機。
12. 一種基於視覺辨識的圖案光投影系統，具有一校正模式及一投影模式，包括： 一投影模組，用於在該校正模式時向一投影幕投射一校正畫面； 一取像模組，用於在該校正模式時拍攝該校正畫面，及在該投影模式時拍攝一被攝物件以取得該被攝物件的一待辨識影像；以及 一處理器，耦接於該投影模組及該取像模組，用於在該校正模式時依據所拍攝的該校正畫面取得該投影模組及該取像模組之間的一校正資訊，及在該投影模式時偵測該待辨識影像中的該被攝物件、取得該待辨識影像中關聯於該被攝物件的複數個特徵區域的複數個特徵點、從該些特徵點中擷取對應一目標物件的複數個目標特徵點、依據該校正資訊取得該些目標特徵點的一投影座標並將該投影座標提供給該投影模組、及指示該投影模組依據該投影座標將形狀對應該目標物件的一投影圖案投射在該被攝物件上。
13. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中該投影模組及該取像模組為同一體機設置。
14. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中該校正畫面包含複數個圖樣標籤，分別位於該校正畫面的角落。
15. 如請求項13所述之基於視覺辨識的圖案光投影系統，其中該投影模組係以一投影距離將該校正畫面投射至該投影幕，以供該取像模組拍攝該校正畫面，該處理器依據所拍攝的該校正畫面辨識該些圖樣標籤、取得已辨識的該些圖樣標籤所對應的複數個對位點的座標、取得一標準畫面的複數個參考點的座標、及將該些對位點的座標及該些參考點的座標進行轉換，以取得對應該投影距離的一校正矩陣； 其中在該校正模式時，該投影模組以不同投影距離將該校正畫面投射至該投影幕，以得到對應不同投影距離的複數個校正矩陣作為該校正資訊。
16. 如請求項14所述之基於視覺辨識的圖案光投影系統，其中該些參考點為該標準畫面的角落。
17. 如請求項14所述之基於視覺辨識的圖案光投影系統，其中該處理器係從該取像模組分別取得該些圖樣標籤的複數個深度值，並依據該些深度值計算一平均深度資訊； 其中各該圖樣標籤的各該深度值分別與該平均深度資訊之間具有一差異，當該差異小於一限值時，該處理器取得該些對位點的座標。
18. 如請求項16所述之基於視覺辨識的圖案光投影系統，其中該投影模組還將該些圖樣標籤的該些深度值及該平均深度資訊投射至該投影幕。
19. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中該被攝物件為臉部、工件、物料籃或待組裝的產品。
20. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中該目標物件為嘴部，該投影圖案為嘴部形狀。
21. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中當該待辨識影像中的該被攝物件的偵測失敗時，該處理器調整該待辨識影像的亮度。
22. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中該處理器係根據該些特徵區域尋找一參考區域並擷取該參考區域的一參考特徵點、取得對應該參考特徵點的一深度值、及利用對應該深度值的該校正資訊將該些目標特徵點的座標轉換為該投影座標。
23. 如請求項11所述之基於視覺辨識的圖案光投影系統，其中該取像模組為深度相機。
24. 一種應用於口腔檢測的方法，包括： 利用一投影模組向一投影幕投射一校正畫面； 利用一取像模組拍攝該校正畫面，以取得該投影模組及該取像模組之間的一校正資訊； 利用該取像模組拍攝一人物臉部，以取得該人物臉部的一待辨識影像； 偵測該待辨識影像中的該人物臉部，並取得該待辨識影像中關聯於該人物臉部的複數個五官區域的複數個特徵點； 從該些特徵點中擷取對應一人物嘴部的複數個嘴部特徵點； 依據該校正資訊取得該些嘴部特徵點的一投影座標，並將該投影座標提供給該投影模組；以及 該投影模組依據該投影座標將形狀對應該人物嘴部的一投影圖案投射在該人物臉部上。
25. 如請求項24所述之應用於口腔檢測的方法，其中依據該校正資訊取得該些嘴部特徵點的該投影座標，並將該投影座標提供給該投影模組的步驟包括： 根據該些五官區域尋找一鼻部區域，並擷取該鼻部區域的一鼻部特徵點； 取得對應該鼻部特徵點的一深度值；以及 利用對應該深度值的該校正資訊，將該些嘴部特徵點的座標轉換為該投影座標。
26. 如請求項24所述之應用於口腔檢測的方法，其中該取像模組為深度相機。
27. 如請求項25所述之應用於口腔檢測的方法，其中該鼻部特徵點為鼻尖特徵點。
28. 一種應用於口腔檢測的系統，具有一校正模式及一投影模式，包括： 一投影模組，用於在該校正模式時向一投影幕投射一校正畫面； 一取像模組，用於在該校正模式時拍攝該校正畫面，及在該投影模式時拍攝一人物臉部以取得該人物臉部的一待辨識影像；以及 一處理器，耦接於該投影模組及該取像模組，用於在該校正模式時依據所拍攝的該校正畫面取得該投影模組及該取像模組之間的一校正資訊，及在該投影模式時偵測該待辨識影像中的該人物臉部、取得該待辨識影像中關聯於該人物臉部的複數個五官區域的複數個特徵點、從該些特徵點中擷取對應一人物嘴部的複數個嘴部特徵點、依據該校正資訊取得該些嘴部特徵點的一投影座標並將該投影座標提供給該投影模組、及指示該投影模組依據該投影座標將形狀對應該人物嘴部的一投影圖案投射在該人物臉部上。
29. 如請求項28所述之應用於口腔檢測的系統，其中該投影模組及該取像模組為同一體機設置。
30. 如請求項28所述之應用於口腔檢測的系統，其中該處理器係根據該些五官區域尋找一鼻部區域並擷取該鼻部區域的一鼻部特徵點、取得對應該鼻部特徵點的一深度值、及利用對應該深度值的該校正資訊將該些嘴部特徵點的座標轉換為該投影座標。
31. 如請求項30所述之應用於口腔檢測的系統，其中該鼻部特徵點為鼻尖特徵點。
32. 如請求項29所述之應用於口腔檢測的系統，其中該取像模組為深度相機。
33. 一種機械加工系統，具有一校正模式及一投影模式，包括： 一機械手臂，沿一加工路徑加工一工件； 一投影模組，用於在該校正模式時向一投影幕投射一校正畫面； 一取像模組，用於在該校正模式時拍攝該校正畫面，及在該投影模式時拍攝該工件以取得該工件的一待辨識影像；以及 一處理器，耦接於該投影模組及該取像模組，用於在該校正模式時依據所拍攝的該校正畫面取得該投影模組及該取像模組之間的一校正資訊，及在該投影模式時偵測該待辨識影像中的該工件、取得該待辨識影像中關聯於該工件的複數個特徵區域的複數個特徵點、依據該些特徵點擷取對應該加工路徑的複數個目標特徵點、依據該校正資訊取得該些目標特徵點的一投影座標並將該投影座標提供給該投影模組、及指示該投影模組依據該投影座標將一加工路徑圖案投射在該工件上。
34. 如請求項33所述之機械加工系統，其中該些特徵點對應於該工件之輪廓上的任一點。
35. 如請求項33所述之機械加工系統，其中該處理器係根據該些特徵區域尋找對應該工件之一中心區域並擷取該中心區域的一中心點，從該取像模組取得對應該中心點的一深度值，並利用對應該深度值的該校正資訊，將該些目標特徵點的座標轉換為該投影座標。

Images