TWI393980B - The method of calculating the depth of field and its method and the method of calculating the blurred state of the image - Google Patents

Description

景深量測裝置及其方法以及影像失焦模糊狀態之運算方法

本發明係有關於一種影像處理裝置，特別是指一種景深量測裝置及其方法以及影像失焦模糊狀態之運算方法。

量測距離技術係受到各領域之廣泛應用，如航空測距、航海測距、工業測距、相機測距等等，其中基於影像處理之深度量測技術的相關學術論文與專利所揭露之發展方法包含以下兩種類型：第一、在系統架構上的改良，如Daily；Michael J.所提出之美國專利編號第US 5,361,127號之「Multi-image single sensor depth recovery system」所揭示之內容，其中一多影像單感測器景深回復系統係包含一感測裝置、一多平面透鏡與一多影像立體深度感測件，該感測裝置具有一感測平面，該多平面透鏡包含複數小透鏡，該些小透鏡同時投射一目標之複數影像至該感測平面，該多影像立體深度感測件係依據該感測平面上之該些影像運算出對應該目標之一深度，也就是說，美國專利編號第US 5,361,127號之「Multi-image single sensor depth recovery system」所揭示之內容為一透鏡改良為一次可以投射出多張影像之透鏡結構，以同時投射對應該目標之多張影像於該感測平面上；以及第二、在演算法上之改良，如Hanna；Keith James等人所提出之美國專利編號第US 6,490,364之「 Apparatus for enhancing images using flow estimation」所揭示之內容，其中一影像增強設備係包含一第一影像裝置、一第二影像裝置與一影像處理器，第一影像裝置係產生具一第一解析度之複數第一影像，第二影像裝置產生具一第二解析度之複數第二影像，該影像處理器排列該些第一影像與該些第二影像，以運算該些影像之視差，而進一步求得深度，其中第一影像裝置與第二影像裝置分別為一相機，以擷取一待測目標之圖像，再藉由一影像處理器計算此兩圖像之位移(offset)，並以此求得對應該待測目標之視差，而為確保量測之準確性，可針對該待測目標擷取多張圖像，尤其當待測目標被物體遮蔽時。

然而，無論上述之哪一種類技術皆必須先針對一待測目標擷取兩張以上之影像，再找出該些影像之間的對應點，以重建對應該待測目標之深度資訊。但目前的技術多受限於電路之複雜度或光學結構之精密度而導致硬體成本提高以及影像處理之演算法的複維度高，在開發及使用上無法得到適度的推廣。

因此，本發明即針對上述問題而提出一種景深量測裝置及其方法，可提供較佳之運算效率，且可提供較簡單之電路，以解決上述問題。

本發明之一目的在於提供一種景深量測裝置及其方法以及影像失焦模糊狀態之運算方法，其利用一模糊模型比對一目標模糊影像，以獲得一景深資訊，而簡化景深運算。

本發明之另一目的在於提供一種景深量測裝置及其方法以及影像失焦模糊狀態之運算方法，其利用影像資料中既有之灰階進行分析，以取得對應之灰階資料用於景深量測，可減少影像處理。

本發明之另一目的在於提供一種景深量測裝置及其方法以及影像失焦模糊狀態之運算方法，其利用失焦所導致之模糊影像進行運算，而獲得模糊狀態資料，以用於產生模糊模型或產生景深資訊。

本發明係提供一種景深量測裝置及其方法以及影像失焦模糊狀態之運算方法，其中景深量測裝置包含一影像分析單元與一模糊比對模組，該影像分析單元係接收複數參考模糊影像並分析其灰階，對應產生複數參考灰階資料並傳送至該模糊比對模組，其中該些參考模糊影像對應至複數參考景深，該模糊比對模組係依據該些參考灰階資料與該些參考景深產生一模糊模型。該影像分析單元接收一目標模糊影像並分析其灰階，對應產生一目標灰階資料並傳送至該模糊比對模組，該模糊比對模組依據該目標灰階資料與該模糊模型進行比對，而產生對應該目標模糊影像之一深度資訊。由於本發明先利用複數參考模糊影像與對應之複數參考景深，用於建立模糊模型，如此本發明之景深量測裝置於量測目標模糊影像之景深時，可直接利用模糊模型與目標模糊影像進行比對，而取得對應之景深資訊，進一步減少景深運算複雜度，並提高運算效率。此外，本發明更依據失焦模糊影像產生模糊狀態資料，以提高失焦模糊運算效率。

茲為使 貴審查委員對本發明之結構特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：首先針對本發明所採用之失焦模糊理論進行說明，說明如下：請參閱第一圖，其為本發明所使用之光學模型之示意圖。如圖所示，本發明所採用之光學模型係包含一透鏡1、一影像感測平面2、一參考對焦點3、一目標對焦點4、一參考成像點5與一目標成像點6，透鏡1本身直徑為D，透鏡1本身具有一光學焦距f，透鏡1與影像感測平面2之間具有一參考像距q，也就是透鏡1與目標成像點6之間的距離為參考像距q，透鏡1與參考對焦點3之間具有一參考物距p，透鏡1與目標對焦點4之間具有一目標物距z，透鏡1與目標成像點6之間具有一參考像距z’，由於目標對焦點4不是參考對焦點3，因此目標對焦點4所對應之目標成像點6不在影像感測平面2上，亦即位於目標對焦點4之一待測目標所對應之光線通過透鏡1之後會在影像感測平面2上形成失焦之模糊影像，本實施例係以模糊圓C做為模糊影像之舉例說明，但本發明之模糊影像並不限於此。

藉由上述之光學模型可得公式如下：

其中f為透鏡1之光學焦距，p為透鏡1與參考對焦點3之間的參考物距，q為透鏡1與影像感測平面2之間的參考像距。

其中f為透鏡1之光學焦距，z為透鏡1與目標對焦點4之間的參考物距，z’為透鏡1與目標成像點6之間的參考像距。

並且經由第一圖之幾何關係可推得如下列式子：

其中d為模糊圓之直徑，D為透鏡之直徑尺寸，q為透鏡1與影像感測平面2之間的參考像距，z’為透鏡1與目標成像點6之間的目標像距。上述方程式(3)經帶入參考像距p後，整理如下：

由於q為未知數，因此將方程式(2)帶入上述方程式(4)中，經整理如下：

方程式5經簡化後即求得如下列所示：

其中c為一常數，其等式如下列所示：

由方程式6整理後即可求得目標物距z，如下列所示：

其中目標物距z即為本發明所要量測之景深。

請參閱第二圖，其為本發明之一較佳實施例之方塊圖。如圖所示，本發明之景深量測裝置10係包含一影像分析單元12與一模糊比對模組14，其中模糊比對模組14包含一模型建構單元142與一比對單元144。影像分析單元12係分別連接模型建構單元142與比對單元144，影像分析單元12係接收失焦之複數參考模糊影像並進一步分析其灰階，因而對應產生複數參考灰階資料，並傳送至模糊比對模組14之模型建構單元142，其中該些參考模糊影像係分別對應複數參考景深；如第三A圖所示，本實施例係以模糊圓之影像表示參考模糊影像，而不同參考景深下之參考模糊影像的模糊程度不同，第三A圖之模糊圓為對應其中一參考景深，因而影像分析單元12於分析對應不同參考景深之複數參考模糊影像後，會對應產生不同參考灰階資料，其如第三B圖所示，且影像分析單元12進一步分析該些參考灰階資料，也就是影像分析單元12依據該些參考灰階資料以及一像素量參考值、一第一像素量門檻值與一第二像素量門檻值進行運算，如第三C圖 所示，影像分析單元12藉由像素量參考值與該些像素量門檻值獲得第一邊界值T1與第二邊界值T2，邊界值T1與T2相當於第三A圖之模糊圓的內徑22與外徑24，內徑22與外徑24之位置如第三D圖所示。

影像分析單元12係依據該些參考灰階資料上之邊界值T1與T2求得複數參考模糊狀態資料，亦即分別依據邊界值T1與T2進行加總，而求得複數第一加總面積與複數第二加總面積，以求得該些參考模糊狀態資料。由於影像分析單元12依據該些第一加總面積與該些第二加總面積對應產生模糊面積，並進一步再依據一模糊直徑公式求得複數參考模糊直徑，該模糊直徑公式如下列所示：

其中b為模糊直徑，R2為外徑，R1為內徑，A2為外徑對應之圓面積，A1為內徑對應之圓面積，由方程式9可知，模糊面積與模糊直徑之間有關聯性。因此，影像分析單元12藉由方程式(9)產生模糊直徑b，然後模型建構單元142依據該些參考模糊狀態資料與該些參考模糊影像所對應之該些參考景深產生一模糊模型，由於模糊直徑係由影像分析單元12依據模糊面積所產生，且模糊面積與模糊直徑之間有關聯性，因此模型建構單元142更可依據模糊面積產生模糊模型，所以模糊狀態資料為模糊直徑或模糊面積。由於該些參考模糊影像對應至少一對焦距離，而模型建構單元142依據每一對焦距離建立對應該模糊模型之一曲線，為了讓該模糊模型完善，本發明 之模型建構單元142更可依據不同對焦需求而建立對應一校正模型之一曲線，如第四圖所示，其為模型建構單元142依據對焦距離20公分所建立之曲線，其中模型建構單元142量測得之模糊直徑或對應之模糊面積以及參考景深所建立模糊曲線，其為對應該模糊模型之曲線，模型建構單元142依據該些參考模糊影像所對應之擷取參數與參考景深經由方程式8求得校正之模糊直徑或模糊面積，再以校正之模糊直徑或模糊面積與對應之參考景深建立校正曲線，其為對應該校正模型之曲線；本實施例係以其中一對焦距離於不同目標物距所量測得之數據，以及利用模糊直徑與參考景深建立模糊模型，除此之外，更可利用模糊面積與對應之參考景深求得模糊模型。本實施例之模糊比對模組14更包含一儲存單元146，用於儲存該模糊模型與校正模型，除此之外，本發明之景深量測裝置10更可包含一影像擷取裝置16，影像擷取單元16擷取該些參考模糊影像與該目標模糊影像，其中影像擷取單元16擷取每一影像會產生對應該影像之一擷取參數，本實施例之景深量測裝置10係以影像擷取單元16直接擷取參考模糊影像進行量測，但本發明不限於此，更可直接由影像分析單元12直接地接收既有之模糊影像進行分析，用於建立模型。

當模糊模型建立完成後，影像擷取單元16於失焦狀態下擷取一待測目標之一目標模糊影像，其中該目標模糊影像對應一目標焦距，該目標模糊影像如第五圖所示，影像擷取單元16係傳送該目標模糊影像至影像分析單元12，影像分析單元12係分析該目標模糊影像之灰階， 而對應產生一目標灰階資料，其中本實施例之影像分析單元12係依據該目標模糊影像之邊界進行分析；且影像分析單元12依據該目標灰階資料以及一像素量參考值、一第一像素量門檻值與一第二像素量門檻值進行運算，以求得對應目標模糊影像之第一邊界值與第二邊界值，影像分析單元12藉由該第一邊界值與該第二邊界質求得對應之一目標模糊狀態資料並傳送至比對單元144，比對單元144依據該目標模糊狀態資料與模型建構單元142所產生之模糊模型進行比對，而求得對應之一景深資訊，其中該目標模糊狀態資料可為一目標模糊面積或一目標模糊直徑。此外，本實施例之比對單元144更依據該模糊模型之模糊曲線與該校正模型之校正曲線進行校正，例如：景深200釐米(mm)所對應之校正曲線係指向模糊直徑為30，但校正曲線對應模糊曲線所得之量測值為32.5，因此當比對單元144比對模糊直徑之量測值為32.5時，比對單元144即指向景深資訊為200釐米，也就是說模糊面積之量測值32.5所對應之景深為200釐米。另外，本發明更包含一輸出單元18，其接收比對單元144所產生之深度資訊並對外輸出。

由上述可知，本發明將複雜演算方式轉變為景深與模糊直徑之對應關係所建立之模糊模型。如此景深量測裝置10僅需依據待測目標之一目標模糊影像即可進行景深的量測，而且亦不需變更影像擷取裝置16的硬體結構或改變演算方式。本系統先以固定且已知的相機參數以及變動物體與相機間之距離，擷取數張以一實心圓為圖案之影像，並且使用各圖像的統計圖表找出可能的失焦 模糊之內徑與外徑，以此算出每張圖像之失焦模糊程度。以此為校正之基礎，若有一未知深度之影像以相同之相機參數擷取之，則本系統可計算出此影像之失焦模糊程度，並且從已建立之模型中對應出一值，而此值則為此影像中物體的深度資訊。

請參閱第六A圖，其本發明之一實施例之流程圖。如圖所示，本發明之景深量測方法之步驟係包含：步驟S100：擷取參考模糊影像；步驟S110：接收參考模糊影像並分析參考模糊影像之灰階，對應產生參考灰階資料；步驟S120：依據參考灰階資料與參考景深產生模糊模型；步驟S130：擷取目標模糊影像；步驟S140：接收目標模糊影像並分析其灰階，以產生對應之目標灰階資料；步驟S150：依據目標灰階資料與參考景深產生模糊模型。

於步驟S100中，係利用一影像擷取裝置16擷取複數參考模糊影像，其中該些參考模糊影像係分別對應複數參考景深；於步驟110中，影像分析單元12接收影像擷取單元16所擷取之該些參考模糊影像並進一步分析其灰階，而對應產生複數參考灰階資料。

於步驟S120中，其步驟更包含：步驟S122：依據該些參考灰階資料進行運算對應產生複數參考模糊狀態資料；以及步驟S124：依據該些參考模糊狀態資料與該些參考景深 產生該模糊模型。

於步驟S122中，影像分析單元12依據依據該些參考灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值運算而對應產生該些參考模糊狀態資料，其中該些參考模糊狀態資料為複數參考模糊面積或複數參考模糊直徑；於步驟S124中，模糊比對模組14係依據該些參考模糊狀態資料與該些參考景深產生該模糊模型，其中該些參考模糊狀態資料為複數參考模糊面積或複數參考模糊直徑。此外，本實施例中更包含依據對應該參考模糊影像之複數擷取資訊產生一校正模型之步驟。

於步驟S150中，其步驟更包含：步驟S152：依據該目標灰階資料進行運算對應產生一目標模糊狀態資料；以及步驟S154：依據該目標模糊狀態資料與該模糊模型產生該景深資訊。

於步驟S152中，影像分析單元12依據該目標灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值運算該目標灰階資料，以對應產生該目標模糊直徑或該目標模糊面積。

綜上所述，本發明景深量測裝置及其方法以及影像失焦模糊狀態之運算方法，主要係藉參考模糊影像與參考景深建立模糊模型，以用於量測一待測目標之一目標模糊影像所對應之景深，由於景深量測裝置直接比對模糊模型即可獲得對應目標模糊影像之景深，卻不需複雜運算，因此量測效率佳，且因本發明不需複雜運算，因此電路複雜度亦相對減少。此外，本發明更利用影像失 焦模糊狀態之運算方法，以用於產生影像失焦模糊模型與景深量測，進而提高運算效率。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10‧‧‧景深量測裝置

12‧‧‧影像分析單元

14‧‧‧模糊比對模組

142‧‧‧模型建構單元

144‧‧‧比對單元

146‧‧‧儲存單元

16‧‧‧影像擷取單元

18‧‧‧輸出單元

20‧‧‧模糊圓

22‧‧‧內徑

24‧‧‧外徑

第一圖為本發明所使用之光學模型之示意圖；第二圖為本發明之一較佳實施例之方塊圖；第三A圖為本發明之一較佳實施例之模糊圓的示意圖；第三B圖為本發明之一較佳實施例之灰階的示意圖；第三C圖為本發明之一較佳實施例之邊界的示意圖；第三D圖為本發明之一較佳實施例之模糊圓內外徑的示意圖；第四圖為本發明之一較佳實施例之模型的曲線圖；第五圖為本發明之一較佳實施例之目標模糊影像的示意圖；第六A圖為本發明之一較佳實施例之景深量測的流程圖；第六B圖為本發明之一較佳實施例之建構模型的流程圖；以及第六C圖為本發明之一較佳實施例之取得景深的流程圖。

Claims (34)

1. 一種景深量測裝置，其包含：一影像分析單元，接收複數參考模糊影像，分析該些參考模糊影像之灰階，對應產生複數參考灰階資料，其中該些參考模糊影像分別對應至複數參考景深；以及一模糊比對模組，依據該些參考灰階資料與該些參考景深產生一模糊模型；其中，該影像分析單元接收一目標模糊影像並分析該目標模糊影像之灰階，對應產生一目標灰階資料並傳送至該模糊比對模組，該模糊比對模組依據該模糊模型比對該目標灰階資料，產生對應該目標模糊影像之一景深資訊。
2. 如申請專利範圍第1項所述之景深量測裝置，其中該模糊比對模組包含：一模型建構單元，依據該些參考灰階資料與對應之該些參考景深產生該模糊模型；以及一比對單元，依據該模糊模型與該目標模糊影像，而產生對應該目標模糊影像之該景深資訊。
3. 如申請專利範圍第2項所述之景深量測裝置，其中該模型建構單元更依據對應該些參考模糊影像之複數擷取參數與該些參考景深對應產生一校正模型，該比對單元更依據該校正模型校正該景深資訊。
4. 如申請專利範圍第2項所述之景深量測裝置，其中該模糊比對模組更包含一儲存單元，其儲存該模糊模型。
5. 如申請專利範圍第1項所述之景深量測裝置，其中該影像分析單元依據該些參考灰階資料進行運算，而對應產生複 數參考模糊狀態資料，該模型比對模組依據該些參考模糊狀態資料與該些參考景深產生該模糊模型。
6. 如申請專利範圍第5項所述之景深量測裝置，其中該影像分析單元依據該些參考灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值進行運算，而對應產生該些參考模糊狀態資料。
7. 如申請專利範圍第6項所述之景深量測裝置，其中該影像分析模組係依據該像素量參考值、該第一像素量門檻值與該第二像素量門檻值運算出對應該些參考灰階資料之複數第一邊界值與複數第二邊界值，並分別依據該些第一邊界值與該些第二邊界值進行加總運算而對應產生該些參考模糊狀態資料。
8. 如申請專利範圍第6項所述之景深量測裝置，其中該些參考模糊狀態資料為複數參考模糊面積或複數參考模糊直徑。
9. 如申請專利範圍第1項所述之景深量測裝置，其中該影像分析單元依據該目標灰階資料進行運算，而對應產生一模糊直徑，該模糊比對模組依據該目標模糊直徑或該目標模糊狀態資料。
10. 如申請專利範圍第9項所述之景深量測裝置，其中該影像分析單元依據該目標灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值進行運算，而對應產生該目標模糊狀態資料。
11. 如申請專利範圍第10項所述之景深量測裝置，其中該影像分析模組係依據該像素量參考值、該第一像素量門檻值與該第二像素量門檻值運算出對應該目標灰階資料之一第一 邊界值與一第二邊界值，並分別依據該第一邊界值與該第二邊界值進行加總運算，而對應產生該目標模糊狀態資料。
12. 如申請專利範圍第9項所述之景深量測裝置，其中該目標模糊狀態資料為一目標模糊面積或一目標模糊直徑。
13. 如申請專利範圍第1項所述之景深量測裝置，更包含：一影像擷取單元，擷取該些參考模糊影像與該目標模糊影像；以及一輸出單元，輸出該深度資訊。
14. 如申請專利範圍第13項所述之景深量測裝置，其中該影像擷取單元係依據該些參考模糊影像產生對應之複數擷取參數。
15. 如申請專利範圍第1項所述之景深量測裝置，其中該些參考模糊影像係對應至少一參考焦距。
16. 如申請專利範圍第1項所述之景深量測裝置，其中該目標模糊影像係對應一目標焦距。
17. 一種景深量測方法，其步驟包含：接收複數參考模糊影像，該些參考模糊影像對應至複數參考景深；分析該些參考模糊影像之灰階，以產生對應之複數參考灰階資料至一模糊比對模組；依據該些參考灰階資料與該些參考景深產生一模糊模型；接收一目標模糊影像；分析該目標模糊影像之灰階，以產生對應之一目標灰階資料至該模糊比對模組；以及依據該目標灰階資料與該模糊模型產生該目標模糊影像之 一景深資訊。
18. 如申請專利範圍第17項所述之景深量測方法，其中於依據該些參考灰階資料與該些參考景深產生一模糊模型之步驟中，更包含：依據該些參考灰階資料進行運算對應產生複數參考模糊狀態資料；以及依據該些參考模糊狀態資料與該些參考景深產生該模糊模型。
19. 如申請專利範圍第18項所述之景深量測裝置，其中於依據該些參考灰階資料之運算對應產生複數參考模糊狀態資料之步驟中，係依據該些參考灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值運算出對應該些參考灰階資料之複數第一邊界值與複數第二邊界值，而對應產生該些參考模糊狀態資料。
20. 如申請專利範圍第18項所述之景深量測裝置，其中該參考模糊狀態資料為複數參考模糊面積或複數參考模糊直徑。
21. 如申請專利範圍第17項所述之景深量測方法，其中於依據該目標灰階資料與該模糊模型產生該目標模糊影像之一景深資訊之步驟中，更包含：依據該目標灰階資料進行運算對應產生一目標模糊狀態資料；以及依據該目標模糊狀態資料與該模糊模型產生該景深資訊。
22. 如申請專利範圍第21項所述之景深量測方法，其中於依據該目標灰階資料之運算對應產生一目標模糊狀態資料之步驟中，係依據該目標灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值運算出對應該目標灰 階資料之一第一邊界值與一第二邊界值，以對應產生該目標模糊狀態資料。
23. 如申請專利範圍第21項所述之景深量測方法，其中該目標模糊狀態資料為一目標模糊面積或一目標模糊直徑。
24. 如申請專利範圍第21項所述之景深量測方法，其中於依據該目標模糊狀態資料與該模糊模型產生該景深資訊之步後，更包含：校正該景深資訊。
25. 如申請專利範圍第17項所述之景深量測方法，其中於接收複數參考模糊影像之步驟前，更包含：擷取該些參考模糊影像。
26. 如申請專利範圍第17項所述之景深量測方法，其中於接收一目標模糊影像之步驟前，更包含：擷取該目標模糊影像。
27. 如申請專利範圍第17項所述之景深量測方法，其中該些參考模糊影像係對應至少一參考焦距。
28. 如申請專利範圍第17項所述之景深量測方法，其中該目標模糊影像係對應一目標焦距。
29. 如申請專利範圍第17項所述之景深量測方法，更包含：輸出該深度資訊。
30. 一種影像失焦模糊狀態之運算方法，其應用於一影像分析單元之模糊影像運算，該模糊狀態之運算方法包含：接收一模糊影像並分析該模糊影像之灰階，以產生一灰階資料；依據該灰階資料進行運算，以產生對應該灰階資料之一第一邊界值與一第二邊界值；以及 依據該第一邊界值與該第二邊界值產生對應之一模糊狀態資料。
31. 如申請專利範圍第30項所述之運算方法，其中於接收一模糊影像並分析該模糊影像之灰階之步驟中，係分析該模糊影像於每一灰階等級之像素量。
32. 如申請專利範圍第30項所述之運算方法，其中於依據該灰階資料進行運算之步驟中，係包含：依據該灰階資料、一像素量參考值、一第一像素量門檻值與一第二像素量門檻值運算出該第一邊界值與該第二邊界值。
33. 如申請專利範圍第30項所述之運算方法，其中於依據該第一邊界值與該第二邊界值產生對應之一模糊狀態資料之步驟中，係依據該第一邊界值與該第二邊界值分別進行像素加總，而產生對應之一第一加總面積與一第二加總面積並相減，以產生該模糊狀態資料。
34. 如申請專利範圍第30項所述之運算方法，其中該模糊狀態資料為一模糊面積或一模糊直徑。