TWI668411B - 位置檢測方法及其電腦程式產品 - Google Patents

Abstract

一種位置檢測方法，包含取得光場影像；針對該光場影像進行二維分析，以獲得一目標於第一方向上的第一位置以及第二方向上的第二位置，其中第一方向與第二方向互相垂直；針對光場影像進行三維分析，以獲得目標於第三方向上的第三位置，其中第三方向垂直於第一方向與第二方向；輸出該目標的該第一位置、該第二位置與該第三位置。

Description

位置檢測方法及其電腦程式產品

本揭露是關於一種位置檢測方法及其電腦程式產品。

光場技術透過鏡頭與透鏡陣列的結合，使光場相機所記錄到影像具有位置及角度資訊。舉例來說，所記錄到影像在經影像處理前或處理後所得各個光場子影像具有視差，這些具備角度資訊的影像經過處理後，可使影像具備事後對焦、選擇性對焦、全對焦、多視角、物件分離等效果。

在本揭露的部分實施例中，藉由適當一個光場影像的多個視角影像處理，可以在該光場影像中找到目標的二維資訊，並於其後透過適當計算以及與參考例所建立的關係模型比較，可得到目標的三維資訊。藉此，可經由拍攝多張光場影像，追蹤並得到目標的三維移動資訊。

根據本揭露之部份實施方式，位置檢測方法包含取得一光場影像；針對該光場影像進行二維分析，以獲得目標 於第一方向上的第一位置以及第二方向上的第二位置，其中第一方向與第二方向互相垂直；針對光場影像進行三維分析，以獲得該目標於第三方向上的第三位置，其中第三方向垂直於第一方向與第二方向；以及輸出目標的第一位置、第二位置與第三位置。

於部分實施方式中，取得光場影像是透過光場影像擷取裝置進行，獲得目標於該第三方向上的第三位置是以目標至光場影像擷取裝置之透鏡平面的距離來計算第三位置。

於部分實施方式中，二維分析包含重疊光場影像的複數個視角影像，以得到非聚焦影像；以及針對非聚焦影像取得目標位置。

於部分實施方式中，針對非聚焦影像取得目標位置是透過機器學習的方式進行的。

於部分實施方式中，三維分析包含從光場影像中取出複數個變焦影像；選取變焦影像之一最佳者；以及依據變焦影像之該最佳者，找到第三位置。

於部分實施方式中，找到第三位置包含依據變焦影像之該最佳者，決定α值；以及以α值推算第三位置。

於部分實施方式中，方法更包含在以α值推算第三位置之前，建立複數個預定α值與第三方向上的複數個預定距離的一關係，其中以α值推算第三位置是根據關係進行。

於部分實施方式中，光場影像中取出該些變焦影像包含針對該光場影像進行四維傅立葉轉換；以切層方式從該經四維傅立葉轉換的該光場影像中，取出複數個二維影像；以及針對該些二維影像，進行反傅立葉轉換，以得到該些變焦影 像。

於部分實施方式中，光場影像進行三維分析包含針對該光場影像的區域進行三維分析。

根據本揭露之部份實施方式，電腦程式產品包含二維影像分析單元以及三維影像分析單元。二維影像分析單元，辨識光場影像的目標，以輸出目標於第一方向上的第一位置以及第二方向上的第二位置，其中第一方向與第二方向互相垂直。三維影像分析單元，並根據光場影像的目標，輸出目標於第三方向上的第三位置，其中第三方向垂直於第一方向與第二方向。

於部分實施方式中，二維影像分析單元是先取得光場影像的非聚焦影像，再針對非聚焦影像進行辨識目標。

於部分實施方式中，二維影像分析單元是透過機器學習的方式辨識該目標。

於部分實施方式中，三維影像分析單元用以從光場影像中取出複數個變焦影像，選取變焦影像之一最佳者，且依據變焦影像之最佳者，找到第三位置。

100‧‧‧光場偵測系統

110‧‧‧影像擷取裝置

112‧‧‧透鏡

114‧‧‧微透鏡陣列

116‧‧‧光感測器

120‧‧‧影像處理裝置

200‧‧‧方法

210~240‧‧‧方格

222、224‧‧‧步驟

231~237‧‧‧步驟

OB‧‧‧偵測物件

T‧‧‧目標

P‧‧‧物距

從以下實施方式詳細敘述並搭配圖式檢閱，可理解本揭露的態樣：圖1為根據本揭露之部分實施方式之光場偵測系統的示意圖；圖2為根據本揭露之部分實施方式之影像處理方法的方塊示意圖； 圖3為根據本揭露之部分實施方式之影像處理裝置的示意圖；以及圖4為根據本揭露之部分實施方式之用於建立α值與物距偏移量的關係的多個實照圖。

以下將以圖式揭露本發明之多個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式為之。

圖1為根據本揭露之部分實施方式之光場偵測系統100的示意圖。光場偵測系統100包含影像擷取裝置110以及影像處理裝置120。影像擷取裝置110可例如為光場相機、光場顯微鏡或其他適當光感測裝置。影像擷取裝置110可用於偵測物件OB上目標T的位置。目標T可以是移動的物體。舉例而言，目標T可以是動物、汽車等，例如農作物(即物件OB)上的蟲子(即目標T)。於部分實施方式中，物件OB上可存在一或多個目標T。

於本實施方式中，影像擷取裝置110包含透鏡112、微透鏡陣列114以及光感測器116。透鏡112用以使物件OB(包含目標T)的光線投射至光感測器116。微透鏡陣列114放置於光感測器116附近，其具有多個陣列排列的微透鏡 114a。於部分實施方式中，微透鏡陣列114可以放置於透鏡112的焦點上。或者，於部分實施方式中，微透鏡陣列114可以錯開透鏡112的焦點，而不放置於透鏡112的焦點上。於部分實施方式中，光感測器116可放置於微透鏡114a的焦距上，而使像平面IMP位於微透鏡114a的焦距上。如此一來，影像擷取裝置110能經由透鏡112與微透鏡陣列114紀錄物件OB的光場影像。

具體而言，光感測器116能透過微透鏡陣列114的每個微透鏡114a，紀錄物件OB的不同視角的影像(又稱為視角影像(direction view))，各個視角影像的組合構成前述之光場影像。舉例而言，微透鏡114a以4×5個的陣列排列，而構成20個視角影像，每一視角影像對應光感測器116的10×10個畫素，光感測器116至少有2000個畫素。此處的數值僅用以舉例說明微透鏡陣列114與光感測器116的對應關係，不應以此限制本發明之範圍。

在部分實施方式中，影像擷取裝置110以光場相機為例，光場相機使用單一個透鏡112，影像大小將隨物距(即物件OB與透鏡112的距離)長短而變化，但不應以此限制本發明之範圍。在其他實施方式中(例如光場顯微鏡的實施方式)，透鏡112可為複數個，且複數個透鏡112可以沿光軸排列，進而構成一成像系統，例如共焦系統。在此成像系統(例如光場顯微鏡的實施方式)的存在下，影像大小可不隨物距(即物件OB與透鏡112的距離)長短而變化。

於部分實施方式中，光感測器116可包含複數個陣列排列的偵測單元。光感測器116可為電荷耦合器件(Charge-coupled Device；CCD)、互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor；CMOS)感測器或其他適當器件。

於部分實施方式中，影像處理裝置120連接至至影像擷取裝置110。在部分實施方式中，影像處理裝置120包含處理器、記憶體以及介面。舉例而言，影像處理裝置120可以是單台電腦或分散式電腦。影像處理裝置120從影像擷取裝置110接收拍攝的光場影像，並進行後續的影像處理方法200。在部分實施方式中，影像處理裝置120包含一或多個軟體程式，用以計算資料。在部分實施方式中，影像處理裝置120可以整合於影像擷取裝置110中。

圖2為根據本揭露之部分實施方式之影像處理方法200的方塊示意圖。方法200包含方格210~240。以下詳細此影像處理方法200。

首先，方法200開始於拍攝光場影像的步驟210。於部分實施方式中，可利用圖1的影像擷取裝置110拍攝物件OB的光場影像，並將其傳送至影像處理裝置120。

影像處理裝置120接收光場影像，並進行方格220~240。於部分實施方式中，影像處理裝置120可以同時進行二維影像處理的方格220與三維影像處理的方格230。於部分實施方式中，可以先進行二維影像處理的方格220，之後再進行三維影像處理的方格230。

簡單而言，二維影像處理的方格220用以取得物 件OB的目標T的(x,y)位置，其中二維影像處理的方格210包含步驟222以及224。三維影像處理的方格230用以取得物件OB的目標T的(z)位置，其中三維影像處理的方格230包含步驟231~237。於部分實施方式中，參照圖3，圖3為根據部分實施方式之影像處理裝置120的示意圖，影像處理裝置120可包含二維影像處理單元122以及三維影像處理單元124，以分別執行二維影像處理的方格220與三維影像處理的方格230。

再回到圖2，在步驟222中，影像處理裝置120的二維影像處理單元122(請參見圖3)可以先接收物件OB的光場影像，經由計算光場影像取出各個視角影像(每個微透鏡所取出的影像)，並將各個視角影像重疊，而得到非聚焦(non-focus)影像。

接著，在步驟224中，透過機器學習的方式，使影像處理裝置120的二維影像處理單元122能夠辨識非聚焦影像中物件OB上的目標T，進而以取得目標T的二維位置，即(x,y)位置。

於部分實施方式中，此機器學習的方式可包含各種人工智慧，例如類神經網絡(Artificial Neural Network；ANN)、電腦視覺(Computer Vision；CV)等。在部分實施方式中，類神經網絡可例如為卷積神經網絡(Convolutional Neural Network；CNN)。類神經網路是由很多非線性的運算單元(可稱為神經元(Neuron))和位於這些運算單元間的眾多連結所組成，而這些運算單元通常是以平行且分散的方式在作運算。如此，經由預先讓影像處理裝置120處理大量的資料， 可以訓練影像處理裝置120的二維影像處理單元122能辨識目標T。另一方面，在電腦視覺的實施方式中，可先預先定義對應目標T的特徵(例如適當的邊緣或線)，再找出該特徵，以辨識目標T。藉此，可以得到目標T的(x,y)位置。

其後，影像處理裝置120的三維影像處理單元124進行三維影像處理的方格230。在步驟231中，三維影像處理單元124針對光場影像的目標T的(x,y)位置的局部影像，進行預處理(preprocessing)。此預處理可包含常態化(normalize)、降噪(de-noise)等處理。

在步驟232中，將經預處理的光場影像進行二維傅立葉轉換，而得到二維傅立葉影像。在此，經由二維傅立葉轉換，可以將各個視角影像(每個微透鏡所取出的影像)轉換為各個中心點，進而找到所有視角影像的傅立葉中心，作為二維傅立葉影像。在此步驟中，也能計算而得到視角影像的數量。

在步驟233中，將二維傅立葉影像進行傅立葉轉換，接著進行重新排列轉換為四維度的矩陣。此四維度的矩陣可涵蓋光場影像的位置、方向與深度資訊之頻譜。

在步驟234中，以α值對四維度矩陣進行傅立葉切層(Fourier Slice)變焦，以從重新取樣而得到多個二維影像，再將這些二維影像分別經二維反傅立葉轉換，進而取得多個變焦影像。於此，α值為重新對焦的虛擬變焦影像的物距與相機鏡頭到微透鏡陣列之像距比例。至此，可以在各α值下找到對應的變焦影像。於部分實施方式中，在切層變焦前，可以藉由Tenengrad函數達到輪廓增強的效果。

在步驟235中，在多個變焦影像中，找到最佳變焦影像，並根據該最佳變焦影像找到其α值。在此，可透過各種數值分析方，從各個變焦影像中，選出圖樣較清晰者，作為最佳變焦影像。

接著，在步驟237中，從最佳變焦影像的α值找到由最佳變焦影像的物距(即最佳變焦影像所對應的目標T所在的虛擬平面VP至透鏡112所對應的真實距離，即圖1的物距P)，而取得物件OB的目標T的(z)位置。如圖1所示，在此，可以先經由步驟236建立α值與變焦影像的物距偏移量的關係，進而透過此關係，從最佳變焦影像的α值取得物件OB的目標T的(z)位置。

詳細而言，在步驟236中，可以事先經由實測一參照物件，建立α值與物距偏移量的關係。物距偏移量為變焦影像的物距與光場影像(或二維傅立葉影像)的物距的差異。在此，變焦影像的物距指該變焦影像所對應的參照物件的目標所在的虛擬平面至透鏡所對應的真實距離。

舉例而言，參考圖4，圖4為用於建立α值與物距偏移量△p的關係的多個實照圖。先從光場影像中，取出物距偏移量△p分別為0微米、-10微米、-20微米、-30微米的影像(圖未示)；接著，以數位重新對焦方式(digital refocus)調整各影像的α值，以得到圖中所示的各列的影像。從各列影像中，找到最佳的影像(如虛線框標記)，以這些最佳的影像所對應的α值，作為物距偏移量△p所對應的α值。在光場相機的實施方式中，α值與物距偏移量△p為非線性關係，但不應以此限制本發 明的範圍。在其他的部分實施方式(例如光場顯微鏡的實施方式)中，α值與物距偏移量可為線性關係。

根據前述α值與物距偏移量的關係，從最佳變焦影像的α值找到對應的物距偏移量，進而找到由該像平面所對應的真實距離(即圖1的物距P)，而取得物件的目標T的(z)位置。

其後，來到方格240，可輸出物件OB的目標T的(x,y,z)位置。據此，使用者可得到目標的三維資訊。舉例而言，在部分實施方式中，可以將目標的位置資訊傳送至一顯示器上，而呈現於顯示器畫面，讓使用者可得知物件的三維位置資訊。或者，於其他實施方式中，可以藉由其他方式讓使用者得知物件的三維位置資訊。

在部分實施方式中，在得到目標T的(x,y,z)位置後，可以在下一時間點，透過拍攝下一張光場影像(重新進行方格210)，並重新進行進行方格220~230，而得到下一時間點的目標T的(x,y,z)位置。藉此，透過拍攝多張光場影像，可以追蹤目標的三維移動資訊，並可輸出(例如呈現於顯示器畫面)此三維移動資訊，以供使用者了解與使用。舉例而言，可以記錄動物的移動資訊，例如農作物上的蟲子的移動資訊。

在本揭露的部分實施例中，在拍攝完光場影像後，利用改良之演算法，利用二維影像辨識追蹤技術，透過光場單一影像判斷距離的方式來得到三度空間中之物體追蹤。此外，相較於以前的立體視覺之方式，只需要單一影像擷取器，較容易裝設與校正。

在本揭露的部分實施例中，由適當一個光場影像的多個視角影像處理，可以在該光場影像中找到目標的二維資訊，並於其後透過適當計算以及與參考例所建立的關係模型比較，可得到目標的三維資訊。藉此，可經由拍攝多張光場影像，追蹤並得到目標的三維移動資訊。

以上概述多個實施方式之特徵，該技術領域具有通常知識者可較佳地了解本揭露之多個態樣。該技術領域具有通常知識者應了解，可將本揭露作為設計或修飾其他製程或結構的基礎，以實行實施方式中提到的相同的目的以及/或達到相同的好處。該技術領域具有通常知識者也應了解，這些相等的結構並未超出本揭露之精神與範圍，且可以進行各種改變、替換、轉化，在此，本揭露精神與範圍涵蓋這些改變、替換、轉化。

Claims (9)

1. 一種位置檢測方法，包含：取得一光場影像；針對該光場影像進行一二維分析，其中該二維分析包含：重疊該光場影像的複數個視角影像，以得到一非聚焦影像；以及針對該非聚焦影像取得一目標於一第一方向上的一第一位置以及一第二方向上的一第二位置，其中該第一方向與該第二方向互相垂直；針對該光場影像進行一三維分析，以獲得該目標於一第三方向上的一第三位置，其中該第三方向垂直於該第一方向與該第二方向，其中該三維分析包含：從該光場影像中取出複數個變焦影像；選取該些變焦影像之一最佳者；以及依據該些變焦影像之該最佳者，找到該第三位置；以及輸出該目標的該第一位置、該第二位置與該第三位置。
2. 如請求項1所述的方法，其中取得該光場影像是透過一光場影像擷取裝置進行，獲得該目標於該第三方向上的該第三位置是以該目標至該光場影像擷取裝置之一透鏡平面的一距離來計算該第三位置。
3. 如請求項1所述的方法，其中針對該非聚焦影像取得該目標於該第一方向上的該第一位置以及該第二方向上的該第二位置是透過機器學習的方式進行的。
4. 如請求項1所述的方法，其中取得一光場影像是透過使用一光場影像擷取裝置進行，其中從該光場影像中取出該些變焦影像是分別依據複數個α值進行，其中每一該些α值是在取出該些變焦影像中每一該些變焦影像的一物距與該光場影像擷取裝置之一相機鏡頭至微透鏡陣列之間的距離的一比例，其中找到該第三位置包含：依據該些變焦影像之該最佳者，從該些α值中找到對應的最佳的該α值；以及以最佳的該α值推算該第三位置。
5. 如請求項4所述的方法，更包含：在以最佳的該α值推算該第三位置之前，建立複數個預定α值與該第三方向上的複數個預定距離的一關係，其中以最佳的該樣本α值推算該第三位置是根據該關係進行。
6. 如請求項1所述的方法，其中從該光場影像中取出該些變焦影像包含：針對該光場影像進行四維傅立葉轉換；以切層方式從該經四維傅立葉轉換的該光場影像中，取出複數個二維影像；以及 針對該些二維影像，進行反傅立葉轉換，以得到該些變焦影像。
7. 如請求項1所述的方法，其中針對該光場影像進行一三維分析包含：針對該光場影像的一區域進行該三維分析。
8. 一種電腦程式產品，包含：一二維影像分析單元，取得一光場影像的一非聚焦影像，針對該非聚焦影像辨識一目標，以輸出該目標於一第一方向上的一第一位置以及一第二方向上的一第二位置，其中該第一方向與該第二方向互相垂直；以及一三維影像分析單元，用以從該光場影像中取出複數個變焦影像，選取該些變焦影像之一最佳者，且依據該些變焦影像之該最佳者，找到該目標於該第三方向上的該第三位置，其中該第三方向垂直於該第一方向與該第二方向。
9. 如請求項8所述的電腦程式產品，其中該二維影像分析單元是透過機器學習的方式辨識該目標。