TWI784254B

TWI784254B - 無人機及其影像辨識方法

Info

Publication number: TWI784254B
Application number: TW109111211A
Authority: TW
Inventors: 劉一帆; 于思耘; 陳奎廷
Original assignee: 中強光電股份有限公司
Priority date: 2020-03-18
Filing date: 2020-04-01
Publication date: 2022-11-21
Also published as: US11875560B2; TW202137060A; US20210291980A1; CN113496136A

Abstract

提供一種無人機以及適用於無人機的影像辨識方法。影像辨識方法包括：取得影像資料流，其中影像資料流包括當前幀；對當前幀中的物件進行影像辨識以產生對應於當前幀的第一框格；偵測物件的移動以產生對應於當前幀的第二框格；以及根據第一框格以及第二框格判定物件為追蹤目標。

Description

無人機及其影像辨識方法

本發明是有關於一種無人機偵防的技術，且特別是有關於一種無人機及其影像辨識方法。

傳統的安防系統常仰賴具有高運算能力的伺服器以進行物件辨識，且安防攝影機的監視距離通常不會超過15公尺。上述的條件使執行物件辨識變得容易。另一方面，由於安防攝影機並不會移動，故伺服器可以很容易地通過觀察影像中之場景是否發生變化來辨識出移動中的物件。

在無人機偵防技術的領域中，受限於重量和耗電量的限制，安裝於無人機上的處理器並不具備充足的運算能力。據此，無人機會將所拍攝的影像壓縮，並經由無線網路將其傳送至伺服器以進行運算。在空中進行巡檢而不斷移動的無人機時常不具備良好的通訊品質。因此，伺服器很難完整地還原無人機所傳送的壓縮影像並且對移動物件進行精確地辨識。另一方面，無人機所拍攝之影像的場景會隨著無人機的移動而變化，故伺服器將無法通過觀察影像中之場景是否發生變化來辨識出移動中的物件。

本「先前技術」段落只是用來幫助瞭解本發明內容，因此在「先前技術」中所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。此外，在「先前技術」中所揭露的內容並不代表該內容或者本發明一個或多個實施例所要解決的問題，也不代表在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。

本發明提供一種無人機以及適用於無人機的影像辨識方法。本發明的無人機可以在有限的運算能力的條件下，對高畫質影像中的物件進行精準的辨識、偵測及追蹤。

為達上述之一或部分或全部目的或是其他目的，本發明提出一種無人機，包括影像擷取裝置、儲存媒體和處理器。影像擷取裝置，用於產生影像資料流，其中影像資料流包括當前幀（frame）。儲存媒體用於儲存多個模組。處理器耦接影像擷取裝置以及儲存媒體，處理器存取並執行該些模組，且該些模組包括物件辨識模組、移動物件偵測模組和物件追蹤模組。物件辨識模組用於對當前幀中的物件進行影像辨識以產生對應於當前幀的第一框格（box）。移動物件偵測模組，用於偵測物件的移動以產生對應於當前幀的第二框格。物件追蹤模組用於根據第一框格以及第二框格判定物件為追蹤目標。

在本發明的一實施例中，移動物件偵測模組由影像資料流接收第一幀集合以及第二幀集合，用以計算出特徵模型及預測特徵模型，並且移動物件偵測模組根據特徵模型及預測特徵模型的差異產生對應於當前幀的第二框格，其中第一幀集合包含當前幀且用於計算出對應於當前幀的特徵模型；以及第二幀集合包含先前幀且用於計算出對應於先前幀的預測特徵模型。

在本發明的一實施例中，移動物件偵測模組基於當前幀計算出對應於第一時間點的單應性轉換矩陣，以利用單應性轉換矩陣對先前幀進行轉換以產生對應於第一時間點的預測特徵模型。

在本發明的一實施例中，當前幀對應於第一時間點、先前幀對應於第二時間點並且第二時間點早於第一時間點。

在本發明的一實施例中，第一幀集合包括第一時間點至提早第一時間區間內的幀，並且第二幀集合包括第二時間點至提早第二時間區間內的幀。

在本發明的一實施例中，移動物件偵測模組對第一幀集合及第二幀集合進行預處理，其中預處理包括將第一幀集合及第二幀集合內的至少一幀分割並轉為灰階色調，以產生對應於第一幀集合的至少一第一灰階網格（grayscale grid）與對應於第二幀集合的至少一第二灰階網格。

在本發明的一實施例中，移動物件偵測模組根據至少一第一灰階網格產生特徵模型，並且利用單應性轉換矩陣對至少一第二灰階網格進行轉換，藉以產生預測特徵模型。

在本發明的一實施例中，移動物件偵測模組比對至少一第一灰階網格與至少一第二灰階網格以計算差異。

在本發明的一實施例中，移動物件偵測模組基於差異超過差異閾值而判定物件出現在當前幀的至少一第一網格之中，並且根據至少一第一網格的邊界產生第二框格。

在本發明的一實施例中，物件追蹤模組計算第一框格以及第二框格的重疊度，並且基於重疊度高於重疊閾值而判定物件為追蹤目標。

在本發明的一實施例中，物件辨識模組對當前幀進行影像分析，以判定當前幀是否存在至少一追蹤物件，並基於至少一追蹤物件而產生對應於當前幀的第一框格。

在本發明的一實施例中，移動物件偵測模組偵測第二物件的第二移動以產生對應於第三幀的第三框格，且物件追蹤模組根據第二框格和第三框格兩者的中心點位置判斷第二物件是否為物件，其中第三幀對應於第三時間點並且第一時間點早於第三時間點。

在本發明的一實施例中，所述無人機更包括收發器，耦接處理器，收發器用於傳送包含第三框格的經標識影像資料流和指令，其中指令指示第二物件為追蹤目標。

為達上述之一或部分或全部目的或是其他目的，本發明提出一種影像辨識方法，適用於無人機，影像辨識方法包括：取得影像資料流，其中影像資料流包括當前幀；對當前幀中的物件進行影像辨識以產生對應於當前幀的第一框格；偵測物件的移動以產生對應於當前幀的第二框格；以及根據第一框格以及第二框格判定物件為追蹤目標。

在本發明的一實施例中，偵測物件的移動以產生對應於當前幀的第二框格的步驟包括：由影像資料流接收第一幀集合以及第二幀集合，用以計算出特徵模型及預測特徵模型；以及根據特徵模型及預測特徵模型的差異產生對應於當前幀的第二框格，其中第一幀集合包含當前幀且用於計算出對應於當前幀的特徵模型；以及第二幀集合包含先前幀且用於計算出對應於先前幀的預測特徵模型。

在本發明的一實施例中，由影像資料流接收第一幀集合以及第二幀集合，以計算出特徵模型及預測特徵模型的步驟包括：基於當前幀計算出對應於第一時間點的單應性轉換矩陣，以利用單應性轉換矩陣對先前幀進行轉換以產生對應於第一時間點的預測特徵模型。

在本發明的一實施例中，影像辨識方法更包括：對第一幀集合及第二幀集合進行預處理，其中預處理包括將第一幀集合及第二幀集合內的至少一幀分割並轉為灰階色調，以產生對應於第一幀集合的至少一第一灰階網格與對應於第二幀集合的至少一第二灰階網格。

在本發明的一實施例中，由影像資料流接收第一幀集合以及第二幀集合，以計算出特徵模型及預測特徵模型的步驟包括：根據至少一第一灰階網格產生特徵模型，並且利用單應性轉換矩陣對至少一第二灰階網格進行轉換，藉以產生預測特徵模型。

在本發明的一實施例中，影像辨識方法更包括：比對至少一第一灰階網格與至少一第二灰階網格以計算差異。

在本發明的一實施例中，根據特徵模型及預測特徵模型的差異產生對應於當前幀的第二框格的步驟包括：基於差異超過差異閾值而判定物件出現在當前幀的至少一第一網格之中，並且根據至少一第一網格的邊界產生第二框格。

在本發明的一實施例中，根據第一框格以及第二框格判定物件為追蹤目標的步驟包括：計算第一框格以及第二框格的重疊度，並且基於重疊度高於重疊閾值而判定物件為追蹤目標。

在本發明的一實施例中，對當前幀中的物件進行影像辨識以產生對應於當前幀的第一框格的步驟包括：對當前幀進行影像分析，以判定當前幀是否存在至少一追蹤物件，並基於至少一追蹤物件而產生對應於當前幀的第一框格。

在本發明的一實施例中，影像辨識方法更包括：偵測第二物件的第二移動以產生對應於第三幀的第三框格，並根據第二框格和第三框格兩者的中心點位置判斷第二物件是否為物件，其中第三幀對應於第三時間點並且第一時間點早於第三時間點。

在本發明的一實施例中，影像辨識方法更包括：傳送包含第三框格的經標識影像資料流和指令，其中指令指示第二物件為追蹤目標。

基於上述，本發明之無人機可通過比較影像辨識以及移動物件偵測之結果判斷出一幀中的場景變化是由真正的移動物件所造成，從而精準的辨識、偵測及追蹤移動物件。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了方便理解本發明，以下將舉諸多實施例詳細說明本發明實施例中的無人機及其影像辨識方法。

傳統的無人機無法藉由本身的運算能力來對無人機所截取到的影像進行影像分析，而需要將影像傳送至地面的基地台，由基地台來進行影像辨識。在傳輸頻寬有限的情況下，傳統的無人機並無法傳送大量的影像資料。由於無人機無法處理高畫質的影像，故其監視範圍也會被限縮。

有鑑於此，本發明提出一種影像辨識方法，能降低無人機在進行影像辨識時所耗用的運算量。據此，無人機能藉由其本身的處理器來進行影像辨識，且能飛往更高處以對更大的範圍進行監視，如圖1A所示。圖1A根據本發明的實施例繪示無人機10的操作示意圖。無人機10可與地面的基地台BS通訊連接，當無人機10偵測到移動物件時，將移動物件的追蹤結果傳送至基地台BS。

圖1B根據本發明的實施例繪示無人機10的功能方塊圖。無人機10可包括處理器100、影像擷取裝置200、儲存媒體300以及收發器400。

處理器100例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖型處理器（graphics processing unit，GPU）或其他類似元件或上述元件的組合。處理器100耦接影像擷取裝置200、儲存媒體300和收發器400，並可存取並執行儲存於儲存媒體300中的模組或各種應用程式。

影像擷取裝置200可設置在無人機10上。影像擷取裝置200可例如是攝影機、照相機等具有影像擷取功能之電子裝置。在本實施例中，影像擷取裝置200用以擷取影像以產生影像資料流。

儲存媒體300例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，用於記錄可由處理器100執行的多個模組或各種應用程式。在本實施例中，儲存媒體300可儲存包括物件辨識模組310、移動物件偵測模組320以及物件追蹤模組330等多個模組，其功能將於後續說明。

收發器400以無線或有線的方式傳輸及接收訊號。收發器400例如可以是藍牙（Bluetooth）、無線保真（Wi-Fi）、紫蜂（Zigbee）或其它無線傳輸的傳輸與接收硬體裝置用於接收與發送訊號，亦不以為限制。收發器400還可以執行例如低噪聲放大（low noise amplifying，LNA）、阻抗匹配、混頻、上下變頻轉換、濾波、放大以及類似的操作。在本實施例中，在無人機10已從影像資料流中辨識出一物件並將該物件標識為追蹤目標，藉以產生經標識影像資料流後，收發器400可發送經標識影像資料流的指令或用以指示該物件為追蹤目標的指令。

圖2根據本發明的實施例繪示由無人機10進行影像辨識的流程圖。

在本實施例中，影像資料流是由影像擷取裝置200所產生，並且影像資料流包括當前幀和先前幀，其中先前幀對應於第二時間點T2、當前幀對應於第一時間點T1並且第二時間點T2早於第一時間點T1，（T1-T2>0）。換言之，先前幀出現在影像資料流的時間點早於當前幀出現在影像資料流的時間點。

為便於說明，圖3A及3B根據本發明的實施例繪示先前幀20及當前幀30的示意圖。

參照圖2。移動物件偵測模組320可偵測一物件的移動以產生對應於當前幀30的第二框格W2。具體的流程如步驟S201至步驟S210所述。

在步驟S201，移動物件偵測模組320自影像資料流取得先前幀20，其中先前幀20包括影像資料流中對應於第二時間點T2的影像資料。

在步驟S202，移動物件偵測模組320對第二幀集合進行預處理，以產生對應於第二幀集合的至少一第二灰階網格。具體來說，移動物件偵測模組320可從影像資料流中接收第二幀集合，以用以計算對應於先前幀20的預測特徵模型。第二幀集合可包括先前幀20。在一些實施例中，第二幀集合還可以包括第二時間點T2（對應於先前幀20）至提早一第二時間區間內的幀。舉例來說，假設所述第二時間區間為t2（例如：10秒），則第二幀集合可包括影像資料流在時間點（T2-t2）至時間點T2內的一或多個幀。舉例而言，T2可以為第150秒，t2可以為10秒，第二幀集合則可包括影像資料流在時間點為第140秒至時間點第150秒內的一或多個幀（例如：30個幀）。移動物件偵測模組320可將第二幀集合內的至少一幀分割並轉為灰階色調（grayscale），藉以產生對應於第二幀集合的至少一第二灰階網格。在後續的步驟S204中，所述至少一第二灰階網格可用以計算對應於先前幀20的預測特徵模型。需注意的是，預處理的方式可由使用者依實際需求而調整，本發明不限於此。

在步驟S203，移動物件偵測模組320基於當前幀30計算出對應於第一時間點T1的單應性轉換矩陣（homography transform matrix）。所述單應性轉換矩陣可例如是根據一第三幀集合而計算出。第三幀集合可包括當前幀30。在一些實施例中，第三幀集合還可以包括第一時間點T1（對應於當前幀30）至提早一第三時間區間內的幀。舉例來說，假設第三時間區間為t3，則第三幀集合可包括影像資料流在時間點（T1-t3）至時間點T1內的一或多個幀（例如：30個幀）。舉例而言，t3可以為第5秒，第三幀集合則可包括影像資料流在當前秒數以及當前秒數的前五秒內的一或多個幀（例如：15個幀）。

在步驟S204，移動物件偵測模組320利用單應性轉換矩陣對先前幀20進行轉換以產生對應於第一時間點T1的預測特徵模型。更具體來說，移動物件偵測模組320可利用對應於第一時間點T1的單應性轉換矩陣對與第二時間點T2相對應的先前幀20的至少一第二灰階網格進行轉換，藉以產生對應於第一時間點T1的預測特徵模型。以圖3A為例。在圖3A中，假設移動物件偵測模組320將對應於第二時間點T2的先前幀20分割並轉為灰階色調，從而產生對應於第二幀集合的第二灰階網格21、第二灰階網格22、第二灰階網格23和第二灰階網格24。移動物件偵測模組320可利用單應性轉換矩陣對第二灰階網格21進行轉換，從而根據對應於第二時間點T2的第二灰階網格21計算出對應於第一時間點T1的預測特徵模型。所述預測特徵模型可例如是如圖3A所示的光譜功率分布模型M2，本發明不限於此。

回到圖2，在步驟S205，移動物件偵測模組320自影像資料流取得當前幀30，其中當前幀30包括影像資料流中對應於第一時間點T1的影像資料。

在步驟S206，移動物件偵測模組320對第一幀集合進行預處理，以產生對應於第一幀集合的至少一第一灰階網格。具體來說，移動物件偵測模組320可從影像資料流中接收第一幀集合，以用以計算對應於當前幀30的特徵模型。第一幀集合可包括當前幀30。在一些實施例中，第一幀集合還可以包括第一時間點T1（對應於當前幀30）至提早一第一時間區間內的幀。舉例來說，假設第一時間區間為t1（例如：1秒），則第一幀集合可包括影像資料流在時間點（T1-t1）至時間點T1內的一或多個幀。舉例而言，T1可以為第200秒，t1可以為20秒，第二幀集合則可包括影像資料流在時間點為第180秒至時間點第200秒內的一或多個幀（例如：60個幀）。移動物件偵測模組320可將第一幀集合內的至少一幀分割並轉為灰階色調，藉以產生對應於第一幀集合的至少一第一灰階網格。

在步驟S207，移動物件偵測模組320計算出對應於當前幀30的特徵模型。具體來說，移動物件偵測模組320可根據至少一第一灰階網格產生特徵模型。以圖3B為例。在圖3B中，假設移動物件偵測模組320將對應於第一時間點T1的當前幀30分割並轉為灰階色調，從而產生對應於第一幀集合的第一灰階網格31、第一灰階網格32、第一灰階網格33和第一灰階網格34。移動物件偵測模組320可根據對應於第一時間點T1的第一灰階網格31計算出對應於第一時間點T1的特徵模型。所述特徵模型可例如是如圖3B所示的光譜功率分布模型M1，本發明不限於此。

根據3A和3B，在第二時間點T2時，先前幀20的第二灰階網格21中並不存在任何物件。因此，基於第二灰階網格21所計算出的光譜功率分布模型M2對應於不存在任何物件的情形。在經過一段時間而到達第一時間點T1後，物件A出現在當前幀30的第一灰階網格31之中。因此，基於第一灰階網格31所計算出的光譜功率分布模型M1對應於出現物件A的情形。

回到圖2，在步驟S208，移動物件偵測模組320比對至少一第一灰階網格與至少一第二灰階網格以計算一差異。以圖3A和3B為例，移動物件偵測模組320可計算對應於第一灰階網格31的光譜功率分布模型M1（即：特徵模型）與對應於第二灰階網格21的光譜功率分布模型M2（即：預測特徵模型）之間的差異。所述差異可關聯於例如光譜功率分布模型M1與光譜功率分布模型M2的平均數、方差或其他種類的統計參數，或可關聯於光譜功率分布模型M1與光譜功率分布模型M2之間的KL散度（KL-divergence）等類型的量度（measure）。

回到圖2，在步驟S209，移動物件偵測模組320判斷該差異是否超過差異閾值。若光譜功率分布模型M1與光譜功率分布模型M2之間的差異超過差異閾值，則進入步驟S210。若該差異在差異閾值以下，則停止由無人機10進行影像辨識的流程。

以圖3A和3B為例，由於在第二時間點T2時先前幀20中並未出現物件A，因此，由移動物件偵測模組320根據先前幀20所預測出的光譜功率分布模型M2（即：預測特徵模型）並沒有包括物件A的資訊。然而，在第一時間點T1時，當前幀30中出現了物件A。因此，由移動物件偵測模組320根據當前幀30所計算出的光譜功率分布模型M1（即：特徵模型）受到物件A的影響而產生變化，從而導致光譜功率分布模型M1與光譜功率分布模型M2之間的差異超過差異閾值。基於光譜功率分布模型M1與光譜功率分布模型M2之間的差異超過差異閾值，移動物件偵測模組320可判斷在第一灰階網格31中的物件A是一移動物件。另一方面，由於先前幀20與當前幀30中的物件B並沒有移動，因此，對應於第二灰階網格25的預測特徵模型與對應於第一灰階網格35的特徵模型之間將不會存在顯著的差異（即：預測特徵模型與特徵模型之間的差異不超過差異閾值）。據此，移動物件偵測模組320將不會視物件B為移動物件。

回到圖2，在步驟S210，移動物件偵測模組320判定物件出現在當前幀的至少一第一網格之中，並且根據該至少一第一網格的邊界產生第二框格W2（如圖3E所示）。圖3C、3D、3E及3F根據本發明的實施例繪示由移動物件偵測模組320偵測物件A的移動的示意圖。在圖3C中，移動物件偵測模組320在步驟S209中判定出第一灰階網格31之中出現了物件A。同樣地，移動物件偵測模組320也可以根據與步驟S209相同的方式判定出第一灰階網格32和第一灰階網格33之中出現了物件A。據此，移動物件偵測模組320可根據由第一灰階網格31、第一灰階網格32以及第一灰階網格33之邊界所延伸而成的線段L1、L2、L3和L4產生第二框格W2，如圖3D及3E所示，其中第二框格W2為第一灰階網格31、第一灰階網格32以及第一灰階網格33的各個邊界所延伸而成的線段所能包圍住的最大面積。另一方面，由於物件B在當前幀30時並不是移動物件，故移動物件偵測模組320將不會產生對應於物件B的框格。

參照圖3F，在第三時間點T3時，移動物件偵測模組320可偵測對應於第三時間點T3的第三幀40中的一第二物件A'之第二移動，藉以產生對應於第三幀40的第三框格W2'，其中第一時間點T1早於第三時間點T3。另一方面，移動物件偵測模組320可偵測對應於第三時間點T3的第三幀40中的一物件B'之移動，藉以產生對應於第三幀40的框格WB'。在後續的步驟中，移動物件偵測模組320可基於判定第三框格W2'中的第二物件A'與框格WB'中的物件B'兩者中的何者應為對應於當前幀30中的物件A（如圖3E所示）之結果，以得知物件A（即：第二物件A'）的移動，從而達到追蹤物件A的功效。

物件辨識模組310可用於對當前幀30中的物件進行圖像影像辨識以產生對應於當前幀30的第一框格。具體的流程如步驟S211至步驟S212所述。

回到圖2，在步驟S211，物件辨識模組310對當前幀30進行影像分析，以判定當前幀30之中是否存在至少一追蹤物件。簡言之，若當前幀之中存在至少一追蹤物件，則進入步驟S212。若當前幀之中不存在任何追蹤物件，則停止由無人機10進行影像辨識的流程。

在步驟S212，物件辨識模組310可基於至少一追蹤物件而產生對應於當前幀的第一框格W1。圖4A及4B根據本發明的實施例繪示由物件辨識模組310對物件A、B進行影像辨識的示意圖。參照圖4A，物件辨識模組310可對當前幀30進行影像分析，例如，物件辨識模組310可使用神經網路對當前幀30進行影像分析，藉以從外觀來識別出存在於當前幀30之中的物件。接著，物件辨識模組310可判定當前幀30之中存在可作為追蹤目標的物件A或物件B。據此，物件辨識模組310可基於物件A而產生對應於當前幀30的第一框格W1。同樣地，物件辨識模組310可基於物件B而產生對應於當前幀30的框格WA。

參照圖4B，在第三時間點T3時，物件辨識模組310可對與第三時間點T3相對應的第三幀40進行影像分析，藉以識別出存在於第三幀40中的物件。接著，物件辨識模組310可判定第三幀40之中存在可作為追蹤目標的物件A'或物件B'。據此，物件辨識模組310可基於物件A'而產生對應於第三幀40的框格W1'。同樣地，物件辨識模組310可基於物件B'而產生對應於第三幀40的框格WA'。

物件追蹤模組330可用於根據第一框格W1以及第二框格W2判定物件A為一追蹤目標。具體的流程如步驟S213至步驟S216所述。

回到圖2，在步驟S213，物件追蹤模組330計算第一框格W1以及第二框格W2的重疊度（intersection over union，IOU），並且判斷重疊度是否高於一重疊閾值。若重疊度高於重疊閾值，則進入步驟S214。若重疊度在重疊閾值以下，則停止由無人機10進行影像辨識的流程。在步驟S214，物件追蹤模組330判定物件A為候選的追蹤目標。具體來說，物件追蹤模組330可基於第一框格W1與第二框格W2的重疊度高於重疊閾值而判定由物件辨識模組310所產生的第一框格W1與由移動物件偵測模組320所產生的第二框格W2框選了相同的物件A。換言之，物件辨識模組310和移動物件偵測模組320兩者都偵測到了物件A的存在。經過物件辨識模組310和移動物件偵測模組320的雙重檢查，無人機10誤判物件A為移動物件的機率將會顯著地降低。

以圖3E和4A為例，根據圖3E，移動物件偵測模組320可透過追蹤物件A之移動而產生第二框格W2。根據圖4A，物件辨識模組310可透過對當前幀30進行影像分析而產生第一框格W1。物件追蹤模組330可基於第一框格W1和第二框格W2的重疊度高於重疊閾值而將位於第一框格W1或第二框格W2之中的物件A判定為候選的追蹤目標。

回到圖2，在步驟S215，物件追蹤模組330可判斷第三幀40中的第二物件A'是否為物件A。若第二物件A'為物件A，則進入步驟S216。若第二物件A'並非物件A，則停止由無人機10進行影像辨識的流程。

圖5根據本發明的實施例繪示由物件追蹤模組330判定物件A為追蹤目標的示意圖。參照圖3E、3F和5，物件追蹤模組330可根據與步驟S201至步驟S214相同的方式判定第二物件A'和物件B'為候選的追蹤目標。接著，物件追蹤模組330可根據第二框格W2和第三框格W2'兩者的中心點位置判斷圖3F中的第二物件A'是否為圖3E中的物件A。具體來說，物件追蹤模組330可根據第二框格W2和第三框格W2'兩者的中心點位置以及第二框格W2和框格WB'兩者的中心點位置來判斷出圖3F中之候選的追蹤目標第二物件A'以及物件B'之中的何者為當前幀30中的物件A。舉例來說，物件追蹤模組330可根據第二框格W2和第三框格W2'兩者之中心點之間的距離短於第二框格W2和框格WB'兩者之中心點之間的距離而判斷第三幀40中的第二物件A'為當前幀30中的物件A。據此，物件追蹤模組330可將候選的追蹤目標第二物件A'（即：物件A）判定為追蹤目標。

在步驟S216，物件追蹤模組330通過收發器400傳送包含第三框格W2'的一經標識影像資料流及/或一指令，其中該指令指示第二物件A'（即：物件A）為追蹤目標。在基地台（例如：如圖1所示的基地台BS）接收到經標識影像資料流及/或指令後，基地台內的顯示裝置便可將標示了追蹤目標（即：物件A）的經標識影像資料流顯示給安全管理人員。基於經標識影像資料流及/或指令，安全管理人員可清楚地從顯示裝置識別出追蹤目標（即：物件A）。

圖6根據本發明的實施例繪示影像辨識方法的流程圖，其中所述影像辨識方法可由無人機10實施。在步驟S61，透過影像擷取裝置200取得影像資料流，其中影像資料流包括當前幀。在步驟S62，由物件辨識模組310對當前幀中的物件進行影像辨識以產生對應於當前幀的第一框格。在步驟S63，由移動物件偵測模組320偵測該物件的移動以產生對應於當前幀的第二框格。在步驟S64，由物件追蹤模組330根據第一框格以及第二框格判定物件為追蹤目標。

綜上所述，本發明之無人機可對影像資料流進行影像辨識以及移動物件偵測。通過比較影像辨識以及移動物件偵測之結果，無人機可有效地為使用者判斷出一幀中的場景變化是由真正的移動物件所造成，抑或是由無人機之移動所造成。因此，就算無人機不斷地移動，無人機也不會因無人機本身所造成的場景變化而誤判受監視區域中出現移動物件。另一方面，本發明所提出的移動物件偵測技術在進行物件的移動偵測時並不需對幀中的影像進行特徵擷取和特徵分析，因此可顯著地降低所需要的運算量而使得無人機可通過本身的處理器來完成移動物件偵測。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。此外，本說明書或申請專利範圍中提及的 “第一”、“第二”等用語僅用以命名元件（element）的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。

10:無人機 100:處理器 20:先前幀 200:影像擷取裝置 21、22、23、24、25:第二灰階網格 30:當前幀 300:儲存媒體 310:物件辨識模組 31、32、33、34、35:第一灰階網格 320:移動物件偵測模組 330:物件追蹤模組 40:第三幀 400:收發器 A:第一物件 A':第二物件 B、B':物件 BS:基地台 L1、L2、L3、L4:線段 M1:特徵模型/光譜功率分布模型 M2:預測特徵模型/光譜功率分布模型 S201、S202、S203、S204、S205、S206、S207、S208、S209、S210、S211、S212、S213、S214、S215、S216、S61、S62、S63、S64:步驟 T1:第一時間點 T2:第二時間點 T3:第三時間點 t1:第一時間區間 t2:第二時間區間 t3:第三時間區間 W1:第一框格 W2:第二框格 W2':第三框格 W1'、W3、WA、WB':框格

圖1A根據本發明的實施例繪示無人機的操作示意圖。圖1B根據本發明的實施例繪示無人機的功能方塊圖。圖2根據本發明的實施例繪示由無人機進行影像辨識的流程圖。圖3A及3B根據本發明的實施例繪示先前幀及當前幀的示意圖。圖3C、3D及3E及3F根據本發明的實施例繪示由移動物件偵測模組偵測物件的移動的示意圖。圖4A及4B根據本發明的實施例繪示由物件辨識模組對物件進行影像辨識的示意圖。圖5根據本發明的實施例繪示由物件追蹤模組判定物件為追蹤目標的示意圖。圖6根據本發明的實施例繪示影像辨識方法的流程圖。

S201、S202、S203、S204、S205、S206、S207、S208、S209、S210、S211、S212、S213、S214、S215、S216:步驟

Claims

一種無人機，包括：一影像擷取裝置，用於產生一影像資料流，其中該影像資料流包括一當前幀；一儲存媒體，用於儲存多個模組；以及一處理器，耦接該影像擷取裝置以及該儲存媒體，該處理器存取並執行該些模組，且該些模組包括：一物件辨識模組，用於對該當前幀中的一物件進行影像辨識以產生對應於該當前幀的一第一框格；一移動物件偵測模組，用於偵測該物件的一移動以產生對應於該當前幀的一第二框格；以及一物件追蹤模組，用於根據該第一框格以及該第二框格判定該物件為一追蹤目標，其中該移動物件偵測模組由該影像資料流接收一第一幀集合以及一第二幀集合，用以計算出一特徵模型及一預測特徵模型，並且該移動物件偵測模組根據該特徵模型及該預測特徵模型的一差異產生對應於該當前幀的該第二框格，其中該第一幀集合包含該當前幀且用於計算出對應於該當前幀的該特徵模型，該第二幀集合包含一先前幀且用於計算出對應於該先前幀的該預測特徵模型，其中該當前幀對應於一第一時間點、該先前幀對應於一第二時間點並且該第二時間點早於該第一時間點，其中該移動物件偵測模組基於該當前幀計算出對應於該第一時間點的一單應性轉換矩陣，以利用該單應性轉換矩陣對該先前幀進行轉換以產生對應於該第一時間點的該預測特徵模型，其中該預測特徵模型是光譜功率分布模型。
如請求項1所述的無人機，其中該第一幀集合包括該第一時間點至提早第一時間區間內的幀，並且該第二幀集合包括該第二時間點至提早一第二時間區間內的幀。
如請求項1所述的無人機，其中該移動物件偵測模組對該第一幀集合及該第二幀集合進行一預處理，其中該預處理包括將該第一幀集合及該第二幀集合內的至少一幀分割並轉為灰階色調，以產生對應於該第一幀集合的至少一第一灰階網格與對應於該第二幀集合的至少一第二灰階網格。
如請求項3所述的無人機，其中該移動物件偵測模組根據該至少一第一灰階網格產生該特徵模型，並且利用一單應性轉換矩陣對該至少一第二灰階網格進行轉換，藉以產生該預測特徵模型。
如請求項3所述的無人機，其中該移動物件偵測模組比對該至少一第一灰階網格與該至少一第二灰階網格以計算該差異。
如請求項1所述的無人機，其中該移動物件偵測模組基於該差異超過一差異閾值而判定該物件出現在該當前幀的至少一第一網格之中，並且根據該至少一第一網格的邊界產生該第二框格。
如請求項1所述的無人機，其中該物件追蹤模組計算該第一框格以及該第二框格的一重疊度，並且基於該重疊度高於一重疊閾值而判定該物件為該追蹤目標。
如請求項1所述的無人機，其中該物件辨識模組對該當前幀進行影像分析，以判定該當前幀是否存在至少一追蹤物件，並基於該至少一追蹤物件而產生對應於該當前幀的該第一框格。
如請求項1所述的無人機，其中該移動物件偵測模組偵測一第二物件的一第二移動以產生對應於一第三幀的一第三框格，且該物件追蹤模組根據該第二框格和該第三框格兩者的一中心點位置判斷該第二物件是否為該物件，其中該第三幀對應於一第三時間點並且該第一時間點早於該第三時間點。
如請求項9所述的無人機，更包括：一收發器，耦接該處理器，該收發器用於傳送包含該第三框格的一經標識影像資料流和一指令，其中該指令指示該第二物件為該追蹤目標。
一種影像辨識方法，適用於無人機，該影像辨識方法包括：取得一影像資料流，其中該影像資料流包括一當前幀；對該當前幀中的一物件進行影像辨識以產生對應於該當前幀的一第一框格；偵測該物件的一移動以產生對應於該當前幀的一第二框格，包括：由該影像資料流接收一第一幀集合以及一第二幀集合，用以計算出一特徵模型及一預測特徵模型，包括：基於該當前幀計算出對應於一第一時間點的一單應性轉換矩陣，以利用該單應性轉換矩陣對一先前幀進行轉換以產生對應於該第一時間點的該預測特徵模型，其中該預測特徵模型是光譜功率分布模型；以及根據該特徵模型及該預測特徵模型的一差異產生對應於該當前幀的該第二框格，其中該第一幀集合包含該當前幀且用於計算出對應於該當前幀的該特徵模型，其中該第二幀集合包含該先前幀且用於計算出對應於該先前幀的該預測特徵模型；以及根據該第一框格以及該第二框格判定該物件為一追蹤目標，其中該當前幀對應於該第一時間點、該先前幀對應於一第二時間點並且該第二時間點早於該第一時間點。
如請求項11所述的影像辨識方法，其中該第一幀集合包括該第一時間點至提早一第一時間區間內的幀，並且該第二幀集合包括該第二時間點至提早一第二時間區間內的幀。
如請求項11所述的影像辨識方法，更包括：對該第一幀集合及該第二幀集合進行一預處理，其中該預處理包括將該第一幀集合及該第二幀集合內的至少一幀分割並轉為灰階色調，以產生對應於該第一幀集合的至少一第一灰階網格與對應於該第二幀集合的至少一第二灰階網格。
如請求項13所述的影像辨識方法，其中由該影像資料流接收該第一幀集合以及該第二幀集合，以計算出該特徵模型及該預測特徵模型的步驟包括：根據該至少一第一灰階網格產生該特徵模型，並且利用一單應性轉換矩陣對該至少一第二灰階網格進行轉換，藉以產生該預測特徵模型。
如請求項13所述的影像辨識方法，更包括：比對該至少一第一灰階網格與該至少一第二灰階網格以計算該差異。
如請求項11所述的影像辨識方法，其中根據該特徵模型及該預測特徵模型的該差異產生對應於該當前幀的該第二框格的步驟包括：基於該差異超過一差異閾值而判定該物件出現在該當前幀的至少一第一網格之中，並且根據該至少一第一網格的邊界產生該第二框格。
如請求項11所述的影像辨識方法，其中根據該第一框格以及該第二框格判定該物件為該追蹤目標的步驟包括：計算該第一框格以及該第二框格的一重疊度，並且基於該重疊度高於一重疊閾值而判定該物件為該追蹤目標。
如請求項11所述的影像辨識方法，其中對該當前幀中的該物件進行影像辨識以產生對應於該當前幀的該第一框格的步驟包括：對該當前幀進行影像分析，以判定該當前幀是否存在至少一追蹤物件，並基於該至少一追蹤物件而產生對應於該當前幀的該第一框格。
如請求項11所述的影像辨識方法，更包括：偵測一第二物件的一第二移動以產生對應於一第三幀的一第三框格，並根據該第二框格和該第三框格兩者的一中心點位置判斷該第二物件是否為該物件，其中該第三幀對應於一第三時間點並且該第一時間點早於該第三時間點。
如請求項19所述的影像辨識方法，更包括：傳送包含該第三框格的一經標識影像資料流和一指令，其中該指令指示該第二物件為該追蹤目標。