TWI796401B - 物件偵測用之自成像中的雜波背景移除 - Google Patents

物件偵測用之自成像中的雜波背景移除 Download PDF

Info

Publication number
TWI796401B
TWI796401B TW107145007A TW107145007A TWI796401B TW I796401 B TWI796401 B TW I796401B TW 107145007 A TW107145007 A TW 107145007A TW 107145007 A TW107145007 A TW 107145007A TW I796401 B TWI796401 B TW I796401B
Authority
TW
Taiwan
Prior art keywords
pixels
pixel
array
digital image
image
Prior art date
Application number
TW107145007A
Other languages
English (en)
Other versions
TW201928397A (zh
Inventor
大衛 Ｋ 李
大衛 Ｌ 可巴勒羅
湯瑪士 Ｐ 韋斯穆勒
Original Assignee
美商波音公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商波音公司 filed Critical 美商波音公司
Publication of TW201928397A publication Critical patent/TW201928397A/zh
Application granted granted Critical
Publication of TWI796401B publication Critical patent/TWI796401B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)

Abstract

本文中之具體實例描述追蹤一數位影像中之一目標的位置及定向。在一具體實例中，此追蹤可用以控制一載具之導航。在一具體實例中，接收可由一視覺感測器俘獲之一數位影像。可產生包括複數個二進位值的一第一陣列，相較於一第一一或多個先前數位影像中之對應像素，該複數個二進位值與該數位影像中之第一複數個像素之像素速度相關。可進一步產生包括複數個值的一第二陣列，相較於一第二一或多個先前數位影像中之對應像素，該複數個值與該數位影像中之該第一複數個像素之像素強度的標準偏差相關。可判定與該第二陣列中之該等值相關的複數個臨限值。可基於該第一陣列、該第二陣列及該複數個臨限值以在該數位影像中識別複數個目標像素及複數個背景像素。可基於經識別之複數個目標像素及經識別之複數個背景像素來產生與該數位影像相關的一二進位影像，且基於該二進位影像來識別該數位影像中之該目標的一位置及一定向中之至少一者。在一具體實例中，一命令可被傳輸至用於一載具之一導航系統，以基於該目標之一位置及一定向中經識別之至少一者來輔助導航該載具朝向該目標。

Description

物件偵測用之自成像中的雜波背景移除
本文中所描述之態樣係關於影像中之物件偵測，且更特定言之係關於追蹤包括雜波背景之數位影像中之目標。
使用視覺成像追蹤物件對於包括監測、載具對接及許多其他應用之多種應用係重要的。經追蹤的物件可包括地面載具、飛機、衛星、人或跨越視場移動的任何其他虛擬物。用於追蹤之視覺輸入可自視覺感測器、紅外攝影機或能夠提供視覺輸入之任何其他成像裝置提供。作為追蹤程序之部分，系統必須能夠區分所關注的物件與成像中之背景。然而，用於區分所關注物件與背景的現有影像處理方法當以在背景內及在目標內有像素強度的廣泛變化來呈現時通常並不有效。
本文中所描述的一個具體實例為一種用於藉由追蹤數位影像中之目標的位置及定向來控制載具之導航的方法。該方法包括：接收由一視覺感測器俘獲的一數位影像；產生包括複數個二進位值的一第一陣列，相較於一第一一或多個先前數位影像中之對應像素，該複數個二進位值與該數位影像中之第一複數個像素的像素速度相關；及產生包括複數個值的一第二陣列，相較於一第二一或多個先前數位影像中之對應像素，該複數個值與該數位影像中之該第一複數個像素的像素強度之標準偏差相關。該方法進一步包括：判定與該第二陣列中之值相關的複數個臨限值；基於該第一陣列、該第二陣列及該複數個臨限值識別該數位影像中之複數個目標像素及複數個背景像素；基於識別之複數個目標像素及識別之複數個背景像素產生與該數位影像相關的一二進位影像；及基於該二進位影像識別該數位影像中之該目標的一位置及一定向中之至少一者。該方法進一步包括傳輸一命令至該載具之一導航系統，以基於該目標之一位置及一定向中的識別之至少一者輔助導航該載具朝向該目標。
本文中所描述的另一具體實例為一種用於追蹤數位影像中之目標之位置及定向的方法。該方法包括：接收由一視覺感測器俘獲的一數位影像；產生包括與該數位影像中之第一複數個像素的像素速度相關之複數個二進位值的一第一陣列；及產生包括與該數位影像中之該第一複數個像素的像素強度之標準偏差相關之複數個值的一第二陣列。該方法進一步包括：基於該第一陣列及該第二陣列識別該數位影像中之複數個目標像素及複數個背景像素；及基於識別之複數個目標像素及複數個背景像素識別該數位影像中之該目標的一位置及一定向中之至少一者。
本文中所描述的另一具體實例為一種系統，其包括一處理器及儲存一程式之一記憶體，該程式在執行於該處理器上時執行一操作。該操作包括：接收由一視覺感測器俘獲的一數位影像；產生包括與該數位影像中之第一複數個像素的像素速度相關之複數個二進位值的一第一陣列；產生包括與該數位影像中之該第一複數個像素的像素強度之標準偏差相關之複數個值的一第二陣列；基於該第一陣列及該第二陣列識別該數位影像中之複數個目標像素及複數個背景像素；及基於識別之複數個目標像素及複數個背景像素識別該數位影像中之目標的一位置及一定向中之至少一者。
本文所記載之具體實例係關於用於區分所關注物件與背景成像的改良之方法、系統及設備。一種區分所關注物件與數位影像中之背景的方式係計算可用於分隔目標及背景像素的像素臨限值。在一些情況下，諸如當追蹤跨越黑夜天空之燈火通明的飛機時，此係相對簡單任務。在此情況下，相對容易判定像素強度臨限值以供用於區分背景像素與目標像素。在已判定臨限值後，具有低於臨限值之值的像素幾乎確定地為背景（例如黑夜天空），且具有高於臨限值之值的像素幾乎確定地為正被追蹤之目標。若目標（例如飛機）極黑但背景為明亮白天天空，則問題類似地簡單但經反轉。在此情況下，臨限值將屬於目標之黑像素與屬於天空之亮像素分隔。
然而，在許多真實世界應用中，正被處理之場景可具有在背景內及在目標內之像素強度的廣泛變化，常常重疊。在此等情形中，簡單瞬時的像素強度臨限值將並不足以移除背景及提取所要目標。此解決方案另外易受雜波場景影響，此係因為其取決於對給定圖框中之像素強度的分析。若不存在可區分強度差值，則雜波可損害偵測程序且未能提取所要目標。
本文中之記載內容係關於用於提取移動動態場景中之高度複雜目標的具體實例，在該等移動動態場景中目標及背景兩者在瞬時像素強度方面廣泛變動。不同於其他方法（其中背景為靜態且目標正移動），此等具體實例能夠對其中目標及背景兩者均相對於感測器移動的場景起作用。如此移除藉由固定背景技術強加的許多約束條件且將更多潛在使用情況提供給使用者。此外，在一些情形中所描述具體實例可基於速度梯度使用二級臨限值/鑑別器，從而允許在廣泛範圍之雜波條件下更有效區別背景及目標像素，此係由於此等梯度可藉由背景雜訊源之特定幾何結構加以預測。
舉例而言，本文所記載之具體實例可用作載具（如航天器）之導航系統的部分。載具之導航系統可使用視覺追蹤來輔助與空間中之物件（如衛星或空間站）的對接。但如此需要識別潛在雜波影像（包括例如背景中之地球的影像）中之目標的位置及定向兩者。另外，在此情況下，地球之球形形狀使影像內之目標的位置複雜，此係因為背景影像將以複雜方式跨越載具之視場移動。本文中所描述的具體實例可在此情況下改良物件偵測，此係因為其對在圖框之間的移動不太敏感且能夠處置在圖框之間的大像素移動（例如，每圖框數十個像素的目標移動）。載具之導航系統可接著使用關於目標之位置及定向的所偵測資訊以例如輔助至目標之導航及與目標之對接。
圖1為可用於對照雜波背景追蹤目標的一個情形之實例。載具200至少部分地基於經由視覺感測器202追蹤目標110而導航。舉例而言，載具200可為航天器且目標110可為衛星或空間站。載具200具備帶有視場120之視覺感測器202。視覺感測器202可為例如攝影機或任何其他合適之視覺感測器。載具200可使用視覺感測器202追蹤目標110之位置及定向以促進與目標110之對接。但視覺感測器202亦可拾取背景影像150，此處—地球之影像。為使用視覺感測器202追蹤目標110，載具200必須能夠分隔表示目標110之像素與表示背景影像150之像素。此允許載具200判定目標110之位置及定向—載具200可使用此位置及定向來導航至目標110及與目標110對接。
雖然圖1將航天器說明為根據本文記載內容之實例載具，但本文具體實例不限於用於空間中之載具的導航。所記載具體實例可適用於需要對照雜波背景追蹤物件的多種情形。舉例而言，所記載具體實例可用於國土安全或戰場目標追蹤及攔截、軍事及商業衛星成像及追蹤、月球及行星探索、用於有人及無人駕駛飛行器的商業及航空成像、軍事及商業水下探索（包括礦山偵測及石油勘探）、感測器監測、裝配線檢測，或任何其他合適之應用。
圖2為說明實例載具200之方塊圖。載具200包括視覺感測器202。如上文所提及，視覺感測器202可為經組態以感測可見光及/或紅外光之攝影機，或任何其他合適之視覺感測器。載具200進一步包括處理器204。處理器204通常擷取及執行儲存於記憶體206中之程式化指令。處理器204經包括以表示單一中央處理單元（CPU）、多個CPU、具有多個處理核心之單一CPU、具有多個執行路徑之圖形處理單元（GPU）及類似者。記憶體206通常經包括以表示任何合適類型之電子儲存器，包括隨機存取記憶體或非揮發性儲存器。
記憶體206通常包括用於執行與載具控制及目標追蹤相關的各種功能之程式碼。程式碼通常經描述為記憶體206內之各種功能性「應用程式」、「組件」或「模組」，但替代實施可具有不同功能及/或功能之組合。在記憶體206內，載具控制系統230通常經組態以控制載具200，包括經由合適之推進系統控制載具200之導航。影像俘獲組件210控制自視覺感測器202之影像俘獲。由影像俘獲組件210俘獲的影像可用於目標追蹤，如後續圖中所描述。
記憶體206進一步包括影像分析組件220。影像分析組件220通常用以對使用影像俘獲組件210俘獲的影像進行分析。影像分析組件220包括速度影像產生器222。速度影像產生器222用以基於使用影像俘獲組件210俘獲之影像而產生速度影像。參看後續圖更詳細地描述速度影像產生器222。
影像分析組件220進一步包括時間陣列產生器。時間陣列產生器用以自使用影像俘獲組件210俘獲的影像產生時間偏差陣列，且參看圖5更詳細地予以描述。影像分析組件220進一步包括二進位影像產生器226。二進位影像產生器226用以至少部分地基於由速度影像產生器222產生之速度影像、由時間陣列產生器224產生之時間偏差陣列及由影像分析組件220判定之兩個臨限值，來產生二進位影像。關於圖11更詳細地論述二進位影像產生器226。
記憶體206進一步包括儲存器240。儲存器240用以儲存例如由二進位影像產生器226產生的一系列二進位影像，如關於圖11更詳細地所論述。載具200進一步包括用以推進載具之推進系統260，及導航系統270。在一個具體實例中，導航系統270可使用如藉由影像分析組件220所判定的目標之位置及定向以促進導航。
圖3為由焦平面陣列（focal plane array；FPA）俘獲的影像310 （例如由視覺感測器202及影像俘獲組件210俘獲的影像）之說明。影像中展示目標330—此為例如載具200正追蹤以促進導航及對接的目標。緊密限界框（tight bounding box；TBB）320為可選用但通常是需要的限界框，其經產生以環繞目標330。TBB 320係基於給定目標點位置340而建構。TBB 320經計算以環繞目標330之擴展影像，使得其緊密環繞目標。但TBB經計算以使得存在環繞目標330之裕度以確保目標330由TBB完全環繞。在具體實例中，TBB可基於來自額外感測器、先前影像中追蹤的目標，或任何其他合適之源的資訊而計算。在一個具體實例中，如圖3中所描繪，TBB 320可用於目標追蹤。但如上文所提及，TBB係可選用的。舉例而言，有可能僅使用影像310之邊緣及四個拐角，而不是TBB 320。取決於目標，如此可係足夠的。
圖4說明影像分析組件220藉以產生將目標與背景分隔的二進位影像的程序之概述。圖5為描繪同一程序之流程圖。圖4及圖5因此可經共同論述。在圖5中之步驟502，影像分析組件220接收所俘獲影像，例如圖4中所說明之所俘獲影像410。此可為例如由視覺感測器202及影像俘獲組件210俘獲的影像。在步驟504處，影像分析組件220產生定位於TBB外部的所俘獲影像410中之像素的速度值。因為像素定位於TBB外部，所以影像分析組件220可假定像素表示背景且非目標。關於圖6及圖7更詳細地論述步驟504。
在步驟506處，影像分析組件220更新與所俘獲影像410相關的時間陣列。影像分析組件220可使用例如兩個不同時間陣列：表示在經定義數目個圖框內的所俘獲影像410中之時間像素強度的陣列；及表示在同一數目個圖框內的所俘獲影像410中之像素強度的時間平均2 的陣列。像素之時間平均為自序列中之第一圖框至當前圖框的像素之平均強度值。像素之時間平均2 為同一圖框序列內像素之強度值的平方之平均。在具體實例中，時間值僅僅需要經計算用於超過偵測臨限值之像素。
在步驟508處，速度影像產生器222產生初步速度影像，例如圖4中所說明之速度影像420。速度影像420為具有可能表示目標像素之白像素及可能表示背景像素之黑像素的二進位影像。關於圖8及圖9更詳細地論述速度影像420之產生。
在步驟510處，時間陣列產生器224基於步驟506中產生之時間陣列產生時間偏差陣列。圖4中之影像說明時間偏差陣列430。時間偏差陣列表示所俘獲影像410中之每一像素的平均強度值之標準偏差，且可使用熟知標準偏差公式來計算。舉例而言，可使用公式σ2 = ＜平均2 ＞ - ＜平均＞＜平均＞，其中σ2 為方差，平均2 為參看步驟506論述之時間平均2 ，且平均為參看步驟506論述之時間平均。在一個具體實例中，若在步驟506中使用偵測臨限值，則並不超過偵測臨限值之任一像素經指派極大值。在偏差陣列中，具有低標準偏差值之像素對應於在圖框之間其強度並不改變許多的像素—此等像素可能為目標像素，此係因為目標在圖框之間的在TBB 320內通常保持靜止。此等為時間偏差陣列430中之黑像素。具有較高標準偏差值之像素對應於在圖框之間其強度確實顯著改變的像素-此等像素可能為背景像素或目標邊緣像素，此係因為背景及目標邊緣預期在圖框之間移動。此等係時間偏差陣列430中之白及灰像素。
在步驟512處，影像分析組件判定兩個不同臨限值以供用於估計像素可能係目標像素抑或背景像素。關於圖10更詳細地論述此情況。在步驟514及步驟520處，將適當臨限值應用於每一像素以產生二進位影像—時間偏差陣列及速度影像兩者用於此程序。關於圖11更詳細地論述此。二進位影像440為由步驟520產生的二進位影像之實例：白像素表示目標像素且黑像素表示背景像素。
圖6為產生影像之背景部分的像素速度值之說明。像素速度為由影像中之像素表示的物件自圖框至圖框移動多少之量度。因為TBB 320經假設圍封目標，所以定位於TBB 320外部的所有像素應表示影像之背景部分。因此，量測TBB 320外部的像素之像素速度提供影像之背景部分的像素速度。在一個具體實例中，影像分析組件220可計算TBB 320外部之每一像素的速度值。
替代地，吾人可將TBB 320外部之影像的部分劃分成若干取樣窗610。可計算位於取樣窗610中之每一者之中心處的像素之速度。可接著內插彼等像素中之每一者的值。此允許非常少數目之像素的速度之計算。舉例而言，吾人可使用八個取樣窗610，如圖6中所說明，需要用於僅僅8個像素的計算。吾人亦可按需要使用更少或更大數目之取樣窗。取樣窗可為任何合適之大小，例如n像素 × m像素，其中n及m各自為正整數。
圖7為一種用於產生圖6中所說明之取樣窗610之像素速度值的方法之說明。如下文所論述，亦可使用其他方法。由每一取樣窗610中之像素表示的背景影像之速度係使用對應於彼取樣窗之當前像素與先前像素之間的卷積中之峰值位置來計算。在當前影像及在先前影像中發現對應於取樣窗610之像素。此等兩個區通過拉普拉斯變換以呈出高頻分量，且變換區經卷積以產生卷積影像。自卷積影像，峰值之位置自中心之偏移得到圖框至圖框速度。在x及y方向兩者中量測此速度。
舉例而言，如圖7中所說明，影像I（t）為當前圖框。影像I（t-Δt）為先前圖框。取樣窗610為吾人計算像素速度所針對的窗。用於影像I（t）及影像I（t-Δt）之取樣窗610中的像素通過變換710，例如拉普拉斯變換。結果接著經卷積，從而產生所得卷積影像750。峰值之位置（例如卷積影像750中展示的灰點）自窗之中心的偏移得到圖框I（t-Δt）與I（t）之間的圖框至圖框速度。此速度具有沿窗之x軸的x分量及沿窗之y軸的y分量。
作為圖7中所說明之卷積方法的替代，吾人可使用分析方法或任何其他合適之方法獲得取樣窗中之像素的速度。舉例而言，若預期背景影像為地球影像，則吾人可應用分析方法。首先，計算取樣窗之中心正描繪的地球上之位置。此可使用方程式Reci2fp ECI = Qc2eci *（Qcam2c *Reci2fp CAM）來計算。Reci2fp ECI為像素正以地球定中心慣性（Earth Centered Inertial；ECI）座標表示的在地球上之位置。Qc2eci 為以ECI座標計的追蹤目標之物件（例如圖1中之載具200）的姿態。Qcam2c 為關於載具座標之攝影機姿態。Reci2fp CAM為以攝影機座標計的自ECI原點至像素佔據面積之中心的向量。
第二，計算第二圖框內的先前圖框之佔據面積位置之像素位置。上文所論述之Reci2fp ECI表示先前圖框之佔據面積位置。可使用方程式Rcam2fp CAM = Rcam2eci CAM + Reci2fp CAM計算新值。Rcam2eci CAM表示以攝影機座標計的自攝影機原點至ECI原點之向量。Reci2fp CAM表示以攝影機座標計的自ECI原點至像素佔據面積之中心的向量。第三，計算先前圖框之窗中心的像素移動（Vx,Vy）。此可使用方程式（Vx ,Vy ）=（xp ,yp ）-（px,py）來計算。在此方程式中，（xp ,yp ）表示先前圖框之佔據面積的此圖框中之位置。在方程式中，（px,py）表示先前圖框之窗中心位置。如上文所論述，給定取樣窗610之像素速度值可使用關於圖7描述之卷積方法、使用上文所描述之分析方法或使用任何其他合適之方法來計算。
在產生背景之像素速度值之後的下一步驟係更新時間陣列。此為上文所論述圖5中之步驟506。此後，下一步驟產生TBB 320內之像素的初步速度影像。圖8為說明此步驟之流程圖。所得速度影像為二進位陣列，其中設定成「1」之每一像素為背景像素，且設定成「0」之每一像素可或可不為目標像素。設定成「0」之像素係未知的，此係由於梯度方法用以計算像素之狀態，進一步關於圖8中之步驟804至812論述梯度方法。若所關注區中之像素係平的（例如與周圍像素幾乎相同之值），則該等像素可表示目標之相對無特徵部分或背景之平滑部分，如若背景為地球，則白雲或藍色海洋。
在步驟802處，影像分析組件220計算TBB外部的每一取樣窗610中之中心像素的速度。參看圖6及圖7描述此。
在步驟804處，速度影像產生器222計算每一取樣窗610之梯度臨限值。梯度臨限值可為例如取樣窗610中之每一像素的平均梯度值。替代地，梯度臨限值可為取樣窗610中之像素的最大梯度值、取樣窗610中之像素的最小梯度值，或另一值。
取樣窗610中之像素的梯度值可使用梯度方程式例如（vx Ex + vy Ey + Et = 0）來判定。在此方程式中，vx 為像素在x方向上之影像速度，vy 為像素在y方向上之影像速度，Ex 為像素在x方向上之梯度，Ey 為像素在y方向上之梯度，且Et 為像素之時間導數。
梯度可經計算用於2點導數或3點導數。藉由使用點之先前值及點之當前值給出點之2點導數。若速度較小且已知，則可使用方程式vx Ex + vy Ey + Et = 0及以下展示之方程式1、2及3來計算2點梯度，其中對於此等方程式Δx = Δy = Δt = 1且vi = 像素/圖框 = 像素/Δt＜1：
Figure 02_image001
方程式 1- 針對小速度的在 X 方向上之 2 點梯度
Figure 02_image003
方程式 2- 針對小速度的在 Y 方向 上之 2 點梯度
Figure 02_image005
方程式 3- 針對小速度的 2 點時間導數
藉由使用點之先前值及點之下一值給出點之3點導數。再次若速度較小且已知，則可使用方程式vx Ex + vy Ey + Et = 0及以下展示之方程式4、5及6來計算3點梯度。對於此等方程式，假定Δx = Δy = Δt = 1且vi = 像素/圖框 = 像素/Δt＜1。
Figure 02_image007
方程式 4- 針對小速度的在 X 方向上之 3 點梯度
Figure 02_image009
方程式 5- 針對小速度的在 Y 方向 上之 3 點梯度
Figure 02_image011
方程式 6- 針對小速度的 3 點時間導數
然而，當速度充分大時，以上方程式可係不夠的。此係因為影像點可能已自先前影像中之其對應位置移動許多像素，且因此依賴於鄰近像素將並不起作用。影像點之間的相關性需要再獲得。此可藉由將速度分別劃分成其整數部分[Vx ]及分數部分vx 而進行。可使用方程式vx Ex + vy Ey + Et = 0及以下展示之方程式7、8及9來計算針對大速度之2點梯度。對於此等方程式，假定Vx = [Vx ] + vx , Vy = [Vy ] + vy ，Δx' = [Vx ] ， Δy' = [Vy ] ，Δx = Δy = Δt = 1, vi = Vi - [Vi ] ＜ 1，且 Vi =像素/圖框 = 像素/Δt ＞ 1。
Figure 02_image013
方程式 7- 針對大速度的在 X 方向上之 2 點梯度
Figure 02_image015
方程式 8- 針對大速度的在 Y 方向 上之 2 點梯度
Figure 02_image017
方程式 9- 針對大速度的 2 點時間導數
可使用方程式vx Ex + vy Ey + Et = 0及以下展示之方程式10、11及12來計算針對大速度之3點梯度。對於此等方程式，假定Vx = [Vx ] + vx 、Vy = [Vy ] + vy 、Δx' = [Vx ]、Δy' = [Vy ]、Δx = Δy = Δt = 1、vi = Vi - [Vi ] ＜ 1，且Vi =像素/圖框=像素/Δt＞1。.
Figure 02_image019
方程式 10- 針對大速度的在 X 方向上之 3 點梯度
Figure 02_image021
方程式 11- 針對大速度的在 Y 方向 上之 3 點梯度
Figure 02_image023
方程式 12- 針對大速度的 3 點時間導數
針對小速度之平均3點梯度可藉由以下展示之方程式13、14及15給出。在此等方程式中，假定Ex = 在x+%處之梯度 = 在時間t處像素（x,y）、在時間t處像素（x,y+1）及在t+1處之兩個像素的x梯度之平均值。Ey = 在y+%處之梯度 = 在時間t處像素（x,y）、在時間t處像素（x+1,y）及在t+1處之兩個像素的y梯度之平均值。Et =在t+%處之導數=在時間t+1處像素（x,y）、（x,y+1）、（x+1,y）及（x+1,y+1）的t梯度之平均值。
Figure 02_image025
方程式 13- 針對小速度的在 X 方向上之 3 點梯度
Figure 02_image027
方程式 14 - 針對小速度的在 Y 方向 上之 3 點梯度
Figure 02_image029
方程式 15- 針對小速度的平均 3 點時間導數
針對大速度之平均3點梯度可藉由以下展示之方程式16、17及18給出。對於此等方程式，假定Vx = [Vx ] + vx 、Vy = [Vy ] + vy 、Δx' = [Vx ]、Δy' = [Vy ]、Δx = Ay = Δt = 1、vi = Vi - [Vi ] ＜1，且Vi = 像素/圖框 = 像素/Δt＞1。
Figure 02_image031
方程式 16- 針對大速度的在 X 方向上之平均 3 點梯度
Figure 02_image033
方程式 17- 針對大速度的在 Y 方向 上之平均 3 點梯度
Figure 02_image035
方程式 18- 針對大速度的平均 3 點時間導數
當計算針對大速度之梯度時，如上文所論述，目標係選擇在時間t處影像之區及獲得在時間t+1/2處相同區之梯度。但由於大的像素速度，該區可在時間t+1/2處影像內之不同位置處。然而，因為吾人知曉速度，所以吾人可計算在時間t及時間t+Δt處影像中的區之位置。在時間t處的區之位置為x（t）。在時間t+Δt處之區的位置為x（t+Δt）= x（t）+ vx *Δt。在此方程式中，Δt可具有任何合適之值，例如Δt可為1。吾人可接著使用此等值計算在時間t+1/2處區之位置，且可相應地計算區之梯度。
另外，如上文所論述，當計算針對大速度之梯度時，可有助於將速度劃分成整數分量及分數分量。分數分量表示相對於所選擇區之視速度。可使用以下方程式計算分數分量vx ，（其中[Vx ]為整數分量）：
Figure 02_image037
且
Figure 02_image039
在一個具體實例中，藉由使用總速度（Vx ,Vy ）獲得窗之分數速度（vx ,vy ），對於每一取樣窗610，在步驟804處計算梯度臨限值：
Figure 02_image041
且
Figure 02_image042
速度影像產生器222接著發現時間t影像像素自先前圖框（t）至當前圖框（t+1）之位置偏移（例如給定先前圖框中之背景像素，發現當前圖框中之相同像素位置）。此可使用方程式進行：
Figure 02_image044
且
Figure 02_image045
使用取樣窗610中之每一像素，速度影像產生器222可使用方程式vx Ex + vy Ey + Et = 0計算彼像素之梯度方程式，其中使用上文所描述的大速度3點梯度方程式計算Ex 、Ey 及Et 。速度影像產生器222接著計算梯度方程式之絕對值。
速度影像產生器222接著計算每一取樣窗610中之像素的最大梯度方程式值（Gradmax ），以及梯度方程式值的平均值（MGradEq ）及標準偏差（σ）。藉由方程式ITGrad = 3*
Figure 02_image047
* σ給出取樣窗610之瞬時梯度臨限值，其中ITGrad 為瞬時梯度臨限值。若ITGrad 大於Gradmax ，則ITGrad 經設定成Gradmax 。若不令人滿意地計算平均值，則可使用方程式ITGrad = MGradEq - 0.9*（Gradmax - MGradEq ）計算平均值。若不能令人滿意地計算ITGrad ，則其經設定成2*Gradmax 。使用用於取樣窗之梯度臨限值的運行平均值濾波器進一步檢查梯度臨限值。若梯度臨限值落在運行平均值之三個標準偏差內，則臨限值被視為有效，且運行平均值經更新。窗之最終梯度臨限值自運行平均值獲得。若無最終梯度臨限值可經判定，則取樣窗經標記為無效並使用其兩個最接近有效相鄰者之平均值指派一值。
在步驟806處，速度影像產生器222計算定位於取樣窗610a至610d中心處之TBB內部的中心窗之速度及梯度值。此說明於圖9中。八個取樣窗610定位於影像310內之TBB 320外部。中心窗910位於取樣窗610a至610d之中心處。
中心窗910之速度及梯度係藉由方形內插四個拐角取樣窗610a、610b、610c及610d之速度及梯度值來判定。舉例而言，給定形成矩形（其拐角在（x1 ,y1 ）、（x2 ,y1 ）、（x2 ,y2 ）、（x1 ,y2 ）處）之影像中之四個像素（v1 ,v2 ,v3 ,v4 ）的值，位於矩形內部之（x,y）處的像素之內插值藉由
Figure 02_image049
給出，其中d1 = x-x1 、d2 =x2 -x、d3 =y-y1 且d4 =y2 -y。
返回至圖8，在步驟808處，速度影像產生器222判定速度影像中之所有像素是否已經處理。若如此，則程序結束。若否，則程序繼續進行至步驟810。在步驟810處，對於速度影像中之每一像素判定速度、梯度臨限值及梯度。每一像素分類為在TBB 320內部，或在TBB 320外部。若像素在TBB 320外部，則像素之速度及梯度臨限值為最接近取樣窗610之值。
否則，藉由距離內插四個最接近取樣窗610之值發現像素之速度及梯度臨限值。舉例而言，給定位於（x1 ,y1 ）、（x2 ,y2 ）、（x3 ,y3 ）、（x4 ,y4 ）處的影像中之四個像素（v1 ,v2 ,v3 ,v4 ）的值，位於周圍區內部之（x,y）處的像素之距離內插值係藉由
Figure 02_image051
給出，其中[]為環繞函數，使得給定[x]，若x＞4，則x=x-4。在此方程式中，Di =（（x-xi ）2 +（y-yi ）2 ）n ，其中n=1。使用像素之速度判定每一像素之梯度：GradEqp = vxp Exp + vyp Eyp + Etp 。
在步驟812處，每一像素之梯度的絕對值與該像素之梯度臨限值比較。在步驟814處，若梯度之絕對值小於臨限值，則像素經標記為背景像素且對應於彼像素之速度影像中的值經設定成1。否則，在步驟816處，像素經標記為目標像素且二進位值經設定成0。速度影像產生器222接著返回至步驟808。
在產生初步速度影像（圖5中之步驟508）之後，下一步驟將產生時間偏差陣列：此關於圖5中之步驟510而論述。在時間偏差陣列產生之後，其經複製並以升高次序分選至線性陣列中。分選的陣列通過低通平均濾波器（例如其中大小=5）以得到最終分選線性陣列。
圖10說明使用影像中之像素的時間偏差值之此分選線性陣列判定兩個像素臨限值，一較低臨限值及一較高臨限值。y軸表示每一像素之時間值之標準偏差，如上文關於圖5中之步驟510所論述。x軸為像素索引（例如分選線性陣列中之像素的索引）。在此圖表中，具有較低值之像素預期為目標像素（圖框之間的像素強度之變化）且具有較高值之像素預期為背景像素（圖框之間的像素強度之更多變化）。
較低臨限值可藉由發現分選線性陣列之最大斜率來判定。舉例而言，較低臨限值可為圖10中標記為Tlow 之在曲線中的點處的標準偏差值。藉由使用第i像素之5點導數（di =（-Ai+2Δ + 8*Ai+Δ -8Ai-1 + Ai-2Δ ）/12Δ）計算斜率，其中Δ藉由分選線性陣列之大小判定。
較高臨限值可藉由發現藉由影像之目標部分中的像素之預期數目給出的索引處之分選線性陣列的值而發現。此索引可藉由將目標部分中之像素的預期數目乘以1.5而發現。目標之像素的預期數目可來自先前目標影像或目標之庫影像。舉例而言，較高臨限值經指示為圖10中之Thigh 。每一臨限值可進一步對照其自身對應累計總和濾波器來檢查。
圖10中所說明之程序僅為判定下及上像素臨限值之一種方式。此等臨限值可以許多合適之方式計算，包括僅僅分析TBB 320內部之像素及/或使用陣列中之特定百分點（例如第10百分點）中之像素處之標準偏差以及較高臨限值，以判定較低臨限值（例如Tlow =（Thigh + Tpercentile ）/2）。
圖11說明產生二進位影像。在步驟1102處，二進位影像產生器226藉由將速度影像複製至二進位影像中、反轉二進位值而產生初步二進位影像—當速度影像具有值「1」時，二進位影像經設定成「0」，且當速度影像具有值「0」時，二進位影像經設定成「1」。初步二進位影像中之設定成「1」的像素因此表示可能的目標像素。
在步驟1104處，圍繞二進位陣列中之每一像素建立小的N×N窗。舉例而言，N可為TBB 320之大小的2%。在步驟1106處，分析每一像素以判定是否將其初步標記為目標像素。若將像素初步標記為目標像素，則在步驟1110處，二進位影像產生器226識別時間偏差陣列中之對應像素。二進位影像產生器226亦識別時間偏差陣列中之與主題像素（subject pixel）相關聯的N×N窗中之像素。將每一像素之時間偏差陣列值與較早判定之較高臨限值Thigh （如結合圖10所描述）進行比較。若時間偏差值＜Thigh ，則二進位影像中之對應像素標記為「1」，指示目標像素。因為像素假定為目標像素，所以使用此較大臨限值。
返回至步驟1106，若未將像素初步標記為目標像素，則二進位影像產生器226繼續進行至步驟1108。除較低臨限值Tlow 用於比較之外，步驟1108類似於步驟1110進行。二進位影像產生器226識別時間偏差陣列中之對應像素。二進位影像產生器226亦識別時間偏差陣列中之與主題像素相關聯的N×N窗中之像素。將每一像素之時間偏差陣列值與較早判定之較低臨限值Tlow （如結合圖10所描述）進行比較。若時間偏差值＜Thigh ，則二進位影像中之對應像素標記為「1」，指示目標像素。因為像素經假定為背景像素且並非目標像素，所以使用此較小臨限值。
在步驟1114處，影像分析組件儲存二進位影像以供例如載具之導航系統使用。在具體實例中，可維持先前二進位影像之陣列，其中最新二進位影像替換陣列中之最舊二進位影像。載具之導航系統（例如載具200之導航系統270）可使用二進位影像之陣列（其指示目標之及定向），以輔助導航至目標及與目標對接。
已出於說明之目的呈現本發明之各種具體實例的描述，但該描述並不意欲為詳盡的或限於所記載之具體實例。在不脫離所描述具體實例之範疇及精神的情況下，一般熟習此項技術者將顯而易見許多修改及變化。本文中所使用術語經選擇以最佳解釋具體實例之原理、實際應用或對市場中發現的技術之技術改良，或致能其他一般熟習此項技術者理解本文所記載之具體實例。
在前述中，參考在本發明中呈現之具體實例。然而，本發明的範疇不限於特定描述之具體實例。實際上，先前特徵及元件之任何組合（與不同具體實例相關抑或不相關）涵蓋實施及實踐所涵蓋具體實例。此外，儘管本文所記載之具體實例可達成優於其他可能解決方案或先前技術之優點，但特定優點是否藉由給定具體實例來達成不限制本發明之範疇。因此，除申請專利範圍中明確列舉情況之外，先前態樣、特徵、具體實例及優點僅為說明性且並不視為所附申請專利範圍之要素或限制。同樣，除申請專利範圍中明確列舉情況之外，對「本發明」或「本記載內容」之參考不應視為本文所記載之任一發明性主題的一般化且不應視為所附申請專利範圍之要素或限制。
本發明之態樣可採用完全硬體具體實例、完全軟體具體實例（包括韌體、駐留軟體、微碼，等等）或組合軟體與硬體態樣之具體實例的形式，該等具體實例在本文中一般皆可稱作「電路」、「模組」或「系統」。
本發明之具體實例可為系統、方法及/或電腦程式產品。電腦程式產品可包括電腦可讀取儲存媒體（或多個媒體），該電腦可讀取儲存媒體其上具有電腦可讀取程式指令以用於使處理器進行本發明之態樣。
電腦可讀取儲存媒體可為有形裝置，其可保留及儲存指令以供指令執行裝置使用。電腦可讀取儲存媒體可為（例如但不限於）電子儲存裝置、磁性儲存裝置、光學儲存裝置、電磁儲存裝置、半導體儲存裝置或前述各者之任何合適組合。電腦可讀取儲存媒體之更特定實例的非詳盡清單包括以下各者：攜帶型電腦磁片、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除可程式化唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、唯讀光碟（CD-ROM）、數位多用途光碟（DVD）、記憶體棒、軟碟、以機械方式編碼之裝置，諸如其上記錄有指令之穿孔卡或溝槽中凸起的結構，及前述之任何合適組合。如本文中所使用，不將電腦可讀取儲存媒體本身理解為暫時信號，諸如無線電波或其他自由傳播之電磁波、經由波導或其他傳輸媒體傳播之電磁波（例如，經由光纖電纜傳遞之光脈衝），或經由導線傳輸之電信號。
本文中所描述之電腦可讀取程式指令可自電腦可讀取儲存媒體下載至各別計算/處理裝置或經由網路（例如網際網路、區域網路、廣域網路及/或無線網路）下載至外部電腦或外部儲存裝置。網路可包含銅傳輸電纜、光傳輸光纖、無線傳輸、路由器、防火牆、交換器、閘道器電腦及/或邊緣伺服器。每一計算/處理裝置中之網路配接卡或網路介面自網路接收電腦可讀取程式指令且轉遞電腦可讀取程式指令以用於儲存於各別計算/處理裝置內之電腦可讀取儲存媒體中。
用於進行本發明之操作的電腦可讀取程式指令可為以一或多種程式設計語言之任何組合撰寫的組譯程式指令、指令集架構（instruction-set-architecture；ISA）指令、機器指令、機器相關指令、微碼、韌體指令、狀態設定資料或以一或多種程式設計語言之任何組合撰寫的原始碼或目標碼，該一或多種程式設計語言包括諸如Smalltalk、C++或其類似者之物件導向程式設計語言及諸如「C」程式設計語言或類似程式設計語言之習知程序程式設計語言。電腦可讀取程式指令可完全在使用者電腦上執行，作為單獨套裝軟體部分在使用者之電腦上執行，部分在使用者之電腦上及部分在遠端電腦上執行或完全在遠端電腦或伺服器上執行。在後述情形，遠端電腦可經由任一類型之網路（包括區域網路（LAN）或廣域網路（WAN））連接至使用者電腦，或可（例如，經由使用網際網路服務提供者之網際網路）連接至外部電腦。在一些具體實例中，電子電路（包括例如可程式化邏輯電路、場可程式化閘陣列（FPGA）或可程式化邏輯陣列（PLA））可藉由利用電腦可讀取程式指令的狀態資訊來個人化電子電路而執行電腦可讀取程式指令，以便執行本發明的態樣。
本文參考根據本發明之具體實例之方法、設備（系統）及電腦程式產品之流程圖說明及/或方塊圖描述本發明之態樣。應理解，可藉由電腦可讀取程式指令實施流程圖說明及/或方塊圖中之每一區塊，及流程圖說明及/或方塊圖中的區塊之組合。
可將此等電腦可讀取程式指令提供至通用電腦、專用電腦或其他可程式化資料處理設備之處理器以產生機器，以使得經由該電腦或其他可程式化資料處理設備之處理器執行之指令建立用於實施該一或多個流程圖及/或方塊圖區塊中所指定之功能/動作之構件手段。亦可將此等電腦可讀取程式指令儲存於電腦可讀取儲存媒體中，該等指令可指導電腦、可程式化資料處理設備及/或其他裝置以特定方式起作用，使得其中儲存有指令之電腦可讀取儲存媒體包含製品，該製品包括實施在該一或多個流程圖及/或方塊圖區塊中指定之功能/動作之態樣的指令。
電腦可讀取程式指令亦可載入至電腦、其他可程式資料處理設備或其他裝置上，以使一系列操作步驟在該電腦、其他可程式化設備或其他裝置上執行以產生電腦實施之處理程序，使得在該電腦、其他可程式化設備或其他裝置上執行之指令實施該一或多個流程圖及/或方塊圖區塊中所指定之功能/動作。
諸圖中的流程圖及方塊圖說明根據本發明的各種具體實例的系統、方法以及電腦程式產品的可能實施的架構、功能性以及操作。就此而言，流程圖或方塊圖中之每一區塊可表示指令之模組、分段或部分，其包含用於實施一或多個所指定之邏輯功能的一或多個可執行指令。在一些替代實施中，區塊中提及的功能可不按諸圖中所提及的次序發生。舉例而言，視所涉及的功能性而定，以連續方式展示的兩個區塊實際上可實質上同時執行，或該等區塊有時可以相反次序執行。亦將注意，可由執行經指定功能或動作或進行專用硬體及電腦指令之組合的基於專用硬體之系統實施方塊圖及/或流程圖說明之每一區塊及方塊圖及/或流程圖說明中之區塊的組合。
雖然前述內容是針對本發明之具體實例，但在不脫離本發明的基本範疇的情況下，可設計出本發明之其他和另外具體實例，且由以下申請專利範圍判定本發明之範疇。
110‧‧‧目標 120‧‧‧視場 150‧‧‧背景影像 200‧‧‧載具 202‧‧‧視覺感測器 204‧‧‧處理器 206‧‧‧記憶體 210‧‧‧影像俘獲組件 220‧‧‧影像分析組件 222‧‧‧速度影像產生器 224‧‧‧時間陣列產生器 226‧‧‧二進位影像產生器 230‧‧‧載具控制系統 240‧‧‧儲存器 260‧‧‧推進系統 270‧‧‧導航系統 310‧‧‧影像 320‧‧‧緊密限界框（TBB） 330‧‧‧目標 340‧‧‧給定目標點位置 410‧‧‧所俘獲影像 420‧‧‧速度影像 430‧‧‧時間偏差陣列 440‧‧‧二進位影像 610、610a-610d‧‧‧取樣窗 710‧‧‧變換 750‧‧‧卷積影像 910‧‧‧中心窗
因此，可參考態樣獲得可詳細地理解本發明之上文列舉特徵之方式、上文簡要概述之本發明之更具體描述，其中一些說明於附圖中。 圖1為根據本文所述一具體實例的對照影像中之背景偵測目標的載具之實例說明。 圖2為說明根據本文所述一具體實例的實例載具之方塊圖。 圖3為根據本文所述一具體實例的描繪目標物件的實例數位影像之說明。 圖4為根據本文所述一具體實例的用於數位影像之目標追蹤程序之說明。 圖5為根據本文所述一具體實例的用於數位影像的目標追蹤程序之流程圖。 圖6為根據本文所述一具體實例的產生影像之背景部分之像素速度值的說明。 圖7為根據本文所述一具體實例的產生影像之背景部分的像素速度值的卷積之使用的說明。 圖8為根據本文所述一具體實例的說明速度影像之產生的流程圖。 圖9為根據本文所述一具體實例的速度影像之產生的說明。 圖10為根據本文所述一具體實例的計算可能目標像素及背景像素之臨限值的說明。 圖11為根據本文所述一具體實例的說明產生二進位影像之流程圖。
410‧‧‧所俘獲影像
420‧‧‧速度影像
430‧‧‧時間偏差陣列
440‧‧‧二進位影像

Claims (15)

  1. 一種用於藉由追蹤數位影像中之目標的位置及定向來控制載具之導航的方法，該方法包含：接收由視覺感測器(202)所俘獲之數位影像(410)；接收足以形成限界框來圍繞該數位影像中之該目標之邊界資訊；產生包含複數個二進位值之第一陣列(420)，相較於第一一或多個先前數位影像中之對應像素，該複數個二進位值與該數位影像(410)中之第一複數個像素之像素速度相關，其中產生該第一陣列進一步包含：識別被定位於該限界框外部的該數位影像(410)中之複數個取樣窗；判定被定位於該複數個取樣窗中之每一者內部之像素的像素速度值(504)；及至少部分地基於對被定位於該複數個取樣窗內部的該等像素所判定的該等像素速度值，來判定與該數位影像中之該第一複數個像素的該像素速度相關的該複數個二進位值(508)；產生包含複數個值之第二陣列(430)，相較於第二一或多個先前數位影像中之對應像素，該複數個值與該數位影像(410)中之該第一複數個像素之像素強度的標準偏差相關；判定與該第二陣列中之該等值相關的複數個臨限值(512)；基於該第一陣列、該第二陣列及該複數個臨限值來識別該數位影像中之複數個目標像素及複數個背景像素(514)；基於經識別之該複數個目標像素及經識別之該複數個背景像素(440)來產生與該數位影像相關的二進位影像；基於該二進位影像(440)識別該數位影像中之該目標的位置及定向中之 至少一者；及傳輸命令至用於該載具(200)之導航系統，以基於該目標之位置及定向中經識別之至少一者輔助導航該載具朝向該目標。
  2. 如請求項1所述之方法，其進一步包含：將該二進位影像儲存於電子資料庫中，該電子資料庫包含與由該視覺感測器(202)所俘獲之影像相關的複數個二進位影像，其中識別該目標之位置及定向中之至少一者係進一步基於該複數個二進位影像(440)。
  3. 一種用於追蹤數位影像中之目標的位置及定向之方法，該方法包含：接收由視覺感測器(202)所俘獲之數位影像(410)；接收足以形成限界框來圍繞該數位影像中之該目標之邊界資訊；產生包含與該數位影像(410)中之第一複數個像素之像素速度相關的複數個二進位值之第一陣列(420)，其中產生該第一陣列進一步包含：識別被定位於該限界框外部的該數位影像(410)中之複數個取樣窗；判定被定位於該複數個取樣窗中之每一者內部之像素的像素速度值(504)；及至少部分地基於對被定位於該複數個取樣窗內部的該等像素所判定的該等像素速度值，來判定與該數位影像中之該第一複數個像素的該像素速度相關的該複數個二進位值(508)；產生包含與該數位影像(410)中之該第一複數個像素的像素強度之標準偏差相關的複數個值之第二陣列(430)；基於該第一陣列及該第二陣列來識別該數位影像中之複數個目標像素及複數個背景像素(514)；及 基於經識別之該複數個目標像素及經識別之該複數個背景像素來識別該數位影像中之該目標的位置及定向中之至少一者。
  4. 如請求項3所述之方法，其中相較於第一一或多個先前數位影像中之像素，該第一陣列中之該複數個二進位值與該數位影像中之像素的該像素速度相關，且其中相較於第二一或多個先前數位影像中之像素，該第二陣列中之該複數個值與該數位影像中之像素的像素強度之該標準偏差相關，該方法進一步包含：判定與該第二陣列(512)中之該等值相關的複數個臨限值，其中識別該數位影像中之該複數個目標像素及該複數個背景像素係進一步基於該複數個臨限值。
  5. 如請求項3所述之方法，其進一步包含傳輸命令至用於載具(200)之導航系統，以基於該目標之位置及定向中經識別之至少一者來輔助導航該載具朝向該目標。
  6. 如請求項3所述之方法，其進一步包含：基於經識別之該複數個目標像素及經識別之該複數個背景像素來產生與該數位影像相關的二進位影像(440)，其中識別該數位影像中之該目標的位置及定向中之至少一者係進一步基於該二進位影像(440)。
  7. 如請求項1或3中任一項所述之方法，其進一步包含：判定該第一複數個像素中之像素的梯度值；判定該第一複數個像素中之該像素的梯度臨限值；及至少部分地基於對該像素之該梯度值與該像素之該梯度臨限值進行的比較，來判定該像素的該第一陣列(420)之該二進位值。
  8. 如請求項2或4中任一項所述之方法，其中該複數個臨限值包含第一臨限值及第二臨限值，其中該第一臨限值高於該第二臨限值，且其中識別 該數位影像中之該複數個目標像素及該複數個背景像素進一步包含：判定第一像素經標記為該第一陣列(420)中之目標像素；識別該第二陣列(430)中對應於該第一像素的條目；判定該第二陣列中之該條目小於該第一臨限值，且作為回應而將該第一像素識別為該目標像素(514)；判定第二像素經標記為該第一陣列(420)中之背景像素；識別該第二陣列(430)中對應於該第二像素的條目；及判定該第二陣列中之該條目大於或等於該第二臨限值，且作為回應而將該第二像素識別為該背景像素(514)。
  9. 如請求項6所述之方法，其進一步包含：將該二進位影像儲存於電子資料庫中，該電子資料庫包含與由該視覺感測器所俘獲之影像相關的複數個二進位影像，其中識別該目標之位置及定向中之至少一者係進一步基於該複數個二進位影像。
  10. 一種用於追蹤數位影像中之目標的位置及定向之系統，該系統包含：一處理器；及一記憶體，其儲存程式，該程式在被執行於該處理器上時執行操作，該操作包含：接收由視覺感測器(202)所俘獲之數位影像(410)；接收足以形成限界框來圍繞該數位影像中之該目標之邊界資訊；產生包含與該數位影像(410)中之第一複數個像素之像素速度相關的複數個二進位值之第一陣列(420)，其中產生該第一陣列進一步包含：識別被定位於該限界框外部的該數位影像(410)中之複數個取 樣窗；判定被定位於該複數個取樣窗中之每一者內部之像素的像素速度值(504)；及至少部分地基於對被定位於該複數個取樣窗內部的該等像素所判定的該等像素速度值，來判定與該數位影像中之該第一複數個像素的該像素速度相關的該複數個二進位值(508)；產生包含與該數位影像(410)中之該第一複數個像素的像素強度之標準偏差相關的複數個值之第二陣列(430)；基於該第一陣列及該第二陣列來識別該數位影像中之複數個目標像素及複數個背景像素(514)；及基於經識別之該複數個目標像素及經識別之該複數個背景像素來識別該數位影像中之該目標的位置及定向中之至少一者。
  11. 如請求項10所述之系統，其中相較於第一一或多個先前數位影像中之像素，該第一陣列中之該複數個二進位值與該數位影像中之像素的該像素速度相關，且其中相較於第二一或多個先前數位影像中之像素，該第二陣列中之該複數個值與該數位影像中之像素的像素強度之該標準偏差相關，該操作進一步包含：判定與該第二陣列中之該等值相關的複數個臨限值(512)，其中識別該數位影像中之該複數個目標像素及該複數個背景像素係進一步基於該複數個臨限值。
  12. 如請求項10所述之系統，該操作進一步包含傳輸命令至用於載具(200)之導航系統，以基於該目標之位置及定向中經識別之至少一者輔助導航該載具朝向該目標。
  13. 如請求項10所述之系統，該操作進一步包含： 基於經識別之該複數個目標像素及經識別之該複數個背景像素來產生與該數位影像相關的二進位影像(440)，其中識別該數位影像中之該目標的位置及定向中之至少一者係進一步基於該二進位影像(440)。
  14. 如請求項10所述之系統，其進一步包含：判定該第一複數個像素中之像素的一梯度值；判定該第一複數個像素中之該像素的梯度臨限值；及至少部分地基於對該像素之該梯度值與該像素之該梯度臨限值進行的比較，來判定該像素的該第一陣列(420)之該二進位值。
  15. 如請求項11所述之系統，其中該複數個臨限值包含第一臨限值及第二臨限值，其中該第一臨限值高於該第二臨限值，且其中識別該數位影像中之該複數個目標像素及該複數個背景像素進一步包含：判定第一像素經標記為該第一陣列(420)中之目標像素；識別該第二陣列(430)中對應於該第一像素的條目；判定該第二陣列中之該條目小於該第一臨限值，且作為回應而將該第一像素識別為該目標像素(514)；判定第二像素經標記為該第一陣列(420)中之背景像素；識別該第二陣列(430)中對應於該第二像素的條目；及判定該第二陣列中之該條目大於或等於該第二臨限值，且作為回應而將該第二像素識別為該背景像素(514)。
TW107145007A 2017-12-21 2018-12-13 物件偵測用之自成像中的雜波背景移除 TWI796401B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/850,219 US10410371B2 (en) 2017-12-21 2017-12-21 Cluttered background removal from imagery for object detection
US15/850,219 2017-12-21

Publications (2)

Publication Number Publication Date
TW201928397A TW201928397A (zh) 2019-07-16
TWI796401B true TWI796401B (zh) 2023-03-21

Family

ID=64900807

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145007A TWI796401B (zh) 2017-12-21 2018-12-13 物件偵測用之自成像中的雜波背景移除

Country Status (7)

Country Link
US (2) US10410371B2 (zh)
EP (1) EP3503027B1 (zh)
JP (1) JP7286310B2 (zh)
KR (1) KR20190075832A (zh)
CN (1) CN110047103A (zh)
BR (1) BR102018076778A2 (zh)
TW (1) TWI796401B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10756443B1 (en) * 2019-08-30 2020-08-25 Cth Lending Company, Llc Methods for formation of antenna array from sub-arrays
CA3137651A1 (en) 2020-12-19 2022-06-19 The Boeing Company Combined multi-spectral and polarization sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
US20090309966A1 (en) * 2008-06-16 2009-12-17 Chao-Ho Chen Method of detecting moving objects

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4575805A (en) 1980-12-24 1986-03-11 Moermann Werner H Method and apparatus for the fabrication of custom-shaped implants
US4671650A (en) * 1982-09-20 1987-06-09 Crane Co. (Hydro-Aire Division) Apparatus and method for determining aircraft position and velocity
US5341142A (en) * 1987-07-24 1994-08-23 Northrop Grumman Corporation Target acquisition and tracking system
US5127037A (en) 1990-08-15 1992-06-30 Bynum David K Apparatus for forming a three-dimensional reproduction of an object from laminations
US5377011A (en) 1991-09-06 1994-12-27 Koch; Stephen K. Scanning system for three-dimensional object digitizing
EP0722588B1 (en) 1993-09-10 2003-01-15 The University Of Queensland Stereolithographic anatomical modelling process
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3569992B2 (ja) 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
JPH09293141A (ja) * 1996-04-24 1997-11-11 Hitachi Ltd 移動物体検出装置
JPH09303992A (ja) * 1996-05-16 1997-11-28 Toshiba Corp 飛翔体の遠方識別装置
US5960097A (en) * 1997-01-21 1999-09-28 Raytheon Company Background adaptive target detection and tracking with multiple observation and processing stages
US6052485A (en) 1997-02-03 2000-04-18 The United States Of America As Represented By The Secretary Of The Navy Fractal features used with nearest neighbor clustering for identifying clutter in sonar images
JP3544820B2 (ja) * 1997-04-03 2004-07-21 株式会社東芝 移動目標検出装置及び検出方法
JP3114668B2 (ja) 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
DE19756763A1 (de) * 1997-12-19 1999-06-24 Bodenseewerk Geraetetech Suchkopf für zielverfolgende Flugkörper
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6954551B2 (en) 2001-12-04 2005-10-11 The Boeing Company Method for determining attitude of an object
US7315644B2 (en) 2003-07-31 2008-01-01 The Boeing Company Investigation of destroyed assemblies and identification of components thereof
US20050157919A1 (en) 2003-07-31 2005-07-21 Di Santo Brenda I. Investigation of destroyed assemblies and identification of components thereof using texture mapping
US7657059B2 (en) * 2003-08-08 2010-02-02 Lockheed Martin Corporation Method and apparatus for tracking an object
US7346224B2 (en) 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
KR100579890B1 (ko) 2004-12-30 2006-05-15 삼성전자주식회사 움직임 적응적 영상처리 장치 및 그 방법
WO2006078861A2 (en) * 2005-01-18 2006-07-27 Board Of Regents, The University Of Texas System Method, system and apparatus for a time stamped visual motion sensor
JP4623368B2 (ja) 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
US7860344B1 (en) * 2005-05-06 2010-12-28 Stochastech Corporation Tracking apparatus and methods using image processing noise reduction
JP4984553B2 (ja) * 2006-01-30 2012-07-25 ソニー株式会社 二次電池用負極及びそれを用いた二次電池
JP4631806B2 (ja) 2006-06-05 2011-02-16 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム
US8417033B2 (en) * 2007-04-27 2013-04-09 Hewlett-Packard Development Company, L.P. Gradient based background segmentation and enhancement of images
US20080310677A1 (en) 2007-06-18 2008-12-18 Weismuller Thomas P Object detection system and method incorporating background clutter removal
US8542872B2 (en) * 2007-07-03 2013-09-24 Pivotal Vision, Llc Motion-validating remote monitoring system
JP2009251990A (ja) 2008-04-08 2009-10-29 Nippon Telegr & Teleph Corp <Ntt> 物体運動推定装置、物体運動推定方法、物体運動推定プログラムおよびそのプログラムを記録した記録媒体
KR101299237B1 (ko) * 2011-11-23 2013-08-22 서울대학교산학협력단 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
US9530221B2 (en) * 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
JP6413319B2 (ja) 2014-04-22 2018-10-31 サクサ株式会社 車両検出装置、およびシステム、ならびにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
US20090309966A1 (en) * 2008-06-16 2009-12-17 Chao-Ho Chen Method of detecting moving objects

Also Published As

Publication number Publication date
US10922837B2 (en) 2021-02-16
JP7286310B2 (ja) 2023-06-05
EP3503027A1 (en) 2019-06-26
KR20190075832A (ko) 2019-07-01
EP3503027B1 (en) 2022-08-24
TW201928397A (zh) 2019-07-16
BR102018076778A2 (pt) 2019-07-09
US20200090364A1 (en) 2020-03-19
US20190197724A1 (en) 2019-06-27
CN110047103A (zh) 2019-07-23
JP2019117630A (ja) 2019-07-18
US10410371B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
US9933264B2 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
Alkendi et al. State of the art in vision-based localization techniques for autonomous navigation systems
US10339387B2 (en) Automated multiple target detection and tracking system
US11064178B2 (en) Deep virtual stereo odometry
CN108475058B (zh) 估计对象接触时间的系统和方法、计算机可读介质
US20150356357A1 (en) A method of detecting structural parts of a scene
EP2901236B1 (en) Video-assisted target location
US20200143179A1 (en) Infrastructure-free nlos obstacle detection for autonomous cars
Saif et al. Moving object detection using dynamic motion modelling from UAV aerial images
EP1797524A2 (en) A method and system for improved unresolved target detection using multiple frame association
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
Molloy et al. Detection of aircraft below the horizon for vision‐based detect and avoid in unmanned aircraft systems
TWI796401B (zh) 物件偵測用之自成像中的雜波背景移除
CN115406447B (zh) 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
US8548194B1 (en) System and method for determining altitude
Das et al. Taming the north: Multi-camera parallel tracking and mapping in snow-laden environments
US10549853B2 (en) Apparatus, system, and method for determining an object&#39;s location in image video data
Pȩszor et al. Optical flow for collision avoidance in autonomous cars
Pinto et al. An architecture for visual motion perception of a surveillance-based autonomous robot
Erokhin et al. Detection and tracking of moving objects with real-time onboard vision system
Gokul et al. Lucas Kanade based Optical Flow for Vehicle Motion Tracking and Velocity Estimation
Mahmood et al. Vision based hazard detection and obstacle avoidance for planetary landing
Gatter et al. On precisely determining self-cast shadow regions in aerial camera images
Zhang Aircraft detection and tracking using UAV-mounted vision system