TWI786293B - 估計在一影像中之一極值點之一次級像素位置的方法及裝置、立體攝影機系統及相關的非暫時性電腦可讀媒體 - Google Patents

估計在一影像中之一極值點之一次級像素位置的方法及裝置、立體攝影機系統及相關的非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI786293B
TWI786293B TW108117592A TW108117592A TWI786293B TW I786293 B TWI786293 B TW I786293B TW 108117592 A TW108117592 A TW 108117592A TW 108117592 A TW108117592 A TW 108117592A TW I786293 B TWI786293 B TW I786293B
Authority
TW
Taiwan
Prior art keywords
pixel
image
pixels
point
sub
Prior art date
Application number
TW108117592A
Other languages
English (en)
Other versions
TW202013313A (zh
Inventor
米卡爾 尼爾森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202013313A publication Critical patent/TW202013313A/zh
Application granted granted Critical
Publication of TWI786293B publication Critical patent/TWI786293B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本發明提供一種使用一參數函數估計一影像中之一極值點之一次級像素位置之方法。將一參數函數局部擬合至該影像中之一群組相鄰像素，及識別該參數函數之一極值點之一空間位置。若該參數函數之該極值點係不同於該影像中之該極值點之一類型，或該參數函數之該極值點之該位置定位於藉由該群組相鄰像素中之該等像素位置界定之一區域外部，則自該群組相鄰像素移除一像素及重複該參數函數之該擬合。最後，將該次級像素位置估計為該參數函數之該極值點之該位置。將該經估計之次級像素位置之一不確定性位準估計為在得出該次級像素位置之該估計之前所需之重複次數。

Description

估計在一影像中之一極值點之一次級像素位置的方法及裝置、立體攝影機系統及相關的非暫時性電腦可讀媒體
本發明係關於估計一影像中之一極值點之一次級像素位置之領域。特定言之，本發明係關於使用一參數函數估計一影像中之一極值點之一次級像素位置的一方法及相關聯裝置及系統。
數位影像係由一有限數位值集(被稱為像素)構成。此等係影像中之最小個別元素。可以一像素之一精度量測一數位影像中之空間位置。然而，在一些應用中，此並不足夠且需要以一次級像素精度量測一影像中之空間位置。例如，在許多應用中，極大關注以一次級像素精度估計一影像中之一強度最大值或最小值之位置。此包含光流內、來自(例如)衛星或顯微鏡影像之物件定位內及用於估計一場景中之深度之立體攝影機設置中之應用。
估計一影像中之一最大值或一最小值之位置之一方法包含將一參數函數局部擬合至該影像之像素值。接著可識別該經擬合之參數函數之一最大值或最小值，及可將該參數函數之該經識別之最大值或最小值之空間位置視為該影像中之該最大值或最小值之次級像素位置。此方法之一缺點在於，其對影像中之雜訊敏感。又其不提供估計之可靠程度之量 度。因此存在改進空間。
鑑於上文，因此本發明之一目的係提供一影像中之一最大值或一最小值之一次級像素位置之一經改良估計。
根據一第一態樣，以上目的係藉由一種在一裝置中執行之使用一參數函數在存在雜訊的情況下估計一影像中之一極值點之一次級像素位置的方法實現，該影像中之該極值點係作為一最大值或一最小值之一類型，該方法包括：a)選擇該影像中之一群組相鄰像素，其中該群組相鄰像素中之一像素數目大於定義該參數函數之一參數數目，b)將該參數函數擬合至該群組相鄰像素之像素值，其中該參數函數將該群組相鄰像素之該等像素值近似表達為一空間位置函數，c)識別該參數函數之一極值點之一空間位置，該參數函數之該極值點係作為一最大值、一最小值或一鞍點之一類型，d)檢查該參數函數之該極值點是否係相同於或不同於該影像中之該極值點之一類型，及該參數函數之該極值點之該位置是否定位於藉由該影像中之該群組相鄰像素之像素位置界定之一區域內部或外部，及若該參數函數之該極值點係不同於該影像中之該極值點之一類型或該參數函數之該極值點之該位置定位於該區域外部：則自該群組相鄰像素移除一像素，及若該群組相鄰像素中之該像素數目仍大於或等於定義該參數函數之該參數數目，則重複步驟b)、步驟c)及步驟d)， e)將該影像中之該極值點之該次級像素位置估計為該參數函數之該極值點之該空間位置，及f)使該經估計之次級像素位置與對應於步驟b)、步驟c)及步驟d)之一反覆次數之一不確定性位準相關聯。
根據此方法，因此將一參數函數局部擬合至影像之一群組相鄰像素之像素值及識別該參數函數之一極值點。然而，在接受該參數函數之該經識別極值點之該空間位置作為該影像中之該極值點之該次級像素位置之一估計之前，進行兩次檢查。
在一第一檢查中，檢查參數函數之經識別極值點是否係相同於或不同於吾人尋找之影像中之極值點之一類型。例如，若吾人尋找影像中之一最大值之一次級像素位置，則檢查參數函數之經識別極值點是否為一最大值。類似地，若吾人尋找影像中之一最小值之一次級像素位置，則檢查參數函數之經識別極值點是否為一最小值。進行此第一檢查之原因在於，影像中之雜訊可引致離群像素值。該等離群像素值繼而可導致參數函數之一較差擬合。最後，結果可為即使方法搜尋一最大值，參數函數仍具有一最小值，且反之亦然。
在一第二檢查中，檢查參數函數之經識別極值點是否定位於藉由影像中之相鄰像素群組之像素位置界定之一區域內部或外部。又，離群像素值可引致參數函數之一較差擬合，從而引起經識別極值點在其中方法搜尋一最大值或最小值之局部鄰域外部。
若參數函數之經識別極值點係不同於影像中之極值點之一類型，或若參數函數之經識別極值點定位於藉由相鄰像素群組界定之區域外部，則第一檢查及第二檢查之任一者失敗。若此發生，則方法繼續進行 以自相鄰像素群組移除一像素且再次開始將一參數函數擬合至相鄰像素群組之像素值。重複此直至兩次檢查通過，或直至在相鄰像素群組中未剩餘足夠像素值以容許擬合該參數函數。方法因此容許反覆地移除潛在離群像素值直至獲得一可接受擬合。以此方式，方法變得對影像中之雜訊更穩健。
所需之反覆次數通常係與影像中之雜訊位準有關，即，影像愈有雜訊，通常需要更多反覆來實現一可接受擬合。此外，參數函數之擬合將基於用於各反覆之較少像素值。因此，經估計之次級像素位置之不確定性位準趨於隨著反覆次數而增加。因此，方法提出使用反覆次數作為經估計之次級像素位置之不確定性位準之一量度，即，作為估計之可靠程度之一量度。
就一影像而言，其通常意謂任何種類之空間組織之信號值。該影像可為藉由一感測器擷取之一影像，諸如一視覺光影像、一紅外影像或一熱影像。然而，更一般而言，影像可為提供於一二維柵格上之任何經量測或經計算信號值。此等信號值可為空間有關的，諸如空間相關的。
影像包括像素。各像素係與對應於二維柵格上之像素之位置之一位置相關聯。各像素進一步與對應於該像素之信號值之一像素值相關聯。
像素位置因此定義配置於一二維柵格中之離散位置。二維空間中之並不限於此等離散位置之空間位置在本文中被稱為次級像素位置。
就一影像中之一極值點而言，其通常意謂該影像中之一最 大值或一最小值。該最大值可為一局部最大值。該最小值可為一局部最小值。
就一參數函數之一極值點而言，其通常意謂該參數函數之一平穩點(stationary point)，即，其中該參數函數之所有偏導數(或等效地，梯度)為零之一點。參數函數之該極值點可為一最大值、一最小值或一鞍點。
就一估計之一不確定性位準而言，其通常意謂該估計之可靠程度之一量度。一較低不確定性位準與一較高不確定性位準相比指示一更可靠估計。該不確定性位準亦指示估計之變動。一較高不確定性位準與一較低不確定性位準相比指示一更高變動。
可基於影像之像素值選擇相鄰像素群組。例如，可識別影像中之其中像素值指示存在一局部最大值(若極值點之類型係一最大值)或一局部最小值(若極值點之類型係一最小值)之區域。可選擇相鄰像素群組以包含此一區域。以此方式，首先使用影像之像素值進行極值點之位置之一粗略估計。上文所描述之方法接著可用於針對一次級像素精度微調極值點之該經估計位置。影像中之具有大於其相鄰像素之各者之像素值之一像素值的一像素指示存在一局部最大值。類似地，影像中之具有低於其相鄰像素之各者之像素值之一像素值的一像素指示存在一局部最小值。因此，若影像中之極值點係一最大值，則可選擇相鄰像素群組以包含影像中之具有大於影像中之各相鄰像素之一像素值之一像素值的一像素，且若影像中之極值點係一最小值，則選擇相鄰像素群組以包含影像中之具有低於影像中之各相鄰像素之一像素值之一像素值的一像素。可選擇相鄰像素群組從而以具有最大像素值之像素為中心(若搜尋一最大值)或以具有最低像素值 之像素為中心(若搜尋一最小值)。例如，相鄰像素群組可包含以具有最大像素值之像素為中心(若搜尋一最大值)或以具有最低像素值之像素為中心(若搜尋一最小值)之一3x3像素鄰域。
參數函數可為一二維二次函數。此一函數可按以下參數形式撰寫：f(x,y)=Ax 2+By 2+Cxy+Dx+Ey+F。該二維二次函數係藉由六個參數描述。因此，只要相鄰像素群組中存在至少六個像素，該參數函數便可擬合至相鄰像素群組之像素值。此參數函數之有利之處在於，其可使用閉合形式表達式擬合至相鄰像素群組之像素值。因此其係一運算上有效之選擇。然而，應理解，可使用其他參數函數同時仍實現該優點。
可使用一最小平方法將參數函數擬合至相鄰像素群組之像素值。此包含最小化相鄰像素群組之像素值與在相鄰像素群組之像素之位置處評估之參數函數之間的平方差之總和。即使在相鄰像素群組中之像素數目超過參數函數中之參數數目時，此仍為將參數函數擬合至相鄰像素群組之像素值之一運算上有效方法。
將參數函數擬合至相鄰像素群組之像素值可涉及求解一方程式組以找到定義參數函數之參數。可藉由針對群組中之各像素使該像素之值與在該像素之位置處評估之參數函數之值等同來定義該方程式組。例如，可藉由使用先前所描述之最小平方法來找到方程式組之一解。求解方程式組可包含形成相鄰像素群組之像素值之線性組合以找到定義參數函數之參數。為使方法運算上有效，該等線性組合之係數可預儲存於裝置中。以此方式，該等係數係經預先評估且不需要在每次執行方法時予以評估。
如上文所闡釋，方法反覆地自相鄰像素群組移除像素直至實現參數函數之一可接受擬合。特定言之，可移除可被視為一離群點之一像素。以此方式，可減小雜訊對擬合之影響。此可以不同方式完成。例如，在步驟d)中，可移除具有最偏離由相鄰像素群組之像素值形成之一平均值之一像素值之像素。在一些情況中，可藉由省略相鄰像素群組之一中心像素之像素值來計算該平均值。此係由以下事實推動：該中心像素通常被選擇為具有最大(若最大值)像素值或最低(若最小值)像素值之像素。以此方式，平均值將反映圍繞中心像素之像素之一平均值。
所提出方法不僅提供次級像素位置之一估計，而且提供該估計之一不確定性位準。該不確定性位準係依據通過步驟d)中所定義之兩次檢查所需之反覆次數而給出。不確定性位準反映估計之可靠程度，該可靠性隨著不確定性位準降低而增加。不確定性位準因此係次級像素位置之一估計之可信任程度之一量度。在進一步處理經估計之次級像素位置時可使用對不確定性位準之暸解。更明確言之，方法可進一步包括：處理經估計之次級像素位置，其中與經估計之次級像素位置相關聯之不確定性位準係用於在處理期間對經估計之次級像素位置，或自其計算之一量加權，其中一較高不確定性位準與一較低不確定性位準相比對應於一更低權重。以此方式，可根據其可靠性對一經估計之次級像素位置或自其計算之一量加權。以此方式，在處理期間可減小雜訊之影響。
所提出方法可用於各種應用，包含自(例如)衛星或顯微鏡影像之物件定位。在此等應用中，輸入至方法之影像可藉由一感測器擷取。例如，影像可為一視覺光影像、一紅外影像或一熱影像。然而，在另一群組應用中，影像代替性地對應於提供於一二維柵格上之經計算信號 值。
此一應用之一實例係與物件偵測有關。在此一應用中，影像信號值可對應於自一物件偵測器輸出之分數。一分數可反映一物件存在於影像中之一像素位置處之概率。藉由對具有來自一物件偵測器之分數之一影像應用所提出方法，可以一次級像素精度判定一影像中之一物件之位置。處理該經判定之次級像素位置可對應於使用不確定性位準作為一權重來平滑化該位置。
此一應用之另一實例係與立體攝影機有關。在一立體攝影機中，一第一感測器及一第二感測器各自擷取一場景之一影像，但自略微不同之觀看角度。藉由找到該兩個影像中之匹配特徵，吾人可(例如)計算該場景中之深度(即，距場景中之物件之距離)。在匹配一對立體影像中之一第一影像與一第二影像之間的特徵之程序中可使用所提出方法。特定言之，所提出方法可用於以次級像素精度及以一相關聯不確定性位準找到匹配特徵之位置。
在一立體應用中，輸入至所提出方法之影像可對應於一相關圖。該相關圖可藉由匹配(例如，使相關)一對立體影像之一第一影像中之一像素之一鄰域中之像素值與該對立體影像之一第二影像中之像素值而產生。相關圖因此係在對應於該第二影像中之像素位置之一二維柵格上予以定義。此外，相關圖之信號值可指示第一影像中之一特定像素之值與第二影像之像素值之匹配程度。當在將相關圖作為一輸入之情況下使用所提出方法時，影像中之極值點之次級像素位置因此對應於給予與第一影像中之像素之一最佳匹配之第二影像中之一次級像素位置。
此方法因此估計給予與立體對中之第一影像中之一特定像 素之一最佳匹配之第二影像中之次級像素位置及一相關聯不確定性位準。可針對立體對之第一影像中之複數個像素重複此程序。更明確言之，方法可進一步包括，對於立體影像對之第一影像中之複數個像素之各者：藉由匹配該像素之一鄰域中之像素值與第二影像中之像素值而產生對應於該像素之一相關圖；針對對應於該像素之該相關圖執行步驟a)至步驟f)以便估計給予與該像素之一最佳匹配之第二影像中之一次級像素位置，第二影像中之該次級像素位置與一不確定性位準相關聯。以此方式，針對第一影像中之複數個像素之各者估計第二影像中之一次級像素位置及一相關聯不確定性位準。
複數個像素可對應於第一影像中之所有像素。複數個像素可對應於第一影像中之一經指定區域。替代性地或此外，立體影像對之第一影像中之複數個像素可描繪場景中之相同物件。
方法可進一步包括處理對應於立體影像對之第一影像中之複數個像素之經估計之次級像素位置。與經估計之次級像素位置相關聯之不確定性位準可在處理期間用作權重，其中自與一較高不確定性位準相關聯之一次級像素位置計算之一量與自與一較低不確定性位準相關聯之一次級像素位置計算之一量相比被給予一更低權重。以此方式，第一影像與第二影像之間的較不可靠匹配與較可靠匹配相比可被給予一更低權重。以此方式，可減小雜訊之影響。
自一次級像素位置計算之量可包含經計算為該次級像素位置與第一影像中之一對應像素之一位置之間的一差之一差異值。因此，不同差異值可根據其等可靠性被給予不同權重。此將最終減小雜訊之影響。例如，處理可包含計算自經估計之次級像素位置計算之差異值之一經加權 平均值，其中自與一較高不確定性位準相關聯之次級像素位置計算之差異值與自與一較低不確定性位準相關聯之次級像素位置計算之差異值相比被給予一更低權重。例如，此在平滑化差異圖方面為有用的。
自一次級像素位置計算之量可包含基於該次級像素位置及第一影像中之一對應像素之一位置計算之一深度值，其中該深度值對應於距藉由第一影像中之該像素描繪之場景中之一物件之一距離。因此，不同深度值可根據其等可靠性被給予不同權重。此將最終減小雜訊之影響。例如，處理對應於立體影像對之第一影像中之複數個像素之經估計之次級像素位置可包含，對於立體影像對之第一影像中之複數個像素之各者：基於第一影像中之該像素之位置及給予與該像素之一最佳匹配之第二影像中之次級像素位置而計算該像素之一深度值；及使該深度值與第二影像中之次級像素位置所相關聯之不確定性位準相關聯。以此方式，經計算之深度值可與一不確定性位準相關聯，藉此提供深度值之可靠程度之一量度。當處理深度值時可使用與深度值相關聯之該不確定性位準。例如，相較於具有一較高不確定性位準之深度值，可給予具有一較低不確定性位準之深度值一更高權重。
處理可進一步包含：計算對應於立體影像對之第一影像中之複數個像素之深度值之一經加權平均值，其中自具有一較高不確定性位準之次級像素位置計算之深度值與自具有一較低不確定性位準之次級像素位置計算之深度值相比被給予一更低權重。以此方式，深度值根據其等可靠性被加權。以此方式，減小深度值中之雜訊之影響。例如，此可在計算至影像之一經指定區域之一深度時使用。此對於平滑化一深度圖亦可為有用的。與較不可靠深度值相比，較可靠深度值則將對最終結果具有一更高 影響。
可藉由將一空間濾波器應用於對應於立體影像對之第一影像中之複數個像素之深度值而計算深度值之經加權平均值。該空間濾波器可為平滑化深度值之一平滑化濾波器。空間濾波器之參數可取決於不確定性位準而設定。
自一次級像素位置計算之量可包含三維空間中之一點，其中三維空間中之該點係基於該次級像素位置及第一影像中之一對應像素之一位置而計算。因此，三維空間中之不同點可根據其等可靠性被給予不同權重。此將最終減小雜訊之影響。
在一些應用中，關注基於描繪場景之一對立體影像估計場景中之一三維物件之形狀。此可藉由以下操作實現：識別描繪該等立體影像之一第一者中之物件之複數個像素；基於與立體影像之一第二者之一立體匹配之結果而計算對應於該複數個像素之三維空間中之點；及將一物件模板擬合至三維空間中之該等經計算點。藉由使用所提出方法，可將估計之不確定性位準用作擬合該物件模板之程序中之權重，藉此使該擬合對雜訊較不敏感。更詳細而言，立體影像對之第一影像中之複數個像素可描繪場景中之相同物件，且處理可進一步包括：計算對應於立體影像對之第一影像中之複數個像素之三維空間中之複數個點，三維空間中之各點係使用第一影像中之對應像素之位置及給予與第一影像中之該像素之一最佳匹配之第二影像中之次級像素位置來計算，將一三維物件模板擬合至三維空間中之複數個點，該三維物件模板 界定係與場景中之物件相同之類型之一物件之一輪廓，其中在擬合三維物件模板之步驟中，自具有一較高不確定性位準之一次級像素位置計算之三維空間中之一點與自具有一較低不確定性位準之一次級像素位置計算之三維空間中之一點相比被給予一更低權重。
根據一第二態樣，以上目的係藉由一種使用一參數函數在存在雜訊的情況下估計一影像中之一極值點之一次級像素位置的裝置實現，該影像中之該極值點係作為一最大值或一最小值之一類型，該裝置包括一處理器，該處理器經組態以：a)選擇該影像中之一群組相鄰像素，其中該群組相鄰像素中之一像素數目大於定義該參數函數之一參數數目，b)將該參數函數擬合至該群組相鄰像素之像素值，c)識別該參數函數之一極值點之一位置，該參數函數之該極值點係作為一最大值、一最小值或一鞍點之一類型，d)檢查該參數函數之該極值點是否係相同於或不同於該影像中之該極值點之一類型，及該參數函數之該極值點之該位置是否定位於藉由該影像中之該群組相鄰像素之像素位置界定之一區域內部或外部，及若該參數函數之該極值點係不同於該影像中之該極值點之一類型或該參數函數之該極值點之該位置定位於該區域外部：則自該群組相鄰像素移除一像素，及若該群組相鄰像素中之該像素數目仍大於或等於定義該參數函數之該參數數目，則重複步驟b)、步驟c)及步驟d)，e)將該影像中之該極值點之該次級像素位置估計為該參數函數之該極 值點之該位置，及f)使該經估計之次級像素位置與對應於步驟b)、步驟c)及步驟d)之一反覆次數之一不確定性位準相關聯。
根據一第三態樣，提供一種立體攝影機系統，其包括：一第一影像感測器，其經組態以擷取一對立體影像之一第一影像，一第二影像感測器，其經組態以擷取該對立體影像之一第二影像，根據第二態樣之一裝置，及一處理器，其經組態以：藉由匹配該第一影像中之一像素之一鄰域中之像素值與該對立體影像之該第二影像中之像素值而自該對立體影像產生一相關圖，及將該相關圖作為輸入提供至該裝置，使得引起該裝置使用一參數函數在存在雜訊的情況下估計該相關圖中之一極值點之一次級像素位置。
根據一第四態樣，提供一種非暫時性電腦可讀媒體，其包括經調適以在藉由具有處理能力之一裝置執行時執行第一態樣之方法之電腦程式碼指令。
第二態樣、第三態樣及第四態樣可大體上具有與第一態樣相同之特徵及優點。應進一步注意，本發明係關於特徵之所有可能組合，除非另有明確說明。除非另有明確說明，否則本文中所揭示之任何方法之步驟不必以所揭示之精確順序執行。
100:裝置
102:處理器
104:記憶體/非暫時性電腦可讀媒體
200:系統/立體攝影機系統
202:第一影像感測器/第一感測器
203:第一影像
204:第二影像感測器/第二感測器
205:第二影像
206:匹配組件
207:相關圖
400:影像
402:相鄰像素群組/群組/像素鄰域
402a:像素
403:像素值
403a:像素值
403b:像素值
403c:像素
404:參數函數
405b:空間位置/位置
405d:空間位置/位置
406:極值點
407:區域
500:物件
502a:像素
502b:像素
502c:像素
502d:像素
504a:次級像素位置
504b:次級像素位置
504c:次級像素位置
504d:次級像素位置
506a:點
506b:點
506c:點
506d:點
508:物件模板
S02:步驟/選擇
S04:步驟/擬合
S06:步驟/識別
S08a:步驟/檢查
S08b:步驟/檢查
S08c:步驟/移除
S08d:步驟
S10:步驟/估計
S12:步驟
透過本發明之實施例之以下闡釋性且非限制性詳細描述參考隨附圖 式將較佳理解本發明之以上以及額外目的、特徵及優點，其中相同元件符號將用於類似元件，其中：圖1繪示根據實施例之用於估計一影像中之一極值點之一次級像素位置之一裝置。
圖2繪示根據實施例之一立體攝影機系統。
圖3係根據實施例之用於估計一影像中之一極值點之一次級像素位置之一方法的一流程圖。
圖4a繪示根據實施例之一影像中之一群組相鄰像素。
圖4b至圖4d繪示根據實施例之將一參數函數擬合至圖4a中所展示之該群組相鄰像素之像素值。
圖5示意性地繪示根據實施例之描繪一場景中之一物件之一對立體影像。
現將在下文參考其中展示本發明之實施例之隨附圖式更充分描述本發明。然而，本發明可以許多不同形式體現且不應被解釋為限於本文中所闡述之實施例；實情係，此等實施例係為徹底性及完整性而提供，且向熟習技術者充分傳達本發明之範疇。本文中所揭示之系統及裝置將在操作期間進行描述。
圖1繪示用於估計一影像中之一極值點之一次級像素位置之一裝置100。裝置100包含一處理器102。該處理器可係任何已知類型，諸如一中央處理單元、一微處理器、一數位信號處理器或類似者。裝置100進一步包含一記憶體104。記憶體104可為一非暫時性電腦可讀媒體，諸如一非揮發性記憶體。電腦程式碼指令可儲存於記憶體104中。當藉由 處理器102執行電腦程式碼指令時，引起處理器102執行本文中所揭示之任何方法。特定言之，引起處理器102執行用於估計被輸入至裝置100之一影像中之一極值點之一次級像素位置之一方法。
圖2繪示其中可使用裝置100之一系統200。系統200係一立體攝影機系統200。系統200包括一第一影像感測器202、一第二影像感測器204、一匹配組件206及圖1之用於估計一影像中之一極值點之一次級像素位置之裝置100。
第一影像感測器202及第二影像感測器204經配置以同時自不同觀看角度擷取一場景之影像。藉由第一感測器202擷取之一第一影像203及藉由第二感測器204擷取之一第二影像205形成一對立體影像。第一影像感測器202及第二影像感測器204可為任何已知立體攝影機之影像感測器。例如，其等可為一AXIS P8804立體感測器套組之部分。
第一影像感測器202及第二影像感測器204可操作地連接至匹配組件206。特定言之，藉由第一感測器202擷取之第一影像203及藉由第二感測器204擷取之第二影像205係作為輸入提供至匹配組件206。匹配組件206包括一處理器。該處理器可係任何已知類型，諸如一中央處理單元、一微處理器、一數位信號處理器或類似者。匹配組件206可進一步包括一記憶體，該記憶體可為一非暫時性電腦可讀媒體(諸如一非揮發性記憶體)。匹配組件206之記憶體可儲存電腦程式碼指令。當藉由匹配組件206之處理器執行此等電腦程式碼指令時，引起處理器匹配第一影像203中之像素值與第二影像205中之像素值以便產生及輸出一相關圖207。
匹配組件206可操作地連接至裝置100。特定言之，藉由匹配組件206產生之相關圖207被輸入至裝置100。因此，裝置100經配置以 估計相關圖中之一極值點之一次級像素位置。
匹配組件206可整合於裝置100中。特定言之，處理器102及記憶體104皆可經組態以匹配第一影像203及第二影像205中之像素值以產生一相關圖，且隨後估計該相關圖中之一極值點之一次級像素位置。
將在下文參考圖1、圖4及圖3之流程圖更詳細闡釋裝置100之操作。
一影像被輸入至裝置100。如將闡釋，裝置100處理該影像以提供該影像中之一極值點之一次級像素位置之一估計以及該估計之一不確定性位準。在下文中，假定影像中之該極值點係一最大值。然而，應理解，影像中之極值點同樣可為一最小值。
在步驟S02中，處理器102選擇影像中之一群組相鄰像素。此在繪示一影像400及一群組選定相鄰像素402之圖4a中進一步繪示。該所繪示群組相鄰像素402包含3x3個像素，但應理解，可選擇更大群組相鄰像素，諸如5x5個像素或7x7個像素。為選擇相鄰像素群組402，處理器102可識別影像400中之一或多個局部最大值。一局部最大值可經識別為影像400中之具有大於各相鄰像素之像素值之一像素值之一像素。此一局部最大值係在圖4a之右部分中繪示，從而展示具有超過其八個相鄰者之像素值之一像素值403a之一像素402a。可選擇相鄰像素群組402以包含經識別為一局部最大值之像素。例如，可選擇相鄰像素群組402，使得該群組之一中心像素對應於經識別為一局部最大值之像素402a。在所繪示實例中，3x3像素鄰域402之中心像素對應於經識別為一局部最大值之像素402a，且其他八個像素對應於經識別為一局部最大值之像素402a之八個相鄰者。在實例 中，相鄰像素群組402之中心值係最大的。假定自影像中之一峰值量測相鄰像素群組402中之像素值403，且真實峰值座標在空間上定位於此等量測值之間，例如，在相鄰像素群組402內之一次級像素位置處。對於以下描述，在不失一般性之情況下，假定群組402之中心像素定位於(0,0)處且其他位置係在1之一範圍內。然而，應理解，其他假定同樣可行。因此，假定相鄰像素群組402中之像素位置為：
Figure 108117592-A0305-02-0019-1
 相鄰像素群組402中之像素位置定義一區域407。群組中之像素之像素位置跨越區域407。換言之，區域407包含落在相鄰像素群組402之像素位置之間的所有空間位置。在此情況中，區域407因此包含所有空間位置(x,y)，針對其|x|<1且|y|<1。
此外，在以下描述中，對應於群組402中之像素位置之像素值403係藉由以下表示：
Figure 108117592-A0305-02-0019-2
倘若識別一個以上局部最大值，則可選擇相鄰像素群組402以包含經識別為全域最大值(即，具有影像中之最大像素值)之像素。替代性地或此外，可選擇若干群組相鄰像素，各群組對應於一個經識別局部最大值。接著可針對各群組選定相鄰像素分別重複下文所描述之步驟。
若影像中之極值點代替性地為一最小值，則處理器102可代替性地識別影像400中之一或多個局部最小值，且選擇相鄰像素群組以 包含經識別為一局部最小值之像素。一局部最小值可經識別為影像中之具有低於各相鄰像素之像素值之一像素值之一像素。
在步驟S04中，處理器102將一參數函數擬合至相鄰像素群組402之像素值403。該擬合包含估計該參數函數之參數，使得所得參數函數儘可能地將相鄰像素群組402之像素值403近似表達為一空間位置函數(例如，在一最小平方意義上)。圖4b繪示已擬合至相鄰像素群組402之像素值403之一參數函數404。該參數函數可為一二維二次函數，但亦可使用其他參數函數。此一函數可使用六個參數A、B、C、D、E、F按以下參數形式撰寫：f(x,y)=Ax 2+By 2+Cxy+Dx+Ey+F。因為該二維二次函數係藉由六個參數描述，所以只要相鄰像素群組402中存在至少六個像素，該二維二次函數便可擬合至相鄰像素群組402之像素值403。
處理器102可藉由求解依據未知參數及相鄰像素群組402之像素值403表達之一方程式組而估計參數函數之參數。例如，使用3x3相鄰像素群組402之全部九個可用樣本(z 1、z 2、z 3、z 4、z 5、z 6、z 7、z 8、z 9)及插入至二維二次函數之以上表達式中，可公式化以下具有九個方程式之方程式組： A+B+C-D-E+F=z 1 B-E+F=z 2 A+B-C+D-E+F=z 3 A-D+F=z 4 F=z 5 A+D+F=z 6 A+B-C-D+E+F=z 7 B+E+F=z 8 A+B+C+D+E+F=z 9因為存在比未知更多之方程式，所以此方程式組係超定的。為找到一解，可使用一最小平方法。此包含最小化相鄰像素群組402之像素值403與在相鄰像素群組402之像素之位置處評估之參數函數404之間的平方差之總和。換言之，在最小平方意義上，可藉由最小化以下最小平方目標而找到一解：Θ(A,B,C,D,E,F)=A+B+C-D-E+F-z 1)2+(B-E+F-z 2)2+(A+B-C+D-E+F-z 3)2+(A-D+F-z 4)2+(F-z 5)2+(A+D+F-z 6)2+(A+B-C-D+E+F-z 7)2+(B+E+F-z 8)2+(A+B+C+D+E+F-z 9)2 藉由找到偏導數
Figure 108117592-A0305-02-0021-10
、
Figure 108117592-A0305-02-0021-11
、
Figure 108117592-A0305-02-0021-12
、
Figure 108117592-A0305-02-0021-13
、
Figure 108117592-A0305-02-0021-14
、
Figure 108117592-A0305-02-0021-15
及將各者設定為零導致可經明 確求解之一方程式組。在此情況中，該解係：
Figure 108117592-A0305-02-0021-9
 因此，求解該方程式組以找到參數包含形成相鄰像素群組402之像素值(z 1、z 2、z 3、z 4、z 5、z 6、z 7、z 8、z 9)之線性組合。該等線性組合之係數較佳經預計算及儲存於裝置100中(例如，記憶體104中)。
在擬合參數函數404之後，處理器102繼續進行以識別參數函數404之一極值點406之一空間位置405b(藉由圖4b中之一「X」指示)。就參數函 數404之一極值點而言，其意謂其中偏導數
Figure 108117592-A0305-02-0022-16
及
Figure 108117592-A0305-02-0022-17
等於零之一 點。換言之，就一極值點而言，其意謂參數函數404之一平穩點。倘若參數函數404係上文所描述之二維二次函數，則其極值點之空間位置(x * ,y *)等於：
Figure 108117592-A0305-02-0022-4
眾所周知，兩個變數之一函數之一平穩點可為一最大值、一最小值或一鞍點。如方法旨在估計一最大值之一次級像素位置，則需要經擬合參數函數之極值點亦為一最大值。類似地，若方法代替性地旨在估計一最小值之一次級像素位置，則需要經擬合參數函數之極值點係一最小值。因此，在步驟S08a中，處理器102檢查參數函數404之極值點406是否係與影像400中之極值點相同之類型。換言之，若處理器102旨在估計影像400中之一最大值之次級像素位置，則處理器102在步驟S08a中檢查參數函數404之極值點406之空間位置405是否為一最大值。此檢查在本文中被稱為一最大值檢查。
找到一函數之一最大值係在導數係零之處且在f xx f yy -
Figure 108117592-A0305-02-0022-22
>0、 f xx <0及f yy <0時。此處
Figure 108117592-A0305-02-0023-18
、
Figure 108117592-A0305-02-0023-19
、
Figure 108117592-A0305-02-0023-20
。對於二維二次 函數，f xx =2A、f xx =2B及f xy =C。因此對於二維二次函數，處理器102可藉由檢查以下條件而檢查極值點406是否為一最大值：4AB-C 2>0 2A<0 2B<0針對一最小值之對應條件係f xx f yy -
Figure 108117592-A0305-02-0023-21
<0、f xx >0及f yy >0，對於二維二次函數其變為：4AB-C 2<0 2A>0 2B>0在圖4b之實例中，處理器102發現極值點406係一最大值，且因此係與影像400中之極值點相同之類型。在其中參數函數404可具有若干局部極值點之情況下，處理器亦可檢查極值點406是否為與影像中之極值點相同之類型之參數函數之單個全域極值點。
處理器102亦在步驟S08b中檢查參數函數404之極值點406之空間位置405b是否定位於藉由影像400中之相鄰像素群組402之像素位置界定之區域407內部或外部。此檢查在本文中被稱為一局部化檢查。應理解，步驟S08a及步驟S08b可按任何順序進行。如上文所介紹將在範圍[-1,1]中之座標系統用於相鄰像素群組402，處理器102可因此檢查是否滿足條件|x *|<1、|y *|<1。
若步驟S08a之最大值檢查及步驟S08b之局部化檢查兩者通過(即，若參數函數404之極值點406係與影像400中之極值點相同之類型，且參數函數404之極值點406之空間位置405b定位於區域407內部)，則處理器102繼續進行至步驟S10。
然而，若步驟S08a之最大值檢查及步驟S08b之局部化檢查 之任一者失敗(即，若參數函數404之極值點406係與影像400中之極值點不同之一類型，及/或參數函數404之極值點406之空間位置405b定位於區域407外部)，則處理器102代替性地繼續進行至步驟S08c。此係圖4b之實例中之情況，因為極值點406之空間位置405b定位於區域407外部，因此未通過局部化檢查。在其中發現參數函數404之極值點406並非單個全域最大值(或最小值)之情況中，處理器102亦可繼續進行至步驟S08c。
在步驟S08c中，處理器102自相鄰像素群組移除一像素。該移除背後之理念係移除一離群點及進行一新嘗試以擬合一參數函數。存在許多方式來識別具有一離群值之一像素。例如，處理器102可移除具有最偏離由相鄰像素群組之像素值形成之一平均值之一像素值之像素。當形成該平均值時，可省略相鄰像素群組402之中心處之像素值z 5。更明確言之，將長度K=8之陣列k=[1,2,3,4,6,7,8,9]視為自其移除一離群點之像素值z之可能指數。接著自以下找到之k *(i)
Figure 108117592-A0305-02-0024-5
 將為自相鄰像素群組402移除之像素。若此適用於圖4b之實例，則處理器將得出k *(i)=4且因此將繼續進行以移除對應於用圖4b之元件符號403b表示之像素值之像素值z 4。處理器102可藉由自陣列移除指數k *(i)而進一步更新陣列以用於下一反覆。因此，在k *(i)=4之情況下，新陣列將為長度K=7之k=[1,2,3,6,7,8,9]。
在步驟S08c中，處理器102接著檢查相鄰像素群組402中之剩餘像素之數目是否仍大於或等於定義參數函數404之參數之數目。
若未滿足此條件，則方法終止，因為不可能擬合參數函數。在該情況下，方法可輸出相鄰像素群組402之中心像素之座標(即，在實例中之座標(0,0))作為極值點之次級像素位置之估計。接著可設定該經估計之次級像素位置之相關聯不確定性位準以對應於步驟S04、步驟S06、步驟S08a至步驟S08d之反覆次數加上1。
然而，若滿足條件，則處理器102繼續進行以重複如上文所描述之步驟S04、步驟S06及步驟S08a至步驟S08d。
在圖4b之實例中，在移除像素403c之後之剩餘像素之數目等於八。因此可擬合具有六個參數之二維二次函數。處理器102因此繼續進行以第二次重複步驟S08a至步驟S08d，儘管此時已移除像素值403b。此意謂將移除方程式組中之一個方程式，該方程式包含z k*(i)。例如，在k *(i)=4之情況下，最小化之最小平方目標現變為：Θ(A,B,C,D,E,F)=(A+B+C-D-E+F-z 1)2+(B-E+F-z 2)2+(A+B-C+D-E+F-z 3)2+(F-z 5)2+(A+D+F-z 6)2+(A+B-C-D+E+F-z 7)2+(B+E+F-z 8)2+(A+B+C+D+E+F-z 9)2又可用與先前所描述相同之方法論明確求解該方程式組。在此階段，在移除一個像素之情況下，相鄰像素群組402中剩餘八個像素。因此，取決於 移除哪一像素，存在
Figure 108117592-A0305-02-0025-6
個可能方程式組待求解。較佳地，此八個可 能方程式組之各者之解係預儲存於裝置100中。
圖4c中展示一參數函數404之第二擬合之結果。如自該圖 明顯可見，參數函數404具有作為一最小值之一極值點。因此，步驟S08a之最大值檢查失敗，且處理器102將再次繼續進行至步驟S08c以如上文所描述自相鄰像素群組402移除一像素。此時自群組移除對應於圖4c中之元件符號403c之具有像素值z 6之像素。在該移除之後，相鄰像素群組中剩餘七個像素。因為群組中剩餘之像素之數目仍大於參數函數之參數之數目，所以符合步驟S08d之條件。處理器102因此再次繼續進行至步驟S04且藉由求解一方程式組而第三次將一參數函數擬合至相鄰像素群組402之像素值。在此階段，在移除兩個像素之情況下，取決於移除哪些像素，存在
Figure 108117592-A0305-02-0026-7
個可能方程式組待求解。又，此28個方程式組之解較佳預儲存於 裝置100中。若方法將移除一進一步像素，則在下一擬合階段中將存在
Figure 108117592-A0305-02-0026-8
個可能方程式組，該56個可能方程式組之解較佳預儲存於裝置 100中。因此，在此實例中，裝置100較佳預儲存1+8+28+56=93個方程式組之解。
圖4d中展示一參數函數404之第三擬合之結果。此時，極值點406係一最大值，即，其係與影像400中之極值點相同之類型。此外，參數函數404之極值點406之空間位置405d定位於區域407內部。因此步驟S08a之最大值檢查及步驟S08b之局部化檢查兩者通過。因此，處理器102繼續進行至步驟S10。
在步驟S10中，處理器102自最後一次反覆將影像400中之極值點之次級像素位置估計為參數函數404之空間位置405d。此外，在步驟S12中，處理器102使該經估計之次級像素位置與對應於步驟S04、步驟S06及步驟S08a至步驟S08b之反覆次數之一不確定性位準相關聯。在圖4a至圖4d之實例中，與經估計之次級像素位置相關聯之該不確定性位準將因 此等於三，因此在找到經估計之次級像素位置之前需要三次反覆。
經估計之次級像素位置及相關聯之不確定性位準或經估計之次級像素位置可為裝置100之輸出。然而通常，經估計之次級像素位置及相關聯之不確定性位準可儲存於裝置之一記憶體中以供進一步處理。處理經估計之次級像素位置可取決於當前應用而改變。然而，應用之共同之處在於，處理器102可在處理期間使用與估計相關聯之不確定性位準作為一權重。特定言之，一較高不確定性位準與一較低不確定性位準相比可對應於一更低權重。
以上方法之一特定應用係對於立體影像。特定言之，如上文結合圖2所闡釋，裝置100可用於一立體攝影機系統200中以估計一相關圖中之一極值點之次級像素位置。現將參考圖2及圖5更詳細闡釋系統200之操作。
第一影像感測器202擷取一第一影像203，且第二影像感測器204擷取一第二影像205。第一影像203與第二影像205形成一對立體影像。該對立體影像203、205被輸入至匹配組件206。匹配組件206匹配第一影像203中之像素值與第二影像205中之像素值。任何已知局部立體匹配演算法(諸如使用平方差之總和、絕對差之總和或正規化之互相關之演算法)可用於匹配。此等演算法之共同之處在於，其等比較第一影像203中之一部分與第二影像205中之不同部分，且判定第一影像203之該部分與第二影像205之該等不同部分之類似程度。第一影像203之該部分可為第一影像203中之一像素之一鄰域。第二影像205中之該等部分可為第二影像205中之不同像素之鄰域。第二影像205中之不同像素可包含第二影像205中之所有像素，或第二影像205中之一像素子集。就一像素之一鄰域 而言，其在本文意謂影像中該像素自身及圍繞該像素之一或多個像素。匹配組件206可將匹配之結果儲存於一相關圖207中。相關圖207因此包含指定第二影像205中之各部分與第一影像203中之一特定部分之匹配程度之相關值。特定言之，相關圖207可包含用於第二影像205中之各像素或一像素子集之相關值。各相關值指示第二影像205中之像素之一鄰域與第一影像203中之一特定像素之一鄰域之匹配程度。
匹配組件206可針對第一影像203中之一或多個像素502a、502b、502c、502d產生此一相關圖207。第一影像203中之一或多個像素502a、502b、502c、502d可對應於第一影像203中之一經指定區域。例如，第一影像203中之一或多個像素502a、502b、502c、502d可為第一影像203之一群組相鄰像素。在一些應用中，第一影像203中之一或多個像素502a、502b、502c、502d可描繪場景中之相同物件。此係圖5之實例中之情況。在圖5中，第一影像203及第二影像205描繪場景中之一物件500(此處呈一汽車之形式)。此處，第一影像203中之一或多個像素502a、502b、502c、502d各描繪該汽車。匹配組件206可針對描繪物件500之一或多個像素502a、502b、502c、502d之各者產生一相關圖207，如上文所闡釋。因此，一或多個像素502a、502b、502c、502d之各者係與一各自相關圖207相關聯。
對應於第一影像203中之一或多個像素502a、502b、502c、502d之各者之相關圖207可作為輸入提供至裝置100。因此，結合圖4a所描述之影像400在此情況中將為一相關圖207。裝置100根據參考圖3所描述之方法處理各相關圖207。因此，裝置100估計各相關圖207中之一最大值之一次級像素位置以及該經估計次級像素位置之一不確定性位 準。換言之，裝置100針對第一影像203中之一或多個像素之各者估計給予與該像素之一最佳匹配之第二影像205中之一次級像素位置。參考圖5之實例，針對一或多個像素502a、502b、502c、502d之各者估計一次級像素位置504a、504b、504c、504d。次級像素位置504a、504b、504c、504d之相關聯不確定性位準在此實例中分別假定為1、3、2、1。
裝置100之處理器102接著可繼續進行以處理對應於一或多個像素502a、502b、502c、502d之經估計之次級像素位置504a、504b、504c、504d。在處理期間，處理器102可使用與次級像素位置504a、504b、504c、504d相關聯之不確定性位準以加權次級像素位置或自次級像素位置計算之任何量。與較不確定估計相比，處理器102將給予較確定估計更高權重。在圖5之實例中，與次級像素位置504c(其中不確定性位準=2)或自其導出之任何量相比，次級像素位置504a及504d(其中不確定性位準=1)或自其等導出之任何量將被給予一更高權重。與次級像素位置504d(其中不確定性位準=3)或自其導出之任何量相比，次級像素位置504c或自其導出之任何量將繼而被給予一更高權重。
根據一實例，自經估計之次級像素位置504a、504b、504c、504d導出之量係差異值。更明確言之，處理器102可針對一或多個像素502a、502b、502c、502d之各者計算一差異值。一差異值經計算為第一影像203中之像素502a、502b、502c、502d之一者之位置與第二影像205中之對應次級像素位置504a、504b、504c、504d之間的差。各差異值可與在計算該差異值時使用之次級像素位置之不確定性位準相關聯。處理器102接著可平滑化該等經計算之差異值。此可包含計算差異值之一經加權平均值。當計算該經加權平均值時，與一較高不確定性位準相關聯之一 差異值與一較低不確定性位準所相關聯之一差異值相比被給予一更低權重。
根據一實例，自經估計之次級像素位置504a、504b、504c、504d導出之量係深度值。更詳細而言，處理器102可針對一或多個像素502a、502b、502c、502d之各者計算一深度值。如此項技術中已知，當已知影像感測器與焦距之間的距離時，可自兩個立體影像之間的一點對應計算一深度值。更詳細而言，深度可經計算為焦距與感測器之間的距離之乘積除以差異。處理器102可使各深度值與在計算該深度值時使用之次級像素位置之不確定性位準相關聯。處理器102可平滑化該等經計算之深度值。此可包含計算深度值之一經加權平均值。當計算該經加權平均值時，與一較高不確定性位準相關聯之一深度值與一較低不確定性位準所相關聯之一深度值相比被給予一更低權重。
當一或多個像素502a、502b、502c、502d對應於第一影像203之所有像素時，可認為經計算之深度值形成一深度圖。可使用一空間濾波器平滑化此深度圖。該空間濾波器之係數對應於以上權重，且可使用與深度值相關聯之不確定性位準予以設定。
當一或多個像素502a、502b、502c、502d對應於第一影像203之一經指定區域時，可計算用於該經指定區域之深度之一經加權區域。
根據一實例，自經估計之次級像素位置504a、504b、504c、504d導出之量係三維空間中之點。更明確言之，處理器102可使用第一影像203中之一或多個像素502a、502b、502c、502d及第二影像205中之對應次級像素位置504a、504b、504c、504d以計算對應於一或多個 像素502a、502b、502c、502d之三維空間中之點506a、506b、506c、506d。如此項技術中已知，對應於第一影像203中之一像素之三維空間中之一點之座標可自該像素之位置及深度值計算。處理器102可進一步使經計算點506a、506b、506c、506d之各者與在計算該點之座標時使用之次級像素位置之不確定性位準相關聯。若一或多個像素502a、502b、502c、502d描繪相同物件500，則經計算點506a、506b、506c、506d將為場景中之物件500上之點之估計。
處理器102可處理點506a、506b、506c、506d。在處理期間，處理器102可使用點506a、506b、506c、506d之相關聯不確定性位準以加權該等點。具有一較高不確定性位準之一點與具有一較低不確定性位準之一點相比將被給予一更低權重。如圖5中所繪示，點506a、506b、506c、506d之處理可包含將一物件模板508擬合至點506a、506b、506c、506d。物件模板508界定與場景中之真實物件500相同之類型之一物件之一輪廓。在此情況中，物件模板508界定一汽車之輪廓。然而，在其他應用中，物件模板508可為一幾何平面、一人或任何其他種類之物件。當擬合物件模板508時，處理器102可給予點506a、506b、506c、506d不同權重。該等權重可取決於與點506a、506b、506c、506d相關聯之不確定性位準而設定，使得一較高不確定性位準導致一較低權重且反之亦然。例如，可使用一加權最小平方法將物件模板508擬合至點506a、506b、506c、506d，其中最小化點506a、506b、506c、506d與物件模板508之間的平方差之一加權總和。可加權該總和中之若干項，使得對應於具有一較高不確定性位準之一點之一項與對應於具有一較低不確定性位準之一點之一項相比被給予一更低權重。
將瞭解，熟習此項技術者可以許多方式修改上述實施例且仍使用如上文實施例中所展示之本發明之優點。因此，本發明不應限於所展示實施例而應僅藉由隨附發明申請專利範圍所定義。此外，如熟習技術者理解，可組合所展示實施例。
S02:步驟/選擇
S04:步驟/擬合
S06:步驟/識別
S08a:步驟/檢查
S08b:步驟/檢查
S08c:步驟/移除
S08d:步驟
S10:步驟/估計
S12:步驟

Claims (15)

  1. 一種在一裝置(100)中執行之使用一參數函數(404)在存在雜訊的情況下估計一影像(400)中之一極值點之一次級像素位置之方法，該影像(400)中之該極值點係作為一最大值或一最小值之一類型，該方法包括：a)選擇(S02)該影像(400)中之一群組相鄰像素(402)，其中該群組相鄰像素(402)中之一像素數目大於定義該參數函數(404)之一參數數目，b)將該參數函數(404)擬合(fit)(S04)至該群組相鄰像素(402)之像素值(403)，其中該參數函數(404)將該群組相鄰像素(402)之該等像素值(403)近似表達為一空間位置函數，c)識別(S06)該參數函數(404)之一極值點(406)之一空間位置(405b、405d)，該參數函數(404)之該極值點(406)係作為一最大值、一最小值或一鞍點之一類型，d)檢查(S08a、S08b)該參數函數(404)之該極值點(406)是否係相同於或不同於該影像(400)中之該極值點之一類型，及該參數函數(404)之該極值點之該位置(405b、405d)是否定位於藉由該影像(400)中之該群組相鄰像素(402)之像素位置界定之一區域(407)內部或外部，及若該參數函數(404)之該極值點(406)係不同於該影像(400)中之該極值點之一類型或該參數函數(404)之該極值點(406)之該位置(405b、405d)定位於該區域(407)外部：則自該群組相鄰像素(402)移除(S08c)具有一離群值(outlying value)之一像素，及若該群組相鄰像素(402)中之該像素數目仍大於或等於定義該參數函 數(404)之該參數數目，則重複步驟b)、步驟c)及步驟d)，e)將該影像(400)中之該極值點之該次級像素位置估計(S10)為該參數函數(404)之該極值點(406)之該空間位置(405d)，及f)使該經估計之次級像素位置與對應於步驟b)、步驟c)及步驟d)之一反覆次數之一不確定性位準相關聯(S12)。
  2. 如請求項1之方法，其中若該影像(400)中之該極值點係一最大值，則選擇該群組相鄰像素(402)以包含該影像(400)中之具有大於該影像(400)中之各相鄰像素之一像素值之一像素值(403a)的一像素(402a)，且若該影像(400)中之該極值點係一最小值，則選擇該群組相鄰像素(402)以包含該影像(400)中之具有低於該影像中之各相鄰像素之一像素值之一像素值的一像素。
  3. 如請求項1或2之方法，其中步驟b)涉及求解一方程式組以找到定義該參數函數(404)之該等參數，其中求解該方程式組包含形成該群組相鄰像素(402)之像素值(403)之線性組合以找到定義該參數函數(404)之該等參數，其中該等線性組合之係數係預儲存於該裝置(100)中。
  4. 如請求項1或2之方法，其進一步包括：處理該經估計之次級像素位置，其中與該經估計之次級像素位置相關聯之該不確定性位準係用於在該處理期間加權該經估計之次級像素位置，其中與一較低不確定性位準相比，一較高不確定性位準對應於一更低 權重。
  5. 如請求項1或2之方法，其中該影像(400)對應於藉由匹配一對立體影像(a stereo pair of images)之一第一影像(203)中之一像素之一鄰域中之像素值與該對立體影像之一第二影像(205)中之像素值而產生之一相關圖(207)，使得該影像中之該極值點之該經估計之次級像素位置對應於給予與該第一影像(203)中之該像素(502a、502b、502c、502d)之一最佳匹配之該第二影像(205)中之一次級像素位置(504a、504b、504c、504d)。
  6. 如請求項5之方法，其進一步包括，對於該對立體影像之該第一影像(203)中之複數個像素(502a、502b、502c、502d)之各者：藉由匹配該像素之一鄰域中之像素值與該第二影像(205)中之像素值而產生對應於該像素(502a、502b、502c、502d)之一相關圖(207)，針對對應於該像素(502a、502b、502c、502d)之該相關圖(207)執行步驟a)至步驟f)以便估計給予與該像素(502a、502b、502c、502d)之一最佳匹配之該第二影像(205)中之一次級像素位置(504a、504b、504c、504d)，該第二影像(205)中之該次級像素位置(504a、504b、504c、504d)與一不確定性位準相關聯。
  7. 如請求項6之方法，其進一步包括：處理對應於該對立體影像之該第一影像(203)中之該複數個像素(502a、502b、502c、502d)之該等經估計之次級像素位置(504a、504b、504c、504d)，其中與該等經估計之次級像素位置(504a、504b、504c、 504d)相關聯之該不確定性位準係在該處理期間用作權重，其中與自與一較低不確定性位準相關聯之一次級像素位置所計算之一量相比，自與一較高不確定性位準相關聯之一次級像素位置所計算之一量與被給予一更低權重。
  8. 如請求項7之方法，其中自一次級像素位置(504a、504b、504c、504d)計算之該量包含經計算為該次級像素位置(504a、504b、504c、504d)與該第一影像中之一對應像素(502a、502b、502c、502d)之一位置之間的一差之一差異值。
  9. 如請求項7之方法，其中自一次級像素位置(504a、504b、504c、504d)計算之該量包含基於該次級像素位置(504a、504b、504c、504d)及該第一影像中之一對應像素(502a、502b、502c、502d)之一位置計算之一深度值，其中該深度值對應於距藉由該第一影像中之該像素描繪之一場景中之一物件之一距離。
  10. 如請求項9之方法，其中該處理進一步包含：計算對應於該對立體影像之該第一影像中之該複數個像素(502a、502b、502c、502d)之深度值之一經加權平均值，其中與自具有一較低不確定性位準之次級像素位置(504a、504b、504c、504d)計算之深度值相比，自具有一較高不確定性位準之次級像素位置(504a、504b、504c、504d)計算之深度值被給予一更低權重。
  11. 如請求項8之方法，其中自一次級像素位置(504a、504b、504c、504d)計算之該量包含三維空間中之一點(506a、506b、506c、506d)，其中三維空間中之該點(506a、506b、506c、506d)係基於該次級像素位置(504a、504b、504c、504d)及該第一影像中之一對應像素(502a、502b、502c、502d)之一位置而計算。
  12. 如請求項11之方法，其中該對立體影像之該第一影像中之該複數個像素(502a、502b、502c、502d)描繪一場景中之相同物件(500)，該處理進一步包括：計算對應於該對立體影像之該第一影像中之該複數個像素(502a、502b、502c、502d)之三維空間中之複數個點(506a、506b、506c、506d)，三維空間中之各點(506a、506b、506c、506d)係使用該第一影像中之該對應像素(502a、502b、502c、502d)之該位置及給予與該第一影像中之該像素之一最佳匹配之第二影像中之該次級像素位置(504a、504b、504c、504d)來計算，將一三維物件模板(508)擬合至三維空間中之該複數個點(506a、506b、506c、506d)，該三維物件模板界定係與該場景中之該物件相同之類型之一物件之一輪廓，其中在擬合該三維物件模板(508)之該步驟中，與自具有一較低不確定性位準之一次級像素位置(504a、504b、504c、504d)計算之三維空間中之一點(506a、506b、506c、506d)相比，自具有一較高不確定性位準之一次級像素位置(504a、504b、504c、504d)計算之三維空間中之一點(506a、506b、506c、506d)被給予一更低權重。
  13. 一種使用一參數函數(404)在存在雜訊的情況下估計一影像(400)中之一極值點之一次級像素位置之裝置(100)，該影像(400)中之該極值點係作為一最大值或一最小值之一類型，該裝置(100)包括一處理器(102)，該處理器(102)經組態以：a)選擇該影像(400)中之一群組相鄰像素(402)，其中該群組相鄰像素(402)中之一像素數目大於定義該參數函數(404)之一參數數目，b)將該參數函數(404)擬合至該群組相鄰像素(402)之像素值(403)，c)識別該參數函數(404)之一極值點(406)之一位置(405b、405d)，該參數函數(404)之該極值點係作為一最大值、一最小值或一鞍點之一類型，d)檢查該參數函數(404)之該極值點(406)是否係相同於或不同於該影像(400)中之該極值點之一類型，及該參數函數(404)之該極值點之該位置(405b、405d)是否定位於藉由該影像(400)中之該群組相鄰像素(402)之像素位置界定之一區域(407)內部或外部，及若該參數函數(404)之該極值點(406)係不同於該影像(400)中之該極值點之一類型或該參數函數(404)之該極值點(406)之該位置(405b、405d)定位於該區域(407)外部：則自該群組相鄰像素(402)移除具有一離群值之一像素，及若該群組相鄰像素(402)中之該像素數目仍大於或等於定義該參數函數(404)之該參數數目，則重複步驟b)、步驟c)及步驟d)，e)將該影像(400)中之該極值點之該次級像素位置估計為該參數函數(404)之該極值點(406)之該位置(405d)，及 f)使該經估計之次級像素位置與對應於步驟b)、步驟c)及步驟d)之一反覆次數之一不確定性位準相關聯。
  14. 一種立體攝影機系統(200)，其包括：一第一影像感測器(202)，其經組態以擷取一對立體影像之一第一影像(203)，一第二影像感測器(204)，其經組態以擷取該對立體影像之一第二影像(205)，如請求項13之一裝置(100)，及一處理器，其經組態以：藉由匹配該第一影像(203)中之一像素之一鄰域中之像素值與該對立體影像之該第二影像(205)中之像素值而自該對立體影像產生一相關圖(207)，及將該相關圖(207)作為輸入提供至該裝置(100)，使得引起該裝置(100)在存在雜訊的情況下使用一參數函數估計該相關圖(207)中之一極值點之一次級像素位置。
  15. 一種非暫時性電腦可讀媒體(104)，其包括在藉由包含於一裝置(100)之一處理器執行時使該裝置(100)執行如請求項1至12中任一項之方法之電腦程式碼指令。
TW108117592A 2018-06-12 2019-05-22 估計在一影像中之一極值點之一次級像素位置的方法及裝置、立體攝影機系統及相關的非暫時性電腦可讀媒體 TWI786293B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18177169.2 2018-06-12
EP18177169.2A EP3582182B1 (en) 2018-06-12 2018-06-12 A method, a device, and a system for estimating a sub-pixel position of an extreme point in an image

Publications (2)

Publication Number Publication Date
TW202013313A TW202013313A (zh) 2020-04-01
TWI786293B true TWI786293B (zh) 2022-12-11

Family

ID=62683121

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117592A TWI786293B (zh) 2018-06-12 2019-05-22 估計在一影像中之一極值點之一次級像素位置的方法及裝置、立體攝影機系統及相關的非暫時性電腦可讀媒體

Country Status (6)

Country Link
US (1) US10783662B2 (zh)
EP (1) EP3582182B1 (zh)
JP (1) JP6876094B2 (zh)
KR (1) KR102172912B1 (zh)
CN (1) CN110598689B9 (zh)
TW (1) TWI786293B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948318B1 (en) * 2018-12-16 2024-04-02 Sadiki Pili Fleming-Mwanyoha System and methods for optimal precision positioning using minimum variance sub-sample offset estimation
US11024001B2 (en) * 2018-12-16 2021-06-01 Sadiki Pili Fleming-Mwanyoha System and methods for attaining optimal precision stereoscopic direction and ranging through air and across refractive boundaries using minimum variance sub-pixel registration
CN112381796B (zh) * 2020-11-16 2021-08-03 广东电网有限责任公司肇庆供电局 一种基于红外数据的导线缺陷识别及检测方法
KR102532965B1 (ko) * 2020-12-18 2023-05-16 주식회사 더코더 이미지 상에 망점 삽입 방법 및 이를 실행하는 시스템
CN113408109B (zh) * 2021-05-31 2022-05-27 中国地质大学（武汉） 一种面向多点地质统计随机模拟过程的混合并行方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020146178A1 (en) * 2000-09-01 2002-10-10 International Business Machines Corporation System and method for fingerprint image enchancement using partitioned least-squared filters
US20080240588A1 (en) * 2007-03-29 2008-10-02 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US20110246635A1 (en) * 2010-04-06 2011-10-06 Oracle International Corporation Simplifying determination of dependencies among soa services
TW201441973A (zh) * 2013-04-25 2014-11-01 Ind Tech Res Inst 影像處理裝置及其影像雜訊抑制方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4945351A (en) * 1988-05-23 1990-07-31 Hewlett-Packard Company Technique for optimizing grayscale character displays
WO1991020054A1 (en) * 1990-06-14 1991-12-26 Imaging Technology, Inc. Patterned part inspection
JPH05120436A (ja) * 1991-10-25 1993-05-18 Yaskawa Electric Corp テンプレートマツチング方法
US6208769B1 (en) 1998-05-28 2001-03-27 Acuity Imaging, Llc Method of accurately locating the fractional position of a template match point
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6195475B1 (en) * 1998-09-15 2001-02-27 Hewlett-Packard Company Navigation system for handheld scanner
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
DE10047211B4 (de) 2000-09-23 2007-03-22 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zur Positionsbestimmung einer Kante eines Strukturelementes auf einem Substrat
US7162073B1 (en) 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US20040217956A1 (en) * 2002-02-28 2004-11-04 Paul Besl Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data
US7787655B1 (en) * 2003-02-27 2010-08-31 Adobe Systems Incorporated Sub-pixel image registration
US7030887B2 (en) * 2003-09-12 2006-04-18 Microsoft Corporation Methods and systems for transparent depth sorting
US7088368B1 (en) * 2003-11-12 2006-08-08 Microsoft Corporation Methods and systems for rendering computer graphics
US20080044102A1 (en) * 2005-01-07 2008-02-21 Koninklijke Philips Electronics, N.V. Method and Electronic Device for Detecting a Graphical Object
JP2007323440A (ja) * 2006-06-01 2007-12-13 Sharp Corp 画像処理方法、画像処理プログラム、画像処理プログラムが記録された記録媒体および画像処理装置
US7844087B2 (en) * 2006-12-19 2010-11-30 Carestream Health, Inc. Method for segmentation of lesions
JP2009282635A (ja) * 2008-05-20 2009-12-03 Konica Minolta Holdings Inc サブピクセル推定装置およびサブピクセル推定方法
JP4181210B1 (ja) 2008-06-11 2008-11-12 株式会社ファースト サブピクセルテンプレートマッチング方法、当該方法を実現するコンピュータプログラムおよび当該プログラム格納媒体
US8625932B2 (en) * 2008-08-28 2014-01-07 Adobe Systems Incorporated Seam carving using seam energy re-computation in seam neighborhood
US8406506B2 (en) * 2010-05-18 2013-03-26 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
WO2012153262A1 (en) * 2011-05-12 2012-11-15 Koninklijke Philips Electronics N.V. List mode dynamic image reconstruction
US9189864B2 (en) 2013-10-17 2015-11-17 Honeywell International Inc. Apparatus and method for characterizing texture
JP6543935B2 (ja) * 2014-02-28 2019-07-17 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN104869387B (zh) * 2015-04-19 2017-01-11 中国传媒大学 基于光流法的双目图像最大视差获取方法
JP2017084975A (ja) * 2015-10-28 2017-05-18 オムロン株式会社 位置検出装置、位置検出方法、情報処理プログラム、および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020146178A1 (en) * 2000-09-01 2002-10-10 International Business Machines Corporation System and method for fingerprint image enchancement using partitioned least-squared filters
US20080240588A1 (en) * 2007-03-29 2008-10-02 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US20110246635A1 (en) * 2010-04-06 2011-10-06 Oracle International Corporation Simplifying determination of dependencies among soa services
TW201441973A (zh) * 2013-04-25 2014-11-01 Ind Tech Res Inst 影像處理裝置及其影像雜訊抑制方法

Also Published As

Publication number Publication date
US10783662B2 (en) 2020-09-22
JP6876094B2 (ja) 2021-05-26
EP3582182A1 (en) 2019-12-18
CN110598689B (zh) 2021-04-02
KR20190140828A (ko) 2019-12-20
TW202013313A (zh) 2020-04-01
US20190378297A1 (en) 2019-12-12
CN110598689B9 (zh) 2021-09-03
EP3582182B1 (en) 2020-07-29
CN110598689A (zh) 2019-12-20
JP2020024673A (ja) 2020-02-13
KR102172912B1 (ko) 2020-11-03

Similar Documents

Publication Publication Date Title
TWI786293B (zh) 估計在一影像中之一極值點之一次級像素位置的方法及裝置、立體攝影機系統及相關的非暫時性電腦可讀媒體
JP2014013147A5 (zh)
KR102118173B1 (ko) 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
US10540813B1 (en) Three-dimensional point data alignment
JP2005037378A (ja) 奥行計測方法と奥行計測装置
WO2022052582A1 (zh) 一种图像配准方法、装置及电子设备和存储介质
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
EP4066162A1 (en) System and method for correspondence map determination
CN116957987A (zh) 一种多目极线校正方法、装置、计算机设备及存储介质
JP2008250487A (ja) エッジ検出によるモデルマッチングを用いたカメラ校正方法
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020090358A1 (ja) 測距カメラ
JP6852406B2 (ja) 距離測定装置、距離測定方法および距離測定プログラム
US11475233B2 (en) Image processing device and image processing method
CN112529960A (zh) 目标对象的定位方法、装置、处理器和电子装置
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
US11561088B2 (en) Modeling the topography of a three-dimensional surface
KR101770866B1 (ko) 뎁스 센서와 촬영 카메라 간의 관계에 기초한 뎁스 영상 보정 장치 및 방법
RU2351091C2 (ru) Способ автоматического определения и коррекции радиальной дисторсии на цифровом изображении
KR20180131787A (ko) 라이트필드 깊이 영상 추정 방법 및 장치
JP7066580B2 (ja) 画像処理装置
JPH01311207A (ja) ３次元形状測定方法
JP2016076838A (ja) 画像処理装置及び画像処理装置の制御方法
CN117689668A (zh) 基于双目立体视觉的基准孔定位方法及装置