TWI543117B - 物件辨識與定位方法 - Google Patents

物件辨識與定位方法 Download PDF

Info

Publication number
TWI543117B
TWI543117B TW103121094A TW103121094A TWI543117B TW I543117 B TWI543117 B TW I543117B TW 103121094 A TW103121094 A TW 103121094A TW 103121094 A TW103121094 A TW 103121094A TW I543117 B TWI543117 B TW I543117B
Authority
TW
Taiwan
Prior art keywords
edge points
image
score
gravity
sampling
Prior art date
Application number
TW103121094A
Other languages
English (en)
Other versions
TW201601119A (zh
Inventor
楊遠祥
Original Assignee
台達電子工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台達電子工業股份有限公司 filed Critical 台達電子工業股份有限公司
Priority to TW103121094A priority Critical patent/TWI543117B/zh
Priority to US14/495,604 priority patent/US9396406B2/en
Publication of TW201601119A publication Critical patent/TW201601119A/zh
Application granted granted Critical
Publication of TWI543117B publication Critical patent/TWI543117B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Description

物件辨識與定位方法
本案係關於一種物件辨識與定位方法，尤指一種可提升辨識準確率且降低計算複雜度之物件辨識與定位方法。
物件辨識與定位於機器視覺(Machine Vision)上扮演非常重要的角色。產線上待測之料件在進行量測、檢測的工作之前，一般都需要先通過定位以補償料件擺放之位置的誤差。此外如機器人於產線對料件的夾取、組裝，都需要對料件進行辨識與定位。
早期物件辨識與定位是通過連通元件分析(Connected Component Analysis)，影像經由二值化後分出前景物件群，再經由分析主軸長度、面積、周長等特徵來辨識物件。如果物件本身有破損或是被遮蔽的情形，連通元件分析之辨識率會大幅降低，以及如果環境光源變化很大，二值化後也難以將物件清楚的分割出來。
絕對誤差和方法(Sum of Absolute Difference，SAD)也廣泛的用於物件的定位，雖然此方法不需要通過二值化，且實作上可以通過Salari,W.Li and E.等人所提出之三角不等式的概念大量減少計算量，但是此方法無法克服線性的光源變化。而Luigi Di Stefano,Stefano Mattoccia and Martino Mola等人所提出之正規化相關匹配法(Normalized Cross Correlation，NCC)可以克服線性的光源變化，是目前最廣泛運用的定位方法之一，但是遇到物件被遮蔽、非線性光源變化的情況下，其 相似分數會大幅下降，進而造成定位不穩定的現象。
前述的習用方法都是利用像素值作為定位使用的特徵，而D.H.Ballard所提出之廣義霍夫轉換法(Generalizing Hough Transform，GHT)是從灰階影像中提取邊緣(Edge)作為特徵，此方法可以克服非線性光源變化，物件被遮蔽的情形，不過此方法在影像背景複雜，不屬於物件的邊緣很多之情況下，投票時會有大量的錯誤肯定(False Positive)，造成檢測結果不穩定。Thayananthan,A.,Stenger,B.,Torr,P.H.S.and Cipolla,R.等人所提出之距離轉換法(Chamfer Transform)也是利用邊緣作為特徵進行定位，此方法可以實做的較快，但是此方法對於物件被遮蔽，產生許多非物件的邊緣時，其定位效果便非常不穩定。
因此，如何發展一種可改善上述習知技術缺失之物件辨識與定位方法，實為相關技術領域者目前所迫切需要解決之問題。
本案之目的為提供一種物件辨識與定位方法，其可於二維即時影像中辨識與定位出使用者所定義之物件，以及在物件被部分遮蔽之情況下，在有複雜背景之情況下及/或在非線性的光源變化下，皆可辨識與定位物件。
本案之另一目的在於提供一種物件辨識與定位方法，其可提升辨識準確率及降低計算複雜度。
為達上述目的，本案之較佳實施態樣為提供一種物件辨識與定位方法，包含步驟：執行一離線模式，對一物件之一標準影像進行分析以獲得該標準影像之複數個取樣邊緣點以及該複數個取樣邊緣點之各梯度方向角度與一重心；依據該複數個取樣邊緣點以及一設 定的偵測距離範圍與一設定的偵測梯度方向角度差異範圍計算複數個相似分數表單；執行一線上模式，對一即時影像進行分析以獲得該即時影像之複數個邊緣點以及該複數個邊緣點之各梯度方向角度；以及對應該即時影像之該複數個邊緣點計算複數個預測重心位置，依照該複數個相似分數表單之複數個相似分數，加總該複數個預測重心位置相對應之相似分數，且以分數高於一使用者設定閥值之區域最大值之該預測重心位置判別為相對於該標準影像之該重心位置，俾辨識與定位該物件。
S1、S11至S12、S111至S115、S121至S122‧‧‧本案之物件辨識與 定位方法之離線模式階段之流程步驟
S2、S21至S22、S211至S213、S221至S225‧‧‧本案之物件辨識與定位方法之線上模式階段之流程步驟
F1-2‧‧‧標準影像之取樣邊緣點
K1-3‧‧‧即時影像之篩選邊緣點
G1-6‧‧‧預測重心位置
第1圖係為本案較佳實施例之物件辨識與定位方法之流程步驟圖。
第2圖係為本案之物件辨識與定位方法之離線模式階段之部分流程步驟圖。
第3A圖、第3B圖至第3C圖係為實施第2圖所示步驟之一示範性實施例之示意圖。
第4圖係為本案之物件辨識與定位方法之離線模式階段之另一部分流程步驟圖。
第5圖係示範性地顯示各預測重心加總後之分數高低波形圖。
第6A圖、第6B圖至第6C圖係為實施第4圖所示步驟之一示範性實施例之示意圖。
第7圖係為本案之物件辨識與定位方法之線上模式階段之部分流程步驟圖。
第8圖係為本案之物件辨識與定位方法之線上模式階段之另一部分流程步驟圖。
第9圖至第12圖係為實施第8圖所示步驟之一示範性實施例之示意圖。
體現本案特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，其皆不脫離本案的範圍，且其中的說明及圖式在本質上係當作說明之用，而非架構於限制本案。
請參閱第1圖，其係為本案較佳實施例之物件辨識與定位方法之流程步驟圖。本案之物件辨識與定位方法可於二維即時影像中辨識與定位出使用者所定義之物件。如第1圖所示，本案之物件辨識與定位方法主要可分為兩個階段步驟，包括如步驟S1所示之離線模式階段(Offline phase stage)以及如步驟S2所示之線上模式階段(Online phase stage)。離線模式階段包括下列步驟：首先，如步驟S11所示，將一使用者所選定之物件的影像定義為一標準影像(Template image)，且對該物件的該標準影像進行分析以計算出或取得該標準影像之複數個取樣邊緣點以及複數個取樣邊緣點之各梯度方向與一重心。接著，如步驟S12所示，依據前述複數個取樣邊緣點以及一設定的偵測距離範圍與一設定的偵測梯度方向角度差異範圍計算出複數個相似分數表單。於離線模式階段之後，接著執行線上模式階段。線上模式階段包括下列步驟：首先，如步驟S21所示，對一即時影像進行分析以計算出或取得該即時影像之複數個邊緣點以及複數個邊緣點之各梯度方向。之後，如步驟S22所示，對應該即時影像之複數個邊緣點計算複數個預測重心位置，接著依照複數個相似分數表單之複數個相似分數，加總複數個預測重心位置相對應之相似分數， 且以分數高於使用者設定閥值之區域最大值之預測重心位置判別為相對於標準影像之重心位置，俾辨識與定位該物件。
第2圖係為本案之物件辨識與定位方法之離線模式階段之部分流程步驟圖。如第1圖及第2圖所示，前述步驟S11包括下列步驟：首先，如步驟S111所示，提供一影像處理單元，其中該影像處理單元包括一邊緣點擷取模組。接著，如步驟S112所示，將使用者選定或定義之物件的灰階影像(即標準影像)輸入該邊緣點擷取模組，且該邊緣點擷取模組執行一特定邊緣點擷取演算法以取得標準影像之複數個邊緣點，例如N個邊緣點，其中N為正整數。於本實施例中，該特定邊緣點擷取演算法可為肯尼演算法(Canny algorithm)，但並不以此為限，其中肯尼演算法係為本領域具有通常知識者所知悉之現有技術，故於此不再贅述。接著，如步驟S113所示，計算該複數個邊緣點之各梯度方向，以得到標準影像之一邊緣點集合E。接著，如步驟S114所示，對該邊緣點集合E之複數個邊緣點進行均勻取樣，以取得複數個取樣邊緣點，例如M個取樣邊緣點，其中M為正整數，且M小於N。於此步驟中，進行均勻取樣之方法係為本領域具有通常知識者所知悉之現有常識，故於此不再贅述。之後，如步驟S115所示，計算該複數個取樣邊緣點之重心(或稱質心)以作為中心點，即計算該M個取樣邊緣點之重心，並記錄每個取樣邊緣點與該重心之距離及各梯度方向，藉此以取得代表使用者所選定之物件之標準影像之取樣邊緣點集合F。
第3A圖、第3B圖至第3C圖係為實施第2圖所示步驟之一示範性實施例之示意圖。於前述步驟S112中，如第3A圖所示，輸入該邊緣點擷取模組之標準影像係為O(x,y)，其中(x,y)係為數位影像之像素值，一般的範圍係介於0至255之間，x與y之範圍分別為0~Mw-1 與0~Mh-1，其中Mw與Mh係為使用者選定之物件之標準影像之長與寬，例如Mw與Mh可分別為7與6。於前述步驟S113中，如第3B圖所示，擷取到之邊緣點集合係為E={xi,yi,gi|i=0~N-1}，其中N係為邊緣點個數，(xi,yi)係為邊緣點之影像座標，gi係為每個邊緣點之梯度方向角度，其中梯度方向角度g定義為g=arctan(My/Mx)，以度為度量表示並可四捨五入至整數位，Mx,My分別是邊緣點X,Y方向之微分，可由索貝爾運算子(Sobel Operator)運算而得，而由索貝爾運算子運算而得梯度方向角度係為本領域具有通常知識者所知悉之公知常識，故於此不再贅述。此外，於步驟S114及步驟S115中，如第3C圖所示，根據M個取樣邊緣點計算出標準影像之重心位置係為(Cx,Cy)，其中標 準影像之重心位置(Cx,Cy)定義為，每個取樣邊緣 點(xi,yi)與重心位置(Cx,Cy)之距離dxi=xi-Cx，dyi=yi-Cy，最後得到代表使用者所定義之標準影像之取樣邊緣點集合F={xi,yi,gi|i=0~M-1}。
第4圖係為本案之物件辨識與定位方法之離線模式階段之另一部分流程步驟圖。如第1圖及第4圖所示，前述步驟S12包括下列步驟：首先，如步驟S121所示，依據標準影像之複數個取樣邊緣點之梯度方向角度與一假設即時影像之複數個邊緣點梯度方向角度間之差異且配合設定的偵測梯度方向角度差異範圍計算出複數個空白相似分數表單。接著，如步驟S122所示，依據標準影像之複數個取樣邊緣點與假設即時影像之複數個邊緣點間的距離以及梯度方向角度差異且配合設定的偵測距離範圍與設定的偵測梯度方向角度差異範圍計算出複數個相似分數，並將其填入複數個空白相似分數表單，以取得複數個相似分數表單Jpsf，其中，設定的偵測距離範圍與設定的偵測梯度方向角度差異範圍之值係為使用者依據實際使用需求而可調整設定之參數值。於前述步驟中，若假設即時影像之邊緣點集 合為S={xj,yj,gj|j=0~P-1}，其中(xj,yj)係為該假設即時影像之邊緣點影像座標，gj係為該假設即時影像之每個邊緣點之梯度方向角度，P為該假設即時影像之邊緣點個數，(xj,yj)之範圍分別係為0~Sw-1與0~Sh-1，其中Sw與Sh係為該假設即時影像之灰階影像之長與寬。此外，重心預測位置C加總後之相似分數係依下列方程式定義與計算取得：
其中，式(1)係計算各預測重心位置加總後之相似分數，如果在每個可能的重心位置以式(1)計算相似分數，其相似分數的分布如第5圖所示為一波浪圖，其高於閾值的區域最大值即為所偵測的物件位置，而式(2)係以標準影像之複數個取樣邊緣點與即時影像之複數個邊緣點間的距離與梯度方向角度之差異作為相似分數之依據，其中，R與T分別為設定的偵測距離範圍與設定的偵測梯度方向角度差異範圍。如果在每個可能重心位置計算相似分數以產生相似分數分布圖，其計算量過於龐大，本案是以物件邊緣點與即時影像邊緣點之距離與梯度方向差異來累加相似分數分布圖，所產生的相似分數分布圖與前述方法產生的相似分數分布圖等價，但是計算量大幅減少。
由上述式(1)至式(3)可知，當使用者定義之標準影像之重心在座標(u,v)上時，每個標準影像之取樣邊緣點會在半徑為R的範圍內且與即時影像之邊緣點之梯度方向角度差異小於或等於T度之即時影像 邊緣點子集合中，尋找距離最近且梯度方向角度差異最小的邊緣點，除了距離最近外，本案方法更將梯度方向角度納入相似分數定義與計算，如此可大幅提升辨識能力，舉例而言，當R=2,T=2時，標準影像之取樣邊緣點與即時影像之邊緣點間之梯度方向角度差異可能包括|gi-gj|=0、1及2之情況，其中當梯度方向角度差異|gi-gj|=0時，相似分數表單Jpsf0可如第6A圖所示，表單中每個位置的相似分數可由 式(2)計算得出，式(2)中的表示標準影像 之取樣邊緣點與即時影像之篩選邊緣點的距離，由於R與T為已知，邊緣點之座標與梯度方向均為整數，所以式(2)的計算值可於離線階段計算後儲存於表單中，舉例而言，將表單之中心位置視為標準影像之取樣邊緣點與即時影像之篩選邊緣點的X方向與Y方向距離均為0的位置，則可得下列算式 ，以此類推；當梯度方向角度差異|gi-gj|=1時，相似分數表單Jpsf1可如第6B圖所示；以及當梯度方向角度差異|gi-gj|=2時，相似分數表單Jpsf2可如第6C圖所示。
第7圖係為本案之物件辨識與定位方法之線上模式階段之部分流程步驟圖。如第1圖及第7圖所示，前述步驟S21包括下列步驟：首先，如步驟S211所示，提供一影像擷取裝置，且利用該影像擷取裝置擷取一即時影像並傳送至該影像處理單元之該邊緣點擷取模組。接著，如步驟S212所示，於該即時影像之灰階影像輸入該邊緣點擷取模組後，該邊緣點擷取模組執行一特定邊緣點擷取演算法以取得 即時影像之複數個邊緣點，例如P個邊緣點，其中P為正整數。於本實施例中，該特定邊緣點擷取演算法可為肯尼演算法(Canny algorithm)，但並不以此為限。接著，如步驟S213所示，計算該複數個邊緣點之各梯度方向，以得到即時影像之一邊緣點集合。於此步驟中，擷取到之即時影像之邊緣點集合係對應前述假設之即時影像之邊緣點集合，即為S={xj,yj,gj|j=0~P-1}，其中(xj,yj)係為即時影像之邊緣點影像座標，gj係為即時影像之每個邊緣點之梯度方向角度，P係為即時影像之邊緣點個數，(xj,yj)之範圍分別係為0~Sw-1與0~Sh-1，其中Sw與Sh係為即時影像之灰階影像之長與寬。其中，梯度方向角度g定義為g=arctan(My/Mx)，以度為度量表示並四捨五入至整數位，Mx,My分別是邊緣點X,Y方向之微分，可由索貝爾運算子(Sobel Operator)運算而得。
第8圖係為本案之物件辨識與定位方法之線上模式階段之另一部分流程步驟圖。如第1圖及第8圖所示，前述步驟S22包括下列步驟：首先，如步驟S221所示，將即時影像之邊緣點集合S以梯度方向角度做為索引得到360個子集合，其中該360個子集合表示如下：
接著，如步驟S222所示，依序以每個標準影像之取樣邊緣點作為基準，再根據設定的偵測梯度方向角度差異範圍T選取出即時影像之複數個篩選邊緣點K，而篩選邊緣點K係為即時影像之邊緣點之子集合K={S k ∥k-g i | T}，其中i為依序處理的標準影像之取樣邊緣點索引值，然為方便說明，於此皆以篩選邊緣點K稱之。其中，在依序處理標準影像邊緣點前，先產生兩個二維陣列Vprev與V，並將其內 容設為零，Vprev與V的大小為(Sw,Sh)，V為加總至第i個標準影像之邊緣點之相似分數陣列，Vprev為加總至第i-1個標準影像之邊緣點之相似分數陣列。在依序處理標準影像之取樣邊緣點F時，以R=2，T=2為例，當加總至第i個標準影像之邊緣點(dxi,dyi,gi)，假設gi=45，則挑選S43,S44,S45,S46,S47這5個子集合，其中S43,S47因為邊緣點方向角度差異為2度所以使用Jpsf2，S44,S46因為邊緣點方向角度差異為1度所以使用Jpsf1，S45因為邊緣點方向角度差異為0度所以使用Jpsf0來加總分數。之後，如步驟S223所示，接著每個依序處理的標準影像邊緣點Fi與其選取的即時影像邊緣點子集合K，配合相似分數表單Jpsf可以計算出Fi與K所貢獻的相似分數並累加在相似分數陣列中。
然後，如步驟S224所示，利用該相對應之相似分數表單計算或加總出該複數個預測重心位置G之相對應之相似分數。於此步驟中，計算複數個預測重心位置G之相似分數值時，若該預測重心位置同時有複數個相似分數表單Jpsf之相似分數J'，則以產生該預測重心位置G時作為基準之該取樣邊緣點F是否相同來決定計算方式，若產生該預測重心位置G時作為基準之該取樣邊緣點F相同，則以擇優取代之方式，判斷該預測重心位置G之相似分數為該複數個相似分數表單Jpsf中相對應之相似分數最高者。若產生該預測重心位置G時作為基準之該取樣邊緣點F相異，則以累加之方式，將複數個相似分數表單Jpsf相對應於該預測重心位置G之相似分數累加，而預測重心位置G之相似分數J即為累加後之相似分數。於此步驟中，以前述之示範例為例，對於子集合S43~S47中每個邊緣點xj,yj，計算其假使與標準影像之複數個邊緣點dxi,dyi重合時，物件的重心位置(xj-dxi,yj-dyi)，便以此點為預測重心位置G，使用相似分數表單Jpsf1加總V(如下式所示)：
v=V(xj-dxi+p,yj-dyi+q)
v p=Vprev(xj-dxi+p,yj-dyi+q)+Jpsf(R+p,R+q)
於上式中v為陣列V中之某個元素，v p為陣列Vprev中之某個元素。由上可知，上式是一個取代的過程，而非無條件累加的過程，意即在V的某一個元素中，對於一個(dxi,dyi)來說，只會有一個最好的(xj,yj)貢獻其分數，所以不會有錯誤肯定(False Positive)，也因此對於有複雜背景的影像，本案依然具有穩定的辨識能力，且最後輸出的V完全與先前定義的相似分數等價，若係對於相異之(dxi,dyi)來說，則係以累加的方式，也因此更可根據相異之(dxi,dyi)加強最後判定之預測重心位置G之準確性。
最後，如步驟S225所示，以分數高於使用者設定閥值之區域最大值之預測重心位置G判別為相對於標準影像之該重心位置，俾實現物件辨識與定位，其中該使用者設定閥值係為一可由使用者根據實際需求而可調整地設定之分數門檻，且判別為相對於標準影像之該重心位置之預測重心位置G係取分數高於使用者設定閥值之區域最大值。
第9圖至第12圖係為實施第8圖所示步驟之一示範性實施例之示意圖。於本實施例中，如第9圖及第10圖所示，假設標準影像具有兩個取樣邊緣點F，分別為F1與F2，且即時影像具有三個篩選邊緣點K，分別為K1,K2與K3。當以標準影像之取樣邊緣點F1作為基準時，可由即時影像之篩選邊緣點K1,K2與K3以及標準影像之重心相對於取樣邊緣點F1之位置關係，預測即時影像之預測重心位置可為G1~G3。 當以標準影像之取樣邊緣點F2作為基準時，可由即時影像之篩選邊緣點K1,K2與K3以及標準影像之重心相對於取樣邊緣點F2之位置關係，預測即時影像之預測重心位置可為G4~G6。如此一來，便可於即時影像之灰階影像上預測複數個預測重心位置G1~G6。其中，假設標準影像之取樣邊緣點F1與即時影像之篩選邊緣點K1,K2與K3之梯度方向角度差異分別為1,1,2，故即時影像之篩選邊緣點K1,K2與K3相對於標準影像之取樣邊緣點F1應分別填入相似分數表單Jpsf1、Jpsf1以及Jpsf2，標準影像之取樣邊緣點F2與即時影像之篩選邊緣點K1,K2與K3之梯度方向角度差異分別為0,1,0，故即時影像之篩選邊緣點K1,K2與K3相對於標準影像之取樣邊緣點F2應分別填入相似分數表單Jpsf0、Jpsf1以及Jpsf0。接著，由第11圖可知，預測重心位置G1與G2雖並非重疊於同一點，但當G1填入相似分數表單Jpsf1以及G2填入相似分數表單Jpsf1時，將會有部分之相似分數表單重疊，即為第11圖中斜線標示之部分，由於重疊之相似分數皆是來自於篩選邊緣點K1、K2以取樣邊緣點F1為基準而產生之相似分數表單，即產生預測重心位置時作為基準之取樣邊緣點相同，因此可以擇優取代之方式，於相似分數表單重疊之點，取最高之相似分數作為該點之相似分數。此外，由第12圖可知，預測重心位置G2與G6係重疊於同一點，故當預測重心位置G2填入相對應之相似分數表單Jpsf2以及預測重心位置G6填入相對應之相似分數表單Jpsf0時，由於兩張重疊之相似分數表單係以相異之取樣邊緣點作為基準，即如第12圖中斜線標示之部分，預測重心位置G2係篩選邊緣點K2以取樣邊緣點F1作為基準，而預測重心位置G6則係篩選邊緣點K3以取樣邊緣點F2作為基準，兩者作為基準之取樣邊緣點相異，故此兩張相似分數表單重疊之相似分數係以累加之方式，將同一點上重疊之兩相似分數相加總，以得該點之相似分數，藉此可有效地 避免習知技術中容易發生大量的錯誤肯定(False Positive)，造成檢測結果不穩定之情況。最後，便可以分數高於使用者設定閥值之區域最大值之分數最高之預測重心位置判別為相對於標準影像之重心位置，俾達成物件辨識與定位。
綜上所述，本案提供一種物件辨識與定位方法，本案之物件辨識與定位方法係利用邊緣點及邊緣點之梯度方向角度為特徵，且以標準影像之取樣邊緣點與即時影像之邊緣點間的距離以及梯度方向角度之差異作為物件辨識與定位之相似分數的依據，因此可在物件被部分遮蔽之情況下，在有複雜背景之情況下及/或在非線性的光源變化下，皆可辨識與定位物件，此外亦可大幅提升物件辨識與定位之準確率，且可有效地避免習用技術中容易發生大量的錯誤肯定(False Positive)，造成檢測結果不穩定之情況。除此之外，習用技術中，物件辨識與定位之技術往往是針對每一可能的重心位置進行比對，故計算複雜度可表示為Sw‧Sh‧M(2R+1)2，然而本案所提出之物件辨識與定位方法係對標準影像之取樣邊緣點以及即時影像之邊緣點進行比對，故計算複雜度可降低為(P‧M(2R+1)2)，而即時影像之邊緣點個數P係遠小於即時影像之像素總和，故本案所提出之物件辨識與定位方法不僅可有效地提升辨識定位之準確率，更可大幅降低物件辨識與定位之計算複雜度。
本案得由熟習此技術之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。
S1~S2及S11~S22‧‧‧本案之物件辨識與定位方法之流程步驟

Claims (14)

  1. 一種物件辨識與定位方法，包含步驟：(a)執行一離線模式，對一物件之一標準影像進行分析以取得該標準影像之複數個取樣邊緣點以及該複數個取樣邊緣點之各梯度方向角度與一重心；(b)依據該複數個取樣邊緣點以及一設定的偵測距離範圍與一設定的偵測梯度方向角度差異範圍計算複數個相似分數表單；(c)執行一線上模式，對一即時影像進行分析以取得該即時影像之複數個邊緣點以及該複數個邊緣點之各梯度方向角度；以及(d)對應該即時影像之該複數個邊緣點計算複數個預測重心位置，依照該複數個相似分數表單之複數個相似分數，加總該複數個預測重心位置相對應之相似分數，且以分數高於一使用者設定閥值之該預測重心位置判別為相對於該標準影像之該重心位置，俾辨識與定位該物件。
  2. 如申請專利範圍第1項所述之物件辨識與定位方法，其中該步驟(a)更包括步驟：(a1)輸入該標準影像之灰階影像，並利用一特定邊緣點擷取演算法取得該標準影像之複數個邊緣點；(a2)取得該複數個邊緣點之各梯度方向角度；以及(a3)對該複數個邊緣點均勻取樣，以取得該複數個取樣邊緣點，其中該複數個取樣邊緣點係少於或等於該複數個邊緣點；以及(a4)根據該複數個取樣邊緣點計算出該重心，且取得該標準影像之一取樣邊緣點集合。
  3. 如申請專利範圍第1項所述之物件辨識與定位方法，其中該步驟(b)更包括步驟：(b1)依據該複數個取樣邊緣點以及該設定的偵測梯度方向角度差異範圍計算出複數個空白相似分數表單；以及 (b2)依據該複數個取樣邊緣點以及該設定的偵測距離範圍以及該設定的偵測梯度方向角度差異範圍計算出該複數個相似分數，並將其填入該複數個空白相似分數表單，以取得該複數個相似分數表單。
  4. 如申請專利範圍第1項所述之物件辨識與定位方法，其中該設定的偵測距離範圍以及該設定的偵測梯度方向角度差異範圍係為可調整設定之參數值。
  5. 如申請專利範圍第1項所述之物件辨識與定位方法，其中該步驟(c)更包括步驟：(c1)輸入該即時影像之灰階影像，並利用一特定邊緣點擷取演算法取得該即時影像之該複數個邊緣點；以及(c2)依據該即時影像之該複數個邊緣點，計算取得該即時影像之該複數個邊緣點之各梯度方向角度。
  6. 如申請專利範圍第1項所述之物件辨識與定位方法，其中該步驟(d)更包括一步驟(d1)根據該設定的偵測梯度方向角度差異範圍對該即時影像之該複數個邊緣點進行篩選，以取得該即時影像之複數個篩選邊緣點。
  7. 如申請專利範圍第6項所述之物件辨識與定位方法，其中於該步驟(d1)中，若該即時影像之該複數個邊緣點與該標準影像之該複數個取樣邊緣點之梯度方向角度差係小於或等於該設定的偵測梯度方向角度差異範圍，則將該即時影像之該複數個邊緣點視為該即時影像之該複數個篩選邊緣點。
  8. 如申請專利範圍第6項所述之物件辨識與定位方法，其中該步驟(d1)之後更包括一步驟(d2)將該即時影像之該複數個篩選邊緣點分別與該標準影像之該複數個取樣邊緣點進行比對，以計算出該複數個預測重心位置。
  9. 如申請專利範圍第8項所述之物件辨識與定位方法，其中於步驟(d2)之後更包括一步驟(d3)依據該即時影像之該複數個篩選邊緣點與該標準影像之該複數個取樣邊緣點之梯度方向角度差選出該複數個預測重心位置相對應之相似分數表單。
  10. 如申請專利範圍第9項所述之物件辨識與定位方法，其中於該步驟(d3)之後更包括一步驟(d4)利用該相對應之相似分數表單計算出該複數個預測重心位置之相似分數值。
  11. 如申請專利範圍第10項所述之物件辨識與定位方法，其中於該步驟(d4)中，計算該複數個預測重心位置之相似分數值時，若該預測重心位置同時有複數個相似分數表單之相似分數，則以產生該預測重心位置時作為基準之該取樣邊緣點是否相同來決定計算方式。
  12. 如申請專利範圍第11項所述之物件辨識與定位方法，其中於該步驟(d4)中，若產生該預測重心位置時作為基準之該取樣邊緣點相同，則以擇優取代之方式，判斷該預測重心位置之相似分數為該複數個相似分數表單中相對應之相似分數最高者。
  13. 如申請專利範圍第11項所述之物件辨識與定位方法，其中於該步驟(d4)中，若產生該預測重心位置時作為基準之該取樣邊緣點相異，則以累加之方式，將該複數個相似分數表單相對應於該預測重心位置之相似分數累加，而該預測重心位置之相似分數即為累加後之相似分數。
  14. 如申請專利範圍第1項所述之物件辨識與定位方法，其中該使用者設定閥值係為一可調整設定之分數門檻，而判別為相對於該標準影像之該重心位置之預測重心位置係以分數高於使用者設定閥值之一區域最大值為判別依據。
TW103121094A 2014-06-18 2014-06-18 物件辨識與定位方法 TWI543117B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103121094A TWI543117B (zh) 2014-06-18 2014-06-18 物件辨識與定位方法
US14/495,604 US9396406B2 (en) 2014-06-18 2014-09-24 Method for recognizing and locating object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103121094A TWI543117B (zh) 2014-06-18 2014-06-18 物件辨識與定位方法

Publications (2)

Publication Number Publication Date
TW201601119A TW201601119A (zh) 2016-01-01
TWI543117B true TWI543117B (zh) 2016-07-21

Family

ID=54869950

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103121094A TWI543117B (zh) 2014-06-18 2014-06-18 物件辨識與定位方法

Country Status (2)

Country Link
US (1) US9396406B2 (zh)
TW (1) TWI543117B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419421B2 (ja) * 2013-10-31 2018-11-07 株式会社東芝 画像表示装置、画像表示方法およびプログラム
TWI674557B (zh) 2018-07-31 2019-10-11 瑞昱半導體股份有限公司 影像處理裝置及其方法
CN110532883B (zh) * 2019-07-30 2023-09-01 平安科技（深圳）有限公司 应用离线跟踪算法对在线跟踪算法进行改进
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59133414A (ja) * 1983-01-21 1984-07-31 Agency Of Ind Science & Technol 楕円形状検出方法とその装置
EP0851240B1 (en) * 1996-12-26 2006-01-25 Nippon Telegraph And Telephone Corporation Meteorological radar precipitation pattern prediction method and apparatus
US7844105B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining objects poses from range images
US8771189B2 (en) * 2009-03-18 2014-07-08 Siemens Medical Solutions Usa, Inc. Valve assessment from medical diagnostic imaging data
US20120082385A1 (en) * 2010-09-30 2012-04-05 Sharp Laboratories Of America, Inc. Edge based template matching
CN105580051B (zh) * 2013-10-30 2019-05-14 英特尔公司 图像捕捉反馈

Also Published As

Publication number Publication date
US20150371102A1 (en) 2015-12-24
US9396406B2 (en) 2016-07-19
TW201601119A (zh) 2016-01-01

Similar Documents

Publication Publication Date Title
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
Yeum et al. Vision‐based automated crack detection for bridge inspection
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
Placht et al. Rochade: Robust checkerboard advanced detection for camera calibration
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
US8103376B2 (en) System and method for the on-machine 2-D contour measurement
CN102722731A (zh) 一种基于改进sift算法的高效图像匹配方法
US20140301608A1 (en) Chemical structure recognition tool
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
TWI543117B (zh) 物件辨識與定位方法
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
CN105224941B (zh) 对象辨识与定位方法
CN108961262A (zh) 一种复杂场景下的条码定位方法
CN104966283A (zh) 图像分层配准方法
Sulaiman et al. DEFECT INSPECTION SYSTEM FOR SHAPE-BASED MATCHING USING TWO CAMERAS.
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN117314901A (zh) 一种尺度自适应的芯片检测神经网络系统
CN110334727B (zh) 一种隧道裂缝智能匹配检测方法
Khaliluzzaman et al. Zebra-crossing detection based on geometric feature and vertical vanishing point
JP2007156897A (ja) 速度計測装置、方法及びプログラム
CN112991327B (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
KR102644612B1 (ko) 소나영상을 이용한 장애물 탐지 장치 및 그 방법