TWI582388B - 影像縫合方法與影像縫合裝置 - Google Patents

影像縫合方法與影像縫合裝置 Download PDF

Info

Publication number
TWI582388B
TWI582388B TW104134070A TW104134070A TWI582388B TW I582388 B TWI582388 B TW I582388B TW 104134070 A TW104134070 A TW 104134070A TW 104134070 A TW104134070 A TW 104134070A TW I582388 B TWI582388 B TW I582388B
Authority
TW
Taiwan
Prior art keywords
image
feature information
image stitching
images
positional relationship
Prior art date
Application number
TW104134070A
Other languages
English (en)
Other versions
TW201715203A (zh
Inventor
張津魁
呂尙杰
邱威堯
江博通
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW104134070A priority Critical patent/TWI582388B/zh
Priority to CN201510779927.4A priority patent/CN106603937B/zh
Priority to US14/982,562 priority patent/US10516822B2/en
Publication of TW201715203A publication Critical patent/TW201715203A/zh
Application granted granted Critical
Publication of TWI582388B publication Critical patent/TWI582388B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/027—Test patterns and calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Description

影像縫合方法與影像縫合裝置
本發明是有關於一種影像處理技術，且特別是有關於一種利用多取像技術且無需重疊影像之影像縫合方法與影像縫合裝置。
近年來，機器視覺檢測方法廣泛地應用於工業自動化中，隨著製程能力的提升，而檢測精度的要求程度也愈來愈高。在同樣範圍檢測視區下，一般而言為提高精度的方法多是更換較高畫素的取像裝置或增加取像裝置的個數，或者是，縮小視區、犧牲可視範圍，採用更高倍率之鏡頭以取得較高的解析。如此一來，雖可能提高精度但卻無法將欲檢測工件或檢測範圍完整的納入鏡頭視野中，導致無法進行檢測。
此外，習用技術往往是用影像上相關資訊去合成，舉例而言，找出兩影像的特徵資訊，並就重疊部分加以組合。然而在原料檢測中，即在一檢測區中鋪滿食材中醬料、餡料，而挑出有問題的雜質、碎屑，而這些醬料、餡料彼此間尺寸大小差異不大，故在萃取影像的特徵資訊較為不明顯，此舉不僅對於後續進行影像疊合後，產生的影像精度也不高，亦造成檢測上的困難度。
本發明提供一種影像縫合方法，此方法在取像區間無需重疊，而能擴大檢測影像的視野，並達到高精度之影像縫合的目的。
本發明提供一種影像縫合裝置，此裝置利用一校正單元建立物件空間與影像平面之對應關係，進而建立各影像平面間之對應關係，而縫合各個影像，故無需重疊各影像而能擴大檢測影像的視野，且也能提升檢測系統的能力。
本發明的一實施例提出一種影像縫合方法，影像縫合方法包括以下步驟。提供一校正單元，其中校正單元包含複數個校正裝置，複數個校正裝置分別對應於一待檢測物件的不同位置上，各校正裝置包含複數個已知特徵資訊。取像各校正裝置的一影像，其中各影像包含複數個影像特徵資訊，各影像的複數個影像特徵資訊對應於各校正裝置的複數個已知特徵資訊。建立一轉換關係式，其中轉換關係式為依據各校正裝置中複數個已知特徵資訊與對應影像中該複數個影像特徵資訊所建立。依據轉換關係式分析各影像的位置關係。組合複數個影像。
本發明的一實施例提出一種影像縫合裝置，影像縫合裝置包括一校正單元、複數個影像擷取單元以及一處理單元。校正單元包含複數個校正裝置，複數個校正裝置分別設置於一待檢測物件的不同位置上，各校正裝置包含複數個已知特徵資訊。各影像擷取單元用以擷取對應校正裝置的一影像。處理單元耦接於影像擷取單元，處理單元接收複數個影像擷取單元所擷取的影像，各影像包含複數個影像特徵資訊，各影像的複數個影像特徵資訊對應於各校正裝置的複數個已知特徵資訊，處理單元依據各 校正裝置中複數個已知特徵資訊與對應影像中該複數個影像特徵資訊，建立一轉換關係式，且處理單元依據轉換關係式，以分析各影像擷取單元於待檢測物件的位置關係，並組合各影像擷取單元的影像。
基於上述，本發明的影像縫合方法與影像縫合裝置中，對於校正單元中各個校正裝置上已知特徵資訊進行取像，進而建立校正裝置與影像之對應轉換關係式，接著，透過此轉換關係式，可建立各個影像擷取單元之間的對應位置關係，進而依據此影像對應位置關係而將各個影像進行組合，故無需重疊各影像而能夠擴大檢測影像的視野，並達到高精密之影像縫合的目的。
100‧‧‧影像縫合裝置
110‧‧‧校正單元
112‧‧‧校正裝置
112a‧‧‧第一校正裝置
112b‧‧‧第二校正裝置
112c‧‧‧第三校正裝置
114‧‧‧已知特徵資訊
116‧‧‧尺規元件
120‧‧‧影像擷取單元
122‧‧‧第一影像擷取單元
124‧‧‧第二影像擷取單元
126‧‧‧第三影像擷取單元
130‧‧‧處理單元
50‧‧‧待檢測物件
60‧‧‧目標物空間座標系
70‧‧‧影像空間座標系
12、24、36‧‧‧影像
14、16、22、26、32、34‧‧‧虛擬影像
12a~12c‧‧‧影像特徵資訊
14a、16a‧‧‧虛擬點特徵資訊
24a~24c‧‧‧影像特徵資訊
22a、26a‧‧‧虛擬點特徵資訊
36a‧‧‧影像特徵資訊
32a、36a‧‧‧虛擬點特徵資訊
A‧‧‧目標物
d‧‧‧間隔
G‧‧‧旋轉影像平面
L‧‧‧中心
f‧‧‧焦距
XA、YA、ZA‧‧‧目標物在目標物空間座標系的座標值
XL、YL、ZL‧‧‧目標物空間座標系的基準座標值
xa、ya‧‧‧相機在旋轉影像平面的成像位置
za‧‧‧相機的中心距離旋轉影像平面的距離
x0、y0‧‧‧影像的基準座標值
E‧‧‧區域
S100‧‧‧影像縫合方法
S110~S160‧‧‧步驟
S122~S124‧‧‧步驟
S124a、S124b‧‧‧步驟
S142~S144‧‧‧步驟
第1圖為本發明的影像縫合方法的流程圖。
第2圖為本發明的影像縫合方法之進一步的流程圖。
第3圖為本發明之影像縫合方法之進一步的流程圖。
第4圖為本發明的影像縫合裝置的示意圖。
第5圖為本發明的校正裝置一實施例的示意圖。
第6圖為本發明的影像縫合裝置一使用狀態的示意圖。
第7圖為本發明之轉換關係式的座標示意圖。
第8A圖為本發明之影像縫合方法實際一應用例的原始取像結果的示意圖。
第8B圖為本發明之影像縫合方法實際一應用例的縫合結果的示意圖。
第8C圖為第8B圖的局部放大圖。
以下謹結合附圖和實施例，對本發明的具體實施方式作進一步描述。以下實施例僅用於更加清楚地說明本發明的技術方案，而不能以此限制本發明的保護範圍。
第1圖為本發明的影像縫合方法的流程圖。請參考第1圖。影像縫合方法S100包括以下步驟S110~S160。
影像縫合方法S100首先以步驟S110提供一校正單元(calibration unit)110。
如第4圖所示，第4圖為本發明的影像縫合裝置的示意圖。影像縫合裝置100包括一校正單元110、複數個影像擷取單元(image capturing unit)120以及一處理單元(process unit)130，其中處理單元130耦接於影像擷取單元120，處理單元130接收複數個影像擷取單元120所擷取的影像。
校正單元(calibration unit)110包含複數個校正裝置112，複數個校正裝置112分別設置於一待檢測物件50的不同位置上。以第4圖而言，校正裝置112的數量有三個，然本發明不對校正裝置的數量加以限制，第一校正裝置112a、第二校正裝置112b及第三校正裝置112c依序由左至右排列在待檢測物件50上，其中第一校正裝置112a、第二校正裝置112b及第三校正裝置112c彼此不重疊。此外，校正裝置112的尺寸例如是小於待檢測物件50的尺寸，但不以此為限，於其他未繪示的實施例中，校正裝置的尺寸例如是大於等於檢測物件的尺寸。
各校正裝置112包含複數個已知特徵資訊114。在此所稱已知 特徵資訊114為在校正裝置112上之圖樣分佈，而此校正裝置112可為具非特定重複性結構紋路之平面，其中紋路可為各種幾何形狀之圖樣，舉例而言，如第4圖所示的已知特徵資訊114的數量為九個，然本發明不對此已知特徵資訊的數量加以限制，且已知特徵資訊114的形狀為圓形，這些已知特徵資訊114呈矩陣排列且相互等間隔配置。於其他未繪示的實施例中，已知特徵資訊亦可為矩形、長方形、三角形、十字形等各種幾何形狀之圖樣，或者是，已知特徵資訊可為線條或文字，而已知特徵資訊的排列方式亦可設計成以非等間隔的方式排列，端視實際使用狀況而可擇定所選用的已知特徵資訊的圖樣分佈及配置情況。
進一步地，如第5圖所示，第5圖為本發明的校正裝置一實施例的示意圖。校正裝置112包含尺規元件116及已知特徵資訊114，該尺規元件116配置於已知特徵資訊114的周圍，尺規元件116上具有尺規記號或字元符號而能供使用者判定各已知特徵資訊114的所在座標值，以及複數個已知特徵資訊114之間彼此的相互位置關係。
再回到第1圖所示，接著進行步驟S120，取像各校正裝置112的一影像，其中各影像包含複數個影像特徵資訊，各影像的複數個影像特徵資訊對應於校正單元110的複數個已知特徵資訊114。
詳細而言，如第4圖所示，各影像擷取單元120用以擷取對應校正裝置112的一影像。
影像擷取單元120例如為電荷耦合元件(CCD，Charge Coupled Device)、互補性氧化金屬半導體(CMOS，Complementary Metal-Oxide Semiconductor)、旋轉變焦式攝影機(pan-tilt-zoom camera)或數 位監控器(DVR，Digital Video Recorder)，但不以此為限。
如第6圖所示，第6圖為本發明的影像縫合裝置一使用狀態的示意圖。為了便於說明，第6圖僅繪出部分元件。影像擷取單元120的數量對應於校正裝置120的數量，故影像擷取單元120的數量為三個，第6圖中由左至右分別為第一影像擷取單元122、第二影像擷取單元124及第三影像擷取單元126，且第一影像擷取單元122、第二影像擷取單元124及第三影像擷取單元126分別對應第一校正裝置112a、第二校正裝置112b及第三校正裝置112c。
如此配置之下，第一影像擷取單元122擷取第一校正裝置112a的影像12，第二影像擷取單元124擷取第二校正裝置112b的影像24，而第三影像擷取單元126擷取第三校正裝置112c的影像36。
如第2圖所示，第2圖為本發明的影像縫合方法之進一步的流程圖。步驟S120，取像各校正裝置112的影像後更包括以下步驟S122~S124。
進行步驟S122，萃取各影像的複數個影像特徵資訊。在本實施例中，如第4圖所示，處理單元130以一影像分析演算法萃取各影像的複數個影像特徵資訊。舉例而言，特徵擷取的方式例如可使用harris、sobel等影像分析演算法找出影像特徵資訊的角特徵或線特徵等之影像特徵資訊，但不以此為限。
以第6圖而言，第一影像擷取單元122擷取第一校正裝置112a的影像12，各影像12包含複數個影像特徵資訊12a~12c，影像12的複數個影像特徵資訊12a~12c對應於第一校正裝置112a的複數個已知特徵資訊114。第二影像擷取單元124擷取第二校正裝置112b的影像24，影像24包含複數個影 像特徵資訊24a~24c，影像24的複數個影像特徵資訊24a~24c對應於第二校正裝置112b的複數個已知特徵資訊114。第三影像擷取單元126擷取第三校正裝置112c的影像36，影像36包含複數個影像特徵資訊36a，影像36的複數個影像特徵資訊36a對應於第三校正裝置112c的複數個已知特徵資訊114。
再回到第2圖，進行步驟S122後，接著進行步驟S124，建立複數個影像特徵資訊12a~12c、24a~24c、36a的位置關係。
如步驟S124a，以一字元判定複數個影像特徵資訊12a~12c、24a~24c、36a的位置，舉例而言，以如第5圖所示的尺規元件116，因此，如第6圖所示的影像12，利用尺規元件116的尺規記號或字元符號來判定影像特徵資訊12a~12c的座標值，也可以知道影像特徵資訊12a~12c彼此之間的位置關係，同理，亦可藉由尺規元件116上的尺規記號或字元符號來建立影像特徵資訊24a~24c及影像特徵資訊36a的位置關係。
此外，除了步驟S124a以外，選擇性地進行步驟S124b，一紋路分析步驟，藉由此紋路分析步驟包含找出複數個影像特徵資訊的特定規律紋路出現頻率，以建立複數個影像特徵資訊12a~12c、24a~24c、36a的位置關係。因此，紋路分析步驟為以各個影像特徵資訊12a~12c、24a~24c、36a的紋路關係來推知影像特徵資訊12a~12c、24a~24c、36a彼此之間的位置關係。
以第6圖中的影像12而言，三個影像特徵資訊12a~12c成一行，並排列成三列，以形成一3x3矩陣排列的影像12，而影像12中各影像特徵資訊之間的間隔一致。如此，若定義影像特徵資訊12a為座標基準點(0,0)，影像特徵資訊12b則為(0,-d)，而影像特徵資訊12c則為(0,-2d)，d為影像特徵 資訊12a與影像特徵資訊12b兩者的間隔，或者為影像特徵資訊12b與影像特徵資訊12c兩者的間隔。如此可推知影像特徵資訊12a~12c鄰近影像特徵資訊的位置關係。
上述對校正裝置112上的已知特徵資訊114進行取像後，再回到第1圖，進行步驟S130，建立一轉換關係式，其中轉換關係式為依據各校正裝置112中複數個已知特徵資訊114與對應影像12、14、16中複數個影像特徵資訊12a~12c、24a~24c、36a所建立。
以第6圖的影像縫合裝置100而言，處理單元130依據校正裝置112中複數個已知特徵資訊114與對應影像12、14、16中複數個影像特徵資訊12a~12c、24a~24c、36a，建立一轉換關係式。
詳細而言，所謂轉換關係式可用於空間與影像之對應關係，或者影像(影像擷取單元)與影像(影像擷取單元)之間之對應關係。本實施例建立轉換關係式為利用一共線條件式演算法，以下以第7圖說明轉換關係式。
第7圖為本發明之轉換關係式的座標示意圖。請參考第7圖。第7圖中有一目標物空間座標系60以及一影像空間座標系70。
目標物A例如為如第4圖所示的校正裝置112。目標物A處於目標物空間座標系60，目標物A的座標為(XA,YA,ZA)，XA為目標物A在目標物空間座標系60的X軸的座標值，YA為目標物A在目標物空間座標系60的Y軸的座標值，ZA為目標物A在目標物空間座標系60的Z軸的座標值。在本實施例中，目標物A並非處在目標物空間座標系60的原點，但不以此為限，於其他實施方式，亦可將目標物A擺放在目標物空間座標系60的原點。
影像擷取單元120處於影像空間座標系70，例如為相機。相機對目標物A取像後，經由旋轉投影影像而得到一旋轉影像平面G，而相機的中心L在旋轉影像平面G的成像位置為(xa,ya)，焦距f為相機的中心L距離旋轉影像平面G的距離(za)，其中，xa為在影像空間座標系70的x軸的座標值，ya為在影像空間座標系70的y軸的座標值，za為在影像空間座標系70的z軸的座標值。在本實施例中，相機的中心L並非處在影像空間座標系70的原點，但不以此為限，於其他實施方式，亦可將相機的中心L擺放在影像空間座標系70的原點。
相機成像位置與目標物A之間的關係可由以下數學式(1)表示。
數學式(1)中，代表影像擷取單元120對校正裝置112，而校正裝置112上的每一個已知特徵資訊114會有一對應的影像特徵資訊，且會有如數學式(1)的關係。再者，影像的基準座標值為(x0,y0)，以本實施例而言，影像的基準座標值為原點(0,0)，故以下計算式省略(x0,y0)，以降低計算負擔。
空間座標系60的基準座標值為(XL,YL,ZL)，以本實施例而言，空間座標系60的基準座標值為原點(0,0,0)，Rx為X軸旋轉矩陣，Ry為Y軸旋轉矩陣，Rz為Z軸旋轉矩陣，各軸旋轉矩陣如下數學式(2)~(4)所示。
上述數學式(2)~(4)中，ω,,κ分別為各軸旋轉透影影像之旋轉矩陣的角度。
接著，將數學式(1)~(4)展開後，得到以下數學式(5)。
，其中 ，， ，， ，， ，，。
將數學式(5)同時除m33，得到以下數學式(6)。
於本實施例中，焦距f為可知，並設定目標物A與相機的中心L距離為固定值，則可以將(ZA-ZL)視為一固定數值，則可改寫數學式(6)成以下數學式(7)。
於數學式(7)中，變數u=X A -X L ，變數v=Y A -Y L ，變數，變數，變數，變數，變數，變數，變數，變數。
此數學式(7)即為本實施例所稱的轉換關係式。由數學式(7)可知，變數u及變數v分別為目標物A在目標物空間座標系60的X軸及Y軸的座標值，故可事先求得。由此可知，變數a1、變數a2、變數a3、變數a4、變數a5、變數b1、變數b2及變數b3共8個變數，此8個變數即為欲求得知係數內容。一個已知特徵資訊114會產生一組數學式(7)，故至少需要4個已知特徵資訊114來求此8個變數，以本實施例而言，本實施例具有9個已知特徵資訊114，對應的影像特徵資訊也是9個，故足以對此數學式(7)求解，而求解 方式例如是運用最小平方法，然本發明不以此為限。
再回到第1圖。進行步驟S140，依據轉換關係式分析各影像12、24、36的位置關係。
具體而言，就影像縫合裝置100來說，處理單元130(如第4圖所示)依據轉換關係式，以分析各影像擷取單元120的位置關係，換言之，本實施例透過轉換關係式，進而可以建立各影像擷取單元120之間的對應關係。
如第3圖所示，第3圖為本發明之影像縫合方法之進一步的流程圖。步驟S140包含步驟S142~S144。
首先，進行步驟S142，建立各影像外的複數個虛擬點特徵資訊。
具體而言，如第6圖所示，影像12中複數個影像特徵資訊12a~12c可事先透過步驟S124，建立影像12內影像特徵資訊12a~12c的位置關係，而能推知影像特徵資訊12a~12c鄰近影像特徵資訊的位置關係，進一步地，即便第一影像擷取單元122所擷取的視野範圍只在影像12，亦可推算影像12外的複數個虛擬點特徵資訊14a、16a，進而擴張建立如第6圖所示鄰近影像12的虛擬影像14、16，而能擴大取像視野範圍，此虛擬影像14、16分別對應第二影像擷取單元124、第三影像擷取單元126所擷取的影像24、36。
於此同理，第二影像擷取單元124所擷取影像24能進一步推算影像24的左右兩側的虛擬影像22、26，此虛擬影像22、26別對應第一影像擷取單元122、第三影像擷取單元126所擷取的影像12、36。第三影像擷 取單元126所擷取影像36能進一步推算影像36外的虛擬影像32、34，此虛擬影像32、34分別對應第一影像擷取單元122、第二影像擷取單元124所擷取的影像12、24。
由此可知，本實施例的影像擷取單元120不需要事先取得校正單元110之全部影像，只需要擷取如第一校正裝置112a之某一區間的影像12即可，便可推斷出鄰近如第一校正裝置112a的虛擬影像14、16，進而模擬出校正單元110的全部影像。此外，如第4圖而言，校正單元110的尺寸雖未完全覆蓋到待檢測物件50，此時亦可透過上述方式將取像視野虛擬建構至待檢測物件50的全部範圍，也因此，本實施例的校正單元110與影像擷取單元120間無需刻意調整或擺放固定之位置，故不需對於影像擷取單元120取像位置、水平歪斜之參數來進行調整，更不需要對於多個影像擷取單元120之間彼此相互進行校正的動作，藉以節省前置影像作業的時間。
接著進行步驟S144，利用複數個影像特徵資訊以及複數個虛擬點特徵資訊，經由轉換關係式，比對相鄰影像間的位置關係。
舉例而言，如第6圖所示，經由步驟S142後，可以推知影像12與其相鄰的虛擬影像14、16，影像24與其相鄰的虛擬影像22、26，以及影像36與其相鄰的虛擬影像32、34。而後，將影像12與其對應的虛擬影像22再利用前述第7圖中影像投影關係建立如數學式(7)的轉換關係式，而相關推導流程已如前述。於此同理，虛擬影像14與其對應的影像24，以及虛擬影像16與其對應的影像26亦可建立如數學式(7)的轉換關係式，如此一來，便能夠建立第一影像擷取單元122與第二影像擷取單元124之間的位置對應關係。當然，第一影像擷取單元122與第三影像擷取單元126亦可建立兩者 之間的位置對應關係。
因此，第一影像擷取單元122、第二影像擷取單元124以及第三影像擷取單元126所擷取的影像12、24、36便可以得知相互的位置關係，舉例而言，若以影像12的影像特徵資訊12a作為基準點，除了可以推知影像12內其他影像特徵資訊12b、12c的位置以外，還可以進一步得知影像24內的影像特徵資訊24a~24c相對於影像特徵資訊12a~12c的位置關係，以及影像36內的影像特徵資訊36a相對於影像特徵資訊12a~12c的位置關係，而可以建立影像12、影像24以及影像36之位置關係，也就是建立各影像擷取單元120之間的轉換關係。
再回到第1圖，依據轉換關係式建立各影像擷取單元120之間的轉換關係後，進行步驟S150，組合複數個影像12、24、36。換言之，將第一影像擷取單元122、第二影像擷取單元124以及第三影像擷取單元126所擷取的影像12、24、36組合在一起。
經由步驟S150組合第一影像擷取單元122、第二影像擷取單元124以及第三影像擷取單元126所擷取的影像12、24、36後，進行步驟S160，檢測待檢測物件50。
於實際一應用例，如第8A圖至第8C圖所示，第8A圖中顯示實際使用三台相機取像的結果，從第8A圖可看出三台相機取像後的三張影像中的尺規並未對齊，亦即三張影像中尺規並未位於相同的水平線上，並且，中間影像與右側影像間之影像甚至沒有重疊。然而，透過本發明之影像縫合裝置100，或者應用本發明之影像縫合方法S100步驟後，即可得到第8B圖所示的縫合影像結果，由該圖中可看出三張影像中的尺規已合成為一 直線，進一步地，如第8C圖所示，第8C圖為第8B圖中的局部放大圖，區域E為左側影像與中間影像兩者的交接區，由該圖中可看出區域E中的數字6以及數字18重合的精度高。
綜上所述，在本發明的影像縫合方法與影像縫合裝置中，對於校正單元中各個校正裝置上已知特徵資訊進行取像，進而建立校正裝置與影像之對應轉換關係式，接著，透過此轉換關係式，亦可建立各個影像擷取單元之間的對應位置關係，進而依據此影像對應位置關係而將各個影像進行組合，以達到高精密之影像縫合的目的。
再者，影像擷取單元不需要事先取得校正單元之全部影像，由於校正單元內的已知特徵資訊的位置是事先知道的，故只需要擷取校正單元之某一區間的影像即可，便可推斷出鄰近校正單元的虛擬影像，進而模擬出校正單元的全部影像，此舉不僅使得影像縫合上不需要將各影像重疊，並能達到擴大檢測影像視野的目的，進而能節省使用影像擷取單元設置的成本。
此外，校正單元與影像擷取單元之間無需刻意調整或者擺放固定之位置，也無需事先對於影像擷取單元的取像位置、水平歪斜的參數來進行調整，更不需要對於多個影像擷取單元之間彼此相互進行校正的動作，藉以節省前置影像作業的時間。
另外，也因為上述影像擷取單元無需刻意調整或擺放固定之位置，因此可以依據使用者需求，拼湊成符合實際需求的解析與影像視野範圍，例如環形、L形、十字形等特殊陣列之影像擷取單元，使得影像擷取單元不受到架設角度之影響及干擾、以及固定解析與尺寸上的限制，進一 步地，於使用上可以同時支援不同畫素、不同解析度之影像擷取單元，藉以提升使用上靈活性及便利性。
於實際原料檢測上，是在醬料及餡料等原料鋪設一校正單元，而對此校正單元進行取像，由於是對具有已知特徵資訊的校正單元進行取像，而此已知特徵資訊是明顯且已知彼此之間的位置關係，故能輕易地萃取影像的特徵資訊，因此不會受到醬料及餡料等特徵不明顯之原料的限制，藉以提升取像上的精密度，達到高精密之影像縫合，進而提升視覺檢測系統的能力。
此外，於一應用例中，針對一尺規來做取像，並運用本發明之影像縫合裝置或者進行影像縫合方法的步驟後，所得出的縫合影像結果重合的精度高，足以佐證本發明之影像縫合裝置及方法能達到高精密之影像縫合的功效。
以上所述，乃僅記載本發明為呈現解決問題所採用的技術手段的較佳實施方式或實施例而已，並非用來限定本發明專利實施的範圍。即凡與本發明專利申請範圍文義相符，或依本發明專利範圍所做的均等變化與修飾，皆為本發明專利範圍所涵蓋。
S100‧‧‧影像縫合方法
S110~S160‧‧‧步驟

Claims (23)

  1. 一種影像縫合方法，包括以下步驟：提供一校正單元，其中該校正單元包含複數個校正裝置，該複數個校正裝置分別對應於一待檢測物件的不同位置上，各該校正裝置包含複數個已知特徵資訊；取像各該校正裝置的一影像，其中各該影像包含複數個影像特徵資訊，各該影像的該複數個影像特徵資訊對應於各該校正裝置的該複數個已知特徵資訊；建立一轉換關係式，其中該轉換關係式為依據各該校正裝置中該複數個已知特徵資訊與對應該影像中該複數個影像特徵資訊所建立；依據該轉換關係式分析各該影像的位置關係；以及組合該複數個影像。
  2. 如申請專利範圍第1項所述之影像縫合方法，其中取像各該校正裝置的該影像更包括以下步驟：萃取各該影像的該複數個影像特徵資訊。
  3. 如申請專利範圍第2項所述之影像縫合方法，其中萃取各該影像的該複數個影像特徵資訊包含找出影像特徵資訊的角特徵或線特徵。
  4. 如申請專利範圍第2項所述之影像縫合方法，其中萃取各該影像的該複數個影像特徵資訊更包括以下步驟：建立該複數個影像特徵資訊的位置關係。
  5. 如申請專利範圍第4項所述之影像縫合方法，其中建立該複數個影像特徵資訊的位置關係包括以下步驟：以一字元判定該複數個影像特徵資訊的位置。
  6. 如申請專利範圍第5項所述之影像縫合方法，其中以該字元判定該複數 個影像特徵資訊的位置的步驟為利用一尺規元件的尺規記號或字元符號來判定該複數個影像特徵資訊的位置。
  7. 如申請專利範圍第4項所述之影像縫合方法，其中建立該複數個影像特徵資訊的位置關係包括以下步驟：一紋路分析步驟。
  8. 如申請專利範圍第7項所述之影像縫合方法，其中該紋路分析步驟為以該複數個影像特徵資訊的紋路關係來推知該複數個影像特徵資訊的位置關係。
  9. 如申請專利範圍第8項所述之影像縫合方法，其中該紋路分析步驟包含找出該複數個影像特徵資訊的紋路出現頻率。
  10. 如申請專利範圍第1項所述之影像縫合方法，其中依據該轉換關係式分析各該影像的位置關係包括以下步驟：建立各該影像外的複數個虛擬點特徵資訊。
  11. 如申請專利範圍第10項所述之影像縫合方法，其中建立各該影像外的複數個虛擬點特徵資訊後包括以下步驟：利用該複數個影像特徵資訊以及該複數個虛擬點特徵資訊，經由該轉換關係式，比對相鄰該影像間的位置關係。
  12. 如申請專利範圍第1項所述之影像縫合方法，其中建立該轉換關係式為利用一共線條件式演算法。
  13. 如申請專利範圍第1項所述之影像縫合方法，其中組合該複數個影像後，更包括以下步驟：檢測該待檢測物件。
  14. 一種影像縫合裝置，包括：一校正單元，包含複數個校正裝置，該複數個校正裝置分別設置於 一待檢測物件的不同位置上，各該校正裝置包含複數個已知特徵資訊；複數個影像擷取單元，各該影像擷取單元用以擷取對應該校正裝置的一影像；以及一處理單元，耦接於該影像擷取單元，該處理單元接收該複數個影像擷取單元所擷取的該影像，各該影像包含複數個影像特徵資訊，各該影像的該複數個影像特徵資訊對應於各該校正裝置的該複數個已知特徵資訊，該處理單元依據各該校正裝置中該複數個已知特徵資訊與對應該影像中該複數個影像特徵資訊，建立一轉換關係式，且該處理單元依據該轉換關係式，以分析各該影像擷取單元於該待檢測物件的位置關係，並組合各該影像擷取單元的該影像。
  15. 如申請專利範圍第14項所述之影像縫合裝置，其中各該校正裝置更包含一尺規元件，該尺規元件配置於該複數個已知特徵資訊的周圍。
  16. 如申請專利範圍第14項所述之影像縫合裝置，其中該複數個已知特徵資訊呈矩陣排列且相互間隔配置。
  17. 如申請專利範圍第14項所述之影像縫合裝置，其中各該複數個影像擷取單元為電荷耦合元件、互補性氧化金屬半導體、旋轉變焦式攝影機或數位監控器。
  18. 如申請專利範圍第14項所述之影像縫合裝置，其中該處理單元以一影像分析演算法萃取各該影像的該複數個影像特徵資訊。
  19. 如申請專利範圍第14項所述之影像縫合裝置，其中建立該轉換關係式為利用一共線條件式演算法。
  20. 如申請專利範圍第14項所述之影像縫合裝置，其中該複數個校正裝置可為具有非特定重複性結構紋路之平面。
  21. 如申請專利範圍第14項所述之影像縫合裝置，其中該已知特徵資訊為矩 形、長方形、三角形或十字形。
  22. 如申請專利範圍第14項所述之影像縫合裝置，其中該已知特徵資訊為線條或文字。
  23. 如申請專利範圍第15項所述之影像縫合裝置，其中該尺規元件上具有尺規記號或字元符號而能供使用者判定各該已知特徵資訊的所在座標值，以及該複數個已知特徵資訊之間彼此的相互位置關係。
TW104134070A 2015-10-16 2015-10-16 影像縫合方法與影像縫合裝置 TWI582388B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104134070A TWI582388B (zh) 2015-10-16 2015-10-16 影像縫合方法與影像縫合裝置
CN201510779927.4A CN106603937B (zh) 2015-10-16 2015-11-13 影像缝合方法与影像缝合装置
US14/982,562 US10516822B2 (en) 2015-10-16 2015-12-29 Method and device for merging images of calibration devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104134070A TWI582388B (zh) 2015-10-16 2015-10-16 影像縫合方法與影像縫合裝置

Publications (2)

Publication Number Publication Date
TW201715203A TW201715203A (zh) 2017-05-01
TWI582388B true TWI582388B (zh) 2017-05-11

Family

ID=58524564

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104134070A TWI582388B (zh) 2015-10-16 2015-10-16 影像縫合方法與影像縫合裝置

Country Status (3)

Country Link
US (1) US10516822B2 (zh)
CN (1) CN106603937B (zh)
TW (1) TWI582388B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427040B (zh) 2017-08-22 2023-10-10 富联国基(上海)电子有限公司 图像处理装置及方法
TWI658434B (zh) * 2017-08-22 2019-05-01 鴻海精密工業股份有限公司 影像處理裝置及方法
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US11361419B2 (en) * 2019-09-12 2022-06-14 Rieker Incorporated Curb inspection tool

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986279A (en) * 1997-03-21 1999-11-16 Agfa-Gevaert Method of recording and reading a radiation image of an elongate body
US20080144899A1 (en) * 2006-11-30 2008-06-19 Manoj Varma Process for extracting periodic features from images by template matching
CN101319895A (zh) * 2008-07-17 2008-12-10 上海交通大学 手持式交通事故现场快速测绘仪
WO2010017531A2 (en) * 2008-08-08 2010-02-11 Snap-On Incorporated Image-based inventory control system using advanced image recognition
US20110096309A1 (en) * 2009-10-28 2011-04-28 Imec Method and System for Wafer Inspection
CN101710932B (zh) * 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
US8345961B2 (en) * 2008-09-10 2013-01-01 Huawei Device Co., Ltd. Image stitching method and apparatus
US8462209B2 (en) * 2009-06-26 2013-06-11 Keyw Corporation Dual-swath imaging system
US20140168482A1 (en) * 2012-12-14 2014-06-19 Inview Technology Corporation Overlap patterns and image stitching for multiple-detector compressive-sensing camera

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057850A (en) * 1997-07-15 2000-05-02 Silicon Graphics, Inc. Blended texture illumination mapping
US7095905B1 (en) 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US6535242B1 (en) 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
AU2002308651A1 (en) 2001-05-04 2002-11-18 Leberl, Franz, W. Digital camera for and method of obtaining overlapping images
US20030137586A1 (en) 2002-01-22 2003-07-24 Infinite Innovations, Inc. Vehicle video switching system and method
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP4134939B2 (ja) 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
TWI303782B (en) 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
CN101414379B (zh) 2007-10-17 2012-05-23 日电（中国）有限公司 生成全景图像的设备和方法
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
TWI417639B (zh) 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
TWI485631B (zh) 2010-12-17 2015-05-21 Univ Nat Taiwan Science Tech 全景式顯微影像的擷取方法與擷取設備
TWI421624B (zh) 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
JP6061502B2 (ja) * 2012-06-04 2017-01-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
US9743373B2 (en) * 2012-12-28 2017-08-22 Trimble Inc. Concurrent dual processing of pseudoranges with corrections
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
US9354711B2 (en) * 2014-09-30 2016-05-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986279A (en) * 1997-03-21 1999-11-16 Agfa-Gevaert Method of recording and reading a radiation image of an elongate body
US20080144899A1 (en) * 2006-11-30 2008-06-19 Manoj Varma Process for extracting periodic features from images by template matching
CN101319895A (zh) * 2008-07-17 2008-12-10 上海交通大学 手持式交通事故现场快速测绘仪
WO2010017531A2 (en) * 2008-08-08 2010-02-11 Snap-On Incorporated Image-based inventory control system using advanced image recognition
US8345961B2 (en) * 2008-09-10 2013-01-01 Huawei Device Co., Ltd. Image stitching method and apparatus
US8462209B2 (en) * 2009-06-26 2013-06-11 Keyw Corporation Dual-swath imaging system
US20110096309A1 (en) * 2009-10-28 2011-04-28 Imec Method and System for Wafer Inspection
CN101710932B (zh) * 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
US20140168482A1 (en) * 2012-12-14 2014-06-19 Inview Technology Corporation Overlap patterns and image stitching for multiple-detector compressive-sensing camera

Also Published As

Publication number Publication date
CN106603937B (zh) 2019-09-03
US20170111580A1 (en) 2017-04-20
CN106603937A (zh) 2017-04-26
US10516822B2 (en) 2019-12-24
TW201715203A (zh) 2017-05-01

Similar Documents

Publication Publication Date Title
TWI582388B (zh) 影像縫合方法與影像縫合裝置
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
TWI489082B (zh) 用於校正雷射量測裝置的方法及其系統
TWI578269B (zh) 三維座標縫合方法及應用其之三維座標資訊縫合裝置
JP5156601B2 (ja) 形状測定装置およびプログラム
JP5919212B2 (ja) 目視照合支援装置およびその制御方法
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP2016217944A (ja) 計測装置、および計測方法
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
CN111131801B (zh) 投影仪校正系统、方法及投影仪
TWI571099B (zh) 深度估測裝置及方法
TWI450155B (zh) 應用於光學式觸控裝置之校正資訊計算方法及系統
JP6869880B2 (ja) 検査画像合成装置、検査画像合成システム、検査画像合成方法およびプログラム
JP6317611B2 (ja) ディスプレイ表示パターン生成装置及びそのプログラム
JP2008241609A (ja) 距離計測システム及び距離計測方法
TWI646233B (zh) Appliqué method based on image recognition
JP7003502B2 (ja) 検査装置
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2015106360A (ja) オブジェクト検出方法及びオブジェクト検出装置
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP2013170829A (ja) ひずみ計測装置及びひずみ計測方法
JP2005346393A (ja) ステレオ画像認識装置及びその方法
JP2012208025A (ja) 検査装置、プログラム及び画像の位置合わせ方法
JP5604967B2 (ja) 欠陥検出方法および欠陥検出装置