TWI804631B - 用於使用相機焦距的絕對和相對深度測量的方法和設備 - Google Patents

用於使用相機焦距的絕對和相對深度測量的方法和設備 Download PDF

Info

Publication number
TWI804631B
TWI804631B TW108119425A TW108119425A TWI804631B TW I804631 B TWI804631 B TW I804631B TW 108119425 A TW108119425 A TW 108119425A TW 108119425 A TW108119425 A TW 108119425A TW I804631 B TWI804631 B TW I804631B
Authority
TW
Taiwan
Prior art keywords
depth
image
regions
images
target
Prior art date
Application number
TW108119425A
Other languages
English (en)
Other versions
TW202012878A (zh
Inventor
奧茲康 瑟黎克
派崔西亞Ａ 史庫茲
葛列格里Ｊ 佛里曼
保羅Ｚ 沃斯
塔瑪索 凡塞斯
Original Assignee
美商應用材料股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商應用材料股份有限公司 filed Critical 美商應用材料股份有限公司
Publication of TW202012878A publication Critical patent/TW202012878A/zh
Application granted granted Critical
Publication of TWI804631B publication Critical patent/TWI804631B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

深度測量設備包括：(1)相機和鏡頭組件，該相機和鏡頭組件捕捉包括複數個深度級別的目標的圖像序列的圖像資料；(2)運動台，相機和鏡頭組件或目標定位在該運動台上；(3)馬達，該馬達連接到運動台，該馬達在定義的增量值處引起相機和鏡頭組件與目標之間的相對移動；(4)位置感測器，該位置感測器在定義的增量值中之每一者處捕捉相機和鏡頭組件或目標上的位置資料；及(5)控制器，該控制器使用圖像梯度方法和最佳焦距，來處理捕捉的圖像資料和捕捉的位置資料，以確定複數個深度級別的深度。還提供了許多其他態樣。

Description

用於使用相機焦距的絕對和相對深度測量的方法和設備
本文提供的實施例涉及深度測量，並且更具體地涉及用於使用相機焦距的絕對和相對深度測量的方法和設備。
相機通常用於需要在二維圖像平面(x和y平面)中進行高精度定位的應用中的位置測量。這些應用包括(例如)掩模和基板的對準，以準備用於行動裝置的超高解析度顯示器和高像素密度螢幕的生產中的圖案化處理。
目前，在這些類型的應用中，沿著深度軸(z平面)的距離測量通常使用雷射距離感測器、共焦感測器或接觸感測器來執行。這些感測器可能增加目前製造處理的大幅成本和複雜性。
因此，期望的是，具有高精度並且不具有現有感測器所涉及的複雜性和成本的深度測量設備和方法。
在一些實施例中，提供了一種深度測量設備，該深度測量設備包括：(1)相機和鏡頭組件，該相機和鏡頭組件能夠捕捉目標的圖像序列的圖像資料，該目標包括沿著相機軸的複數個深度級別；(2)運動台，相機和鏡頭組件或目標定位在該運動台上；(3)馬達，該馬達連接到運動台，該馬達在定義的增量值處沿著相機軸提供相機和鏡頭組件與目標之間的相對移動；(4)位置感測器，該位置感測器能夠在移動的每個增量值處沿著相機軸捕捉相機和鏡頭組件或目標的相對位置資料；及(5)控制器。控制器包括：(a)圖像處理單元，該圖像處理單元經配置以使用圖像梯度方法，來產生在捕捉的圖像資料內表示為感興趣區域的複數個深度級別的圖像清晰度資料；(b)距離處理單元，該距離處理單元經配置以使用圖像清晰度資料，來確定在相機和鏡頭組件與在捕捉的圖像資料內表示為感興趣區域的複數個深度級別中之每一者之間的最佳焦距；及(c)深度處理單元，該深度處理單元經配置以處理最佳焦距資料，以確定在捕捉的圖像資料內表示為感興趣區域的複數個深度級別中之每一者的深度。
提供了一種深度測量設備，該深度測量設備包括：(1)相機和鏡頭組件，該相機和鏡頭組件能夠捕捉目標的圖像序列的圖像資料，該目標包括沿著相機軸的複數個深度級別；(2)運動台，相機和鏡頭組件或目標定位在該運動台上；(3)馬達，該馬達連接到運動台，並且該馬達經配置以在定義的增量值處沿著相機軸引起在相機和鏡頭組件與目標之間的相對移動；(4)位置感測器，該位置感測器能夠在定義的增量值中之每一者處沿著相機軸捕捉相機和鏡頭組件或目標上的位置資料；及(5)控制器，該控制器經配置以使用圖像梯度方法和最佳焦距，來處理捕捉的圖像資料和捕捉的位置資料，以確定複數個深度級別中之每一者的深度。
在一些實施例中，提供了一種測量深度的方法，該方法包括以下步驟：(1)提供具有複數個深度級別的目標；(2)將相機和鏡頭組件或目標定位在運動台上，使得相機和鏡頭組件或目標是可移動的；(3)通過目標的複數個深度級別中之全部的最佳焦距在定義的增量值處步進相機和鏡頭組件或目標；(4)在每個增量值處，使用位置感測器，來測量相機和鏡頭組件或目標的位置資料；(5)在每個增量值處，使用相機和鏡頭組件，來捕捉目標的圖像，以便捕捉圖像序列；(6)將圖像梯度方法應用於捕捉的圖像序列內的圖像中之每一者，該圖像梯度方法在捕捉的圖像中之每一者中產生具有較高強度梯度值和較低強度梯度值的處理圖像，在具有較高強度梯度值的處理圖像中在深度級別的邊緣處可看到較大量的清晰度細節，在具有較低強度梯度值的處理圖像中在深度級別的邊緣處可看到較少量的清晰度細節；(7)針對複數個深度級別中之每一者確定在處理圖像內的感興趣區域；(8)針對每個感興趣區域和針對每個處理圖像產生圖像清晰度標量值；(9)基於每個感興趣區域的圖像清晰度標量值，來確定每個感興趣區域的最佳焦距；及(10)基於針對感興趣區域中之每一者確定的最佳焦距，來確定複數個深度級別中之每一者的深度測量。
根據本揭示的這些和其他實施例提供了許多其他態樣。根據以下詳細描述、附圖及申請專利範圍，本揭示的實施例的其他特徵和態樣將變得更加明顯。
現在將詳細參考在附圖中示出的示例實施例。將盡可能在整個附圖中使用相同的元件符號，來指示幾個視圖中的相同或相似的部分。除非另有特別說明，否則本文描述的各種實施例的特徵可彼此組合。
用於平板顯示器及/或半導體裝置製造的現有高精度測量系統需要用於待測量的基板的每個區域的分開感測器。這些感測器可能包括基於雷射的感測器和共焦感測器，或者與待測量的每個單獨區域實際接觸的接觸感測器。結果是，這些類型的感測器增加了製造處理的大幅成本和複雜性。
為了改善上文列出的問題的一或多個，且特別是基於雷射的感測器、共焦感測器或基於接觸的感測器的成本和複雜性，提供了較便宜且不需要與待測量的一或多個區域直接接觸的深度測量設備和方法。
在本文提供的一些實施例中，可使用成像相機和焦距，來獲得精確的表面深度測量。例如，包括相機和鏡頭的相機組件可以沿著一軸朝向物體移動，在該物體上將測量不同深度級別的一或多個特徵(例如，目標)。可執行「步進和捕捉圖像」處理，在該處理中當相機組件朝向或遠離目標移動時，相機以預定間隔記錄圖像序列。在替代實施例中，目標或者目標和相機組件兩者可相對於彼此移動。在相機組件(及/或目標)的每個預定間隔或步進處，捕捉圖像並且確定相機組件(及/或目標)的位置。
隨著相機組件和目標之間的距離改變，目標上的不同深度處的表面區域會進入和離開焦點。例如，基於圖像梯度濾波器的圖像清晰度度量可應用於每個捕捉的圖像，以確定目標上的特定深度級別在哪個步進(距離)處於最佳(或最大)焦點。例如，在一些實施例中，諸如應用邊緣偵測濾波器(例如，Sobel濾波器)的基於梯度的偵測方法可應用於每個捕捉的圖像。這種基於梯度的偵測方法可產生較高的梯度值(其中偵測到不同或更多的聚焦邊緣)，以及較低的梯度值(其中偵測到離焦或沒有邊緣)。每個濾波圖像可被劃分為感興趣區域，其中不同的感興趣區域對應於待測量的目標上的每個深度級別。例如，每個感興趣區域可以是在捕捉和濾波圖像內的像素子集。
在一些實施例中，聚合函數可應用於每個感興趣區域。例如，可使用針對感興趣區域內的每個像素(或像素子集)確定的梯度值，來計算平均梯度值、標準差、最大或中值梯度值、上述的組合(諸如標準差除以平均)等。這樣的聚合值在本文中還稱為圖像清晰度標量。
可對相機組件(或目標)的位置來分析特定感興趣區域的圖像清晰度。感興趣區域的圖像清晰度為最大或最佳的距離提供了對該感興趣區域的相對深度的測量(並且因此提供了目標上的對應深度級別)。可針對每個感興趣區域分析圖像清晰度對距離的關係，以獲得在目標上待測量的每個深度級別的相對深度的測量。在一些實施例中，為了改善解析度及/或精度，可使函數適合於每個感興趣區域的圖像清晰度對距離資料的關係，並且可使用該函數的最大值，來識別最大焦點的位置。示例函數包括Gaussian函數、Cauchy函數等。
注意到，如本文所用的「最大」或「最佳」焦點是指所測量(或藉由函數預測)的最大或最佳焦點，並且可以不表示圖像的實際最大或最佳焦點。例如，相機組件(或目標)可能不會停止並且在精確距離處記錄圖像，該距離針對特定深度級別提供最佳焦點。因此，如本文所用的最大或最佳焦點是指最大或最佳測量的及/或預測的焦點。
目標上的深度級別(例如，表面)之間的深度測量表示深度級別之間的相對深度測量。在一些實施例中，具有已知深度測量的參考特徵可位於目標或相機組件附近或者目標或相機組件上，並且可用於對待測目標的每個深度級別建立絕對深度測量。
下文參考圖1A至圖7來描述本文提供的示例深度測量設備和方法的進一步細節。
圖1A示出了根據本文提供的實施例的使用相機焦距的深度測量設備100的示意透視圖。深度測量設備100可包括相機和鏡頭組件102(在圖1A中以虛線示出)和目標104。相機和鏡頭組件102以提供在相機和鏡頭組件102與目標104之間且沿著相機軸108的相對移動的方式安裝在運動台106上。框架109顯示為支撐相機和鏡頭組件102、目標104及運動台106。可使用任何合適的框架或其他結構(例如，一或多個框架或其他支撐構件)，來支撐這些部件。
相機和鏡頭組件102包括圖像捕捉元件110和鏡頭組件112。圖像捕捉元件110可由本領域具有通常知識者已知的任何類型的圖像捕捉裝置組成。在一或多個實施例中，圖像捕捉元件110可以是具有合適的解析度的互補金屬氧化物半導體(CMOS)或電荷耦合裝置(CCD)。示例解析度可以是2至12百萬像素或更高，並且在一些實施例中，可以是約4至6百萬像素或更高。可使用的一個特定示例CMOS感測器可具有大約2000×2000像素、大約5百萬像素解析度及大約3.5微米的像素大小。可使用其他感測器類型、像素大小、像素數目及/或解析度。圖像捕捉元件110的解析度可取決於多個參數，諸如待成像的特徵的大小、照明、像素大小、感測器大小、相機和鏡頭組件102中使用的(多個)鏡頭的類型等。在一些實施例中，相機和鏡頭組件102可以對目標104上的大約1 mm×1 mm的區域進行成像。可以對其他區域大小進行成像。
鏡頭組件112定位成與圖像捕捉元件110功能性連通。具體地，鏡頭組件112將與相機軸108對齊的目標104的區域的圖像聚焦到圖像捕捉元件110上。成像區域可包含待測量的複數個深度級別114。取決於應用，待成像的深度級別可以彼此相鄰或不相鄰。在一些實施例中，深度級別可包括連續傾斜。鏡頭組件112可由具有定義的焦長度的任何類型的已知鏡頭組件組成。在一或多個實施例中，鏡頭組件112可以是遠心鏡頭，該遠心鏡頭具有沿著相機軸108的恆定和非角度視場，並且其放大率相對於沿著相機軸108的深度不會改變。
目標104可包括待測量的一或多個深度級別114。在一些實施例中，目標104可包括表面，該表面包含待精確測量的複數個相鄰的、非相鄰的及/或離散的深度級別114。待測量的示例深度級別可以是毫米或亞毫米(例如，微米)範圍。例如，在一些實施例中，具有幾微米到幾十或幾百微米深度的特徵可用相機和鏡頭組件102成像。示例性目標包括但不限於用於薄膜沉積、圖案化、半導體摻雜或其他處理需要均勻分開的基板和掩模、印刷電路板，平板顯示器、其他半導體裝置等。
返回圖1A，在一些實施例中，深度測量設備100可包括馬達116和耦合到運動台106的導螺桿118，其提供在相機和鏡頭組件102與目標104之間的相對移動。具體地，馬達116的旋轉引起導螺桿118旋轉並且沿著相機軸108(圖1A中的垂直方向)移動運動台106(以及相機和鏡頭組件102)，從而提供相機和鏡頭組件102沿著相機軸108以定義的增量值的相對移動。增量值可取決於使用的馬達的步進解析度來設置為任何大小。例如，取決於應用，一或多個齒輪可將馬達步進大小轉換成更大或更小的增量值(步進)。在一些實施例中，增量值可以是5、10、15或甚至20微米，但是可使用更大或更小的增量值。在一或多個實施例中，馬達116可使相機和鏡頭組件102相對於目標104以大約五十(50)微米的增量值移動。在一些實施例中，由相機和鏡頭組件102行進的總距離可以是大約20至30cm，但是下文描述的步進和圖像捕捉處理期間可使用更小或更大的距離。
在一或多個實施例中，馬達116可以是線性馬達、DC有刷或無刷馬達、AC馬達、步進馬達或任何其它合適的馬達。在一些實施例中，可使用球螺桿或其他旋轉到線性傳動裝置代替導螺桿118。
圖1A中的馬達116顯示為附接到相機和鏡頭組件102(通過導螺桿118和運動台106)，從而提供相機和鏡頭組件102沿著相機軸108的移動。一般而言，馬達116可在任何位置處直接地或間接地附接到相機和鏡頭組件102。例如，馬達116可耦合到線性台，該線性台從頂部、底部或側面支撐相機和鏡頭組件102，使得藉由馬達116的線性台的移動引起相機鏡頭組件102的移動。其他配置可用於支撐及/或移動相機和鏡頭組件102。
在圖1A中所示的實施例的變型中，運動台106和馬達116可相對於相機和鏡頭組件102移動目標104(如圖1B所示)，而不是附接到相機和鏡頭組件102。在該配置中，目標104可以沿著相機軸108相對於相機和鏡頭組件102以定義的增量值來移動。在又一個實施例(未示出)中，可使用一或多個馬達，來移動相機和鏡頭組件102與目標104兩者，從而提供相機和鏡頭組件102與目標104兩者相對於彼此以定義的增量值的移動。
返回圖1A，深度測量設備100包括位置感測器120，位置感測器120追蹤相機和鏡頭組件102相對於目標104的移動。在一些實施例中，位置感測器120可以附接到相機和鏡頭組件102、馬達116、運動台106、導螺桿118，或在任何其他合適的位置。當位置感測器120在步進和圖像捕捉處理(下文描述)期間隨著運動台106移動時，位置感測器120追蹤相機和鏡頭組件102的位置。在圖1B的實施例中，位置感測器120可追蹤目標104在步進和圖像捕捉處理期間隨著運動台106移動的位置。
在一些實施例中，位置感測器120可以是耦合到馬達116的軸或耦合到導螺桿118的光學或其他編碼器。可使用其他位置感測器。一般而言，位置感測器120可附接到並且追蹤運動台106的位置，運動台106經配置以在步進和圖像捕捉處理期間沿著相機軸108移動。可使用的其他示例感測器包括磁編碼器、線性可變差分變壓器(LVDT)等。
在一些實施例中，相機和鏡頭組件102與目標104可以不垂直對齊。例如，相機和鏡頭組件102與目標104可以水平定位。同樣地，相機軸108可以不是直線。例如，可使用一或多個鏡子(未示出)，以任何期望角度(例如，45度、90度等)將圖像從目標104引導到相機和鏡頭組件102。
可提供控制器122(諸如一或多個微處理器、微控制器、專用硬體及/或軟體等)，來控制深度測量設備100的操作。在一些實施例中，控制器122可包括內部或外部記憶體，以及用於控制圖像捕捉元件110、鏡頭組件112、馬達116、位置感測器120等的操作的軟體。
圖1C示出了根據本文提供的實施例的具有複數個深度級別114a、114b及114c的示例目標104。目標104僅是示例，並且可使用深度測量設備100，來分析具有其他特徵及/或多個深度級別的目標。參考圖1C，深度級別114a處於第一高度，深度級別114b處於第二高度，以及深度級別114c處於第三高度。深度級別114a與深度級別114c不相鄰。如下文將進一步描述的，可使用深度測量設備100，來確定深度級別114a、114b及/或114c的相對及/或絕對深度。例如，在一些實施例中，圖像捕捉元件110可以對區域124進行成像。在一個特定示例實施例中，可在由圖像捕捉元件110拍攝的圖像內分析感興趣區域126a，以確定深度級別114a的深度級別資訊，並且可在由圖像捕捉元件110拍攝的圖像內分析感興趣區域126b，以確定深度級別114c的深度級別資訊(如下文進一步描述)。例如，目標104的感興趣區域126a可對應於圖像捕捉元件110的像素區域128a，並且目標104的感興趣區域126b可對應於圖像捕捉元件110的像素區域128b(在圖1C中顯示為在目標104的右邊)。
圖2示出了根據本文提供的實施例的可由控制器122為使用相機焦距的深度測量設備100提供的示例處理單元的示意圖。控制器122可包括儲存單元202、圖像處理單元204、距離處理單元206及深度處理單元208。處理單元204、206及/或208可以是(例如)儲存在記憶體中並且可由控制器122執行的電腦程式代碼或指令。儲存單元202可以是在控制器122內部或外部的任何合適的儲存器(例如，固態記憶體、硬碟等)。
在一些實施例中，儲存單元202可經配置以儲存和檢索由相機和鏡頭組件102捕捉的圖像序列以及在步進和圖像捕捉處理期間由位置感測器120追蹤的捕捉的圖像中之每一者的對應位置資料。例如，儲存單元202可維持每個捕捉的圖像與任一相機和鏡頭組件102、目標104或兩者的位置之間的相關性，這取決於哪個經配置以使用附接的馬達116，來沿著運動台106移動。
圖像處理單元204經配置以處理捕捉的圖像資訊，諸如藉由對在步進和圖像捕捉處理期間捕捉的圖像序列內的每個圖像執行基於梯度的邊緣偵測函數。在一或多個實施例中，基於梯度的邊緣偵測方法使用邊緣偵測濾波器(諸如Sobel、Prewitt、Laplace或類似濾波器)對捕捉的圖像的應用。得到的濾波圖像可在偵測到不同邊緣的圖像的那些部分中具有較高強度。或者，得到的濾波圖像可在沒有偵測到邊緣或偵測到的邊緣是模糊的圖像的那些部分中具有較低強度或沒有強度。例如，這些處理的圖像連同每個圖像的原始位置資料可儲存在儲存單元202中。可使用其他邊緣偵測或圖像梯度方法，包括(例如)諸如離散餘弦轉換的頻域方法。
在一些實施例中，若目標具有已知深度範圍內的一或多個特徵，則可拍攝和儲存圖像子集。這可以減少執行用於深度級別的測量的時間。例如，第一圖像集可包括在複數個原始捕捉的圖像中偵測到的並且從複數個原始捕捉的圖像提取的第一深度級別的基於梯度的邊緣偵測濾波圖像。第二圖像集可包括在複數個原始捕捉的圖像中偵測到的並且從複數個原始捕捉的圖像提取的第二深度級別的基於梯度的邊緣偵測濾波圖像。第三圖像集可包括在複數個原始捕捉的圖像中偵測到的並且從複數個原始捕捉的圖像提取的第三深度級別的基於梯度的邊緣偵測濾波圖像，等等。
在一些實施例中，並不執行每個深度級別的產生及/或儲存圖像集。例如，可藉由在每個圖像內檢查感興趣區域的圖像清晰度資訊，來針對每個深度級別分析在步進和圖像捕捉處理期間捕捉的所有圖像。參考圖1C的示例感興趣區域126a和126b，可分析由圖像捕捉元件110捕捉的圖像的像素區域128a和128b，來針對深度級別114a和114c分別確定圖像清晰度資訊。
可使用圖像梯度方法對圖像(且特別是對在每個圖像內的感興趣區域)的應用，來產生對應於每個感興趣區域內的每個像素的梯度值的強度值。可由距離處理單元206使用該資訊，如下所述。
距離處理單元206經配置以針對每個深度級別確定在相機和鏡頭組件102與目標104之間的最佳焦距。例如，距離處理單元206可首先對每個濾波圖像的每個感興趣區域的強度值執行聚合函數。示例聚合函數包括在所有像素或像素子集中的平均、標準差、強度值的最大或中值、這些項目中的一或多個項目的組合(諸如標準差除以平均)等。例如，感興趣區域的像素子集可以是在濾波圖像的感興趣區域內具有非零值的那些像素。聚合函數的應用導致感興趣區域的圖像清晰度標量值，該圖像清晰度標量值表示在收集的圖像內覆蓋的每個增量位置處的特定深度級別的圖像清晰度。例如，這些圖像清晰度標量值中之每一者可與其對應位置資料一起儲存在儲存單元202內。
一旦在收集的圖像內包括的每個圖像的每個感興趣區域產生了圖像清晰度標量值，在一些實施例中，距離處理單元206可將曲線適合到每個感興趣區域的圖像清晰度標量值。例如，可使用Gaussian、Cauchy或其他曲線，來適合圖像清晰度標量值對每個感興趣區域的位置的關係。基於曲線適合，可確定在相機和鏡頭組件102與目標104之間針對每個深度級別的最佳焦距(例如，基於與每個感興趣區域的峰值圖像清晰度標量值相關的位置資料)。在一些實施例中，可藉由在確定最佳焦距之前將曲線適合到圖像清晰度標量值，來改善深度測量的解析度和精度。還可減少在每個深度級別進行的圖像測量的數目。
深度處理單元208可經配置以確定由距離處理單元206已經確定的最佳焦距的深度級別中之每一者的相對及/或絕對深度。
由感測器120提供的位置資料為每個拍攝的圖像提供關於相機和鏡頭組件102、目標104或兩者在運動台106上的位置的資訊。因此，當確定兩個不同深度級別的最佳焦距時，最佳焦距之間的差異提供深度級別之間的相對深度。
深度處理單元208還可確定深度級別中之每一者的絕對測量。在一或多個實施例中，可藉由針對在相機和鏡頭組件102、目標104或一些其他位置上的參考表面建立已知參考深度並且測量在目標104上相對於參考表面的所有其他表面(例如，深度級別)，來導出絕對深度測量。亦即，到參考表面的相對距離可與參考表面的已知表面深度結合，以獲得絕對測量。或者，可使用相機和鏡頭組件102的最佳焦長度(如在沿著相機軸108捕捉圖像序列之前確定的)，來建立參考深度。例如，可對相機和鏡頭組件102的視野內的參考表面進行成像，並且可相對於參考表面確定相機和鏡頭組件102在相機和鏡頭組件102的最佳焦長度處的位置。可使用諸如光學編碼器的位置感測器，來監視相機和鏡頭組件102相對於參考表面的位置。可結合包括已知參考表面位置、相機和鏡頭組件102相對於參考表面的位置及參考表面與相機和鏡頭組件102處於最佳焦距的距離的所有距離測量，來產生絕對深度測量。
圖3A至圖5B是具有複數個深度級別的目標的示例單個深度級別的表示資料。因此，圖3A至圖5B表示將針對具有複數個深度級別的目標的每個單獨深度級別獲得的資料。
圖3A示出了根據本文的實施例的在圖像序列內捕捉的目標的單個深度級別的圖像的示意性表示300。在圖3A的圖像中，模糊的圖像具有多個同心圓，而同時接近最佳焦點的圖像具有一個圓。
參考圖3A，由相機和鏡頭組件102捕捉的第一圖像是圖像表示302。例如，當相機和鏡頭組件102開始成像示例深度級別時，可已經捕捉圖像表示302。如圖所示，圖像表示302是模糊的(例如，由多個同心圓表示的)，這是因為在遠離相機和鏡頭組件102的最佳焦距的點處捕捉了圖像。因此，圖像表示302包含很小的清晰度。
在捕捉圖像表示302之後，移動和使用了相機和鏡頭組件102，來捕捉圖像表示304。如圖3A所示，圖像表示304比圖像表示302較少模糊(如由較少的同心圓表示)，並且在更接近深度級別的最佳焦距的點處捕捉了圖像表示304。
在捕捉圖像表示304之後，移動和使用了相機和鏡頭組件102，來捕捉圖像表示306。在沿著相機軸108最接近最佳焦距的位置處捕捉了圖像表示306。該圖像在捕捉的圖像序列內是最清晰的。因此，該圖像包含在深度級別的邊緣處可見的最大量的清晰度細節(沒有在捕捉的圖像中表示清晰邊緣的同心圓)。
在捕捉圖像表示306之後，移動和使用了相機和鏡頭組件102，來捕捉圖像表示308，然後移動和使用了相機和鏡頭組件102，來捕捉圖像表示310。圖像表示308和310是在相機和鏡頭組件102離深度級別更遠離最佳焦距時捕捉的，並且因此是模糊的(例如，分別類似於圖像表示304和302)。
圖3B示出了根據本文的實施例的對應於圖3B的圖像表示的捕捉的圖像序列內表示的目標的單個深度級別的實際圖像300'。參考圖3B，在距離相機和鏡頭組件102與被成像的深度級別之間的最佳焦距最遠的點處捕捉了最模糊的圖像(由元件符號302'和310'表示)。因此，這些捕捉的圖像包含在深度級別的邊緣處可見的最少量的清晰度細節。當相對於被成像的深度級別移動相機和鏡頭組件102時，隨著相機和鏡頭組件102從由元件符號306'表示的深度級別越來越接近最佳焦距，捕捉的圖像變得較少模糊(元件符號304'和308')。
圖4A示出了根據本文的實施例的已經應用圖像梯度濾波器(諸如Sobel濾波器)的捕捉的圖像序列內的單個深度級別的表示400。具體地，表示400提供對應於圖3A的圖像表示302至310的濾波圖像表示。濾波圖像表示402和410具有濾波圖像的最低強度梯度值，這是因為它們是從最模糊的圖像表示302和310導出的。圖像表示402和410的低強度梯度值表示缺少在捕捉的圖像表示302和310中的深度級別的邊緣處可見的清晰度細節(其中小的白色區域表示在濾波圖像中的低強度梯度值)。
類似地，濾波圖像表示404和408具有低強度梯度值，這是因為它們也是從圖3A的捕捉的圖像序列表示內的模糊圖像表示304和308導出的。濾波圖像表示404和408的低強度梯度值是缺少在捕捉的圖像表示304和308中的深度級別的邊緣處可見的清晰度細節的結果(其中小的白色區域表示在濾波圖像中的低強度梯度值)。
濾波圖像表示406具有最大的強度梯度值，這是因為它是從捕捉的圖像序列內的最清晰圖像表示306導出的。濾波圖像表示406的高強度梯度值表示在捕捉的圖像表示306中的深度級別的邊緣處可見的清晰度細節(其中最大的白色區域表示在濾波圖像中的最大強度梯度值)。
圖4B示出了根據本文的實施例的已經應用圖像梯度濾波器的對應於圖4A的圖像表示的捕捉的圖像序列內的單個深度級別的實際濾波圖像。藉由將圖像梯度濾波器應用於圖3B的圖像序列，來獲得圖像清晰度資料。濾波圖像402'和410'具有最低的圖像清晰度，這是因為它們是從最模糊的圖像導出的。
更接近最佳焦距的圖像是較少模糊的並且具有更明顯的濾波圖像(參見元件符號404'和408')。當相機和鏡頭組件102最接近到深度級別的最佳焦距時拍攝的圖像具有最亮的圖像梯度(元件符號406')。
如上所述，可在由圖像捕捉元件110拍攝的圖像內分析一或多個感興趣區域，以確定一或多個深度級別的深度級別資訊。例如，目標的感興趣區域可對應於圖像捕捉元件110的像素區域。在一些實施例中，可將聚合函數應用於每個感興趣區域。例如，可使用針對感興趣區域內的每個像素(或像素子集)確定的強度值，來計算該感興趣區域的平均強度值、標準差、最大或中值強度值、上面項目的組合(諸如標準差除以平均)等。在一些實施例中，聚合函數可用於產生圖像清晰度資訊，諸如每個圖像內的每個感興趣區域的圖像清晰度標量值。
圖5A示出了根據本文的實施例的相機位置(距離)對圖像清晰度(標量值)的關係的曲線圖500，圖像清晰度(標量值)表示在捕捉的圖像序列內包括的單個深度級別。圖5A示出了22個捕捉的圖像的圖像清晰度資料。在一些實施例中，可捕捉更少或更多的圖像。另外，在一些實施例中，可在針對特定深度級別預期的最佳焦點附近捕捉更多圖像(若這樣的資訊可用)。例如，可基於相對於深度級別的相機位置，來增加或減少拍攝圖像的頻率。
如圖5A的曲線圖所示，相機距離502是與最高圖像清晰度標量值504相關的距離(例如，深度級別的近似最佳焦距)。較小的圖像清晰度標量值506a和506b在對應距離處的最高圖像清晰度標量值504的每一側上示出，該等對應距離小於和大於產生最高圖像清晰度標量值504的距離502。由馬達116使用的增量值來分開這些距離，以使相機和鏡頭組件102步進到達然後超過產生最高圖像清晰度標量值504的距離502(例如，深度級別的近似最佳焦距)。
圖5B示出了根據本文的實施例的相機位置(距離)對圖像清晰度標量值的關係的曲線圖500'，該等圖像清晰度標量值表示曲線508已經適合到單個深度級別。曲線508適合於圖5A中所示的繪製的圖像清晰度標量值。一旦適合，曲線508可用於提供產生最高的圖像清晰度標量值的不同距離502'(例如，圖5B中的圖像清晰度標量值504')。如上所述，圖像捕捉元件110可以不在特定深度級別的精確最佳焦距處捕捉圖像。藉由將曲線適合到圖像清晰度資料，可獲得對實際最佳焦距的更準確預測(如圖5B所示)。因此，曲線適合的使用可增加深度測量的解析度及/或精度。
圖6示出了根據本文的實施例的複數個深度級別的圖像清晰度對距離的關係的示例曲線圖600。參考圖6，第一曲線602表示第一深度級別的圖像清晰度標量值的曲線適合，第二曲線604表示第二深度級別的圖像清晰度標量值的曲線適合，並且第三曲線606表示目標的第三深度級別的圖像清晰度標量值的曲線適合。第四曲線608表示參考特徵(例如，存在於目標或相機組件上或附近)的圖像清晰度標量值的曲線適合。曲線圖600的圖像清晰度資料示出了圖像捕捉元件110在距離D1 處的第一深度級別、在距離D2 處的第二深度級別及在距離D3 處的第三深度級別接近最佳焦點。將距離D1 、D2 及/或D3 彼此進行比較，可提供深度級別的相對距離及/或深度資訊，而將距離D1 、D2 及/或D3 與參考深度級別的距離DREF 進行比較，可提供每個深度級別的距離及/或深度的絕對測量。
圖7示出了描繪根據本文提供的實施例的使用相機和鏡頭組件焦距來獲得深度測量的方法700的流程圖。方法700開始於方塊702，其中將相機和鏡頭組件或目標定位在運動台上，使得相機和鏡頭組件或目標是可移動的。例如，相機和鏡頭組件102或具有複數個深度級別的目標104可定位在運動台106上。相機和鏡頭組件102和目標104可各自定位，使得相機和鏡頭組件102、目標104或兩者可在運動台106上移動。該運動台允許在相機和鏡頭組件102與目標104之間的相對距離改變，針對待測量的複數個深度級別中之任一者從大於或小於最佳焦距的位置開始。
一旦定位，方法700包括在方塊704處的通過目標的複數個深度級別中之全部的最佳焦距在定義的增量值處向前或向後步進相機和鏡頭組件或目標。例如，可在定義的增量值處向前或向後步進相機和鏡頭組件102(或目標104)。該步進持續直到相對距離通過待測量的所有複數個深度級別的最佳焦距增加或減小。
當相對距離增加或減小時，在方塊706中，在每個增量值處，方法700包括使用感測器，來測量相機和鏡頭組件或目標的位置資料，並且使用相機和鏡頭組件，來捕捉目標的圖像，以捕捉圖像序列。在一些實施例中，可儲存針對每個增量值的捕捉的圖像和運動台的對應位置資料。例如，在每個增量值處，可使用相機和鏡頭組件102捕捉和存儲目標104的圖像以及由位置感測器120提供的運動台的對應位置資料。
一旦已經捕捉圖像序列和對應位置資料，在方塊708，方法700包括將圖像梯度方法應用於捕捉的圖像序列內的圖像中之每一者。圖像梯度方法可用於在捕捉的圖像中之每一者中產生具有較高強度梯度值的處理圖像(其中在深度級別的邊緣處可看到較大量的清晰度細節)和具有較低強度梯度值的處理圖像(其中在深度級別的邊緣處可看到較少量的清晰度細節)。一旦處理，在一些實施例中，可儲存處理圖像。如上所述，可將Sobel或類似的濾波器應用於每個圖像，以增強邊緣特徵。
一旦產生了梯度濾波圖像，在方塊710中，方法700包括針對複數個深度級別中之每一者確定在處理圖像內的感興趣區域，每個感興趣區域包括對應於目標的單獨區域的處理圖像的子部分。在一些實施例中，捕捉的圖像內的感興趣區域可以是每個圖像內的預定的像素子集。例如，使用者可手動定義將會在每個深度級別使用的感興趣區域(例如，藉由選擇在每個圖像內對應於每個深度級別的像素子集)。在一些實施例中，可使用目標(基準點)尋找演算法，來確定在捕捉的圖像內的感興趣點的位置，並且然後可將感興趣點周圍的預定義區域用作感興趣區域(例如，感興趣點周圍的球形、環形、矩形、方形或其他形狀區域)。針對背景和前景物體，可應用Boolean掩模操作，來定義每個物體的範圍並且優選地在感興趣區域內包括或排除這些區域。
在一些實施例中，可使用偵測到的邊緣，將每個圖像分割成感興趣區域。例如，可使用模板尋找演算法，來找到兩個圓形或其他形狀的基準點的中心。感興趣區域可定義為基準點的邊緣周圍的區域。在一個示例實施例中，可從背景環形區域減去前景球形區域，以獲得背景感興趣區域。前景感興趣區域可以是前景中心位置周圍的環形區域。可使用用於定義感興趣區域的其他合適的方法。
在確定每個深度級別的感興趣區域之後，在方塊712中，方法700包括針對每個感興趣區域的每個處理(濾波)圖像產生圖像清晰度標量值。例如，可將聚合函數應用於每個感興趣區域內的一或多個強度梯度值，以確定圖像清晰度標量值。
在方塊714中，方法700包括基於圖像清晰度標量值，來確定每個感興趣區域的最佳焦距。在一些實施例中，這可包括如前所述的將曲線適合到圖像清晰度標量值對距離資料的關係。例如，可從與每個感興趣區域內的最高圖像清晰度標量值相關聯的位置資料導出最佳焦距。
在方塊716中，方法700包括基於感興趣區域中之每一者的確定的最佳焦距，來確定複數個深度級別中之每一者的相對(及/或絕對)深度測量。
前文的描述僅揭示示例實施例。對於本領域具有通常知識者而言，落入本揭示的範圍內的上述設備和方法的修改將是顯而易見的。因此，儘管已經結合本發明的示例實施例來揭示本發明，但應理解的是，其他實施例可落入由以下申請專利範圍定義的本發明的精神和範疇內。
100:深度測量設備 102:相機和鏡頭組件 104:目標 106:運動台 108:相機軸 109:框架 110:圖像捕捉元件 112:鏡頭組件 114:深度級別 114a:深度級別 114b:深度級別 114c:深度級別 116:馬達 118:導螺桿 120:位置感測器 122:控制器 124:區域 126a:感興趣區域 126b:感興趣區域 128a:像素區域 128b:像素區域 202:儲存單元 204:處理單元 206:處理單元 208:處理單元 300:表示 300':圖像 302:表示 302':圖像 304:表示 304':圖像 306:表示 306':圖像 308:表示 308':圖像 310:表示 310':圖像 400:表示 402:表示 402':圖像 404:表示 404':圖像 406:表示 406':圖像 408:表示 408':圖像 410:表示 410':圖像 500:曲線圖 500':曲線圖 502:距離 502':距離 504:圖像清晰度標量值 504':圖像清晰度標量值 506a:圖像清晰度標量值 506b:圖像清晰度標量值 508:曲線 600:曲線圖 602:第一曲線 604:第二曲線 606:第三曲線 608:第四曲線 700:方法 702:方塊 704:方塊 706:方塊 708:方塊 710:方塊 712:方塊 714:方塊 716:方塊
下文描述的附圖僅用於說明目的，並且不一定按比例繪製。附圖並不旨在以任何方式限制本揭示的範疇。
圖1A示出了根據本文提供的實施例的使用相機焦距的深度測量設備的透視圖。
圖1B示出了根據本文提供的實施例的使用相機焦距的圖1A的深度測量設備的替代實施例的透視圖。
圖1C示出了根據本文提供的實施例的具有複數個深度級別的示例目標。
圖2示出了根據本文提供的實施例的由用於使用相機焦距的深度測量設備的控制器提供的示例處理單元的示意圖。
圖3A示出了根據本文的實施例的在圖像序列內捕捉的單個深度級別的圖像的示意性表示。
圖3B示出了根據本文的實施例的在捕捉的圖像序列內表示的單個深度級別的圖像。
圖4A示出了根據本文的實施例的已經應用了圖像梯度濾波器的捕捉的圖像序列內的單個深度級別的表示。
圖4B示出了根據本文的實施例的已經應用了圖像梯度濾波器的捕捉的圖像序列內的單個深度級別的濾波圖像。
圖5A示出了根據本文的實施例的距離對圖像清晰度標量值的關係的曲線圖，該等值表示在捕捉的圖像序列內包括的單個深度級別。
圖5B示出了根據本文的實施例的距離對標量圖像清晰度值的關係的曲線圖，該等值表示已經曲線適合的單個深度級別。
圖6示出了根據本文的實施例的用於複數個深度級別的圖像清晰度對距離的關係的示例曲線圖。
圖7示出了描繪根據本文提供的實施例的使用相機焦距來獲得深度測量的方法的流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
100:深度測量設備
102:相機和鏡頭組件
104:目標
106:運動台
108:相機軸
109:框架
110:圖像捕捉元件
112:鏡頭組件
114:深度級別
116:馬達
118:導螺桿
120:位置感測器
122:控制器

Claims (19)

  1. 一種深度測量設備，包括：一相機組件，該相機組件經配置以在距一目標的複數個距離處捕捉該目標的複數個圖像；一位置感測器，該位置感測器經配置以針對該複數個圖像中的每個圖像捕捉與該相機組件和該目標之間的一相對距離相關的位置資料；及一控制器，該控制器經配置以針對該複數個圖像內的複數個區域中的每個區域進行以下操作：基於與該複數個區域中的每個區域的對應梯度值相對應的強度值，來確定圖像清晰度值；將一曲線適合到該複數個區域中的每個區域的該等圖像清晰度值對該位置資料的關係；及基於與該曲線中的一最大圖像清晰度值相對應的該位置資料，來確定該複數個區域中的每個區域的一深度測量，其中該複數個區域中的每個區域具有一不同深度，並且其中該深度測量與在該相機組件和該複數個區域中的該區域之間的一最佳焦距相關。
  2. 一種深度測量設備，包括：一相機組件，該相機組件經配置以在距一目標的複數個距離處捕捉該目標的複數個圖像； 一位置感測器，該位置感測器經配置以針對該複數個圖像中的每個圖像捕捉與該相機組件和該目標之間的一相對距離相關的位置資料；及一控制器，該控制器經配置以針對該複數個圖像的每個圖像內的複數個區域中的每個區域進行以下操作：基於與該複數個區域中的每個區域的對應梯度值相對應的強度值，來確定圖像清晰度值，其中該複數個區域中的每個區域具有一不同深度；將一曲線適合到該複數個區域中的每個區域的該等圖像清晰度值對該位置資料的關係；及基於與該曲線中的一最大圖像清晰度值相對應的該位置資料，來確定該複數個區域中的每個區域的一深度測量，並且其中該深度測量與在該相機組件和該複數個區域中的該區域之間的一最佳焦距相關。
  3. 如請求項2所述之深度測量設備，其中藉由移動該相機組件或該目標中的至少一個，使該相機組件將在距該目標的該複數個距離處捕捉該目標的該複數個圖像。
  4. 如請求項2所述之深度測量設備，其中該控制器用於藉由對該複數個圖像內的該複數個區域中的 每個區域施加一圖像梯度濾波器，來確定該對應梯度值，以產生具有較高強度梯度值和較低強度梯度值的處理圖像，在具有較高強度梯度值的處理圖像中在邊緣處可看到較大量的清晰度細節，在具有較低強度梯度值的處理圖像中在該等邊緣處可看到較少量的清晰度細節，並且其中該複數個區域是複數個預定的區域。
  5. 如請求項4所述之深度測量設備，其中該圖像梯度濾波器包括一邊緣偵測濾波器、一Sobel濾波器、一Prewitt濾波器或一Laplace濾波器中的一個或多個。
  6. 如請求項2所述之深度測量設備，其中該控制器進一步用於基於一參考深度，來確定該深度測量，其中該複數個區域是相對於該參考深度而測量的。
  7. 如請求項2所述之深度測量設備，其中該相機組件和該目標是：垂直對齊的；水平對齊的；或沿一角度對齊的。
  8. 如請求項2所述之深度測量設備，其中該控制器用於確定包括該深度測量的複數個深度測量，其中該複數個深度測量與複數個相鄰深度級別和複數個 非相鄰深度級別相關。
  9. 一種深度測量設備，包括：一相機組件，該相機組件經配置以在距一目標的複數個距離處捕捉該目標的複數個圖像；一位置感測器，該位置感測器經配置以針對該複數個圖像中的每個圖像捕捉與該相機組件和該目標之間的一相對距離相關的位置資料；及一控制器，該控制器經配置以：(i)利用一圖像梯度濾波器，來處理該複數個圖像中的每個圖像的圖像清晰度值和該複數個圖像中的每個圖像的該位置資料，(ii)將一曲線適合到該複數個圖像內的複數個區域中的每個區域的該等圖像清晰度值對該位置資料的關係，及(iii)基於與該複數個區域中的每個區域的該曲線中的一最大圖像清晰度值相對應的該位置資料，來確定該複數個區域中的每個區域的一深度測量，其中該複數個區域中的每個區域具有一不同深度，並且其中該深度測量與在該相機組件和該複數個區域中的該區域之間的一最佳焦距相關。
  10. 如請求項9所述之深度測量設備，其中藉由移動該相機組件或該目標中的至少一個，使該相機組件將在距該目標的該複數個距離處捕捉該目標的該複數個圖像，其中為了處理該複數個圖像，該控制器 用以處理在該複數個圖像中的每個圖像內的具有不同深度的該複數個區域中的每個區域的圖像清晰度資料。
  11. 如請求項10所述之深度測量設備，其中該圖像梯度濾波器包括一邊緣偵測濾波器、一Sobel濾波器、一Prewitt濾波器或一Laplace濾波器中的一個或多個。
  12. 如請求項9所述之深度測量設備，其中該控制器進一步用於基於一參考深度，來確定該深度測量，其中該複數個區域是相對於該參考深度而測量的。
  13. 如請求項9所述之深度測量設備，其中該相機組件和該目標是：垂直對齊的；水平對齊的；或沿一角度對齊的。
  14. 如請求項9所述之深度測量設備，其中該控制器用於確定包括該深度測量的複數個深度測量，其中該複數個深度測量與複數個相鄰深度級別和複數個非相鄰深度級別相關。
  15. 一種用於深度測量的方法，包括以下步驟： 在距一目標的複數個距離處接收由一相機組件捕捉的該目標的複數個圖像；針對該複數個圖像中的每個圖像，接收與該相機組件和該目標之間的一相對距離相關的位置資料；基於與該複數個圖像內的複數個區域中的每個區域的對應梯度值相對應的強度值，來確定圖像清晰度值，其中該複數個區域中的每個區域具有一不同深度；將一曲線適合到該複數個區域中的每個區域的該等圖像清晰度值對該位置資料的關係；及基於與該複數個區域中的每個區域的該曲線中的一最大圖像清晰度值相對應的該位置資料，來確定該複數個區域中的每個區域的一深度測量，並且其中該深度測量與在該相機組件和該複數個區域中的該區域之間的一最佳焦距相關。
  16. 如請求項15所述之方法，其中藉由移動該相機組件或該目標中的至少一個，使該相機組件將在距該目標的該複數個距離處捕捉該目標的該複數個圖像。
  17. 如請求項15所述之方法，其中藉由對該複數個圖像施加一圖像梯度濾波器，來確定該對應梯度值。
  18. 如請求項15所述之方法，其中進一步基於 一參考深度，來確定該深度測量，其中該複數個區域是相對於該參考深度而測量的。
  19. 如請求項15所述之方法，進一步包括以下步驟：確定包括該深度測量的複數個深度測量，其中該複數個深度測量與複數個相鄰深度級別和複數個非相鄰深度級別相關。
TW108119425A 2018-06-05 2019-06-05 用於使用相機焦距的絕對和相對深度測量的方法和設備 TWI804631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/000,884 US10498948B1 (en) 2018-06-05 2018-06-05 Methods and apparatus for absolute and relative depth measurements using camera focus distance
US16/000,884 2018-06-05

Publications (2)

Publication Number Publication Date
TW202012878A TW202012878A (zh) 2020-04-01
TWI804631B true TWI804631B (zh) 2023-06-11

Family

ID=68693469

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119425A TWI804631B (zh) 2018-06-05 2019-06-05 用於使用相機焦距的絕對和相對深度測量的方法和設備

Country Status (6)

Country Link
US (3) US10498948B1 (zh)
JP (1) JP7042366B2 (zh)
KR (1) KR102323421B1 (zh)
CN (1) CN112243484B (zh)
TW (1) TWI804631B (zh)
WO (1) WO2019236619A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
CN111445516B (zh) * 2020-03-03 2024-01-26 深圳市杰普特光电股份有限公司 玻璃基板内部二维码深度计算系统及计算方法
GB202015901D0 (en) 2020-10-07 2020-11-18 Ash Tech Limited System and method for digital image processing
US11965731B2 (en) * 2020-11-03 2024-04-23 Taiwan Semiconductor Manufacturing Company Ltd. Package structure and measurement method for the package structure
CN114689630A (zh) * 2020-12-30 2022-07-01 Fei 公司 用于对三维特征进行成像的方法和系统
CN113014808A (zh) * 2021-02-09 2021-06-22 湖南大学 图像采集系统及方法
CN113847841A (zh) * 2021-11-29 2021-12-28 南京润景丰创信息技术有限公司 一种激光对抗训练机器人靶标系统及其控制方法
DE102022132162A1 (de) 2022-12-05 2024-06-06 Witrins S.R.O. Verfahren zur Fehleranalyse und Inspektionssystem

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147845A (ja) * 1992-11-09 1994-05-27 Mitaka Koki Co Ltd テーパ孔のエッジ検出装置及びその深さ測定装置
CN1573319A (zh) * 2003-05-31 2005-02-02 三星康宁精密琉璃株式会社 玻璃基板内缺陷的深度方向位置检测方法
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9454846B2 (en) * 2012-12-24 2016-09-27 Dentlytec G.P.L. Ltd. Device and method for subgingival measurement
US9930243B2 (en) * 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3141182A1 (de) 1980-10-16 1982-05-19 Canon K.K., Tokyo "scharfeinstellungs-ermittlungssystem"
US5598265A (en) * 1995-04-06 1997-01-28 Zygo Corporation Method for profiling an object surface using a large equivalent wavelength and system therefor
JP3216792B2 (ja) 1996-08-06 2001-10-09 富士電機株式会社 映像による距離検出方法
JPH10103934A (ja) 1996-09-30 1998-04-24 Sumitomo Metal Ind Ltd 装入物プロフィール測定方法及び測定装置
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7538813B2 (en) 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
JP2008014646A (ja) 2006-07-03 2008-01-24 Olympus Corp 基板検査方法
JP4892294B2 (ja) 2006-08-01 2012-03-07 三鷹光器株式会社 微小穴の深さ測定方法
KR100906974B1 (ko) 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
JP4863955B2 (ja) * 2007-09-10 2012-01-25 三洋電機株式会社 自動焦点調節装置
WO2009041918A1 (en) * 2007-09-26 2009-04-02 Agency For Science, Technology And Research A method and system for generating an entirely well-focused image of a large three-dimensional scene
US8724013B2 (en) 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8218061B2 (en) 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
JP2010152026A (ja) 2008-12-25 2010-07-08 Hitachi Ltd 距離測定器及び物体移動速度測定器
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
CN101930150B (zh) * 2009-06-18 2012-01-04 三洋电机株式会社 聚焦控制电路
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9111376B2 (en) * 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
US8896747B2 (en) 2012-11-13 2014-11-25 Qualcomm Technologies, Inc. Depth estimation based on interpolation of inverse focus statistics
US20140132822A1 (en) 2012-11-14 2014-05-15 Sony Corporation Multi-resolution depth-from-defocus-based autofocus
JP2014115149A (ja) 2012-12-07 2014-06-26 Olympus Corp 基板検査装置
US9154686B2 (en) 2013-09-25 2015-10-06 Google Technology Holdings LLC Close focus with GPU
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US11240421B2 (en) * 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
WO2017163537A1 (ja) 2016-03-22 2017-09-28 三菱電機株式会社 距離計測装置及び距離計測方法
JP2019516977A (ja) 2016-05-13 2019-06-20 オリンパス株式会社 可動画像センサおよび照明光源を使用する深度推定のためのシステムおよび方法
US10521659B2 (en) * 2016-11-21 2019-12-31 Yazaki Corporation Image processing device, image processing method, and image processing program
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147845A (ja) * 1992-11-09 1994-05-27 Mitaka Koki Co Ltd テーパ孔のエッジ検出装置及びその深さ測定装置
CN1573319A (zh) * 2003-05-31 2005-02-02 三星康宁精密琉璃株式会社 玻璃基板内缺陷的深度方向位置检测方法
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US9454846B2 (en) * 2012-12-24 2016-09-27 Dentlytec G.P.L. Ltd. Device and method for subgingival measurement
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9930243B2 (en) * 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens

Also Published As

Publication number Publication date
US11032464B2 (en) 2021-06-08
US20190373162A1 (en) 2019-12-05
US10498948B1 (en) 2019-12-03
KR20210003310A (ko) 2021-01-11
US11582378B2 (en) 2023-02-14
CN112243484A (zh) 2021-01-19
JP2021521742A (ja) 2021-08-26
TW202012878A (zh) 2020-04-01
JP7042366B2 (ja) 2022-03-25
WO2019236619A1 (en) 2019-12-12
US20210295547A1 (en) 2021-09-23
KR102323421B1 (ko) 2021-11-09
CN112243484B (zh) 2022-08-19
US20200068119A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
TWI804631B (zh) 用於使用相機焦距的絕對和相對深度測量的方法和設備
US8619144B1 (en) Automatic camera calibration
TWI511081B (zh) 影像擷取裝置及其影像形變校正方法
JP2010021985A (ja) 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール
KR20170024085A (ko) 이미지 캡처 장치를 교정하는 방법
WO2010028224A1 (en) Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
US20150358533A1 (en) Control method for imaging apparatus and imaging system
JP2011205263A (ja) 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール
CN107683401A (zh) 形状测定装置和形状测定方法
WO2016161734A1 (zh) 一种自动对焦的方法及装置
JP2014155063A (ja) 解像度測定用チャート、解像度測定方法、カメラモジュールにおける位置調整方法およびカメラモジュールの製造方法
JP6136019B2 (ja) 動画像撮影装置、および、動画像撮影装置の合焦方法
CN110653016B (zh) 移液系统及其校准方法
WO2014073590A1 (ja) ３次元計測装置および３次元計測方法
CN115278072B (zh) 一种用于Micro LED检测的自动对焦方法及系统
CN113805304B (zh) 一种用于线阵相机的自动调焦系统及方法
JP5149984B2 (ja) 撮像装置
CN113411497A (zh) 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
JP5610579B2 (ja) ３次元寸法測定装置
JPH0252204A (ja) ３次元座標計測装置
CN110440712B (zh) 自适应大景深三维扫描方法与系统
JP2005345590A (ja) 撮像装置の検査方法及び検査装置
CN116243448A (zh) 自动对焦方法、系统、装置、电子设备和存储介质
CN117268274A (zh) 一种近零间隙测量装置、方法及设备
TW202136894A (zh) 相機模組、對焦調整系統及對焦方法