TWI480832B - 用於三維感測的參考圖像技術 - Google Patents

用於三維感測的參考圖像技術 Download PDF

Info

Publication number
TWI480832B
TWI480832B TW099106489A TW99106489A TWI480832B TW I480832 B TWI480832 B TW I480832B TW 099106489 A TW099106489 A TW 099106489A TW 99106489 A TW99106489 A TW 99106489A TW I480832 B TWI480832 B TW I480832B
Authority
TW
Taiwan
Prior art keywords
image
pattern
target
image sensor
reference image
Prior art date
Application number
TW099106489A
Other languages
English (en)
Other versions
TW201033938A (en
Inventor
Alexander Shpunt
Dmitri Rais
Niv Galezer
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201033938A publication Critical patent/TW201033938A/zh
Application granted granted Critical
Publication of TWI480832B publication Critical patent/TWI480832B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)

Description

用於三維感測的參考圖像技術 相關申請的交叉引用
本專利申請案請求享有於2009年3月5日提出申請的美國臨時專利申請61/157560的優先權，該申請以引用方式納入本說明書。
本發明整體涉及成像系統，具體而言涉及使用參考圖像用於三維繪圖(3d-mapping)的成像系統。
一些三維(3D)繪圖系統使用被投射至標定面(calibration surface)的圖樣的參考圖像。這類系統的示例在Zalevsky等人的PCT公開文字WO2007/043036，以及Shpunt等人的PCT公開文字WO2007/105205中被說明，上述兩個公開文字以引證方式納入本說明書。在這些類型的3D繪圖系統中，測試目標的圖像中與參考圖像的測量偏差使得允許對測試目標進行繪製。因此，有利的是在繪圖系統中使用高品質的參考圖像。
上述說明僅作為本領域相關技術的概覽，不應被解釋為承認該說明所包含的任何資訊構成了對抗本專利申請的現有技術。
本發明的實施方案提供了一種方法，包括以下步驟：提供投射一個相干輻射的圖樣的裝置；藉由將該相干輻射的圖樣投射至一個參考面，使用一個圖像感測器擷取該圖樣的參考圖像，並且在擷取該參考圖像時，在參考面和圖像感測器之間產生相對運動；及將該參考圖像儲存至與所述裝置關聯的記憶體。
通常，產生相對運動之步驟包括以下步驟：將一個致動器連接至所述裝置，並在擷取所述參考圖像時致動該致動器。
可替代地或附加地，產生相對運動之步驟包括以下步驟：將一個致動器連接至具有參考面的參考目標，並在擷取參考圖像時致動該致動器。
產生相對運動之步驟可包括以下步驟：平行於參考面以移動所述裝置，平行於參考面自身以移動該參考面，選擇相對運動的幅度以中和(average out)參考面處所產生的二次散斑效應，及/或回應於圖像感測器的解析度選擇相對運動的幅度。
所述裝置可以包括圖像感測器，所述方法還包括以下步驟：使用所述裝置外部的另一個圖像感測器擷取被投射至參考面上的圖樣的替代圖像；將所述參考圖像與該替代圖像配准(registering)；及自所配准的參考圖像和替代圖像產生一改進的參考圖像；其中將所述參考圖像儲存至記憶體之步驟包括以下步驟：將該改進的參考圖像儲存至記憶體。
在一公開的實施方案中，擷取所述參考圖像之步驟包括以下步驟：當參考面距離所述裝置第一距離時，擷取所述圖樣的第一圖像，當參考面距離所述裝置第二距離時，擷取所述圖樣的第二圖像，所述第二距離不同於第一距離；及將所述第一圖像和第二圖像配准以產生一個替代參考圖像，其中將所述參考圖像儲存至記憶體中之步驟包括以下步驟：將該替代參考圖像儲存至記憶體中。
在另一公開實施方案中，擷取參考圖像之步驟包括以下步驟：當參考面距所述裝置第一距離時，擷取所述圖樣的第一圖像，當參考面距所述裝置第二距離時，擷取所述圖樣的第二圖像，所述第二距離不同於第一距離；所述第一圖像和第二圖像被配置為將被配准以產生一個替代參考圖像；及將所述第一圖像和第二圖像儲存至所述記憶體。
通常地，所述裝置被配置為藉由擷取目標上的圖樣的測試圖像並測量測試圖像中的所述圖樣相對於參考圖像的局部橫向移動，來產生目標的三維(3D)圖。
所述裝置可以包括圖像感測器，擷取所述測試圖像之步驟可以包括以下步驟：使用圖像感測器擷取所述測試圖像。
在一些實施方案中，圖像感測器具有積分時間，所述參考面依積分時間來衡量是靜態的。
根據本發明的一實施方案，還提供了一種方法，包括以下步驟：提供一種如下裝置，該裝置將一個圖樣投射至一個目標上，並使用具有第一光學特性的第一圖像感測器擷取該目標上的圖樣的圖像；藉由將所述圖樣投射至一個參考面上，使用第二圖像感測器擷取所述圖樣的參考圖像，該第二感測器具有相對於第一光學特性增强的第二光學特性；將所述參考圖像在所述裝置的參考系(frame of reference)內配准；及將所述參考圖像儲存至與所述裝置關聯的記憶體中。
通常地，擷取參考圖像之步驟包括以下步驟：使用第一圖像感測器擷取被投射至參考面上的圖樣的第一圖像，以及使用第二圖像感測器擷取被投射至參考面上的圖樣的第二圖像，以及其中將參考圖像配准之步驟包括以下步驟：將所述第一圖像和第二圖像配准以產生被配准的參考圖像，且其中儲存所述參考圖像之步驟包括以下步驟：將被配准的參考圖像儲存至記憶體。
通常地，所述裝置包括第一圖像感測器，而第二圖像感測器在所述裝置外部且與該裝置分離。
所述圖樣可以使用非相干輻射而被投射。
所述第一光學特性和第二光學特性可以包括各自的視場、各自的解析度、各自的訊雜比，以及各自的動態範圍中的至少一項。
通常地，所述裝置被配置為藉由擷取在所述目標上的圖樣的測試圖像並測量所述測試圖像中的圖樣相對於參考圖像的局部橫向移動，來產生目標的三維(3D)圖。
在一個實施方案中，所述方法還包括以下步驟：使用參考圖像和在目標上的圖樣的圖像，產生目標的圖。
根據本發明的一實施方案，還提供了一種方法，其包括：提供將一個圖樣投射至一個目標上的裝置；藉由將該圖樣投射至距圖像感測器第一距離和第二距離的參考面上，使用一個圖像感測器擷取所述圖樣的參考圖像，所述第二距離不同於第一距離；將該參考圖像在所述裝置的參考系內配准；及將該參考圖像儲存在與所述裝置關聯的記憶體中。
通常地，擷取所述參考圖像之步驟包括以下步驟：使用圖像感測器擷取被投射至位於第一距離的參考面上的圖樣的第一圖像，以及使用圖像感測器擷取被投射至位於第二表面的參考面上的圖樣的第二圖像，以及其中配准所述參考圖像之步驟包括以下步驟：將第一圖像和第二圖像配准以產生被配准的參考圖像，且其中儲存所述參考圖像之步驟包括以下步驟：將被配准的參考圖像儲存至記憶體。
在一公開的實施方案中，投射圖樣之步驟包括以下步驟：將所述圖樣投射至第一視場，以及其中圖像感測器具有與第一視場不同的第二視場。
圖像感測器可具有包括參考圖像的子集的視場。
通常地，所述裝置被配置為藉由擷取在所述目標上的圖樣的測試圖像並測量所述測試圖像中的圖樣相對於參考圖像的局部橫向移動，來產生目標的三維(3D)圖。
通常地，所述方法包括以下步驟：使用參考圖像和目標上的圖樣的圖像，產生目標的圖。
根據本發明的一實施方案還提供了一種設備，包括：投射和成像裝置，其包括：投影儀，其投射相干輻射的圖樣；及圖像感測器，其擷取被投射至參考面上的相干輻射的圖樣的參考圖像；及處理器，其被配置為：當圖像感測器擷取該參考圖像時，在所述裝置和參考面之間實現相對運動，以及將該參考圖像儲存至與所述裝置關聯的記憶體中。
根據本發明的一實施方案還提供了一種設備，包括：投射和成像裝置，其包括：投影儀，其將一輻射圖樣投射至一目標；及第一圖像感測器，其具有第一光學特性，並擷取目標上的圖樣的圖像；第二圖像感測器，其具有比第一光學特性增强的第二光學特性，並被配置為擷取所投射至參考面上的圖樣的參考圖像；及處理器，其被配置為：將所述參考圖像在所述裝置的參考系內配准；及將被配准的參考圖像儲存至與所述裝置關聯的記憶體中。
根據本發明的一實施方案還提供了一種設備，包括：投射和成像裝置，其包括：投影儀，其投射一輻射圖樣；及圖像感測器，其擷取被投射至參考面上的圖樣的參考圖像；及處理器，其配置為：藉由將所述圖樣投射至位於距圖像感測器第一距離和第二距離的參考面上，產生參考圖像，所述第二距離不同於第一距離；將所述參考圖像在所述裝置的參考系內配准；及將被配准的參考圖像儲存至與所述裝置關聯的記憶體中。
根據本發明的一實施方案還提供了一種方法，包括以下步驟：提供將一個圖樣投射至一個目標上的裝置；藉由將該圖樣投射至下述參考面，使用一個圖像感測器擷取該圖樣的參考圖像，該參考面被相關於圖像感測器定向(oriented)，以使參考面的第一區域距圖像感測器第一距離，且參考面的第二區域距圖像感測器第二距離，該第二距離不同於第一距離；將所述參考圖像在所述裝置的參考系內配准；及將參考圖像儲存至與所述裝置關聯的記憶體中。
通常地，所述參考面是平坦的，且被定向為與圖像感測器的光軸非正交。
參考面在第一距離和第二距離之間可以是彎曲的。所述參考面的曲率被預配置以匹配在圖像感測器和被配置為投射圖樣的投影儀之間的幾何差異，從而引入參考圖像的恒定收縮率。
根據本發明的實施方案還提供了一種設備，包括：投射和成像裝置，其包括：投影儀，其將一輻射圖樣投射至目標上；及圖像感測器，其擷取被投射至參考面上的圖樣的參考圖像，所述參考面被相關於圖像感測器定向，以使參考面的第一區域距圖像感測器第一距離，且參考面的第二區域距圖像感測器第二距離，該第二距離不同於第一距離；及處理器，其配置為：藉由將圖樣投射至參考面上，使用所述圖像感測器擷取所述參考圖像，將所述參考圖像在所述裝置的參考系內配准，以及將被配准的參考圖像儲存至與所述裝置關聯的記憶體中。
概要
本發明的實施方案為產生測試目標的三維(3D)圖的裝置提供品質改進的參考圖像。所述裝置將一圖樣投射至標定物(calibration object)上，並擷取所投射圖樣的一個圖像作為參考圖像。所述圖樣接著被投射至測試目標，所述裝置對被投射的圖樣成像。所述裝置測量該測試目標的成像圖樣相比於所述參考圖像的橫向移動，以產生關於測試目標的3D圖。
在一些實施方案中，所述圖樣使用相干輻射形成。由標定物的非鏡面反射性或粗糙度所造成的參考圖像中的散斑，藉由在所述裝置與標定物之間應用小的相對運動而去除。散斑的去除提高了參考圖像的品質。
在一些實施方案中，參考圖像是藉由擷取投射至標定物的圖樣的兩幅不同圖像而形成的。該兩幅不同圖像彼此配准(register)，並且從所配准的圖像產生品質提高的參考圖像。
為具體起見，實施方案集中於3D繪圖裝置(3D mapping device)，應理解的是，本發明的方法還可有利地應用於任何要求投射圖樣的圖像改進的裝置中。
具體說明
現在參考圖1，圖1是根據本發明的實施方案的用於產生一參考圖像的系統20的示意性方塊圖。圖1和本案文字中其他方塊圖都是頂視圖。系統20包括：投射和成像裝置22，其用於進行目標的三維(3D)繪圖。類似於裝置22的裝置的運行和功能在PCT公開文字WO2007/043036中被更加詳細地描述，該公開文字被引用在本發明的背景技術部分中。
裝置22包括一投影儀26，該投影儀26使用相干輻射源28──通常是一鐳射二極體──以及一投射光學系統29，以產生輻射圖樣30。圖樣30投射在投影儀的視場(FOV) 35中，該視場在圖1中藉由投影儀FOV界線37和39被示意性地示出。投影儀將圖樣30投射至作為系統20的標定物的參考目標24，且該圖樣通常在目標24的參考面33上成像為一基本參考31。投射光學系統29可以根據其應用而變化，且可以包括但不限於衍射光學元件投影儀、微球透鏡投影儀(micro-lens projector)、基於漫射體的初級散斑投影儀(diffuser-based primary speckle projector)，或其他類型的使用相干光的投影儀。根據具體的投影儀實施方案和裝置22的系統要求，所述基本參考可以具有相對複雜的結構。出於明瞭和簡化的目的以及作為實施例，在下述說明中所述基本參考被假定為包括以某種式樣分布在參考面上的獨特點陣，因此基本參考31也可被稱為點陣31。本領域一般技藝人士能夠將本說明書──在加以必要修改的情況下──應用於具有獨立點結構之外的其他結構的基本參考。
裝置22還包括一個圖像感測器32，這裏也被稱為裝置相機32。裝置相機具有視場41，該視場41藉由裝置相機FOV界線43和45被示意性地示出。相機32被配置為擷取由圖樣30在陣列34上所形成的點的圖像，所述陣列34通常是裝置相機中的CCD(電荷耦合元件)陣列或CMOS(互補金屬氧化物半導體)。陣列34和相機的光學系統有效地限定了相機32的參考系。投影儀26和裝置相機32的視場通常是不同的，但是藉由示例方式被假定為在參考目標24處重疊，以使相機所擷取的圖像包括被投影儀投射至參考目標上的所有點。
所擷取的圖像被系統的處理單元36分析，以產生一參考圖像，供裝置22在對參考目標之外的目標進行3D繪圖時使用。所述目標藉由示例方式被假定為包括藉由系統20「有待被繪製的目標」，在此也被稱為測試目標。
處理單元36包括一處理器38和一記憶體40，所述記憶體通常包括非揮發性部分和揮發性部分。處理器38通常將系統運行軟體──包括參考圖像──儲存在記憶體40的非揮發性部分中。處理單元36可以與裝置22實體上分離，或者，處理單元可以與裝置22共同集成為單個封裝。
處理器38所使用的軟體可以例如從網際網路上以電子形式被下載至處理單元36，或者該軟體可以在諸如CD-ROM的有形媒體上被提供給處理單元。
一旦獲取並儲存了參考圖像，裝置22和處理單元36便能夠進行對測試目標的3D繪圖。該3D繪圖是藉由如下程序進行的：將圖樣30投射至測試目標上，隨之相機32擷取被投射至測試目標上的圖樣的圖像。處理器38測量在測試圖像上的圖樣的點相對於所述參考圖像中對應於點31的相對點的局部橫向移動。使用橫向移動，處理器能夠測量被投射至測試目標上的點的位置處所述測試目標的深度。
如上所述，圖樣30由使用相干光源的光學系統29形成。由於表面33的必然的非鏡面性質，該表面上產生所謂的二次散斑。術語「二次」是指示以下情況：這些散斑源於所投射的圖樣落於其上的表面的粗糙度。二次散斑是由所述表面的鄰近區域散射其入射相干輻射使得所散射的輻射相長或相消干涉而引起的。所述鄰近區域通常是在其上形成有點31的表面部分內。除了是表面33特性的函數外，二次散斑的特性還依賴於入射相干輻射的性質，還依賴於圖像感測器即相機32的數值孔徑。
陣列34具有一有限積分時間，通常為大約33毫秒，因此在沒有此處描述的實施方案的情況下，二次散斑的圖像被倍增地積分至包括參考圖像的點圖像31。這一積分降低了──在一些情況下是極大地降低了──點圖像的對比度。二次散斑的其他不利影響包括以下事實：在所關注的系統中，散斑圖像具有單個像素量級的尺寸，且數位地去除散斑是困難的或不可能的。
這些考慮適用於任何使用相干輻射來投射圖樣的系統，以及適用於任何需要擷取這種圖樣的場合。此外，所述系統/場合不需要被限制為僅擷取用於3D繪圖目的之圖像。因此，基本上對於任何相對於圖像感測器的積分時間而言靜態的以及由相干輻射照射的目標，所擷取的圖像將從此處描述的用於去除散斑的方法中獲益。
如下所述，本發明的實施方案消除了二次散斑所引起的對參考圖像的有害影響。
裝置22附接至一個致動器42，該致動器42通常受處理單元36控制。致動器42被配置為用於移動裝置22，以使參考目標24及其表面33和圖像感測器32之間存在相對運動。所述運動通常被配置為線性或擺動的，而在一些實施方案中，運動的線性方向被選擇為平行於表面33。但是，所述運動並不必須是線性、擺動和平行於平面33的，其他類型的運動──諸如振動，或者線性、擺動和正交於表面33──都可以藉由單元42應用至裝置22。如下所述，所述運動被用於去除二次散斑對參考圖像的影響，且本領域一般技藝人士能夠決定所要應用至裝置22的最適合的運動類型，其中無需過度實驗。
圖2是描述根據本發明的實施方案的用於獲得系統20中的參考圖像的步驟的流程圖50。
在初始步驟52中，投射和成像裝置的投影儀26將圖樣30投射至參考面33上。
在成像步驟54中，陣列34擷取由所投射的圖樣產生的基本參考31的圖像，且在擷取圖像的同時，處理單元36致動該致動器42以移動裝置22，使所述裝置相對於參考面33移動。所應用的運動類型按照參照圖1的上文說明進行選擇。所述運動的幅度被配置為足以有效地中和在基本參考31的圖像上的二次散斑效應，同時將陣列34上的基本參考的圖像維持為基本恒定。應理解的是，由於二次散斑的特性，所需運動的幅度較小，通常比相機32解析度(即一個像素的尺寸的量級)更細，或比陣列34小得多。
在最後一個步驟56中，將所獲得的參考圖像儲存在記憶體40中，以供處理器38在對測試目標的3D繪圖中使用。
圖3是根據本發明的實施方案的用於產生一參考圖像的替代系統60的示意性方塊圖。除了下述的差異，系統60的運行與系統20大體類似，且在系統20和60中由相同元件符號指示的元件在結構和運行上大體相似。並非移動裝置22(如系統20中的)，在系統60中，移動的是點31形成於其上的參考面。
作為實施例，系統60包括一參考目標62，而不是參考目標24，該參考目標62被形成為封閉環形式的連續片(sheet)64。參考目標62充當系統60的標定物。該片64具有非鏡面的外表面66。該片64被安裝在滾動器68上，該滾動器68可以在處理單元36的控制下，被相應的旋轉器70旋轉。在一些實施方案中，僅使用一個旋轉器，其被附接至一個滾動器68，另一滾動器則自由旋轉。因為在系統60中，裝置22是不運動的，因此在該系統中不存在致動器42。
滾動器68的旋轉使表面66平行於自身移動。通常，所述旋轉是單向的，以使表面66成環狀運動。或者，滾動器的旋轉可被配置為擺動的，使得表面66也以擺動形式運動。
在系統60中獲取所述參考圖像大體類似於在上文參照圖2所描述的在系統20中獲取所述參考圖像。因此，投影儀26首先將圖樣30投射至參考面66，且陣列34擷取由投射的圖樣所產生的點31的圖像。在擷取圖像時，處理單元36致動旋轉器70以移動表面66，以使所述表面相對於裝置22而移動。所述運動的幅度被配置為足以有效地中和陣列34上的所形成的點31的圖像的二次散斑效應。和系統20一樣，在系統60中，所需運動的幅度較小，通常與系統20中的大小同一量級。
系統60可以包括參考目標62之外的一參考目標，及/或旋轉器70之外的用於移動參考目標的工具，因為任何此類系統僅要求所述參考目標相對於裝置22運動。因此，用於藉由移動所述參考目標來實現相對運動的可替代方法包括但不限於，準備類似於目標24的參考目標，並將類似於致動器42的一個致動器附接至該參考目標。其他類型的參考目標及/或致動器對於本領域一般技藝人士是熟知的，並被視為包括在本發明的範圍內。
系統20和60可被結合以形成本發明的一組合實施方案。在該組合實施方案中，在藉由陣列34獲得點31的圖像的程序中，裝置22和參考目標都是移動的。
圖4是根據本發明的實施方案的用於產生參考圖像的另一替代系統100的示意性方塊圖。除了下述的差異，系統100的運行與系統20大體類似，且在系統20和100中由相同元件符號指示的元件在結構和運行上大體相似。
與系統20和60不同的是，系統100使用參考目標的兩幅不同的圖像，如下文所詳細描述的。
系統100包括投影和成像裝置102，該裝置102與裝置22大體類似，並包括裝置相機32，如上文結合圖1所述。裝置102還包括一投影儀104，該投影儀104可與投影儀26大體類似，但在系統100中可以包括作為其輻射源的相干源或非相干源。在下文中，為簡化起見，投影儀104被設定為包括非相干源106。
在非相干源的情況下，投影儀104包括光學系統108，其取代相干投射光學系統29(諸如漫射體或包含衍射光學元件的系統)，該光學系統108通常具有小數值孔徑；及遮罩110。在衆多可行的實施方式中，遮罩110可以是透光玻片(transmission slide)或者被設計為形成待投射的圖樣的微球透鏡陣列。光學系統108的小數值孔徑產生了相應的大的遮罩圖像景深。藉由投影儀對遮罩成像形成一圖樣112，該圖樣大體類似於圖樣30(但圖樣30並不必然由相干輻射形成)。將該圖樣投射進投影儀視場113，該投影儀視場由投影儀FOV界線115和117示意性地圖示。將該圖樣112投射至表面33上，以形成一基本參考119，基本參考119在此以實施例的方式被設定為包括在表面上的點陣119，該點陣119大體類似於點31。
系統100包括一個圖像感測器114，其在此也被稱為外部相機114，該外部相機114與裝置102分離。外部相機114通常具有比裝置相機高得多的品質。因此，這兩個相機通常具有至少一種不同的光學特性，諸如不同的視場、不同的解析度、不同的訊雜比，或不同的動態範圍。商業上的考慮是通常要求裝置相機的成本盡可能低，以使裝置22和102的價格盡可能的低。對於外部相機的成本不存在這種顧慮，因為外部相機並不意在與裝置22或102一併出售。相反，如下所述，外部相機被用於為裝置102產生參考圖像，通常在用於所述裝置的生產設備內。因此，外部相機114可以具有較裝置相機更强的如上所述的一或多個光學特徵。為簡單起見，下文的說明設定所述兩部相機的光學特性是它們的視場或它們的解析度，使外部相機114可以具有較裝置相機更大的視場，以及/或者可以具有較裝置相機更精確的解析度。雖然裝置相機的視場和解析度根據為裝置22或裝置102──在此也稱為製造裝置──所決定的視場而被固定，應理解的是，以較任何特定製造裝置更大的視場及/或更高的保真度來形成參考圖像通常是有益的。
在下文的說明中，外部相機114被設定為具有較裝置相機更大的視場以及更精細的解析度。只要這些條件中有一項成立，即無論是外部相機的視場比裝置相機大，還是外部相機的解析度比相機精確，則本領域一般技藝人士將能夠──在加以必要修改的情況下──使用所述描述。
圖樣112將點119投射至表面33上，所投射的點被設定為包括所投射的點集116。所投射的集116在這裏也被稱為全集(full set)116。相機114的視場122──由外部相機FOV的界線124和126示意性地示出──被配置為包圍所述全集116。相反，裝置相機41的視場被配置為包圍所述全集的子集118，子集118包括較集合116數量更少的點119。
如上所述，外部相機114的解析度被設定為較裝置相機32的解析度更精細。作為實施例，該更精細的解析度被設定為藉由如下外部相機114而實現：所述相機包括具有較陣列34中的像素數目更多的像素的像素陣列120。為了與為外部相機設定的更精細的解析度和更大的視場相一致，外部相機的其他特性和元件也可能需要與裝置相機不同。例如，陣列120的區域可能需要大於陣列34的區域。外部相機的光學系統被設定為被相應地調節以提供所需的視場。
圖5是描述根據本發明的實施方案的用於獲得系統100中的參考圖像的步驟的流程圖130。該描述藉由實施例的方式設定基本參考119包括點陣119。
在初始步驟132中，裝置102和外部相機114被設置在已知位置和已知方向上。
在投射和圖像擷取步驟134中，投影儀104將圖樣112投射至參考面33上。陣列34擷取由所投射的圖樣所產生的點的子集118的圖像。此外，陣列120擷取所述點的全集的圖像。
在配准步驟136中，將兩幅圖像傳輸至處理單元36。該處理單元被配置為使用該兩幅圖像公共的子集118的點來配准該兩幅圖像。所述配准可以是本領域公知的任意適宜的圖像配准方法。通常地，所使用的方法包括基於特徵的演算法，處理單元首先識別每幅圖像中的點，接著使兩幅圖像的公共點互相關聯。通常地，一幅或該兩幅圖像可能需要藉由圖像區域的局部縮放、旋轉及/或平移而被局部轉換以實現好的配准。雖然局部轉換通常是線性的，但是在一些實施方案，該轉換也可以是非線性的。此外，利用裝置相機、外部相機以及投影儀104的已知位置和方向，處理單元可以應用極線(epipolar)關係或本領域公知的其他幾何關係進行配准。
在全局轉換(global transformation)步驟138中，處理單元將包括局部轉換在內的上述步驟結合至外部相機所擷取的圖像的全局轉換中。全局轉換涵蓋外部相機的較大視場的點，並且還維持外部相機的更精細的解析度。該結合步驟可以例如藉由使用得自局部轉換的參數以估算代表全局轉換的多項式的係數而進行。處理單元接著將全局轉換應用至由外部相機所擷取的圖像，從而產生適合於裝置相機使用的圖像，也即，相對於裝置相機的參考系(在上文參照圖1描述)配准的圖像。
在最終步驟140中，步驟138中所產生的圖像被儲存在記憶體40中，以供裝置相機將該圖像作為其參考圖像來使用。該參考圖像是增强的圖像，因為它包括外部相機的更大視場的點，並且還具有外部相機的更精細的解析度。
圖6是根據本發明的實施方案的用於產生參考圖像的另一替代系統150的示意性方塊圖。除了下述的差異，系統150的運行與系統100(圖4)大體類似，且在系統100和150中相同元件符號所指示的元件在結構和運行上大體相似。
和系統100中的情況一樣，系統150使用參考目標24的兩幅圖像。但是，系統150不包括外部相機114。相反，參考目標24的兩幅圖像是在當目標在距離一投射和成像裝置152不同的距離D1和D2、且D1>D2時，由裝置相機32所形成的，所述投射和成像裝置除下文闡述的部分以外，與裝置102大體類似。D1和D2通常是平行於相機32的光軸151測量的。
系統150中的投射和成像裝置152包括裝置相機32和投影儀154。投影儀154基本類似於投影儀104，但也可具有不同視場。投影儀154的視場156──在圖6中藉由投影儀FOV界線158和160示出──被配置使得當參考目標在距離D1時，藉由投影儀投射至參考目標24上的點的子集位於裝置相機的視場之內。
在一個實施方案中，目標24被連接至一定位模組162，該定位模組被處理單元36控制。模組162被配置為根據來自處理單元36的指令重新定位參考目標24，並且還被配置為使該處理單元能意識到目標的位置。可替代地或附加地，將大體類似於模組162的定位模組連接至裝置152，以使所述裝置可以被單元36定位在已知的位置上。還可替代地，位於距離D1和D2的參考目標可被定位在不同的實體位置，而裝置152被靜態地定位在這些位置，在這種情況下，不需要定位模組162。
圖7是描述根據本發明的實施方案的用於獲得系統150中的參考圖像的步驟的流程圖180。在該描述中，裝置和參考目標之間的不同距離被設定為使用模組162實現。該描述藉由實施例的方式假定，基本參考119包括點陣119。
在初始步驟182中，模組162將參考目標24定位在遠處位置PF ，使其與裝置152之間的距離為D1。
在第一投射和成像步驟184中，投影儀154將其點119的圖樣投射至參考目標的表面33上，且相機32擷取該表面的第一圖像。該第一圖像在此也被稱為遠距圖像。
在第二投射和成像步驟186中，模組162將參考目標定位在近處位置PN ，使其與裝置152之間的距離為小於D1的D2。如圖6中所示，在所述近處位置，點119的子集164位於裝置相機的視場中，而點的子集166不在相機的視場中。但是，對應於子集166的點在遠處位置PF 位於相機的視場中。此外，子集164包括點119的另一子集168，子集168在近處位置PN 位於相機的視場內，但在遠處位置PF 則不在相機的視場內。
在第三投射和成像步驟188中，當參考目標在近處位置PN 時，裝置相機32擷取表面33的第二圖像。該第二圖像在此也被稱為近距圖像。
在配准步驟190中，處理單元36使用兩幅圖像公共的點將遠距圖像和近距圖像進行配准。該配准大體如流程圖130的配准步驟136──在加以必要修改的情況下──所述，使用適合於系統150的局部轉換和幾何關係，諸如可根據所述圖像的已知距離D1和D2而加以應用的關係。
在全局轉換步驟192中，處理單元將配准步驟中進行的步驟結合至將遠距圖像的點轉換到近距圖像上的全局轉換中。轉換步驟192在加以必要修改的情況下與流程圖130的轉換步驟138大體類似。在轉換步驟192中，處理單元在近處位置PN 處產生包括遠距圖像的所有點的參考圖像。該參考圖像因此對應於一個大於實際FOV的有效視場，如圖6所示，因為參考圖像包括點119的子集166的位置。
重新參考圖6，該圖圖示了本發明的實施方案的參考圖像的有益性質：參考圖像的子集對應於距所述裝置不同距離處的裝置FOV。換言之，參考圖像通常包括在特定距離的裝置FOV的超集合(superset)。這一性質在參照結合子集166的上述說明中得到闡釋，所述子集166如上所述位於遠位置FOV中但不位於近處位置FOV中；且也在結合子集168的說明中得到解釋，所述子集168位於近處位置FOV中但不位於遠位置FOV中。
繼續所述流程圖180，在最終步驟194中，處理單元36將步驟190中產生的參考圖像儲存在記憶體40中。
結合系統100和150的上述說明設定了擷取和配准兩幅圖像以產生用於所述系統的增强的參考圖像。本領域一般技藝人士將能夠將所述說明用於擷取和配准不止兩幅圖像的情況，以便產生進一步增强的參考圖像，且這樣的情況被視為包括在本發明的範圍內。
圖8是根據本發明的實施方案的用於產生參考圖像的另一替代系統250的示意性方塊圖。除了下述的差異，系統250的運行與系統150(圖6)大體類似，且在系統250和150中相同元件符號所指示的元件在結構和運行上大體相似。
與系統150不同的是，系統250不包括定位模組162或參考目標24。相反，系統250包括參考目標252，該參考目標252具有平行於光軸151測量時、與裝置152具有不同距離的表面255，因此所述表面不必定向為正交於光軸。藉由實施例的方式，表面255被設定為在參考目標的點251處與裝置152之間的距離為D1，在參考目標的點253處與裝置152之間的距離為D2。點陣119被投射至表面255。
在系統250中，參考目標252及其表面被設定為彎曲的，通常在基本平行於裝置152的三角測量基線(triangulation base)(連接相機32和投影儀154的向量)的維度下。通常地，曲率被預先配置為匹配裝置152的相機32和投影儀154之間的幾何差異(geometrical disparity)，以在相機32所擷取的參考圖像中引入恒定的收縮率。
在圖8中，線258對應於來自投影儀154的投射的第一方向。線258從光學系統108中傳出穿過一個點254，該點254與裝置152之間的距離為D2並位於界線45上。線260對應於來自投影儀154的投射的第二方向。線260從光學系統108中傳出穿過一個點256，該點256與裝置152之間的距離為D1並位於界線43上。
投影儀界線158和160以及線258和260限定表面255上的點119的子集。子集258由線160和258限定；子集260由線258和260限定；子集262由線260和158限定。因此，在表面255上產生的參考圖像包括相機32所擷取的距離相機不同距離處的圖像子集。
圖9是根據本發明的實施方案的用於產生參考圖像的又一替代系統270的示意性方塊圖。除了下述的差異，系統270的運行與系統250(圖8)的運行大體類似，且在系統270和250中由相同元件符號所標示的元件在結構和運行上大體相似。
在系統270中，一參考目標272替代系統250的參考目標252。參考目標272包括不與軸151正交的平坦表面273。在系統270中，平坦表面與裝置152之間的距離從D1變化至D2。和系統250一樣，在系統270中，投影儀界線158和160以及線258和260限定表面273上的點119的子集。子集274由線160和258限定；子集276由線258和260限定；子集278由線260和158限定。子集274、276和278分別對應於系統250(圖8)的子集258、260和262，因此，和系統250一樣，在表面273上產生的參考圖像包括相機32所擷取的距離相機不同距離處的圖像子集。
圖8和9說明闡釋了系統250和270的性質：使用涵蓋投影儀的較寬視場的一個參考目標，使得能夠為具有較投影儀更小的視場的相機產生多個參考圖像。
圖10是描述根據本發明的實施方案的用於獲得系統250或系統270中的參考圖像的步驟的流程圖300。為了簡化和清楚起見，該描述有關於系統250。本領域一般技藝人士將能夠在加以必要修改的情況下將該流程圖的描述適用於系統270。該說明以實施例的方式描述設定，基本參考119包括點陣119。
在一初始步驟302中，參考目標252被放置在裝置152之前，投影儀154將點119投射至參考目標的表面上。距離D1和D2被選擇為覆蓋一個所需的距離範圍，該距離範圍通常包括裝置152的所有工作距離。
在圖像擷取步驟304中，相機32擷取所投射的點的圖像。
在分析步驟306中，處理單元36分析所述圖像。該分析在需要時矯直所述圖像及/或允許產生所述裝置的深度精確度曲線，以產生一參考圖像。該參考圖像在裝置152的全部視場和裝置的全部工作距離內均是有效的，並相對於相機的參考系配准。
在最終步驟308中，參考圖像被儲存在記憶體40中，以供處理器38在測試目標的3D繪圖中使用。
可以將本發明的實施方案結合以產生增强的參考圖像。例如，如果系統100中的投影儀被配置為使用相干輻射，引入該系統100的二次散斑可以使用系統20被消除。同樣地，二次散斑也可以使用系統20而在系統250和270中被消除。因此可以認識到，上述的實施方案以實施例的方式被引用，而本發明並不限於在上文所具體示出和所描述的。相反，本發明的範圍包括上文描述的各種特徵的組合和子群組合，以及本領域一般技藝人士在閱讀上述說明書時能夠想到的、未被現有技術公開的對上述特徵的變更和修改。
20．．．系統
22．．．成像裝置
24．．．參考目標
26．．．投影儀
28．．．相干輻射源
29．．．投射光學系統
30．．．輻射圖樣
31．．．基本參考
32．．．圖像感測器
33．．．參考面
34．．．陣列
35．．．視場
36．．．處理單元
37．．．界線
38．．．處理器
39．．．界線
40．．．記憶體
41．．．視場
42．．．致動器
43．．．界線
45．．．界線
60．．．替代系統
62．．．參考目標
64．．．連續片
66．．．外表面
68．．．滾動器
70．．．旋轉器
100．．．替代系統
102．．．成像裝置
104．．．投影儀
106．．．非相干源
108．．．光學系統
110．．．遮罩
112．．．圖樣
113．．．投影儀視場
114．．．圖像感測器
115．．．界線
116．．．點集
117．．．界線
118．．．子集
119．．．基本參考
120．．．像素陣列
122．．．視場
124．．．界線
126．．．界線
150．．．替代系統
151．．．光軸
152．．．成像裝置
154．．．投影儀
156．．．視場
158．．．界線
160．．．界線
162．．．定位模組
164．．．子集
166．．．子集
168．．．子集
250．．．替代系統
251．．．點
252．．．參考目標
253．．．點
254．．．點
256．．．點
258．．．線
260．．．線
262．．．子集
270．．．替代系統
272．．．參考目標
274．．．子集
276．．．子集
278．．．子集
通過下面結合附圖對實施方案所做的詳細說明，將使本發明被更充分地理解，在所述附圖中：
圖1是根據本發明的實施方案的用於產生一參考圖像的系統的示意性方塊圖；
圖2是描述根據本發明的實施方案的用於獲得圖1的系統中的所述參考圖像的步驟的流程圖；
圖3是根據本發明的實施方案的用於產生一參考圖像的替代系統的示意性方塊圖；
圖4是根據本發明的實施方案的用於產生一參考圖像的另一替代系統的示意性方塊圖；
圖5是描述根據本發明的實施方案的用於獲得圖4的系統中的所述參考圖像的步驟的流程圖；
圖6是根據本發明的實施方案的用於產生一參考圖像的又一替代系統的示意性方塊圖；
圖7是描述根據本發明的實施方案的用於獲得圖6的系統中的所述參考圖像的步驟的流程圖；
圖8是根據本發明的實施方案的用於產生一參考圖像的再一替代系統的示意性方塊圖；
圖9是根據本發明的實施方案的用於產生一參考圖像的另一替代系統的示意性方塊圖；及
圖10是描述根據本發明的實施方案的用於獲得圖8或圖9的系統中的所述參考圖像的步驟的流程圖；
20．．．系統
22．．．成像裝置
24．．．參考目標
26．．．投影儀
28．．．相干輻射源
29．．．投射光學系統
30．．．輻射圖樣
31．．．基本參考
32．．．圖像感測器
33．．．參考面
34．．．陣列
35．．．視場
36．．．處理單元
37．．．界線
38．．．處理器
39．．．界線
40．．．記憶體
41．．．視場
42．．．致動器
43．．．界線
45．．．界線

Claims (51)

  1. 一種用於成像之方法，包括以下步驟：提供一投射一相干輻射的圖樣(pattern)的裝置；藉由將該相干輻射的圖樣投射至一參考面，使用一圖像感測器擷取該圖樣的一參考圖像(image)，並且在擷取該參考圖像時，在該參考面和該圖像感測器之間產生一相對運動；及將該參考圖像儲存至一與該裝置關聯的記憶體。
  2. 根據請求項1所述的方法，其中產生該相對運動之步驟包括以下步驟：將一致動器(motion actuator)連接至該裝置，並在擷取該參考圖像時致動該致動器。
  3. 根據請求項1所述的方法，其中產生該相對運動之步驟包括以下步驟：將一致動器連接至包括該參考面的一參考目標，並在擷取該參考圖像時致動該致動器。
  4. 根據請求項1所述的方法，其中產生該相對運動之步驟包括以下步驟：平行於該參考面移動該裝置。
  5. 根據請求項1所述的方法，其中產生該相對運動之步驟包括以下步驟：平行於該參考面自身移動該參考面。
  6. 根據請求項1所述的方法，其中產生該相對運動之步驟包括以下步驟：選擇該相對運動的一幅度以中和(average out)該參考面處所產生的二次散斑效應(secondary speckles)。
  7. 根據請求項1所述的方法，其中產生該相對運動之步驟包括以下步驟：回應於該圖像感測器的一解析度，選擇該相對運動的一幅度。
  8. 根據請求項1所述的方法，其中該裝置包括：該圖像感測器，該方法還包括以下步驟：使用該裝置外部的另一圖像感測器擷取被投射至該參考面上的該圖樣的一替代圖像；將該參考圖像與該替代圖像配准；及根據該所配准的參考圖像和替代圖像產生一改進的參考圖像；其中將該參考圖像儲存至該記憶體之步驟包括以下步驟：將該改進的參考圖像儲存至該記憶體。
  9. 根據請求項1所述的方法，其中擷取該參考圖像之步驟包括以下步驟：當該參考面距離該裝置一第一距離時，擷取該圖樣的一第一圖像，當該參考面距離所述裝置一第二距離時，擷取該圖樣的一第二圖像，該第二距離不同於該第一距離；及 將該第一圖像和該第二圖像配准以產生一替代參考圖像，其中將該參考圖像儲存至該記憶體中之步驟包括以下步驟：將該替代參考圖像儲存至該記憶體中。
  10. 根據請求項1所述的方法，其中擷取該參考圖像之步驟包括以下步驟：當該參考面距該裝置一第一距離時，擷取該圖樣的一第一圖像，當該參考面距該裝置一第二距離時，擷取該圖樣的一第二圖像，該第二距離不同於該第一距離；該第一圖像和該第二圖像被配置為將被配准以產生一替代參考圖像；及將該第一圖像和該第二圖像儲存至該記憶體。
  11. 根據請求項1所述的方法，其中該裝置被配置為藉由擷取該目標上的該圖樣的一測試圖像並測量該測試圖像中的該圖樣相對於該參考圖像的局部橫向移動，來產生一目標的一三維(3D)圖(3D map)。
  12. 根據請求項11所述的方法，其中該裝置包括：該圖像感測器，其中擷取該測試圖像之步驟包括以下步驟：使用該圖像感測器擷取該測試圖像。
  13. 根據請求項1所述的方法，其中該圖像感測器具有一積分時間(integration time)，且其中該參考面依該積分時間 來衡量是靜態的。
  14. 一種用於成像之方法，包括以下步驟：提供一繪圖裝置，該裝置包含：一投影儀，經配置以將一圖樣投射至一目標上；一第一圖像感測器，其具有一第一光學特性並經配置以擷取該目標的圖像，而該圖樣投射於該目標上；一記憶體，經配置以儲存該圖樣之一參考圖像；及一處理器，經配置以測量該等圖像中的該圖樣中相對於該經儲存參考圖像的移動，來產生該目標的一三維(3D)圖；藉以下步驟於一生產設備中產生該參考圖像：在投影該圖樣至該目標上之前，操作該繪圖裝置以致於投影該圖樣至一參考面上；使用該第一圖像感測器擷取被投射至該參考面上的該圖樣的一第一圖像；使用一第二圖像感測器擷取該參考面上之該圖樣的一第二圖像，該第二圖像感測器在該繪圖裝置外部且與該繪圖裝置分離並具有相對於第該一光學特性增强的一第二光學特性；及將該第一及第二圖像配准以產生該參考圖像，該參考圖像在該繪圖裝置的一參考系內配准；及將藉由將該第一及第二圖像配准而產生之該參考圖像儲存至該繪圖裝置的該記憶體中；及 使用該繪圖裝置來產生該3D圖，其方式是藉由將該圖樣投射至該目標上、使用該第一圖像感測器擷取該目標的該等圖像、並測量該圖樣中相對於該經儲存參考圖像的移動。
  15. 根據請求項14所述的方法，其中該圖樣是使用非相干輻射而被投射的。
  16. 根據請求項14所述的方法，其中該增强光學特性包括一增强視場。
  17. 根據請求項14所述的方法，其中該增强光學特性包括一增强解析度。
  18. 根據請求項14所述的方法，其中該增强光學特性包括一增强訊雜比。
  19. 根據請求項14所述的方法，其中該增强光學特性包括一增强動態範圍。
  20. 一種用於成像之方法，包括以下步驟：提供將一圖樣投射至一目標上的一裝置；藉由將該圖樣投射至距該圖像感測器一第一距離和一第二距離的一參考面上，使用一圖像感測器擷取該圖樣的一參考圖像，該第二距離不同於該第一距離； 將該參考圖像在該裝置的一參考系內配准；及將該參考圖像儲存在與該裝置關聯的一記憶體中。
  21. 根據請求項20所述的方法，其中擷取該參考圖像之步驟包括以下步驟：使用該圖像感測器擷取被投射至位於該第一距離的該參考面上的該圖樣的一第一圖像，以及使用該圖像感測器擷取被投射至位於該第二表面的該參考面上的該圖樣的一第二圖像，以及其中配准該參考圖像之步驟包括以下步驟：將該第一圖像和該第二圖像配准以產生一被配准的參考圖像，且其中儲存該參考圖像之步驟包括以下步驟：將該被配准的參考圖像儲存至該記憶體。
  22. 根據請求項20所述的方法，其中投射該圖樣之步驟包括以下步驟：將該圖樣投射至一第一視場，以及其中該圖像感測器具有與該第一視場不同的一第二視場。
  23. 根據請求項20所述的方法，其中該裝置被配置為藉由擷取在該目標上的該圖樣的一測試圖像並測量該測試圖像中的該圖樣相對於該參考圖像的局部橫向移動，來產生該目標的一三維(3D)圖(3D map)。
  24. 根據請求項20所述的方法，包括以下步驟：使用該參考圖像和該目標上的該圖樣的該圖像，產生該目標的一圖。
  25. 一種用於成像之設備，其包括：一投射和成像裝置，其包括：一投影儀，其投射一相干輻射的一圖樣；及一圖像感測器，其擷取被投射至一參考面上的該相干輻射的圖樣的一參考圖像；及一處理器，其被配置為：當該圖像感測器擷取該參考圖像時，在該裝置和該參考面之間實現一相對運動，以及將該參考圖像儲存至與該裝置關聯的一記憶體中。
  26. 根據請求項25所述的設備，其包括：連接至該裝置的一致動器，且其中該處理器被配置為該當圖像感測器擷取該參考圖像時致動該致動器。
  27. 根據請求項25所述的設備，其包括：連接至包括該參考面的一參考目標的一致動器，且其中該處理器被配置為當該圖像感測器擷取該參考圖像時致動該致動器。
  28. 根據請求項25所述的設備，其中實現該相對運動之步驟包括以下步驟：平行於該參考面移動該裝置。
  29. 根據請求項25所述的設備，其中實現該相對運動之步驟包括以下步驟：平行於該參考面自身移動該參考面。
  30. 根據請求項25所述的設備，其中實現該相對運動之步驟包括以下步驟：選擇該相對運動的一幅度以中和(average out)該參考面處產生的二次散斑效應。
  31. 根據請求項25所述的設備，其中實現該相對運動之步驟包括以下步驟：回應於該圖像感測器的一解析度，選擇該相對運動的一幅度。
  32. 根據請求項25所述的設備，其中該裝置被配置為藉由擷取該目標上的該圖樣的一測試圖像並測量該測試圖像中的該圖樣相對於該參考圖像的局部橫向移動，來產生一目標的一三維(3D)圖。
  33. 根據請求項25所述的設備，其中該圖像感測器具有一積分時間(integration time)，且其中該參考面依該積分時間來衡量是靜態的。
  34. 一種用於成像之設備，其包括：一繪圖裝置，其包括：一投影儀，其將一輻射圖樣投射至一目標；及一第一圖像感測器，其具有一第一光學特性，其經配置以擷取該目標的圖像，而該圖樣投射於該目標上；一記憶體，經配置以儲存該圖樣之一參考圖像；及一處理器，經配置以測量該圖像中的該圖樣中相對 於該經儲存參考圖像的移動，來產生該目標的一三維(3D)圖；及用於於一生產設備中產生該參考圖像之一總成，其包含：一第二圖像感測器，其在該繪圖裝置外部且與該繪圖裝置分離並具有比該第一光學特性增强的一第二光學特性，其中在投影該圖樣至該目標上之前，該繪圖裝置於該生產設備中被操作以投影該圖樣至一參考面上並使用該第一圖像感測器擷取被投射至該參考面上的該圖樣的一第一圖像，其中該第二圖像感測器經配置以擷取藉由該投影儀投影至該參考面上之該圖樣的一第二圖像；及一處理單元，其被配置為將該第一及第二圖像配准以產生該該參考圖像，該參考圖像在該繪圖裝置的一參考系內配准；其中該處理單元被配置為藉由將該第一及第二圖像配准而產生之該參考圖像儲存至與該繪圖裝置的該記憶體中。
  35. 根據請求項34所述的設備，其中該投影儀使用非相干輻射投射該圖樣。
  36. 根據請求項34所述的設備，其中該第二圖像感測器具 有較該第一圖像感測器的視場為更大的視場。
  37. 根據請求項34所述的設備，其中該增强光學特性包括一增强視場。
  38. 根據請求項34所述的設備，其中該增强光學特性包括一增强解析度。
  39. 根據請求項34所述的設備，其中該增强光學特性包括一增强訊雜比。
  40. 根據請求項34所述的設備，其中該增强光學特性包括一增强動態範圍。
  41. 一種用於成像之設備，包括：一投射和成像裝置，其包括：一投影儀，其投射一輻射圖樣；及一圖像感測器，其擷取被投射至一參考面上的該圖樣的一參考圖像；及一處理器，其配置為：藉由將該圖樣投射至位於距該圖像感測器一第一距離和一第二距離的該參考面上，產生該參考圖像，該第二距離不同於該第一距離；將該參考圖像在該裝置的一參考系內配准；及 將該被配准的參考圖像儲存至與該裝置關聯的一記憶體中。
  42. 根據請求項41所述的設備，其中投射該圖樣之步驟包括以下步驟：將該圖樣投射至一第一視場，以及其中該圖像感測器具有一與該第一視場不同的第二視場。
  43. 根據請求項41所述的設備，其中該裝置被配置為藉由擷取該目標上的該圖樣的一測試圖像並測量該測試圖像中的該圖樣相對於該參考圖像的局部橫向移動，來產生一目標的一三維(3D)圖。
  44. 一種用於成像之方法，包括以下步驟：提供將一圖樣投射至一目標上的一裝置；藉由將該圖樣投射至一參考面，使用一圖像感測器擷取該圖樣的一參考圖像，該參考面被相關於該圖像感測器定向，以使該參考面的一第一區域距該圖像感測器一第一距離，且該參考面的一第二區域距該圖像感測器一第二距離，該第二距離不同於該第一距離；將該參考圖像在該裝置的一參考系內配准；及將該參考圖像儲存至與該裝置關聯的一記憶體中。
  45. 根據請求項44所述的方法，其中該參考面是平坦的，且被定向為與該圖像感測器的一光軸非正交。
  46. 根據請求項44所述的方法，其中該參考面在該第一距離和該第二距離之間是彎曲的。
  47. 根據請求項46所述的方法，其中該參考面的一曲率被預配置以匹配在該圖像感測器和一被配置為投射該圖樣的投影儀之間的一幾何差異，從而引入該參考圖像的一恒定收縮率。
  48. 一種用於成像之設備，包括：一投射和成像裝置，其包括：一投影儀，其將一輻射圖樣投射至一目標上；及一圖像感測器，其擷取被投射至一參考面上的該圖樣的一參考圖像，該參考面被相關於該圖像感測器定向，以使該參考面的一第一區域距該圖像感測器一第一距離，且該參考面的一第二區域距該圖像感測器一第二距離，該第二距離不同於該第一距離；及一處理器，其配置為：藉由將該圖樣投射至該參考面上，使用該圖像感測器擷取該參考圖像，將該參考圖像在該裝置的一參考系內配准，以及將該被配准的參考圖像儲存至與該裝置關聯的一記憶體中。
  49. 根據請求項48所述的設備，其中該參考面是平坦的，且被定向為與該圖像感測器的一光軸非正交。
  50. 根據請求項48所述的設備，其中該參考面在該第一距離和該第二距離之間是彎曲的。
  51. 根據請求項50所述的設備，其中該參考面的一曲率被預配置以匹配在該圖像感測器和該投影儀之間的一幾何差異，從而引入該參考圖像的一恒定收縮率。
TW099106489A 2009-03-05 2010-03-05 用於三維感測的參考圖像技術 TWI480832B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15756009P 2009-03-05 2009-03-05
US12/707,678 US8786682B2 (en) 2009-03-05 2010-02-18 Reference image techniques for three-dimensional sensing

Publications (2)

Publication Number Publication Date
TW201033938A TW201033938A (en) 2010-09-16
TWI480832B true TWI480832B (zh) 2015-04-11

Family

ID=42677901

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099106489A TWI480832B (zh) 2009-03-05 2010-03-05 用於三維感測的參考圖像技術

Country Status (3)

Country Link
US (2) US8786682B2 (zh)
CN (1) CN101825431B (zh)
TW (1) TWI480832B (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
WO2007105215A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8493496B2 (en) * 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
CN102466479B (zh) * 2010-11-16 2013-08-21 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
TWI459322B (zh) * 2011-02-25 2014-11-01 Inst Information Industry 繪圖系統及其投影方法
GB2518769A (en) 2011-03-03 2015-04-01 Faro Tech Inc Target apparatus and method
US20120235065A1 (en) 2011-03-16 2012-09-20 Intellirad Control, Inc. Radiation control and minimization system and method
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
WO2012141868A1 (en) 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
HUE054452T2 (hu) 2011-07-01 2021-09-28 Dolby Laboratories Licensing Corp Rendszer és eljárás adaptív hangjel elõállítására, kódolására és renderelésére
KR101823347B1 (ko) * 2011-07-08 2018-02-01 삼성전자주식회사 센서와 이를 포함하는 데이터 처리 시스템
US9033516B2 (en) * 2011-09-27 2015-05-19 Qualcomm Incorporated Determining motion of projection device
DE112013000727T5 (de) 2012-01-27 2014-11-06 Faro Technologies, Inc. Prüfverfahren mit Strichcode-Kennzeichnung
US9157790B2 (en) * 2012-02-15 2015-10-13 Apple Inc. Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis
DE102012103766A1 (de) 2012-04-27 2013-10-31 Bircher Reglomat Ag Verfahren zur Kontrolle und/oder Überwachung der Bereiche um wiederverschliessbare Gebäudeöffnungen
CN103424077A (zh) * 2012-05-23 2013-12-04 联想(北京)有限公司 运动检测装置、检测方法和电子设备
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置
US10312715B2 (en) 2015-09-16 2019-06-04 Energous Corporation Systems and methods for wireless power charging
US10199835B2 (en) 2015-12-29 2019-02-05 Energous Corporation Radar motion detection using stepped frequency in wireless power transmission system
US10270261B2 (en) 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
JP6082556B2 (ja) * 2012-09-28 2017-02-15 日立オートモティブシステムズ株式会社 撮像装置
CN103854017B (zh) * 2012-12-03 2017-03-01 联想(北京)有限公司 一种采集图像信息的方法及电子设备
DE102012112321B4 (de) 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
TWI591584B (zh) * 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
JP6089722B2 (ja) * 2013-01-23 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102013002399B4 (de) * 2013-02-13 2016-12-22 Chromasens Gmbh Vorrichtung zur Generierung von Lichtmustern mit einer eindimensional fokussierten Beleuchtungseinrichtung
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
CN105190232A (zh) * 2013-03-15 2015-12-23 法罗技术股份有限公司 三维坐标扫描器和操作方法
EP3068301A4 (en) 2013-11-12 2017-07-12 Highland Instruments, Inc. Analysis suite
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
CN104918031B (zh) * 2014-03-10 2018-08-07 联想(北京)有限公司 深度恢复设备和方法
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
JP6337614B2 (ja) * 2014-05-23 2018-06-06 セイコーエプソン株式会社 制御装置、ロボット、及び制御方法
FR3021784B1 (fr) * 2014-05-27 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de projection de donnees virtuelles et dispositif permettant cette projection
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
CN105306922B (zh) * 2014-07-14 2017-09-29 联想(北京)有限公司 一种深度相机参考图的获取方法和装置
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
US9503708B2 (en) * 2014-11-03 2016-11-22 Aquifi, Inc. Systems and methods for reducing z-thickness and zero-order effects in depth cameras
US10432842B2 (en) * 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US9964402B2 (en) * 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
US10528840B2 (en) 2015-06-24 2020-01-07 Stryker Corporation Method and system for surgical instrumentation setup and user preferences
JP6566768B2 (ja) * 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9893538B1 (en) 2015-09-16 2018-02-13 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
EP3391076A1 (en) * 2015-12-20 2018-10-24 Apple Inc. Light detection and ranging sensor
US9961318B2 (en) * 2016-01-20 2018-05-01 Seiko Epson Corporation Projector
JP6878816B2 (ja) * 2016-01-20 2021-06-02 セイコーエプソン株式会社 プロジェクター
TWI651513B (zh) 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法
CN106875435B (zh) * 2016-12-14 2021-04-30 奥比中光科技集团股份有限公司 获取深度图像的方法及系统
US10666927B2 (en) * 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
JP6879822B2 (ja) * 2017-05-18 2021-06-02 株式会社 東京ウエルズ ワーク外観検査装置およびワーク外観検査方法
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10699429B2 (en) 2017-08-19 2020-06-30 Cognex Corporation Coding distance topologies for structured light patterns for 3D reconstruction
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US11430483B2 (en) 2018-05-10 2022-08-30 Daniel Licht System, method, and kit for using triggering objects to create concatenated audio/video
US10638104B2 (en) * 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US10861726B2 (en) * 2018-09-21 2020-12-08 Advanced Semiconductor Engineering, Inc. Apparatus and method for measuring warpage
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device
US20210158552A1 (en) * 2019-11-22 2021-05-27 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
WO2023195911A1 (en) * 2022-04-05 2023-10-12 Ams-Osram Asia Pacific Pte. Ltd. Calibration of depth map generating system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700669B1 (en) * 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US20040264764A1 (en) * 2003-04-25 2004-12-30 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
US20070057946A1 (en) * 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
TW200712731A (en) * 2005-07-11 2007-04-01 Casio Computer Co Ltd Projection display apparatus having image modulation timing changing function
TW200739236A (en) * 2005-12-21 2007-10-16 Ibm Method to synchronize stereographic hardware to sequential color rendering apparatus
TWM352201U (en) * 2008-10-15 2009-03-01 Nat Applied Res Laboratories Projection auxiliary device for rapid adjustment of 3-D stereoscopic image

Family Cites Families (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) * 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) * 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPS61241612A (ja) * 1985-04-19 1986-10-27 Kinkashiya:Kk ３次元形状計測システム
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) * 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
US5075562A (en) * 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5289261A (en) * 1991-09-17 1994-02-22 Opton, Co., Ltd. Device for measuring a three-dimensional shape of an elongate member
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
EP0559978B1 (en) * 1992-03-12 1998-08-05 International Business Machines Corporation Image processing method
US5636025A (en) * 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) * 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6041140A (en) * 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) * 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0839314A1 (en) * 1995-07-18 1998-05-06 The Budd Company Moire interferometry system and method with extended imaging depth
JPH09261535A (ja) * 1996-03-25 1997-10-03 Sharp Corp 撮像装置
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) * 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) * 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) * 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
WO1998028593A1 (en) 1996-12-20 1998-07-02 Pacific Title And Mirage, Inc. Apparatus and method for rapid 3d image parametrization
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) * 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
DE19815201A1 (de) * 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6731391B1 (en) * 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) * 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) * 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) * 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) * 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) * 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6937348B2 (en) * 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
JP4560869B2 (ja) * 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP4265076B2 (ja) * 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
KR100355718B1 (ko) * 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) * 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) * 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) * 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
EP1412803A2 (en) * 2001-07-13 2004-04-28 Mems Optical, Inc. Autostereoscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) * 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
AU2003253626A1 (en) * 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) * 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6859326B2 (en) * 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) * 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) * 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
US20040130730A1 (en) * 2002-11-21 2004-07-08 Michel Cantin Fast 3D height measurement method and system
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) * 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) * 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) * 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
CA2435935A1 (en) * 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US20050111705A1 (en) * 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US6934018B2 (en) * 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7187437B2 (en) * 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP4307206B2 (ja) * 2003-09-30 2009-08-05 パナソニック株式会社 ディスプレイ装置
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7250949B2 (en) * 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US20050135555A1 (en) * 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005076198A1 (en) * 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7335898B2 (en) * 2004-07-23 2008-02-26 Ge Healthcare Niagara Inc. Method and apparatus for fluorescent confocal microscopy
US20060017656A1 (en) * 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
KR101424942B1 (ko) * 2004-07-30 2014-08-01 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) * 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) * 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
US7599071B2 (en) 2005-04-06 2009-10-06 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP1949339A2 (en) * 2005-11-04 2008-07-30 Clean Earth Technologies, Llc Tracking using an elastic cluster of trackers
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
WO2007096893A2 (en) 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
WO2007105215A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
CN101512601B (zh) 2006-09-04 2013-07-31 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US7256899B1 (en) * 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
WO2008061259A2 (en) 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US20080278572A1 (en) 2007-04-23 2008-11-13 Morteza Gharib Aperture system with spatially-biased aperture shapes and positions (SBPSP) for static and dynamic 3-D defocusing-based imaging
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8488868B2 (en) 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
EP2168096A1 (en) 2007-07-12 2010-03-31 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
WO2009093228A2 (en) 2008-01-21 2009-07-30 Prime Sense Ltd. Optical designs for zero order reduction
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
CN201259570Y (zh) * 2008-05-27 2009-06-17 北京中视中科光电技术有限公司 一种消相干装置
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
CN100573033C (zh) * 2008-07-15 2009-12-23 合肥工业大学 基于双目的三维表面建模系统
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700669B1 (en) * 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US20040264764A1 (en) * 2003-04-25 2004-12-30 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
US20070057946A1 (en) * 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
TW200712731A (en) * 2005-07-11 2007-04-01 Casio Computer Co Ltd Projection display apparatus having image modulation timing changing function
TW200739236A (en) * 2005-12-21 2007-10-16 Ibm Method to synchronize stereographic hardware to sequential color rendering apparatus
TWM352201U (en) * 2008-10-15 2009-03-01 Nat Applied Res Laboratories Projection auxiliary device for rapid adjustment of 3-D stereoscopic image

Also Published As

Publication number Publication date
CN101825431A (zh) 2010-09-08
US8786682B2 (en) 2014-07-22
TW201033938A (en) 2010-09-16
US20100225746A1 (en) 2010-09-09
US9386299B2 (en) 2016-07-05
CN101825431B (zh) 2014-12-24
US20140285638A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
TWI480832B (zh) 用於三維感測的參考圖像技術
US9628779B2 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP5485889B2 (ja) 位相解析測定を行う装置および方法
US10218955B2 (en) Motion blur compensation
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN108171758B (zh) 基于最小光程原理和透明玻璃标定板的多相机标定方法
JP6735615B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
EP2990757B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
EP2923195A2 (en) A method and apparatus of profile measurement
US20210150744A1 (en) System and method for hybrid depth estimation
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
JP7369588B2 (ja) 撮像機器及び撮像方法
US20190178628A1 (en) System and method for depth estimation using a movable image sensor and illumination source
JP2019161278A (ja) 校正基準点取得システム、及び校正基準点取得方法
EP4241041A1 (en) Three-dimensional scanner having sensors with overlapping fields of view
JP2008154195A (ja) レンズのキャリブレーション用パターン作成方法、レンズのキャリブレーション用パターン、キャリブレーション用パターンを利用したレンズのキャリブレーション方法、レンズのキャリブレーション装置、撮像装置のキャリブレーション方法、および撮像装置のキャリブレーション装置
TWI464525B (zh) 立體成像鏡頭模組
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치
Boldt et al. A handheld texel camera for acquiring near-instantaneous 3D images
Gribben et al. Calibration for 3D imaging with a single-pixel camera
Kumar et al. Non-frontal camera calibration using focal stack imagery
JP6053585B2 (ja) 光学センサ性能評価装置及び光学センサ性能評価方法
Sutton et al. Single Camera Models and Calibration Procedures in Computer Vision