TW202246032A - 基於影像之機器人對齊之方法和系統 - Google Patents

基於影像之機器人對齊之方法和系統 Download PDF

Info

Publication number
TW202246032A
TW202246032A TW111115271A TW111115271A TW202246032A TW 202246032 A TW202246032 A TW 202246032A TW 111115271 A TW111115271 A TW 111115271A TW 111115271 A TW111115271 A TW 111115271A TW 202246032 A TW202246032 A TW 202246032A
Authority
TW
Taiwan
Prior art keywords
component
captured image
predetermined position
coordinates
position relative
Prior art date
Application number
TW111115271A
Other languages
English (en)
Inventor
金泰亨
姜在九
淳成朴
Original Assignee
環球晶圓股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 環球晶圓股份有限公司 filed Critical 環球晶圓股份有限公司
Publication of TW202246032A publication Critical patent/TW202246032A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/68—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment
    • H01L21/681—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment using optical controlling means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0095—Manipulators transporting wafers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/025—Optical sensing devices including optical fibres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67259—Position monitoring, e.g. misposition detection or presence detection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67294—Apparatus for monitoring, sorting or marking using identification means, e.g. labels on substrates or labels on containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
    • H01L21/67739—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations into and out of processing chamber
    • H01L21/67748—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations into and out of processing chamber horizontal transfer of a single workpiece
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40111—For assembly
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40482—Before assembly arrange parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45064—Assembly robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種用於監測一第二組件相對於一第一組件之對齊之系統，其包含相機，及包含處理器及非暫時性記憶體之控制器。控制器經組態以：當第二組件處於相對於第一組件之預定位置中時，接收來自相機之第一經擷取影像；接收對第一經擷取影像中之受關注區域(ROI)之選擇；識別第一經擷取影像之ROI內之第二組件之可見特徵；在後續操作期間接收來自相機之經擷取影像；當第二組件預期處於相對於第一組件之預定位置中時，識別第二經擷取影像；及基於第二經擷取影像及第一經擷取影像之經識別可見特徵，判定第二組件是否處於相對於第一組件之預定位置中。

Description

基於影像之機器人對齊之方法和系統
本發明大體上係關於機器人系統之對齊，且更明確言之係關於基於影像之機器人對齊之方法和系統。
機器人系統經常用於各種行業，諸如產品製造、產品處理、倉儲及類似者。例如，機器人系統有時用於半導體晶體製造及/或半導體晶圓生產之一或多個階段中。在一項實例中，一晶圓處置機器人藉由使用伺服馬達控制一晶圓在一生產程序中之位置。歸因於硬體或環境之故障(諸如與一軸承、一剎車、一繞組、磁體去磁、一轉子綁扎(banding)、污染、電雜訊、靜電放電、電子組件之老化及疲勞及類似者有關之磨損或故障)，晶圓之位置有時偏離最初設定之位置。
在用於晶圓製造之至少一些已知系統中，在透過來自一雷射散射檢測工具或缺陷蝕刻之回饋偵測到滑動(即，未對齊)之前，滑動監測花費相對較長時間。由於此延遲，在偵測到滑動之前，許多晶圓(可能數百個晶圓)可受未對齊影響。
此[先前技術]章節旨在向讀者介紹可與在下文描述及/或主張之本發明之各項態樣有關之技術之各項態樣。據信此論述在對讀者提供背景資訊以促進本發明之各項態樣之較佳理解方面有幫助。因此，應理解，此等陳述應從此角度來閱讀，且非承認先前技術。
本發明之一項態樣係一種用於監測一第二組件相對於一第一組件之對齊之系統。該系統包含：一相機，其與該第一組件成固定關係定位且可操作以在該第二組件之一操作期間擷取該第一組件及該第二組件之影像；及一控制器，其包含一處理器及儲存藉由該處理器執行以組態該控制器之指令之一非暫時性記憶體。該控制器經組態以：當該第二組件處於相對於該第一組件之一預定位置中時，接收來自該相機之一第一經擷取影像；接收對該第一經擷取影像中之包含該第一組件之至少一部分及該第二組件之至少一部分之一受關注區域(ROI)的一選擇；識別該第一經擷取影像之該ROI內之該第二組件之一可見特徵；在一後續操作期間接收來自該相機之經擷取影像；當該第二組件預期處於相對於該第一組件之該預定位置中時，自該後續操作期間之該等經接收之經擷取影像識別一第二經擷取影像；及基於該第二經擷取影像及該第一經擷取影像之該ROI內之該第二組件之該經識別可見特徵判定該第二組件是否處於相對於該第一組件之該預定位置中。
另一態樣係一種用於監測一第二組件相對於一第一組件之對齊之方法。該方法包含：當該第二組件處於相對於該第一組件之一預定位置中時，使用與該第一組件成固定關係定位且可操作以在該第二組件之一操作期間擷取該第一組件及該第二組件之影像的一相機擷取一第一影像；接收對該第一經擷取影像中之包含該第一組件之至少一部分及該第二組件之至少一部分之一受關注區域(ROI)的一選擇；識別該第一經擷取影像之該ROI內之該第二組件之一可見特徵；在一後續操作期間接收來自該相機之經擷取影像；當該第二組件預期處於相對於該第一組件之該預定位置中時，自該後續操作期間之該等經接收之經擷取影像識別一第二經擷取影像；及基於該第二經擷取影像及該第一經擷取影像之該ROI內之該第二組件之該經識別可見特徵判定該第二組件是否處於相對於該第一組件之該預定位置中。
存在關於上述態樣所提及之特徵之各種改進。進一步特徵亦可被併入於上述態樣中。此等改進及額外特徵可個別地或以任何組合存在。例如，下文關於所繪示實施例之任一者論述之各種特徵可單獨或以任何組合被併入至上文描述之態樣中。
本申請案主張2021年4月29日申請之美國臨時專利申請案第63/201,435號之優先權，該案之全部揭示內容以引用的方式完整併入本文中。
本發明大體上係關於機器人系統之對齊，且更明確言之係關於基於影像之機器人對齊之方法和系統。本發明之態樣將參考一半導體晶圓處置機器人及一半導體晶圓處理裝置來描述，但此等態樣可應用於任何其他機器人系統之對齊。
圖1係用於監測一第一組件102及一第二組件104之對齊之一實例性系統100之一簡化方塊圖。更明確言之，該系統在該第二組件之一操作期間監測第二組件104相對於第一組件102之對齊。在實例性實施例中，第一組件102係一半導體晶圓處理裝置，且第二組件104係一半導體晶圓處置機器人。該半導體晶圓處置機器人取出一半導體晶圓(圖1中未展示)且將該半導體晶圓定位於半導體晶圓處理裝置中以容許半導體晶圓處理裝置對晶圓執行一程序。例如，該程序可為一退火程序、一蝕刻程序、一拋光程序，或任何其他半導體晶圓程序。第二組件104之至少一部分可相對於第一組件102移動。例如，第二組件104可包含固持半導體晶圓且相對於第一組件102移動以將晶圓移動至第一組件102中的一臂。
一相機106與第一組件102成固定關係定位且可操作以在第二組件104之操作期間擷取第一組件102及第二組件104之影像。相機106係在操作期間擷取第一組件102及第二組件104之至少一部分之可見光影像之一可見光相機。在其他實施例中，相機106可為一紅外相機或任何其他合適成像裝置。在一些實施例中，相機106係一視訊攝影機且由相機106擷取之影像係由該視訊攝影機擷取之視訊之個別圖框。相機106相對於第一組件定位以在第二組件104處於相對於第一組件102之一預定位置中時擷取第一組件102及第二組件104之各者之至少部分之一影像。該預定位置係在操作之一特定步驟第二組件104相對於第一組件102之位置。例如，當在半導體晶圓處理中使用時，預定位置可為半導體晶圓處置機器人(第二組件104)在停下來以將一半導體晶圓置放在半導體晶圓處理裝置(第一組件102)中時之位置。
一控制器108通信地耦合至相機106以接收由相機106擷取之影像並控制相機106 (諸如調整相機設定)以指示相機106何時擷取一影像及類似者。
圖2係可被用作控制器108或被包含作為控制器108之部分之一實例性運算裝置200之一方塊圖。運算裝置200包含一處理器201、一記憶體202、一媒體輸出組件204、一輸入裝置206及一通信介面208。其他實施例包含不同組件、額外組件，及/或不包含圖2中所展示之所有組件。
處理器201經組態用於執行指令。在一些實施例中，可執行指令係儲存於記憶體202中。處理器201可包含一或多個處理單元(例如，在一多核心組態中)。如本文中所使用，術語處理器係指中央處理單元、微處理器、微控制器、精簡指令集電路(RISC)、特定應用積體電路(ASIC)、一可程式化邏輯電路(PLC)及能夠執行本文中所描述之功能之任何其他電路或處理器。以上僅為實例，且因此並不旨在以任何方式限制術語「處理器」之定義及/或含義。
記憶體202儲存用於執行本文中所描述之技術之非暫時性、電腦可讀指令。此等指令在由處理器201執行時，引起處理器201執行本文中所描述之方法之至少一部分。即，儲存於記憶體202中之指令組態控制器108以執行本文中所描述之方法。在一些實施例中，記憶體202儲存用於經由媒體輸出組件204向使用者提供一使用者介面並接收及處理來自輸入裝置206之輸入之電腦可讀指令。記憶體202可包含(但不限於)隨機存取記憶體(RAM)，諸如動態RAM (DRAM)或靜態RAM (SRAM)、唯讀記憶體(ROM)、可擦除可程式化唯讀記憶體(EPROM)、電可擦除可程式化唯讀記憶體(EEPROM)及非揮發性RAM (NVRAM)。儘管被繪示為與處理器201分開，但在一些實施例中，記憶體202係與處理器201組合諸如於一微控制器或微處理器中，但仍可被分開提及。以上記憶體類型僅為實例，且因此不限制可用於一電腦程式之儲存之記憶體類型。
媒體輸出組件204經組態用於向一使用者(例如，系統之一操作者)呈現資訊。媒體輸出組件204係能夠向使用者傳達資訊之任何組件。在一些實施例中，媒體輸出組件204包含一輸出轉接器，諸如一視訊轉接器及/或一音訊轉接器。輸出轉接器可操作地連接至處理器201且可操作地連接至一輸出裝置，諸如一顯示裝置(例如，一液晶顯示器(LCD)、發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器、陰極射線管(CRT)、「電子墨水」顯示器、一或多個發光二極體(LED))或一音訊輸出裝置(例如，一揚聲器或耳機)。
運算裝置200包含，或連接至用於接收來自使用者之輸入之輸入裝置206。輸入裝置206係允許運算裝置200接收類比及/或數位命令、指令或來自使用者之其他輸入(包含視覺、音訊、觸控、按鈕按壓、觸控筆輕擊等)之任何裝置。例如，輸入裝置206可包含一可變電阻器、一輸入撥號盤、一鍵盤/小鍵盤、一指向裝置、一滑鼠、一觸控筆、一觸敏面板(例如，一觸控墊或一觸控螢幕)、一陀螺儀、一加速度計、一位置偵測器、一音訊輸入裝置或其等之任何組合。一單個組件(諸如一觸控螢幕)可用作媒體輸出組件204之一輸出裝置及輸入裝置206兩者。
通信介面208使運算裝置200能夠與遠端裝置及系統(諸如相機106、遠端感測器、遠端資料庫、遠端運算裝置及類似者)通信，且可包含用於與多於一個遠端裝置或系統互動之多於一個通信介面。通信介面可為允許運算裝置200直接地或經由一網路與遠端裝置及系統通信之有線或無線通信介面。無線通信介面可包含一射頻(RF)收發器、一Bluetooth®轉接器、一Wi-Fi收發器、一ZigBee®收發器、一近場通信(NFC)收發器、一紅外(IR)收發器及/或用於無線通信之任何其他裝置及通信協定。(Bluetooth係華盛頓州柯克蘭之藍牙特別興趣小組之一註冊商標；ZigBee係加利福尼亞州聖拉蒙之ZigBee聯盟之一註冊商標)。有線通信介面可使用用於直接通信之任何合適有線通信協定，包含(但不限於) USB、RS232、I2C、SPI、類比及專有I/O協定。在一些實施例中，有線通信介面包含容許運算裝置200耦合至一網路(諸如網際網路、一區域網路(LAN)、一廣域網路(WAN)、一網狀網路，及/或經由網路與遠端裝置及系統通信之任何其他網路)之一有線網路轉接器。
本文中所論述之電腦系統可包含額外、較少或替代功能性(包含本文中別處論述之功能性)。本文中所論述之電腦系統可包含儲存於一或多個非暫時性電腦可讀媒體上之電腦可執行指令或經由該等電腦可執行指令實施。
圖3係自系統100上方，(例如)如自相機106之位置所見之系統100之一視圖。控制器108及相機106在圖3中未展示。如圖3中所見，實例性第二組件104包含固持一晶圓302之一可移動臂300。第二組件104將晶圓302放置於第一組件102之一腔室304內。臂300在第一組件之一底座部分306上方延伸且進入腔室304中。在實例性實施例中，臂300包含作為一凹口308之一相異可見特徵，透過該凹口308，第一組件102之部分自相機106之視角可見。該可見特徵可為可由控制器108識別之任何可見特徵。在其他實施例中，臂300包含一不同可見特徵(諸如一突部、一通孔、一雕刻或類似者)或包含一附加相異可見特徵(諸如一明顯著色或塑形之貼紙/標記、一QR碼或類似者)。
相機106擷取一影像區域310之影像。記憶體202儲存藉由處理器201執行以組態控制器108以在第二組件104處於相對於第一組件102之預定位置中時接收來自相機106之(影像區域310之)一第一經擷取影像之指令。此第一影像係在已知第二組件104處於預定位置中時擷取。例如，使用者可將第二組件104定位於預定位置中或對第二組件104之位置進行調整以將其放置於預定位置中。因此，此第一影像係正確預定位置(諸如與供第一組件102處理之一晶圓適當地對齊之位置)之一影像。
圖4係影像區域310之一實例性影像400。如可見，底座部分306係與臂300不同色彩(或一更深色彩)。透過其可見底座部分306之部分之臂300中之凹口308係影像400中之一明顯相異的特徵。
控制器108接收對第一經擷取影像400中之一受關注區域(ROI) 402之一選擇。在實例性實施例中，ROI 402包含第一組件102之一部分及第二組件104之一部分。替代性地，ROI可僅包含第二組件104之一部分(例如，當可見特徵係完全由臂300圍繞之一貼紙時)。ROI 402可由一使用者手動地選擇，諸如藉由使用輸入裝置106。在其他實施例中，ROI 402係由控制器108選擇，諸如藉由對影像執行物件偵測及辨識以識別第一組件102及第二組件104及/或可見特徵。
圖5係影像400中之部分404之一特寫視圖。控制器108經組態以識別第一經擷取影像之ROI 402內之第二組件104之一可見特徵(例如，凹口308)。在此實施例中，控制器108具體地識別ROI 402內之凹口308之一邊角500。在實例性實施例中，控制器108基於第一影像400內之像素之強度值識別第一影像400之邊角500。即，底座部分306係藉由其較深色彩而在影像400中被識別，且臂300係藉由其比較深色彩底座部分306更淺之色彩(及不同強度值)而被識別。標記影像400之ROI 402中之底座部分306與影像400之ROI 402中之臂300之間的過渡之相交假想線(如自強度值判定)係邊角500。在其他實施例中，控制器108藉由接收來自一使用者輸入之對可見特徵之一選擇來識別可見特徵。
一旦識別可見特徵(例如，邊角500)，控制器108就判定第一經擷取影像400之ROI內之第二組件之經識別可見特徵的第一座標。該等座標係可見特徵在其處定位於影像400內之點之X-Y座標(如在圖4中識別)。例如，X-Y座標可由影像400中之可見特徵中之中心像素的位置判定。接著，控制器108將第一座標儲存於記憶體中。控制器108亦判定ROI 402之座標並將該等ROI座標儲存於記憶體202中。ROI座標可為兩個座標(諸如對角相對邊角之座標)、一個邊角之一單個座標以及ROI 402相對於該邊角之尺寸及方向，或識別ROI 402之位置之一或多個任何其他合適座標。
由於相機106係相對於第一組件102固定且僅擷取同一影像區域310之影像，因此在任何時候臂300處於預定位置中，可見特徵應處於一經擷取影像內之同一位置中(即，在相同X-Y座標處)。因此，第一座標可用於判定臂300在後續操作期間是否處於預定位置中。
因此，控制器108經組態以在一後續操作期間接收來自相機106之經擷取影像。當第二組件104預期處於相對於第一組件102之預定位置中時，控制器自該後續操作期間之該等經接收之經擷取影像識別一第二經擷取影像。第二組件104預期處於相對於第一組件102之預定位置中之時間可由用於控制第二組件104之指令判定。例如，若控制器108亦控制第二組件104，則當控制器108自指令及/或自來自第二組件104之通信知道第二組件104據信處於預定位置處時。即，當第二組件處於第二組件104應處於預定位置處之程序中之步驟時，控制器108知道第二組件104應處於預定位置處且此時擷取之影像被用作第二經擷取影像。
在其他實施例中，控制器108基於對經擷取影像之分析判定第二組件104預期處於預定位置中。例如，圖6係由相機隨時間擷取之影像中之兩個點(或更明確言之當相機106係一視訊攝影機時，在一序列之視訊圖框上)之影像強度的一圖表。選擇該兩個點，使得當第二組件104處於預定位置中時，其中一個點係影像中之第一組件102上之一點且一個點係影像中之第二組件104上之一點。例如，圖4及圖5中所展示之ROI 402之左上角及左下角可用作兩個點。如上文提及，在實例中，底座部分306比臂300更深。因此，當臂300未處於預定位置中時，由於影像中之兩個點將為底座部分之點，因此兩個點將具有一相對較低強度。當臂300正移動至適當位置中時，在影像中所見之點之強度可隨著定位於兩個點處之物改變而改變。當臂300處於適當位置中時，其將停下來一段時間以將晶圓放置於第一組件102中，且一個點將在底座上(且具有一低強度)且一個點將在臂上(且具有一高強度)。因此，當與臂300相關聯之點之強度在一段時間內相對較高且穩定時，臂300經判定為處於適當位置中，且自此時起之經擷取影像係用作第二經擷取影像。在又其他實施例中，控制器108藉由透過多個經擷取影像定位及追蹤可見特徵來判定第二組件104預期處於預定位置中。當可見特徵在ROI 402內且在一段時間內尚未移動時，控制器108判定第二組件104預期處於預定位置中，且使用自該時間起之經擷取影像作為第二經擷取影像。
控制器108識別第二經擷取影像中之第二組件104之可見特徵。在其中可見特徵係凹口308之邊角500之實例性實施例中，使用一FAST (加速區段測試特徵)演算法。該FAST演算法偵測ROI中之任何邊角，因此重要的是給出邊角周圍之像素強度之一明顯差異。所偵測之邊角之數目係取決於FAST函數中之臨限值。FAST之格式係FAST(InputArray image, std::vector＜KeyPoint＞& keypoints, int threshold, bool nomaxSuppression=true)。隨著臨限值降低，所偵測之邊角之數目增加。可藉由將臨限值自200循環至1來判定供每個影像僅返回一個邊角之適當臨限值。
儘管實例性實施例使用一邊角，但任何點可用作參考，只要其在ROI 402中具有不同像素強度。例如，一黑點或一白點可用作可見特徵。代替使用OPENCV中之FAST函數，可藉由分析ROI 402中之像素強度來找到該黑點或白點之位置。此係用「minMaxLoc」之函數簡單地計算。cv::minMaxLoc(ROI, &min, &max, &min_loc, &max_loc)，其中若可見特徵比其周圍區域更暗(黑點)，則使用min_loc，而若可見特徵比其周圍區域更亮(白點)，則使用max_loc。
在於第二經擷取影像中識別可見特徵之後，控制器108基於第二經擷取影像及第一經擷取影像之ROI 402內之第二組件104之經識別可見特徵判定第二組件104是否處於相對於第一組件102之預定位置中。在一些實施例中，控制器108判定第二經擷取影像中之第二組件之經識別可見特徵之第二座標。第二座標係第二經擷取影像中之可見特徵之位置之X-Y座標。若第二組件104適當地處於預定位置中，則第二座標應與自第一經擷取影像判定之第一座標匹配。因此，控制器108經組態以藉由比較第二座標與第一座標來判定第二組件104是否處於相對於第一組件102之預定位置中。
在一些實施例中，當第二座標與第一座標相同時，第二組件104經判定為處於相對於第一組件102之預定位置中。替代性地，當第二座標在第一座標之一臨限距離內時，第二組件104可經判定為處於相對於第一組件102之預定位置中。可選擇該臨限距離以考量影像中之可能略微變動或可見特徵之偵測，或容許第二組件104之定位之特定量之可接受變動。
當控制器108判定第二組件104預期處於預定位置中但其未處於預定位置中時，控制器108可產生一警報。即，當控制器108判定第二組件104預期處於預定位置中，但第二經擷取影像中之可見特徵不具有等同第一座標(或在第一座標之一臨限距離內)之第二座標時，控制器108產生一警報。該警報可為一人類可辨識警報(諸如一閃光燈或警報器)、一電腦可辨識警報(諸如發送至一系統控制器之一警報訊息)，或兩者。回應於警報，一使用者可視需要調整或修理第二組件104以使第二組件104恢復至相對於第一組件102之適當對齊。
圖7係用於監測一第二組件相對於一第一組件之對齊之一實例性方法700之一流程圖。該方法可藉由系統100及其組件執行，或可與任何其他合適系統或組件一起使用。
圖中所描繪之任何邏輯流程不需要所展示之特定順序，或循序順序來達成所要結果。另外，可提供其他步驟，或可自所描述流程剔除步驟，且可將其他組件添加至所描述系統或自所描述系統移除其他組件。因此，其他實施例係在以下發明申請專利範圍之範疇內。
將瞭解，已特別詳細描述之以上實施例僅為實例或可能實施例，且可包含許多其他組合、添加或替代。
又，組件之特定命名、術語之大寫、屬性、資料結構或任何其他程式化或結構態樣並非強制性或重要的，且實施本發明或其特徵之機構可具有不同名稱、格式或協定。此外，系統可如所描述般經由硬體及軟體之一組合實施，或完全在硬體元件中實施。又，本文中所描述之各種系統組件之間的功能性之特定劃分僅為一個實例，且非強制性的；由一單個系統組件執行之功能可代替性地由多個組件執行，且由多個組件執行之功能可代替性地由一單個組件執行。
如在說明書及發明申請專利範圍通篇使用之近似用語可應用於修飾可允許變化而不導致其相關之基本功能之變化的任何定量表示。因此，由一或多個術語(諸如「大約」及「實質上」)修飾之一值並不限於所指定之精確值。在至少一些例項中，近似用語可對應於用於量測值之一儀器之精度。在此處及貫穿說明書及發明申請專利範圍，範圍限制可經組合及/或互換，除非上下文或語言另外指示，否則此等範圍被識別且包含其中所含之所有子範圍。
熟習此項技術者可設想本發明之教示之各種變化、修改及變更，而不脫離其預期精神及範疇。本發明旨在涵蓋此等變化及修改。
此書面描述使用實例來描述本發明(包含最佳模式)，且亦使任何熟習此項技術者能夠實踐本發明(包含製作及使用任何裝置或系統及執行任何所併入方法)。本發明之可專利範疇係由發明申請專利範圍所定義，且可包含熟習此項技術者所想到之其他實例。此等其他實例意欲在發明申請專利範圍之範疇內，前提是其等具有並非不同於發明申請專利範圍之字面語言之結構元件，或其等包含與發明申請專利範圍之字面語言無實質差異之等效結構元件。
100:系統 102:第一組件 104:第二組件 106:相機 108:控制器 200:運算裝置 201:處理器 202:記憶體 204:媒體輸出組件 206:輸入裝置 208:通信介面 300:可移動臂/臂 302:晶圓 304:腔室 306:底座部分 308:凹口 400:影像/第一經擷取影像/第一影像 402:受關注區域(ROI) 404:部分 500:邊角 700:方法
圖1係用於監測一第一組件及一第二組件之對齊之一實例性系統之一方塊圖。
圖2係用於圖1中所展示之系統中之一實例性運算裝置之一方塊圖。
圖3係圖1中所展示之系統之一部分之一俯視圖。
圖4係由圖1中所展示之系統之相機擷取之第一組件及第二組件之一部分的一實例性影像。
圖5係圖4中所展示之影像之一部分之一特寫視圖。
圖6係用於偵測圖1中所展示之第二組件何時處於相對於第一組件之一預定位置中之一系列影像上之影像強度的一圖表。
圖7係用於監測一第二組件相對於一第一組件之對齊之一實例性方法之一流程圖。
各種圖式中之相同元件符號指示相同元件。
102:第一組件
104:第二組件
300:可移動臂/臂
302:晶圓
304:腔室
306:底座部分
308:凹口

Claims (21)

  1. 一種用於監測一第二組件相對於一第一組件之對齊之系統，該系統包括： 一相機，其與該第一組件成固定關係定位且可操作以在該第二組件之一操作期間擷取該第一組件及該第二組件之影像； 一控制器，其包含一處理器及儲存藉由該處理器執行以組態該控制器之指令之一非暫時性記憶體，該控制器經組態以： 當該第二組件處於相對於該第一組件之一預定位置中時，接收來自該相機之一第一經擷取影像； 接收對該第一經擷取影像中之包含該第一組件之至少一部分及該第二組件之至少一部分之一受關注區域(ROI)的一選擇； 識別該第一經擷取影像之該ROI內之該第二組件之一可見特徵； 在一後續操作期間接收來自該相機之經擷取影像； 當該第二組件預期處於相對於該第一組件之該預定位置中時，自該後續操作期間之該等經接收之經擷取影像識別一第二經擷取影像；及 基於該第二經擷取影像及該第一經擷取影像之該ROI內之該第二組件之該經識別可見特徵判定該第二組件是否處於相對於該第一組件之該預定位置中。
  2. 如請求項1之系統，其中該第二組件包括可相對於該第一組件移動之一機器人臂。
  3. 如請求項2之系統，其中該第一組件包括一晶圓腔室，且該機器人臂經組態以在該操作及該後續操作期間將一半導體晶圓放置於該晶圓腔室中。
  4. 如請求項1至3中任一項之系統，其中該控制器進一步經組態以： 判定該第一經擷取影像之該ROI內之該第二組件之該經識別可見特徵之第一座標； 將該等第一座標儲存於該記憶體中； 識別該第二經擷取影像中之該第二組件之該可見特徵；及 判定該第二經擷取影像中之該第二組件之該經識別可見特徵之第二座標，其中該控制器經組態以藉由比較該等第二座標與該等第一座標來判定該第二組件是否處於相對於該第一組件之該預定位置中。
  5. 如請求項4之系統，其中該控制器經組態以在該等第二座標等同該等第一座標時判定該第二組件處於相對於該第一組件之該預定位置中。
  6. 如請求項4之系統，其中該控制器經組態以在該等第二座標在距該等第一座標之預定臨限距離內時判定該第二組件處於相對於該第一組件之該預定位置中。
  7. 如請求項4之系統，其中該控制器經組態以基於該第一經擷取影像及該第二經擷取影像內之像素之強度值來識別該第一經擷取影像及該第二經擷取影像中之該第二組件之該可見特徵。
  8. 如請求項4之系統，其中該控制器進一步經組態以在該控制器判定該第二組件未處於相對於該第一組件之該預定位置中時產生一警報。
  9. 如請求項4之系統，其中該控制器經組態以判定在該操作之一預定步驟期間該第二組件是否處於相對於該第一組件之該預定位置中。
  10. 如請求項9之系統，其中該控制器進一步經組態以基於該後續操作期間之該等經擷取影像中之強度值來判定該操作係處於該預定步驟。
  11. 一種用於監測一第二組件相對於一第一組件之對齊之方法，該方法包括： 當該第二組件處於相對於該第一組件之一預定位置中時，使用與該第一組件成固定關係定位且可操作以在該第二組件之一操作期間擷取該第一組件及該第二組件之影像的一相機擷取一第一經擷取影像； 接收對該第一經擷取影像中之包含該第一組件之至少一部分及該第二組件之至少一部分之一受關注區域(ROI)的一選擇； 識別該第一經擷取影像之該ROI內之該第二組件之一可見特徵； 在一後續操作期間接收來自該相機之經擷取影像； 當該第二組件預期處於相對於該第一組件之該預定位置中時，自該後續操作期間之該等經接收之經擷取影像識別一第二經擷取影像；及 基於該第二經擷取影像及該第一經擷取影像之該ROI內之該第二組件之該經識別可見特徵判定該第二組件是否處於相對於該第一組件之該預定位置中。
  12. 如請求項11之方法，其中該第二組件包括可相對於該第一組件移動之一機器人臂。
  13. 如請求項12之方法，其中該第一組件包括一晶圓腔室，且該機器人臂經組態以在該操作及該後續操作期間將一半導體晶圓放置於該晶圓腔室中。
  14. 如請求項11至13中任一項之方法，其進一步包括： 判定該第一經擷取影像之該ROI內之該第二組件之該經識別可見特徵之第一座標； 將該等第一座標儲存於一記憶體中； 識別該第二經擷取影像中之該第二組件之該可見特徵；及 判定該第二經擷取影像中之該第二組件之該經識別可見特徵之第二座標，其中判定該第二組件是否處於相對於該第一組件之該預定位置中包括藉由比較該等第二座標與該等第一座標來判定該第二組件是否處於相對於該第一組件之該預定位置中。
  15. 如請求項14之方法，其中判定該第二組件是否處於相對於該第一組件之該預定位置中包括在該等第二座標等同該等第一座標時判定該第二組件處於相對於該第一組件之該預定位置中。
  16. 如請求項14之方法，其中判定該第二組件是否處於相對於該第一組件之該預定位置中包括在該等第二座標在距該等第一座標之預定臨限距離內時判定該第二組件處於相對於該第一組件之該預定位置中。
  17. 如請求項14之方法，其中： 識別該第一經擷取影像中之該第二組件之該可見特徵包括基於該第一經擷取影像內之像素之強度值來識別該可見特徵；且 識別該第二經擷取影像中之該第二組件之該可見特徵包括基於該第二經擷取影像內之像素之強度值來識別該可見特徵。
  18. 如請求項14之方法，其進一步包括在該第二組件經判定為未處於相對於該第一組件之該預定位置中時產生一警報。
  19. 如請求項14之方法，其中判定該第二組件是否處於相對於該第一組件之該預定位置中係在該操作之一預定步驟期間執行。
  20. 如請求項19之方法，其進一步包括基於該後續操作期間之該等經擷取影像中之強度值來判定該操作係處於該預定步驟。
  21. 一種使用如請求項11之方法生產之半導體晶圓。
TW111115271A 2021-04-29 2022-04-21 基於影像之機器人對齊之方法和系統 TW202246032A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163201435P 2021-04-29 2021-04-29
US63/201,435 2021-04-29

Publications (1)

Publication Number Publication Date
TW202246032A true TW202246032A (zh) 2022-12-01

Family

ID=83808655

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111115271A TW202246032A (zh) 2021-04-29 2022-04-21 基於影像之機器人對齊之方法和系統

Country Status (7)

Country Link
US (1) US20220351995A1 (zh)
EP (1) EP4329994A1 (zh)
JP (1) JP2024517757A (zh)
KR (1) KR20240005776A (zh)
CN (1) CN117460602A (zh)
TW (1) TW202246032A (zh)
WO (1) WO2022231373A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083073A (en) * 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
US6516244B1 (en) * 2000-08-25 2003-02-04 Wafermasters, Inc. Wafer alignment system and method
US7233841B2 (en) * 2002-04-19 2007-06-19 Applied Materials, Inc. Vision system
US8260461B2 (en) * 2007-08-30 2012-09-04 Applied Materials, Inc. Method and system for robot calibrations with a camera
US7716012B2 (en) * 2008-02-13 2010-05-11 Bickel Jon A Method for process monitoring in a utility system
US9352466B2 (en) * 2012-06-01 2016-05-31 Taiwan Semiconductor Manufacturing Co., Ltd. Robot positioning system for semiconductor tools
TWI617995B (zh) * 2016-11-04 2018-03-11 廣明光電股份有限公司 機器人視覺定位的驗證方法
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
US11088004B2 (en) * 2018-01-30 2021-08-10 Brooks Automation, Inc. Automatic wafer centering method and apparatus
WO2020016921A1 (ja) * 2018-07-17 2020-01-23 三菱電機株式会社 撮像装置
US11164769B2 (en) * 2019-07-30 2021-11-02 Brooks Automation, Inc. Robot embedded vision apparatus
US11290638B1 (en) * 2021-03-17 2022-03-29 Photon Ventures Inc. Systems and methods for generating consistent images of objects

Also Published As

Publication number Publication date
US20220351995A1 (en) 2022-11-03
KR20240005776A (ko) 2024-01-12
EP4329994A1 (en) 2024-03-06
JP2024517757A (ja) 2024-04-23
CN117460602A (zh) 2024-01-26
WO2022231373A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US10434654B2 (en) Calibration device, calibration method, and computer readable medium for visual sensor
US10112301B2 (en) Automatic calibration method for robot systems using a vision sensor
CN106097361B (zh) 一种缺陷区域检测方法及装置
US11933604B2 (en) Detection method and apparatus for automatic driving sensor, and electronic device
CN111788476B (zh) 部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质
CN111482959A (zh) 机器人运动视觉系统的自动手眼标定系统与方法
US9002094B2 (en) Image processing device and image processing method
JP2004260785A (ja) 画像歪み補正機能を備えたプロジェクタ装置
JP2012032344A (ja) 画像測定装置、画像測定方法及び画像測定装置用のプログラム
CN105389809A (zh) 显示性能测试方法、系统和装置
CN111932571B (zh) 图像的边界识别方法、装置以及计算机可读存储介质
CN110956620B (zh) 一种检测电子元件点胶质量的图像处理算法
US20230162344A1 (en) Appearance inspection apparatus and appearance inspection method
CN111896232A (zh) 光机模组测试方法、设备、系统及计算机可读存储介质
TW202102347A (zh) 視覺導引機器手臂校正方法
US20180051983A1 (en) Measurement system and method for configuring the measurement system
TW202246032A (zh) 基於影像之機器人對齊之方法和系統
WO2020253379A1 (zh) 基于显示设备的检测方法及其系统
KR20150049473A (ko) Ｐｃｂ 제품 검사 장치 및 이를 이용한 ｐｃｂ 제품 검사 방법
CN115205508A (zh) 一种光源的标定方法及装置
CN104504386A (zh) 一种模块化aoi定位方法、系统及烧录ic设备
JP4860452B2 (ja) テンプレートマッチングを用いたマーク位置決め方法及び装置
KR20210148723A (ko) 도장 검사 장치
KR100484139B1 (ko) 컨버전스 조정 기능 검사 장치 및 검사 방법
CN115890690B (zh) 机器人零点调整方法、装置、设备及可读存储介质