TWI818913B - 製程設備之人工智慧控制裝置與方法 - Google Patents

製程設備之人工智慧控制裝置與方法 Download PDF

Info

Publication number
TWI818913B
TWI818913B TW107121923A TW107121923A TWI818913B TW I818913 B TWI818913 B TW I818913B TW 107121923 A TW107121923 A TW 107121923A TW 107121923 A TW107121923 A TW 107121923A TW I818913 B TWI818913 B TW I818913B
Authority
TW
Taiwan
Prior art keywords
image analysis
process equipment
artificial intelligence
program
character recognition
Prior art date
Application number
TW107121923A
Other languages
English (en)
Other versions
TW202001457A (zh
Inventor
施良樺
林思潔
許寶勻
陳德軒
陳珮文
張芝瑄
林京沛
楊立興
胡發䪔
匡裴瑋
Original Assignee
聯華電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯華電子股份有限公司 filed Critical 聯華電子股份有限公司
Priority to TW107121923A priority Critical patent/TWI818913B/zh
Publication of TW202001457A publication Critical patent/TW202001457A/zh
Application granted granted Critical
Publication of TWI818913B publication Critical patent/TWI818913B/zh

Links

Images

Landscapes

  • Paper (AREA)
  • Electrotherapy Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種製程設備之人工智慧控制裝置與方法。該人工智慧控制裝置包括一通訊單元、一文字辨識單元、一影像分析單元及一指令提供單元。該通訊單元用以遠端連線至該製程設備，以接收一使用者介面之一操作畫面。該文字辨識單元係以一文字辨識程序辨識該操作畫面，以獲得一文字辨識結果。該影像分析單元係以一影像分析程序分析該操作畫面，以獲得一影像分析結果。該指令提供單元用以根據該文字辨識結果或該影像分析結果，提供一控制指令，以對該製程設備或該使用者介面自動進行控制。

Description

製程設備之人工智慧控制裝置與方法
本發明是有關於一種製程設備之控制裝置與方法，且特別是有關於一種製程設備之人工智慧控制裝置與方法。
隨著半導體技術的發展，製程設備的操作也越趨複雜。在製程設備之操作過程中，操作人員必須相當熟悉使用者介面的流程，在操作畫面所顯示之資訊下，進行對應的操作。每一製程設備都需要有操作人員隨時待命進行監控，因此必須耗費大量人力來對製程設備進行操作。
此外，操作人員對於使用者介面所下的指令若有錯誤，不僅可能會嚴重損害到產品的良率，甚至會使製程設備發生故障。因此，如何讓製程設備之操作能夠有技術上的突破，一直是半導體產業不斷在努力的方向之一。
本發明係有關於一種製程設備之人工智慧控制裝置與方法，其利用人工智慧之文字辨識程序及影像分析程序對使用者介面之操作畫面進行分析，以提供正確的控制指令給製程設備，有效提供產品的良率，避免製程設備故障，並增進製程效率。
根據本發明之第一方面，提出一種製程設備之人工智慧控制裝置。該人工智慧控制裝置包括一通訊單元、一文字辨識單元、一影像分析單元及一指令提供單元。該通訊單元用以遠端連線至該製程設備，以接收一使用者介面之一操作畫面。該文字辨識單元係以一文字辨識程序(character recognition)辨識該操作畫面，以獲得一文字辨識結果。該影像分析單元係以一影像分析程序(image analyzing)分析該操作畫面，以獲得一影像分析結果。該指令提供單元用以根據該文字辨識結果或該影像分析結果，提供一控制指令，以對該製程設備或該使用者介面自動進行控制。
根據本發明之第二方面，提出一種製程設備之人工智慧控制方法。人工智慧控制方法包括以下步驟。遠端連線至該製程設備，以接收一使用者介面之一操作畫面。以一文字辨識程序(character recognition)辨識該操作畫面，以獲得一文字辨識結果。以一影像分析程序(image analyzing)分析該操作畫面，以獲得一影像分析結果。根據該文字辨識結果或該影像分析結果，提供一控制指令，以對該製程設備或該使用者介面自動進行控制。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:人工智慧控制裝置
110:通訊單元
120:文字辨識單元
130:影像分析單元
140:指令提供單元
700:網路
800:製程設備
900:製程設備
910:使用者介面
B1、B2:操控按鈕
C1:文字
CM9:控制指令
CR:文字辨識結果
F9:操作畫面
IR:影像分析結果
S110、S120、S130、S140、S41、S42、S43、S51、S52、S53、S61、S62、S63、S64、S65:步驟
O1、O2、O3:物件影像
OP42、OP43:程式模組
P9:微粒
第1圖繪示根據一實施例之人工智慧控制裝置的示意圖。
第2圖繪示根據一實施例之人工智慧控制方法的流程圖。
第3圖繪示操作畫面之一示例圖。
第4圖繪示步驟S140之一種實施態樣。
第5圖繪示程式模組OP42之實施態樣。
第6圖繪示程式模組OP43之實施態樣。
第7圖繪示操作畫面之另一示例圖。
第8圖繪示操作畫面之另一示例圖。
請參照第1圖，其繪示根據一實施例之人工智慧控制裝置100的示意圖。人工智慧控制裝置100例如是一伺服器、一叢集計算系統(cluster computing system)、或一電腦。人工智慧控制裝置100用以對製程設備900、800進行操控。製程設備900具有一使用者介面(user interface)910。使用者介面910例如是一觸控螢幕。操作人員可以在使用者介面910所顯示之操作畫面F9上點選指令方塊，以對製程設備900下達控制指令CM9。在本實施例中，人工智慧控制裝置100能夠對操作畫面 F9進行遠端分析，並依據分析結果直接下達控制指令CM9，而不需要操作人員的操作。
請參照第1圖，人工智慧控制裝置100包括一通訊單元110、一文字辨識單元120、一影像分析單元130及一指令提供單元140。通訊單元110用以透過網路700遠端連線至製程設備900，例如是一無線通訊模組、或一有線網路模組。文字辨識單元120用以對文字進行辨識，影像分析單元130用以對影像進行分析，指令提供單元140用以提供製程設備900之控制指令。文字辨識單元120、影像分析單元130及指令提供單元140例如是一電路、一晶片、一電路板或儲存數組程式碼之儲存裝置。以下係搭配一流程圖詳細說明人工智慧控制裝置100之運作方式。
請參照第2圖及第3圖，第2圖繪示根據一實施例之人工智慧控制方法的流程圖，第3圖繪示操作畫面F9之一示例圖。在步驟S110中，通訊單元110遠端連線至製程設備900，以接收操作畫面F9。在此步驟中，使用者介面910上之操作畫面F9係直接同步地傳輸至人工智慧控制裝置100。在一實施例中，通訊單元110可以每隔一預定時間(例如每秒鐘)接收操作畫面F9。或者，在另一實施例中，使用者介面910在操作畫面F9有更新時，才通知通訊單元110接收操作畫面F9。如第3圖所示，操作畫面F9上顯示操控按鈕B1、B2、文字C1及物件影像O1。
接著，在步驟S120中，文字辨識單元120以一文字辨識程序(character recognition)辨識操作畫面F9，以獲得一文字辨識結果CR。舉例來說，文字辨識結果CR例如是「Target Image」。由於操作畫面F9上所顯示之文字是由電腦軟體產生， 因此文字辨識結果CR之準確度相當的高。在一實施例中，文字辨識單元120可以預存操作畫面F9可能出現之所有文字，再利用此些文字進行比對，即可精準地獲得文字辨識結果CR。
然後，在步驟S130中，影像分析單元130以一影像分析程序(image analyzing)分析操作畫面F9，以獲得一影像分析結果IR。在一實施例中，影像分析程序可以分析出操作畫面F9上的物件影像、或者是操控按鈕B1、B2。影像分析程序更可針對物件影像分析物件影像之尺寸、物件影像之清晰度、物件影像之位置等資訊，例如是線路寬度、光罩圖案之清晰度等等。
上述步驟S120及步驟S130之順序並不侷限於第2圖之示例。在一實施例中，亦可先執行步驟S130，再執行步驟S120。或者，再另一實施例中，亦可同時執行步驟S120及步驟S130。
接著，在步驟S140中，指令提供單元140根據文字辨識結果CR或影像分析結果IR，提供控制指令CM9，以對製程設備900或使用者介面910自動進行控制。控制指令CM9例如是控制製程設備900去拍攝影像、卸載光罩、移動光罩等。或者，控制指令CM9例如是模擬使用者介面910被點選某一控制按鈕、或輸入某一字串。
在步驟S140中，指令提供單元140可以僅根據文字辨識結果CR產生控制指令CM9，指令提供單元140亦可以僅根據影像分析結果IR產生控制指令CM9。
步驟S140之進行方式可以透過物件導向程式設計(Object-oriented programming,OOP)的方式設計成有多種程式模組，以下舉例說明如下。
請參照第4圖，其繪示步驟S140之一種實施態樣。在步驟S41中，判斷文字辨識結果CR為第一文字或第二文字。若文字辨識結果CR為第一文字，則進入步驟S42；若文字辨識結果CR為第二文字，則進入步驟S43。
在步驟S42中，執行程式模組OP42(示例於第5圖)；在步驟S43中，執行程式模組OP43(示例於第6圖)。
請參照第5圖，其繪示程式模組OP42之實施態樣。在步驟S51中，判斷影像分析結果IR是否出現第一影像。若影像分析結果IR有出現第一影像，則進入步驟S52；若影像分析結果IR沒有出現第一影像，則進入步驟S53。
在步驟S52中，輸出第一控制指令；在步驟S53中，輸出第二控制指令。
請參照第6圖，其繪示程式模組OP43之實施態樣。在步驟S61中，判斷文字辨識結果CR為第三文字或第四文字。若文字辨識結果CR為第三文字，則進入步驟S62；若文字辨識結果CR為第四文字，則進入步驟S63。
在步驟S62中，判斷影像分析結果IR之尺寸是否符合標準。若尺寸符合標準，則進入步驟S64；若尺寸不符合標準，則進入步驟S65。
在步驟S63中，輸出第三控制指令；在步驟S64中，輸出第四控制指令；在步驟S65中，輸出第五控制指令。
上述步驟S140之實施態樣僅為示例，並非用以侷限本發明之範圍。透過步驟S140所提供之各種程式模組，即可快速提供對應之控制指令CM9。控制指令CM9經由通訊單元110提供至製程設備900進行操作後，即可再一次進行上述步驟S110~S140，以自動執行後續動作。
舉例來說，請參照第3圖，物件影像O1例如是半導體的放大影像。透過文字辨識程序，得知操作畫面F9存在「Target Image」時，即可自動再利用影像分析程序分析物件影像O1是否清晰。判斷物件影像O1是否分析之方法例如是透過邊界偵測演算法(edge detection)之差分運算法。若物件影像O1不夠清晰，則輸出「調整焦距」之控制指令CM9。
再舉一例來說，請參照第7圖，其繪示操作畫面F9之另一示例圖。物件影像O2例如是光罩的放大影像。利用影像分析程序分析出物件影像O2存在微粒P9後，自動判斷微粒P9是否位於影像視窗之邊緣。若微粒P9位於影像視窗之邊緣，則輸出「移動光罩載具」之控制指令CM9，以使微粒P9位於影像視窗之中央處。
再舉一例來說，請參照第8圖，其繪示操作畫面F9之另一示例圖。物件影像O3例如是線路的放大影像。利用影像分析程序分析線路之臨界尺寸(critical dimension)後，並輸出「上傳臨界尺寸至資料庫」之控制指令CM9。
透過上述實施例，製程設備之人工智慧控制裝置100與人工智慧控制方法利用人工智慧之文字辨識程序及影像分析程序對操作畫面F9進行分析，以提供正確的控制指令CM9給製 程設備900，有效提供產品的良率，避免製程設備故障，並增進製程效率。
此外，上述人工智慧控制裝置100係透過遠端控制進行操作，而能夠實現於多台製程設備，無需架設大量硬體即可實現。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:人工智慧控制裝置
110:通訊單元
120:文字辨識單元
130:影像分析單元
140:指令提供單元
700:網路
800:製程設備
900:製程設備
910:使用者介面
CM9:控制指令
CR:文字辨識結果
F9:操作畫面
IR:影像分析結果

Claims (12)

  1. 一種製程設備之人工智慧控制裝置，包括：一通訊單元，用以遠端連線至該製程設備，以接收一使用者介面之一操作畫面；一文字辨識單元，係以一文字辨識程序(character recognition)辨識該操作畫面，以獲得一文字辨識結果；一影像分析單元，係以一影像分析程序(image analyzing)分析該操作畫面，以獲得一影像分析結果；以及一指令提供單元，係依據該文字辨識結果，從二程式模組中選擇其中的一組來執行，各該程式模組係依據該文字辨識結果或該影像分析結果，從二控制指令中選擇其中的一個來輸出。
  2. 如請求項1所述之製程設備之人工智慧控制裝置，其中於該操作畫面改變時，該文字辨識單元執行該文字辨識程序，且該影像分析單元執行該影像分析程序。
  3. 如請求項1所述之製程設備之人工智慧控制裝置，其中該影像分析程序係分析一物件影像是否清晰。
  4. 如請求項1所述之製程設備之人工智慧控制裝置，其中該影像分析程序係分析一臨界尺寸(critical dimension)。
  5. 如請求項1所述之製程設備之人工智慧控制裝置，其中該影像分析程序係分析一微粒(particle)是否位於一影像視窗之邊緣。
  6. 如請求項1所述之製程設備之人工智慧控制裝置，其中該文字辨識單元重複執行該文字辨識程序，且該影像分析單元重複執行該影像分析程序。
  7. 一種製程設備之人工智慧控制方法，包括：遠端連線至該製程設備，以接收一使用者介面之一操作畫面；以一文字辨識程序(character recognition)辨識該操作畫面，以獲得一文字辨識結果；以一影像分析程序(image analyzing)分析該操作畫面，以獲得一影像分析結果；以及依據該文字辨識結果，從二程式模組中選擇其中的一組來執行，各該程式模組係依據該文字辨識結果或該影像分析結果，從二控制指令中選擇其中的一個來輸出。
  8. 如請求項7所述之製程設備之人工智慧控制方法，更包括：判斷該操作畫面是否改變；以及若該操作畫面改變，則執行該文字辨識程序及該影像分析程序。
  9. 如請求項7所述之製程設備之人工智慧控制方法，其中該影像分析程序係分析一物件影像是否清晰。
  10. 如請求項7所述之製程設備之人工智慧控制方法，其中該影像分析程序係分析一臨界尺寸(critical dimension)。
  11. 如請求項7所述之製程設備之人工智慧控制方法，其中該影像分析程序係分析一微粒(particle)是否位於一影像視窗之邊緣。
  12. 如請求項7所述之製程設備之人工智慧控制方法，其中該文字辨識程序及該影像分析程序係重複執行。
TW107121923A 2018-06-26 2018-06-26 製程設備之人工智慧控制裝置與方法 TWI818913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107121923A TWI818913B (zh) 2018-06-26 2018-06-26 製程設備之人工智慧控制裝置與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107121923A TWI818913B (zh) 2018-06-26 2018-06-26 製程設備之人工智慧控制裝置與方法

Publications (2)

Publication Number Publication Date
TW202001457A TW202001457A (zh) 2020-01-01
TWI818913B true TWI818913B (zh) 2023-10-21

Family

ID=69941991

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107121923A TWI818913B (zh) 2018-06-26 2018-06-26 製程設備之人工智慧控制裝置與方法

Country Status (1)

Country Link
TW (1) TWI818913B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739474B (zh) * 2020-06-11 2021-09-11 宏正自動科技股份有限公司 影像處理裝置、影像處理系統及影像處理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061023A1 (en) * 1991-12-23 2007-03-15 Hoffberg Linda I Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US8369967B2 (en) * 1999-02-01 2013-02-05 Hoffberg Steven M Alarm system controller and a method for controlling an alarm system
CN104395843A (zh) * 2012-06-19 2015-03-04 日本电能株式会社 自动操作系统及操作自动化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061023A1 (en) * 1991-12-23 2007-03-15 Hoffberg Linda I Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US8369967B2 (en) * 1999-02-01 2013-02-05 Hoffberg Steven M Alarm system controller and a method for controlling an alarm system
US9535563B2 (en) * 1999-02-01 2017-01-03 Blanding Hovenweep, Llc Internet appliance system and method
CN104395843A (zh) * 2012-06-19 2015-03-04 日本电能株式会社 自动操作系统及操作自动化方法

Also Published As

Publication number Publication date
TW202001457A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
TWI693564B (zh) 機台自動化管理系統及其方法
US11886892B2 (en) Machine learned retraining for detection of user interface controls via variance parameters
US11887388B2 (en) Object pose obtaining method, and electronic device
CN109407544B (zh) 非侵入式数据提取系统的仿真机台操作画面的系统模块
US20210365767A1 (en) Method and device for operator registration processing based on deep learning and electronic device
CN110851299A (zh) 自动化流程的异常排除方法、装置、设备及存储介质
CN109144304A (zh) 至少一个显示窗口布局调整及触控自动校准方法及系统
CN111857470B (zh) 一种生产设备的无人值守控制方法、装置和控制器
CN111738072A (zh) 目标检测模型的训练方法、装置及电子设备
TWI818913B (zh) 製程設備之人工智慧控制裝置與方法
JP7242812B2 (ja) 画像認識方法、装置及び電子機器
US20200066016A1 (en) System For Editing Monitor Script In Screen Image And Method Thereof
US20230419509A1 (en) Production line monitoring method and monitoring system thereof
KR101745330B1 (ko) 사무/공장 자동화를 위한 컴퓨터 입력 시스템
US20210063984A1 (en) Semiconductor equipment management method, electronic device, and non-transitory computer readable storage medium
US20230110483A1 (en) System and method for factory automation and enhancing machine capabilities
Pan et al. Research on functional test of mobile app based on robot
CN112819760A (zh) 一种图像检测方法、装置和系统
US20240142932A1 (en) Script creation method for robot process automation and electronic device using the same
TWI802163B (zh) 基於腳本的控制系統和控制方法
TWI767590B (zh) 用於多部電子計算裝置的機器人流程自動化裝置及機器人流程自動化方法
CN116185411B (zh) Rpa界面的确定方法、装置、计算机设备及存储介质
CN112395910A (zh) 临界尺寸扫描电子显微镜的控制系统与控制方法
CN116051868B (zh) 一种面向windows系统的界面元素识别方法
JP6417698B2 (ja) アプリケーション検査装置及びアプリケーション検査プログラム