KR102319668B1 - Remote control system for semiconductor manuacturing equipment using deep learning - Google Patents
Remote control system for semiconductor manuacturing equipment using deep learning Download PDFInfo
- Publication number
- KR102319668B1 KR102319668B1 KR1020200107605A KR20200107605A KR102319668B1 KR 102319668 B1 KR102319668 B1 KR 102319668B1 KR 1020200107605 A KR1020200107605 A KR 1020200107605A KR 20200107605 A KR20200107605 A KR 20200107605A KR 102319668 B1 KR102319668 B1 KR 102319668B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- image signal
- processing
- image
- data
- Prior art date
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 67
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 23
- 238000013500 data storage Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24015—Monitoring
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2602—Wafer processing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2609—Process control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 반도체 설비의 원격 제어 시스템에 관한 것이며, 반도체 설비 내 통신망의 상태가 좋지 않을 경우에도 반도체 설비의 원활한 모니터링 및 제어가 가능하도록 검출률을 높일 수 있는 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템에 관한 것이다.The present invention relates to a remote control system for a semiconductor facility, and a remote control system for a semiconductor facility using a deep learning technique that can increase the detection rate to enable smooth monitoring and control of the semiconductor facility even when the communication network in the semiconductor facility is not in good condition is about
반도체 설비의 작동 유무, 공정 진행 관련 정보, 알람 등에 관한 정보를 실시간으로 모니터링하여 적절한 조치를 취할 필요가 있다. 이를 위해, 반도체 설비를 원격으로 제어하는 시스템이 다수 개발된 바 있다.It is necessary to take appropriate measures by monitoring information on whether semiconductor equipment is operating, process progress-related information, and alarms in real time. To this end, a number of systems for remotely controlling semiconductor equipment have been developed.
반도체 설비의 원격 제어 시스템에 관한 예들로는, 대한민국공개특허 제10-2019-0019775호(반도체장비의 원격제어시스템, 이하 '선행기술 1'), 대한민국등록특허 제10-1458433호(반도체 자동화 설비 실시간 원격 제어 시스템, 이하 '선행기술 2'), 대한민국등록특허 제10-1307583호(반도체 장비 영상처리에 따른 원격제어 및 장비 성능관리 시스템, 그 구동방법, 이하 '선행기술 3') 등이 있다. 선행기술 1은, 반도체 장비의 가동상태 및 알람유무를 원격지에서 모니터링하고 제어할 수 있는 원격제어시스템에 관한 기술을 개시하고 있으며, 선행기술 2는 반도체 자동화 설비의 가동상태를 실시간으로 모니터링하고, IP를 공유가 가능하도록 하여, USB/PS2 포트를 지원하지 않는 반도체 자동화 설비도 원격지 컴퓨터의 마우스를 통해 원격 제어 신호 전달이 가능하고, 별도의 IP 할당 작업 없이 반도체 자동화 설비의 동작을 모니터링 또는 제어하는 신호를 실시간으로 전달할 수 있는 반도체 자동화 설비 실시간 원격 제어 시스템에 관한 기술을 개시하고 있다. 또한, 선행기술 3은 반도체 장비가 설치된 지정장소에서만 반도체 장비를 관리감독하는 것에 국한되지 않고 인터넷망을 통해 동영상 정보와 장비제어 프로그램 UI의 화상을 볼 수 있는 곳이라면 어디든 반도체 장비를 원격 제어할 수 있는 기술을 개시하고 있다.Examples of remote control systems for semiconductor equipment include Korean Patent Application Laid-Open No. 10-2019-0019775 (remote control system of semiconductor equipment, hereinafter 'prior art 1'), Republic of Korea Patent No. 10-1458433 (semiconductor automation equipment real-time) Remote control system, hereinafter 'prior art 2'), Republic of Korea Patent No. 10-1307583 (remote control and equipment performance management system according to semiconductor equipment image processing, its driving method, hereinafter 'prior art 3'), and the like. Prior art 1 discloses a technology related to a remote control system capable of remotely monitoring and controlling the operation status of semiconductor equipment and the presence or absence of an alarm, and prior art 2 discloses a real-time monitoring of the operation status of semiconductor automation equipment, and IP can be shared, so that even semiconductor automation equipment that does not support USB/PS2 ports can transmit remote control signals through the mouse of a remote computer. Disclosed is a technology related to a real-time remote control system for semiconductor automation equipment that can transmit in real time. In addition, prior art 3 is not limited to managing and supervising semiconductor equipment only at a designated place where the semiconductor equipment is installed, and can remotely control semiconductor equipment wherever video information and images of the equipment control program UI can be viewed through the Internet network. technology is disclosed.
상기 선행기술들은, 반도체 설비(장비)의 영상 출력부에서 제공되는 영상을 영상처리부에서 원격지 컴퓨터에서 처리할 수 있는 영상데이터로 처리하여(적절히 압축 처리되거나 비압축 처리되어), 이를 통해 원격지 컴퓨터에서 반도체 설비를 원격 조작할 수 있게 되어 있다.The prior art processes an image provided from an image output unit of a semiconductor facility (equipment) into image data that can be processed by a remote computer in the image processing unit (suitably compressed or uncompressed), and through this, the remote computer It is possible to remotely operate semiconductor equipment.
하지만, 상기 선행기술들은, 반도체 설비들과 연결된 통신망의 상태가 좋지 않을 경우, 영상데이터의 처리 또는 전송이 원활하지 않아서, 반도체 설비에 대한 정확한 모니터링 및 관리에 어려움을 겪게 하는 원인이 되고 있다. 일반적으로, 클린룸 내의 특수성에 기인하여, 유선통신망을 통해 반도체 설비들 및 로컬 단말기들과 연결되고, 외부의 서버 등과도 허브 등을 통해 유선으로 연결되어 있으므로, 위와 같이, 유선 통신망의 상태가 좋지 않을 경우에는, 검출률(영상데이터를 통해, 모니터링 대상이되는 반도체 설비에서 발생하는 각종 이벤트 횟수 대비, 원격지 컴퓨터에서 이를 정확히 검출할 수 있는 횟수)이 줄어드는 원인이 된다.However, in the prior art, when the state of the communication network connected to the semiconductor equipment is not good, processing or transmission of image data is not smooth, which causes difficulties in accurate monitoring and management of the semiconductor equipment. In general, due to the specificity in the clean room, it is connected to semiconductor facilities and local terminals through a wired communication network, and is also connected to an external server by wire through a hub, etc., so the state of the wired communication network is not good. Otherwise, the detection rate (through image data, the number of events that can be accurately detected by a remote computer compared to the number of various events occurring in the semiconductor facility to be monitored through image data) is reduced.
본 발명이 해결하고자 하는 과제는, 반도체 설비를 원격 제어 시스템에 있어서, 반도체 설비에 연결된 유선 통신망의 상태가 좋지 않을 경우 검출률 저하를 줄일 수 있도록 하는, 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템을 제공하는 것이다.The problem to be solved by the present invention is to provide a remote control system for a semiconductor facility using a deep learning technique in a remote control system for a semiconductor facility, which can reduce a decrease in the detection rate when the state of a wired communication network connected to the semiconductor facility is not good. will provide
상기 과제를 해결하기 위한 본 발명의 일 양상에 따른 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템은, 반도체 설비 측으로부터 제공되는 영상 신호를 수집하고, 수집된 영상 신호로부터 텍스트 데이터를 생성하는 로컬 처리 모듈, 작업자로부터 제어 신호를 입력받는 원격 단말기, 상기 로컬 처리 모듈에 의해 수집된 영상 신호 및 상기 텍스트 데이터를 저장하는 서버, 그리고, 상기 로컬 처리 모듈, 상기 원격 단말기 및 상기 서버 간을 연결하는 통신 네트워크 를 포함하며, 상기 로컬 처리 모듈은, 상기 반도체 설비 측으로부터 제공되는 영상 신호를 수신하는 영상 신호 수신부와, 상기 영상 신호를 캡쳐한 후 텍스트 데이터화하는 텍스트 데이터 생성부, 상기 원격 단말기를 통해 입력되는 제어 신호에 의존하여 소정의 인터페이스에 적합하도록 영상 신호를 스케일링하는 영상 스케일링부와, 상기 영상 스케일링부에 의해 스케일링된 영상 신호를 송신하기 위한 영상 신호 송신부, 상기 원격 단말기를 통해 입력되는 제어 신호를 처리하기 위한 입력 제어 신호 처리부와, 상기 원격 단말기를 통해 입력되는 제어 신호에 의존하여 상기 반도체 설비 측으로 출력되는 제어 신호를 처리하기 위한 출력 제어 신호 처리부와, 상기 영상 신호 수신부에 의해 수신되는 영상 신호를 컨버팅하는 중앙 처리부를 포함하고, 상기 서버는, 상기 텍스트 데이터 생성부에 의해 텍스트화된 데이터를 상기 통신 네트워크를 통해 수신하여 저장하는 빅데이터 저장부와, 상기 빅데이터 저장부에 저장된 텍스트화된 데이터를 빅데이터로 활용가능하도록 처리하고 통합된 형식의 데이터로 변환하여 상기 빅데이터 저장부에 저장하는, 빅데이터 처리 플랫폼과, 상기 빅데이터 처리 플랫폼에서의 처리 및 변환에 관여하는 처리 프로그램과, 상기 빅데이터 저장부에 저장된 빅데이터에 대하여 딥러닝을 수행하는 딥러닝 플랫폼을 포함하는 것을 특징으로 한다.A remote control system for a semiconductor facility using a deep learning technique according to an aspect of the present invention for solving the above problem collects an image signal provided from a semiconductor facility side, and local processing for generating text data from the collected image signal A module, a remote terminal receiving a control signal from an operator, a server storing the image signal and the text data collected by the local processing module, and a communication network connecting the local processing module, the remote terminal, and the server wherein the local processing module comprises: an image signal receiving unit for receiving the image signal provided from the semiconductor equipment side; a text data generating unit for capturing the image signal and converting it into text data; and a control inputted through the remote terminal. An image scaling unit for scaling an image signal to be suitable for a predetermined interface depending on the signal, a video signal transmitting unit for transmitting the image signal scaled by the image scaling unit, and processing a control signal input through the remote terminal an input control signal processing unit for processing a control signal output to the semiconductor equipment depending on a control signal input through the remote terminal; a central processing unit, wherein the server receives and stores the text-ized data by the text data generating unit through the communication network; A big data processing platform, which is processed to be usable as data, converted into data in an integrated format and stored in the big data storage unit, a processing program involved in processing and transformation in the big data processing platform, and the big data It is characterized in that it includes a deep learning platform that performs deep learning on the big data stored in the storage unit.
일 실시예에 따라, 상기 반도체 설비는 복수 개이고, 상기 영상 신호 수신부는, CRT 모니터, SDI, VGA, HDMI 및 CVBS 인터페이스를 통해 상기 반도체 설비측으로부터 입력 영상 신호를 수신한다.According to an embodiment, the semiconductor equipment is plural, and the image signal receiver receives an input image signal from the semiconductor equipment side through a CRT monitor, SDI, VGA, HDMI and CVBS interfaces.
일 실시예에 따라, 상기 영상 스케일링부는, 상기 반도체 설비측으로부터 입력되는 영상 신호를, CRT 모니터, SDI, VGA 및 CVBS 인터페이스에 대응하도록 스케일링한다.According to an embodiment, the image scaling unit scales the image signal input from the semiconductor equipment side to correspond to a CRT monitor, SDI, VGA, and CVBS interfaces.
일 실시예에 따라, 상기 텍스트 데이터 생성부에 의해 생성된 텍스트 데이터는, 상기 통신 네트워크를 통해 상기 서버로 전송된다.According to an embodiment, the text data generated by the text data generating unit is transmitted to the server through the communication network.
일 실시예에 따라, 상기 텍스트 데이터 생성부에 의해 생성된 텍스트 데이터는, 캡쳐된 영상에서 일부 영역에 대하여만 지정되어 텍스트 데이터화된 것이다.According to an exemplary embodiment, the text data generated by the text data generating unit is designated for only a partial region of a captured image and converted into text data.
본 발명은 텍스트(Text) 기반의 데이터 전송 알고리즘과 영상 기반의 데이터 전송 알고리즘을 모두 갖추어 딥러닝 기법을 이용하는 반도체 설비의 원격 제어 시스템을 제공함으로써, 반도체 설비에 연결된 유선 통신망의 상태가 좋지 않을 경우에도 검출률을 높일 수 있는 효과가 있다.The present invention provides a remote control system for a semiconductor facility using a deep learning technique with both a text-based data transmission algorithm and an image-based data transmission algorithm, even when the state of a wired communication network connected to the semiconductor facility is not good. It has the effect of increasing the detection rate.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템의 블록도이고,
도 2는 도 1의 로컬 처리 모듈에서 입력 슬롯 모듈을 나타내는 도면이고,
도 3은 도 1의 로컬 처리 모듈에서 인터페이스 블록을 나타내는 도면이고,
도 4는 도 1에서 서버의 구성 블록도이다.1 is a block diagram of a remote control system for a semiconductor facility using a deep learning technique according to an embodiment of the present invention;
Figure 2 is a view showing an input slot module in the local processing module of Figure 1,
3 is a diagram illustrating an interface block in the local processing module of FIG. 1;
4 is a configuration block diagram of the server in FIG. 1 .
이하에서는 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 첨부된 도면들 및 실시예들에 관한 설명은 이 기술 분야에서 통상의 지식을 가진 자로 하여금 본 발명에 대한 이해를 돕기 위한 의도로 간략화되고 예시된 것임에 유의하여야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the accompanying drawings and the description of the embodiments are simplified and illustrated for the purpose of helping those of ordinary skill in the art to understand the present invention.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템의 블록도이고, 도 2는 도 1의 로컬 처리 모듈에서 입력 슬롯 모듈을 나타내는 도면이고, 도 3은 도 1의 로컬 처리 모듈에서 인터페이스 블록을 나타내는 도면이고, 도 4는 도 1에서 서버의 구성 블록도이다.1 is a block diagram of a remote control system of a semiconductor facility using a deep learning technique according to an embodiment of the present invention, FIG. 2 is a view showing an input slot module in the local processing module of FIG. 1, and FIG. 3 is FIG. It is a diagram showing an interface block in the local processing module of , and FIG. 4 is a configuration block diagram of the server in FIG. 1 .
도 1을 참조하면, 본 발명의 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템은, 반도체 설비(10) 측으로부터 제공되는 영상 신호를 수집하고, 수집된 영상 신호로부터 텍스트 데이터를 생성하는 로컬 처리 모듈(110), 작업자로부터 제어 신호를 입력받는 원격 단말기(130), 로컬 처리 모듈(110)에 의해 수집된 영상 신호 및 텍스트 데이터를 저장하는 서버(140), 그리고 로컬 처리 모듈(110), 원격 단말기(130) 및 서버(140) 간의 통신을 허용하는 통신 네트워크(120)를 포함한다.Referring to FIG. 1 , the remote control system of a semiconductor facility using the deep learning technique of the present invention collects an image signal provided from the
반도체 설비(10)에는 로컬 단말기(12)가 연결되어 있어 로컬 사이트에서 작업을 수행할 수도 있다. 반도체 설비(10)는 하나로만 도시되어 있으나, 복수 개인 것이 일반적이다.Since the
도 2를 참조하면, 로컬 처리 모듈(110)은, 반도체 설비(10) 측으로부터 제공되는 영상 신호를 수신하는 영상 신호 수신부(111), 영상 신호를 캡쳐한 후 텍스트 데이터화하는 텍스트 데이터 생성부(117), 원격 단말기(130)를 통해 입력되는 제어 신호에 의존하여 소정의 인터페이스에 적합하도록 영상 신호를 스케일링하는 영상 스케일링부(112), 영상 스케일링부(112)에 의해 스케일링된 영상 신호를 송신하기 위한 영상 신호 송신부(114), 원격 단말기(130)를 통해 입력되는 제어 신호를 처리하기 위한 입력 제어 신호 처리부(113), 원격 단말기(130)를 통해 입력된느 제어 신호에 의존하여 반도체 설비(10) 측으로 출력되는 제어 신호를 처리하기 위한 출력 제어 신호 처리부(114), 및 영상 신호 수신부(111)에 의해 수신되는 영상 신호를 컨버팅하는 중앙 처리부(116)를 포함한다.Referring to FIG. 2 , the
영상 신호 수신부(111)에서는 반도체 설비(10)로부터 영상 신호를 수신한다. 영상 신호 수신부(111)는, CRT(Cathode Ray Tube) 모니터, SDI(Serial Digital Interface), VGA(Video Graphics Array), HDMI(High-Definition Multimieas Interface) 및 CVBS(Composite Video Banking Sync) 등의 인터페이스를 통해 원 영상 신호를 수신하는 부분이다.The image
영상 스케일링부(112)는, 입력되는 영상 신호를 스케일링하는 부분으로서, 원격 단말기(130)를 통해 입력되는 제어 신호에 의존하여, CRT 모니터, SDI, VGA, HDMI 및 CVBS 등의 인터페이스에 적합하게 영상 신호를 스케일링한다. 여기서, 스케일링(scaling)이라 함은, 사용자 데스크 측, 즉 원격 단말기(130)에 대하여 분할 화면을 디스플레이하도록 하기 위한 영상 데이터을 생성하는 것을 의미한다. 다시 말해, 디스플레이 환경에 맞도록 적절히 영상 데이터를 분할하여 디스플레이될 수 있도록 분할된 영상 데이터를 생성하는 것을 의미한다. 영상 스케일링부(112)는, 속도 개선을 위해, FPGA와 DDR3을 이용하여 구성함으로써, 입/출력 영상을 원하는 해상도를 갖는 영상으로 적절히 변형할 수 있으며, 변환시 영상 지연을 최소화하기 위해 프레임(Frame) 단위의 영상 변환이 아닌 4 버티컬 라인 별로 스케일링을 할 수 있다. 이렇게 함으로써, 영상 변환의 지연을 최소화할 수 있다.The
영상 신호 송신부(114)는 영상 스케일링부(112)에 의해 스케일링된 신호를 CRT, SDI, VGA, HDMI 및 CVBS 등의 인터페이스에 적합하게 영상 신호를 송신하기 위한 부분으로서, 송신된 영상 신호는 로컬 단말기(12), 원격 단말기(130), 서버(140) 또는 영상 신호의 출력을 요청하는 별도의 영상 신호 출력부(미도시)를 통해 출력된다.The image
입력 제어 신호 처리부(113)는, 원격 단말기(130)를 통해 입력되는 입력 제어 신호를 처리하기 위한 부분이고, 출력 제어 신호 처리부(115)는 반도체 제조 설비(10) 측으로 출력되는 출력 제어 신호를 처리하기 위한 부분으로서, 입력 제어 신호 처리부(113)와 출력 제어 신호 처리부(115)에 따라, 반도체 설비(10)가 제어될 수 있다.The input control
중앙 처리부(116)는, 원 영상 신호, 즉 영상 신호 수신부(111)에서 수신한 영상 신호를 컨버팅하고, 이러한 원 영상 신호의 송신, 로컬 단말기(12)로부터의 로컬 제어 신호 핸들링, 원격 단말기(130)로부터의 원격 제어 신호 핸들링, 제어 신호의 스위칭 등에 전반적으로 관여한다.The
텍스트 데이터 생성부(117)에 의해 생성된 텍스트 데이터는, 통신 네트워크(120)를 통해 서버(140)로 전송된다. 그리고 텍스트 데이터 생성부(117)에 의해 생성된 텍스트 데이터는, 캡쳐된 영상에서 일부 영역에 대하여만 지정되어 텍스트 데이터화될 수 있다. 즉, 캡쳐된 영상을 영상 처리 기술을 통해 특정 영역 혹은 전체 영상에서 지정된 특징을 찾아서 텍스트 데이터화함으로써 네트워크 대역폭(Network Bandwidth)를 줄임으로써, 서버(140)의 전체적인 부하를 줄일 수 있다. 뿐만 아니라, 캡쳐된 영상에 대한 처리(스케일링이나 송수신)에 있어서, 압축된 영상을 이용하는 경우에는 영상의 왜곡이 발생할 가능성이 높으므로, 캡쳐된 영상에 대한 스케일링 또는 송수신의 경우, 캡쳐된 영상, 즉 원 데이터를 그대로 이용하여 처리하여야 하는데, 이로 인해 처리 속도가 늦어지는 문제점이 발생하므로, 이러한 문제를 해결하기 위해, 캡쳐된 영상 데이터를 텍스트 기반으로 저용량 정보 데이터로 변환하는 것과 더불어, 원 데이터를 적절히 필터링하고, 추가적으로 처리 속도의 개선을 위해 CPU 레벨이 아닌 FPGA에서 영상을 처리할 수 있다. 텍스트 데이터, 또는 텍스트 데이터화라는 것은, 문자 코드만으로 이루어진 데이터 또는 문자 코드만으로 이루어진 데이터로의 변환을 의미하는 것이며, 앞서 언급한 바와 같이, 네트워크 대역폭을 대폭줄일 수 있고 서버(140)의 부하를 줄일 수 있으며, 딥러닝을 가능하게 한다. 또한, 노후화된 반도체 설비 및 기존이 설비들은 다양한 영상 출력(CVBS, CRT, VGA, SOG, Component, DVI, HDMI, DisplayPort, HDBaseT 등)을 지니므로, 텍스트 데이터 생성부(117)에서의 영상 캡쳐 및 영상 컨버팅이 가능하도록 하여야 한다.The text data generated by the text
또한, 도 3의 인터페이스 블록도에 도시된 바와 같이, CRT, CVBS, VGA, SOG, DVI, HDMI, HDBaseT, 디스플레이포트(DisplayPort), 각종 컴포넌트(Component) 등의 인터페이스를 통해 송수신되는 다양한 신호를 메인 인터페이스에서 허용하는 단일 신호로 변환할 필요가 있다. In addition, as shown in the interface block diagram of FIG. 3, various signals transmitted and received through interfaces such as CRT, CVBS, VGA, SOG, DVI, HDMI, HDBaseT, DisplayPort, and various components are main It needs to be converted to a single signal allowed by the interface.
또한, 텍스트 데이터 생성부(117)에 의해 캡쳐되고 텍스트 데이터화된 데이터는 통신 네트워크(네트워크)를 통해 서버(140) 측으로 안전하게 전송될 수 있도록 하기 위해 네트워크 패킷화될 수 있다.In addition, data captured by the text
도 4를 참조하면, 서버(140)는, 빅데이터 저장부(141), 빅데이터 처리 플랫폼(142), 딥러닝 플랫폼(143) 및 처리 프로그램(144)을 포함한다.Referring to FIG. 4 , the
빅데이터 저장부(141)는, 텍스트 데이터 생성부(117)에 의해 텍스트화된 데이터를 통신 네트워크(120)를 통해 수신하여 저장한다.The big
빅데이터 처리 플랫폼(142)은 빅데이터 저장부(141)에 저장된 텍스트화된 데이터를 빅데이터로 활용가능하도록 처리하고 통합된 형식의 데이터로 변환하여 빅데이터 저장부(141)에 저장한다.The big
처리 프로그램(144)은, 빅데이터 처리 플랫폼(142)에서의 처리 및 변환에 관여한다.The
딥러닝 플랫폼(143)은, 빅데이터 저장부(141)에 저장된 빅데이터에 대하여 딥러닝을 수행한다.The
빅데이터 처리 플렛폼(142) 및 딥러닝 플랫폼(143)에서 '플랫폼' 이라는 용어의 의미는 별도의 하드웨어나 서버 등으로 구성될 수도 있고, 소프트웨어의 형태로 소정의 서버나 단말기에 설치될 수도 있다.The meaning of the term 'platform' in the big
또한, 딥러닝(Deep Learning)이라 함은 잘 알려진 바와 같이, 사물이나 데이터를 군집화하거나 분류하는데 사용하는 기술로서, 많은 데이터 속에서 패턴을 발견하여 인간이 사물이나 상황을 구분하고 파악하듯이 컴퓨터가 데이터를 분류하도록 하는 기술이다. 본 발명에서는, 반도체 설비 측으로부터 제공되는 영상 신호를 캡쳐하여 켭쳐된 영상을 텍스트 데이터화하며, 이들을 서버에 저장함으로써 빅데이터를 구축하고, 이들에 기반하여 딥러닝 기법으로 반도체 설비의 상태를 파악하여 원격 단말기를 통한 제어에 활용할 수 있게 된다.In addition, as is well known, deep learning is a technology used to cluster or classify objects or data. It discovers patterns in a lot of data so that computers can It is a technique for classifying data. In the present invention, the image signal provided from the semiconductor equipment is captured, the turned-on image is converted into text data, and big data is built by storing them in a server, and based on these, the state of the semiconductor equipment is grasped using a deep learning technique and remote control is performed. It can be used for control through the terminal.
텍스트 데이터 생성부(117)에서의 영상 캡쳐, 즉, 반도체 설비의 영상 캡쳐와 관련하여, 기존의 노후화된 설비의 경우 CRT 모니터의 라이트 펜 인터페이스로 운영되는 부분이 다수 존재하므로, 보편화된 USB 마우스나 키보드 신호를 라이트 펜 제어 신호로 재생성하여 사용하는 인터페이스로 변환할 수 있다. 예컨대, 라이트 펜 포지션 좌표를 영상의 수평 및 수직 주파수로 결정할 수 있다. 이를 위해 보다 정확한 기준 클럭의 생성이 필요한데, 싱크(Sync) 클럭 대비 100배 이상의 샘플링 클럭으로 카운팅하도록 FPGA 타이밍 미팅과 FPGA 디자인을 개선할 수 있다.In relation to image capture in the text
이상과 같이, 본 발명은 텍스트 기반의 데이터 전송 알고리즘과 영상 기반의 데이터 전송 알고리즘을 모두 갖춘 반도체 설비용 원격 제어 시스템을 제공함으로써, 반도체 설비에 연결된 유선 통신망의 상태가 비교적 좋지 않은 경우에도 검출가능하고, 텍스트 기반의 데이터 전송 알고리즘과 영상 기반의 데이터 전송 알고리즘을 함께 사용함으로써, 영상 기반의 데이터 전송 알고리즘만을 사용하는 것에 비해 10% 이상의 검출률을 높이는 효과가 있음을 확인하였다.As described above, the present invention provides a remote control system for semiconductor equipment having both a text-based data transmission algorithm and an image-based data transmission algorithm, so that it can be detected even when the state of a wired communication network connected to the semiconductor equipment is relatively poor. , it was confirmed that by using the text-based data transmission algorithm and the image-based data transmission algorithm together, there was an effect of increasing the detection rate by more than 10% compared to using only the image-based data transmission algorithm.
110 : 로컬 처리 모듈
120 : 통신 네트워크
130 : 원격 단말기
140 : 서버
141 : 빅데이터 저장부
142 : 빅데이터 처리 플랫폼
143 : 딥러닝 플랫폼
144 : 처리 프로그램110: local processing module
120: communication network
130: remote terminal
140 : server
141: big data storage unit
142: Big data processing platform
143: deep learning platform
144: processing program
Claims (5)
반도체 설비 측으로부터 제공되는 영상 신호를 수집하고, 수집된 영상 신호로부터 텍스트 데이터를 생성하는 로컬 처리 모듈;
작업자로부터 제어 신호를 입력받는 원격 단말기;
상기 로컬 처리 모듈에 의해 수집된 영상 신호 및 상기 텍스트 데이터를 저장하는 서버; 및
상기 로컬 처리 모듈, 상기 원격 단말기 및 상기 서버 간을 연결하는 통신 네트워크; 를 포함하며,
상기 로컬 처리 모듈은,
상기 반도체 설비 측으로부터 제공되는 영상 신호를 수신하는 영상 신호 수신부와, 상기 영상 신호를 캡쳐한 후 텍스트 데이터화하는 텍스트 데이터 생성부, 상기 원격 단말기를 통해 입력되는 제어 신호에 의존하여 소정의 인터페이스에 적합하도록 영상 신호를 스케일링하는 영상 스케일링부와, 상기 영상 스케일링부에 의해 스케일링된 영상 신호를 송신하기 위한 영상 신호 송신부, 상기 원격 단말기를 통해 입력되는 제어 신호를 처리하기 위한 입력 제어 신호 처리부와, 상기 원격 단말기를 통해 입력되는 제어 신호에 의존하여 상기 반도체 설비 측으로 출력되는 제어 신호를 처리하기 위한 출력 제어 신호 처리부와, 상기 영상 신호 수신부에 의해 수신되는 영상 신호를 컨버팅하는 중앙 처리부를 포함하고,
상기 서버는, 상기 텍스트 데이터 생성부에 의해 텍스트화된 데이터를 상기 통신 네트워크를 통해 수신하여 저장하는 빅데이터 저장부와, 상기 빅데이터 저장부에 저장된 텍스트화된 데이터를 빅데이터로 활용가능하도록 처리하고 통합된 형식의 데이터로 변환하여 상기 빅데이터 저장부에 저장하는, 빅데이터 처리 플랫폼과, 상기 빅데이터 처리 플랫폼에서의 처리 및 변환에 관여하는 처리 프로그램과, 상기 빅데이터 저장부에 저장된 빅데이터에 대하여 딥러닝을 수행하는 딥러닝 플랫폼을 포함하는 것을 특징으로 하는, 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템.
A remote control system for semiconductor equipment using deep learning techniques, comprising:
a local processing module for collecting an image signal provided from a semiconductor equipment side and generating text data from the collected image signal;
a remote terminal receiving a control signal from an operator;
a server for storing the image signal and the text data collected by the local processing module; and
a communication network connecting the local processing module, the remote terminal, and the server; includes,
The local processing module,
An image signal receiving unit for receiving the image signal provided from the semiconductor equipment side, a text data generating unit for capturing the image signal and converting it into text data, and a control signal input through the remote terminal to fit a predetermined interface An image scaling unit for scaling an image signal, an image signal transmitting unit for transmitting the image signal scaled by the image scaling unit, an input control signal processing unit for processing a control signal input through the remote terminal, and the remote terminal an output control signal processing unit for processing a control signal output to the semiconductor equipment depending on a control signal input through
The server includes a big data storage unit for receiving and storing textualized data by the text data generating unit through the communication network, and processing the textualized data stored in the big data storage unit to be usable as big data and a big data processing platform, which is converted into data in an integrated format and stored in the big data storage unit, a processing program involved in processing and transformation in the big data processing platform, and big data stored in the big data storage unit A remote control system of a semiconductor facility using a deep learning technique, characterized in that it includes a deep learning platform for performing deep learning with respect to.
상기 반도체 설비는 복수 개이고, 상기 영상 신호 수신부는, CRT 모니터, SDI, VGA, HDMI 및 CVBS 인터페이스를 통해 상기 반도체 설비측으로부터 입력 영상 신호를 수신하는 것을 특징으로 하는, 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템.
The method according to claim 1,
The semiconductor equipment is plural, and the image signal receiving unit receives an input image signal from the semiconductor equipment side through a CRT monitor, SDI, VGA, HDMI and CVBS interface. remote control system.
상기 영상 스케일링부는, 상기 반도체 설비측으로부터 입력되는 영상 신호를, CRT 모니터, SDI, VGA 및 CVBS 인터페이스에 대응하도록 스케일링하는 것을 특징으로 하는, 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템.
3. The method according to claim 2,
The image scaling unit, a remote control system of a semiconductor facility using a deep learning technique, characterized in that for scaling the image signal input from the semiconductor facility side to correspond to a CRT monitor, SDI, VGA and CVBS interface.
상기 텍스트 데이터 생성부에 의해 생성된 텍스트 데이터는, 상기 통신 네트워크를 통해 상기 서버로 전송되는 것을 특징으로 하는, 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템.
4. The method according to claim 3,
The text data generated by the text data generating unit is a remote control system for a semiconductor facility using a deep learning technique, characterized in that it is transmitted to the server through the communication network.
상기 텍스트 데이터 생성부에 의해 생성된 텍스트 데이터는, 캡쳐된 영상에서 일부 영역에 대하여만 지정되어 텍스트 데이터화된 것임을 특징으로 하는, 딥러닝 기법을 이용한 반도체 설비의 원격 제어 시스템.
5. The method according to claim 4,
The text data generated by the text data generator is a remote control system of a semiconductor facility using a deep learning technique, characterized in that it is designated as text data only for a partial area in the captured image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200107605A KR102319668B1 (en) | 2020-08-26 | 2020-08-26 | Remote control system for semiconductor manuacturing equipment using deep learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200107605A KR102319668B1 (en) | 2020-08-26 | 2020-08-26 | Remote control system for semiconductor manuacturing equipment using deep learning |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102319668B1 true KR102319668B1 (en) | 2021-11-02 |
Family
ID=78476347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200107605A KR102319668B1 (en) | 2020-08-26 | 2020-08-26 | Remote control system for semiconductor manuacturing equipment using deep learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102319668B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101307583B1 (en) | 2013-03-14 | 2013-09-12 | 주식회사 이즈솔루션 | Remote-control and device efficiency-management system according to imaging process a semiconductor device and drive method of the same |
KR101458433B1 (en) | 2013-10-22 | 2014-11-07 | (주)바론시스템 | Realtime remote control system and for automation equipment |
KR101655706B1 (en) * | 2015-11-24 | 2016-09-07 | 남규태 | Remote management system using transcoding technique |
KR20190019775A (en) | 2017-08-19 | 2019-02-27 | 최영일 | Remote Control System for Semiconductor Equipment |
-
2020
- 2020-08-26 KR KR1020200107605A patent/KR102319668B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101307583B1 (en) | 2013-03-14 | 2013-09-12 | 주식회사 이즈솔루션 | Remote-control and device efficiency-management system according to imaging process a semiconductor device and drive method of the same |
KR101458433B1 (en) | 2013-10-22 | 2014-11-07 | (주)바론시스템 | Realtime remote control system and for automation equipment |
KR101655706B1 (en) * | 2015-11-24 | 2016-09-07 | 남규태 | Remote management system using transcoding technique |
KR20190019775A (en) | 2017-08-19 | 2019-02-27 | 최영일 | Remote Control System for Semiconductor Equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105988711B (en) | Large-screen interactive system and its exchange method | |
JP2014236312A (en) | Setting device and setting method | |
US5544335A (en) | Processor for data transmitted in accordance with a plurality of transmission methods, which generates output data applicable to the output device | |
US9785265B2 (en) | Real-time remote control system for semiconductor automation equipment | |
TW201546698A (en) | Method of auto-recognizing for cursor in monitors | |
KR102319668B1 (en) | Remote control system for semiconductor manuacturing equipment using deep learning | |
KR102319665B1 (en) | Remote control system for semiconductor manuacturing equipment | |
KR20130096439A (en) | Remote monitoring and controlling system of semiconductor equipment | |
CN203279065U (en) | Multi-screen display NVR system | |
KR101035312B1 (en) | Apparatus of seperating multi-picture and remotely monitoring system using the same | |
JP4564802B2 (en) | Image overlay display system and method | |
CN114051120A (en) | Video alarm method, device, storage medium and electronic equipment | |
US7907142B2 (en) | Video tiling using multiple digital signal processors | |
CN118158206A (en) | Data processing method, server and terminal equipment | |
CN103297738A (en) | Network video recorder supporting multi-screen output | |
CN106210665B (en) | Remote host control method and system based on video acquisition | |
CN116824480A (en) | Monitoring video analysis method and system based on deep stream | |
KR102176723B1 (en) | Image processing appratus, display apparatus and method of controlling thereof | |
KR101540800B1 (en) | System for Monitoring Remote Image by Transmitting Uncompressed Video | |
KR20160011158A (en) | Screen sharing system and method | |
CN203279035U (en) | Multi-interface network hard disk video recorder | |
CN110996063A (en) | Device and system for monitoring television wall on picture | |
US20190227821A1 (en) | Remote operating system | |
CN104503727A (en) | Audio processing method and device based on KVM system, and server | |
CN110134263B (en) | Mouse signal transmission method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |