KR20200004823A - 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체 - Google Patents

디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체 Download PDF

Info

Publication number
KR20200004823A
KR20200004823A KR1020197034320A KR20197034320A KR20200004823A KR 20200004823 A KR20200004823 A KR 20200004823A KR 1020197034320 A KR1020197034320 A KR 1020197034320A KR 20197034320 A KR20197034320 A KR 20197034320A KR 20200004823 A KR20200004823 A KR 20200004823A
Authority
KR
South Korea
Prior art keywords
display screen
peripheral circuit
defect detection
screen peripheral
defect
Prior art date
Application number
KR1020197034320A
Other languages
English (en)
Other versions
KR102321768B1 (ko
Inventor
야웨이 웬
지아빙 렝
밍하오 리우
유린 쑤
장량 구오
쑤 리
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20200004823A publication Critical patent/KR20200004823A/ko
Application granted granted Critical
Publication of KR102321768B1 publication Critical patent/KR102321768B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513—Liquid crystal panels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32222—Fault, defect detection of origin of fault, defect of product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Nonlinear Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명의 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체에 따르면, 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함하고; 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하되, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 물체 검출 알고리즘 FAST RCNN 트레이닝을 수행하여 획득된 것이며; 상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하고; 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한다..상기 기술적 해결수단은 결함 검출 정확도가 높고, 시스템 성능이 우수하며, 업무 확장 능력이 높다.

Description

디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
본 발명은 결함 검출 기술에 관한 것으로서, 특히는 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체에 관한 것이다.
과학 기술의 발전에 따라, 정보 표시 기술이 사람들의 생활에서 점점 큰 작용을 하고 있으며, 디스플레이 스크린도 소형, 경량, 저소비전력, 고해상도, 고휘도 및 무기하학적 변형과 같은 다양한 특성을 구비하며 보편화 되어 있다. 하지만, 디스플레이 스크린의 생산 과정에서, 공정 및 환경의 원인으로 인하여 디스플레이 스크린 주변 회로에 디스플레이 결함, 예를 들어, 포인트 유형의 결함, 이물질 유형의 결함 및 스크래치 유형의 결함 등이 발생할 수 있다. 따라서, 디스플레이 스크린 주변 회로의 검출은 생산 과정에 있어서 중요한 일환이다.
종래기술에 따르면, 디스플레이 스크린 주변 회로 검출은 주로 인공 검출이거나 기계적으로 보조하는 인공 검출 방법을 사용하고 있다. 구체적으로, 인공 검출 방법은 분야의 전문가의 육안 관찰에 의해, 생산 환경에서 수집한 이미지를 기초로 판단한다. 기계적으로 보조하는 인공 검출 방법은 우선 분야의 전문가의 경험이 고착된 품질 검출 시스템을 이용하여 검출 대상인 디스플레이 스크린 주변 회로 이미지에 대해 검출하여, 결함이 존재하는 것으로 예측되는 이미지를 초보적으로 선별해낸 후, 분야의 전문가가 결함이 존재하는 것으로 예측되는 이미지에 대해 인공적으로 검출 및 판단한다.
하지만, 인공 검출 방법 또는 기계적으로 보조하는 인공 검출 방법을 물론하고, 모두 인간의 주관적 요인에 의해 많은 영향을 받으며, 검출 정확도가 낮고, 시스템 성능이 떨어지며, 업무 확장 능력이 부족하다.
본 발명은 인간의 주관적 요인으로 인하여, 검출 정확도가 낮고, 시스템 성능이 떨어지며, 업무 확장 능력이 부족하다는 기존의 디스플레이 스크린 주변 회로 결함 검출 방법의 문제점을 해결하기 위한 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체를 제공한다.
본 발명의 제1 측면에 따르면, 디스플레이 스크린 주변 회로 검출 방법을 제공하며, 상기 방법은,
디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함하는 단계;
상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하되, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지를 이용하여 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 획득된 것인 단계;
상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계; 및
상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계;를 포함한다.
선택 가능하게, 제1측면의 일 가능한 실시형태에 있어서, 상기 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계 이전에,
과거 결함 디스플레이 스크린 주변 회로 이미지의 실제 유형으로 상기 결함 검출 모델에 대해 상기 FAST RCNN 알고리즘 트레이닝을 수행하여, 상기 결함 검출 모델이 상기 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 출력한 예측 유형과 상기 실제 유형 사이의 손실값이 소정의 손실 임계값보다 작도록 하는 단계를 더 포함한다.
선택 가능하게, 제1측면의 다른 일 가능한 실시형태에 있어서, 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하는 단계 이전에,
상기 디스플레이 스크린 주변 회로 이미지에 대해 이미지 전처리를 수행하되, 상기 이미지 전처리는 에지 커팅, 전단, 회전 중 하나 또는 다수를 포함하는 단계를 더 포함한다.
선택 가능하게, 제1측면의 또 다른 일 가능한 실시형태에 있어서, 상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계는,
로드 밸런싱 전략을 기초로, 처리 리소스를 탑재한 검출 모델 서버를 결정하는 단계; 및
상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계;를 포함한다.
선택 가능하게, 제1측면의 또 다른 일 가능한 실시형태에 있어서, 상기 결함 검출 결과는 결함의 유형 및/또는 결함의 선택 박스 위치를 포함하고;
상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계는,
생산 단계 정보 및 상기 결함 검출 결과를 기초로, 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계를 포함한다.
선택 가능하게, 제1측면의 또 다른 일 가능한 실시형태에 있어서, 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계 이후에,
상기 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인되면,
컨트롤러를 통해 생산 관리자에게 경보 정보를 송신하는 작업;
컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장하는 작업;
컨트롤러를 통해 상기 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 작업;
상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화하는 작업; 중 하나 또는 다수의 작업을 수행하는 단계를 더 포함한다.
본 발명의 제2 측면에 따르면, 디스플레이 스크린 주변 회로 검출 장치를 제공하되, 상기 장치는,
디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함하는 수신모듈;
상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하되, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 획득된 것인 전처리 모듈;
상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 처리모듈; 및
상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 확인모듈;을 포함한다.
선택 가능하게, 제2측면의 일 가능한 실시형태에 있어서, 상기 처리모듈은 또한, 상기 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하기 전에, 과거 결함 디스플레이 스크린 주변 회로 이미지의 실제 유형으로 상기 결함 검출 모델에 대해 상기 FAST RCNN 알고리즘 트레이닝을 수행하여, 상기 결함 검출 모델이 상기 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 출력한 예측 유형과 상기 실제 유형 사이의 손실값이 소정의 손실 임계값보다 작도록 한다.
선택 가능하게, 제2측면의 다른 일 가능한 실시형태에 있어서, 상기 전처리 모듈은 또한, 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하기 전에 상기 디스플레이 스크린 주변 회로 이미지에 대해 이미지 전처리를 수행하되, 상기 이미지 전처리는 에지 커팅, 전단, 회전 중 하나 또는 다수를 포함한다.
선택 가능하게, 제2측면의 또 다른 일 가능한 실시형태에 있어서, 상기 처리모듈은 구체적으로 로드 밸런싱 전략을 기초로, 처리 리소스를 탑재한 검출 모델 서버를 결정하고; 상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득한다.
선택 가능하게, 제2측면의 또 다른 일 가능한 실시형태에 있어서, 상기 결함 검출 결과는 결함의 유형 및/또는 결함의 선택 박스 위치를 포함하고;
상기 확인모듈은 구체적으로 생산 단계 정보 및 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한다.
선택 가능하게, 제2측면의 또 다른 일 가능한 실시형태에 있어서, 상기 처리모듈은 또한, 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한 후, 만약 상기 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인되면,
컨트롤러를 통해 생산 관리자에게 경보 정보를 송신하는 작업;
컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장하는 작업;
컨트롤러를 통해 상기 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 작업;
상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화하는 작업; 중 하나 또는 다수의 작업을 수행한다.
본 발명의 제3 측면에 따르면, 전자기기를 제공하되, 상기 전자기기는 프로세서, 메모리 및 상기 메모리에 저장되며 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 포함하며, 상기 프로세서는 상기 프로그램을 실행할 때 상술한 제1측면 및 제1측면의 각 실시형태 중 어느 하나에 따른 방법을 수행한다.
본 발명의 제4 측면에 따르면, 저장매체를 제공하되, 상기 저장매체에 명령이 저장되고, 상기 명령이 컴퓨터 상에서 실행될 때, 컴퓨터가 제1측면 및 제1측면의 각 실시형태 중 어느 하나에 따른 방법을 수행하도록 한다.
본 발명의 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체에 따르면, 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함하고; 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하되, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 물체 검출 알고리즘 FAST RCNN 트레이닝을 수행하여 획득된 것이며; 상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하고; 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한다. 상술한 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 FAST RCNN 트레이닝을 수행하여 획득된 것으므로, 상기 결함 검출 모델을 이용하여 얻어진 결함 검출 결과의 분류 정밀도가 높고, 지능화 능력이 강하고, 시스템 성능이 향상되며, 업무 확장 능력이 높고, 인간의 주관적 요인의 영향이 비교적 크므로, 검출 정확도가 낮고, 시스템 성능이 떨어지며, 업무 확장 능력이 낮은 종래의 디스플레이 스크린 주변 회로 결함 검출 방법의 문제점을 해결한다.
도 1은 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 시스템의 구조도이다.
도 2는 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 방법 실시예 1의 흐름도이다.
도 3은 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 방법 실시예 2의 흐름도이다.
도 4는 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 장치 실시예의 구조도이다.
도 5는 본 발명의 실시예에 따른 전자기기 실시예의 구조도이다.
본 발명의 실시예에 따른 목적, 기술적 해결수단 및 이점이 보다 명확해지도록, 이하에서는 본 발명의 실시예에 따른 도면을 결합하여, 본 발명의 실시예에 따른 기술적 해결수단에 대해 명확하고 충분하게 기재한다. 물론, 기재되는 실시예는 본 발명의 일부 실시예일 뿐, 모든 실시예가 아니다. 본 발명의 실시예에 기반하여, 본 분야의 일반 기술자가 진보적 노력을 거치지 않고도 얻어진 모든 기타 실시예는 모두 본 발명의 보호 범위에 속한다.
본 발명의 다양한 실시예에서, 각 과정의 순번의 크기는 수행 순서의 선후를 의미하지 않으며, 각 과정의 수행 순서는 그 기능과 내재적 로직에 의해 결정되어야 하며, 본 발명의 실시예의 실시 과정에 대해 그 어떤 한정도 하지 않음을 이해하여야 한다.
본 발명에서, “포함”, “구비” 및 이들의 임의의 변형은 비배타적인 포함을 커버하기 위한 것으로서, 예를 들어, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 기기는 명확하게 나열된 단계 또는 유닛에 한정될 필요가 없으며, 명확하게 나열되지 않았거나 이러한 과정, 방법, 제품 또는 기기가 고유한 기타 단계 또는 유닛을 더 포함할 수 있음을 이해하여야 한다.
본 발명에서, "다수"는 둘 또는 둘 이상을 가리키는 것으로 이해되어 야 한다. "및/또는"은, 관련 대상의 관련 관계를 나타내는 것으로서, 세가지 관계가 존재할 수 있음을 나타내는 바, 예를 들어, 및/또는 B는 A만 존재하는 경우, A와 B가 모두 존재하는 경우, B만 존재하는 경우인 세가지 경우를 포함할 수 있다. 부호 "/"는 일반적으로 전후 관련 대상이 "또는"의 관계임을 나타낸다.
본 발명에서, “A와 대응되는 B”, “A와 B가 서로 대응” 또는 “B와 A가 서로 대응”은 B와 A가 서로 관련되며, A를 기초로 B를 확정할 수 있음을 나타낸다. A를 기초로 B를 확정한다는 것은 A만을 기초로 B를 확정하는 것을 가리키는 것이 아니라, A 및/또는 기타 정보를 기초로 B를 확정할 수도 있다. A와 B의 매칭은, A와 B의 유사도가 소정의 임계값 이상임을 나타낸다.
언어 환경에 따라, 예컨대 여기에서 사용되는 “만약”은 “?일 때” 또는 “?이면” 또는 “확정에 응답하여” 또는 “검출에 응답하여”로 해석될 수 있다.
현재, 3C 산업(3C 산업은 컴퓨터, 통신 및 소비성 전자 이 세가지 과학 기술 제품을 통합적으로 응용하는 인포매이션 가전 제품 산업을 가리킨다)의 전반적인 인텔리전트 자동화 정도가 낮으며, 핸드폰 스크린 등 디스플레이 스크린 주변 회로 분야에 대한 조사 연구에 따르면, 대부분 생산 업체에서 사용하는 핸드폰 스크린 검출 방식은 두가지, 즉 인공 검출 방법과 기계적으로 보조하는 인공 검출 방법으로 구분될 수 있다.
여기서, 인공 검출 방법은 분야의 전문가의 육안 관찰에 의해 생산 환경에서 수집한 이미지를 기초로 판단한다. 해당 방법은 인간의 주관적 요인에 의해 많은 영향을 받으며, 검출 효율이 비교적 낮고, 사람의 눈에 대한 손상이 비교적 크다. 한편, 디스플레이 스크린 주변 회로의 생산 현장은 일반적으로 클린 환경이므로, 작업자는 들어가기 전에 청결 준비를 하고, 클린복을 착용하여야 하며, 작업자의 건강과 안전에 악영향을 미칠수도 있다.
기계적으로 보조하는 인공 검출 방법은 액정 모듈 검출 기기 기반 검출 방법으로도 지칭될 수 있으며, 구체적인 원리에 따르면, 우선 일정한 판단 능력을 갖춘 품질 검출 시스템에서 결함이 존재하지 않는 이미지를 필터링한 후, 분야의 전문가가 결함이 존재하는 것으로 예측되는 이미지에 대해 검출 판단한다. 기계적으로 보조하는 인공 검출 방법에서, 품질 검출 시스템은 대부분 전문가 시스템와 특징 공정 시스템으로부터 발전되어 왔으며, 전문가가 경험을 품질 검출 시스템에 고착시켜, 일정한 자동화 능력을 갖추도록 한 것을 가리킨다. 따라서, 기계적으로 보조하는 인공 검출 방법은 정확도가 낮을 뿐만 아니라, 시스템 성능이 떨어지고, 생산 업체의 모든 검출 표준을 커버할 수 없을 뿐만 아니라, 이러한 방법은 효율이 낮고, 판단이 누락되거나 잘못 판단되기 쉽고, 검출 후의 이미지 데이터를 2차적으로 이용 발굴하기 어렵다. 한편, 상기 품질 검출 시스템에서, 특징과 판단 규칙은 모두 분야의 전문가의 경험을 기계에 고착시킨 것으로서, 업무의 발전에 따라 이터레이션되기 어려우므로, 생산 공정의 발전에 따라 품질 검출 시스템의 검출 정밀도가 점차 떨어지며, 심지어 전혀 사용할 수 없는 상태에 이를 수 있다. 한편, 품질 검출 시스템의 특징은 모두 제3의 공급자에 의해 하드웨어에 미리 고착되며, 업그레이드 시 생산 라인을 크게 변경시켜야 할 뿐만 아니라, 고가이며, 안전성, 규범화, 확장 가능성 등 면에서도 모두 현저한 단점이 존재하여, 디스플레이 스크린 주변 회로 생산 라인의 최적화 업그레이드에 불리하며, 업무 확장 능력이 낮다.
상기와 같이, 인공 검출 방법과 기계적으로 보조하는 인공 검출 방법은 모두 효율이 낮을 뿐만 아니라, 잘못 판단하기 쉬우며, 해당 두가지 방법에 의해 생성된 공업 데이터는 저장, 관리 및 2차 발굴 재사용이 어려운 문제점이 존재한다.
본 발명의 실시예는 컴퓨터 비전에서의 인공 인텔리전트 기술의 최신 발전을 기반으로, 자동화, 고정밀도, 적응형 수정 업그레이드하는 디스플레이 스크린 주변 회로 검출 방법을 연구 개발하여, 이미지 수집기가 디스플레이 스크린 주변 회로 생산 라인 상에서 실시간으로 수집한 디스플레이 스크린 주변 회로 이미지를 이용하여, 실시간으로 디스플레이 스크린 주변 회로의 표면 품질에 대해 검출 판단하고, 만약 현재 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로에 결함이 존재하는 것으로 검출되면, 이미지에서의 각종 결함의 선택 박스 위치 및 결함의 유형을 확인하며, 본 발명의 실시예는 동일한 유형의 결함에 대해 결함 객체를 구분하지 않는다.
선택적으로, 본 발명의 실시예에 따른 결함은 포인트 유형의 결함, 이물질 유형의 결함 및 스크래치 유형의 결함 등 다양한 유형의 결함을 포함할 수 있으나, 이에 한정되지 않으며, 여기서는 그 상세한 설명을 생략한다.
본 발명에서, 물체 검출 FAST RCNN 알고리즘은，이전의 딥 컨벌루션 뉴럴 네트워크 상에서 효과적인 분류 및 목표 검출을 수행한 기초 상에서 구축된다.
FAST RCNN가 실현하는 물체 검출은 물체의 경계 박스（bounding box）를 측위할 수 있으며, 예컨대, 결함을 구비하는 이미지에서， 결함의 경계 박스（일반적으로, 선택 박스로 표시）를 측위할 수 있을 뿐만 아니라, 경계 박스 내부의 물체가 어떤 유형의 결함인지를 식별해낼 수 있다. 본 발명에서 결함의 선택 박스는 결함의 경계 박스 위치를 측위하는 것을 가리킨다. 예를 들어, 측정 대상 이미지에서, 빨간색 박스로 스크래치 유형의 결함을 선정할 경우, 선정된 영역이 스크래치 유형이 결함이 존재하는 영역임을 나타내고, 빨간색 박스는 스크래치 유형의 결함에 대응되고, 기타 유형의 결함은 기타 상이한 칼라로 대응되게 표시할 수 있다.
이하, 구체적인 실시예를 통해 본 발명의 기술적 해결수단에 대해 상세하게 설명한다. 아래와 같은 몇개의 구체적인 실시예는 서로 결합될 수 있으며, 동일하거나 유사한 개념이거나 과정은 일부 실시예에서 그 구체적인 설명을 생략할 수도 있다.
이하, 우선 본 발명의 실시예가 적용되는 응용 장면에 대해 간략하게 설명한다. 도 1은 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 시스템의 구조도이다. 도 1에 도시된 시스템은 본 발명에 따른 디스플레이 스크린 주변 회로 검출 방법을 적용하여 디스플레이 스크린 주변 회로에 대해 결함 검출을 수행한다. 도 1에 도시된 바와 같이, 상기 디스플레이 스크린 주변 회로 검출 시스템은 주로, 제어부(12), 서버 그룹(13), 컨트롤러(14), 데이터 베이스(15), 트레이너(16) 및 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 이미지 수집기(11)를 포함한다.
여기서, 이미지 수집기(11)는 디스플레이 스크린 주변 회로 생산 라인 상의 디스플레이 스크린 주변 회로 이미지를 수집하고, 제어부(12)는 이미지 수집기(11)에서 수집한 디스플레이 스크린 주변 회로 이미지를 수신하여, 상기 디스플레이 스크린 주변 회로 이미지를 서버 그룹(13)에 포함된 검출 모델 서버(130)로 송신하고, 검출 모델 서버(130)는 수신된 디스플레이 스크린 주변 회로 이미지를 자신이 실행하는 결함 검출 모델에 입력하여 결함 검출 결과를 획득하고, 컨트롤러(14)는 검출 모델 서버(130)의 결함 검출 결과를 수신하고, 생산 단계 정보와 결합하여 업무 응답을 제공하며, 컨트롤러(14)는 또한 결함 검출 결과를 로그로서 데이터 베이스(15)에 저장할 수 있다. 한편, 이미지 수집기(11)에서 수집한 디스플레이 스크린 주변 회로 이미지는 결함 검출 모델 트레이닝을 위한 원본 데이터로서 직접 데이터 베이스(15)에 저장될 수도 있다. 트레이너(16)은 데이터 베이스로부터 과거 결함 디스플레이 스크린 주변 회로 이미지를 추출하여, FAST RCNN 알고리즘을 기반으로 트레이닝하여 결함 검출 모델을 획득한다.
선택적으로, 상술한 데이터 베이스(15)는 생산 데이터 베이스(151)와 트레이닝 데이터 베이스(152)를 포함할 수 있고, 생산 데이터 베이스(151)는 컨트롤러(14)로부터 송신되는 결함 검출 결과 및 이미지 수집기(11)에서 수집한 디스플레이 스크린 주변 회로 이미지를 수신 및 저장할 수 있으며, 트레이닝 데이터 베이스(152)는 생산 데이터 베이스(151)로부터 추출한 과거 결함 디스플레이 스크린 주변 회로 이미지 및 이에 대응되는 원본 디스플레이 스크린 주변 회로 이미지를 저장하여, 트레이너(16)에서 트레이닝하여 검출 정확도가 높은 결함 검출 모델을 획득하도록 할 수 있다.
선택적으로, 본 발명의 실시예에 따른 트레이너(16)는 하드웨어 및/또는 소프트웨어 기능으로 구현되는 트레이닝 엔진일 수 있으며, 결함 검출 모델을 트레이닝하는 툴로서 사용된다. 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 시스템은 프로세서, 메모리 등 기타 엔티티 모듈을 더 포함할 수 있으며, 본 실시예는 이에 한정되지 않는다.
도 2는 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 품질 검출 방법 실시예 1의 흐름도이다. 도 2에 도시된 방법의 실행 주체는 소프트웨어 장치이거나 하드웨어 장치일 수 있고, 소프트웨어와 하드웨어가 결합된 장치일 수도 있으며, 단계 S101 내지 단계 S104를 포함하며, 구체적으로는 아래와 같다.
S101: 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함한다.
선택적으로, 본 발명의 실시예에서, 디스플레이 스크린 주변 회로 생산 라인 상에 이미지 수집기, 제어부, 서버 그룹, 컨트롤러, 데이터 베이스 등 복수의 다양한 기가가 배치되어 있다. 이미지 수집기는 고정밀도 이미지 수집 카메라일 수 있으며, 디스플레이 스크린 주변 회로의 생산 과정에서 이미지 수집기의 각도, 광선, 필터, 확대렌즈, 초점 등을 조절하여, 생산 과정에서의 디스플레이 스크린 주변 회로에 대응되는 디스플레이 스크린 주변 회로 이미지를 복수개 수집할 수 있다.
디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에 의해 디스플레이 스크린 주변 회로 이미지가 수집된 후, 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부는 디스플레이 스크린 주변 회로 생산 라인 상의 결함 검출 모델을 구비하는 서버 그룹으로 품질 검출 요청을 송신할 수 있으며, 상기 품질 검출 요청은 서버 그룹 중에서 상기 품질 검출 요청을 수신한 서버가 수신된 디스플레이 스크린 주변 회로 이미지에 대해 처리하도록, 상기 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함한다.
S102, 상기 디스플레이 스크린 주변 회로 이미지를 확대하거나 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득한다.
S103, 상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득한다.
여기서, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지를 이용하여 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 얻어진 것이다. 물체 검출 FAST RCNN 트레이닝에 의해 얻어진 결함 검출 모델은 입력되는 이미지의 크기에 대한 요구가 있으므로, 입력 이미지의 크기가 모델 입력 요구의 크기와 불일치하면, 결함 검출 모델은 이를 처리할 수 없다. 디스플레이 스크린 주변 회로에 대해 검출할 때, 전반 이미지에 표시되는 라인의 주향, 권선 형상은 존재할 가능성이 있는 결함 문제를 더욱 잘 나타낼 수 있다. 따라서, 본 실시예에서는 결함 검출 모델에 입력하기 전에, 우선 디스플레이 스크린 주변 회로 패턴에 대해 축소 처리를 수행하여, 검출 대상 이미지의 크기를 결함 검출 모델의 입력 크기 요구와 일치시킨다.
디스플레이 스크린 주변 회로 이미지를 확대하거나 축소한다는 것은, 해상도가 변하지 않는 확대 또는 축소로 이해될 수 있으며, 해상도가 감소되는 확대 또는 축소로 이해될 수도 있다. 해상도가 지나치게 높으면, 결함 검출 모델의 처리 능력을 초과할 수 있으므로, 디스플레이 스크린 주변 회로 이미지의 해상도가 자나치게 높을 경우, 우선 디스플레이 스크린 주변 회로 이미지에 대해 해상도 감소 처리를 수행할 수 있으며, 여기서는 한정하지 않는다.
선택적으로, 품질 검출 요청을 수신한 서버는 품질 검출 요청에 포함된 디스플레이 스크린 주변 회로 이미지를 획득하고, 확대 또는 축소의 전처리를 수행하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득한다. 다음, 검출 대상 이미지를 서버에서 실행되는 결함 검출 모델에 입력하며, 결함 검출 모델이 결함 검출을 수행하여, 결함 검출 결과를 획득한다.
일 실시형태에 있어서, 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하기 전에, 상기 디스플레이 스크린 주변 회로 이미지에 대해 이미지 전처리를 수행할 수 있으며, 상기 이미지 전처리는, 에지 커팅, 전단, 회전 중 하나 또는 다수를 포함할 수 있다. 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 이미지 수집기는 일반적으로 고정밀도 카메라이므로, 상기 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 이용할 경우 사이즈가 보다 크거나, 해상도가 보다 높거나, 또는 위치 부적절 등 문제점이 존재할 수 있는 것으로 이해할 수 있다. 따라서, 제어부로부터 송신되는 품질 검출 요청에 포함된 디스플레이 스크린 주변 회로 이미지를 수신한 후, 실제 상황에 따라 디스플레이 스크린 주변 회로 이미지에 대해 전처리를 수행하여야 하는 바, 예를 들어, 만약 디스플레이 스크린 주변 회로 이미지의 에지 영역이 보다 크면, 디스플레이 스크린 주변 회로 이미지에 대해 에지 커팅 처리를 수행하여, 디스플레이 스크린 주변 회로 이미지의 유용한 부분을 남길 수 있다.
특별히 설명하면, 서버 상에서 실행되는 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 얻어진 것이다. 구체적으로, 본 실시예는 FAST RCNN 알고리즘을 사용하여 물체 검출을 수행한다. 물체 검출은 컴퓨터가 이미지 내부에 존재하는 것이 무슨 물체인지를 기초로 검출을 수행하는 것, 즉, 검출 대상 이미지에 결함 존재 여부, 및 결함이 존재할 때의 결함 유형을 식별하는 것이다. 본 발명의 실시예에서, 결함 검출 모델은 FAST RCNN 구조를 사용한다. 구체적으로, 디스플레이 스크린 주변 회로 생산 라인 상의 디스플레이 스크린 주변 회로 이미지는 결함 검출 모델의 입력으로서 사용되며, 결함 검출 모델의 FAST RCNN 구조를 이용하여 디스플레이 스크린 주변 회로 이미지의 특징을 인식하는 것으로서, 즉 검출 대상 이미지에서 어떠한 검출 대상 이미지들이 결함이 존재하지 않는 정상 이미지인지, 어떠한 이미지들이 결함이 존재하는 결함 이미지인지를 획득하고, 결함 이미지에 대해서는 이미지에 포함된 결함의 유형을 인식하고, 경계 박스로 결함이 존재하는 선택 박스 영역을 확정할 수 있다.
일 예로서, 상기 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하기 전에, 모델 트레이닝 과정을 더 포함할 수 있다. 구체적으로, 과거 결함 디스플레이 스크린 주변 회로 이미지의 실제 유형으로 상기 결함 검출 모델에 대해 상기 FAST RCNN 알고리즘 트레이닝을 수행하여, 상기 결함 검출 모델이 상기 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 출력한 예측 유형과 상기 실제 유형 사이의 손실값이 소정의 손실 임계값보다 작도록 한 것일 수 있다.
손실값은 총 손실값으로 이해될 수 있으며, 상기 결함 검출 모델은 상기 과거 결함 디스플레이 스크린 이미지의 후보 영역 손실값, 영역 유형 손실값 및 영역 경계 손실값에 대해 조합 트레이닝을 수행하여, 상기 후보 영역 손실값, 상기 영역 유형 손실값 및 상기 영역 경계 손실값의 총 손실값이 소정의 손실 임계값을 만족하도록 하는 결과이다. 여기서, 상기 후보 영역 손실값은 상기 과거 결함 디스플레이 스크린 이미지 중 선정 결함 영역과 실제 결함 영역 사이의 손실값을 가리키고, 상기 영역 유형 손실값은 상기 선정 결함 영역 중 예측 결함 유형과 실제 결함 유형 사이의 손실값을 가리키고, 상기 영역 경계 손실값은 상기 선정 결함 영역 중 예측 결함 경계와 실제 결함 경계 사이의 손실값을 가리킨다.
본 발명의 실시예는 FAST RCNN 모델을 이용할 수 있으며, 디스플레이 스크린 주변 회로 생산 라인 상에서 이미지 수집기가 수집한 디스플레이 스크린 주변 회로 이미지의 변형, 모호, 광조 변화 등 특징에 대해 보다 높은 강건성을 구비하며, 분류 임무에 대해 더욱 높은 일반화 가능성을 구비한다.
특별히 설명하면, 본 발명의 실시예는 상이한 생산 장면과 디스플레이 스크린 주변 회로 이미지의 특성에 대해, 상기 결함 검출 모델을 트레이닝하기 위해 필요한 FAST RCNN 모델의 조직 방식은 모두 다를 수 있는 바, 이는 실제 상황에 따라 결정될 수 있으며, 본 실시예는 이에 대해 한정하지 않는다.
S104, 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한다.
선택적으로, 본 발명의 실시예에서, 결함 검출 모델을 기초로 결함 검출 결과를 획득한 후, 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인할 수 있다.
선택적으로, 본 발명의 일 실시예에서, 상기 결함 검출 결과는 결함의 유형 및/또는 각 결함의 선택 박스 위치를 포함할 수 있다. 예를 들어, 디스플레이 스크린 주변 회로 이미지에 결함이 존재할 경우, 상기 결함 검출 모델에 의해 얻어질 수 있는 결함 검출 결과는 결함 유형(디스플레이 스크린 주변 회로 상에 몇 가지 결함이 존재하는지), 결함의 선택 박스 위치(선택 박스로 각 결함의 위치를 표시)를 포함할 수 있다. 결함 검출 결과의 표시 방식은, 결함 검출 모델이 선택 박스를 구비하는 특징도를 출력하는 것일 수 있으며, 선택 박스는 검출 대상 이미지에 포함된 결함을 박스로 선정하여 표시하며, 상기 선택 박스는 하나의 결함 유형의 결과에 대응된다. 선택 박스의 위치로부터 디스플레이 스크린 주변 회로 이미지에서의 결함의 위치를 확인할 수 있다.
대응되게, S104(상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인)는, 생산 단계 정보 및 상기 결함 검출 결과를 기초로, 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 것으로 대체될 수 있다.
구체적으로, 디스플레이 스크린 주변 회로의 생산 업체, 생산 환경, 및 유형 등의 다양한 서로 다른 생산 단계 정보는 모두 디스플레이 스크린 주변 회로 검출 과정에서 상이한 결함 검출 결과의 획득을 초래할 수 있다. 서로 다른 종류의 디스플레이 스크린 주변 회로에 있어서, 경과되는 생산 단계가 다르므로, 상기에서 획득한 결함 검출 결과에 대해 분석할 때, 각 디스플레이 스크린 주변 회로의 생산 단계 정보를 결합하여 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인할 필요가 있다.
특별히 설명하면, 본 발명의 실시예의 결함 검출 모델은 디스플레이 스크린 주변 회로 이미지에 존재하는 결함의 유형, 및 각종 결함의 선택 박스 위치를 검출할 수 있으며, 구체적인 결함 윤곽과 결함 개체에 대해 인식하지 않으므로, 연산 부하가 감소된다.
본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 방법은, 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청를 수신하되, 상기 품질 검출 요청은 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기가 수집한 디스플레이 스크린 주변 회로 이미지를 포함하며, 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하고, 상기 결함 검출 결과를 기초로 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부을 확인한다. 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 FAST RCNN 알고리즘 트레이닝을 수행하여 얻어진 것이므로, 상기 결함 검출 모델을 이용하여 얻어진 결함 검출 결과의 분류 정밀도가 높고, 인텔리전트 능력이 강하며, 시스템 성능이 어느 정도 향상되고, 업무 확장 능력이 높다.
도 3은 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 방법 실시예 2의 흐름도이다. 상술한 실시예의 기초상에서, 도 3에 도시된 실시예는, 상술한 S104(상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득)는 단계S301-S302를 통해 구현될 수 있으며, 구체적으로 아래와 같다.
S301, 로드 밸런싱 전략을 기초로, 처리 리소스를 탑재한 검출 모델 서버를 결정한다.
선택적으로, 본 발명의 실시예에서, 디스플레이 스크린 주변 회로 생산 라인 상에 하나의 서버 그룹이 배치되고, 상기 서버 그룹 중 서버 수량은 다수일 수 있으며, 각 서버 상에서는 모두 결함 검출 모델이 실행된다. 선택적으로, 각 서버 상에서 실행되는 결함 검출 모델은 모두 동일하다. 따라서, 각 서버는 모두 제어부로부터 송신되는 품질 검출 요청을 수신할 수 있으며, 자체에 탑재된 결함 검출 모델을 이용하여 디스플레이 스크린 주변 회로 이미지에 대해 품질 검출을 수행할 수 있다.
일 예로서, 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 이미지 수집기가 실시간 디스플레이 스크린 주변 회로 이미지를 수집하므로, 제어부도 실시간 서버 그룹 중 어느 하나의 서버로 품질 검출 요청을 송신할 수 있다.
선택적으로, 서버 그룹 중 각 서버 상에서 실행되는 결함 검출 모델이 동일하므로, 서버 상의 결함 검출 모델의 검출 효율을 향상시키고, 결함 검출 모델의 로드 밸런싱을 확보하기 위하여, 기설정된 로드 밸런싱 전략를 기초로 서버 그룹으로부터 처리 리소스를 탑재한 검출 모델 서버로서 하나의 서버를 결정할 수 있다. 즉, 디스플레이 스크린 주변 회로 생산 라인 상의 결함 검출 모델의 배치 상황에 따라 실시간 로드 밸런싱 및 스케줄링을 수행한다.
S302， 상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득한다.
선택적으로, 본 발명의 실시예에서, 서버 그룹으로부터 처리 리소스를 탑재한 검출 모델 서버를 결정한 후, 상기 디스플레이 스크린 주변 회로 이미지를 상기 검출 모델 서버 상에서 실행되는 결함 검출 모델에 입력하여, 상기 결함 검출 모델을 이용하여 디스플레이 스크린 주변 회로 이미지의 결함을 검출함으로써, 결함 검출 결과를 얻을 수 있다. 선택적으로, 상기 결함 검출 모델은 트레이닝 모듈이 과거 결함 디스플레이 스크린 주변 회로 이미지의 소정의 유형 및 실제 유형에 대해 트레이닝하여 획득된 것이다.
본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 방법은, 로드 밸런싱 전략을 기초로 처리 리소스를 탑재한 검출 모델 서버를 결정하고, 상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 결함 검출 모델에 입력하여 결함 검출 결과를 획득하여, 서버 상의 로드 밸런싱을 달성하고, 디스플레이 스크린 주변 회로 이미지의 검출 효율을 향상시키고, 디스플레이 스크린 주변 회로 품질 검출 시스템의 성능을 향상시킬 수 있다.
일 실시형태에 있어서, 상기 단계S302 (상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득) 이후에,
상기 디스플레이 스크린 주변 회로가 손상 회로일 경우,
컨트롤러를 통해 생산 관리자에게 경보 정보를 송신하는 작업;
컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장하는 작업;
컨트롤러를 통해 상기 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 작업;
상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화시키는 작업; 중 하나 또는 다수의 작업을 수행하는 단계를 더 포함할 수 있다.
선택적으로, 본 발명의 실시예에서, 테스트 작업자는 디스플레이 스크린 주변 회로의 생산 장면과 생산 단계 정보를 기초로, 디스플레이 스크린 주변 회로가 손상 스크린인 것으로 확인되었을 때의 해결방안, 예컨대, 컨트롤러를 통해 생산 관리자에게 경보 정보를 송신, 및/또는, 컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장, 및/또는, 컨트롤러를 통해 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 것, 및/또는, 상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델 등을 최적화시키는 것 등을 미리 설정할 수 있다.
구체적으로, 일 예로서, 상기 결함 검출 결과를 기초로 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인되면, 즉 디스플레이 스크린 주변 회로에 결함이 존재하면, 생산 관리자가 바로 결함의 유형 및 위치를 확인하고, 해결방안을 결정하도록 경보 정보를 송신할 수 있다.
다른 일 예로서, 상기 결함 검출 결과를 기초로 디스플레이 스크린 주변 회로에 결함이 존재하는 것으로 확인되면, 컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장, 즉 디스플레이 스크린 주변 회로의 결함의 유형, 및/또는, 결함의 선택 박스 위치를 로그로서 생산 데이터 베이스에 저장할 수 있으며, 이에 따라 이를 트레이닝 데이터 베이스로 선별함으로써, 트레이닝 모듈(트레이닝 엔진 등 소프트웨어 프로그램일 수 있다)에서 결함이 존재하는 디스플레이 스크린 주변 회로 이미지를 기초로 상기 결함 검출 모델을 업데이트할 수 있다.
또 다른 일 예로서, 상기 결함 검출 결과를 기초로 디스플레이 스크린 주변 회로에 결함이 존재하는 것으로 확인되면, 컨트롤러를 통해 제어부로 생산 제어 명령을 송신하여 결함을 해소시킬 수도 있다. 즉, 결함 검출 모델을 탑재한 검출 모델 서버는 컨트롤러를 통해 결함 발생 원인을 확인하고, 생산 프로세스를 대응되게 조정할 수 있다. 즉, 검출 모델 서버는 컨트롤러를 통해 제어부로 생산 제어 명령을 송신하여 디스플레이 스크린 주변 회로 상에 발생된 결함을 해소함으로써, 손상 회로의 발생 확률을 줄일 수 있다.
또 다른 일 예로서, 상기 결함 검출 결과를 기초로 디스플레이 스크린 주변 회로에 결함이 존재하는 것으로 확인되면, 상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 직접 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화할 수 있다. 즉, 직접 손상 회로에 대응되는 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델의 트레이닝 세트로 하여, 상기 결함 검출 모델을 최적화함으로써, 결함 검출 모델의 검출 정확도를 향상시킬 수도 있다.
특별히 설명하면, 본 발명의 실시예는 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인될 경우 검출 모델 서버가 수행할 수 있는 상기 하나 또는 다수의 작업에 한정되지 않고, 실제 상황에 따라 결정될 수 있으며, 여기서는 중복되는 설명을 생략한다.
선택적으로, 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 이미지 수집기, 제어부, 서버 그룹, 컨트롤러, 데이터 베이스 등 다수의 상이한 기기에 있어서, 디스플레이 스크린 주변 회로 검출 방법에 대응되는 작업 단계를 상기 다수의 상이한 기기에 분산시켜 수행할 수도 있다. 예를 들어, 이미지 수집기가 디스플레이 스크린 주변 회로 이미지를 수집하고, 제어부는 로드 밸런싱 전략을 기초로, 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 서버 그룹 중 검출 모델 서버로 송신하여, 검출 모델 서버 상에서 실행되는 결함 검출 모델이 디스플레이 스크린 주변 회로 이미지에 대해 소정의의 전처리를 수행한 후 결함 검출을 수행하여, 결함 검출 결과를 제공한다. 검출 모델 서버는 결함 검출 결과를 컨트롤러로 송신할 수 있으며, 한편 컨트롤러에서 실제 업무 장면과 결합하여, 업무 수요에 따라 상기 결함 검출 결과를 기초로 실제 업무 장면 요구에 부합되는 응답, 예컨대 경보 발생, 로그 저장, 생산 제어 명령 제어 등을 수행할 수 있으며, 다른 한편, 컨트롤러는 결함 검출 결과 및 상기 응답한 처리 동작을 로그로서 생산 데이터 베이스에 저장하여, 트레이닝 모듈이 트레이닝 데이터 베이스 중 디스플레이 스크린 주변 회로 이미지와 결함 검출 결과를 기초로 상기 획득한 결함 검출 모델을 업데이트하도록 할 수도 있으며, 상기 트레이닝 데이터 베이스에 저장된 것은 생산 데이터 베이스로부터 선별한 결함이 존재하는 디스플레이 스크린 주변 회로 이미지와 대응되는 결함 검출 결과 등의 데이터이다.
특별히 설명하면, 매번 최적화되는 결함 검출 모델은 스몰 플로 온라인 방식으로 점차적으로 서버 상에서 실행되고 있는 결함 검출 모델을 대체하여, 결함 검출 모델을 업무 장면과 생산 단계 정보에 따라 동적으로 확장 범용화하는 목적을 달성할 수 있다. 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 방법이 디스플레이 스크린 주변 회로 생산 라인 상에서 일정한 시간 동안 실행된 후, 인공적으로 생산 데이터 베이스에 저장된 정보를 통해 상기 결함 검출 및 결함 측위 정확도를 재확인하고, 이어서 상기 트레이닝 데이터 베이스를 업데이트하고, 결함 검출 모델을 다시 트레이닝하여, 결함 검출 정확도를 향상시킬 수 있다.
이하는 본 발명의 장치 실시예로서, 본 발명의 방법 실시예를 수행할 수 있다. 본 발명의 장치 실시예에서 개시되지 않은 세부 사항은 본 발명의 방법 실시예를 참조할 수 있다.
도 4는 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 장치 실시예의 구조도이다. 도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이 스크린 주변 회로 검출 장치는 주로 수신모듈(41), 전처리 모듈(42), 처리모듈(43) 및 확인모듈(44)을 포함할 수 있다.
여기서, 수신모듈(41)은 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하기 위한 것으로서, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함한다.
전처리 모듈(42)은 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하기 위한 것으로서, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지를 이용하여 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 얻어진 것이다.
처리모듈(43)은 상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하기 위한 것이다.
확인모듈(44)은 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하기 위한 것이다.
도 4에 도시된 실시예의 디스플레이 스크린 주변 회로 검출 장치는 대응되게 도 2에 도시된 방법 실시예에 따른 단계를 수행할 수 있으며, 그 구현 원리와 기술 효과가 유사하므로, 여기서는 중복되는 설명을 생략한다.
선택적으로, 상기 처리모듈(43)은 또한, 상기 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하기 전에, 과거 결함 디스플레이 스크린 주변 회로 이미지의 실제 유형으로 상기 결함 검출 모델에 대해 상기 FAST RCNN 알고리즘 트레이닝을 수행하여, 상기 결함 검출 모델이 상기 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 출력한 예측 유형과, 상기 실제 유형 사이의 손실값이 소정의 손실 임계값보다 작도록 하기 위한 것이다.
선택적으로, 상기 전처리 모듈(42)은 또한, 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하기 전에, 상기 디스플레이 스크린 주변 회로 이미지에 대해 이미지 전처리를 수행하기 위한 것으로서, 여기서, 상기 이미지 전처리는 에지 커팅, 전단, 회전 중 하나 또는 다수를 포함한다.
선택적으로, 상기 처리모듈(43)은 구체적으로 로드 밸런싱 전략을 기초로, 처리 리소스를 탑재한 검출 모델 서버를 결정하고; 상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득하기 위한 것이다.
선택적으로, 상기 결함 검출 결과는 결함의 유형 및/또는 결함의 선택 박스 위치를 포함한다.
상기 확인모듈(44)은 구체적으로 생산 단계 정보 및 상기 결함 검출 결과를 기초로, 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하기 위한 것이다.
선택적으로, 상기 처리모듈(43)은 또한, 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한 후, 만약 상기 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인되면,
컨트롤러를 통해 생산 관리자에게 경보 정보를 송신하는 작업;
컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장하는 작업;
컨트롤러를 통해 상기 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 작업;
상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화시키는 작업; 중 하나 또는 다수의 작업을 수행하기 위한 것이다.
상기 장치 실시예의 디스플레이 스크린 주변 회로 검출 장치는 도 2 내지 도 3에 도시된 방법 실시예의 구현 방안을 수행할 수 있으며, 구체적인 구현 방식과 기술 효과가 유사하므로, 여기서는 중복되는 설명을 생략한다.
도 5는 본 발명의 실시예에 따른 전자기기 실시예의 구조도로서, 상기 전자기기는 프로세서(51), 메모리(52) 및 컴퓨터 프로그램을 포함한다.
메모리(52)는 상기 컴퓨터 프로그램을 저장하기 위한 것으로서, 상기 메모리는 플래시 메모리(flash)일 수도 있다. 상기 컴퓨터 프로그램은 예컨대 상술한 방법을 구현하기 위한 응용 프로그램, 기능 모듈 등이다.
프로세서(51)는 상기 메모리에 저장된 컴퓨터 프로그램을 실행하여, 상술한 방법에서 전자기기에 의해 수행되는 각 단계를 구현하기 위한 것이다. 구체적인 내용은 상술한 방법 실시예의 관련 설명을 참조할 수 있다.
선택적으로, 메모리(52)는 별도로 구성될 수 있고, 프로세서(51)에 집적될 수도 있다.
상기 메모리(52)가 프로세서(51)와 별도로 구성된 부재일 경우, 상기 전자기기는,
상기 메모리(52)와 프로세서(51)를 연결하기 위한 버스(53)를 더 포함할 수 있다.
본 발명은 저장매체를 더 제공하며, 상기 저장매체에는 컴퓨터 상에서 실행될 경우, 컴퓨터가 도 2 내지 도 3에 도시된 방법 실시예의 방법을 수행하도록 하는 명령이 저장된다.
여기서, 저장매체는 컴퓨터 저장매체일 수 있으며, 통신매체일 수도 있다. 통신매체는 하나의 위치로부터 다른 하나의 위치로 컴퓨터 프로그램을 전송하기에 편리한 임의의 매체일 수 있다. 컴퓨터 저장매체는 범용 또는 전용 컴퓨터가 액세스 가능한 임의의 사용 가능한 매체일 수 있다. 예를 들어, 저장매체는 프로세서에 커플링되며, 이에 따라 프로세서는 상기 판독 가능 저장매체로부터 정보를 읽어낼 수 있으며, 상기 저장매체에 정보를 기록할 수 있다. 물론, 저장매체는 프로세서의 조성 부분일 수도 있다. 프로세서와 저장매체는 전용 집적 회로(Application Specific Integrated Circuits, 'ASIC'으로 약칭)에 위치할 수 있다. 한편, 상기 ASIC는 사용자 기기에 위치할 수 있다. 물론, 프로세서와 저장매체는 분립 조립체로서 통신기기에 존재할 수도 있다.
본 발명은 프로그램 제품을 더 제공하며, 상기 프로그램 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 저장매체에 저장된다. 디스플레이 스크린 주변 회로 검출 장치의 적어도 하나의 프로세서는 저장매체로부터 상기 컴퓨터 프로그램을 읽어낼 수 있으며, 적어도 하나의 프로세서는 상기 컴퓨터 프로그램을 실행하여 디스플레이 스크린 주변 회로 검출 장치가 도 2 내지 도 3에 도시된 방법 실시예의 방법을 수행하도록 한다.
상술한 전자기기의 실시예에서, 프로세서는 중앙 처리 유닛(영어: Central Processing Unit, 'CPU'로 약칭)일 수 있으며, 기타 범용 프로세서, 디지털 신호 프로세서(영문: Digital Signal Processor, 'DSP'으로 약칭), 전용 집적 회로(영문: Application Specific Integrated Circuit, 'ASIC'으로 약칭) 등일 수도 있음을 이해하여야 한다. 범용 프로세서는 마이크로 프로세서일 수 있으며 또는 상기 프로세서는 임의의 일반 프로세서 등일 수도 있다. 본 발명에 개시된 방법의 단계를 결합하여 직접 하드웨어 프로세서로 구현되어 수행되거나, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합에 의해 수행될 수도 있다.
마지막으로 설명하면, 상기 각 실시예는 본 발명의 기술적 해결수단을 설명하기 위한 것일 뿐, 이에 대해 한정하지 않는다. 앞에서 각 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 당업자라면 여전히 상술한 각 실시예에 기재된 기술적 해결수단에 대해 수정하거나, 그 중 부분 또는 전부의 기술특징에 대해 동등한 치환을 수행할 수 있음을 이해할 수 있을 것이다. 그리고, 이러한 수정 또는 치환에 의해, 관련 기술적 해결수단의 본질이 본 발명의 각 실시예의 기술적 해결수단의 범위를 벗어나지 않는다.
11: 이미지 수집기 12: 제어부
13: 서버 그룹 14: 컨트롤러
15: 데이터 베이스 16: 트레이너
130: 검출 모델 서버 151: 생산 데이터 베이스
152: 트레이닝 데이터 베이스 41: 수신모듈
42: 전처리 모듈 43: 처리모듈
44: 확인모듈 51: 프로세서
52: 메모리 53: 버스

Claims (14)

  1. 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함하는 단계;
    상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하되, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지를 이용하여 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 획득된 것인 단계;
    상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계; 및
    상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 스크린 주변 회로 검출 방법.
  2. 제1항에 있어서,
    상기 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계 이전에,
    과거 결함 디스플레이 스크린 주변 회로 이미지의 실제 유형으로 상기 결함 검출 모델에 대해 상기 FAST RCNN 알고리즘 트레이닝을 수행하여, 상기 결함 검출 모델이 상기 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 출력한 예측 유형과 상기 실제 유형 사이의 손실값이 소정의 손실 임계값보다 작도록 하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하는 단계 이전에,
    상기 디스플레이 스크린 주변 회로 이미지에 대해 이미지 전처리를 수행하되, 상기 이미지 전처리는 에지 커팅, 전단, 회전 중 하나 또는 다수를 포함하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계는,
    로드 밸런싱 전략을 기초로, 처리 리소스를 탑재한 검출 모델 서버를 결정하는 단계; 및
    상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 결함 검출 결과는 결함의 유형 및/또는 결함의 선택 박스 위치를 포함하고;
    상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계는,
    생산 단계 정보 및 상기 결함 검출 결과를 기초로, 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 단계 이후에,
    상기 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인되면,
    컨트롤러를 통해 생산 관리자에게 경보 정보를 송신하는 작업;
    컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장하는 작업;
    컨트롤러를 통해 상기 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 작업;
    상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화하는 작업; 중 하나 또는 다수의 작업을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 디스플레이 스크린 주변 회로 생산 라인 상에 배치된 제어부로부터 송신되는 품질 검출 요청을 수신하되, 상기 품질 검출 요청은 상기 디스플레이 스크린 주변 회로 생산 라인 상의 이미지 수집기에서 수집한 디스플레이 스크린 주변 회로 이미지를 포함하는 수신모듈;
    상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하여, 크기가 결함 검출 모델의 입력 크기 요구와 일치한 검출 대상 이미지를 획득하되, 상기 결함 검출 모델은 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 물체 검출 FAST RCNN 알고리즘 트레이닝을 수행하여 획득된 것인 전처리 모듈;
    상기 검출 대상 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 처리모듈; 및
    상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 확인모듈;을 포함하는 것을 특징으로 하는 디스플레이 스크린 주변 회로 검출 장치.
  8. 제7항에 있어서,
    상기 처리모듈은 또한, 상기 디스플레이 스크린 주변 회로 이미지를 결함 검출 모델에 입력하여 결함 검출 결과를 획득하기 전에, 과거 결함 디스플레이 스크린 주변 회로 이미지의 실제 유형으로 상기 결함 검출 모델에 대해 상기 FAST RCNN알고리즘 트레이닝을 수행하여, 상기 결함 검출 모델이 상기 과거 결함 디스플레이 스크린 주변 회로 이미지에 대해 출력한 예측 유형과, 상기 실제 유형 사이의 손실값이 소정의 손실 임계값보다 작도록 하는 것을 특징으로 하는 장치.
  9. 제7항에 있어서,
    상기 전처리 모듈은 또한, 상기 디스플레이 스크린 주변 회로 이미지를 확대 또는 축소하기 전에 상기 디스플레이 스크린 주변 회로 이미지에 대해 이미지 전처리를 수행하되, 상기 이미지 전처리는 에지 커팅, 전단, 회전 중 하나 또는 다수를 포함하는 것을 특징으로 하는 장치.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 처리모듈은 구체적으로 로드 밸런싱 전략을 기초로, 처리 리소스를 탑재한 검출 모델 서버를 결정하고; 상기 검출 대상 이미지를 상기 검출 모델 서버 상에서 실행되는 상기 결함 검출 모델에 입력하여 결함 검출 결과를 획득하는 것을 특징으로 하는 장치.
  11. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 결함 검출 결과는 결함의 유형 및/또는 결함의 선택 박스 위치를 포함하고;
    상기 확인모듈은 구체적으로 생산 단계 정보 및 상기 결함 검출 결과를 기초로, 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인하는 것을 특징으로 하는 장치.
  12. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 처리모듈은 또한, 상기 결함 검출 결과를 기초로 상기 디스플레이 스크린 주변 회로 이미지에 대응되는 디스플레이 스크린 주변 회로의 품질 우수 여부를 확인한 후, 만약 상기 디스플레이 스크린 주변 회로가 손상 회로인 것으로 확인되면,
    컨트롤러를 통해 생산 관리자에게 경보 정보를 송신하는 작업;
    컨트롤러를 통해 상기 결함 검출 결과를 로그로서 생산 데이터 베이스에 저장하는 작업;
    컨트롤러를 통해 상기 제어부로 생산 제어 명령을 송신하여 결함을 해소시키는 작업;
    상기 디스플레이 스크린 주변 회로 이미지와 상기 결함 검출 결과를 상기 결함 검출 모델에 입력하여 상기 결함 검출 모델을 최적화하는 작업; 중 하나 또는 다수의 작업을 수행하는 것을 특징으로 하는 장치.
  13. 프로세서, 메모리 및 상기 메모리에 저장되며 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 포함하는 전자기기에 있어서,
    상기 프로세서는 상기 프로그램을 실행할 때 상술한 제1항 내지 제6항 중 어느 하나에 따른 방법을 수행하는 것을 특징으로 하는 전자기기.
  14. 저장매체에 있어서,
    상기 저장매체에 명령이 저장되고, 상기 명령이 컴퓨터 상에서 실행될 때, 컴퓨터가 제1항 내지 제6항 중 어느 하나에 따른 방법을 수행하도록 하는 것을 특징으로 하는 저장매체.
KR1020197034320A 2018-07-02 2019-05-08 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체 KR102321768B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810710534.1A CN108921840A (zh) 2018-07-02 2018-07-02 显示屏外围电路检测方法、装置、电子设备及存储介质
CN201810710534.1 2018-07-02
PCT/CN2019/085921 WO2020007119A1 (zh) 2018-07-02 2019-05-08 显示屏外围电路检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
KR20200004823A true KR20200004823A (ko) 2020-01-14
KR102321768B1 KR102321768B1 (ko) 2021-11-03

Family

ID=64424921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034320A KR102321768B1 (ko) 2018-07-02 2019-05-08 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체

Country Status (5)

Country Link
US (1) US20200355627A1 (ko)
JP (1) JP2020530125A (ko)
KR (1) KR102321768B1 (ko)
CN (1) CN108921840A (ko)
WO (1) WO2020007119A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200004824A (ko) * 2018-07-02 2020-01-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921840A (zh) * 2018-07-02 2018-11-30 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN111563869B (zh) * 2019-01-25 2023-07-21 宁波舜宇光电信息有限公司 用于摄像模组质检的污点测试方法
CN109916921A (zh) * 2019-03-29 2019-06-21 北京百度网讯科技有限公司 电路板缺陷处理方法、装置及设备
TWI762144B (zh) * 2021-01-07 2022-04-21 由田新技股份有限公司 待測物影像校正方法及系統
CN113283541B (zh) * 2021-06-15 2022-07-22 无锡锤头鲨智能科技有限公司 一种地板自动分选方法
CN117314826A (zh) * 2023-08-28 2023-12-29 广州千筱母婴用品有限公司 一种显示屏的性能检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032369A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥識別方法、欠陥識別装置、プログラム、及び記録媒体
CN105372581A (zh) * 2015-11-18 2016-03-02 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
JP2017524183A (ja) * 2014-06-30 2017-08-24 アマゾン・テクノロジーズ・インコーポレーテッド 機械学習サービス
CN108230317A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢板缺陷检测分类方法、装置、设备及计算机可读介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
CN105302315A (zh) * 2015-11-20 2016-02-03 小米科技有限责任公司 图片处理方法及装置
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
JP6809250B2 (ja) * 2017-01-23 2021-01-06 株式会社リコー 情報処理装置、情報処理方法およびプログラム
CN106952250B (zh) * 2017-02-28 2021-05-07 北京科技大学 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
CN107274451A (zh) * 2017-05-17 2017-10-20 北京工业大学 基于共享卷积神经网络的绝缘子检测方法及装置
US11417082B2 (en) * 2017-06-16 2022-08-16 Markable, Inc. Image processing system
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
CN107561738B (zh) * 2017-08-30 2020-06-12 湖南理工学院 基于fcn的tft-lcd表面缺陷快速检测方法
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统
CN110021005B (zh) * 2018-01-05 2022-03-15 财团法人工业技术研究院 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN108154508B (zh) * 2018-01-09 2019-05-24 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备
CN108230318B (zh) * 2018-01-09 2019-04-16 北京百度网讯科技有限公司 钢包缺陷检测分类方法、装置、设备及计算机可读介质
CN108921840A (zh) * 2018-07-02 2018-11-30 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032369A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥識別方法、欠陥識別装置、プログラム、及び記録媒体
JP2017524183A (ja) * 2014-06-30 2017-08-24 アマゾン・テクノロジーズ・インコーポレーテッド 機械学習サービス
CN105372581A (zh) * 2015-11-18 2016-03-02 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN108230317A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢板缺陷检测分类方法、装置、设备及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200004824A (ko) * 2018-07-02 2020-01-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체
US11488294B2 (en) 2018-07-02 2022-11-01 Beijing Baidu Netcom Science Technology Co., Ltd. Method for detecting display screen quality, apparatus, electronic device and storage medium

Also Published As

Publication number Publication date
CN108921840A (zh) 2018-11-30
JP2020530125A (ja) 2020-10-15
KR102321768B1 (ko) 2021-11-03
US20200355627A1 (en) 2020-11-12
WO2020007119A1 (zh) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102320371B1 (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
JP6921241B2 (ja) ディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体
US11380232B2 (en) Display screen quality detection method, apparatus, electronic device and storage medium
KR20200004823A (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
CN108564104A (zh) 产品缺陷检测方法、装置、系统、服务器及存储介质
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN109840883B (zh) 一种训练物体识别神经网络的方法、装置及计算设备
CN109087281A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109064446A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
CN108961239A (zh) 连铸坯质量检测方法、装置、电子设备及存储介质
CN116977257A (zh) 缺陷检测方法、装置、电子设备、存储介质及程序产品
EP2847676B1 (en) System and method of distributed procesing for machine-vision analysis
CN117789109A (zh) 一种工业场景下无人值守的异常行为检测方法和系统
CN111727108B (zh) 用于控制机器人的方法、装置及系统以及存储介质
US20190325606A1 (en) Inspection apparatus
CN116123040A (zh) 一种基于多模态数据融合的风机叶片状态检测方法及系统
JP2020085705A (ja) 判定装置及び判定方法
JP2020042673A (ja) 検証装置
CN109087282A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN116952973B (zh) 一种铝箔类光线漫反射材料的视觉检测系统和方法
CN113570566B (zh) 一种产品外观缺陷发展性认知检测方法及相关装置
CN117392517A (zh) 一种基于云边端协同的钢铁视觉检测方法、系统和装置
CN117315029A (zh) 一种电极方向识别方法、系统、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant