KR20220048160A - 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템 - Google Patents
클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템 Download PDFInfo
- Publication number
- KR20220048160A KR20220048160A KR1020200130972A KR20200130972A KR20220048160A KR 20220048160 A KR20220048160 A KR 20220048160A KR 1020200130972 A KR1020200130972 A KR 1020200130972A KR 20200130972 A KR20200130972 A KR 20200130972A KR 20220048160 A KR20220048160 A KR 20220048160A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image processing
- cloud
- deep learning
- data processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 84
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 36
- 239000010959 steel Substances 0.000 claims abstract description 36
- 238000013461 design Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 60
- 238000004891 communication Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 52
- 238000004519 manufacturing process Methods 0.000 description 31
- 238000007726 management method Methods 0.000 description 15
- 230000007547 defect Effects 0.000 description 11
- 238000007689 inspection Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000013480 data collection Methods 0.000 description 7
- 238000001035 drying Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000576 coating method Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 238000005406 washing Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000011109 contamination Methods 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000005238 degreasing Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000004071 soot Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000003763 carbonization Methods 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001723 curing Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000012263 liquid product Substances 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001029 thermal curing Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
- G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- General Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- General Factory Administration (AREA)
Abstract
클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템은, 디자인패턴이 들어간 표면처리강판을 촬영하는 촬영부와, 촬영부의 영상 이미지에서 미리 설정된 디자인패턴을 객체인식하는 영상 처리부와, 영상 인식부에서 미리 설정된 디자인패턴이 인식될 경우에만 영상 이미지를 저장하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
Description
본 발명은 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템에 관한 것으로서, 더 상세하게는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템에 관한 것이다.
표면처리강판의 제조공정은 수세공정, 코팅공정, 건조공정 및 검사공정으로 구분되어 있으며 각 공정의 4M1E의 관리 정도에 따라 불량과 손실은 노동생산성 저하와 품질비용 증가로 다양한 형태로 나타나고 있다.
- 수처리 공정 (탈지, 수세, 세정)
수처리 공정은 탈지, 수세, 세정 공정으로 분류를 할 수 있으며 투입 소재(Coil, Sheet) 의 종류와 특성에 따라 결로 방지를 위한 도유처리 및 폴리싱(소재무늬작업 공정)을 통한 소재표면의 오염도가 제조환경에 따라 편차가 크게 나타난다.
따라서 소재 표면의 세척상태는 표면처리강판의 기본 물성인 페인트 부착성에 지대한 영향을 줄 뿐 아니라 소재 표면의 오염으로 인한 다량의 외관불량이 발생하며, 특히 용수, 온도, 탈지존의 알카리 농도, 배관청결도, 존 오염도 등 관리가 실시간으로 상관성 있게 이루어져야 하나 현실적 방법으로는 한계적 특성을 가지고 있다.
- 코팅/건조공정
코팅/건조공정은 소재에 도장된 도료를 열 경화하는 공정으로 열 경화 시 액상제품에 있는 솔벤트(Solvent)를 증발 및 경화처리하게 되며, 표면에 흡착되는 방식으로 이때 발생되는 Gas(VOC)는 건조로 내벽 그을음(타르) 발생의 원인이다. 또한, 그을음은 제품의 특성 및 소재연결부 공기흐름의 영향으로 탈락 되거나 비산되어 도장표면을 오염시키는 주원인이다. 특히 고가 제품의 경우 정밀 품질 관리를 요하며 광택, 표면디자인, 색상 등의 조건에 따라 대량불량의 원인이 되기도 한다.
건조로의 Gas(VOC), 탄화도(THC) 및 양압관리와 이물유입의 억제 및 탄화가스 배출압 모니터링은 건조로의 오염도를 측정하는 지표로 활용을 해야 하나 오븐 내 고열로 인한 측정방법 및 설비간의 연계성 관리에 어려움이 있다.
- 전수검사 공정
디자인패턴이 들어간 PCM(Pre Coated Metal)은 단색 표면처리강판보다 고부가 제품으로 디자인에 따라 불량형태가 다양하다. 검사표준의 제정으로 육안검사를 실시하고 있으나 검사자의 숙련도 및 컨디션에 따른 검출오류는 기업신뢰도 하락의 원인이 되기도 한다.
종래에는 표면처리강판의 제조공정의 불량 발생원인의 추적과 근본대책의 관리에 경험과 숙련도에만 의지하여 육안관리와 직감관리 엑셀데이터 분석에 의존하고 있는 실정이다.
따라서 표면처리강판의 제조공정의 효율적인 관리를 위해서 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 시스템의 개발이 요구되고 있다.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 클라우드 기반의 딥러닝 영상처리 기술이 적용되어 디자인패턴이 들어간 표면처리강판의 관련 데이터를 효율적으로 처리할 수 있는 데이터 처리 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 디자인패턴이 들어간 표면처리강판을 촬영하는 촬영부와, 촬영부의 영상 이미지에서 미리 설정된 디자인패턴을 객체인식하는 영상 처리부와, 영상 인식부에서 미리 설정된 디자인패턴이 인식될 경우에만 영상 이미지를 저장하도록 제어하는 제어부를 포함하는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템이 제공된다.
또한, 본 발명은 영상 이미지를 실시간으로 송신하는 통신모듈과, 통신모듈에서 전송되는 영상 이미지를 수신하여, 실시간으로 상기 영상 이미지의 디자인패턴을 객체 인식하되, 인식된 객체정보를 영상 처리부로 피드백 하는 클라우드 서버를 포함하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 클라우드 서버는, 인식된 객체정보를 영상 처리부로 피드백함에 있어서, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드를 포함하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 클라우드 서버는, 인식된 객체정보를 영상 처리부로 피드백함에 있어서, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 위치정보를 포함하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 영상 처리부는, 표면처리강판의 추가영역을 촬영한 추가영상을 추가 카메라로부터 수신할 경우, 영상 이미지에 좌표를 정합하여 표시하는 것을 특징으로 한다.
본 발명의 실시예에 따른 데이터 처리 시스템은, 클라우드 기반의 딥러닝 영상처리 기술이 적용되어 디자인패턴이 들어간 표면처리강판의 관련 데이터를 효율적으로 처리할 수 있다.
또한, 본 발명의 실시예에 따른 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템은 주요 결함에 대한 빅데이터 저장 및 딥러닝 분석으로 검사 결과 리포팅, 양품판정, 불량별 요인분석 및 유형별 수량 자동분석을 통하여 생산공정을 개선하고 계열사 및 동종업계의 생산성 향상시킬 수 있다.
또한 생산 현장의 데이터 모델을 쉽게 구축되도록 프로그래밍 등 전문 지식이 없어도 스마트팩토리 3.0 도입과 공정모듈(공장 장비의 설계/운용/보수에 관한 다양한 정보를 구조화하고 관리하는 방법)로 장치 모델의 설계/관리 및 데이터 액세스가 가능하며, 분석에 필요한 데이터를 쉽게 선택할 수 있어 효율적인 데이터 분석과 스마트팩토리 구현 가능하다.
이밖에 다양한 클라우드 컴퓨팅, IT 시스템 등에 대한 연결을 용이하게 하여 서비스와 생산 현장을 연결하고 분산되어 있는 자사 여러 공장을 중앙(통합)관리 할 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템(1)의 개념도
도 2는 데이터처리 프로세스(30) 중 클라우드 서버에서 영상처리되는 과정의 예시를 나타낸 도면
도 3은 데이터처리 프로세스(30)에서 클라우드 서버(300)와 카메라 장치(100) 사이에서 진행되는 영상처리과정을 설명하기 위한 구성도
도 2는 데이터처리 프로세스(30) 중 클라우드 서버에서 영상처리되는 과정의 예시를 나타낸 도면
도 3은 데이터처리 프로세스(30)에서 클라우드 서버(300)와 카메라 장치(100) 사이에서 진행되는 영상처리과정을 설명하기 위한 구성도
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템(1)의 개념도이다.
도 1을 참조하면, 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템(1)은 제조공정 프로세스(10), 데이터수집 프로세스(20), 데이터처리 프로세스(30)로 구분될 수 있다.
제안된 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템(1)은 클라우드 기반 컴퓨팅으로 IoT 센서, 제조조건, 설비데이터의 모듈공정별 품질관련성을 공유하면서 데이터분석 지능화 모델 구축할 수 있도록 구성된다.
즉, 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템(1)은 ERP, MES와 센서네트웍크, PLC INTERFACE 기술을 적용하여 생산 현장의 데이터(전력, 가스, 진동, 수질, 압력, 회전)를 실시간 정확하게 수집하고 분석 알고리즘을 이용하여 제조현장 설비상태 진단을 위해 클라우드 서버에 전송 저장하여 관리할 수 있도록 구성된다.
사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템(1)은 효율적인 모니터링 파라미터 신호를 얻기 위해 하부 시스템, 장비, 부품 등에 센서를 부착하여 설비 컨디션 정보를 수집할 수 있다. 센서를 통해 얻어진 신호들은 왜곡된 데이터의 보정, 잡음 제거 분석 등을 위해 변환처리 되며, 처리된 데이터들은 클라우드 서버의 데이터베이스로 전송되어 분석 알고리즘에 의해 설비상태를 진단하고 결함을 감지하는데 사용된다.
제조공정 프로세스(10)는 표면처리강판의 수세공정, 코팅공정, 건조공정 및 검사공정이 진행되면서 칼라강판 전처리공정의 데이터수집과 데이터 서버가 운영되는 일련의 과정을 포함한다.
이때, 제조공정 프로세스(10)는 칼라강판 코팅 및 건조공정 데이터수집과 비전서버가 운영되는 과정과, 칼라강판 검사공정 데이터 수집과 비전검사가 진행되는 과정을 포함할 수 있다.
데이터수집 프로세스(20)는 시그널 로거(Signal Logger)로 정의되는 데이터 수집보드를 통해 제조공정 프로세스(10)에 적용된 수압센서, 수위센서, 온도센서, 전류센서, 전압센서, 가스센서, 열화상센서, 비전 카메라 등에서 전송된 데이터를 수집하고 수신대상에 호환되는 프로토콜을 적용한 후 송신하는 일련의 과정을 포함한다.
데이터처리 프로세스(30)는 제조공정 프로세스(10) 및 데이터수집 프로세스(20)에서 전송된 데이터를 데이터베이스화하여 클라우드 기반의 딥러닝 영상처리 기술을 처리하는 일련의 과정을 포함한다.
이하, 수집된 비전 카메라, 열화상센서, 카메라의 영상 이미지를 데이터베이스화하여 클라우드 기반의 딥러닝 영상처리 기술을 적용하는 데이터처리 프로세스(30)의 과정을 상세히 설명한다.
도 2는 데이터처리 프로세스(30) 중 클라우드 서버에서 영상처리되는 과정의 예시를 나타낸 도면이다.
도 2를 참조하면, 클라우드 서버는 제조공정 프로세스(10)에서 처리된 표면처리강판의 비전 카메라, 열화상센서 및 카메라의 영상 이미지를 수신한 후 영상추출하는 과정을 진행한다. 영상추출과정에서 학습 및 테스트를 위한 정상 및 결함 이미지를 확보한다.
다음으로 영상 이미지를 학습 및 테스트용 검사 용도에 맞게 자동분류하는 영상분류과정이 진행된다.
다음으로, 영상상의 불량을 표시하고 저장하는 자동 라벨링 과정이 진행된다.
다음으로 학습조건이 설정될 경우 학습조건에 대응되는 딥러닝 모델이 선정되어 생성되는 딥러닝 모델을 생성하는 과정이 진행된다.
다음으로 학습된 모델을 통해 테스트를 수행하고 결과를 확인하는 테스트결과를 확인하는 과정이 진행된다.
마지막으로 생성된 딥러닝 모델을 추출하여 기존의 검사 툴과 연동되어 상호간의 비교 작업이 진행되는 딥러닝 모델을 확정하는 과정이 진행된다.
도 3은 데이터처리 프로세스(30)에서 클라우드 서버(300)와 촬영장치(100) 사이에서 진행되는 영상처리과정을 설명하기 위한 구성도이다.
도 3을 참조하면, 기본적으로 데이터처리 프로세스(30)는 데이터수집 프로세스(20)에서 전송된 데이터를 데이터베이스화하여 클라우드 기반의 딥러닝 영상처리 기술을 적용하는데, 설정상황에 따라 제조공정 프로세스(10)의 촬영장치(100)로부터 직접 영상 이미지를 수신하여 클라우드 기반의 딥러닝 영상처리 기술을 적용한 후, 처리결과를 제조공정 프로세스(10)로 피드백 할 수 있다.
촬영장치(100)는 촬영부(110), 영상 처리부(120), 제어부(140)를 포함한다. 여기에서 촬영부(110)는 비전 카메라, 열화상 카메라, 가시광선 영역 촬영 카메라 중 어느 하나일 수 있다.
제어부(140)는 촬영부(110) 및 영상 처리부(120)의 동작을 제어하고, 영상저장용 메모리, 통신모듈, 배터리 모듈을 포함한다. 통신모듈은 광대역통신 방식인 LTE 통신모듈이 장착되는 것이 바람직하다.
영상 처리부(120)는 영상 이미지의 객체를 인식하는데, 여기에서 영상 이미지는 칼라 또는 흑백 디자인패턴이 들어간 표면처리강판의 영상 이미지를 지칭한다. 따라서 영상 처리부(120)는 영상 이미지에서 미리 지정된 디자인패턴을 객체로써 인식한다. 이때, 제어부(140)는 미리 설정된 객체가 인식될 경우에만 영상 이미지를 저장하도록 제어할 수 있다.
제어부(140)의 통신모듈은 영상 처리부(120)에서 생성된 영상 이미지를 클라우드 서버(300)로 실시간으로 송신하고, 클라우드 서버(300)로부터 송신되는 객체정보를 수신한다.
클라우드 서버(300)는 제어부(140)의 통신모듈에서 전송되는 영상 이미지를 수신하여, 실시간으로 영상 이미지의 객체를 인식하는 이미지 프로세싱을 진행한다. 클라우드 서버(300)는 인식된 객체정보를 영상 처리부(120)로 피드백한다.
즉, 객체인식을 진행하는 과정이 클라우드 서버(300)에서 진행되고, 클라우드 서버(300)는 인식된 결과만을 객체정보로써 영상 처리부(120)에 피드백함으로써 영상 처리부(120)의 연산부하가 감소되는 효과가 발생한다.
이때, 영상 처리부(120)는 영상 이미지를 송신하는 동시에 처리를 원하는 영상처리명령까지 클라우드 서버(300)에 전송하고, 그 결과값만을 피드백 받을 수 있다. 여기서 영상처리명령은 디자인패턴의 종류, 인식 색상정보 등을 포함할 수 있다.
이와 같이 클라우드 서버(300)는 인식된 객체정보를 영상 처리부(120)로 피드백 하는데, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 위치정보를 포함한다.
예를 들면, 제1 디자인패턴이라는 객체가 인식될 경우, 제1 디자인패턴에 미리 할당된 식별코드와, 제1 디자인패턴의 중심영역의 위치(좌표)에 대한 위치정보가 전송된다.
참고적으로, 식별코드는 객체코드 및 부가코드를 포함하는데, 객체코드는 제1 디자인패턴이라는 형상에 부여된 코드이고, 부가코드는 제1 디자인패턴의 세부패턴 등과 같은 부가 데이터 정보를 코드화한 것으로 정의된다.
따라서 영상 처리부(120) 입장에서는 이미지 프로세싱작업을 직접 처리하지 않고도 클라우드 서버(300)로부터 전송되는 객체정보를 수신하여, 제1 디자인패턴이라는 객체의 인식된 세부패턴과, 그 위치를 파악할 수 있다. 클라우드 서버(300)는 영상 처리부(120)의 요청에 의해 복수의 객체(디자인패턴)를 동시에 인식하고, 각각의 위치를 실시간 추적 가능하다.
영상 처리부(120)는 표면처리강판의 추가영역을 촬영한 추가영상을 추가 카메라(200)로부터 수신할 경우, 영상 이미지에 좌표를 정합하여 표시할 수 있다.
즉, 표면처리강판의 면적이 넓을 경우 하나의 카메라로 영상 이미지를 획득하지 못할 수 있으므로, 이를 보완하기 위해 별도의 추가 카메라(200)가 설치되어 영상이 추가 전송될 경우, 영상 처리부(120)는 영상 이미지에 추가영상을 좌표 정합한 후 하나의 영상으로 생성한다.
또한, 클라우드 서버(300)는 표면처리강판의 영상 이미지 중에서 영상의 변화가 없는 부분을 피드백하고, 영상 처리부(120)는 영상의 변화가 없는 부분은 자동 제거함으로써 저장 용량을 감소시킬 수 있다.
또한, 클라우드 서버(300)는 영상을 복수의 영역으로 구분한 후, 객체(디자인패턴)의 위치를 고려하여 각 영역별 저장 영상 프레임을 가변시킬 수 있는 정보를 영상 처리부(120)로 피드백할 수 있다. 즉, 표면처리강판의 영상 이미지의 복수의 영역 중에서 객체(디자인패턴)의 유무에 따라 각 영역별 저장 영상 프레임을 가변시킬 수 있다.
사용자 단말기(400)는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.
제조공정 프로세스(10)에서 표면처리강판을 관리하는 관리자가 사용자 단말기(400)를 이용하여 표면처리강판의 특정영역을 촬영할 경우, 해당영역의 외부영상이 영상 처리부(120)로 전송된다. 이때, 영상 처리부(120)는 영상 이미지에 외부영상을 좌표 정합한 후 하나의 영상으로 생성할 수 있다. 또한, 복수 개의 사용자 단말기(400)에서 외부영상이 영상 처리부(120)로 전송될 경우, 영상 처리부(120)는 영상 이미지에 복수의 외부영상을 좌표 정합한 후 하나의 영상으로 생성할 수 있다.
본 발명의 실시예에 따른 데이터 처리 시스템은, 클라우드 기반의 딥러닝 영상처리 기술이 적용되어 디자인패턴이 들어간 표면처리강판의 관련 데이터를 효율적으로 처리할 수 있다.
또한, 본 발명의 실시예에 따른 사물 인터넷 및 클라우드 기반의 표면처리강판 제조공정 통합관리 시스템은 주요 결함에 대한 빅데이터 저장 및 딥러닝 분석으로 검사 결과 리포팅, 양품판정, 불량별 요인분석 및 유형별 수량 자동분석을 통하여 생산공정을 개선하고 계열사 및 동종업계의 생산성 향상시킬 수 있다.
또한 생산 현장의 데이터 모델을 쉽게 구축되도록 프로그래밍 등 전문 지식이 없어도 스마트팩토리 3.0 도입과 공정모듈(공장 장비의 설계/운용/보수에 관한 다양한 정보를 구조화하고 관리하는 방법)로 장치 모델의 설계/관리 및 데이터 액세스가 가능하며, 분석에 필요한 데이터를 쉽게 선택할 수 있어 효율적인 데이터 분석과 스마트팩토리 구현 가능하다.
이밖에 다양한 클라우드 컴퓨팅, IT 시스템 등에 대한 연결을 용이하게 하여 서비스와 생산 현장을 연결하고 분산되어 있는 자사 여러 공장을 중앙(통합)관리 할 수 있도록 한다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 제조공정 프로세스
20 : 데이터수집 프로세스
30 : 데이터처리 프로세스
100 : 촬영장치
110 : 촬영부
120 : 영상 처리부
20 : 데이터수집 프로세스
30 : 데이터처리 프로세스
100 : 촬영장치
110 : 촬영부
120 : 영상 처리부
Claims (5)
- 디자인패턴이 들어간 표면처리강판을 촬영하는 촬영부;
상기 촬영부의 영상 이미지에서 미리 설정된 디자인패턴을 객체인식하는 영상 처리부 및;
상기 영상 인식부에서 미리 설정된 디자인패턴이 인식될 경우에만 상기 영상 이미지를 저장하도록 제어하는 제어부;
를 포함하는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템.
- 제1항에 있어서,
상기 영상 이미지를 실시간으로 송신하는 통신모듈; 및
상기 통신모듈에서 전송되는 상기 영상 이미지를 수신하여, 실시간으로 상기 영상 이미지의 디자인패턴을 객체 인식하되, 인식된 객체정보를 상기 영상 처리부로 피드백 하는 클라우드 서버;를 더 포함하는 것을 특징으로 하는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템.
- 제2항에 있어서,
상기 클라우드 서버는,
인식된 객체정보를 상기 영상 처리부로 피드백함에 있어서, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드를 포함하는 것을 특징으로 하는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템.
- 제2항에 있어서,
상기 클라우드 서버는,
인식된 객체정보를 상기 영상 처리부로 피드백함에 있어서, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 위치정보를 포함하는 것을 특징으로 하는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템.
- 제2항에 있어서,
상기 영상 처리부는,
상기 표면처리강판의 추가영역을 촬영한 추가영상을 추가 카메라로부터 수신할 경우, 상기 영상 이미지에 좌표를 정합하여 표시하는 것을 특징으로 하는 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200130972A KR20220048160A (ko) | 2020-10-12 | 2020-10-12 | 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200130972A KR20220048160A (ko) | 2020-10-12 | 2020-10-12 | 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220048160A true KR20220048160A (ko) | 2022-04-19 |
Family
ID=81391738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200130972A KR20220048160A (ko) | 2020-10-12 | 2020-10-12 | 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220048160A (ko) |
-
2020
- 2020-10-12 KR KR1020200130972A patent/KR20220048160A/ko not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107168294B (zh) | 一种火电水系统设备无人巡检监控方法 | |
| US12020415B2 (en) | Method for monitoring manufacture of assembly units | |
| CN112036755B (zh) | 一种建筑工程质量检测的监管方法及系统 | |
| CN112534470B (zh) | 用于基于图像的目标对象检验的系统及方法 | |
| CN113706495B (zh) | 一种在传送带上自动检测锂电池参数的机器视觉检测系统 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| CN108627520A (zh) | 一种非均质固体材料外观质量的在线检测系统和方法 | |
| CN111126196A (zh) | 一种设备漏油检测方法 | |
| CN110560376B (zh) | 一种产品表面缺陷检测方法及装置 | |
| Deshpande et al. | Computer vision toolkit for non-invasive monitoring of factory floor artifacts | |
| CN110146019A (zh) | 一种基于工业相机的工件尺寸在线检测与自动补偿方法 | |
| CN116593479B (zh) | 电池盖板外观质量检测方法、装置、设备及存储介质 | |
| CN115331002A (zh) | 一种基于ar眼镜实现热力站故障远程处理方法 | |
| CN116231504A (zh) | 一种升压站远程智能巡检方法、装置及系统 | |
| CN117664990A (zh) | 一种pcba外观缺陷智能检测方法 | |
| CN117392134B (zh) | 一种用于高速点胶的在线视觉检测系统 | |
| CN117723739B (zh) | 一种低碳润滑油的质量分析方法及系统 | |
| CN113778091A (zh) | 一种风电场升压站设备巡检方法 | |
| CN117314829A (zh) | 一种基于计算机视觉的工业零件质检方法和系统 | |
| CN103913150A (zh) | 智能电能表电子元器件一致性检测方法 | |
| KR20220048160A (ko) | 클라우드 기반의 딥러닝 영상처리 기술이 적용된 데이터 처리 시스템 | |
| Arora | AI-Driven Industry 4.0: Advancing Quality Control through Cutting-Edge Image Processing for Automated Defect Detection | |
| CN116908106A (zh) | 一种基于视觉的产品检测方法及装置 | |
| KR20240064037A (ko) | 피로 테스트를 통해 물체의 표면 결함 및 브레이크 디스크의 크랙을 인공 지능에 의해 식별 및 특성화하는 방법 | |
| KR20220048158A (ko) | 표면처리강판의 코팅건조공정 데이터 수집 및 색상변화를 검출하는 제조공정 현장 모니터링 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |