KR20200063340A - 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템 - Google Patents
클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR20200063340A KR20200063340A KR1020180145058A KR20180145058A KR20200063340A KR 20200063340 A KR20200063340 A KR 20200063340A KR 1020180145058 A KR1020180145058 A KR 1020180145058A KR 20180145058 A KR20180145058 A KR 20180145058A KR 20200063340 A KR20200063340 A KR 20200063340A
- Authority
- KR
- South Korea
- Prior art keywords
- cloud
- image
- product
- factory
- central processing
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007689 inspection Methods 0.000 title claims description 71
- 238000012545 processing Methods 0.000 claims abstract description 103
- 238000013135 deep learning Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 230000002950 deficient Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000007547 defect Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 description 65
- 238000004519 manufacturing process Methods 0.000 description 65
- 230000003190 augmentative effect Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- UGODCLHJOJPPHP-AZGWGOJFSA-J tetralithium;[(2r,3s,4r,5r)-5-(6-aminopurin-9-yl)-4-hydroxy-2-[[oxido(sulfonatooxy)phosphoryl]oxymethyl]oxolan-3-yl] phosphate;hydrate Chemical compound [Li+].[Li+].[Li+].[Li+].O.C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP([O-])(=O)OS([O-])(=O)=O)[C@@H](OP([O-])([O-])=O)[C@H]1O UGODCLHJOJPPHP-AZGWGOJFSA-J 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- General Factory Administration (AREA)
Abstract
본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 공장에서 생산된 특정 제품을 촬영한 제품 이미지를 획득하는 이미지 센서; 상기 이미지 센서와 5세대 무선 통신으로 연결되어 상기 제품 이미지를 수신하는 엣지 클라우드; 상기 엣지 클라우드로부터 상기 제품 이미지를 시민감형 네트워크를 통해 수신하고, 상기 제품 이미지를 이미지 딥러닝 뉴럴 네트워크에 입력하여 출력으로 불량여부를 판별하는 중앙 처리서버를 포함하고, 상기 엣지 클라우드는, 상기 특정 제품이 불량 또는 정상인지 여부를 나타내는 레이블이 설정된 제품 이미지를 포함하는 트레이닝 데이터 세트를 상기 중앙 처리서버로 송신하고, 상기 중앙 처리서버는, 상기 트레이닝 데이터 세트를 통해 상기 이미지 딥러닝 뉴럴 네트워크를 학습시켜, 상기 특정 제품의 불량여부를 판별하기 위한 이미지 딥러닝 뉴럴 네트워크를 구축한다.
Description
본 발명은 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템에 관한 것이다.
보다 상세하게는, 5G 통신기술과 TSN 기술을 융합하여 구축한 네트워크를 활용하는 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템에 관한 것이다.
스마트 팩토리(Smart factory)는 정보통신기술(ICT, Information and Communication Technologies)과 기존의 제조업 기술인 생산 제조 기술의 융합으로 정의될 수 있다.
예를 들어, 스마트 팩토리는 사물인터넷(Internet of Things), 빅데이터(Big data), 클라우드 컴퓨팅(Cloud computing) 및 CPS(Cyber-Physical System) 등의 기술을 기반으로 공장 내의 장비 및 장치 등의 부품들이 상호 연결 및 소통되는 생산 체계로 정의될 수 있다.
여기서, 클라우드 컴퓨팅이란 인터넷 기술을 활용하여 가상화된 정보통신기술 자원을 서비스로 제공하는 컴퓨팅 방식을 의미할 수 있다. 즉, 사용자는 클라우드 컴퓨팅을 통해 정보통신기술의 자원(예를 들어, 서버, 스토리지, 네트워크 및 소프트웨어 등)을 필요에 따라 사용할 수 있다.
또한, 사용자는 클라우드 컴퓨팅을 통해 제공되는 서비스의 부하에 따라 실시간으로 서비스 확장성을 지원받을 수 있고, 서비스의 제공에 대하여 비용을 지불하게 된다.
이러한 스마트 팩토리가 더욱 발전 및 활성화되기 위해서는 3D 프린팅, 홀로그램, 클라우드, 사물인터넷, 에너지 절감, 스마트 센서, CPS 및 빅데이터 등과 같은 다양한 서비스를 제조업자가 저렴한 비용으로 제공받을 수 있어야 한다.
그러나 현재 제조업자는 스마트 팩토리를 구현하기 위해 다양한 서비스와 관련된 서버, 스토리지, 네트워크 및 소프트웨어와 같은 자원을 모두 구비해야 함으로, 스마트 팩토리를 구현하는데 많은 비용이 발생하는 문제가 있다.
또한, 설치비용뿐만 아니라 학습 기간 또한 과도(통상 6개월 이상)하게 소요되어, ICT 기술의 산업현장 적용은 대기업 위주로 시도되고 있으며 중소제조업에서는 도입하기 어려운 문제점이 있다.
또한, 생산 제조 기술과 ICT 기술을 융합하기 위하여 일부 설비에 무선망을 도입하는 등의 시도가 있었으나 무선망 간 간섭과 응답지연, 접속단말 제한 등의 문제로 크게 확대되지 못하고 있어 그 해결책에 대한 필요성이 증대되고 있다.
한편, 최근 시간 민감형 네트워크(TSN, Time Sensitive Network)와 같은 차세대 네트워크 발전 방향의 도래는 최근 이슈화되고 있는 industry 4.0과 같은 산업 네트워크의 변화와 직접적인 연관이 있다.
시간 민감형 네트워크 기술은 기존의 속도와 용량 증가만을 목적으로 하던 네트워크 연구 분야를 초월하여, 네트워크를 통해 전달되는 데이터의 처리 시간까지도 제어하기 위한 차세대 네트워크 발전 방향으로 이슈화되고 있다.
이러한 TSN 기술은 다양한 산업 분야에 대하여 잠재적 시장을 가지며, 스마트 팩토리에서의 원격 제어 기술, 모니터링 시스템 등 다양한 산업 분야에서 활용이 가능하여 그 방안에 대한 관심이 증대되고 있다.
본 발명은, 생산 제조 기술과 ICT 기술을 융합한 스마트 팩토리의 효과적인 품질 검사 기능을 제공하기 위하여, 5G 통신기술과 TSN 기술에 기반한 제조 특화 초저지연/초대용량 데이터 전송 네트워크를 구축하고, 클라우드향 기계학습(ML, Machine Learning) 플랫폼과 연동을 수행하는 방법 및 시스템을 제공하는데 목적이 있다.
즉, 본 발명은, 스마트 팩토리 체계 내에서 제조 특화 초저지연/초대용량 데이터 전송 네트워크와 클라우드향 기계학습 플랫폼을 통하여 제품에 대한 고효율 저비용의 클라우드 기반 품질 검사 기능을 제공하는데 그 목적이 있다.
자세히, 본 발명의 실시예는, 스마트 팩토리를 구현하기 위한 자원 구비에 많은 비용이 발생하는 문제점을 해결하기 위하여, 설치비용이 저렴하고 유지보수가 간편한 5G 모뎀을 이용하는 5G 망 인프라를 구축하여 제공하고자 한다.
또한, 본 발명의 실시예는, 스마트 팩토리를 구현하기 위한 비용과 학습 기간이 과도한 문제점을 해결하기 위하여, 5G 망을 기반으로 제조 현장의 핵심설비(Machine Vision, Robot, AR 등)들을 초저지연으로 연동하고, 이를 통해 수집된 제조현장의 데이터를 클라우드 인프라 기반 하에서 인공지능으로 분석하여 지속적으로 진화해 갈 수 있는 비용효율적인 ML 플랫폼을 제공하고자 한다.
더하여, 본 발명의 실시예는, 스마트 팩토리 내에서 클라우드 기반의 품질 검사를 수행하는데 드는 비용을 감축시키기 위하여, 공장으로부터 모바일 엣지 컴퓨팅(MEC, Mobile Edge Computing) 기술을 활용한 클라우드로 수신되는 데이터를 기반으로 이미지 딥러닝을 수행하는 머신 러닝(ML, Machine Learning) 기술을 제공하고자 한다.
게다가, 본 발명의 실시예는, 무선망 간 간섭과 응답지연, 접속단말 제한 등의 문제를 해결하기 위하여, 5G 망, TSN 기술 등을 활용한 유/무선 융합 네트워크를 제공하고자 한다.
또한, 본 발명의 실시예는, TSN 기술을 생산 제조 기술에 접목해 활용하기 위하여, 스마트 팩토리를 구현하는 네트워크의 일부로서 TSN 기술을 이용하는 5G 기술과 시민감형 네트워크가 융합된 스마트 팩토리 플랫폼을 제공하고자 한다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 공장에서 생산된 특정 제품을 촬영한 제품 이미지를 획득하는 이미지 센서; 상기 이미지 센서와 5세대 무선 통신으로 연결되어 상기 제품 이미지를 수신하는 엣지 클라우드; 상기 엣지 클라우드로부터 상기 제품 이미지를 시민감형 네트워크를 통해 수신하고, 상기 제품 이미지를 이미지 딥러닝 뉴럴 네트워크에 입력하여 출력으로 불량여부를 판별하는 중앙 처리서버를 포함하고, 상기 엣지 클라우드는, 상기 특정 제품이 불량 또는 정상인지 여부를 나타내는 레이블이 설정된 제품 이미지를 포함하는 트레이닝 데이터 세트를 상기 중앙 처리서버로 송신하고, 상기 중앙 처리서버는, 상기 트레이닝 데이터 세트를 통해 상기 이미지 딥러닝 뉴럴 네트워크를 학습시켜, 상기 특정 제품의 불량여부를 판별하기 위한 이미지 딥러닝 뉴럴 네트워크를 구축한다.
또한, 상기 중앙 처리서버는, 상기 공장에서 생산된 제품의 불량 여부 판별에 대한 비용을 산출하고, 상기 산출된 비용을 상기 공장에 부과한다.
더하여, 상기 중앙 처리서버는, 상기 트레이닝 데이터 세트의 수신하면, 상기 트레이닝 데이터 세트의 가치를 판별하고, 상기 판별된 가치에 따라서 상기 불량 여부 판별에 대한 비용을 감축시키고, 상기 감축된 비용을 상기 공장에 부과한다.
또한, 상기 중앙 처리서버는, 상기 이미지 딥러닝 뉴럴 네트워크를 통해 상기 불량여부 판별한 품질 정보를 생성하여 상기 공장으로 송신하고, 상기 품질 정보는, 상기 이미지의 대상 제품이 불량, 정상 또는 불분명인 정보를 포함한다.
그리고 상기 중앙 처리서버는, 상기 공장으로부터 상기 품질 정보에 대한 피드백 정보를 수신하면, 상기 피드백 정보를 통해 상기 이미지 딥러닝 뉴럴 네트워크를 재학습시키고, 상기 피드백 정보의 가치에 따라서 상기 불량 여부 판별에 대한 비용을 감축시키고, 상기 감축된 비용을 상기 공장에 부과한다.
본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 5G 통신기술과 TSN 기술에 기반한 제조 특화 초저지연/초대용량 데이터 전송 네트워크를 구축하고 클라우드향 기계학습(ML, Machine Learning) 플랫폼과 연동을 수행함으로써, 제조현장에서의 5G 망 인프라를 기반으로한 생산설비의 무선제어 및 대용량 품질분석 데이터 수집을 용이하게 할 수 있다.
또한, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 설치비용이 저렴하고 유지보수가 간편한 5G 모뎀을 이용하는 5G 망 인프라를 구축함으로써, 자원 구비 비용을 감축시켜 중소제조업에서도 저비용 고효율의 스마트 팩토리를 구현하게 할 수 있다.
더욱이, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 제조현장의 데이터를 클라우드 인프라 기반 하에서 인공지능으로 분석하여 지속적으로 진화해 갈 수 있는 비용효율적인 기계학습 플랫폼을 제공함으로써, 스마트 팩토리를 수행하는데 드는 비용 및 학습 기간을 감축시키는 효과가 있다.
게다가, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 공장으로부터 MEC(Mobile Edge Computing) 기술을 활용한 클라우드로 수신되는 데이터를 기반으로 이미지 딥러닝을 수행하는 머신 러닝(ML, Machine Learning) 기술을 제공함으로써, 저비용 고효율의 머신 비전(Machine Vision) 기술을 제공할 수 있다.
더하여, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 5G 망, TSN 기술 등을 활용한 유/무선 융합 네트워크를 제공함으로써, 고속의 유선망과 대등한 망 품질을 공급하면서도 무선망의 장점을 동시에 가지는 유연생산을 위한 차세대 스마트 팩토리의 구현을 가능하게 할 수 있다.
또한, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 5G 기술과 시민감형 네트워크가 융합된 스마트 팩토리 플랫폼을 제공함으로써, 글로벌 외산 기업이 독식하고 있는 유선기반의 제조설비 제어망을 유/무선 융합 네트워크로 대체하여 외산 기업에 대한 의존도를 감소시키고 신사업을 육성하는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 엣지 클라우드(Egde Cloud)를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 수신한 품질 정보를 표시하고 해당 품질 정보에 대한 피드백 정보를 생성하기 위한 사용자 인터페이스의 일례이다.
도 5a는 본 발명의 실시예에 따른 클라우드 기반의 로봇 제어 방법을 설명하기 위한 개념도이다.
도 5b는 본 발명의 실시예에 따른 클라우드 기반의 로봇 제어를 수행하는 모습의 일례이다.
도 6a는 본 발명의 실시예에 따른 클라우드 기반의 AR 기능을 설명하기 위한 도면이다.
도 6b는 본 발명의 실시예에 따른 클라우드 기반의 AR 기능을 구현한 일례이다.
도 7은 본 발명의 실시예에 따른 클라우드 기반의 품질 검사 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 엣지 클라우드(Egde Cloud)를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 수신한 품질 정보를 표시하고 해당 품질 정보에 대한 피드백 정보를 생성하기 위한 사용자 인터페이스의 일례이다.
도 5a는 본 발명의 실시예에 따른 클라우드 기반의 로봇 제어 방법을 설명하기 위한 개념도이다.
도 5b는 본 발명의 실시예에 따른 클라우드 기반의 로봇 제어를 수행하는 모습의 일례이다.
도 6a는 본 발명의 실시예에 따른 클라우드 기반의 AR 기능을 설명하기 위한 도면이다.
도 6b는 본 발명의 실시예에 따른 클라우드 기반의 AR 기능을 구현한 일례이다.
도 7은 본 발명의 실시예에 따른 클라우드 기반의 품질 검사 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
-
5G 통신과 TSN 기술을 활용한 스마트 팩토리 네트워크의 구조
도 1은 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 시스템의 개념도이다.
도 1을 참조하면, 클라우드향 기계학습 기반의 품질 검사 시스템은, 엣지 클라우드(100: Egde Cloud), 중앙 처리서버(200: Central Cloud), 5세대 모뎀(Modem), 이동형 디바이스(10) 및 고정형 디바이스(20)를 포함할 수 있다.
여기서, 도 1의 각 구성요소는, 5G(이하, 5세대) 통신과 시민감형 네트워크(TSN, Time Sensitive Network) 기술을 활용한 제조 특화 초저지연/초대용량 데이터 전송 네트워크(이하, 제조 데이터 네트워크)를 통해 연결될 수 있다.
이때, 제조 데이터 네트워크는, 엣지 클라우드(100), 중앙 처리서버(200), 5세대 모뎀, 이동형 디바이스(10) 및 고정형 디바이스(20) 등과 같은 스마트 팩토리의 각 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하며, 밀리미터파 주파수를 이용해 통신하는 5세대 통신과 이더넷에 기반한 확정적 통신을 제공하는 시민감형 네트워크(TSN)로 구현될 수 있다.
보다 상세히, 먼저 5세대 통신이란, 무선 구간에서 수십 Gbps의 전송속도를 제공하는 통신기술로서, 초저지연/초대용량/초실감 데이터를 서비스별 품질 요구사항에 대응하여 다수의 디바이스에서 Gbps 이상의 속도와 msec 단위의 초저지연 데이터 전송이 가능한 기술을 말한다.
이러한 5세대 통신(5G)은, 고속의 유선망과 대등한 망품질을 제공하면서도 무선이라는 장점을 동시에 제공할 수 있어 유연생산을 위한 차세대 스마트 팩토리 구현을 효과적으로 보조할 수 있다.
또한, 5세대 통신(5G)을 구현하는 장치들(예를 들면, 5세대 모뎀 등)은, 설치 및 유지보수가 간편하여 제조 현장에서 5세대 통신(5G) 인프라를 기반으로 대용량의 데이터를 수집하고 생산설비를 무선제어하는데 드는 비용을 효과적으로 감축시킬 수 있다.
한편, 시민감형 네트워크(TSN)란, 실시간 시간 민감형 통신 및 산업 공정의 제어를 위해 데이터 통신의 지연시간을 극소화한 통신 인프라 기술로서, 네트워크의 자원을 공유하는 구성요소 간의 시간을 동기화하고, 동기화된 시간을 기반으로하는 스케줄링을 통해 트래픽을 처리함으로써 각종 장치 내에서 스위칭에 소요되는 최대 지연을 보장하는 시간 확정적 네트워크 기술이다.
즉, 시민감형 네트워크(TSN)는, 시간 동기화에 기반한 저지연(low latency), 저지연편차(low delay variation) 및 저손실(low packet loss)의 확정적 통신을 제공함으로써, 제조 현장에 특화된 고성능의 네트워크 플랫폼을 구축하는데 일조할 수 있고, 5세대 통신(5G)과 융합되어 보다 효과적인 스마트 팩토리의 제조 데이터 네트워크를 구축하게 할 수 있다.
그리고 이러한 5세대 통신(5G)과 시민감형 네트워크(TSN)의 융합으로 구현되는 제조 데이터 네트워크는, 클라우드향 기계학습 기반의 품질 검사 시스템에서 각 구성요소들 간에 송수신되는 데이터가 제조산업에 특화된 초저지연/초대용량 데이터 통신으로 송수신되게 할 수 있으며, 클라우드향 기계학습(즉, 머신 러닝(ML, Machine Learning)) 플랫폼과 연동하여 제조 생산성을 혁신하는 각종 서비스를 제공하는데 일조할 수 있다.
자세히, 실시예에서 제조 데이터 네트워크는, 이동형 디바이스(10)와 5세대 모뎀이 5세대 통신(5G)을 통해 각종 정보를 송수신하게 하고, 고정형 디바이스(20)와 엣지 클라우드(100)가 시민감형 네트워크(TSN)를 통해 각종 정보를 송수신하게 하며, 엣지 클라우드(100)와 중앙 처리서버(200)(즉, 중앙 클라우드(Central Cloud))가 시민감형 네트워크(TSN)를 통해 정보를 송수신하게 함으로써, 제조 데이터 네트워크에 기반한 스마트 팩토리를 저비용 고효율로 구현하게 할 수 있다.
한편, 도 1에 도시된 구성요소들은, 클라우드향 기계학습 기반의 품질 검사 방법 및 시스템을 구현하는데 있어서 필수적인 것은 아니어서, 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
-
엣지 클라우드(Egde Cloud)
이하, 본 발명의 실시예에서 구현되는 엣지 클라우드(100)에 대해 상세히 설명하고자 한다.
먼저, 엣지 클라우드(100)란, 데이터를 중앙 데이터센터에서 처리하던 방식에서 벗어나 데이터가 만들어지는 가장자리 영역(Edge)에서 데이터를 처리하는 기술로, 실시간을 요하는 데이터는 엣지 클라우드(100) 부분에서 처리하고 필요 시 2차 작업으로 중앙 클라우드와 소통하는 방식으로 구현될 수 있다.
이러한 엣지 클라우드(100)는, 무선 기지국에 분산 클라우드 컴퓨팅 기술을 적용하여 다양한 서비스와 캐싱 콘텐츠를 사용자 장치의 가까이에서 전개함으로써 모바일 코어망의 혼잡을 완화할 수 있으며 새로운 로컬 서비스를 창출하는 모바일 엣지 컴퓨팅(MEC, Mobile Edge Computing) 기술을 활용할 수 있다.
실시예에서, 이러한 엣지 클라우드(100)는, 실시간 데이터 처리를 수행하며 자체 처리가 어려운 데이터를 중앙 처리서버(200)의 머신러닝모듈(220: ML Module)로 송신할 수 있고, 획득된 데이터 중 머신 러닝에 유효한 데이터를 판단하여 중앙 처리서버(200)의 데이터 센터(210: Data Center)로 송신할 수 있다.
도 2는 본 발명의 실시예에 따른 엣지 클라우드(100)를 설명하기 위한 개념도이다.
보다 자세히, 도 1 내지 2를 참조하면, 엣지 클라우드(100)는, 모바일 엣지 컴퓨팅 데이터 콜렉션 데이터베이스(110: MEC(Mobile Egde Computing) data collection database), 분석 모듈(120: Analytics Module), 복수의 어플리케이션(130: APPS) 및 프로세서(140)를 포함할 수 있다.
자세히, 엣지 클라우드(100)는, 메모리와 메모리에 저장된 프로그램을 독출하여 특정 기능을 수행하는 프로세서로 구성된 적어도 하나 이상의 컴퓨팅 장치로 구현될 수 있으며, 이하에서는 엣지 클라우드(100)를 역할 별로 구성 유닛을 나누어 설명하기로 한다.
먼저, 데이터베이스(110)는, 이동형/고정형 디바이스(10, 20)들로부터 MEC 기술에 기반해 획득한 데이터들을 저장하여 관리할 수 있으며, 클라우드향 기계학습 기반의 품질 검사 시스템에서 1차적으로 데이터를 수집해 저장하는 제 1 DB일 수 있다.
또한, 데이터베이스(110)는, 본 발명의 실시예에 따른 기능 동작에 필요한 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
이러한 데이터베이스(110)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 데이터베이스(110)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
또한, 일부 실시예들에서, 데이터베이스(110)에 저장된 소프트웨어 컴포넌트들은, 운영 체제, 통신 모듈(또는 명령어들의 세트), 접촉/모션 모듈(또는 명령어들의 세트), 그래픽 모듈(또는 명령어들의 세트), 텍스트 입력 모듈(또는 명령어들의 세트), 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트), 및 어플리케이션들(또는 명령어들의 세트들)을 포함할 수 있다.
다음으로, 분석 모듈(120)은, 디바이스들로부터 획득된 각종 데이터를 분석하여 적합한 처리를 수행할 수 있으며, 자체적으로 머신 러닝을 수행할 수도 있다.
실시예로, 분석 모듈(120)은, 이동형/고정형 디바이스(10, 20)들로부터 획득된 데이터들을 각각 분석하고, 분석된 각 데이터별로 매칭되는 어플리케이션을 선정하여 상기 데이터를 송신할 수 있다.
예를 들어, 분석 모듈(120)은, 이동형 로봇(Movable Robot)으로부터 수신한 데이터를 분석하여 로봇 제어 어플리케이션(131: Robot Control Application)으로 송신할 수 있다.
다음으로, 복수의 어플리케이션들(130)은, 클라우드향 기계학습 기반의 각종 업무를 수행할 수 있도록 보조하는 프로그램, 기계장치 및 컴퓨터 체계 중 적어도 어느 하나 이상을 의미할 수 있다.
실시예에서, 복수의 어플리케이션들(130)은, 로봇 제어 어플리케이션(131: Robot Control Application), 증강 현실 어플리케이션(132: AR Application), 머신 비전 어플리케이션(133: Vision Application) 등을 포함할 수 있다.
마지막으로, 프로세서(140)는, 전술한 각 유닛의 전반적인 동작을 제어하고 구동할 수 있다.
이러한 프로세서(140)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 이러한 상기 구성요소들을 포함하는 엣지 클라우드(100)는, 도 2와 같이 복수의 센서들로부터 수집한 센서 데이터를 데이터베이스(110)에 저장하고, 분석 모듈(120)과 어플리케이션을 제어하여 저장된 데이터들을 활용한 실시간 데이터 처리를 수행하며, 저장된 데이터 중 일부를 시민감형 네트워크(TSN)를 통해 중앙 처리서버(200)로 송신하여 2차 데이터 처리를 수행하게 함으로써, 제조 데이터 네트워크와 클라우드향 기계학습에 기반한 스마트 팩토리를 원활하게 동작시킬 수 있다.
-
중앙 처리서버(Central Cloud)
한편, 클라우드향 기계학습 기반의 품질 검사 시스템에서 중앙 처리서버(200)는, 엣지 클라우드(100)에서 처리하기에 어려움이 있는 보다 고도화된 기계학습 및/또는 초대용량 데이터 처리 등을 수행하는 중앙 클라우드를 의미한다.
여기서, 기계학습(즉, 머신 러닝)이란, 인공지능의 한 분야로서, 컴퓨터가 스스로 학습할 수 있도록 하는 알고리즘과 기술을 기반으로 수 많은 데이터를 일반화하고 분류해 평가할 수 있는 모델을 생성하는 기술을 말한다.
이러한 기계학습은, 대량의 인프라가 필요한 영역이므로 클라우드 방식으로 구현됨이 바람직하다. 그러므로 본 발명의 실시예에서는, 효과적인 기계학습이 구현되는 스마트 팩토리의 품질 검사를 위하여 엣지 클라우드(100) 및 중앙 처리서버(200: 즉, 중앙 클라우드)를 활용하여 클라우드향 기계학습 기반의 품질 검사를 수행하고자 한다.
이처럼, 본 발명의 실시예는, 제조현장의 데이터를 클라우드 인프라 기반 하에서 인공지능으로 분석하여 지속적으로 진화해 갈 수 있는 비용효율적인 기계학습 기능을 제공함으로써, 스마트 팩토리를 수행하는데 드는 비용 및 학습 기간을 감축시킬 수 있다.
보다 자세히, 도 1을 참조하면, 중앙 처리서버(200)는, 머신러닝모듈(220: ML Module), 데이터 센터(210: Data Center) 및 제어부(230)를 포함할 수 있다.
먼저, 머신러닝모듈(220)은, 엣지 클라우드(100)에서 처리하기에 어려움이 있는 보다 고도화된 기계학습을 수행할 수 있다.
자세히, 머신러닝모듈(220)은, 초대용량의 데이터를 관리하는 데이터 센터와 연동하여 보다 다양한 응용 프로그램, 데이터 및 명령어를 활용한 기계학습 모델을 생성할 수 있다.
한편, 데이터 센터(210)는, 이동형/고정형 디바이스(10, 20)들로부터 MEC 기술에 기반해 획득된 데이터들 중 2차 데이터 처리가 필요하다고 판단된 일부 데이터들을 엣지 클라우드(100)로부터 수신해 저장할 수 있다. 즉, 데이터 센터(210)는, 클라우드향 기계학습 기반의 품질 검사 시스템에서 2차적으로 데이터를 수집해 저장하는 제 2 DB일 수 있다.
또한, 데이터 센터(210)는, 엣지 클라우드(100)의 데이터베이스(110)보다 더욱 큰 대용량의 데이터를 저장할 수 있으며, 고차원적인 기계학습에 필요한 기반 데이터를 머신러닝모듈(220)에 제공함으로써, 중앙 처리서버(200)에서의 고도화된 기계학습을 효과적으로 보조할 수 있다.
이러한 데이터 센터(210)는, 본 발명의 실시예에 따른 기능 동작에 필요한 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있으며, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 데이터 센터(210)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
마지막으로 제어부(230)는, 전술한 각 유닛의 전반적인 동작을 제어하고 구동할 수 있다.
이러한 제어부(230)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
-
스마트 팩토리 디바이스(Smart Factory Divice)
다음으로, 본 발명의 실시예에서 기술되는 스마트 팩토리 디바이스(이하, 공장 디바이스)들에 대해 간략히 설명하고자 한다.
먼저, 공장 디바이스는, 스마트 팩토리의 구성요소로 사용되는 각종 기계/장치/장비들을 의미할 수 있으며, 이동형 디바이스(10)와 고정형 디바이스(20)를 포함할 수 있다.
자세히, 이동형 디바이스(10)는, 이동형 로봇(Movable Robot), 증강현실장치(AR device) 및 이미지 센서(Image Sensors) 등을 포함할 수 있다.
먼저, 이동형 로봇은, 자율주행 로봇이나 협업 로봇과 같이 특정 위치에 고정되지 않고 인공지능 및/또는 사용자의 컨트롤에 따라 이동할 수 있는 로봇을 의미한다.
여기서, 자율주행 로봇이란, 기존 로봇들이 RFID(Radio-Frequency Identification)나 마그네틱과 같은 정해진 가이드에 따라 이동하는 것과는 달리 센서, 카메라 등을 이용해 상황을 인지하고 스스로 경로를 결정해서 주행하는 로봇을 의미하며, 협업 로봇이란, 정해진 업무만 수행하는 기존 로봇과는 다르게 두 개 이상의 로봇이 협력을 하거나 사람과 함께 역할을 분담해서 일을 함으로써 생산성을 향상시키는 로봇을 의미한다.
이러한 이동형 로봇은, 보다 자유롭고 광범위한 이동을 위하여 유선 통신보다는 무선 통신으로 제어됨이 더욱 바람직하며, 본 발명의 실시예에서는 제조 현장에 보다 최적화된 저지연 무선 컨트롤을 위하여 5세대 통신(5G)에 기반한 무선 제어로 통제될 수 있다.
다음으로, 증강현실장치는, 증강 현실의 구현을 위한 디스플레이 장치를 의미한다.
이때, 증강 현실이란, 가상 현실(VR, Virtual Reality)의 한 분야로서 실제 환경에 가상 사물이나 정보를 합성한 디스플레이를 제공하는 기술이다.
실시예에서, 증강현실장치는, 헬멧 또는 안경(eyeglasses)과 같은 다양한 형태로 사용자의 머리에 착용되어 사용자의 한쪽 또는 양쪽 눈들의 앞에 디스플레이를 둘 수 있는 임의의 디바이스일 수 있으며, 사용자의 위치에 따른 자유로운 이동이 필요할 수 있다.
그러므로 본 발명의 실시예에서 증강현실장치는, 5세대 통신(5G)에 기반한 무선 통신으로 제어됨이 가장 바람직할 수 있다.
다음으로, 본 발명의 실시예에서 이미지 센서는, 제품에 대한 이미지를 캡쳐하고 프로세싱하는 기능을 가진 카메라를 포함할 수 있다.
즉, 이미지 센서는, 클라우드의 머신 러닝 플랫폼에 기반한 인공지능이 획득된 이미지 데이터를 기반으로 기계학습을 수행하여 제품의 상태나 품질을 평가하고 판단하는 머신 비전(Machine Vision)을 수행할 때 필요한 기반 데이터를 제공할 수 있다.
이러한 이미지 센서는, 제품의 위치, 제품의 크기와 같은 상황에 따라 유동적인 이동이 필요할 수 있으므로 5세대 통신(5G)에 기반한 무선 통신으로 제어됨이 바람직할 수 있다.
한편, 고정형 디바이스(20)는, 공장시설장치(Facility), 산업 로봇(Industrial Robot), 복수의 센서(Sensors)를 포함할 수 있다.
먼저, 공장시설장치는, 스마트 팩토리의 전반적인 시설을 관리할 수 있고 각종 디바이스들을 컨트롤할 수 있는 사용자 인터페이스가 갖추어진 기계/장치/장비 등을 포함할 수 있다.
또한, 본 발명의 실시예에서 산업 로봇은, 주로 공장 내에 고정된 위치에 설치되어 동작하는 로봇을 의미하며, 상기 이동형 로봇 외의 로봇을 지칭할 수 있다.
마지막으로 복수의 센서는, 스마트 팩토리의 각종 기계/장치/장비에 장착되어 다양한 종류의 데이터를 센싱하고, 센싱된 데이터를 클라우드로 송신할 수 있으며, 상기 이미지 센서 외의 센서들을 의미할 수 있다.
예를 들어, 복수의 센서는, 거리센서, 위치센서, 자이로센서, 가속센서 및 근접센서 중 적어도 하나 이상을 포함할 수 있으며 이에 한정되지 아니한다.
이와 같은 고정형 디바이스(20)는, 유동성 있는 위치 이동에 대한 필요성이 적으므로 저지연, 저지연편차 및 지손실을 극대화할 수 있는 시민감형 네트워크(TSN) 유선망을 이용함이 바람직할 수 있다.
-
클라우드향 기계학습 기반의 품질 검사 방법
한편, 본 발명의 실시예에서 중앙 처리서버(200)는, 제조 데이터 네트워크에 기반한 기계학습을 통해 머신 비전(Machine Vision) 즉, 품질 검사 서비스를 제공하는 경우, 제품 공장으로부터 품질 검사를 위한 학습용 트레이닝 데이터 세트를 획득하여 활용할 수 있다.
즉, 중앙 처리서버(200)는, 품질 검사에 필요한 기반 데이터를 이미지 딥러닝(Image Deep Learning)을 통해 획득할 뿐만 아니라 공장(즉, 사용자)으로부터 입력받은 트레이닝 데이터 세트를 활용해 획득함으로써, 품질 검사 서비스의 제공 비용을 감축시킬 수 있다.
이하, 첨부된 도면을 참조하여 클라우드향 기계학습 기반의 품질 검사 방법을 보다 상세히 설명하고자 한다.
도 3은 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 중앙 처리서버(200)는, 공장으로부터 품질 검사를 받을 특정 제품의 트레이닝 데이터 세트(Training Data Set)를 수신할 수 있다. (S101)
자세히, 중앙 처리서버(200)는, 불량 제품을 촬영한 이미지와 정상 제품을 촬영한 이미지가 분류되어 있는 트레이닝 데이터 세트를 해당 제품을 제조하는 공장으로부터 수집할 수 있다.
예를 들어, 중앙 처리서버(200)는, 제 1 제품의 정상적인 완제품 형상을 이미지로 센싱한 이미지 데이터를 획득할 수 있고, 제 1 제품의 일부 부품에 결함이 발생한 비정상적인 불량제품의 형상을 이미지로 센싱한 이미지 데이터를 획득할 수 있고, 각각의 제품 이미지는 정상과 불량으로 분류된 레이블(label)이 설정된 트레이닝 데이터 세트를 수신할 수 있다.
트레이닝 데이터 세트를 수신한 중앙 처리서버(200)는, 수신한 트레이닝 데이터 세트를 기반으로 이미지 딥러닝 뉴럴 네트워크를 학습시킬 수 있다. (S103)
여기서, 이미지 딥러닝 뉴럴 네트워크(Neural Network)란, 인간의 뇌를 모방하는 통계학적 학습 알고리즘인 뉴럴(즉, 노드) 네트워크를 기반으로 컴퓨터 스스로 이미지 데이터를 조합, 분석하여 학습하는 이미지 딥러닝을 수행하는 인공지능적 기술을 의미한다.
먼저, 중앙 처리서버(200)는, 특정 제품과 관계없이 공장, 이미지 센서 및/또는 타클라우드 등으로부터 수신되는 방대한 양의 이미지 데이터를 분석해 군집화하거나 분류하여 이미지 딥러닝 뉴럴 네트워크를 학습시켜, 범용 이미지 딥러닝 뉴럴 네트워크를 생성할 수 있다.
이와 같이 학습된 이미지 딥러닝 뉴럴 네트워크는, 특정 제품과 관련없이 학습되어 모든 제품의 이미지가 입력되었을 때, 불량과 정상을 구분할 수 있는 범용적인 네트워크일 수 있다.
다음으로 특정 제품에 대한 불량/정상 구분의 정확도를 향상시키기 위해, 중앙 처리서버(200)는, 범용 이미지 딥러닝 뉴럴 네트워크를 공장으로부터 수신한 특정 제품의 트레이닝 데이터 세트로 재학습시킬 수 있다.
즉, 중앙 처리서버(200)는, 수많은 제품의 트레이닝 데이터 세트로 학습된 범용 이미지 딥러닝 뉴럴 네트워크를, 특정 제품에 특화시키기 위해 특정 제품의 트레이닝 데이터 세트로 재학습시켜 특정제품의 불량판별에 대한 정확도를 향상시킨 특화된 이미지 딥러닝 뉴럴 네트워크를 구축할 수 있다.
이후 다른 제품에 대한 불량여부 판별시에는, 중앙 처리서버(200)는 다시 범용 이미지 딥러닝 뉴럴 네트워크로 회귀한 후 다른 제품의 트레이닝 데이터 세트의 여부에 따라서 뉴럴 네트워크를 재세팅한 후 불량여부 판별을 수행할 수 있다.
이때, 중앙 처리서버(200)는, 특정 제품에 대한 특화된 이미지 딥러닝 뉴럴 네트워크의 구성 정보(예컨대, 가중치, 바이어스)를 저장해두었다가 이후 다시 특정 제품에 대한 불량여부 판별 시 재학습 없이 바로 특정 제품에 대한 특화된 이미지 딥러닝 뉴럴 네트워크로 변환하여 판별을 수행할 수 있다.
즉, 중앙 처리서버(200)는, 하나의 범용 이미지 딥러닝 뉴럴 네트워크를 상황에 따라 제품에 특화시켜 네트워크 구축 비용을 감축하고, 뉴럴 네트워크 학습시간, 비용소요를 획기적으로 감축할 수 있다.
다른 실시예에서, 중앙 처리서버(200)는, 범용 네트워크를 특화시키기 위한 학습시간을 단축시키기 위하여, 특정 제품에 대한 트레이닝 데이터 세트를 수신할 경우, 기 저장된 데이터 센터(210)에서 특정 제품과 유사한 제품 이미지를 이미지 딥러닝을 통해 검색할 수 있다. 이후 특정 제품과 유사 제품의 이미지 유사율이 소정의 확률 이상인 경우, 유사 제품에 특화된 이미지 딥러닝 뉴럴 네트워크로 범용 이미지 딥러닝 뉴럴 네트워크를 변환한 후 특정 제품의 트레이닝 데이터 세트로 재학습시켜, 학습시간과 비용을 감축시킬 수 있다.
특정 제품에 대해 이미지 딥러닝 뉴럴 네트워크를 학습한 이후, 중앙 처리서버(200)는, 공장으로부터 실시간으로 생산되어 촬영된 제품 이미지를 수신할 수 있다. (S105)
자세히, 중앙 처리서버(200)는, 공장에서 이미지 센서를 통해 실시간으로 촬영된 제품 이미지를 5세대 통신(5G)망을 통해 직접적으로 수신할 수도 있고, 엣지 클라우드(100)를 거쳐 간접적으로 수신할 수도 있다.
이때, 중앙 처리서버(200)가 실시간 제품 이미지를 엣지 클라우드(100)로부터 간접적으로 수신할 경우, 상기 실시간 제품 이미지는, 엣지 클라우드(100)에서 1차 품질 검사가 완료된 후 중앙 처리서버(200)로 송신되는 제품 이미지일 수 있다.
계속해서, 제품 이미지를 수신한 중앙 처리서버(200)는, 수신된 제품 이미지를 학습된 이미지 딥러닝 뉴럴 네트워크에 입력하여 품질 검사를 수행할 수 있고, 이미지 딥러닝의 출력값인 레이블을 기초로 품질 정보를 생성할 수 있다. (S107)
여기서, 품질 정보란, 품질 검사의 결과로 산출되는 특정 제품의 불량 가능성을 백분율(즉, 퍼센트(%))로 표시한 정보와 불량/정상 판단 정보 및 특정 제품에 대한 정보 중 적어도 어느 하나 이상을 포함하는 정보를 의미한다.
예를 들어, 중앙 처리서버(200)는, 품질검사 결과로, 이미지의 제품이 1) 불량, 2) 정상, 3) 불분명이라는 품질검사 정보를 공장으로 송신할 수 있다.
다음으로, 중앙 처리서버(200)는, 생성된 품질 정보를 해당 공장으로 송신할 수 있다. (S109)
자세히, 중앙 처리서버(200)는, 품질 정보를 5세대 통신(5G)망을 통해 해당 공장의 공장시설장치로 직접 송신할 수도 있고, 엣지 클라우드(100)를 통해 간접적으로 송신할 수도 있다.
이처럼 생성된 품질 정보를 해당 공장으로 송신한 중앙 처리서버(200)는, 송신한 품질 정보에 대한 피드백 정보를 해당 공장으로부터 수신할 수 있다. (S111)
여기서, 피드백 정보란, 중앙 처리서버(200)가 송신한 품질 정보에 대하여 1) 정상 제품이 불량 제품으로 판별된 경우, 2) 불량 제품이 정상 제품으로 판별된 경우, 3) 정상 제품은 정상 제품으로, 불량 제품은 불량 제품으로 옳게 판별된 경우 4) 불분명 제품이 정상인지 비정상인지 여부 각각에 대한 공장 관리자(즉, 사용자)의 검수 정보를 의미한다.
자세히, 도 4를 참조하면, 품질 검사에 대한 피드백을 담당하는 공장 관리자는, 임의의 공장시설장치를 통해 품질 검사 피드백을 수행할 수 있는 사용자 인터페이스를 제공받을 수 있다.
이때, 품질 검사 피드백을 수행할 수 있는 사용자 인터페이스는, 제품 이미지 표시 정보(1), 불량/정상 판단 표시 정보(2), 불량 가능성 표시 정보(3), 오(誤)처리 버튼(4) 및 정(正)처리 버튼(5) 중 적어도 어느 하나 이상을 포함할 수 있다.
좀 더 상세히 공장 관점에서, 공장은, 이미지 딥러닝의 결과에 따라 제품을 3개의 이동 라인으로 분류할 수 있다.
여기서 3개의 이동 라인은, 정상 제품 이동 라인, 불량 제품 이동 라인 및 불분명 제품 이동 라인을 포함할 수 있다.
이러한 복수의 이동 라인에는, 각각 품질 검사 피드백을 수행할 수 있는 사용자 인터페이스가 배치될 수 있으며, 특히 불분명 제품 이동 라인에는, 품질 검사 피드백을 수행할 수 있는 사용자 인터페이스를 타 라인들에 비해 상대적으로 많이 배치될 수 있다.
즉, 공장은, 이미지 딥러닝을 통해 불량이나 정상으로 판별된 제품에 대해서는 사용자의 검수를 통한 피드백 정보 송신을 비교적 낮은 빈도로 수행할 수 있고, 이미지 딥러닝을 통해 불분명한 제품으로 판별된 제품에 대해서는 사용자의 검수를 통한 피드백 정보 송신을 비교적 높은 빈도로 수행할 수 있다.
그리하여 공장은, 불분명하다고 판별된 제품을 보다 집중적으로 검수하고 이미지 딥러닝에 의해 명확하게 불량 또는 정상으로 분류된 제품에 대해서는 검수 비용을 감축함으로써, 보다 효율적으로 품질 검사 결과에 대한 피드백 정보를 생성할 수 있다.
실시예에서, 품질 검사 피드백에 대한 사용자 인터페이스는, 공장 관리자로부터 오(誤)처리 버튼(4)에 대한 입력을 받은 경우, 해당 제품에 대한 중앙 처리서버(200)의 불량/정상에 대한 판단이 옳지 않다는 오(誤)처리 정보를 포함하는 피드백 정보를 중앙 처리서버(200)로 송신할 수 있다. 반대로, 공장 관리자로부터 정(正)처리 버튼(5)에 대한 입력을 받은 경우, 해당 제품에 대한 중앙 처리서버(200)의 불량/정상에 대한 판단이 옳다는 정(正)처리 정보를 포함하는 피드백 정보를 중앙 처리서버(200)로 송신할 수 있다.
계속해서, 피드백 정보를 수신한 중앙 처리서버(200)는, 공장으로부터 수신한 피드백 정보를 기반으로 이미지 딥러닝 뉴럴 네트워크를 재학습할 수 있다. (S113)
자세히, 중앙 처리서버(200)는, 피드백 정보에 기반하여 오(誤)처리되는 이미지에 대한 딥러닝 정보를 업데이트하고 정(正)처리된 이미지들을 지속적으로 군집시키는 등의 이미지 딥러닝 뉴럴 네트워크 재학습을 수행하여 알고리즘 고도화를 수행할 수 있다.
또한, 이러한 중앙 처리서버(200)는, 공장의 트레이닝 데이터 세트 제공여부와 피드백 정보 제공여부에 따라서 해당 공장에 청구할 품질 검사 서비스 비용을 산정할 수 있다. (S115)
자세히, 중앙 처리서버(200)는, 공장이 품질 검사를 수행할 제품에 대한 트레이닝 데이터 세트를 제공한 경우, 기설정된 기준에 따라 해당 공장에 품질 검사 서비스 비용을 감축하여 청구할 수 있다.
이때, 기설정된 기준으로는 1) 트레이닝 데이터 세트의 품질, 2) 트레이닝 데이터 세트의 크기, 3) 트레이닝 데이터 세트의 개수 중 적어도 어느 하나 이상일 수 있다.
또한, 중앙 처리서버(200)는, 공장이 피드백 정보를 제공한 경우, 피드백 정보가 제공된 횟수, 피드백 정보의 종류 등과 같은 기설정된 기준에 따라 해당 공장에 대한 품질 검사 서비스 청구 비용을 감축할 수 있다.
자세히, 중앙 처리서버(200)는, 피드백 정보가 제공된 횟수가 많을수록 품질 검사 서비스 청구 비용을 감축할 수 있고, 피드백의 종류에 따라 가중치를 부여하여 청구 비용을 감축할 수 있다.
이때, 피드백의 종류란, 이미지 딥러닝을 통해 판별된 제품의 상태에 따라 분류될 수 있으며, 정상 제품에 대한 피드백 정보, 불량 제품에 대한 피드백 정보 및 불분명 제품에 대한 피드백 정보 중 어느 하나일 수 있다.
즉, 중앙 처리서버(200)는, 정상 제품, 불량 제품 및 불분명 제품 각각에 대한 피드백 정보를 수신하여 1) 불분명 제품의 정/오 분류는 낮은 가중치를 부여, 2) 정상 제품으로 분류된 제품이 오분류일 경우에 높은 가중치를 부여, 3) 불량 제품으로 분류된 제품이 오분류일 경우에 중간 가중치를 부여할 수 있고, 해당 가중치에 따라 감축비율을 산정하여 품질 검사 서비스에 대한 청구 비용을 감축할 수 있다.
이와 같이, 중앙 처리서버(200)는, 수신되는 피드백 정보의 가치가 높을수록 품질 검사 서비스의 청구 비용을 더욱 감축시킴으로써, 각 피드백 정보에 적절한 보상을 사용자에게 제공할 수 있고, 원활한 피드백 정보 송수신에 대한 동기 부여를 가능하게 할 수 있다.
더하여, 중앙 처리서버(200)는, 공장으로부터 수신된 트레이닝 데이터 세트, 실시간 제품 이미지, 피드백 정보 등을 기반으로 생성된 이미지 딥러닝 뉴럴 네트워크의 공유여부에 따라 해당 공장에 보상을 제공할 수 있다. (S117)
실시예로, 중앙 처리서버(200)는, 제 1 공장에서 제공한 각종 데이터 및 정보를 기반으로 생성된 제 1 공장의 이미지 딥러닝 뉴럴 네트워크를 타 공장에서도 활용할 수 있도록 제 1 공장이 공유를 승인한 경우, 제 1 공장에 그에 상응하는 보상(예를 들면, 품질 검사 서비스 비용 감축 등)을 제공할 수 있다.
이와 같이, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법은, 공장으로부터 클라우드로 수신되는 데이터를 기반으로 이미지 딥러닝 뉴럴 네트워크를 생성해 제공함으로써 학습기간과 구축비용이 감축된 저비용 고효율의 머신 비전(Machine Vision) 기술을 제공할 수 있으며, 획득된 제품 이미지 및/또는 피드백 정보에 기반하여 지속적으로 업데이트되는 이미지 딥러닝 뉴럴 네트워크를 이용해 머신 비전을 수행함으로써 비용효율적인 인공지능형 기계학습 플랫폼에 기반한 품질 검사 서비스를 제공할 수 있다.
이상의 실시예에서는, 중앙 처리서버(200)가 공장으로부터 획득한 학습용 트레이닝 데이터 세트를 활용하여 품질 검사 서비스에 대한 동작 및 이미지 딥러닝을 수행한다고 설명하였으나, 엣지 클라우드(100)에서 품질 검사 서비스와 관련된 중앙 처리서버(200)의 동작 및 이미지 딥러닝의 일부 기능을 수행하는 등 다양한 실시예 또한 가능할 것이다.
-
각 어플리케이션의 실시예
이하의 설명에서는, 클라우드향 기계학습 기반의 각종 업무를 수행하는 어플리케이션 각각에 대한 실시예를 간략히 서술하고자 한다.
<로봇 제어(Robot Control) 어플리케이션>
현재, 제조 공정의 많은 부분이 자동화 로봇으로 대체되어 있으나 정형적인 움직임을 하는 로봇만으로 자동화율을 높이기에는 분명한 한계가 있다. 이러한 문제를 해결하기 위해 본 발명의 실시예에서는, 5세대 통신(5G)을 활용하는 클라우드향 기계학습에 기반한 지능형 다기능 로봇을 구현하고자 한다.
도 5a를 참조하면, 상기와 같은 5세대 통신(5G) 기반의 지능형 다기능 로봇을 구현하고 제어하기 위하여, 제조 데이터 네트워크에 기반한 엣지 클라우드(100)는, 로봇 제어 어플리케이션(131)을 실행하여 각종 센서 및/또는 로봇들로부터 수신한 데이터를 기반으로 자체적인 머신 러닝을 수행할 수 있고, 자동원격검침 관제 시스템(300: AMR(Automatic Meter Reading) Control System)과 연동할 수 있다.
또한, 엣지 클라우드(100)는, 자체 내에서 처리하기 어려운 로봇 제어에 관한 데이터 처리를 시민감형 네트워크(TSN)를 통한 데이터 송수신을 통해 중앙 처리서버(200)로 인계할 수 있다.
그리고 엣지 클라우드(100)로부터 로봇 제어 데이터를 수신한 중앙 처리서버(200)는, 수신한 데이터를 기반으로 보다 고도화된 머신 러닝을 수행하여 인계받은 로봇 제어에 관한 데이터를 처리할 수 있고, 처리한 로봇 제어 데이터를 자동원격검침 관제 시스템(300)으로 송신할 수 있다.
여기서, 자동원격검침 관제 시스템(300)은, 엣지 클라우드(100) 및/또는 중앙 처리서버(200)에서 머신 러닝을 통해 처리된 로봇 제어 데이터를 수신할 수 있으며, 수신한 데이터를 기반으로 제조 현장에 존재하는 지능형 다기능 로봇들(예를 들어 이동형 로봇, 산업용 로봇 등)을 컨트롤할 수 있다.
보다 상세히 도 5b를 참조하면, 실시예에서 자동원격검침 관제 시스템(300)은, AMR 관제 서버(310)와 복수의 AMR 관제 클라이언트(320-1, 320-2, 320-3, …)를 포함할 수 있다.
여기서 AMR 관제 서버는, 엣지 클라우드(100) 및/또는 중앙 처리서버(200)로부터 로봇 제어 데이터를 수신받을 수 있고, 수신된 각 로봇 제어 데이터에 포함된 로봇 컨트롤 명령을 제조 현장에 존재하는 지능형 다기능 로봇들 각각의 현재 위치, 동작 상태 및/또는 트래픽(Traffic) 등을 고려하여 가장 단시간에 명령을 수행할 수 있는 로봇에게 AMR 관제 클라이언트를 통하여 송신할 수 있다.
그리고 자동원격검침 관제 시스템(300)에 의해 컨트롤 되는 지능형 다기능 로봇들은, 새롭게 센싱된 데이터 및/또는 새롭게 획득된 정보를 자동원격검침 관제 시스템(300), 엣지 클라우드(100) 및 중앙 처리서버(200) 중 적어도 어느 하나를 통하여 상호 송수신할 수 있다.
이와 같이, 본 발명의 실시예에서는, 제조 데이터 네트워크를 활용하는 클라우드 기반의 머신 러닝을 수행하여 지능형 다기능 로봇을 구현하고 제어함으로써, 인공지능적 기계학습 기능을 갖춘 지능형 다기능 로봇을 제조 현장에 활용할 수 있고, 원거리에서 현장의 로봇 운영 현황을 쉽게 파악해 컨트롤하도록 하며, 복수의 지능형 다기능 로봇들이 각각 관제 호스트(Host)가 되어 통합 관제 운영을 구현하게 할 수 있다.
<증강 현실(AR) 어플리케이션>
한편, 국내외에서 증강 현실 기술을 제조 현장에 활용하려는 시도가 계속되고 있으며, 범용성 높은 증강 현실 기술의 개발을 통해 원격지 정비, 정보조회, 가상훈련 등을 효과적으로 수행하려는 노력이 지속되고 있다.
그리하여 본 발명의 실시예에서는, 초저지연과 넓은 대역폭을 활용하는 5세대 통신(5G)과 클라우드향 기계학습에 기반하여 제조 현장에서의 기계/장치/장비 등의 상태를 증강 현실로 제공하고 원격 제어할 수 있는 서비스를 구현하고자 한다.
도 6a를 참조하면, 상기와 같은 증강 현실 서비스를 제공하기 위하여, 제조 데이터 네트워크에 기반한 엣지 클라우드(100)는, 증강 현실 어플리케이션(132)을 실행하여 각종 센서 및/또는 증강현실장치로부터 수신한 데이터를 기반으로 자체적 머신 러닝을 수행할 수 있고, 각종 증강현실장치(예를 들면, 태블릿/스마트폰, 스마트 안경 등)와 연동할 수 있다.
또한, 엣지 클라우드(100)는, 자체적으로 처리하기 어려운 증강 현실에 관한 데이터 처리를 시민감형 네트워크(TSN)를 통한 데이터 송수신을 통해 중앙 처리서버(200)로 인계할 수 있다.
그리고 엣지 클라우드(100)로부터 증강 현실 데이터를 수신한 중앙 처리서버(200)는, 수신한 데이터를 기반으로 보다 고도화된 머신 러닝을 수행하여 인계받은 증강 현실 관련 데이터 처리를 수행할 수 있으며, 처리한 증강 현실 데이터를 각종 증강현실장치로 송신할 수 있다.
여기서, 증강현실장치는, 엣지 클라우드(100) 및/또는 중앙 처리서버(200)에서 머신 러닝을 통해 처리된 증강 현실 데이터를 수신할 수 있으며, 수신한 데이터를 기반으로 제조 현장의 각종 기계/장치/장비들에 대한 기본 매뉴얼 정보, 정비 정보, 가상훈련 정보 등을 증강 현실로 표시하여 제공할 수 있다.
또한, 증강현실장치는, 컴퓨터 비전 기술로 인식하기 용이한 임의의 물체인 마커를 통해 사용자에게 제공되는 영상에서 현실 세계의 어떤 지점이나 물체에 대한 3차원 좌표를 확보하는 마커인식 기술을 이용하여 보다 정확하게 증강 현실 정보를 표시할 수 있다.
게다가, 제조 데이터 네트워크 상에서 클라우드들과 연동되는 증강현실장치는, 도 6b와 같이 원격 증강 현실 지원서비스를 제공하여 제조 현장에서 보다 효율적으로 증강 현실 서비스를 구현하도록 할 수 있다.
이와 같이, 본 발명의 실시예에서는, 제조 데이터 네트워크를 활용하는 클라우드 기반의 머신 러닝을 수행하여 증강 현실 서비스를 제공함으로써, 제조 영역 전반에 걸쳐 생산성을 향상시킬 수 있고, 공장 내 각종 기계/장치/장비들의 상태 및 정보를 증강현실장치를 통해 실시간 증강하여 제공할 수 있으며, 이를 통한 빠른 정보 확인 및 원격 제어를 가능하게 할 수 있다.
<머신 비전(Machine Vision) 어플리케이션>
현대의 IT(Information Technology)기술의 발전에 의하여 인간의 눈으로 판별하기 어려운 이미지 상의 미세한 차이를 컴퓨터가 구분하고 분류하여 정의하는 것이 가능하다. 그러나 이러한 이미지 딥러닝 기술은, 전문기술 인력 확보의 어려움과 인프라 구축 기술 및 비용의 문제로 인하여 높은 도입장벽이 존재한다.
그리하여 본 발명의 실시예에서는, 저비용 고효율의 이미지 딥러닝을 통한 머신 비전(즉, 품질 검사) 서비스를 제공하기 위하여 5세대 통신(5G)과 연동된 이미지 센서와 클라우드향 기계학습에 기반한 품질 검사 서비스를 구현하고자 한다.
도 7을 참조하면, 상기와 같은 저비용 고효율의 머신 비전 서비스를 구현하기 위해, 제조 데이터 네트워크에 기반한 엣지 클라우드(100)는, 머신 비전 어플리케이션(133)을 실행하여 복수의 이미지 센서들로부터 수신한 데이터를 기반으로 자체적인 머신 러닝을 수행할 수 있고, 머신 비전과 관련된 사용자 인터페이스를 제공하는 임의의 공장시설장치와 연동할 수 있다.
또한, 엣지 클라우드(100)는, 자체 내에서 처리하기 어려운 머신 비전에 관한 데이터 처리를 시민감형 네트워크(TSN)를 통한 데이터 송수신을 통해 중앙 처리서버(200)로 인계할 수 있다.
그리고 엣지 클라우드(100)로부터 머신 비전 데이터를 수신한 중앙 처리서버(200)는, 수신한 데이터를 기반으로 보다 고도화된 머신 러닝을 수행하여 인계받은 머신 비전 관련 데이터 처리를 수행할 수 있으며, 처리한 머신 비전 데이터를 머신 비전과 관련된 사용자 인터페이스를 제공하는 임의의 공장시설장치로 송신할 수 있다.
여기서, 사용자 인터페이스를 제공하는 공장시설장치는, 엣지 클라우드(100) 및/또는 중앙 처리서버(200)에서 머신 러닝을 통해 처리된 머신 비전 데이터를 수신하여 표시할 수 있으며, 수신한 데이터에 기반하여 사용자가 입력한 정보를 기초로 머신 비전 알고리즘의 업데이트 정보를 획득할 수도 있다.
또한, 공장시설장치는, 머신 비전 알고리즘의 업데이트 정보를 획득한 경우, 획득한 업데이트 정보를 엣지 클라우드(100) 및/또는 중앙 처리서버(200)로 송신하여 인공지능형 머신 러닝의 수행을 효과적으로 보조할 수 있다.
이와 같이, 본 발명의 실시예에서는, 제조 데이터 네트워크를 활용하는 클라우드 기반의 머신 러닝을 수행하여 머신 비전 서비스를 제공함으로써, 제조 과정 중에 있는 제품의 이미지 데이터를 생성/저장하여 분석하고, 이를 다시 생산 공정에 반영하여 제품의 품질과 성능을 향상시킬 수 있으며, 제조 산업분야에서의 생산성 향상과 TCO(Total Cost of Ownership) 절감을 실현할 수 있다.
이처럼, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 5세대 통신(5G)기술과 시민감형 네트워크(TSN) 기술에 기반한 제조 특화 초저지연/초대용량 데이터 전송 네트워크를 구축하고 클라우드향 기계학습 플랫폼과 연동을 수행함으로써, 제조현장에서의 5세대 통신(5G)망 인프라를 기반으로한 생산설비의 무선제어 및 대용량 품질분석 데이터 수집을 용이하게 할 수 있다.
또한, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 설치비용이 저렴하고 유지보수가 간편한 5세대 모뎀을 이용하는 5세대 통신(5G)망 인프라를 구축함으로써, 자원 구비 비용을 감축시켜 중소제조업에서도 저비용 고효율의 스마트 팩토리를 구현하게 할 수 있다.
더욱이, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 제조현장의 데이터를 클라우드 인프라 기반 하에서 인공지능으로 분석하여 지속적으로 진화해 갈 수 있는 비용효율적인 기계학습 플랫폼을 제공함으로써, 스마트 팩토리를 수행하는데 드는 비용 및 학습 기간을 감축시키는 효과가 있다.
게다가, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 공장으로부터 모바일 엣지 컴퓨팅(MEC, Mobile Edge Computing) 기술을 활용한 클라우드로 수신되는 데이터를 기반으로 이미지 딥러닝을 수행하는 머신 러닝 기술을 제공함으로써, 저비용 고효율의 머신 비전 기술을 제공할 수 있다.
더하여, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 5세대 통신(5G) 기술, 시민감형 네트워크(TSN) 기술 등을 활용한 유/무선 융합 네트워크를 제공함으로써, 고속의 유선망과 대등한 망 품질을 공급하면서도 무선망의 장점을 동시에 가지는 유연생산을 위한 차세대 스마트 팩토리의 구현을 가능하게 할 수 있다.
또한, 본 발명의 실시예에 따른 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템은, 5세대 통신(5G) 기술과 시민감형 네트워크(TSN)가 융합된 스마트 팩토리 플랫폼을 제공함으로써, 글로벌 외산 기업이 독식하고 있는 유선기반의 제조설비 제어망을 유/무선 융합 네트워크로 대체하여 외산 기업에 대한 의존도를 감소시키고 신사업을 육성하는 효과가 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
Claims (5)
- 공장에서 생산된 특정 제품을 촬영한 제품 이미지를 획득하는 이미지 센서;
상기 이미지 센서와 5세대 무선 통신으로 연결되어 상기 제품 이미지를 수신하는 엣지 클라우드;
상기 엣지 클라우드로부터 상기 제품 이미지를 시민감형 네트워크를 통해 수신하고, 상기 제품 이미지를 이미지 딥러닝 뉴럴 네트워크에 입력하여 출력으로 불량여부를 판별하는 중앙 처리서버를 포함하고,
상기 엣지 클라우드는, 상기 특정 제품이 불량 또는 정상인지 여부를 나타내는 레이블이 설정된 제품 이미지를 포함하는 트레이닝 데이터 세트를 상기 중앙 처리서버로 송신하고,
상기 중앙 처리서버는, 상기 트레이닝 데이터 세트를 통해 상기 이미지 딥러닝 뉴럴 네트워크를 학습시켜, 상기 특정 제품의 불량여부를 판별하기 위한 이미지 딥러닝 뉴럴 네트워크를 구축하는
클라우드향 기계학습 기반의 품질 검사 시스템. - 제 1 항에 있어서,
상기 중앙 처리서버는,
상기 공장에서 생산된 제품의 불량 여부 판별에 대한 비용을 산출하고, 상기 산출된 비용을 상기 공장에 부과하는
클라우드향 기계학습 기반의 품질 검사 시스템. - 제 2 항에 있어서,
상기 중앙 처리서버는,
상기 트레이닝 데이터 세트의 수신하면, 상기 트레이닝 데이터 세트의 가치를 판별하고, 상기 판별된 가치에 따라서 상기 불량 여부 판별에 대한 비용을 감축시키고, 상기 감축된 비용을 상기 공장에 부과하는
클라우드향 기계학습 기반의 품질 검사 시스템. - 제 3 항에 있어서,
상기 중앙 처리서버는,
상기 이미지 딥러닝 뉴럴 네트워크를 통해 상기 불량여부 판별한 품질 정보를 생성하여 상기 공장으로 송신하고,
상기 품질 정보는, 상기 이미지의 대상 제품이 불량, 정상 또는 불분명인 정보를 포함하는
클라우드향 기계학습 기반의 품질 검사 시스템. - 제 4 항에 있어서,
상기 중앙 처리서버는,
상기 공장으로부터 상기 품질 정보에 대한 피드백 정보를 수신하면, 상기 피드백 정보를 통해 상기 이미지 딥러닝 뉴럴 네트워크를 재학습시키고,
상기 피드백 정보의 가치에 따라서 상기 불량 여부 판별에 대한 비용을 감축시키고, 상기 감축된 비용을 상기 공장에 부과하는
클라우드향 기계학습 기반의 품질 검사 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180145058A KR20200063340A (ko) | 2018-11-22 | 2018-11-22 | 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180145058A KR20200063340A (ko) | 2018-11-22 | 2018-11-22 | 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200063340A true KR20200063340A (ko) | 2020-06-05 |
Family
ID=71088867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180145058A KR20200063340A (ko) | 2018-11-22 | 2018-11-22 | 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200063340A (ko) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783727A (zh) * | 2020-07-15 | 2020-10-16 | 深圳航天智慧城市系统技术研究院有限公司 | 基于机器视觉与边缘计算技术的自动化抄表方法与系统 |
CN111948228A (zh) * | 2020-07-06 | 2020-11-17 | 中国电子科技集团公司第四十一研究所 | 基于5g通信云测试的工业产线全过程视觉检测系统 |
CN112446884A (zh) * | 2020-11-27 | 2021-03-05 | 广东电网有限责任公司肇庆供电局 | 一种激光点云中输电线的定位方法、装置及终端设备 |
KR102354314B1 (ko) * | 2020-08-07 | 2022-01-24 | 텔스타홈멜 주식회사 | 인공지능을 이용한 시트 다림질 시스템 및 이를 이용한 시트 다림질 방법 |
KR102361221B1 (ko) * | 2021-03-02 | 2022-02-14 | 주식회사 에이아이댑스 | 블록체인 기반으로 머신러닝에 따른 보상을 제공하는 클라우드 서비스 제공 방법 및 시스템 |
WO2022065621A1 (ko) * | 2020-09-28 | 2022-03-31 | (주)미래융합정보기술 | 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템 |
WO2022097775A1 (ko) * | 2020-11-05 | 2022-05-12 | 위즈코어 주식회사 | 5g 기반 생산, 물류 관리 및 클라우드향 머신 비전 서비스 제공 방법 |
KR20220106478A (ko) * | 2021-01-22 | 2022-07-29 | 피피에스 주식회사 | Cps(cyber physical system)에 연결된 용량미달 불량품 식별 시스템 및 방법 |
WO2023003226A1 (ko) * | 2021-07-22 | 2023-01-26 | 엘지전자 주식회사 | 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 |
KR20230015144A (ko) | 2021-07-22 | 2023-01-31 | 엘지전자 주식회사 | 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 |
CN116029623A (zh) * | 2023-02-17 | 2023-04-28 | 希维科技(广州)有限公司 | 构建检验流模型的方法、设备及存储介质 |
KR20230063762A (ko) * | 2021-11-02 | 2023-05-09 | 한국에너지기술연구원 | 해상 풍력발전 건전성 모니터링 시스템 및 이를 이용한 풍력발전 건전성 진단 방법 |
KR102550108B1 (ko) * | 2022-10-31 | 2023-06-30 | (주)바질컴퍼니 | 클라우드 플랫폼에서 인공지능 모델을 활용한 용접 불량 탐지 방법 |
-
2018
- 2018-11-22 KR KR1020180145058A patent/KR20200063340A/ko unknown
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111948228A (zh) * | 2020-07-06 | 2020-11-17 | 中国电子科技集团公司第四十一研究所 | 基于5g通信云测试的工业产线全过程视觉检测系统 |
CN111783727B (zh) * | 2020-07-15 | 2023-12-26 | 深圳航天智慧城市系统技术研究院有限公司 | 基于机器视觉与边缘计算技术的自动化抄表方法与系统 |
CN111783727A (zh) * | 2020-07-15 | 2020-10-16 | 深圳航天智慧城市系统技术研究院有限公司 | 基于机器视觉与边缘计算技术的自动化抄表方法与系统 |
KR102354314B1 (ko) * | 2020-08-07 | 2022-01-24 | 텔스타홈멜 주식회사 | 인공지능을 이용한 시트 다림질 시스템 및 이를 이용한 시트 다림질 방법 |
WO2022065621A1 (ko) * | 2020-09-28 | 2022-03-31 | (주)미래융합정보기술 | 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템 |
WO2022097775A1 (ko) * | 2020-11-05 | 2022-05-12 | 위즈코어 주식회사 | 5g 기반 생산, 물류 관리 및 클라우드향 머신 비전 서비스 제공 방법 |
CN112446884A (zh) * | 2020-11-27 | 2021-03-05 | 广东电网有限责任公司肇庆供电局 | 一种激光点云中输电线的定位方法、装置及终端设备 |
CN112446884B (zh) * | 2020-11-27 | 2024-03-26 | 广东电网有限责任公司肇庆供电局 | 一种激光点云中输电线的定位方法、装置及终端设备 |
KR20220106478A (ko) * | 2021-01-22 | 2022-07-29 | 피피에스 주식회사 | Cps(cyber physical system)에 연결된 용량미달 불량품 식별 시스템 및 방법 |
KR102361221B1 (ko) * | 2021-03-02 | 2022-02-14 | 주식회사 에이아이댑스 | 블록체인 기반으로 머신러닝에 따른 보상을 제공하는 클라우드 서비스 제공 방법 및 시스템 |
WO2023003226A1 (ko) * | 2021-07-22 | 2023-01-26 | 엘지전자 주식회사 | 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 |
KR20230015144A (ko) | 2021-07-22 | 2023-01-31 | 엘지전자 주식회사 | 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 |
KR20230063762A (ko) * | 2021-11-02 | 2023-05-09 | 한국에너지기술연구원 | 해상 풍력발전 건전성 모니터링 시스템 및 이를 이용한 풍력발전 건전성 진단 방법 |
KR102550108B1 (ko) * | 2022-10-31 | 2023-06-30 | (주)바질컴퍼니 | 클라우드 플랫폼에서 인공지능 모델을 활용한 용접 불량 탐지 방법 |
CN116029623A (zh) * | 2023-02-17 | 2023-04-28 | 希维科技(广州)有限公司 | 构建检验流模型的方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200063340A (ko) | 클라우드향 기계학습 기반의 품질 검사 방법 및 그 시스템 | |
CN111958592B (zh) | 一种变电站巡检机器人图像语义分析系统及方法 | |
US9720415B2 (en) | Sensor-based object-detection optimization for autonomous vehicles | |
US9916703B2 (en) | Calibration for autonomous vehicle operation | |
CN106182027B (zh) | 一种开放式服务机器人系统 | |
US20180136644A1 (en) | Machine learning systems and techniques to optimize teleoperation and/or planner decisions | |
US11472444B2 (en) | Method and system for dynamically updating an environmental representation of an autonomous agent | |
WO2017079321A1 (en) | Sensor-based object-detection optimization for autonomous vehicles | |
Cupek et al. | Autonomous guided vehicles for smart industries–the state-of-the-art and research challenges | |
CN115879535A (zh) | 一种自动驾驶感知模型的训练方法、装置、设备和介质 | |
KR20210115356A (ko) | 심층 기계 학습을 이용한 도장 검사 시스템 및 방법 | |
Sun et al. | A review of visual SLAM based on unmanned systems | |
Tian et al. | Resilient and distributed multi-robot visual slam: Datasets, experiments, and lessons learned | |
CN113378769A (zh) | 图像分类方法和装置 | |
CN108415386A (zh) | 用于智能车间的增强现实系统及其工作方法 | |
CN117201567A (zh) | 一种井工矿场景感知融合技术的出入罐笼控制系统及方法 | |
CN116972860A (zh) | 偏航识别方法、装置、电子设备及存储介质 | |
KR20200063339A (ko) | 5세대 통신 기반의 스마트 팩토리 서비스 제공 방법 및 그 시스템 | |
CN202976181U (zh) | 基于物联网和3d gis的桥梁管理系统 | |
Khatoon et al. | Analysis of use cases enabling AI/ML to IOT service platforms | |
KR20210019765A (ko) | 모듈러 로봇을 관리하는 방법 및 그 장치 | |
CN114050649A (zh) | 一种变电站巡检系统及其巡检方法 | |
KR20210115250A (ko) | 하이브리드 심층 학습 시스템 및 방법 | |
CN111897348A (zh) | 云端机器人的控制方法及系统、云端机器人、云端服务器 | |
CN112631272A (zh) | 一种远程恢复机器人动力的方法以及设备 |