KR20210115250A - 하이브리드 심층 학습 시스템 및 방법 - Google Patents
하이브리드 심층 학습 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210115250A KR20210115250A KR1020200030746A KR20200030746A KR20210115250A KR 20210115250 A KR20210115250 A KR 20210115250A KR 1020200030746 A KR1020200030746 A KR 1020200030746A KR 20200030746 A KR20200030746 A KR 20200030746A KR 20210115250 A KR20210115250 A KR 20210115250A
- Authority
- KR
- South Korea
- Prior art keywords
- labeling
- learning
- information
- data
- recognition model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000002372 labelling Methods 0.000 claims abstract description 96
- 239000000463 material Substances 0.000 claims abstract description 41
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 18
- 239000000284 extract Substances 0.000 abstract description 15
- 238000012549 training Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 사물인터넷 기술을 활용하여 대상체의 이미지를 획득하고, 기계 학습 알고리즘을 이용하여 대상체의 이미지에서 관심 영역을 추출하며, 추출된 관심 영역으로부터 대상체의 정보를 획득하거나 대상체의 형상을 인식할 수 있는 하이브리드 심층 학습 시스템 및 방법에 관한 것이다. 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템은, 영상 획득부에 의하여, 대상체의 영상을 촬영하여 영상 데이터를 형성하고, 영상 획득부의 위치 정보를 형성하며, 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역을 추출하고, 위치 정보에 기초하여 대상체의 자재번호 정보 또는 형상 정보를 획득하며, 자재번호 정보 또는 형상 정보를 이용하여 대상체의 라벨링을 수행하고, 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성하며, 학습 데이터에 기초하여 대상체의 라벨링 인식 모델을 형성할 수 있다.
Description
본 발명은 기계 학습(Machine Learning) 시스템과 관련된 것으로, 특히 사물인터넷(IoT: Internet of Things) 기술을 활용하여 데이터를 획득하고, 심층 학습(Deep Learning)과 같은 기계 학습 알고리즘을 이용하여 대상체의 이미지에서 학습 영역(ROI: Region of Interest)을 추출하며, 추출된 학습 영역으로부터 대상체의 정보를 획득하거나 대상체의 형상을 인식할 수 있는 하이브리드 심층 학습 시스템 및 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.
한편, 제조업에서의 제품 정보(자재 번호, 형상, 모델링 정보 등)는 기존의 ERP(Enterprise Resource Planning) 시스템 또는 MES(Manufacturing Execution System) 시스템 등에서 관리되고 있다.
최근 IoT 산업과 비전(Vision)을 활용한 심층 학습 기법이 발달하고 있어 이러한 시스템의 융합을 통해 학습 시스템을 구성할 수 있다.
영상에 통한 심층 학습 시스템 구축 시 가장 어려운 부분들은 학습 데이터 취득과 취득된 학습 데이터를 라벨링(Labeling)하는 작업이다.
따라서, 심층 학습 시스템을 IoT 기반의 데이터와 융합하여 효율적으로 훈련(Training), 확인(Validation), 테스트(Test), 운용(Application)까지 수행할 수 있는 시스템을 필요로 한다.
본 발명은 사물인터넷 기술을 활용하여 데이터를 획득하고, 심층 학습과 같은 기계 학습 알고리즘을 이용하여 대상체의 이미지에서 학습 영역을 추출하며, 추출된 학습 영역으로부터 대상체의 정보를 획득하거나 대상체의 형상을 인식할 수 있는 하이브리드 심층 학습 시스템 및 방법을 제공한다.
본 발명의 실시예에 따른 하이브리드 심층 학습 시스템은, 대상체의 영상을 촬영하여 영상 데이터를 형성하는 영상 획득부; 상기 영상 획득부의 위치 정보를 형성하는 위치 센서; 상기 대상체의 자재번호 정보 및 형상 정보를 저장하는 데이터베이스; 및 상기 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역을 추출하고, 상기 위치 정보에 기초하여 상기 자재번호 정보 또는 상기 형상 정보에 대한 상기 대상체의 라벨링을 수행하며, 상기 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성하고, 상기 학습 데이터에 기초하여 상기 대상체의 라벨링 인식 모델을 형성하는 서버를 포함할 수 있다.
일 실시예로서, 상기 서버는, 상기 영상 데이터를 CNN을 이용하여 다수의 특징점을 추출하고, 상기 다수의 특징점에 기초하여 상기 대상체의 학습 영역을 추출할 수 있다.
일 실시예로서, 상기 서버는, 상기 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 라벨링을 형성하고, 상기 형성된 라벨링이 상기 다수의 대상체의 자재번호 또는 상기 다수의 대상체의 형상과 일치하는지 여부를 판단하여 상기 라벨링 인식 모델에 대한 검증을 수행할 수 있다.
일 실시예로서, 상기 서버는, 검증이 완료된 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 자재번호 인식 또는 형상 인식을 수행할 수 있다.
일 실시예로서, 상기 라벨링의 위치에 대한 학습 데이터는, 상기 라벨링의 측정 거리, 상기 라벨링의 화각에 대한 정보 중 적어도 하나를 포함할 수 있다.
일 실시예로서, 상기 서버는, 지도 학습 방법을 이용하여 상기 학습 데이터로부터 상기 라벨링 인식 모델을 형성할 수 있다.
일 실시예로서, 상기 영상 획득부 및 상기 위치 센서는, 선박 제조 공정에 사용되는 크레인에 설치될 수 있다.
본 발명의 실시예에 따른 하이브리드 심층 학습 방법은, 영상 획득부에 의하여, 대상체의 영상을 촬영하여 영상 데이터를 형성하는 단계; 상기 영상 획득부의 위치 정보를 형성하는 단계; 상기 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역을 추출하는 단계; 상기 위치 정보에 기초하여 상기 대상체의 자재번호 정보 또는 형상 정보를 획득하는 단계; 상기 자재번호 정보 또는 상기 형상 정보를 이용하여 상기 대상체의 라벨링을 수행하는 단계; 상기 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성하는 단계; 및 상기 학습 데이터에 기초하여 상기 대상체의 라벨링 인식 모델을 형성하는 단계를 포함할 수 있다.
일 실시예로서, 상기 학습 영역을 추출하는 단계는, 상기 영상 데이터를 CNN을 이용하여 다수의 특징점을 추출하는 단계; 및 상기 다수의 특징점에 기초하여 상기 대상체의 학습 영역을 추출하는 단계를 포함할 수 있다.
일 실시예로서, 상기 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 라벨링을 형성하는 단계; 및 상기 형성된 라벨링이 상기 다수의 대상체의 자재번호 또는 상기 다수의 대상체의 형상과 일치하는지 여부를 판단하여 상기 라벨링 인식 모델에 대한 검증을 수행하는 단계를 더 포함할 수 있다.
일 실시예로서, 검증이 완료된 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 자재번호 인식 또는 형상 인식을 수행하는 단계를 더 포함할 수 있다.
일 실시예로서, 상기 라벨링의 위치에 대한 학습 데이터는, 상기 라벨링의 측정 거리, 상기 라벨링의 화각에 대한 정보 중 적어도 하나를 포함할 수 있다.
일 실시예로서, 상기 라벨링 인식 모델을 형성하는 단계는, 지도 학습 방법을 이용하여 상기 학습 데이터로부터 상기 라벨링 인식 모델을 형성하는 단계를 포함할 수 있다.
본 발명에 의하면, 사물 인터넷 기술을 이용하여 데이터를 획득하고, 심층 기계 학습 기술을 이용하여 대상체의 자동 라벨링을 수행할 수 있어서 생산 공정의 경제성을 향상시킬 수 있고, 라벨링 작업에 소요되는 시간을 감소시킬 수 있으며, 라벨링 작업의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 구성을 보이는 예시도이다.
도 2는 본 발명의 실시예에 따른 서버의 구성을 보이는 예시도이다.
도 3은 본 발명의 실시예에 따른 학습 영역에 대한 지도 학습의 설명을 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 구성을 보이는 예시도이다.
도 5는 본 발명의 실시예에 따른 하이브리드 심층 학습 방법의 절차를 보이는 흐름도이다.
도 6은 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 검증 절차를 보이는 흐름도이다.
도 2는 본 발명의 실시예에 따른 서버의 구성을 보이는 예시도이다.
도 3은 본 발명의 실시예에 따른 학습 영역에 대한 지도 학습의 설명을 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 구성을 보이는 예시도이다.
도 5는 본 발명의 실시예에 따른 하이브리드 심층 학습 방법의 절차를 보이는 흐름도이다.
도 6은 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 검증 절차를 보이는 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 구성을 보이는 예시도이다.
도 1을 참조하면, 하이브리드 심층 학습 시스템(100)은, 영상 획득부(110), 위치 센서(120), 서버(130) 및 데이터베이스(140)를 포함할 수 있다. 일 실시예에 따르면, 영상 획득부(110), 위치 센서(120), 서버(130) 및 데이터베이스(140)는 상호간 통신 가능하도록 시스템 버스(도시하지 않음) 등을 이용하여 연결될 수 있다.
영상 획득부(110)는, 대상체의 영상을 촬영하여 영상 데이터를 형성할 수 있다. 일 실시예에 따르면, 영상 획득부(110)는 선박의 제조 공정에 사용되는 크레인에 설치되어 선박의 제조에 사용되는 강재 등의 대상체(TO)에 대한 영상을 촬영하여 영상 데이터를 형성할 수 있지만, 이에 한정되지 않는다.
위치 센서(120)는, 영상 획득부(110)의 위치 정보를 형성할 수 있다. 일 실시예에 따르면, 위치 센서(120)는 하나 이상의 레이저 센서를 포함하고, 필요에 따라 주행 반사판과 횡행 반사판과 함께 구성할 수 있으며, 크레인의 이동 정보를 수신할 수 있고, 수신된 크레인의 이동 정보를 이용하여 크레인에 설치된 영상 획득부(110)의 위치 정보를 형성할 수 있다.
서버(130)는, 영상 획득부(110)에서 형성된 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역(ROI: Region of Interest)을 추출하고, 위치 센서(120)에서 형성된 위치 정보에 기초하여 대상체(TO)의 자재번호 정보 또는 형상 정보를 데이터베이스(140)로부터 획득할 수 있다. 또한, 서버(130)는, 획득한 자재번호 정보 또는 형상 정보를 이용하여 대상체(TO)의 라벨링을 수행하고, 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성할 수 있다. 또한, 서버(130)는, 형성된 학습 데이터에 기초하여 대상체(TO)의 영상 데이터를 이용하여 대상체(TO)의 자재번호, 형상 등에 대해 자동으로 라벨링을 수행할 수 있는 라벨링 인식 모델을 형성할 수 있다. 서버(130)의 상세한 구성 및 기능에 대해서는 후술하도록 한다.
데이터베이스(140)는, 대상체(TO)의 자재번호 정보 및 형상 정보를 저장할 수 있다. 데이터베이스(140)에 저장되는 데이터는, 영상 획득부(110), 위치 센서(120) 및 서버(130)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(140)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 또한, 데이터베이스(140)는 클라우드 환경에서 구현될 수 있어서 데이터 누적 시 서버의 용량이 제한되는 것을 해결할 수 있지만, 데이터베이스(140)는 이에 한정되지 않고, 클라우드 인프라(Infra) 및 매니지드(Managed) 서비스 기반으로 고 가용성의 확장성이 높은 다양한 시스템을 포함할 수 있다. 일 실시예로서, 데이터베이스(140)는, 영상 획득부(110)에서 형성된 영상 데이터, 위치 센서(120)에서 형성된 위치 정보, 서버(130)에서 형성된 학습 데이터, 라벨링 인식 모델 등을 저장할 수 있지만, 데이터베이스(140)에 저장되는 정보가 이에 한정되지 않는다.
본 발명에서, 프로그램은 데이터베이스(140)에 저장되는 소프트웨어로서, 영상 획득부(110), 위치 센서(120) 및 서버(130)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 영상 획득부(110), 위치 센서(120) 및 서버(130)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.
본 발명에서, 인공지능은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 서버의 구성을 보이는 예시도이다.
도 2에 도시한 바와 같이, 서버(130)는 수신부(131), 프로세서(132), 송신부(133), 시스템 버스(134), 디지털 패킷(135) 및 데이터베이스(140)를 포함할 수 있다. 일 실시예로서, 수신부(131), 프로세서(132), 송신부(133), 디지털 패킷(135) 및 데이터베이스(140)는 시스템 버스(134)를 이용하여 통신 가능하도록 서로 연결될 수 있고, 서버(130)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 서버(130)에 추가될 수 있다. 아울러, 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다.
네트워크(N)는 영상 획득부(110), 위치 센서(120), 서버(130) 및 데이터베이스(140) 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 네트워크(N)는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 네트워크(N)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수도 있다.
수신부(131)는, 네트워크(N)를 통하여 영상 획득부(110)로부터 대상체(TO)의 영상 데이터를 디지털 패킷(135)의 형태로 수신하여 프로세서(132) 및 데이터베이스(140)로 전송할 수 있다. 일 실시예로서, 대상체(TO)는, 선박 또는 해양플랜트에 설치되는 전기 또는 기계 장비를 포함할 수 있지만, 이에 한정되지 않는다.
또한, 수신부(131)는, 네트워크(N)를 통하여 위치 센서(120)로부터 영상 획득부(110)의 위치 정보를 디지털 패킷(135)의 형태로 수신하여 프로세서(132) 및 데이터베이스(140)로 전송할 수 있다.
수신부(131)는, 네트워크(N)를 통하여 외부의 데이터베이스(도시하지 않음)로부터 대상체(TO)의 자재번호 정보 또는 형상 정보를 디지털 패킷(135)의 형태로 수신하여 프로세서(132) 및 데이터베이스(140)로 전송할 수도 있다. 일 실시예에 따르면, 외부의 데이터베이스는 ERP 시스템 또는 MES 시스템을 포함할 수 있지만, 이에 한정되지 않는다.
프로세서(132)는, 수신된 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역(ROI)을 추출할 수 있다. 일 실시예에 따르면, 프로세서(132)는, 최소한의 영상 데이터를 통해 대상체(TO)의 전체 이미지에서 학습할 영역을 검출하고, 검출된 영역을 지도 학습 알고리즘을 이용하여 학습 영역(ROI)을 추출할 수 있다. 예를 들어, 프로세서(132)는, 대상체(TO)의 전체 이미지에서 대상체(TO)의 자재번호 정보 등이 기재된 부분을 학습 영역(ROI)으로 추출할 수 있다. 지도 학습 알고리즘은, 훈련 데이터(Training Data)로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법으로서, 서포트 벡터 머신(Support Vector Machine), 은닉 마르코프 모델(Hidden Markov model), 회귀 분석(Regression), 신경망(Neural network), 나이브 베이즈 분류(Naive Bayes Classification) 등을 포함할 수 있지만, 이에 한정되지 않는다.
다른 실시예에 따르면, 프로세서(132)는, 대상체(TO)의 전체 이미지를 CNN을 통해 다수의 특징점을 추출하고, 추출된 다수의 특징점으로부터 대상체(TO)의 학습 영역을 추출할 수 있다. 예를 들어, 프로세서(132)는, 대상체(TO)의 전체 이미지에서 문자 또는 숫자 등으로부터 다수의 특징점을 추출할 수 있고, 해당 문자 또는 숫자 등이 포함된 영역만을 학습 영역으로 추출할 수 있다.
또한, 프로세서(132)는, 위치 센서(120)로부터 수신된 위치 정보에 기초하여 대상체(TO)의 자재번호 정보 또는 형상 정보를 획득하고, 획득된 자재번호 정보 또는 형상 정보를 이용하여 대상체(TO)의 라벨링을 수행할 수 있다.
또한, 프로세서(132)는, 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성하고, 형성된 학습 데이터에 기초하여 대상체(TO)의 라벨링 인식 모델을 형성할 수 있다. 일 실시예에 따르면, 프로세서(132)는, 지도 학습 방법을 이용하여 학습 데이터로부터 라벨링 인식 모델을 형성할 수 있지만, 이에 한정되지 않는다. 예를 들어, 프로세서(132)는, 대상체(TO)의 학습 영역(ROI)에 기재된 자재번호 정보(STEEL 112357)를 지도 학습 방법을 이용하여 인식할 수 있고, 인식된 자재번호 정보가 라벨링 정보와 일치하도록 학습을 수행하여 학습 데이터를 형성할 수 있다. 일 실시예에 따르면, 라벨링의 위치에 대한 학습 데이터는, 영상 획득부(110)로부터 대상체(TO)의 학습 영역(ROI)까지의 직선 거리를 나태내는 라벨링의 측정 거리, 영상 획득부(110)와 대상체(TO)의 학습 영역(ROI)을 직선으로 연결하였을 경우 해당 직선의 각도를 나타내는 라벨링의 화각에 대한 정보 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다. 프로세서(132)는, 학습 데이터 및 라벨링 인식 모델을 디지털 패킷(135) 형태로 형성할 수 있다.
예를 들어, 도 3을 참조하면, 프로세서(132)는, 학습 영역(ROI)에 포함된 문자 또는 숫자 등을 인식하여 학습 데이터를 형성할 수 있다. 일 실시예에 따르면, 대상체(TO)의 이미지로부터 추출된 학습 영역(ROI)에는 S,T,E,E,L과 같은 문자와, 1,1,2,3,5,7과 같은 숫자가 포함될 수 있고, 지도 학습 방식을 이용하여 각각의 문자 또는 숫자의 특징점들을 추출할 수 있다. 프로세서(132)는, 추출된 특징점들을 이용하여 각각의 문자 또는 숫자 아래에 인식된 문자 또는 숫자를 표시할 수 있고, 인식된 문자 또는 숫자를 학습 데이터로 형성할 수 있지만, 학습 데이터 형성 방법이 이에 한정되지 않는다.
이러한 방식으로 인하여 서버(130)는 기존의 데이터 부족량을 극복하기 위하여 데이터 증대(augmentation) 등에 대한 많은 노력을 대신할 수 있다. 예를 들어, 서버(130)는 초당 30프레임(frame) 기준으로 하루당 수십 테라 바이트(Tera Byte) 이상의 학습 데이터를 수집할 수 있다.
또한, 서버(130)는, 학습 진행 중에 제대로 학습이 진행되고 있는지 검증(validation)을 수행할 수 있고, 검증이 완료된 후에는 학습된 라벨링 인식 모델로 테스트 후 즉시, 자재번호 인식 또는 형상 인식을 수행할 수도 있다. 일 실시예로서, 프로세서(132)는, 형성된 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 라벨링을 형성하고, 형성된 라벨링이 다수의 대상체의 자재번호 또는 다수의 대상체의 형상과 일치하는지 여부를 판단하여 라벨링 인식 모델에 대한 검증을 수행할 수 있지만, 제대로 학습이 진행되고 있는지 검증을 수행하는 방법이 이에 한정되지 않는다.
또한, 프로세서(132)는, 검증이 완료된 인식 모델을 이용하여 다수의 대상체에 대한 자재번호 인식 또는 형상 인식을 수행할 수 있다. 즉, 프로세서(132)는, 학습이 완료된 라벨링 인식 모델을 이용하여 다수 대상체의 자재번호 인식 또는 형상 인식 시스템으로 활용할 수 있다.
송신부(133)는, 프로세서(132)에서 형성된 디지털 패킷(135) 형태의 학습 데이터 또는 라벨링 인식 모델을 네트워크(N)를 통하여 외부의 다양한 사용자 단말로 송신하여 심층 학습을 다수의 외부 프로세서와 직렬적 또는 병렬적으로 처리 방식으로 수행할 수도 있다.
도 4는 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 구성을 보이는 예시도이다.
도 4에 도시한 바와 같이, 크레인(CR) 상부에는 주행 레이저, 횡행 레이저 등의 위치 센서(120) 및 영상 획득부(110)가 설치될 수 있다. 크레인(CR)은 운전실(DR)에 있는 인원에 의해 조정될 수 있는데, 운전실(DR)은 터치 모니터(DP), 크레인 IPC(CI), NVR(Network Video Recorder), 영상 획득부 컨트롤러(CC), 영상 모니터(IM) 및 통신부(CU) 등을 포함할 수 있다. 통신부(CU)는, LTE(Long Term Evolution) 라우터(Router), WAN(Wide Area Network) 라우터 등을 포함할 수 있지만, 이에 한정되지 않는다. 일 실시예에 따르면, 크레인(CR)에 설치된 주행 레이저 및 횡행 레이저는 위치 센서(120)의 역할을 수행하여 영상 획득부(110)의 위치 정보를 형성할 수 있다.
또한, 크레인(CR) 및 운전실(DR)은 크레인(CR)의 동작 및 조정에 필요한 전력을 전기실(PS)로부터 공급받을 수 있는데, 전기실(PS)은 1차 전원, 전원공급판넬 등을 포함할 수 있지만, 이에 한정되지 않는다.
서버(130)는, 크레인(CR)이 포함하는 영상 획득부(110) 및 위치 센서(120)로부터 획득된 데이터와, ERP 시스템 또는 MES 시스템에 포함된 데이터베이스(OD)로부터 획득된 자재번호 정보 또는 형상 정보를 이용하여 라벨링된 학습 데이터를 형성하고, 기계 학습 방식을 이용하여 라벨링 인식 모델을 형성할 수 있다.
도 5는 본 발명의 실시예에 따른 하이브리드 심층 학습 방법의 절차를 보이는 흐름도이고, 도 6은 본 발명의 실시예에 따른 하이브리드 심층 학습 시스템의 검증 절차를 보이는 흐름도이다. 도 5 및 도 6의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
도 5에 도시한 바와 같이, 단계(S410)에서, 영상 획득부에 의하여, 대상체의 영상을 촬영하여 영상 데이터가 형성된다. 예를 들어, 도 1 내지 도 4를 참조하면, 영상 획득부(110)는, 대상체(TO)의 영상을 촬영하여 대상체(TO)의 영상 데이터를 형성할 수 있다. 일 실시예에 따르면, 영상 획득부(110)는, 선박 제조 공정에 사용되는 크레인(CR)에 설치될 수 있지만, 이에 한정되지 않는다.
단계(S420)에서, 영상 획득부의 위치 정보가 형성된다. 예를 들어, 도 1 내지 도 4를 참조하면, 위치 센서(120)는 영상 획득부(110)의 위치 정보를 형성할 수 있다. 일 실시예에 따르면, 위치 센서(120)는, 선박 제조 공정에 사용되는 크레인(CR)에 설치될 수 있지만, 이에 한정되지 않는다.
단계(S430)에서, 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역이 추출된다. 예를 들어, 도 1 내지 도 4를 참조하면, 서버(130)의 프로세서(132)는, 영상 획득부(110)로부터 수신된 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역(ROI)을 추출할 수 있다.
단계(S440)에서, 위치 정보에 기초하여 대상체의 자재번호 정보 또는 형상 정보가 획득될 수 있다. 예를 들어, 도 1 내지 도 4를 참조하면, 서버(130)의 프로세서(132)는, 위치 센서(120)로부터 수신된 영상 획득부(110)의 위치 정보에 기초하여 대상체(TO)의 자재번호 정보 또는 형상 정보를 획득할 수 있다. 일 실시예에 따르면, 프로세서(132)는 외부의 ERP 시스템 또는 MES 시스템 등으로부터 자재번호 정보 또는 형상 정보를 획득할 수 있지만, 이에 한정되지 않는다.
단계(S450)에서, 자재번호 정보 또는 형상 정보를 이용하여 대상체의 라벨링을 수행할 수 있다. 예를 들어, 도 1 내지 도 4를 참조하면, 서버(130)의 프로세서(132)는, 위치 정보를 이용하여 획득된 자재번호 정보 또는 형상 정보를 이용하여 대상체(TO)의 라벨링을 수행할 수 있다.
단계(S460)에서, 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터가 형성될 수 있다. 예를 들어, 도 1 내지 도 4를 참조하면, 서버(130)의 프로세서(132)는, 대상체(TO)의 라벨링을 이용하여 대상체(TO) 이미지 내에서의 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성할 수 있다. 일 실시예에 따르면, 라벨링의 위치에 대한 학습 데이터는, 영상 획득부(110)로부터 대상체(TO)의 학습 영역(ROI)까지의 직선 거리를 나태내는 라벨링의 측정 거리, 영상 획득부(110)와 대상체(TO)의 학습 영역(ROI)을 직선으로 연결하였을 경우 해당 직선의 각도를 나타내는 라벨링의 화각에 대한 정보 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다.
단계(S470)에서, 학습 데이터에 기초하여 대상체의 라벨링 인식 모델이 형성될 수 있다. 예를 들어, 도 1 내지 도 4를 참조하면, 서버(130)의 프로세서(132)는, 형성된 학습 데이터에 기초하여 대상체(TO)의 라벨링 인식 모델을 형성할 수 있다. 일 실시예에 따르면, 프로세서(132)는, 지도 학습 방법을 이용하여 학습 데이터로부터 라벨링 인식 모델을 형성할 수 있지만, 이에 한정되지 않는다.
도 6에 도시한 바와 같이, 단계(S510)에서, 라벨링 인식 모델이 형성된다. 예를 들어, 도 1 내지 도 5를 참조하면, 서버(130)의 프로세서(132)는, 단계 S410 내지 S470을 통해서 라벨링 인식 모델을 형성할 수 있다.
단계(S520)에서, 다수의 대상체에 대한 라벨링이 형성된다. 예를 들어, 도 1 내지 도 5를 참조하면, 서버(130)의 프로세서(132)는, 단계 S510에서 형성된 라벨링 인식 모델을 이용하여 다수 대상체의 라벨링을 형성할 수 있다.
단계(S530)에서, 형성된 라벨링이 다수의 대상체의 자재번호 또는 다수의 대상체의 형상과 일치하는지 여부가 판단되어 라벨링 인식 모델에 대한 검증이 수행된다. 예를 들어, 도 1 내지 도 5를 참조하면, 서버(130)의 프로세서(132)는, 단계 S520에서 형성된 다수 대상체의 라벨링을, 영상 획득부(110)의 위치 정보에 기초하여 획득한 자재번호 정보 또는 형상 정보와 일치하는지 여부를 판단하여 다수 대상체에 대한 라벨링이 정상적으로 이루어졌는지 검증을 수행할 수 있다.
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.
100: 하이브리드 심층 학습 시스템
110: 영상 획득부
120: 위치 센서 130: 서버
140: 데이터베이스 131: 수신부
132: 프로세서 133: 송신부
134: 시스템 버스 135: 디지털 패킷
N: 네트워크
120: 위치 센서 130: 서버
140: 데이터베이스 131: 수신부
132: 프로세서 133: 송신부
134: 시스템 버스 135: 디지털 패킷
N: 네트워크
Claims (13)
- 대상체의 영상을 촬영하여 영상 데이터를 형성하는 영상 획득부;
상기 영상 획득부의 위치 정보를 형성하는 위치 센서;
상기 대상체의 자재번호 정보 및 형상 정보를 저장하는 데이터베이스; 및
상기 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역을 추출하고, 상기 위치 정보에 기초하여 상기 자재번호 정보 또는 상기 형상 정보에 대한 상기 대상체의 라벨링을 수행하며, 상기 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성하고, 상기 학습 데이터에 기초하여 상기 대상체의 라벨링 인식 모델을 형성하는 서버를 포함하는,
하이브리드 심층 학습 시스템. - 제 1 항에 있어서,
상기 서버는,
상기 영상 데이터를 CNN을 이용하여 다수의 특징점을 추출하고, 상기 다수의 특징점에 기초하여 상기 대상체의 학습 영역을 추출하는,
하이브리드 심층 학습 시스템. - 제 1 항에 있어서,
상기 서버는,
상기 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 라벨링을 형성하고, 상기 형성된 라벨링이 상기 다수의 대상체의 자재번호 또는 상기 다수의 대상체의 형상과 일치하는지 여부를 판단하여 상기 라벨링 인식 모델에 대한 검증을 수행하는,
하이브리드 심층 학습 시스템. - 제 3 항에 있어서,
상기 서버는,
검증이 완료된 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 자재번호 인식 또는 형상 인식을 수행하는,
하이브리드 심층 학습 시스템. - 제 1 항에 있어서,
상기 라벨링의 위치에 대한 학습 데이터는,
상기 라벨링의 측정 거리, 상기 라벨링의 화각에 대한 정보 중 적어도 하나를 포함하는,
하이브리드 심층 학습 시스템. - 제 1 항에 있어서,
상기 서버는,
지도 학습 방법을 이용하여 상기 학습 데이터로부터 상기 라벨링 인식 모델을 형성하는,
하이브리드 심층 학습 시스템. - 제 1 항에 있어서,
상기 영상 획득부 및 상기 위치 센서는,
선박 제조 공정에 사용되는 크레인에 설치되는,
하이브리드 심층 학습 시스템. - 영상 획득부에 의하여, 대상체의 영상을 촬영하여 영상 데이터를 형성하는 단계;
상기 영상 획득부의 위치 정보를 형성하는 단계;
상기 영상 데이터로부터 심층 기계 학습 알고리즘을 이용하여 학습 영역을 추출하는 단계;
상기 위치 정보에 기초하여 상기 대상체의 자재번호 정보 또는 형상 정보를 획득하는 단계;
상기 자재번호 정보 또는 상기 형상 정보를 이용하여 상기 대상체의 라벨링을 수행하는 단계;
상기 라벨링의 위치, 조도, 잡음 중 적어도 하나에 대한 학습 데이터를 형성하는 단계; 및
상기 학습 데이터에 기초하여 상기 대상체의 라벨링 인식 모델을 형성하는 단계를 포함하는,
하이브리드 심층 학습 방법. - 제 8 항에 있어서,
상기 학습 영역을 추출하는 단계는,
상기 영상 데이터를 CNN을 이용하여 다수의 특징점을 추출하는 단계; 및
상기 다수의 특징점에 기초하여 상기 대상체의 학습 영역을 추출하는 단계를 포함하는,
하이브리드 심층 학습 방법. - 제 8 항에 있어서,
상기 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 라벨링을 형성하는 단계; 및
상기 형성된 라벨링이 상기 다수의 대상체의 자재번호 또는 상기 다수의 대상체의 형상과 일치하는지 여부를 판단하여 상기 라벨링 인식 모델에 대한 검증을 수행하는 단계를 더 포함하는,
하이브리드 심층 학습 방법. - 제 10 항에 있어서,
검증이 완료된 라벨링 인식 모델을 이용하여 다수의 대상체에 대한 자재번호 인식 또는 형상 인식을 수행하는 단계를 더 포함하는,
하이브리드 심층 학습 방법. - 제 8 항에 있어서,
상기 라벨링의 위치에 대한 학습 데이터는,
상기 라벨링의 측정 거리, 상기 라벨링의 화각에 대한 정보 중 적어도 하나를 포함하는,
하이브리드 심층 학습 방법. - 제 8 항에 있어서,
상기 라벨링 인식 모델을 형성하는 단계는,
지도 학습 방법을 이용하여 상기 학습 데이터로부터 상기 라벨링 인식 모델을 형성하는 단계를 포함하는,
하이브리드 심층 학습 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030746A KR20210115250A (ko) | 2020-03-12 | 2020-03-12 | 하이브리드 심층 학습 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030746A KR20210115250A (ko) | 2020-03-12 | 2020-03-12 | 하이브리드 심층 학습 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210115250A true KR20210115250A (ko) | 2021-09-27 |
Family
ID=77925317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200030746A KR20210115250A (ko) | 2020-03-12 | 2020-03-12 | 하이브리드 심층 학습 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210115250A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230083735A (ko) | 2021-12-03 | 2023-06-12 | 주식회사 인포웍스 | 심층 신경망 알고리즘 기반의 stereovision 및 ir 센서 융합을 통한 객체 온도 정보 인식 시스템 |
-
2020
- 2020-03-12 KR KR1020200030746A patent/KR20210115250A/ko active Search and Examination
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230083735A (ko) | 2021-12-03 | 2023-06-12 | 주식회사 인포웍스 | 심층 신경망 알고리즘 기반의 stereovision 및 ir 센서 융합을 통한 객체 온도 정보 인식 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200171671A1 (en) | Human augmented cloud-based robotics intelligence framework and associated methods | |
| Zhao et al. | A spatial-temporal attention model for human trajectory prediction. | |
| KR101986002B1 (ko) | 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체 | |
| US20220171907A1 (en) | Creation of digital twin of the interaction among parts of the physical system | |
| KR102548732B1 (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
| KR20210115356A (ko) | 심층 기계 학습을 이용한 도장 검사 시스템 및 방법 | |
| KR20200094608A (ko) | 이미지를 처리하기 위한 방법 및 그에 따른 장치 | |
| WO2019018533A1 (en) | NEURO-BAYESIAN ARCHITECTURE FOR THE IMPLEMENTATION OF GENERAL ARTIFICIAL INTELLIGENCE | |
| CN112347923A (zh) | 一种基于对抗生成网络的路侧端行人轨迹预测算法 | |
| KR101456554B1 (ko) | 클래스 확률 출력망에 기초한 불확실성 측도를 이용한 능동학습기능이 구비된 인공인지시스템 및 그 능동학습방법 | |
| Dai et al. | Camera view planning based on generative adversarial imitation learning in indoor active exploration | |
| KR20210115250A (ko) | 하이브리드 심층 학습 시스템 및 방법 | |
| KR102546355B1 (ko) | 대변 이미지 분석 기반 영양 정보 제공 방법, 장치 및 시스템 | |
| Gao et al. | Human motion recognition and prediction for robot control | |
| US20240104431A1 (en) | Method and system for generating event in object on screen by recognizing screen information on basis of artificial intelligence | |
| KR102321408B1 (ko) | 개인화된 메모패드 서비스 제공 방법, 장치 및 시스템 | |
| KR20220035570A (ko) | 심용접 품질 관리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| KR20220037608A (ko) | 리스트 분류 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| KR20210062794A (ko) | 기자재 구성요소 추출 장치 및 방법과, 그를 포함하는 고장 진단 시스템 | |
| Datta et al. | Deep Learning Frameworks for Internet of Things | |
| KR102475552B1 (ko) | 진동 데이터 형성 장치 및 방법과, 그를 저장하는 컴퓨터 판독 가능한 기록 매체 | |
| KR102522634B1 (ko) | 네트워크 장비의 유지 보수 운용 자동화 방법, 장치 및 시스템 | |
| KR102564075B1 (ko) | Rfid 기반 입출고 재고 관리 솔루션 제공 방법, 장치 및 시스템 | |
| KR20210011811A (ko) | 기계 학습을 이용한 곡가공 장치 및 방법과, 그를 저장하는 컴퓨터 판독 가능한 기록매체 | |
| KR102422255B1 (ko) | 인공지능 기반 연애 상담 서비스 제공 방법, 장치 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |