KR20220055414A

KR20220055414A - 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법

Info

Publication number: KR20220055414A
Application number: KR1020210137301A
Authority: KR
Inventors: 주백석; 박현빈; 이상웅
Original assignee: 금오공과대학교 산학협력단
Priority date: 2020-10-26
Filing date: 2021-10-15
Publication date: 2022-05-03
Also published as: KR102582871B1

Abstract

본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템은 카메라로부터 학습할 굴착기 이미지 데이터를 수집하고 데이터셋을 생성하여 학습하고 가중치를 산출하는 학습기; 학습 후 가중치를 입력하여 실제 굴착기 버킷 위치 인식이 필요한 굴착기 이미지로부터 버킷 위치를 인식하여 결과를 산출하는 인식기; 및 복수의 굴착기 이미지와 학습 및 버킷 위치 인식을 위해 필요한 데이터들을 저장하는 데이터베이스를 포함한다.

Description

신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법{Excavator bucket position estimation system and method using neural network learning}

본 발명은 굴착기 버킷 위치 추정 시스템 및 방법에 관한 것으로, 더욱 상세하게는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법에 관한 것이다.

현재 우리나라에서 건물 철거 작업 시 발생하는 미세먼지는 별도의 처리 기술이 없어 인력살수 작업을 통해 억제되고 있다.

그러나 인력살수 작업 중 붕괴사고로 인해 작업하던 근로자들이 사망 및 부상을 당하는 재해 사건이 빈번히 발생하고 있어 인력살수 작업은 근로자들의 안전이 보장받지 못한다는 큰 문제점을 가지고 있다.

재래적인 인력살수 방법을 통해 미세먼지 처리를 하고 있는 우리나라의 경우와는 달리, 유럽을 비롯한 미국, 일본, 호주 등의 선진외국에서는 수동 물 분사 장치를 개발하여 각종 산업현장에서 사용하고 있다.

하지만 해외에서 사용되는 종래의 미세먼지 억제 시스템 또한 물을 분사하는 기계를 사람이 직접 움직여 주어야 하고 굴착기와 물을 분사하는 기계의 분사 방향의 불일치로 인해 미세먼지의 처리 효율이 떨어지는 문제가 발생한다.

따라서 우리나라의 재해사건과 해외기술의 문제점을 해결할 수 있으며, 또한 다양한 산업 현장에서 발생하는 미세먼지를 제거하기 위한 새로운 미세먼지 억제 시스템 기술이 필요하다.

또한 이를 위해 굴착기의 위치를 인식하고 자동으로 위치를 정확하게 추적할 수 있는 기술을 활용하여 다양한 환경에서 발생하는 미세먼지 중에서 건설현장에서 발생하는 미세먼지 억제에 초점을 맞춰 미세먼지 추적 자동화를 수행할 수 있으며, 특히 최근 각광받고 있는 머신 비전, 신경망 학습 기술 등을 활용하여 굴착기의 버킷 위치를 인식하고 추정할 수 있는 기술이 필요하게 되었다.

한국등록특허 제10-1472026호(2014년12월05일 등록)

본 발명의 목적은 카메라를 이용하여 굴착기의 형상 및 버킷 형상을 촬영하고, 인공지능 기반 신경망 알고리즘의 학습 이미지로 사용하며, 학습 데이터를 기반으로 굴착기 이미지에서 버킷의 위치를 인식시키고, 해당 위치 데이터를 계산하여 제공하는 굴착기 버킷 위치 추정할 수 있는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법을 제공하는 것이다.

상기 학습기는 굴착기 버킷 위치를 추정하기 위해 고정된 카메라로 촬영된 복수의 굴착기 이미지를 제공받아 학습 데이터로 수집하고, 학습 데이터 셋을 생성하는 수집부; 상기 학습 데이터 셋을 이용하여 CNN 기반의 신경망 학습을 위한 합성곱 연산을 수행하는 학습부; 및 상기 학습부의 학습 결과에 따라 오차율을 줄이고, 굴착기 버킷 위치를 잘 인식시킬 수 있도록 가중치를 산출할 수 있는 가중치산출부를 포함한다.

상기 인식기는 상기 카메라로 촬영된 굴착기 이미지가 포함된 원본 이미지로부터 합성곱 연산을 실시하여, 미리 학습된 굴착기 위치 및 굴착기 버킷 위치를 인식할 수 있는 인식부; 및 원본 이미지에서 인식된 굴착기 위치와 버킷의 위치에 해당하는 좌표값을 산출하고, 관리자 컴퓨터의 화면에 표시하는 위치산출부를 포함한다.

상기 수집부는 굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷(Attachment)에 경계 박스(바운딩 박스) 처리한 경계 데이터를 생성하여 학습 데이터 셋으로 묶어 생성하는 것을 특징으로 한다.

상기 가중치는 신경망 학습을 통해 오차를 수정할 수 있도록 기울기 강하 학습법에 의한 다층 퍼셉트론 학습에 의해 수정될 수 있으며, weight와 bias weight를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 상기 굴착기 버킷 위치 추정 시스템을 이용한 굴착기 버킷 위치 추정 방법에 있어서, 굴착기 이미지를 포함한 복수의 학습용 이미지를 수집하는 단계; 수집된 학습용 이미지를 이용하여 합성곱 연산을 위한 학습 데이터 셋을 생성하는 단계; 상기 학습 데이터 셋으로 합성곱 연산을 통하여 신경망 학습을 수행하는 단계; 상기 신경망 학습의 결과로 굴착기 버킷 위치 추정을 위한 가중치를 산출하는 단계; 상기 산출된 가중치 및 인식 대상인 굴착 이미지를 포함한 원본 이미지를 굴착기 버킷 위치 인식을 위한 인식기에 입력하는 단계; 상기 원본 이미지 내 굴착기 버킷 위치 인식을 위한 합성곱 실시하는 단계; 합성곱 실시의 결과값으로 굴착기 버킷의 위치를 인식하는 단계; 및 인식된 위치 좌표값을 산출하여 인식 결과 및 좌표값을 관리자 컴퓨터 화면에 표시하는 단계를 포함한다.

본 발명의 굴착기 버킷 위치 추정 방법은 카메라를 이용하여 굴착기의 형상 및 버킷 형상을 촬영하고, 인공지능 기반 신경망 학습 이미지로 사용하며, 학습 데이터를 기반으로 굴착기 이미지에서 버킷의 위치를 인식시키고, 해당 위치 데이터를 계산할 수 있는 장점이 있다.

또한, 카메라로 촬영된 이미지에서 버킷은 굴착기 몸체나 주변 지형 등에 가려지는 경우가 있어, 다양한 각도의 버킷 이미지와 각종 외란(disturbance)이 포함된 이미지를 사용하여 신경망 학습시키고, 버킷 추정에 좀 더 정확하고 외부 요인에 의한 추정 에러에 강인하도록 설계할 수 있다.

또한 굴착기 버킷 위치 추정에 의해 미세먼지 제거를 위한 물분사로봇의 위치 제어에 활용하여 굴착기 작업이 이루어지는 버킷이 위치한 장소에 정확한 물분사가 이루어지도록 하는 장점이 있다.

또한 학습이 가능한 모든 굴착기에 사용 가능하며, 버킷이 아닌 다양한 작업장치에도 적용할 수 있으며, 또한 굴착기를 사용한 다양한 분야에서 사용할 수도 있는 장점이 있다.

도 1은 본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템에서 굴착기 이미지에서 학습된 데이터를 기반으로 버킷 위치를 추정하는 개념을 예시적으로 보인 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템의 전체 구성을 보인 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 방법의 전체 과정을 보인 순서도이다.
도 4는 굴착기 사진으로부터 학습 데이터 셋을 추출하는 과정을 예시적으로 보인 도면이다.
도 5는 컨벌루션 신경망(CNN)을 활용하여 학습 데이터 셋을 입력으로 합성곱 연산을 통한 학습 과정을 설명하기 위한 도면이다.
도 6은 학습 이후 굴착기 이미지에서 학습된 굴착기 버킷 위치를 인식(추정)하는 과정을 예시적으로 보인 도면이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 1은 본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템에서 굴착기 이미지에서 학습된 데이터를 기반으로 버킷 위치를 추정하는 개념을 예시적으로 보인 도면이며, 도 2는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템의 전체 구성을 보인 블록도이다.

본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템(1000)은 도 1을 참조하면, 카메라로 촬영된 복수의 굴착기 이미지를 신경망 학습을 위한 데이터로 수집하고, 학습 결과로서 굴착기의 원하는 위치에 해당하는 버킷(작업 위치)을 위치를 인식(추정)할 수 있도록 한다.

이를 위한 구체적 구성으로서, 도 2에 도시된 바와 같이, 카메라로부터 학습할 굴착기 이미지 데이터를 수집하고 데이터셋을 생성하여 학습하고 가중치를 산출하는 학습기(100)와, 학습 후 가중치를 입력하여 실제 굴착기 버킷 위치 인식이 필요한 굴착기 이미지로부터 버킷 위치를 인식하여 결과를 산출하는 인식기(200) 및 복수의 굴착기 이미지와 학습 및 버킷 위치 인식을 위해 필요한 데이터들(경계 데이터, 가중치 등)을 저장하는 데이터베이스(300)를 더 포함할 수 있다.

또한 학습기(100)는 구체적으로 수집부(110), 학습부(120), 가중치산출부(130)를 더 포함한다.

수집부(110)는 굴착기 버킷 위치를 추정하기 위해 고정된 카메라로 촬영된 복수의 굴착기 이미지를 제공받아 학습 데이터로 수집하고, 학습 데이터 셋을 생성한다.

또한 이때 촬영되는 굴착기 학습 이미지는 굴착기 형상 데이터를 학습시키기 위해 굴착기를 다양한 각도, 환경(기상 조건 등)에서 촬영한 이미지를 학습 이미지로 사용하고 도 4에 도시된 바와 같이, 학습 데이터 셋을 생성할 수 있다.

특히 굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷(Attachment)에 경계 박스(바운딩 박스) 처리한 경계 데이터를 생성하여 학습 데이터 셋으로 묶어 생성한다.

즉, 우선적으로 배경을 포함한 이미지 내에서 배경을 제외한 굴착기 위치를 찾고, 이후 굴착기 내에서 버킷 위치를 찾기 위해 학습 데이터 셋에는 굴착기의 경계 데이터와 작업장치인 버킷의 경계 데이터, 경계 데이터 중심점을 포함할 수 있다.

학습부(120)는 우선 학습 데이터 셋을 이용하여 CNN 기반의 신경망 학습을 위한 합성곱 연산을 수행한다.

합성곱 연산은 도 5를 참조하면 학습 대상인 이미지에서 먼저 RGB(Red, Green, Blue) 별로 레이어를 나누어 주며, 일정 크기로 이미지를 잘라내어 픽셀별로 수치화하고 이를 행렬로 정리한다.

또한 행렬화가 진행된 값을 필터와 합성곱(Convolution)을 하는 방법이 CNN 신경망이다.

위와 같은 과정을 통해 분류를 진행하게 되면 학습 이미지의 특징을 더 잘 살려 줄 수 있게 되어 결과적으로 굴착기 이미지 내에서 버킷 위치 추정시, 분류 오차를 줄일 수 있게 된다.

또한 학습부(120)는 복수의 노드를 갖는 신경망을 통하여 원하는 결과값(버킷 위치 좌표값)을 산출하기 위해 오차를 줄여나가며, 반복적으로 딥러닝 학습을 수행한다.

즉, 학습부(120)는 신경망으로 학습 이미지에 해당하는 input 값을 받아들여 작동하되, 이때 결과로 나오는 오차율을 수정해가며 적절한 값을 찾아가는 학습을 반복적으로 러닝(Learning)할 수 있으며, 학습을 거듭할수록 오차율이 줄어들어 원하는 버킷 위치를 후술할 인식기(200)에서 잘 인식시킬 수 있게 된다.

가중치산출부(130)는 학습부(120)의 학습 결과에 따라 오차율을 줄이고, 원하는 위치를 잘 인식시킬 수 있도록 가중치를 산출할 수 있으며, 가중치는 학습 횟수에 따라 달라질 수 있으며, 학습이 거듭될수록 보정되어 최적화된 가중치를 산출할 수 있도록 한다.

가중치는 신경망 학습을 통해 오차를 수정할 수 있도록 기울기 강하 학습법에 의한 다층 퍼셉트론 학습(오류역전파(역방향) 학습)에 의해 수정될 수 있으며, weight와 bias weight를 포함할 수 있다.

구체적으로 전방향 계산에서는 현재 가중치를 이용하여 출력값을 계산할 수 있으며, 역방향 계산에서는 현재 가중치를 이용하여 오류를 계산할 수 있다.

이를 위해 신경망의 출력 노드의 출력값과 목표출력값을 비교하여 가중치 수정항을 계산할 수 있으며, 계산된 수정항과 학습율을 이용하여 가중치 파라미터를 수정할 수 있게 된다.

이와 같은 과정을 전체 학습 데이터 셋에 대하여 수행함으로써, 허용오차보다 작도록 학습시키고 최적의 가중치에서 결과적으로 학습된 원하는 결과값(버킷 위치)을 추정할 수 있도록 할 수 있다.

또한 인식기(200)는 인식부(210)와 위치산출부(220)를 더 포함한다.

인식부(210)는 도 6을 참조하면 카메라로 촬영된 인식 대상인 굴착기 이미지가 포함된 원본 이미지로부터 합성곱 연산을 실시하여, 학습된 굴착기 및 굴착기 버킷 위치를 인식할 수 있다.

위치산출부(220)는 마지막으로 원본 이미지에서 인식된 굴착기 위치와 버킷의 위치에 해당하는 좌표값을 산출하고, 관리자 컴퓨터의 화면에 표시해준다.

이때 굴착기와 굴착기 버킷 이미지를, 추정이 필요한 원본 이미지에 표시한 뒤 표시가 완료된 이미지를 관리자 프로그램의 GUI(Graphical User Interface)에 출력한다.

상기 과정들을 반복하여 실시간으로 굴착기 버킷을 추정하며 만약 굴착기가 인식이 안될 시 학습 이미지를 추가하여 신경망 학습을 수행함으로써 좀 더 굴착기 버킷 위치 추정이 잘 이루어지도록 할 수 있다.

이와 같이 본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템(1000)을 이용하면, 굴착기 작업이 수행되는 버킷(작업장치)의 위치를 알 수 있으면 굴착기 작업시 미세먼지 발생 위치를 알 수 있게 되고, 이를 통해 미세먼지 제거용 물분사로봇의 위치를 제어하여 미세먼지 제거를 효율적으로 수행하도록 활용할 수 있다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 방법의 전체 과정을 보인 순서도이다.

상술한 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템(1000)의 수집부(110)에서는 굴착기 이미지를 포함한 복수의 학습용 이미지를 수집할 수 있다(S100).

또한 수집된 학습용 이미지를 이용하여 합성곱 연산을 위한 학습 데이터 셋을 생성한다(S102).

다음, 생성된 학습 데이터 셋으로 합성곱 연산을 통하여 신경망 학습을 수행할 수 있으며, 반복 학습을 통해 학습율을 높이고 오류를 낮추어 원하는 가중치 및 결과값을 도출할 수 있다(S104, S106).

이후 학습결과로서, 굴착기 버킷 위치 추정을 위한 가중치를 산출한다(S108).

이제 굴착기 버킷 위치 인식을 위해 산출한 가중치와 굴착기 이미지를 포함한 원본 이미지가 인식기(200)로 입력된다(S110).

굴착기 이미지 내 버킷 위치 인식을 위한 원본 이미지를 입력으로 합성곱 연산을 실시한다(S112).

합성곱 결과값으로 작업 장치에 해당하는 굴착기 버킷의 위치를 인식한다(S114).

마지막으로, 인식된 위치 좌표값을 산출하여 인식 결과 및 좌표값을 관리자 컴퓨터 화면에 표시한다(S116).

100 : 학습기
110 : 수집부
120 : 학습부
130 : 가중치산출부
200 : 인식기
210 : 인식부
220 : 위치산출부
300 : 데이터베이스
1000 : 굴착기 버킷 위치 추정 시스템

Claims

카메라로부터 학습할 굴착기 이미지 데이터를 수집하고 데이터셋을 생성하여 학습하고 가중치를 산출하는 학습기;
학습 후 가중치를 입력하여 실제 굴착기 버킷 위치 인식이 필요한 굴착기 이미지로부터 버킷 위치를 인식하여 결과를 산출하는 인식기; 및
복수의 굴착기 이미지와 학습 및 버킷 위치 인식을 위해 필요한 데이터들을 저장하는 데이터베이스
를 포함하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.
제1항에 있어서,
상기 학습기는
굴착기 버킷 위치를 추정하기 위해 고정된 카메라로 촬영된 복수의 굴착기 이미지를 제공받아 학습 데이터로 수집하고, 학습 데이터 셋을 생성하는 수집부;
상기 학습 데이터 셋을 이용하여 CNN 기반의 신경망 학습을 위한 합성곱 연산을 수행하는 학습부; 및
상기 학습부의 학습 결과에 따라 오차율을 줄이고, 굴착기 버킷 위치를 잘 인식시킬 수 있도록 가중치를 산출할 수 있는 가중치산출부
를 포함하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.
제2항에 있어서,
상기 인식기는
상기 카메라로 촬영된 굴착기 이미지가 포함된 원본 이미지로부터 합성곱 연산을 실시하여, 미리 학습된 굴착기 위치 및 굴착기 버킷 위치를 인식할 수 있는 인식부; 및
원본 이미지에서 인식된 굴착기 위치와 버킷의 위치에 해당하는 좌표값을 산출하고, 관리자 컴퓨터의 화면에 표시하는 위치산출부
를 포함하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.
제2항에 있어서,
상기 수집부는
굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷(Attachment)에 경계 박스(바운딩 박스) 처리한 경계 데이터를 생성하여 학습 데이터 셋으로 묶어 생성하는 것을 특징으로 하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.
제2항에 있어서,
상기 가중치는
신경망 학습을 통해 오차를 수정할 수 있도록 기울기 강하 학습법에 의한 다층 퍼셉트론 학습에 의해 수정될 수 있으며, weight와 bias weight를 포함하는 것을 특징으로 하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.
제1항 내지 제5항의 굴착기 버킷 위치 추정 시스템을 이용한 굴착기 버킷 위치 추정 방법에 있어서,
굴착기 이미지를 포함한 복수의 학습용 이미지를 수집하는 단계;
수집된 학습용 이미지를 이용하여 합성곱 연산을 위한 학습 데이터 셋을 생성하는 단계;
상기 학습 데이터 셋으로 합성곱 연산을 통하여 신경망 학습을 수행하는 단계;
상기 신경망 학습의 결과로 굴착기 버킷 위치 추정을 위한 가중치를 산출하는 단계;
상기 산출된 가중치 및 인식 대상인 굴착 이미지를 포함한 원본 이미지를 굴착기 버킷 위치 인식을 위한 인식기에 입력하는 단계;
상기 원본 이미지 내 굴착기 버킷 위치 인식을 위한 합성곱 실시하는 단계;
합성곱 실시의 결과값으로 굴착기 버킷의 위치를 인식하는 단계; 및
인식된 위치 좌표값을 산출하여 인식 결과 및 좌표값을 관리자 컴퓨터 화면에 표시하는 단계
를 포함하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 방법.