KR20220082159A

KR20220082159A - 딥 러닝을 이용한 ai 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치

Info

Publication number: KR20220082159A
Application number: KR1020200171529A
Authority: KR
Inventors: 김대경; 고길용; 박영웅; 조정익; 김지훈; 박광열
Original assignee: 순천대학교 산학협력단
Priority date: 2020-12-09
Filing date: 2020-12-09
Publication date: 2022-06-17
Also published as: KR102494578B1

Abstract

본 발명은 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치에 관한 것으로, 더욱 상세하게는 육안으로 식별하기 어려운 돌, 나무 등을 카메라와 초음파 센서 입력된 정보를 딥러닝과 인공지능으로 판단하고 알람으로 알려 보다 안전하게 작업하며 농기계 운전자 및 주변의 사람을 보호할 수 있는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치에 관한 것이다.

Description

딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치{Method and System for Artificial Intelligence based Quality Inspection in Manufacturing Process using Machine Vision Deep Learning}

해마다 귀농 인구는 늘고 있고, 농업에 대한 관심이 커질 뿐만 아니라 농업에 종사하는 연령층도 젊어지고 있다. 현재 논 농업의 기계화율은 97%, 밭 농업의 기계화율은 58％로 농업의 기계화에 따라 농기계 이용에 대한 안전 대책이 요구되고 있다.

일반적으로 자동차에는 전/후방 보조 센서， 차간거리 제어 등 안전장치들이 잘 갖춰져 있지만，농업용 기계에는 안전대책이 마련되지 않았다. 농업 종사 환경은 작업시 육안으로 보이지 않는 장애물이 많아 도로환경과 매우 다르므로 농업 환경에 알맞은 센서가 필요한 실정이다. 자율운전 기술에서 ADAS, 자율 주행 등 다양한 시스템이 개발되고 있지만，고가의 차량에만 장착될 뿐 더러，더욱더 세밀한 운전을 요구하는 작업용 차량을 위한 시스템은 없었다.

지난 2014년 내지 2018년 농기계 사고는 모두 6,981건，사망자는 492명으로 하루 4건 정도의 안전사고가 발생했고, 그중에서도 경운기로 인한 사고는 무려 50％에 달한다. 경운기 사고의 원인의 74％가 전도，추락이라는 점에서 감지 센서의 필요성이 부각된다.

또한 농업인에게 안전과 소득을 동시에 가져다주기 위해 저가의 탈부착형 안전장치를 만들 필요가 있다.

또한 강한 세기의 ND 자석，농기계에 맞는 케이스를 3D 프린터로 제작한다면 저가의 안전장치 하나로 모든 농기계에 탈부착이 가능하고，적외선 카메라，초음파 센서를 이 용한다면 적은 투자 비용으로 농업 환경에 알맞은 농기계 탈부착형 센서 제작이 가능할 것으로 예상된다.

또한 농업 환경에는 작업 시 밟고 지나가거나 부딪혀도 되는 곡식, 풀，진흙 등(안전한 물체)으로 이루어진 환경도 있지만，작업시 육안으로 식별하기 어려운 돌，나무 등의 환경에서는 단순히 부딪히더라도 전도／추락으로 이어질 수 있는 위험요소가 있다.

한편 초기의 라즈베리 파이는 엘레멘트14/프리미어 파넬, RS 콤포넌트와의 허가된 제조 협정을 통해 제작되었다.

라즈베리 파이는 모두 동일한 비디오코어 IV GPU와, 싱글코어 ARMv6에 호환되는 CPU 또는 신형의 ARMv7에 호환되는 쿼드코어(라즈베리 파이 2), 1 GB의 RAM(라즈베리 파이 2), 512 MB(라즈베리 파이 1 B와 B+), 또는 256 MB(모델 A와 A+, 구형 모델 B)의 메모리를 포함한다. 이들은 SD 카드 슬롯 (모델 A 와 B) 또는 부팅 가능한 매체와 지속적인 정보 저장을 위한 마이크로SDHC를 갖추고 있다.

2014년, 라즈베리 파이 재단은 원래의 라즈베리 파이와 계산 능력이 같은 임베디드 시스템의 일부로 사용하기 위한 '계산 모듈'을 출시하였다. 2015년 초, 차세대 라즈베리 파이인 라즈베리 파이 2가 출시되었다. 이 새로운 컴퓨터 보드는 처음에는 한 가지 형식(모델 B)이었으며, 쿼드 코어 ARM Cortex-A7 CPU와 1GB RAM에 나머지 사양은 모델 B+와 유사했다.

라즈베리 파이 재단은 데비안과 아치 리눅스 ARM 배포판의 다운로드를 제공하고, 주요 프로그래밍 언어로 파이썬의 사용을 촉진하며, BBC 베이직을 지원한다. C, C++, 자바, 펄, 루비, 스퀵 스몰토크 등의 언어가 사용 가능하다.

그러나 이렇게 다양한 기능을 갖는 라즈베리 파이를 이용한 농업 기계용 장치는 아직 다양하게 개발되지 못하는 실정이다.

한편 머신 비젼에 사용되는 영상 처리 기법들은, 대상 품목의 변화가 없고 외부요인이 완전히 같고 통제된 상황에서는 높은 정확도와 불량률 탐지가 가능하지만, 이렇게 엄격한 조건의 설정은 외부 환경의 변화 시에 엔지니어가 재학습을 하기 위해 새로운 모델 학습을 시도하거나 판별 알고리즘의 재설계가 필요하다는 한계를 가지고 있다.

또한 기존의 농기계는 운전하는 작업자가 육안으로 작업장을 육안으로 확인하는 작업을 시행하는 방법으로 이루어지고 있다. 하지만 경운기나 트랙터 등 농기계는 밭을 갈거나 제초가 이루어지는 지면은 기계에 가려져 육안에 의한 검사는 조직, 환경 등 여러 요인에 의해 인적오류(human error)가 발생하는 문제가 있다.

JP 2014-153560 A (공개일 2014.08.25.) KR 10-1711073 B1 (등록일 2017.02.22.) KR 10-2073162 B1 (등록일 2020.01.29.) JP 6653929 B1 (등록일 2020.01.31.)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥 러닝을 이용한 농업용 기계에 특화된 탈부착형 안전 탐지 장치를 제공함에 있다.

또한 본 발명은 누구나 쉽게 농기계에 장착할 수 있는 탈부착의 형태이고， 소리，화면 진동 등의 직관적인 알림이 가능하여 노령화되고 있는 농촌에서의 작업자의 안전을 지킬 수 있다.

또한 본 발명은 트랙터，경운기 등 각각의 농기계에 탈부착이 가능하도록 케이스를 만들어 여러 가지의 농기계에 사용이 가능하다.

또한 본 발명은 곡식, 풀， 진흙 등(안전한 물체) 작업 시 밟고 지나가거나 부딪혀도 상관없는 물체와 돌，나무 같이 부딪힐 경우 피해가 가는 물체를 딥러닝을 통한 구분 후 위험물체만 센서 감지 및 알림이 가능하게 한다.

또한 본 발명은 풀， 나무 등은 물체의 형태가 제각각이기 때문에 딥러닝 학습을 통해 구분할 수 있어 인적오류를 제거하고, 품질관리의 비용을 최소화하며, 생산성을 향상시킬 수 있다.

상기 목적을 달성하기 위한 본 발명은 인공지능부에 의해 제어되는 딥러닝 기능이 탑재된 AI 기반의 농기계 탈부착형 안전 탐지 방법에 있어서, 인공지능부가 지면의 영상을 실시간으로 처리하여 전송하는 카메라를 통해 입력되는 영상을 프레임 단위로 처리하고 분석하는 단계; 상기 인공지능부가 분석된 영상 프레임을 위험상황에 관련된 영상 구성 요소를 인공지능 알고리즘을 이용한 학습 모델을 학습하는 단계; 상기 인공지능부가 상기 학습된 알고리즘에 기반하여 상기 수집된 영상으로부터 하나 이상의 객체를 인식하고, 상기 하나 이상의 객체의 상태에 기반하여 위험상황으로 판단하는 단계; 상기 인공지능부가 상기 위험상황에 따른 알람을 발생시키는 단계;를 포함한다.

상기 인공지능부가 위험상황으로 판단하는 단계는, 지면의 상황 진단을 위해 돌멩이, 흙덩이, 나무, 작물 유형의 특징을 추출하는 단계; 상기 인공지능부가 추출된 1차원 영상 신호를 2차원 회색조 영상 (gray image)으로 변환하여, 샘플간의 상관관계를 확인함으로써 유형별로 특징을 추출하는 단계; 상기 인공지능부가 검증을 통과한 학습 모델을 통해 장애물의 상태를 진단하는 단계;를 포함한다.

상기 카메라를 통해 입력되는 지면의 영상을 프레임 단위로 처리하고 분석하는 단계는 상기 인공지능부는 영상저장장치에 상기 위험상황의 발생장소에 카메라를 팬, 틸트, 줌 이동시켜 포커싱하여 영상을 저장하고, 직접 모니터링 상태로 전환하는 단계;를 더 포함한다.

상기 위험상황으로 판단하는 단계는, 장애물이 미리 설정된 기준값과 다른 경우 위험상황으로 판단하는 단계를 포함한다.

상기 인공지능 알고리즘은 기계 학습, 신경망, 유전자, 딥러닝, 이미지 분류 알고리즘 중 적어도 하나를 포함한다.

상기 위험상황에 따른 알람은 시각적 또는 청각적으로 구분된다.

상기 학습 모델을 학습하는 단계는, 상기 촬영된 장애물의 영상을 캡쳐하고 데이터를 수집하는 단계; 수집된 상기 데이터를 오토인코더(autoencoder)를 통해 특징점 점수(keypoint score)를 추출하는 단계; 추출된 상기 특징점으로 장애물 모델을 학습하는 단계; 상기 장애물 정상범주에 속하는지 판단하는 단계;를 포함한다.

상기 위험상황으로 판단하는 단계는, 특징점 검출 알고리즘을 사용하여 습득한 영상을 영상 속 이미지 간 유사도 (Cos-Similarity)를 통해 정상 이미지와 불량 이미지로 분류하는 단계; 서로 다른 이미지 간의 비교를 통해 특징점(keypoint) 추출 및 매칭을 하는 단계; 각 이미지 간의 유사도를 나타내는 특징점 점수(KPS: keypoint scoring)를 산출하는 단계; 상기 산출하는 단계에서 산출된 특징점 점수로 각 이미지를 분류하는 단계; 상기 분류하는 단계에서 분류된 분류 번호 및 확률 값을 판정 결과로 출력하는 단계;로 구성된다.

상기 불량 이미지의 영상들을 수집하여 재학습시키는 단계;를 더 포함한다. 이 때 상기 재학습시키는 단계는, 원격의 서버에 의해 수행된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 기존의 머신 비전 검사 기법과 달리, 영상 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 방법에서의 자동 결함 탐지시스템은 현장 적용성이 뛰어나고 큰 차별성을 가지므로 결함의 정형화가 어려워 육안에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해져 도입 비용을 획기적으로 낮추는 것이 가능하다.

또한 본 발명은 충돌 시 문제가 발생할 수 있는 물체를 라즈베리파이를 통한 딥러닝을 이용해 구별하고 농기계 사용 시 안전을 보강한다.

또한 본 발명은 누구나 쉽게 장착할 수 있는 형태여야 하고，소리，화면 진동 등의 직관적인 알림이 가능하다.

또한, 본 발명의 실시예들에 따르면, 자동 결함 탐지시스템을 통해 인적오류를 제거하고, 품질관리의 비용을 최소화하며, 기계 설비의 생산력 증진을 도모할 수 있다.

또한, 본 발명의 실시예들에 따르면, 날씨에 의한 지표면의 돌덩이와 흙덩이의 모습의 잦은 변경에도 자동화된 학습 및 최적화 방안을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치의 구성을 보여주는 도면이다.
도 2는 본 발명의 일실시예에 따른 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법에서 위험 사항을 판단하고 알람을 발생하는 플로챠트를 보여주는 도면이다.
도 3은 본 발명의 일실시예에 따른 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법에서 2차원 회색조 영상으로 장애물의 상태를 진단하는 플로챠트를 보여주는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법에서 포커싱 영상 저장 상태로 전환하는 플로챠트를 보여주는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법에서 장애물 영상의 연산값을 기준값과 비교하는 플로챠트를 보여주는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법에서 사용되는 복수개의 알고리즘을 보여주는 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법에서 흙덩이와 돌맹이를 판정하기 어려운 문제를 해결하는 것을 보여주는 도면이다.

본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1에 도시된 바와 같이 카메라(210)에는 기설정주기로 이미지값을 생성하는 적어도 하나의 센서를 포함하고, 상기 카메라(210)가 동작하도록 제어하는 초소형 제어 보드(220); 상기 카메라(210)와 인공지능부를 포함하는 초소형 제어 보드(220)가 농기계 철판의 일측면에 부착되도록 자성을 제공하는 자성체(300);를 포함한다.

본 발명은 지면의 영상을 실시간으로 처리하여 전송하는 카메라; 상기 카메라로부터 생성된 영상으로 돌멩이와 흙덩이를 구분하기 위한 분류기를 학습시키고, 학습된 분류기를 이용하여 흙덩이를 돌멩이로 불량 판정하는 비율을 계산하는 인공지능부;를 포함한다.

상기 인공지능부는, 상기 흙덩이 또는 돌멩이 영상에 관한 측정 데이터를 실시간으로 측정하는 영상처리분석부(110)와 상기 측정 데이터를 수집하고, 상기 수집된 데이터의 학습 모델을 생성한 후 상기 학습 모델의 검증을 진행하는 위험상황판단부(120);를 포함하여, 상기 위험상황판단부(120)가 입력된 영상의 장애물의 안전 진단을 위해서는 유형의 특징을 추출하고, 접근하는 상기 장애물의 진동에서 추출된 1차원 진동 신호를 2차원 회색조 영상(gray image)으로 변환하여, 1차원 영상에서의 상관관계를 확인함으로써 장애물을 유형별로 특징을 추출하여, 상기 검증부의 검증을 통과한 학습 모델을 통해 장애물의 상태를 진단하고 분석하여 예방조치할 수 있다.

상기 카메라에는, 기설정주기로 센싱값을 생성하는 적어도 하나의 센서를 포함하는 센서부; 상기 센서부가 동작하도록 제어하는 인공지능부; 상기 센서부와 초소형 제어 보드가 철판의 일측면에 부착되도록 자성을 제공하는 자성체;가 추가적으로 연결된다.

도 5에 도시된 바와 같이 딥러닝은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술로서, 컴퓨터는 사진만으로 돌멩이와 흙덩이를 구분하지 못 하지만 사람은 아주 쉽게 구분할 수 있다.

이를 위해 ‘머신러닝(Machine Learning)’이라는 방법이 고안되었는데, 이는 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다. 저장된 돌멩이 사진과 비슷한 사진이 입력되면, 이를 돌멩이 사진이라고 컴퓨터가 분류하도록 한 것이다.

이러한 이미지 데이터를 어떻게 분류할 것인가를 놓고 이미 많은 머신러닝 알고리즘이 등장했는데, 딥러닝은 인공신경망의 한계를 극복하기 위해 제안된 머신러닝 방법이다.

딥러닝은 인간의 신경망을 모방하여 심층 신경망(Deep Neural Network)을 만들어 입력과 출력 사이에 겹겹이 층(Layer)을 쌓아 만든 네트워크로 결합 가중치(Weight) 문제를 학습하고 해결한다. 여기에 사용되는 심층 학습은 여러 비선형 변환 기법의 조합을 통하여, 기존의 머신러닝의 기법에서 가장 취약점을 보이던 대상물의 높은 수준의 추상화에서 강점을 보인다.

본 발명의 실시예에서는, 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법을 제시한다.

예를 들어 밭갈이나 제초작업을 하는 농장에서 흙과 돌을 분류함에 있어, 딥러닝 기법을 사용하여 탐지 대상이 되는 대상물의 돌, 흙덩이, 나무 등의 데이터를 학습하고, 자동으로 판별하는 경보나 제어를 할 수 있는 자동화된 방법이다.

본 발명의 실시예에 따른 품질검사 방법에서는, 학습 데이터(돌맹이 또는 흙덩이 영상)를 입력하여 자동으로 최적화된 판별 모델을 생성하는데, 이미지가 불규칙한 경우 비정형적 패턴에서도 학습을 통해 판별할 수 있다.

또한, 본 발명의 실시예에 따른 품질검사 방법에서는, 입력 데이터에 노이즈를 포함시켜 학습함으로써 외부 환경 요인의 변화에 강점을 보이고, 온라인으로 사용자 피드백 정보를 통한 재학습 및 검출 모델 교체가 가능하다.

여기서, 생성된 영상에 대해서 일정 시간 간격으로 카메라에 의해 자동 객체검출을 수행하고, 검출된 객체에 대해 딥 러닝 네트워크를 이용하여 추적 기술을 적용함으로써 실시간 처리할 수 있으며, 물체가 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝(training)할 수 있다.

이하 도 2 내지 도 5를 참고하여 농기계 안전 탐지 방법에 대하여 자세히 설명한다.

본 발명은 인공지능부에 의해 제어되는 딥러닝 기능이 탑재된 AI 기반의 농기계 탈부착형 안전 탐지 방법에 있어서, 인공지능부가 지면의 영상을 실시간으로 처리하여 전송하는 카메라를 통해 입력되는 영상을 프레임 단위로 처리하고 분석하는 단계; 상기 인공지능부가 분석된 영상 프레임을 위험상황에 관련된 영상 구성 요소를 인공지능 알고리즘을 이용한 학습 모델을 학습하는 단계; 상기 인공지능부가 상기 학습된 알고리즘에 기반하여 상기 수집된 영상으로부터 하나 이상의 객체를 인식하고, 상기 하나 이상의 객체의 상태에 기반하여 위험상황으로 판단하는 단계; 상기 인공지능부가 상기 위험상황에 따른 알람을 발생시키는 단계;를 포함한다.

지금까지, 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

본 발명의 실시예에서는, 딥러닝 알고리즘을 적용하여 제조 공장에서 생산품의 분류 및 불량 판별을 수행하며, 딥러닝을 통하여 영상 데이터 학습을 통한 불량을 검출 모델을 자동으로 만들어 단순 패턴이 아닌 비정형화되고 복잡한 영상 이미지까지 분석을 가능한 검사가 가능하게 하였다.

또한, 도 7과 같이 실시예들에서는, 학습 데이터에 의해서 자동으로 검출 모델이 만들 수 있고, 사용자 피드백을 통한 온라인 학습을 통한 자가-최적화(self optimization)가 가능하여 높은 유연성을 제공함으로써, 비전 검사 시스템 도입 비용과 변경 비용을 낮출 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 인공지능부
110 : 영상처리분석부
120 : 위험상황판단부
210 : 카메라
220 : 초소형 제어 보드
300 : 자성체

Claims

인공지능부에 의해 제어되는 딥러닝 기능이 탑재된 AI 기반의 농기계 탈부착형 안전 탐지 방법에 있어서,
인공지능부가 지면의 영상을 실시간으로 처리하여 전송하는 카메라를 통해 입력되는 영상을 프레임 단위로 처리하고 분석하는 단계;
상기 인공지능부가 분석된 영상 프레임을 위험 상황에 관련된 영상 구성 요소 만을 분리하여 인공지능 알고리즘을 이용한 학습 모델로 학습하는 단계;
상기 인공지능부가 상기 학습된 알고리즘에 기반하여 상기 수집된 영상으로부터 하나 이상의 객체를 인식하고, 상기 하나 이상의 객체의 상태에 기반하여 위험상황으로 판단하는 단계;
상기 인공지능부가 상기 위험상황에 따른 알람을 발생시키는 단계;를 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 인공지능부가 위험상황으로 판단하는 단계는,
지면의 상황 진단을 위해 돌멩이, 흙덩이, 나무, 작물 유형의 특징을 추출하는 단계;
상기 인공지능부가 추출된 1차원 영상 신호를 2차원 회색조 영상 (gray image)으로 변환하여, 샘플간의 상관관계를 확인함으로써 유형별로 특징을 추출하는 단계;
상기 인공지능부가 검증을 통과한 학습 모델을 통해 장애물의 상태를 진단하는 단계;를 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 카메라를 통해 입력되는 지면의 영상을 프레임 단위로 처리하고 분석하는 단계는
상기 인공지능부는 영상저장장치에 상기 위험상황의 발생장소에 카메라를 팬, 틸트, 줌 이동시켜 포커싱하여 영상을 저장하고, 직접 모니터링 상태로 전환하는 단계;를 더 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 위험상황으로 판단하는 단계는,
장애물이 미리 설정된 기준값과 다른 경우 위험상황으로 판단하는 단계를 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 인공지능 알고리즘은 기계 학습, 신경망, 유전자, 딥러닝, 이미지 분류 알고리즘 중 적어도 하나를 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 위험상황에 따른 알람은 시각적 또는 청각적으로 구분되는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 학습 모델을 학습하는 단계는,
상기 촬영된 장애물의 영상을 캡쳐하고 데이터를 수집하는 단계;
수집된 상기 데이터를 오토인코더(autoencoder)를 통해 특징점 점수(keypoint score)를 추출하는 단계;
추출된 상기 특징점으로 장애물 모델을 학습하는 단계;
상기 장애물 정상범주에 속하는지 판단하는 단계;를 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 1에 있어서,
상기 위험상황으로 판단하는 단계는,
특징점 검출 알고리즘을 사용하여 습득한 영상을 영상 속 이미지 간 유사도 (Cos-Similarity)를 통해 정상 이미지와 불량 이미지로 분류하는 단계;
서로 다른 이미지 간의 비교를 통해 특징점(keypoint) 추출 및 매칭을 하는 단계;
각 이미지 간의 유사도를 나타내는 특징점 점수(KPS: keypoint scoring)를 산출하는 단계;
상기 산출하는 단계에서 산출된 특징점 점수로 각 이미지를 분류하는 단계;
상기 분류하는 단계에서 분류된 분류 번호 및 확률 값을 판정 결과로 출력하는 단계;로 구성되는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법 .
청구항 8에 있어서,
상기 불량 이미지의 영상들을 수집하여 재학습시키는 단계;를 더 포함하는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
청구항 9에 있어서,
상기 재학습시키는 단계는,
원격의 서버에 의해 수행되는 것을 특징으로 하는 딥 러닝을 이용한 AI 기반의 농기계 탈부착형 안전 탐지 방법.
지면의 영상을 실시간으로 처리하여 전송하는 카메라;
상기 카메라로부터 생성된 영상으로 돌멩이와 흙덩이를 구분하기 위한 분류기를 학습시키고, 학습된 분류기를 이용하여 흙덩이를 돌멩이로 불량 판정하는 비율을 계산하는 인공지능부;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
카메라의 영상이 인공지능부에 의해 학습되고 인공지능부에 의해 제어되는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치에 있어서,
상기 인공지능부는,
상기 흙덩이 또는 돌멩이 영상에 관한 측정 데이터를 실시간으로 측정하고, 상기 측정 데이터를 수집하고, 상기 수집된 데이터의 학습 모델을 생성한 후 상기 학습 모델의 검증을 진행하여,
상기 입력된 영상의 장애물의 안전 진단을 위해서는 유형의 특징을 추출하고,
상기 유형의 특징이 진동체이면, 상기 장애물이 발생시키는 추출된 1차원 진동 신호를 2차원 회색조 영상(gray image)으로 변환하여, 1차원 영상에서의 상관관계를 확인함으로써 장애물을 유형별로 특징을 추출하여, 상기 검증부의 검증을 통과한 학습 모델을 통해 장애물의 상태를 진단하고 분석하여 예방조치할 수 있는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 카메라에는,
기설정주기로 센싱값을 생성하는 적어도 하나의 센서를 동작하도록 제어하는 초소형 제어 보드(220);
상기 센서부와 초소형 제어 보드가 철판의 일측면에 부착되도록 자성을 제공하는 자성체(300);가 추가적으로 연결되는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 카메라는,
외부 영상을 실시간으로 캡쳐하여, 딥러닝으로 분석하기 위한 클립 이미지로 분해하여 전송하는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치
청구항 12에 있어서,
상기 자성체(300)는 농업 기계의 일정 부분에 용이하게 장착할 수 있는 ND 자석으로 이루어진 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 카메라는 소리，화면 진동의 알림을 위한 진동체;와 연결되는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 초소형 제어 보드는 라즈베리 파이 또는 아두이노 기반의 제어 보드인 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 초소형 제어 보드는 딥러닝을 통해 사고시 충격량이 일정치 이상인 강한 물체，충격량이 일정치 이하인 약한 물체를 구분하여 감지하는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 카메라는,
상기 초소형 제어 보드의 딥러닝 분석 결과를 표시하는 디스플레이 장치;에 연결되는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 12에 있어서,
상기 센서부는,
농업 기계에서의 진동 에너지를 미세하게 수확하여 축적한 후 필요할 때 사용하는 하베스팅 IC;와 연결되는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
딥러닝 기능이 탑재된 AI 기반의 농기계 탈부착형 안전 탐지 장치로서,
시각적, 청각적 알람을 출력하는 출력부;
복수의 카메라와 데이터를 주고받는 통신부; 및
위험상황에 관련된 영상 구성 요소를 인공지능 알고리즘을 이용하여 학습하도록 제어하는 인공지능부;를 포함하고,
상기 인공지능부는, 상기 통신부를 통해 영상 수집 장치로부터 수집된 영상을 프레임 단위로 처리하여 분석하고, 상기 학습된 알고리즘에 기반하여 상기 수집된 영상으로부터 하나 이상의 객체를 인식하고, 상기 하나 이상의 객체의 크기에 기반하여 위험상황으로 판단하고, 상기 출력부를 통해 상기 위험상황에 따른 알람을 발생시키는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 21에 있어서,
상기 카메라를 상기 위험상황의 발생 위치에 포커싱하여 영상녹화를 시작하도록 제어하고, 상기 하나 이상의 객체의 크기에 기반하여 위험상황으로 판단하고, 상기 출력부를 통해 위험상황에 따른 알람을 발생시키고, 직접 모니터링 상태로 전환하도록 제어하는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.
청구항 21에 있어서,
상기 인공지능부는,
위험상황에 관련된 영상 구성 요소를 인공지능 알고리즘을 이용하여 학습하고, 상기 네트워크를 통해 연결된 영상 수집 장치로부터 수집된 영상을 프레임 단위로 처리하여 분석하고, 상기 학습된 알고리즘에 기반하여 상기 수집된 영상으로부터 하나 이상의 객체를 인식하고, 상기 하나 이상의 객체의 움직임에 기반하여 1단계 위험상황으로 판단하고, 상기 1단계 위험상황에 따른 알람을 발생시키고, 상기 영상 수집 장치를 상기 1단계 위험상황의 발생 장소에 포커싱하여 영상녹화를 시작하고, 상기 하나 이상의 객체의 움직임 변화량에 기반하여 2단계 위험상황으로 판단하고, 상기 2단계 위험상황에 따른 알람을 발생시키고, 직접 모니터링 상태로 전환하는 것을 특징으로 하는 딥러닝을 이용한 AI 기반 농기계 탈부착형 안전 탐지 장치.