KR20210151297A

KR20210151297A - Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템

Info

Publication number: KR20210151297A
Application number: KR1020200067754A
Authority: KR
Inventors: 조승표; 이혜성
Original assignee: (주)에이치브레인
Priority date: 2020-06-04
Filing date: 2020-06-04
Publication date: 2021-12-14
Also published as: KR102362953B1

Abstract

본 발명은 SVM(Surround View Monitoring) 알고리즘을 이용하여 카메라들의 촬영에 의해 획득된 영상들을 하나의 서라운드-뷰 영상으로 변환하여 디스플레이 함으로써 운전자의 사각지대를 줄여 정확한 시야각 정보를 운전자에게 제공이 가능하여 안전사고를 미연에 방지할 수 있을 뿐만 아니라 작업효율 및 안전성이 개선되며, 차체 주변 전방위의 객체 및 장애물을 감지하여 운전자에게 표출시킴으로써 객체 접근 및 여부에 대한 시각적 식별이 가능하여 충돌 등의 안전사고를 더욱 효과적으로 절감시킬 수 있고, SVM 알고리즘 및 POD(People and Object Detection) 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 AP의 GPU에서 각 영상을 병렬 처리하여 고속 연산이 이루어질 수 있으며, 상부 선회체가 하부 주행체로부터 360° 회전 가능하도록 탑재되어 주행방향에 따른 전후좌우 방향과, 시야방향에 따른 전후좌우 방향이 일치하지 않는 굴삭기의 특성을 감안하여, 서라운드-뷰 영상 생성 시, 상부 선회체의 회전상태 정보를 시각화하여 제공하도록 구성됨으로써 주변 객체 및 장애물에 대한 정보를 정확하고 신속하게 운전자에게 제공할 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템에 관한 것이다.

Description

FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템{Safety system for excavator using SVM and Neuromachine based and FPGA}

본 발명은 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템에 관한 것으로서, 상세하게로는 운전자에게 탑-뷰 타입의 서라운드 영상을 제공함과 동시에 차체상태정보를 시각화하여 서라운드 영상에 매칭시켜 전시하도록 구성됨으로써 운전자의 사각지대를 줄여 정확한 시야각 정보 제공이 가능하여 주변 객체 및 장애물과의 충돌사고를 미연에 효과적으로 방지함과 동시에 차체 주변의 객체를 운전자가 정확하고 신속하게 인지하도록 하여 안전성을 높일 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템에 관한 것이다.

최근 들어, 차량산업이 발달함과 더불어 영상기술이 고도화됨에 따라 차체에 카메라 및 센서 등을 설치하여 차체 주변의 영상과 차체 주변의 사람, 장애물 등의 객체를 검출하여 운전자에게 경고하는 차량 안전시스템(AVM, Around View Monitoring)이 도입되어 널리 사용되고 있다.

이러한 AVM 시스템은 운전자의 사각지대를 줄일 수 있을 뿐만 아니라 주변 객체여부를 사전에 운전자에게 경고하여 충돌사고를 미연에 방지할 수 있는 장점으로 인해 보급률이 기하급수적으로 증가하고 있다.

한편, 굴삭기는 토목, 건축, 건설 현장에서 굴삭, 적재, 파쇄, 지면정리, 대상물 이동 등의 작업을 수행하는 건설장비로서, 다양한 종류의 작업 및 건설현장에 널리 사용되고 있다.

통상적으로 굴삭기는 이동수단인 하부 주행체와, 하부 주행체의 상부에 탑재되어 360° 회전하는 상부 선회체와, 상부 선회체에 회전 가능하게 결합되는 붐(boom)과, 붐(boom)의 단부에 회전 가능하게 결합되는 암(arm)과, 암의 단부에 설치되는 버킷(bucket)으로 이루어진다.

이러한 굴삭기는 차체가 대형일 뿐만 아니라 차체에 탑재되는 붐, 암 및 버킷 등의 장비들로 인해 후방 및 측방 관측이 어려워 사각지대가 넓으며, 운전자가 탑승하는 케빈이 360도로 회전되며, 노면이 불규칙하면서 외부 장애물이 많은 작업현장의 특성으로 인해 충돌, 추락 및 전도 등의 안전사고가 비일비재하게 발생하고, 이러한 굴삭기의 안전사고는 인명사고로 직결되는 문제점을 갖는다.

이에 따라 굴삭기에 AVM 시스템을 도입하여 안전사고를 방지하기 위한 다양한 연구가 진행되고 있다.

도 1은 국내등록특허 제10-1787897호(발명의 명칭 : AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법)에 개시된 AVM 기반의 굴삭기 작업 정보 모니터링 방법의 동작 흐름을 도시한 순서도이고, 도 2는 도 1에 의해 생성된 최종 영상의 화면 표시예이다.

도 1의 AVM 기반의 굴삭기 작업 정보 모니터링 방법(이하 종래기술이라고 함)(S900)은 굴삭기의 전후좌우에 각각 설치된 복수의 카메라로부터 수신한 촬영 영상들을 룩업 테이블(Look up Table)을 통해 보정하여 복수의 보정 영상을 생성한 후, 오버레이(overlay) 방식으로 합성 처리하여 탑 뷰 형태의 영상으로 변환하는 단계910(S910)과, 굴삭기의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서로부터 센싱된 기울기 값을 이용하여 붐에서 버킷까지의 수평 거리, 버킷이 지면으로부터 이격된 거리, 버킷의 회전반경을 포함하는 작업 정보를 연산하는 단계920(S920)과, 연산된 작업 정보를 상기 변환된 탑 뷰 형태의 영상에 적용하여 상기 굴삭기의 최종 영상을 생성하는 단계930(S930)과, 생성된 굴삭기의 최종 영상을 표시하는 단계940(S940)로 이루어진다.

또한 단계940(S940)에 의해 표시부(910)에 표시되는 최종영상(900)에는 도 2에 도시된 바와 같이, 전후좌우의 영상(901)들과, 붐, 암 및 버킷으로 이루어지는 굴삭기의 탑뷰 이미지(902)와, 버킷의 회전반경(903)과, 굴삭기 본체의 회전반경(905)과, 지면으로부터 버킷까지의 수평거리(907)와, 굴삭기의 자세정보(roll, yaw, pitch)(909)가 전시된다.

또한 단계930(S930)은 최종영상(900) 생성 시, 굴삭기 본체의 중심 지점과 탑뷰 형태 영상의 중심지정이 매칭되도록 굴삭기의 탑 뷰 이미지를 반영한다.

이와 같이 구성되는 종래기술(S900)은 굴삭기 작업 시, 장애물 등에 발생되는 사각지대에 대해 AVM 기술 기반의 굴삭기 탑뷰영상과, 굴삭기의 붐, 암 및 버킷에 설치된 각도센서를 통해 계산된 버킷의 지면으로부터 이격거리 및 작업 회전 반경에 대한 작업 정보를 운전원에게 디스플레이 화면으로 제공함으로써 굴삭기 작업에 있어 보다 좋은 환경을 운전원에게 제공할 수 있는 장점을 갖는다.

일반적으로, 굴삭기는 운전자가 탑승하는 케빈을 포함하는 상부 선회체가 하부 주행체로부터 360° 회전함과 동시에 작업 시, 상부 선회체가 하부 주행체와 정확하게 수평방향을 형성하는 ‘수평상태’ 보다 상부 선회체가 하부 주행체로부터 회전되는 ‘회전상태’로 주로 작업을 수행하는 특성을 갖는다.

그러나 종래기술(S900)은 이러한 굴삭기의 특성을 전혀 감안하지 않은 것으로서, 최종영상(900)의 굴삭기의 탑뷰 이미지(902)의 상부, 하부, 좌측 및 우측에 전시되는 전방영상(901-1), (901-2), (901-3), (901-4)들은 상부 회전체가 회전 상태에서의 운전자의 시야에 따른 영상이기 때문에 하부 주행체의 주행방향(A)에 따른 전후좌우의 영상과는 다르게 되고, 이에 따라 운전자에게 오히려 잘못된 정보를 제공하여 운전자가 단순히 최종영상(900)의 열람을 통해 주행하는 경우, 생각지도 못한 충돌사고를 유발하는 문제점이 발생한다.

도 3의 (a)는 굴삭기의 상부 선회체가 회전할 때를 나타내는 예시도이고, (b)는 (a)의 상태일 때, 도 1의 종래기술에서 생성되는 최종영상을 나타내는 예시도이다.

도 1의 종래기술(S900)은 상부 선회체(932)가 하부 주행체(931)와, 정확하게 수평방향을 형성하는 ’수평상태‘인 경우, 최종영상(900)에 표시되는 전후좌우의 영상(901-1), (901-2), (901-3), (901-4)들이 주행방향 기준으로 한 전후좌우의 영역과 일치하게 된다.

그러나 종래기술(S900)은 최종영상(900) 생성 시, 상부 선회체(932)의 회전 여부와 상관없이, 운전자의 시야에 따른 전후좌우의 영상(901-1), (901-2), (901-3), (901-4)들을 제공하게 되고, 이에 따라 전후좌우의 영상(901-1), (901-2), (901-3), (901-4)들은 실제 주행방향에 따른 전후좌우의 영상들과 서로 다른 영역을 형성하기 때문에 오히려 운전자에게 혼란을 야기하는 구조적 한계를 갖는다.

예를 들어, 도 13의 (a)에 도시된 바와 같이, 굴삭기(20)의 상부 선회체(21)가 하부 주행체(23)로부터 회전된 ‘회전상태’일 때, 운전자의 시야방향(A)과 주행방향(B)이 다르기 때문에 운전자의 시야방향(A)에 따른 전후좌우 영역과, 주행방향(B)에 따른 전후좌우 영역이 서로 일치하지 않게 된다.

이러한 상태에서 종래기술(S900)이 최종영상(900)을 생성할 때, 도 13의 (b)에 도시된 바와 같이, 단순히 운전자의 시야방향(A)에 따른 전후좌우 영역들에 대한 영상(901-1), (901-2), (901-3), (901-4)들을 탑뷰 이미지(902)의 상하좌우에 전시하게 된다.

이에 따라 도 13의 (a)에 도시된 바와 같이, 실제 하부 주행체(931)의 주행방향(B)을 기준으로 후방에 객체(O)가 존재한다고 할 때, 종래기술(S900)에 의해 생성되는 최종영상(900)에는 도 13의 (b)에 도시된 바와 같이, 객체(O)가 우측영상(901-4)에 전시되고, 이에 따라 운전자는 사각지대인 자신의 후방에 아무런 객체가 없다고 오판하여 후방 주행 시 객체(O)와 충돌하는 사고가 발생하게 된다.

즉 1)복수대의 카메라들의 촬영에 의해 획득된 영상을 합성 및 기하 변환을 통해 어라운드-뷰 영상을 생성하여 디스플레이 함과 동시에 2)상부 선회체의 회전이 자주 이루어지는 굴삭기의 특성을 감안하여 상부 선회체의 회전상태를 감안하여 어라운드-뷰 영상을 생성하도록 구성됨으로써 안전사고를 더욱 효율적으로 방지함과 동시에 정확한 시야각을 제공할 수 있는 굴삭기 안전시스템에 대한 연구가 시급한 실정이다.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 SVM(Surround View Monitoring) 알고리즘을 이용하여 카메라들의 촬영에 의해 획득된 영상들을 하나의 서라운드-뷰 영상으로 변환하여 디스플레이 함으로써 운전자의 사각지대를 줄여 정확한 시야각 정보를 운전자에게 제공이 가능하여 안전사고를 미연에 방지할 수 있을 뿐만 아니라 작업효율 및 안전성이 개선되며, 굴삭기 산업의 활성화에 기여할 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 차체 주변 전방위의 객체 및 장애물을 감지하여 운전자에게 표출시킴으로써 객체 접근 및 여부에 대한 시각적 식별이 가능하여 충돌 등의 안전사고를 더욱 효과적으로 절감시킬 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 SVM 알고리즘 및 POD(People and Object Detection) 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 종래에서와 같이 SVM 전용 SoC(System on Chip)를 사용하지 않고 AP의 GPU에서 각 영상을 병렬 처리하여 고속 연산이 이루어질 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하는 POD 알고리즘을 이용하여 입력된 서라운드-뷰 영상으로부터 차체 주변의 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 상부 선회체가 하부 주행체로부터 360° 회전 가능하도록 탑재되어 주행방향에 따른 전후좌우 방향과, 시야방향에 따른 전후좌우 방향이 일치하지 않는 굴삭기의 특성을 감안하여, 서라운드-뷰 영상 생성 시, 상부 선회체의 회전상태 정보를 시각화하여 제공하도록 구성됨으로써 주변 객체 및 장애물에 대한 정보를 정확하고 신속하게 운전자에게 제공할 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 붐, 암 및 버킷에 부착된 감지센서에 의해 결정되는 제1, 2 회전반경 정보를 서라운드-뷰 영상에 중첩 표시하는 방식으로 시각화하여 제공함으로써 작업 및 이동 안전성을 더욱 향상시킬 수 있는 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 해결수단은 굴삭기의 전후좌우를 촬영하도록 설치되는 카메라들과, 상기 굴삭기의 상부 선회체에 설치되는 감지센서와, 상기 카메라들의 촬영에 의해 획득된 영상들을 보정, 정합 및 기하 변환하여 탑-뷰(top view) 타입의 서라운드-뷰(Surround-view) 영상을 생성하는 컨트롤러와, 상기 컨트롤러에 의해 생성된 서라운드-뷰 영상이 전시되는 디스플레이 장치를 포함하는 굴삭기 안전시스템에 있어서: 상기 컨트롤러는 상기 감지센서로부터 수신 받은 감지데이터를 분석하여 상기 상부 선회체의 회전각도(θ)를 검출한 후, 검출된 회전각도(θ)를 포함하는 상태정보를 생성하는 상태정보 생성부; 상기 카메라들로부터 전송받은 영상들을 보정 및 정합하되, 상기 상태정보 생성부로부터 입력된 상태정보의 회전각도(θ) 정보가 시각화하여 표출되는 서라운드-뷰 영상을 생성하는 서라운드-뷰 영상 생성부를 포함하는 것이다.

또한 본 발명에서 상기 컨트롤러는 입력된 영상을 분석하여 차체 주변의 객체 및 장애물을 인식하는 검출하는 POD(People and Object detection) 알고리즘이 기 설정되어 저장되는 메모리; 상기 서라운드-뷰 생성부에 의해 생성된 서라운드-뷰 영상을 상기 디스플레이 장치에 디스플레이 하는 디스플레이부를 더 포함하고, 상기 서라운드-뷰 생성부는 상기 카메라들로부터 전송받은 영상들의 중첩되는 영역을 제거한 후, 보정 및 정합하여 탑-뷰 타입의 1차 서라운드-뷰 영상을 생성하는 1차 서라운드-뷰 영상 생성모듈; 상기 POD 알고리즘을 이용하여 상기 1차 차 서라운드-뷰 영상에 의해 생성된 1차 서라운드-뷰 영상을 분석하여 객체 및 장애물을 인식하는 객체인식모듈; 상기 상태정보 생성부로부터 상태정보를 입력받는 상태정보 입력모듈; 입력된 영상을 입력된 회전각도에 따라 회전시키는 기 설정된 영상변환 알고리즘을 이용하여 상기 1차 서라운드-뷰 영상 생성모듈에 의해 생성된 1차 서라운드-뷰 영상을 상태정보의 회전각도(θ) 만큼 회전시켜 1차 서라운드-뷰 영상을 주행방향기반 서라운드-뷰 영상으로 변환하는 주행방향기반 1차 서라운드-뷰 영상 변환모듈; 상기 1차 서라운드-뷰 영상 변환모듈에 의한 주행방향기반 서라운드-뷰 영상의 중앙에 상기 굴삭기를 나타내는 서라운드-뷰 이미지를 표시하여 최종 서라운드-뷰 영상을 생성하는 최종 서라운드-뷰 영상 생성모듈을 더 포함하는 것이 바람직하다.

또한 본 발명에서 상기 서라운드-뷰 이미지는 상기 굴삭기의 하부 주행체를 나타내는 주행체 이미지와, 상기 굴삭기의 상부 선회체를 나타내는 선회체 이미지를 포함하고, 상기 최종 서라운드-뷰 영상 생성모듈은 최종 서라운드-뷰 영상 생성 시, 상기 굴삭기의 주행방향에 따른 전후방향이 영상의 전후방향과 일치하도록 상기 주행체 이미지를 주행방향기반 서라운드-뷰 영상에 표시함과 동시에 상기 선회체 이미지를 상태정보의 회전각도(θ)에 대응하여 회전시킨 상태로 상기 주행체 이미지에 중첩하여 주행방향기반 서라운드-뷰 영상에 표시하되, 상기 서라운드-뷰 이미지가 주행방향기반 서라운드-뷰 영상의 중심에 배치되도록 표시하는 것이 바람직하다.

또한 본 발명에서 상기 최종 서라운드-뷰 영상 생성모듈은 최종 서라운드-뷰 영상 생성 시, 상기 1차 서라운드-뷰 영상 생성모듈에서 상기 카메라들로부터 전송받은 영상들의 중첩되는 영역이 제거되어 서로 연접되는 연접선(P)들을 회전각도(θ) 만큼 회전시켜 주행방향기반 서라운드-뷰 영상에 표시하는 것이 바람직하다.

또한 본 발명에서 상기 감지센서는 복수개로 구성되어 상기 굴삭기의 붐(boom), 암(arm) 및 버킷(bucket)에 설치되고, 상기 상태정보 생성부는 상기 감지센서들로부터 전송받은 감지데이터를 분석하는 감지데이터 분석모듈; 상기 감지데이터 분석모듈에 의해 검출된 분석데이터를 활용하여 상기 붐, 상기 암 및 상기 버킷의 위치를 검출한 후, 평면상으로 바라보았을 때, 가장 외측에 배치된 장비를 검출하며, 가장 외측에 배치된 장비의 위치를 활용하여 회전반경인 제1 회전반경(R1)을 검출하는 제1 회전반경 검출모듈; 상기 상부 선회체의 회전각도(θ) 및 상기 제1 회전반경 검출모듈에 의해 검출된 제1 회전반경(R1)을 포함하는 상태정보를 생성하는 상태정보 생성모듈을 더 포함하고, 상기 최종 서라운드-뷰 영상 생성모듈은 서라운드-뷰 이미지 생성 시, 상기 굴삭기의 상기 붐, 상기 암 및 상기 버킷을 나타내는 부속체 이미지가 상기 선회체 이미지에 연결되도록 표시하되, 상기 부속체 이미지의 길이를 상태정보의 제1 회전반경(R1)에 비례하도록 표시하며, 최종 서라운드-뷰 영상 생성 시, 상기 제1 회전반경(R1)을 표시하는 것이 바람직하다.

또한 본 발명에서 상기 서라운드-뷰 영상 생성부는 FPGA(Field Programmable Gate Array) 모듈로 제작되는 것이 바람직하다.

또한 본 발명에서 상기 POD 알고리즘은 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝(Deep learning) 연산 로직을 포함하는 것이 바람직하다.

상기 과제와 해결수단을 갖는 본 발명에 따르면 SVM(Surround View Monitoring) 알고리즘을 이용하여 카메라들의 촬영에 의해 획득된 영상들을 하나의 서라운드-뷰 영상으로 변환하여 디스플레이 함으로써 운전자의 사각지대를 줄여 정확한 시야각 정보를 운전자에게 제공이 가능하여 안전사고를 미연에 방지할 수 있을 뿐만 아니라 작업효율 및 안전성이 개선되며, 굴삭기 산업의 활성화에 기여할 수 있다.

또한 본 발명에 의하면 차체 주변 전방위의 객체 및 장애물을 감지하여 운전자에게 표출시킴으로써 객체 접근 및 여부에 대한 시각적 식별이 가능하여 충돌 등의 안전사고를 더욱 효과적으로 절감시킬 수 있게 된다.

또한 본 발명에 의하면 SVM 알고리즘 및 POD(People and Object Detection) 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 종래에서와 같이 SVM 전용 SoC를 사용하지 않고 AP의 GPU에서 각 영상을 병렬 처리하여 고속 연산이 이루어질 수 있게 된다.

또한 본 발명에 의하면 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하는 POD 알고리즘을 이용하여 입력된 서라운드-뷰 영상으로부터 차체 주변의 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있다.

또한 본 발명에 의하면 상부 선회체가 하부 주행체로부터 360° 회전 가능하도록 탑재되어 주행방향에 따른 전후좌우 방향과, 시야방향에 따른 전후좌우 방향이 일치하지 않는 굴삭기의 특성을 감안하여, 서라운드-뷰 영상 생성 시, 상부 선회체의 회전상태 정보를 시각화하여 제공하도록 구성됨으로써 주변 객체 및 장애물에 대한 정보를 정확하고 신속하게 운전자에게 제공할 수 있다.

또한 본 발명에 의하면 붐, 암 및 버킷에 부착된 감지센서에 의해 결정되는 제1, 2 회전반경 정보를 서라운드-뷰 영상에 중첩 표시하는 방식으로 시각화하여 제공함으로써 작업 및 이동 안전성을 더욱 향상시킬 수 있게 된다

도 1은 국내등록특허 제10-1787897호(발명의 명칭 : AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법)에 개시된 AVM 기반의 굴삭기 작업 정보 모니터링 방법의 동작 흐름을 도시한 순서도이다.
도 2는 도 1에 의해 생성된 최종 영상의 화면 표시예이다.
도 3의 (a)는 굴삭기의 상부 선회체가 회전할 때를 나타내는 예시도이고, (b)는 (a)의 상태일 때, 도 1의 종래기술에서 생성되는 최종영상을 나타내는 예시도이다.
도 4는 본 발명의 일실시예인 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 나타내는 구성도이다.
도 5는 도 4의 부속장비들이 설치되는 굴삭기를 나타내는 예시도이다.
도 6은 도 4의 컨트롤러를 나타내는 블록도이다.
도 7은 도 6의 제1 회전반경 검출모듈을 설명하기 위한 예시도이다.
도 8은 도 6의 제2 회전반경 검출모듈을 설명하기 위한 예시도이다.
도 9는 도 6의 상부 선회체 회전각도 검출모듈을 설명하기 위한 예시도이다.
도 10은 도 6의 1차 서라운드-뷰 영상 생성모듈에 의해 생성되는 1차 서라운드-뷰 영상을 나타내는 예시도이다.
도 11의 (a)는 도 6의 1차 서라운드-뷰 영상 생성모듈에 의해 생성된 1차 서라운드-뷰 영상을 나타내는 예시도이고, (b)는 상부 선회체의 회전상태가 90°일 때, 도 6의 주행방향기반 1차 서라운드-뷰 영상 변환모듈에 의해 변환된 주행방향기반 서라운드-뷰 영상을 나타내는 예시도이다.
도 12는 도 6의 최종 서라운드-뷰 영상 생성부를 나타내는 블록도이다.
도 13은 도 12의 서라운드-뷰 이미지 생성모듈에 의해 생성되는 서라운드-뷰 이미지를 나타내는 예시도이다.
도 14는 최종 서라운드-뷰 영상 생성모듈에 의해 생성되는 최종 서라운드-뷰 영상을 나타내는 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.

도 4는 본 발명의 일실시예인 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템을 나타내는 구성도이고, 도 5는 도 4의 부속장비들이 설치되는 굴삭기를 나타내는 예시도이다.

본 발명의 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 1)운전자에게 탑-뷰 타입의 서라운드 영상을 제공함과 동시에 2)차체상태정보를 시각화하여 서라운드 영상에 매칭시키며, 3)상부 선회체(21)가 하부 주행체(23)로부터 360°로 전방위 회전이 가능하며, 이러한 상부 선회체(21)의 회전이 작업 도중 비일비재하게 발생하는 굴삭기의 특성을 감안하여 서라운드 영상 생성 시, 운전자의 시야방향(B)에 따른 전후좌우 영상들과 주행방향(A)의 관계도를 함께 제공함으로써 운전자에게 정확한 시야각 정보를 제공함과 동시에 운전자의 사각지대를 줄여 충돌사고를 미연에 효과적으로 방지할 수 있을 뿐만 아니라 차체 주변의 객체를 운전자가 정확하고 신속하게 인지하도록 하기 위한 것이다.

또한 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 도 4와 5에 도시된 바와 같이, 컨트롤러(3)와, 카메라(4-1), ..., (4-4)들, 감지센서(5)들, 디스플레이 장치(7)로 이루어진다.

이때 카메라(4-1), ..., (4-4)들은 굴삭기(20)의 상부 선회체(21)의 외측에 설치되고, 감지센서(5)들은 굴삭기(20)의 붐(boom)(25), 암(arm)(27), 버킷(buket)(29) 및 상부 선회체(21)에 설치되고, 컨트롤러(3) 및 디스플레이 장치(7)는 운전자가 탑승하는 상부 선회체(21)의 케빈(211)의 내부 및 대시보드(Dashboard)에 설치된다.

굴삭기(20)는 도 5에 도시된 바와 같이, 복수개의 바퀴들 또는 캐터필러(Caterpillar)로 이루어져 구동수단의 동작에 따라 지면을 주행하는 하부 주행체(23)와, 하부 주행체(23)의 상부에 360° 회전 가능하도록 탑재되며 내부에 운전자가 탑승하는 케빈(211)을 포함하는 상부 선회체(21)와, 상부 선회체(21)에 전면에 회동 가능하게 결합되며 제1 실린더(251)의 유압에 따라 회전하는 붐(boom)(25)과, 붐(25)의 단부와 회동 가능하게 결합되어 제2 실린더(271)의 유압에 따라 회전하는 암(arm)(27)과, 암(27)의 단부에 소정 각도로 회동 가능하게 결합되는 버킷(bucket)(29)으로 이루어진다.

상부 선회체(21)의 케빈(211)의 내부에는 컨트롤러(3)가 설치됨과 동시에 케빈(211)의 대시보드(Dashboard)에는 디스플레이 장치(7)가 설치됨으로써 운전자는 컨트롤러(3)에 의해 생성되어 디스플레이 장치(7)를 통해 전시되는 서라운드-뷰 영상의 열람을 통해 차체 주변의 전방의 객체 여부를 직관적으로 인지할 수 있어 넓은 시야각을 확보할 수 있게 된다.

또한 상부 선회체(21)의 차체의 외면, 상세하게로는 차체의 전면, 후면, 좌측면 및 우측면에는 적어도 하나 이상의 카메라(4)가 설치된다.

이때 상부 선회체(21)의 전방에 설치되는 카메라인 제1 카메라(4-1)는 상부 선회체(21)의 전방을 촬영하여 전방영상을 획득하고, 상부 선회체(21)의 후방에 설치되는 카메라인 제2 (4-2)는 상부 선회체(21)의 후방을 촬영하여 후방영상을 획득하고, 상부 선회체(21)의 양측에 설치되는 카메라인 제3 카메라(4-3) 및 제4 카메라(4-4)는 상부 선회체(21)의 좌방 및 우방을 촬영하여 좌측영상 및 우측영상을 획득하고, 카메라(4-1), ..., (4-4)들은 촬영에 의해 획득된 전방, 후방, 좌방 및 후방영상을 컨트롤러(3)로 출력한다.

또한 카메라(4-1), ...., (4-N)들은 전방, 후방, 좌측 및 우측의 사각 지대 없이 촬영이 이루어지도록 넓은 화각을 가지며, FULL-HD의 고해상도 카메라인 것이 바람직하다.

이때 본 발명에서는 설명의 편의를 위해 상부 선회체(21)의 전후좌우 방향에 4개의 카메라(4)들이 설치되는 것으로 예를 들어 설명하였으나, 카메라(4)의 수량 및 설치위치는 이에 한정되지 않으며, 화각 등에 따라 수량 및 설치위치 등이 다양하게 변경될 수 있다.

또한 상부선회체(21)의 일측에는 하부주행체(23)를 기준으로 상부선회체(21)의 회전각도를 검출하기 위한 감지센서(5)가 설치되고, 해당 감지센서(5)는 검출된 회전각도를 컨트롤러(3)로 출력한다.

또한 붐(25), 암(27), 버킷(27) 및 이들의 연결구간들에는 복수개의 감지센서(5)들이 설치되어 설치된 위치의 기울기를 측정하고, 감지센서(5)들은 측정된 기울기 값을 컨트롤러(3)로 출력한다.

즉 본 발명의 컨트롤러(3)는 카메라(4-1), ..., (4-N)들로부터 전송받은 영상들을 활용 및 분석하여 후술되는 도 14서라운드-뷰 영상을 생성하며, 감지센서(5)들로부터 전송받은 감지데이터를 분석 및 활용하여 굴삭기 차체의 상태를 나타내는 차체상태정보를 생성할 수 있게 된다.

도 6은 도 4의 컨트롤러를 나타내는 블록도이다.

컨트롤러(3)는 도 6에 도시된 바와 같이, 제어부(31)와, 메모리(32), 통신 인터페이스부(33), 차체상태정보 생성부(35), 서라운드-뷰 영상 생성부(37), 디스플레이부(39)로 이루어진다.

제어부(31)는 컨트롤러(3)의 O.S(Operating System)이며, 제어대상(32), (33), (35), (37), (39)들을 관리 및 제어한다.

또한 제어부(31)는 통신 인터페이스부(33)를 통해 감지센서(5)들로부터 감지데이터를 수신 받으면, 수신 받은 감지데이터를 메모리(31)에 임시 저장함과 동시에 차체상태정보 생성부(35)로 입력한다.

또한 제어부(31)는 통신 인터페이스부(33)를 통해 카메라(4-1), ..., (4-N)들로부터 영상을 수신 받으면, 수신 받은 영상을 메모리(31)에 임시 저장함과 동시에 서라운드-뷰 영상 생성부(37)로 입력한다.

또한 제어부(31)는 차체상태정보 생성부(35)에 의해 차체상태정보가 생성되면, 생성된 차체상태정보를 서라운드-뷰 영상 생성부(37)로 입력한다.

또한 제어부(31)는 서라운드-뷰 영상 생성부(37)에 의해 서라운드-뷰 영상이 생성되면, 디스플레이부(39)를 실행시켜 디스플레이부(39)의 제어에 따라 생성된 서라운드-뷰 영상이 디스플레이 장치(7)를 통해 디스플레이 되도록 한다.

메모리(32)에는 감지센서(5)들 각각의 설치위치 및 식별정보와, 카메라(4-1), ..., (4-N)들 각각의 촬영영역, 설치위치 및 식별정보가 저장된다.

또한 메모리(32)에는 기 설정된 SVM 알고리즘이 저장된다. 이때 SVM 알고리즘은 입력된 4채널의 영상들을 합성, 기하 변환을 통해 FULL-HD 서라운드-뷰 영상을 생성하는 알고리즘이다.

또한 메모리(32)에는 기 설정된 POD(People and Object detection) 알고리즘이 저장된다. 이때 POD 알고리즘은 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하여 입력된 서라운드-뷰 영상을 분석하여 차체 주변의 객체를 검출, 상세하게로는 서라운드-뷰 영상을 입력값으로 하여 객체 인식을 출력하는 알고리즘이다.

통신 인터페이스부(33)는 카메라(4-1), ..., (4-N)들 및 감지센서(5)들과 데이터를 입출력한다.

도 7은 도 6의 제1 회전반경 검출모듈을 설명하기 위한 예시도이고, 도 8은 도 6의 제2 회전반경 검출모듈을 설명하기 위한 예시도이고, 도 9는 도 6의 상부 선회체 회전각도 검출모듈을 설명하기 위한 예시도이다.

상태정보 생성부(35)는 감지데이터 입력모듈(351)과, 감지데이터 분석모듈(352), 제1 회전반경 검출모듈(353), 제2 회전반경 검출모듈(354), 상부 선회체 회전각도 검출모듈(355), 기타정보 검출모듈(356), 상태정보 생성모듈(357)로 이루어진다.

감지데이터 입력모듈(351)은 통신 인터페이스부(33)를 통해 감지센서(5)들로부터 전송받은 감지데이터를 입력받는다.

감지데이터 분석모듈(352)은 감지데이터 입력모듈(351)에 의해 입력된 감지데이터를 분석한다.

제1 회전반경 검출모듈(353)은 감지데이터 분석모듈(352)에 의해 검출된 분석데이터를 활용 및 참조하여 붐(25), 암(27) 및 버킷(29)의 위치를 검출한 후, 평면상으로 바라보았을 때, 붐(25), (27) 및 버킷(29) 중 가장 외측에 배치된 장비를 검출하며, 가장 외측에 배치된 장비의 위치를 활용하여 해당 장비의 회전반경인 제1 회전반경(R1)을 검출한다.

다시 말하면, 제1 회전반경 검출모듈(353)은 도 7에 도시된 바와 같이, 감지데이터 분석모듈(352)에 의해 검출된 분석데이터를 분석하여, 평면상으로 바라보았을 때, 가장 외측에 배치된 장비를 붐(25)의 단부로 검출한 후, 해당 붐(25)의 단부를 내경으로 하는 제1 회전반경(R1)을 검출한다.

제2 회전반경 검출모듈(354)은 도 8에 도시된 바와 같이, 기 설정된 상부 선회체(21)의 크기정보를 활용하여, 평면상으로 바라보았을 때, 상부 선회체(21)의 최외측 외치를 내경으로 하는 제2 회전반경(R2)을 검출한다.

상부 선회체 회전각도 검출모듈(355)은 상부 선회체(21)에 설치되는 감지센서(5)에 대한 분석데이터를 활용 및 참조하여, 도 9에 도시된 바와 같이, 상부 선회체(21)의 회전각도(θ)를 검출한다.

기타정보 검출모듈(356)은 감지데이터 분석모듈(352)에 의해 검출된 분석데이터를 활용 및 참조하여 기타정보를 검출한다. 이때 기타정보는 버킷(29)의 지면으로부터의 높이정보, 상부 선회체(21)의 기울기 정보 등을 포함한다.

상태정보 생성모듈(357)은 제1 회전반경 검출모듈(353)에 의해 검출된 제1 회전반경(R1) 정보와, 제2 회전반경 검출모듈(354)에 의해 검출된 제2 회전반경(R2) 정보와, 상부 선회체 회전각도 검출모듈(365)에 의해 검출된 상부 선회체(21)의 회전각도(θ) 정보와, 기타정보 검출모듈(366)에 의해 검출된 기타정보를 매칭시켜 상태정보를 생성한다.

즉 상태정보는 제1 회전반경(R1) 정보와, 제2 회전반경(R2) 정보, 상부 선회체(21)의 회전각도(θ) 정보, 기타 정보로 이루어진다.

또한 상태정보 생성모듈(367)에 의해 생성된 상태정보는 제어부(31)의 제어에 따라 서라운드-뷰 영상 생성부(37)로 입력된다.

서라운드-뷰 영상 생성부(37)는 영상입력모듈(371)과, 1차 서라운드-뷰 영상 생성모듈(372), 객체인식모듈(373), 상태정보 입력모듈(374), 상부선회체 회전각도 정보 추출모듈(375), 주행방향기반 1차 서라운드-뷰 영상 변환모듈(376), 최종 서라운드-뷰 영상 생성모듈(377)로 이루어진다.

이때 본 발명의 서라운드-뷰 영상 생성부(37)는 FPGA(Field Programmable Gate Array) 모듈로 제작되어 저전력 및 처리속도의 개선이 가능하며, 종래에서와 같이 SVM 전용 SoC(System on Chip)를 사용하지 않고 AP의 GPU에서 각 영상을 병렬처리하여 고속 연산이 이루어지게 되며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있게 된다.

영상입력모듈(371)은 통신 인터페이스부(33)을 통해 카메라(4-1), ..., (4-N)들로부터 전송받은 4채널의 영상들을 입력받는다.

도 10은 도 6의 1차 서라운드-뷰 영상 생성모듈에 의해 생성되는 1차 서라운드-뷰 영상을 나타내는 예시도이다.

1차 서라운드-뷰 영상 생성모듈(372)은 기 설정된 SVM 알고리즘을 이용하여 입력된 4채널의 영상들을 합성, 기하 변환하여 FULL-HD의 1차 서라운드-뷰 영상을 생성한다.

이때 SVM 알고리즘은 입력된 4채널의 영상들을 합성, 기하 변환을 통해 FULL-HD 서라운드-뷰 영상을 생성하는 알고리즘이다.

또한 카메라(4-1), ..., (4-N)들에 광각렌즈가 사용되는 경우, 방사상 왜곡이나 접선 방향의 왜곡이 발생할 수 있다. 이에 따라 1차 서라운드-뷰 영상 생성모듈(372)의 SVM 알고리즘은 1차적으로 입력된 영상들의 왜곡을 보정한다.

또한 SVM 알고리즘은 도 10에 도시된 바와 같이, 4채널의 전방영상(401), (402), (403), (404)에서 서로 중첩되는 영역(S)을 제거한 후, 서로 정합하여 주변영상인 1차 서라운드-뷰 영상(410)을 생성한다. 이때 1차 서라운드-뷰 영상(410)의 중앙(S1)에는 상부에서 바라보았을 때의 굴삭기(20)를 나타내는 서라운드-뷰 이미지가 배치되게 된다.

객체인식모듈(373)은 기 설정된 POD 알고리즘을 이용하여 1차 서라운드-뷰 영상 생성모듈(372)에 의해 생성된 1차 서라운드-뷰 영상을 분석하여 객체를 인식한다.

이때 POD 알고리즘은 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하여 입력된 1차 서라운드-뷰 영상을 분석하여 차체 주변의 객체정보(객체종류, 위치 등)를 출력한다.

상태정보 입력모듈(373)은 상태정보 생성부(35)의 상태정보 생성모듈(357)에 의해 생성된 상태정보를 입력받는다.

이때 상태정보는 전술하였던 바와 같이, 제1 회전반경(R1) 정보와, 제2 회전반경(R2) 정보, 상부 선회체(21)의 회전각도(θ) 정보, 기타 정보를 포함한다.

상부선회체 회전각도 정보 추출모듈(375)은 상태정보 입력모듈(375)을 통해 입력된 상태정보로부터 상부 선회체(21)의 회전각도(θ) 정보를 추출한다.

도 11의 (a)는 도 6의 1차 서라운드-뷰 영상 생성모듈에 의해 생성된 1차 서라운드-뷰 영상을 나타내는 예시도이고, (b)는 상부 선회체의 회전상태가 90°일 때, 도 6의 주행방향기반 1차 서라운드-뷰 영상 변환모듈에 의해 변환된 주행방향기반 서라운드-뷰 영상을 나타내는 예시도이다.

주행방향기반 1차 서라운드-뷰 영상 변환모듈(376)은 기 설정된 영상변환 알고리즘을 이용하여 1차 서라운드-뷰 영상 생성모듈(372)에 의해 생성된 1차 서라운드-뷰 영상(410)을 추출된 회전각도(θ) 만큼 회전시켜 주행방향기반 서라운드-뷰 영상(420)을 생성한다.

즉 전술하였던 도 10의 1차 서라운드-뷰 영상(410)은 굴삭기(20)의 하부 주행체(23)를 기준으로 한 방향(주행방향)의 영상이 아닌, 상부 선회체(21)를 기준으로 한 방향(시야방향)의 영상이기 때문에 상부 선회체(21)가 하부 주행체(23)와 ‘수평상태’인 경우에는 무방하나, 상부 선회체(21)가 하부 주행체(23)와 ‘회전상태’인 경우에는 실제 주행 상의 방향과 영상 상의 방향이 서로 일치하지 않아 오히려 운전자에게 혼란을 가중시켜 안전사고를 유발하는 문제점이 발생하게 된다.

다시 말하면, 상부 선회체(21)의 회전각도(θ)가 90°라고 가정할 때, 주행방향기반 1차 서라운드-뷰 영상 변환모듈(376)은 도 11의 (a), (b)에 도시된 바와 같이, 시야방향을 기준으로 한 1차 서라운드-뷰 영상(410)을 회전각도 ‘90°’ 만큼 회전시켜 주행방향을 기준으로 하는 서라운드-뷰 영상(420)으로 변환한다. 이에 따라 1차 서라운드-뷰 영상(372)의 객체(O) 위치와, 주행방향기반 서라운드-뷰 영상(420)의 객체(O)의 위치는 서로 다른 위치정보를 갖게 된다.

도 12는 도 6의 최종 서라운드-뷰 영상 생성부를 나타내는 블록도이고, 도 13은 도 12의 서라운드-뷰 이미지 생성모듈에 의해 생성되는 서라운드-뷰 이미지를 나타내는 예시도이다.

최종 서라운드-뷰 영상 생성부(377)는 도 12에 도시된 바와 같이, 서라운드-뷰 이미지 생성모듈(3771)과, 서라운드-뷰 이미지 매칭모듈(3772), 객체 및 상태정보 가시화모듈(3773), 최종 서라운드-뷰 영상 생성모듈(3774)로 이루어진다.

서라운드-뷰 이미지 생성모듈(3771)은 주행방향기반 1차 서라운드-뷰 영상 변환모듈(376)에 의해 변환된 전술하였던 도 11의 주행방향기반 서라운드-뷰 영상(420)의 중앙(S1)에 전시될 서라운드-뷰 이미지를 생성한다.

이때 서라운드-뷰 이미지(439)는 도 13에 도시된 바와 같이, 하부 주행체(23)를 나타내는 주행체 이미지(4393)와, 굴삭기(20)의 상부 선회체(21)를 나타내는 선회체 이미지(4391)와, 굴삭기(20)의 붐(25), 암(27) 및 버킷(29)을 나타내는 부속체 이미지(4395)로 이루어진다.

또한 서라운드-뷰 이미지(439)의 주행체 이미지(4393)는 영상의 전후좌우 방향과 일치하되, 선회체 이미지(4391)는 상부선회체 회전각도 정보 추출모듈(375)에 의해 추출된 상부선회체(21)의 회전각도(θ) 만큼 주행체 이미지(4391)로부터 회전시킨 상태로 생성된다.

또한 서라운드-뷰 이미지 생성모듈(3771)은 선회체 이미지(4391)의 전방에 연결되는 부속체 이미지(4395)를 생성한다. 이때 부속체 이미지(4395)는 굴삭기(20)의 붐(25), 암(27) 및 버킷(29)을 나타내는 이미지이다.

또한 서라운드-뷰 이미지 생성모듈(3771)은 부속체 이미지(4395)의 길이가 상태정보 입력모듈(374)에 의해 입력된 상태정보의 제1 회전반경(R1)의 크기에 비례하도록 한다.

서라운드-뷰 이미지 매칭모듈(3772)은 전술하였던 도 11의 주행방향기반 서라운드-뷰 영상(420)의 내부 중앙(S1)에, 서라운드-뷰 이미지 생성모듈(3771)에 의해 생성된 서라운드-뷰 이미지(439)를 매칭시킨다.

객체 및 상태정보 가시화모듈(3773)은 상태정보 입력모듈(374)에 의해 입력된 상태정보의 제1, 2 회전반경(R1), (R2)들을 주행방향기반 서라운드-뷰 영상(420)에 매칭시켜 표시되도록 한다.

도 14는 최종 서라운드-뷰 영상 생성모듈에 의해 생성되는 최종 서라운드-뷰 영상을 나타내는 예시도이다.

최종 서라운드-뷰 영상 생성모듈(3774)은 시야방향 기준의 서라운드-뷰 영상(410)의 각 영상의 연접지점인 연접선을 주행방향기반 서라운드-뷰 영상(420)에 표시(P)함으로써 최종 서라운드-뷰 영상(430)을 생성한다.

즉 최종 서라운드-뷰 영상(430)은 도 14에 도시된 바와 같이, 주행방향을 기반으로 한 주변영상(431)들이 배치됨과 동시에 주변영상(431)들의 중앙에 서라운드-뷰 이미지(439)가 노출되며, 제1, 2 회전반경(R1), (R2)이 표시되며, 시야방향을 기준으로 하였을 때, 각 영상의 연접선(P)이 표시됨으로써 운전자는 실제 주행방향에 따른 전후좌우의 시야각 정보와, 자신의 시야방향에 따른 전후좌우의 시야각 정보를 함께 제공받을 수 있고, 이에 따라 차체 주변의 객체, 상태를 정확하고 신속하게 인지할 수 있어 충돌 등의 안전사고를 효과적으로 예방할 수 있게 된다.

다시 도 6으로 돌아가서 디스플레이부(39)를 살펴보면, 디스플레이부(39)는 서라운드-뷰 영상 생성부(37)에 의해 생성된 최종 서라운드-뷰 영상(430)을 디스플레이 장치(7)에 디스플레이 함으로써 운전자는 디스플레이 장치(7)를 통해 전시되는 최종 서라운드-뷰 영상(430)의 열람을 통해 사각지대 없이 전후좌우의 정확한 시야각 정보를 제공받을 수 있게 된다.

이와 같이 본 발명의 일실시예인 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 SVM(Surround View Monitoring) 알고리즘을 이용하여 카메라들의 촬영에 의해 획득된 영상들을 하나의 서라운드-뷰 영상으로 변환하여 디스플레이 함으로써 운전자의 사각지대를 줄여 정확한 시야각 정보를 운전자에게 제공이 가능하여 안전사고를 미연에 방지할 수 있을 뿐만 아니라 작업효율 및 안전성이 개선되며, 굴삭기 산업의 활성화에 기여할 수 있다.

또한 본 발명의 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 차체 주변 전방위의 객체 및 장애물을 감지하여 운전자에게 표출시킴으로써 객체 접근 및 여부에 대한 시각적 식별이 가능하여 충돌 등의 안전사고를 더욱 효과적으로 절감시킬 수 있게 된다.

또한 본 발명의 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 SVM 알고리즘 및 POD(People and Object Detection) 알고리즘이 FPGA 모듈로 제작됨에 따라 저전력 및 처리속도의 개선이 가능함과 동시에 종래에서와 같이 SVM 전용 SoC를 사용하지 않고 AP의 GPU에서 각 영상을 병렬 처리하여 고속 연산이 이루어질 수 있으며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있게 된다.

또한 본 발명의 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 이용하는 POD 알고리즘을 이용하여 입력된 서라운드-뷰 영상으로부터 차체 주변의 객체를 검출하도록 구성됨으로써 객체 인식률 및 인식속도를 극대화시킬 수 있다.

또한 본 발명의 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 상부 선회체가 하부 주행체로부터 360° 회전 가능하도록 탑재되어 주행방향에 따른 전후좌우 방향과, 시야방향에 따른 전후좌우 방향이 일치하지 않는 굴삭기의 특성을 감안하여, 서라운드-뷰 영상 생성 시, 상부 선회체의 회전상태 정보를 시각화하여 제공하도록 구성됨으로써 주변 객체 및 장애물에 대한 정보를 정확하고 신속하게 운전자에게 제공할 수 있다.

또한 본 발명의 FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템(1)은 붐, 암 및 버킷에 부착된 감지센서에 의해 결정되는 제1, 2 회전반경 정보를 서라운드-뷰 영상에 중첩 표시하는 방식으로 시각화하여 제공함으로써 작업 및 이동 안전성을 더욱 향상시킬 수 있게 된다.

1:FPGA 기반 뉴로머신과 SVM을 이용한 굴삭기 안전시스템
3:컨트롤러 4:카메라 5:감지센서
7:디스플레이 장치 20:굴삭기 21:상부 선회체
23:하부 주행체 25:붐 27:암
29:버킷 31:제어부 32:메모리
33:통신 인터페이스부 35:차체상태정보 생성부
37:서라운드-뷰 영상 생성부 39:디스플레이부 351:감지데이터 입력모듈
352:감지데이터 분석모듈 353:제1 회전반경 검출모듈
354:제2 회전반경 검출모듈 355:상부 선회체 회전각도 검출모듈
356:기타정보 검출모듈 357:상태정보 생성모듈
371:영상입력모듈 372:1차 서라운드-뷰 영상 생성모듈
373:객체인식모듈 374:상태정보 입력모듈
375:상부선회체 회전각도 정보 추출모듈
376:주행방향기반 1차 서라운드-뷰 영상 변환모듈
377:최종 서라운드-뷰 영상 생성모듈
3771:서라운드-뷰 이미지 생성모듈
3772:서라운드-뷰 이미지 매칭모듈
3773:객체 및 상태정보 가시화모듈
3774:최종 서라운드-뷰 영상 생성모듈

Claims

굴삭기의 전후좌우를 촬영하도록 설치되는 카메라들과, 상기 굴삭기의 상부 선회체에 설치되는 감지센서와, 상기 카메라들의 촬영에 의해 획득된 영상들을 보정, 정합 및 기하 변환하여 탑-뷰(top view) 타입의 서라운드-뷰(Surround-view) 영상을 생성하는 컨트롤러와, 상기 컨트롤러에 의해 생성된 서라운드-뷰 영상이 전시되는 디스플레이 장치를 포함하는 굴삭기 안전시스템에 있어서:
상기 컨트롤러는
상기 감지센서로부터 수신 받은 감지데이터를 분석하여 상기 상부 선회체의 회전각도(θ)를 검출한 후, 검출된 회전각도(θ)를 포함하는 상태정보를 생성하는 상태정보 생성부;
상기 카메라들로부터 전송받은 영상들을 보정 및 정합하되, 상기 상태정보 생성부로부터 입력된 상태정보의 회전각도(θ) 정보가 시각화하여 표출되는 서라운드-뷰 영상을 생성하는 서라운드-뷰 영상 생성부를 포함하는 것을 특징으로 하는 굴삭기 안전시스템.
제1항에 있어서, 상기 컨트롤러는
입력된 영상을 분석하여 차체 주변의 객체 및 장애물을 인식하는 검출하는 POD(People and Object detection) 알고리즘이 기 설정되어 저장되는 메모리;
상기 서라운드-뷰 생성부에 의해 생성된 서라운드-뷰 영상을 상기 디스플레이 장치에 디스플레이 하는 디스플레이부를 더 포함하고,
상기 서라운드-뷰 생성부는
상기 카메라들로부터 전송받은 영상들의 중첩되는 영역을 제거한 후, 보정 및 정합하여 탑-뷰 타입의 1차 서라운드-뷰 영상을 생성하는 1차 서라운드-뷰 영상 생성모듈;
상기 POD 알고리즘을 이용하여 상기 1차 차 서라운드-뷰 영상에 의해 생성된 1차 서라운드-뷰 영상을 분석하여 객체 및 장애물을 인식하는 객체인식모듈;
상기 상태정보 생성부로부터 상태정보를 입력받는 상태정보 입력모듈;
입력된 영상을 입력된 회전각도에 따라 회전시키는 기 설정된 영상변환 알고리즘을 이용하여 상기 1차 서라운드-뷰 영상 생성모듈에 의해 생성된 1차 서라운드-뷰 영상을 상태정보의 회전각도(θ) 만큼 회전시켜 1차 서라운드-뷰 영상을 주행방향기반 서라운드-뷰 영상으로 변환하는 주행방향기반 1차 서라운드-뷰 영상 변환모듈;
상기 1차 서라운드-뷰 영상 변환모듈에 의한 주행방향기반 서라운드-뷰 영상의 중앙에 상기 굴삭기를 나타내는 서라운드-뷰 이미지를 표시하여 최종 서라운드-뷰 영상을 생성하는 최종 서라운드-뷰 영상 생성모듈을 더 포함하는 것을 특징으로 하는 굴삭기 안전시스템.
제2항에 있어서, 상기 서라운드-뷰 이미지는
상기 굴삭기의 하부 주행체를 나타내는 주행체 이미지와, 상기 굴삭기의 상부 선회체를 나타내는 선회체 이미지를 포함하고,
상기 최종 서라운드-뷰 영상 생성모듈은
최종 서라운드-뷰 영상 생성 시, 상기 굴삭기의 주행방향에 따른 전후방향이 영상의 전후방향과 일치하도록 상기 주행체 이미지를 주행방향기반 서라운드-뷰 영상에 표시함과 동시에 상기 선회체 이미지를 상태정보의 회전각도(θ)에 대응하여 회전시킨 상태로 상기 주행체 이미지에 중첩하여 주행방향기반 서라운드-뷰 영상에 표시하되, 상기 서라운드-뷰 이미지가 주행방향기반 서라운드-뷰 영상의 중심에 배치되도록 표시하는 것을 특징으로 하는 굴삭기 안전시스템.
제3항에 있어서, 상기 최종 서라운드-뷰 영상 생성모듈은
최종 서라운드-뷰 영상 생성 시, 상기 1차 서라운드-뷰 영상 생성모듈에서 상기 카메라들로부터 전송받은 영상들의 중첩되는 영역이 제거되어 서로 연접되는 연접선(P)들을 회전각도(θ) 만큼 회전시켜 주행방향기반 서라운드-뷰 영상에 표시하는 것을 특징으로 하는 굴삭기 안전시스템.
제4항에 있어서, 상기 감지센서는 복수개로 구성되어 상기 굴삭기의 붐(boom), 암(arm) 및 버킷(bucket)에 설치되고,
상기 상태정보 생성부는
상기 감지센서들로부터 전송받은 감지데이터를 분석하는 감지데이터 분석모듈;
상기 감지데이터 분석모듈에 의해 검출된 분석데이터를 활용하여 상기 붐, 상기 암 및 상기 버킷의 위치를 검출한 후, 평면상으로 바라보았을 때, 가장 외측에 배치된 장비를 검출하며, 가장 외측에 배치된 장비의 위치를 활용하여 회전반경인 제1 회전반경(R1)을 검출하는 제1 회전반경 검출모듈;
상기 상부 선회체의 회전각도(θ) 및 상기 제1 회전반경 검출모듈에 의해 검출된 제1 회전반경(R1)을 포함하는 상태정보를 생성하는 상태정보 생성모듈을 더 포함하고,
상기 최종 서라운드-뷰 영상 생성모듈은
서라운드-뷰 이미지 생성 시, 상기 굴삭기의 상기 붐, 상기 암 및 상기 버킷을 나타내는 부속체 이미지가 상기 선회체 이미지에 연결되도록 표시하되, 상기 부속체 이미지의 길이를 상태정보의 제1 회전반경(R1)에 비례하도록 표시하며, 최종 서라운드-뷰 영상 생성 시, 상기 제1 회전반경(R1)을 표시하는 것을 특징으로 하는 굴삭기 안전시스템.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 서라운드-뷰 영상 생성부는 FPGA(Field Programmable Gate Array) 모듈로 제작되는 것을 특징으로 하는 굴삭기 안전시스템.
제6항에 있어서, 상기 POD 알고리즘은 기 학습된 합성곱 신경망(CNN, Convolution Neural Network) 및 관계적 신경망(RNN, Recurrent Neural Network)의 딥러닝 연산 로직을 포함하는 것을 특징으로 굴삭기 안전시스템.