KR20190106604A

KR20190106604A - 360도 회전하며 안정화기능을 갖는 장애물탐지 짐벌카메라

Info

Publication number: KR20190106604A
Application number: KR1020180028335A
Authority: KR
Inventors: 배일용; 조재현; 임정빈; 김응모; 배종윤
Original assignee: 새론에스엔아이 주식회사
Priority date: 2018-03-10
Filing date: 2018-03-10
Publication date: 2019-09-18

Abstract

본 발명은 무인선박, 무인항공기 및 무인차량등에 탑재되어 전방 또는 측후방에 있는 중거리 장애물을 자동으로 탐지하여 운항관제, 장애물회피 알고리즘에 제공하여 장애물과의 충돌등을 사전에 회피하도록 하는 장애물 탐지 카메라에 대한 기술이다. 이 카메라는 주간용 칼라카메라(101)와 야간용 열화상카메라(102)를 탑재하고 360도 지속적으로 회전하는 선회구동모터(403), 움직이는 선박 또는 항공기의 움직임을 자동으로 보상할 수 있는 피치구동모터(302) 및 롤구동모터(202)와 자세안정화 알고리즘을 실행하는 자세안정화 제어보드(401), 모터를 제어하는 모터드라이버(201)등으로 구성된 짐벌카메라, 그리고 자동탐지 알고리즘에 의한 장애물 자동탐지 및 장애물 위치정보와 영상을 제공하는 기술에 관한 것이다. 상부의 카메라몸체(400)이 360도를 연속으로 회전하면서 내장된 칼라카메라(101)와 열화상카메라(102)를 이용하여 영상을 획득할 때, 이 장애물탐지카메라(1000)를 탑재하고 있는 플랫폼 즉, 선박, 차량, 항공기(유인/무인 모두 포함)등의 흔들임을 자동으로 보상하여 안정화하고 사방을 감시하는 장애물탐지 카메라와 내장된 영상처리 프로세서를 이용하여 자동으로 장애물을 탐지하여 무인체로 하여금 스스로 회피할 수 있도록 하는 자율운항 기초기술을 제공한다.

Description

360도 회전하며 안정화기능을 갖는 장애물탐지 짐벌카메라 {Obstacle detection gimbal camera rotating 360 degree with gyro stabilization}

본 발명은 무인선박, 무인항공기 및 무인차량등에 탑재되어 전방 또는 측후방에 있는 중근거리 장애물을 자동으로 탐지하여 운항관제, 장애물회피 알고리즘에 제공하여 장애물과의 충돌등을 사전에 회피하도록 하는 장애물 탐지 카메라에 대한 기술이다. 이 카메라는 주간용 칼라카메라(101)와 야간용 열화상카메라(102)를 탑재하고 360도 지속적으로 회전하는 선회구동모터(403), 움직이는 선박 또는 항공기의 움직임을 자동으로 보상할 수 있는 피치구동모터(302) 및 롤구동모터(202)와 자세안정화 알고리즘을 실행하는 자세안정화 제어보드(401), 모터를 제어하는 모터드라이버(201)등으로 구성된 짐벌카메라, 그리고 자동탐지 알고리즘에 의한 장애물 자동탐지 및 장애물 위치정보와 영상을 제공하는 기술에 관한 것이다.

본 발명은 무인선박등 무인체계가 자율적으로 운항하고 장애물을 회피하기 위해서는 여러가지 센서를 이용하여 장애물들을 탐지하고 있는데, 특히 바다 환경에서는 이러한 수면위에 떠 있는 부유물, 통나무, 물표, 작은 보트등을 자동으로 탐지해 내는 것이 가장 중요한 문제이며 핵심과제가 되고 있다. 아주 먼거리에 있는 선박등 장애물은 레이더를 이용하여 탐지하여 사전에 항로를 결정하고 회피하며, 초 근거리 즉 100m 이내의 장애물은 레이저 센서인 LIDAR를 이용하여 탐지하고 운항에 활용하고 있으나 가장 중요한 거리인100m ~ 300m 내외의 거리에 떨어진 장애물을 탐지해 내는 것에 많은 문제가 있는 실정이다. 레이더의 경우 근거리 물체 탐지에 오차가 많고 오경보가 많으며, LIDAR의 경우 탐지가 불가능하다. 무인체가 고속으로 운항하는 과정에 100~300m에 있는 장애물을 사전에 탐지하고 식별해야 회피가 가능하고 무인체의 운용이 가능한 것이다.

이러한 정도의 거리와 광범위에 있는 장애물을 탐지하는 방법으로는 카메라에 의한 영상분석을 이용하는 것이 현재로서는 가장 바람직하며 이를 위한 카메라가 필요하다. 이 카메라는 우선 움직이는 무인체에 탑재되어 전, 측, 후방을 감시하여야 하므로 자이로센서에 의한 자세안정화 기능이 필요하며, 300m 정도의 원거리에 떨어진 물체를 탐지하기 위해서는 상당한 정도의 줌(Zoom)이 들어간 카메라 렌즈가 필요하다. 또한 240도 정도의 넓은 범위에 대해 탐지가 가능해야 한다.

현재 무인항공기, 무인선박등 무인체계에 대한 기술이 급속히 발전하고 자율운항, 자율회피등에 대한 알고르즘은 상당한 발전을 이루고 있는데 이러한 알고리즘, 무인체가 제대로 정확히 운용되기 위해서는 이러한 탐지센서, 카메라가 절실히 필요한 실정이다.

도1 종래의 360도를 감시할 수 있는 파노라마카메라

종래의 넓은 범위를 감시하며 장애물등을 탐지하는 방법으로는 도 1에 보여준 것과 같은 파노라마 카메라가 사용되고 있다. 그러나 이러한 카메라의 경우에는 일단 자동탐지 알고리즘을 통해 장애물을 탐지할 수 있는 탐지거리가 짧아 불과 수십미터 정도에 불과한 실정이다. 이를 원하는 300m 거리까지 늘리기 위해서는 카메라의 수량을 크게 늘려야 하는 문제가 발생한다. 이 경우 모든 카메라에 대해 영상처리 및 전송이 이루어져야 하므로 그에 따른 프로세서 네트워크 장치등이 많아져 중량이 중요한 무인체에 적용하기에 문제가 있다. 또한 이러한 어레이형태의 카메라를 자세안정화 하는 것 또한 매우 어렵고 중량이 과도하게 증가하는 문제가 발생한다.

도2 어안렌즈를 이용한 광범위 탐지

또하나의 종래기술로 어안렌즈를 탑재하여 광범위에 있는 물체를 탐지하는 기술이 있는데 이 방법은 하나의 카메라로 넓은 범위를 감시할 수 있는 대신 탐지할 수 있는 거리가 현격하게 축소된다는 문제가 있다. 도 2에 보여주는 것과 같이 넓은 범위를 볼 수 있으나 영상이 왜곡되는 문제와 불과 수십미터 떨어진 물체도 아주 작게 보이기 때문에 300m 정도에 떨어진 물체를 탐지하는 것은 불가능한 실정이다.

본 발명은 움직이는 플랫폼 즉, 선박, 차량, 항공기(유인/무인 모두 포함)등에 탑재되어 플랫폼의 움직임, 기동을 자동으로 보상하여 안정화하고 전방을 감시하는 장애물탐지 카메라에 있어서 주간 칼라카메라(101) 및 야간 열화상카메라(102)를 탑재하고 팬 즉 선회구동모터(403)를 지속적으로 360도 회전시켜 전방 및 측후방에 있는 장애물을 탐지할 수 있는 카메라를 제공한다.

무인선박등 자율운항을 하고자 하는 무인체계는 일반적으로 원거리에 떨어진 물체를 탐지하는 레이더, 근거리에 떨어져 있는 물체를 탐지하는 라이다(LIDAR)를 탑재하여 장애물을 회피하는 알고리즘을 구현한다. 그런데 가장 중요한 거리인 100~300m 정도에 떨어진 물체에 대해서는 레이더에게는 너무 가깝고, 라이다에게는 너무 먼 거리로서 장애물을 탐지해 내는 것이 숙제로 대두되고 있는 실정이다. 이러한 상황에서 원하는 거리에 떨어진 물체를 자동으로 탐지하기 위해서는 카메라를 이용한 영상분석 방법이 유일한 해법으로 고려되어 진다. 그런데 카메라는 볼 수 있는 화각이 제한되어 있고 물체를 탐지할 수 있는 거리 또한 줌 각도에 따라 정해지기 때문에 넓은 영역을 동시에 상당거리에 떨어진 물체를 필요한 크기의 해상도로 촬영해 내는 것이 중요한 과제로 되어 있다. 화각과 탐지거리가 서로 역상관관계로서 둘다 확보하는 것이 어려운 점이며 이로 인해 여러 개의 카메라를 어레이로 조합한 파노라마카메라도 원거리 탐지에는 제한이 있다. 그런데 우리 무인체는 과도한 기동에 의해 항상 흔들리고 움직이는 플랫폼으로 자세안정화 기능이 필요하여 이러한 파노라마 카메라를 적용하기 곤란하며 또한 원거리 물체를 탐지하기 위해서는 너무 많은 카메라가 필요하여 적합하지 않다.

이러한 무인체 주위의 중거리에 떨어진 장애물을 탐지하기 위해 상부의 카메라몸체(400)이 360도를 연속으로 회전하면서 내장된 칼라카메라(101)와 열화상카메라(102)를 이용하여 영상을 획득할 때, 이 장애물탐지카메라(1000)를 탑재하고 있는 플랫폼 즉, 선박, 차량, 항공기(유인/무인 모두 포함)등의 흔들임을 자동으로 보상하여 안정화하고 사방을 감시하는 장애물탐지 카메라와 내장된 영상처리 프로세서를 이용하여 자동으로 장애물을 탐지하게 할 수 있다.

상기의 설명과 같이 본 발명을 통해 제작된 360도 장애물탐지카메라는 넓은 영역, 심지어 360도 영역을 빠른 속도로 회전하며 실시간으로 장애물을 탐지하여 전송함으로써 무인체가 장애물과의 충돌을 피할 수 있도록 한다.

이 발명을 통해 현재 활발히 개발되고 있는 무인선박, 무인항공기가 장애물이 많은 복잡한 환경에서도 보다 안전하고 빠른 속도로 운항하고 임무를 수행할 수 있도록 하는 효과가 있다.

이 장애물탐지 카메라를 이용하면 파노라마카메라 자체의 중량을 절감하여 현재 운용되고 있는 무인체계의 탑재중량을 늘릴 수 있어서 임무 수행지속가능시간을 늘릴 수 있으며 대신 더 많은 장비를 탑재할 수 있게 해 준다.

파노라마 카메라가 다수의 카메라로 이루어져 있어 영상을 전송하는 대역폭이 커서 이를 전송하는 무선등 네트워크 장비의 용량이 커지는 반면, 이 발명된 장애물 탐지 카메라를 이용하면 네트워크 전송 대역폭도 상대적으로 줄일 수 있다.

도 1은 종래의 360도를 감시할 수 있는 파노라마 카메라
도 2는 어안렌즈를 이용한 광범위 탐지 방법
도 3은 360도 회전하며 자세안정화기능을 갖는 장애물탐지 짐벌카메라의 전체 모습을 보여주는 설명도
도4는 장애물탐지 짐벌카메라의 내부를 보여주는 단면도
도5는 자세측정센서를 포함하는 내부 카메라조립모듈과 내부짐벌 구동장치를 설명하는 사시도
도 5a는 내부짐벌 구동장치의 구조를 설명하는 정면도
도 5b는 내부짐벌 구동장치의 구조를 설명하는 측면도
도 6는 자세안정화 알고리즘에 대한 제어 블럭도.
도 7은 장애물탐지 짐벌카메라의 세부 구성도

이 장애물탐지 짐벌카메라(1000)는 원하는 거리에 떨어진 물체를 탐지할 수 있는 정도의 화각을 갖는 칼라카메라 또는 열화상카메라 또는 둘다 장착하고 선회방향으로 360도를 연속으로 고속회전하며 영상을 획득하여 장애물을 탐지하기 위한 카메라이다.

도3은 이 장애물탐지 짐벌카메라(1000)의 외형도를 보여주고 있으며 이는 무인체에 고정 장착되는 베이스조립체(500)와 내부에 카메라와 자세안정화장치를 포함하며 360도를 연속해서 고속회전하는 카메라몸체(400)와 얻어진 영상을 원격통제부(600)에 전송하는 주제어케이블(700)로 구성된다.

카메라몸체(400)에는 전방으로 칼라카메라를 위한 광학창(407)와 열화상카메라를 위한 광학창(408)이 장착되어 있어 내부에서 자세안정화를 위해 구동되는 칼라카메라(101)와 열화상카메라(102)가 원활하게 전방을 감시할 수 있도록 한다.

도42는 이 장애물탐지 짐벌카메라(1000)의 단면도를 보여주고 있으며 카메라몸체(400)의 내부에 내부짐벌구동장치(300), 자세안정화제어보드(401), 영상분석서버(402), 선회구동모터(403), 선회 모터드라이버(404)가 장착되어 있음을 보여준다.

카메라몸체(400)은 베이스조립체(500)을 바탕으로 원격통제부(600)로부터 선회시작 및 영상획득 시작 명령을 신호처리제어보드(501)가 받아 이를 자세안정화제어보드(401)가 선회구동모터드라이버(404)에게 명령을 주어 선회구동모터(403)으로 하여금 360도를 연속해서 정해진 빠른 속도로 회전하게 된다.

카메라몸체(400)가 회전하면서 칼라카메라(101)와 열화상카메라(102)는 카메라몸체(400)을 따라 회전하며 영상을 획득하여 영상분석서버에 전송하는데 이 카메라가 탑재된 무인선박 또는 무인항공기가 좌우 또는 고저방향으로 기동을 하기 때문에 원하는 일정한 선회방향으로의 회전감시가 이루어지지 않고 상하 좌우로 파도치는 듯한 영상이 얻어지게 된다. 이러한 문제를 해결하기 위해 내부짐벌구동장치(300)는 자세측정센서(103)와 자세안정화제어보드(401) 그리고 롤 구동모터(202), 피치 구동모터(302)를 이용하여 자동으로 자세를 보정하게 한다.

도 5는 이 내부짐벌구동장치(300)를 별도로 보여주어 내부에서 자세안정화가 어떻게 이루어지는지 이해를 돕는다. 우선 칼라카메라(101)과 열화상카메라(102), 그리고 자세측정센서(103) 및 카메라제어보드(104), 이들을 고정하고 조립하는 고정브라*j(105)으로 이루어진 카메라조립모듈(100)이 도 5에 보여주는 롤구동축을 기준으로 롤구동모터(202)에 의해 구동된다. 도에서 카메라들과 노란색 파트로 표시된다. 이 카메라조립모듈(100)은 핑크색으로 표시된 롤구동 지지브라*j(303)과 함께 조립되어 롤구동축(304)를 기준으로 좌우로 제한된 범위를 회전하며 구동된다.

또한 이 카메라조립모듈(100)은 상기와 같이 롤 방향으로 구동됨과 동시에 롤구동 지지브라*j(303)과 함께 피치구동축을 기준으로 내부 짐벌구동장치 지지브라*j(405)을 고정상대로 하여 피치구동축(302)을 중심으로 피치 구동모터(302)에 의해 피치 방향으로 제한된 범위를 회전한다.

이 카메라 장치는 틸트 구동부와 롤 구동부에 대해 자이로센서로 외부 무인체의 움직임을 센싱하여 자동으로 자세안정화하도록 구현하고 팬구동부 즉 선회구동부에 대해서는 지속적으로 360도 회전하게 하여 고저 및 회전방향으로는 안정된 영상을 얻도록 하는 카메라 장치이다.

도 5a는 정면에서 본 내부짐벌구동장치(300)의 모습으로 그 중에 롤 구동축을 기준으로 구동되는 칼라카메라(101), 열화상카메라(102), 카메라 제어보드(104)를 보여준다.

도 5b는 측면에서 본 내부짐벌구동장치(300)의 모습으로 이해를 돕기 위해 피치구동축을 기준으로 구동되는 장치들의 옆 모습을 보여 준다.

도 6은 내부짐벌구동장치(300)의 자세 안정화 알고리즘에 대한 블록다이어그램을 보여주고 있으며 자세센서(103)에 의해 탑재체인 무인선, 무인항공기에 대한 기동정보를 획득하고 이를 원하는 좌표로 변환하여 안정화제어보드(401)에 전송한다. 안정화제어보드(401)은 이 신호를 받아 원격통제부(600)로 부터의 입력신호와 병합하여 롤모터드라이버(201)에 PID 제어신호를 송신하게 된다. 동시에 안정화제어보드(401)는 피치방향에 대한 자세센서로부터 얻은 신호도 분석하여 피치방향의 구동 PID신호를 피치모터드라이버(301)에 송신한다. 롤모터드라이버는 수신된 PID 제어명령에 따라 롤모터를 구동하여 내부 롤구동부(200)를 역방향으로 구동하여 실시간 안정화를 수행한다. 피치모터드라이버는 수신된 PID 제어명령에 따라 피치모터를 구동하여 내부짐벌구동장치(300)을 구동하여 피치방향의 안정화를 수행한다. 각 모터의 구동 결과치는 다시 자센센서에 의해 측정되고 같은 루프로 자세안정화 제어보드(401)는 같은 알고리즘으로 오차만큼의 PID 제어신호를 각 축에 하달한다.

도 6은 본 발명의 장애물탐지 카메라에 대한 시스템구성도를 보여주며, 그림에서 카메라 몸체(400)가 연속적으로 360도를 회전하는 회전부이며 하부의 베이스조립체(500)가 체계에 고정되는 부분이다. 롤 방향으로 구동되는 부분은 카메라조립모듈(100)로서 내부에 칼라카메라(101), 열화상카메라(102), 자세측정센서(103), 카메라제어보드(104)를 포함하여 롤 구동모터(202)에 의해 구동된다. 그 바깥으로 피치 방향으로 구동되는 부분이 있으며 상기 카메라조립모듈(100)과 롤모터드라이버(201) 그리고 롤구동모터(202)가 피치방향으로 제한된 범위를 회전한다. 상기 구성품들의 조합으로 된 것이 내부짐벌구동장치(300)로 도 5에 보여준 모습과 같다.

이 내부짐벌구동장치(300)는 외부 하우징과 광학창으로 보호되어 내부에서 자세안정화 기능을 수행하며 카메라몸체(400)에 통합되어 360도 연속회전을 하게된다.

1000 : 360도 연속회전하며 자세안정화기능을 갖는 장애물탐지 짐벌카메라
100 : 칼라카메라 또는 열화상카메라를 탑재한 카메라조립모듈
101 : 칼라카메라
102 : 열화상카메라
103 : 자세측정센서
104 : 카메라 제어보드
105 : 카메라조립모듈을 고정하는 고정브라*j
200 : 내부 롤구동부
201 : 롤 모터드라이버
202 : 롤 구동모터
300 : 내부짐벌구동장치
301 : 피치 모터드라이버
302 : 피치 구동모터
303 : 롤구동 지지브라*j
304 : 롤 구동축
400 : 카메라 몸체
401 : 자세안정화 제어보드
402 : 영상분석서버
403 : 선회구동모터
404 : 선회 모터드라이버
405 : 내부 짐벌구동장치 지지브라*j
406 : 방진구
407 : 칼라카메라 광학창
408 : 열화상카메라 광학창
500 : 베이스조립체
501 : 신호처리 제어보드
502 : 전원제어보드
600 : 원격통제부
700 : 주제어케이블

Claims

CCD 또는 CMOS센서를 이용하는 칼라카메라(101) 또는 열화상카메라(102)를 탑재한 카메라조립모듈(100) ;
상기 카메라 조립모듈(100)을 카메라하우징 내부에서 제한된 각도내에서 구동되는 틸트 및 롤 축에 대한 내부 짐벌구동장치(300) ;
무인선 또는 무인항공기등 심하게 흔들리는 탑재체의 외란을 측정하기 위해 상기 카메라 조립모듈에 포함되는 자세측정센서(103) ;
탑재체의 외란에 대해 상기 내부 짐벌구동장치를 제어하여 틸트 및 롤방향에 대한 탑재체의 흔들림을 자동으로 보상하는 자세안정화 제어보드(401) ;
상기 자세안정화 카메라장치를 360도 회전시켜주는 선회구동모터(403) ; 를 포함하고
상기 카메라조립모듈(100)을 피치 및 롤방향에 대해 실시간으로 자세안정화 하며 360도를 연속적으로 빠른 속도로 회전시키면서 칼라 및 열화상카메라 영상을 획득하여 전송하는 카메라 장치(1000)
제1항에 있어서,
상기 내부 짐벌구동장치(300)에서 내부 카메라조립모듈을 우선 롤방향으로 구동하고 롤구동모터(202)와 카메라조립모듈(100)을 포함한 롤구동장치 전체를 피치방향으로 구동하여 2개의 축에 대해 각각 별도로 구동할 수 있도록 구현된 장치.
제1항에 있어서,
상기 자세안정화 카메라장치를 360도 회전시켜주는 선회구동모터(403)에 있어서 탐재체의 선두방향과 연속으로 회전하는 카메라장치와의 방향동기화(싱크)를 맞추기 위해 카메라의 선회구동위치를 절대 엔코더를 이용하여 획득하는 카메라 장치.
제1항에 있어서,
상기 자세안정화 카메라장치를 360도 회전시켜주는 선회구동모터(403)를 직접구동모터(Direct Drive Motor)로 적용한 카메라 장치.
제1항에 있어서,
상기 내부 짐벌구동장치(300)를 외부 하우징에 조립함에 있어서 영상의 떨림과 흔들림을 흡수할 수 있도록 하는 방진구(406)를 적용한 카메라 장치.
제1항에 있어서,
상기 칼라카메라(101) 및 열화상카메라(102)의 영상을 획득하여 전송해 줌에 있어서, 본 발명의 장애물 탐지짐벌카메라 내부에 영상을 분석하여 장애물을 탐지하는 알고리즘을 탑재한 임베디드프로세서 보드를 내장하여 카메라 자체적으로 장애물을 탐지해 내고 장애물의 위치 정보와 탐지 영상을 전송하는 카메라 장치.
제5항에 있어서,
상기 칼라카메라(101) 및 열화상카메라(102)의 영상을 분석하여 장애물을 자동으로 탐지함에 있어서 칼라영상과 열화상영상을 동시에 분석하여 비교하는 알고리즘을 적용하여 장애물 탐지의 정확성을 높이도록 한 카메라 장치