KR102166432B1 - 스마트 드론을 사용한 재난 상황 대응 방법 - Google Patents

스마트 드론을 사용한 재난 상황 대응 방법 Download PDF

Info

Publication number
KR102166432B1
KR102166432B1 KR1020180151669A KR20180151669A KR102166432B1 KR 102166432 B1 KR102166432 B1 KR 102166432B1 KR 1020180151669 A KR1020180151669 A KR 1020180151669A KR 20180151669 A KR20180151669 A KR 20180151669A KR 102166432 B1 KR102166432 B1 KR 102166432B1
Authority
KR
South Korea
Prior art keywords
drone
route
object recognition
movement path
disaster
Prior art date
Application number
KR1020180151669A
Other languages
English (en)
Other versions
KR20200065316A (ko
Inventor
천승만
김건우
석수영
Original Assignee
재단법인 경북아이티융합 산업기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 경북아이티융합 산업기술원 filed Critical 재단법인 경북아이티융합 산업기술원
Priority to KR1020180151669A priority Critical patent/KR102166432B1/ko
Publication of KR20200065316A publication Critical patent/KR20200065316A/ko
Application granted granted Critical
Publication of KR102166432B1 publication Critical patent/KR102166432B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • B64C2201/127—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

본 발명은 재난 상황 대응 방법에 관한 것으로서, 보다 구체적으로는 화재와 같은 재난 발생 시 스마트 드론을 사고 현장에 파견할 시에 드론의 안정적인 비행 운용을 가능하게 함과 더불어 현장 상황의 지형지물, 위치, 인적/물적 피해 등을 머신러닝 기법을 통해 정확히 분석하여 재난 상황에 대해 신속한 대응을 가능하게 할 수 있는 스마트 드론을 사용한 재난 상황 대응 방법에 관한 것이다.
이를 위해 본 발명은, 드론에 구비되는 카메라로 촬영한 영상 데이터를 수집하는 영상 데이터 수집 단계와; 상기 영상 데이터 수집 단계에서 수집된 영상 데이터에서 객체 부분에 라벨링을 하여 객체 인식을 가능하도록 하는 객체 인식 라벨링 단계와; 상기 객체 인식 라벨링 단계를 거쳐 라벨링된 객체를 사전에 규정된 재난 상황 객체 인식 모델에 순차적으로 삽입하여 객체 인식률을 증가시키는 객체 인식 모델 삽입 단계와; 상기 객체 인식 모델 삽입 단계를 통해 객체 인식 학습을 수행하여 객체 정보를 추출하는 객체 정보 추출 단계와; 상기 객체 정보 추출 단계에서 추출된 객체 정보를 객체 알림 수신 클라이언트로 전송하여 객체 정보에 기초한 재난 상황별 대응을 가능하도록 하는 객체 정보 전송 단계;를 포함하는 것을 특징으로 한다.

Description

스마트 드론을 사용한 재난 상황 대응 방법{METHOD FOR REPLYING DISASTER SITUATION USING SMART DRONE}
본 발명은 재난 상황 대응 방법에 관한 것으로서, 보다 구체적으로는 화재와 같은 재난 발생 시 스마트 드론을 사고 현장에 파견할 시에 드론의 안정적인 비행 운용을 가능하게 함과 더불어 현장 상황의 지형지물, 위치, 인적/물적 피해 등을 머신러닝 기법을 통해 정확히 분석하여 재난 상황에 대해 신속한 대응을 가능하게 할 수 있는 스마트 드론을 사용한 재난 상황 대응 방법에 관한 것이다.
근래에 들어 드론을 활용한 다양한 응용 기술들을 개발되고 있는데, 이러한 드론 활용 시스템들은 GCS(Ground Control System)를 통해 직접적으로 드론 기체 비행을 조정하고 드론으로부터 측정된 영상정보를 기반으로 사람이 육안으로 확인하는 기술이 대부분이다.
또한, 최근 각종 통신기술, 센서류, 인공지능 등의 다양한 산업분야 기술이 발전하면서 드론의 이동경로를 산출하여 산출된 이동경로로 드론을 정밀하게 비행시키는 기술도 개발되고 있으나, 이러한 기술은 개발의 복잡도가 높고 고도의 기술을 요하기 때문에 아직까지는 드론이 오동작하여 지정된 곳까지 제대로 비행하지 못하는 상황이 종종 발생하고 있다.
한편으로, 종래 드론 시스템은 사고 현장(교통사고 현장 등)에 드론을 급파하였을 경우 대부분 육안을 통해 드론으로부터 전송된 카메라 영상 정보를 확인하고 있기 때문에, 만약 사고 현장의 환경 상황이 안개가 자욱한 상태이거나 지형지물이 다수 산개하여 있을 시에 전송된 영상 정보에서 사람 또는 자동차 등을 육안으로 확인하지 못하고 지나칠 수 있으며, 또한 전송된 영상에서 빠른 시간 내에 사고를 당한 사람을 찾아야 만이 구조를 위한 골든타임을 놓치지 않고 적절한 대응 조치할 수 있지만, 이러한 인력을 통해 영상을 확인하는 시스템에 의해서는 사람, 자동차 등의 객체를 정확히 감지하지 못하는 경우가 존재하게 된다.
따라서, 드론의 안전하고 정확한 비행 운용을 가능하게 하면서도 사고 현장에서 드론이 전송하는 영상으로부터 사람이나 물체를 정확하고 빠르게 인식하도록 함으로써 신속한 재난 현장 구조 대응에 일조할 수 있는 기술개발이 절실한 실정이다.
대한민국 등록특허공보 제10-1692781호 대한민국 등록특허공보 제10-1894409호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 화재와 같은 재난 발생 시 사고 현장까지 스마트 드론을 안정적으로 파견하여 드론이 촬영한 영상의 머신러닝 분석에 의해 현장 상황의 지형지물, 위치, 인적/물적 피해 등을 정확히 분석하여 조속한 재난 대응을 도모할 수 있는 스마트 드론을 사용한 재난 상황 대응 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명은, 드론에 구비되는 카메라로 촬영한 영상 데이터를 수집하는 영상 데이터 수집 단계와; 상기 영상 데이터 수집 단계에서 수집된 영상 데이터에서 객체 부분에 라벨링을 하여 객체 인식을 가능하도록 하는 객체 인식 라벨링 단계와; 상기 객체 인식 라벨링 단계를 거쳐 라벨링된 객체를 사전에 규정된 재난 상황 객체 인식 모델에 순차적으로 삽입하여 객체 인식률을 증가시키는 객체 인식 모델 삽입 단계와; 상기 객체 인식 모델 삽입 단계를 통해 객체 인식 학습을 수행하여 객체 정보를 추출하는 객체 정보 추출 단계와; 상기 객체 정보 추출 단계에서 추출된 객체 정보를 객체 알림 수신 클라이언트로 전송하여 객체 정보에 기초한 재난 상황별 대응을 가능하도록 하는 객체 정보 전송 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 영상 데이터 수집 단계 이전에는 위도, 경도 및 고도(x, y, z)에 기초하여 드론의 출발 위치(sx, sy, sz)로부터 목적지 위치(dx, dy, dz)를 선택하는 드론 목적지 선택 단계와, 드론이 출발 위치(sx, sy, sz)부터 목적지 위치(dx, dy, dz)까지 이동할 방향을 결정하는 드론 이동 방향 결정 단계를 더 포함하며, 상기 드론 이동 방향 결정 단계에서는 위도 및 경도(x, y)에 대한 (sx-dx) 및 (sy-dy) 값이 xy 좌표축을 기준으로 1 내지 4 사분면에 중 어느 곳에 존재하는지 확인하여 드론이 이동할 방향을 결정하는 것을 특징으로 한다.
여기서, 상기 드론 이동 방향 결정 단계를 거쳐 드론 이동 방향이 결정된 다음으로 드론의 이동 경로를 도출하기 위한 드론 이동 경로 도출 단계를 더 포함하고, 상기 드론 이동 경로 도출 단계는 드론 출발 위치 초기값(sx, sy, 0)을 설정하는 드론 출발 위치 초기값 설정 단계와, 드론 출발 위치의 최대 가능 고도(max_sz)를 설정하는 드론 출발 위치 고도 설정 단계와, (dx-sx) 및 (dy-sy)를 통해 드론 이동 경로(route_x, route_y)를 획득하는 드론 이동 경로 획득 단계와, 드론의 이동 경로상의 고도 정보(route_z)를 획득하는 드론 이동 경로 고도 획득 단계와, 드론 이동 경로(route_x, route_y)에 이동 경로상의 고도 정보(route_z)를 추가하여 드론의 전체 이동 경로를 도출하는 드론 전체 이동 경로 도출 단계를 포함하는 것을 특징으로 한다.
상기 드론 이동 경로 도출 단계 다음으로 드론에 드론 전체 이동 경로(route_x, route_y, route_z)가 입력시켜 수직 및 수평 비행을 통해 목적지 위치(dx, dy, dz)까지 드론이 도달하도록 하는 드론 비행 단계를 더 포함하며, 상기 드론 비행 단계는 드론이 목적지 위치 상공에 도착하면 지상 물체와의 충돌 회피를 위한 충돌 방지 정보를 수신하여 최소 고도 정보를 도출한 다음 이동 경로상의 고도 정보(route_z)에 반영하여 드론을 하강시키는 드론 하강 단계를 포함하는 것을 특징으로 한다.
또한, 상기 영상 데이터 수집 단계 다음으로 원격 관리자가 드론에 복귀 명령을 하면 이전에 입력된 드론 전체 이동 경로(route_x, route_y, route_z)를 역으로 사용하여 드론을 출발 위치(sx, sy, sz)로 복귀시키는 드론 복귀 단계를 더 포함하는 것을 특징으로 한다.
한편으로, 본 발명은, 카메라 및 유무선 통신 모듈과 라이더, 레이더 센서 및 근접 센서 중 적어도 어느 하나 이상이 구비된 드론과; 상기 드론이 전송하는 영상 데이터를 실시간 브로드캐스팅하기 위한 미디어 스트리밍 서버와; 상기 미디어 스트리밍 서버에서 브로드캐스팅되는 영상 데이터를 수신하여 객체 인식 학습을 통해 재난 상황에 대응하는 객체 정보를 추출하기 위한 영상 분석 서버와; 상기 영상 분석 서버가 추출한 재난 상황에 대응하는 객체 정보를 수신하기 위한 객체 알림 수신 클라이언트와; 상기 드론의 비행이 가능한 비행 구역맵의 최대 고도 정보가 저장되고, 상기 드론의 출발 위치(sx, sy, sz)부터 목적지 위치(dx, dy, dz)까지 드론 전체 이동 경로(route_x, route_y, route_z)를 드론에 전송하는 드론 제어 서버와; 상기 드론의 움직임을 원격으로 제어하기 위한 드론 제어기;를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 미디어 스트리밍 서버에서 브로드캐스팅되는 영상 데이터를 수신하고, 상기 영상 분석 서버가 추출한 재난 상황에 대응하는 객체 정보를 수신하기 위한 관제 뷰어를 더 포함하는 것을 특징으로 한다.
이상과 같은 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법은 긴급 재난 상황 발생 시 신속하게 스마트 드론을 사고 현장까지 출동시킬 수 있고, 현장에서 드론이 촬영한 영상을 머신러닝 기법 분석을 통해 재난 상황을 자동적으로 빠르게 인지 및 판단함으로써 재난 대응을 위한 신속한 응급 조치가 취해지도록 할 수 있다.
도 1은 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법을 개략적으로 도시한 순서도.
도 2는 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법 중 객체 인식 학습의 일례를 도시한 순서도.
도 3은 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법 중 객체 정보 추출 및 전송 과정의 일례를 도시한 순서도.
도 4는 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 시스템을 개략적으로 도시한 도면.
도 5는 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 시스템 중 객체 알림 수신 클라이언트에 표시되는 객체 정보의 일례를 나타낸 도면.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조로 하여 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 시스템 및 방법을 설명하기로 한다.
도 1은 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법을 개략적으로 도시한 순서도이다.
본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법은 기본적으로 영상 데이터 수집 단계와, 객체 인식 라벨링 단계와, 객체 인식 모델 삽입 단계와, 객체 정보 추출 단계와, 객체 정보 전송 단계를 포함하여 구성된다.
보다 구체적으로, 본 발명은 드론에 구비되는 카메라로 촬영한 영상 데이터를 수집하는 영상 데이터 수집 단계와, 영상 데이터 수집 단계에서 수집된 영상 데이터에서 객체 부분에 라벨링을 하여 객체 인식을 가능하도록 하는 객체 인식 라벨링 단계와, 객체 인식 라벨링 단계를 거쳐 라벨링된 객체를 사전에 규정된 재난 상황 객체 인식 모델에 순차적으로 삽입하여 객체 인식률을 증가시키는 객체 인식 모델 삽입 단계와, 객체 인식 모델 삽입 단계를 통해 객체 인식 학습을 수행하여 객체 정보를 추출하는 객체 정보 추출 단계와, 객체 정보 추출 단계에서 추출된 객체 정보를 객체 알림 수신 클라이언트로 전송하여 객체 정보에 기초한 재난 상황별 대응을 가능하도록 하는 객체 정보 전송 단계를 포함하여 이루어진다.
상기 영상 데이터 수집 단계는 드론이 재난 사고 현장으로 출동하여 Wifi, Zigbee, Bluetooth를 포함한 무선 근거리 통신과 CDMA, WCDMA, LTE, 5G 네트워크 방식의 무선 원거리 통신 등과 같은 다양한 통신 방식을 통해 그 사고 현장을 촬영한 영상 데이터를 실시간으로 특정 목적지(예: 이하 기술되는 미디어 스트리밍 서버)까지 전송하기 위한 것으로, 영상 데이터 수집 단계 이전에는 다음과 같은 프로세스가 진행될 수 있다.
상기 영상 데이터 수집 단계 이전에는 위도, 경도 및 고도(x, y, z)에 기초하여 드론의 출발 위치(sx, sy, sz)로부터 목적지 위치(dx, dy, dz)를 선택하는 드론 목적지 선택 단계와, 드론이 출발 위치(sx, sy, sz)부터 목적지 위치(dx, dy, dz)까지 이동할 방향을 결정하는 드론 이동 방향 결정 단계가 포함될 수 있다.
상기 드론은 예를 들어 소방서, 재난 대응부처 등의 장소에 보관되어 있다가 재난이 발생하여 현장으로 출동해야 하는 상황에서는 출발지 및 목적지 정보를 입력받아야 하고, 드론의 비행은 입체적인 방향으로 이루어짐에 따라 위도, 경도 및 고도(x, y, z) 정보가 고려되어야 하기 때문에 드론 목적지 선택 단계에서 드론의 출발 위치(sx, sy, sz)부터 목적지 위치(dx, dy, dz)를 기본적으로 선택하게 되며, 출발 위치(sx, sy, sz)는 고정될 수 있으나 목적지 위치(dx, dy, dz)는 사고 현장에 따라 변경될 수 있다.
상기 출발 위치(sx, sy, sz) 및 목적지 위치(dx, dy, dz)가 선택되면, 다음으로는 드론 이동 방향 결정 단계를 통해 드론이 이동할 방향이 결정되는데, 이러한 이동 방향의 결정은 위도 및 경도(x, y)에 대한 (sx-dx) 및 (sy-dy) 값이 xy 좌표축을 기준으로 1 내지 4 사분면에 중 어느 곳에 존재하는지 확인하여 이루어지며, 예를 들어 (sx-dx)이 0 이상이면 1 사분면 또는 4 사분면 방향, 0 이하이면 2 사분면 또는 3 사분면 방향을 나타내고 (sy-dy) 값이 0 이상이면 1 사분면 또는 2 사분면 방향, 0 이하이면 3 사분면 또는 4 사분면을 나타내게 되므로, (sx-dx) 및 (sy-dy) 값에 따라 드론 이동 방향을 결정할 수 있게 된다.
상기 드론 이동 방향 결정 단계를 거쳐 드론 이동 방향이 결정된 다음으로 드론의 이동 경로를 도출하기 위한 드론 이동 경로 도출 단계를 더 포함할 수 있는데, 이러한 드론 이동 경로 도출 단계는 드론 출발 위치 초기값(sx, sy, 0)을 설정하는 드론 출발 위치 초기값 설정 단계와, 드론 출발 위치의 최대 가능 고도(max_sz)를 설정하는 드론 출발 위치 고도 설정 단계와, (dx-sx) 및 (dy-sy)를 통해 드론 이동 경로(route_x, route_y)를 획득하는 드론 이동 경로 획득 단계와, 드론의 이동 경로상의 고도 정보(route_z)를 획득하는 드론 이동 경로 고도 획득 단계와, 드론 이동 경로(route_x, route_y)에 이동 경로상의 고도 정보(route_z)를 추가하여 드론의 전체 이동 경로(route_x, route_y, route_z)를 도출하는 드론 전체 이동 경로 도출 단계를 포함하여, 드론이 출발 위치(sx, sy, sz)로부터 사고 현장의 목적지 위치(dx, dy, dz)까지 드론의 전체 이동 경로(route_x, route_y, route_z)를 따라 정확하게 비행할 수 있게 된다.
또한, 상기 드론 이동 경로 도출 단계 다음으로 드론 전체 이동 경로(route_x, route_y, route_z)를 드론에 입력시켜 수직 및 수평 비행을 통해 목적지 위치(dx, dy, dz)까지 드론이 도달하도록 하는 드론 비행 단계가 수행된다.
상기 드론 비행 단계 이후로는 드론이 재난 현장 목적지 위치 상공에 도착하면 지상 물체와의 충돌 회피를 위한 충돌 방지 정보를 예를 들어 라이더, 레이더, 근접 센서, 영상 분석 정보 등을 통해 수신하여 최소 고도 정보를 도출한 다음 이동 경로상의 고도 정보(route_z)에 반영하여 드론을 하강시키는 드론 하강 단계가 포함될 수 있으며, 이와 같은 드론 하강 단계를 통해 사고 현장에서 드론이 비행하면서 영상을 촬영하기 위해 안정적인 최적의 고도를 유지할 수 있게 된다.
도 2는 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법 중 객체 인식 학습의 일례를 도시한 순서도이고, 도 3은 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 방법 중 객체 정보 추출 및 전송 과정의 일례를 도시한 순서도이다.
상기 객체 인식 라벨링 단계에서는 드론이 전송하는 영상 데이터에서 사람, 자동차, 화재, 동물 등의 객체부분에 라벨링을 하여 1차적으로 객체로 인식할 대상을 명시하게 된다.
상기 객체 인식 모델 삽입 단계는 객체 인식 라벨링 단계에서 1차적으로 필터링된 객체 인식 대상을 미리 준비된 재난 상황 객체 인식 모델에 삽입하여 객체 인식 대상과 객체 인식 모델을 2차적으로 매칭시킴으로써 객체 인식의 정확도를 향상시키게 된다.
상기 객체 정보 추출 단계는 객체 인식 모델 삽입 단계를 거쳐 라벨링된 객체와 객체 인식 모델이 매칭된 것을 객체 정보로 추출하거나, 매칭이 제대로 이루어지지 않는 라벨링된 객체를 머신러닝을 통해 객체 인식 모델과 매칭되도록 하여 객체 정보를 추출하게 된다.
상기 객체 정보 전송 단계에서는 객체 정보 추출 단계를 통해 추출된 객체 정보를 지정된 재난 대응 관련 종사자나 부처에서 확인하여 신속한 조치가 가능하도록 이하 기술되는 객체 알림 수신 클라이언트나 관제 뷰어로 전송하게 된다.
또한, 상기 드론 비행 단계, 드론 하강 단계, 영상 데이터 수집 단계를 걸쳐 재난 현장의 영상 데이터를 모두 수집한 다음으로 원격 관리자가 드론에 복귀 명령을 하면 이전에 입력된 드론 전체 이동 경로(route_x, route_y, route_z)를 역으로 사용하여 드론을 출발 위치(sx, sy, sz)로 복귀시키는 드론 복귀 단계를 더 포함하게 되며, 재난 상황 대응 완료 등의 이유로 드론이 전송하는 재난 현장 영상 데이터가 불필요하게 되면 이와 같은 드론 복귀 단계를 통해 다시 드론을 출발 위치(sx, sy, sz)까지 복귀시킬 수 있게 된다.
도 4는 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 시스템을 개략적으로 도시한 도면이고, 도 5는 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 시스템 중 객체 알림 수신 클라이언트에 표시되는 객체 정보의 일례를 나타낸 도면이다.
한편으로, 본 발명에 따른 스마트 드론을 사용한 재난 상황 대응 시스템은 기본적으로 드론과, 미디어 스트리밍 서버와, 영상 분석 서버와, 객체 알림 수신 클라이언트와, 드론 제어 서버와, 드론 제어기를 포함하여 구성된다.
보다 구체적으로, 본 발명은 카메라, 유무선 통신 모듈, 라이더, 레이더 센서, 근접 센서 등이 구비된 드론과, 드론이 전송하는 영상 데이터를 실시간 브로드캐스팅하기 위한 미디어 스트리밍 서버와, 미디어 스트리밍 서버에서 브로드캐스팅되는 영상 데이터를 수신하여 객체 인식 학습을 통해 재난 상황에 대응하는 객체 정보를 추출하기 위한 영상 분석 서버와, 영상 분석 서버가 추출한 재난 상황에 대응하는 객체 정보를 수신하기 위한 객체 알림 수신 클라이언트와, 드론의 비행이 가능한 비행 구역맵의 최대 고도 정보가 저장되고, 드론의 출발 위치(sx, sy, sx)부터 목적지 위치(dx, dy, dz)까지 드론 전체 이동 경로(route_x, route_y, route_z)를 드론에 전송하는 드론 제어 서버와, 드론의 움직임을 원격으로 제어하기 위한 드론 제어기를 포함하여 이루어진다.
상기 드론은 재난 사고 현장으로 출동하여 Wifi, Zigbee, Bluetooth, CDMA, WCDMA, LTE, 5G 네트워크 방식의 무선 통신과 같은 다양한 통신 방식을 통해 그 사고 현장을 카메라로 촬영한 영상 데이터를 실시간으로 미디어 스트리밍 서버까지 전송하게 되며, 지상의 물체로부터 드론이 호버링 가능한 고도 위치 선정을 위해 라이더, 레이더 센서, 근접 센서 등을 구비하게 된다.
상기 미디어 스트리밍 서버는 드론에서 전송된 영상 데이터를 실시간으로 수신하여 영상 분석 서버나 이하 언급될 관제 뷰어로 브로드캐스팅함으로써 영상 분석 서버를 통해서는 객체 인식을 통한 재난 상황 규모를 분석 가능하도록 하고 관제 뷰어에서는 실시간 현장 상황을 모니터링할 수 있도록 한다.
상기 영상 분석 서버는 본 발명에 따라 재난 상황 객체 정보를 추출하기 위한 프로세스를 진행하게 되며, 이를 위해 객체 인식 모델을 구비하여 객체 인식 학습이 가능하도록 한다.
참고로, 상기 영상 분석 서버는 분석된 객체 정보에 기초한 재난 대응 관련 정보(예: 화재 규모, 구조할 사람 인원이나 동물수, 차량과 같은 피해 대상물 등)에 따라 현장에 급파할 인원수, 필요장비, 소방차량 수, 팀별 파견 위치 등의 구체적인 현장 대책정보 또한 제공할 수도 있을 것이다.
상기 객체 알림 수신 클라이언트는 재난 대응 관련된 담당자들이 실시간으로 드론이 전송한 영상 데이터를 확인할 수도 있고 영상 분석 서버를 거쳐 추출된 객체 정보를 통해 재난 대응 관련 정보를 도 5에서와 같이 확인 가능하도록 하여 신속한 재난 대책을 수립하는데 도움을 줄 수 있으며, 이러한 객체 알림 수신 클라이언트는 태블릿 PC, 데스크탑 PC, 넷북 PC, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 폰, 웨어러블 스마트 기기 등의 다양한 통신 가능한 수단을 포함하는 것으로 해석되어야 한다.
상기 드론 제어 서버는 드론과 드론 제어기간의 데이터 전송에 대한 정보를 관리하는 기능을 수행하며, 드론의 상태나 드론 제어기 상태를 모니터링할 수 있고, 드론을 특정 지역으로 급파할 경우 드론 전체 이동 경로(route_x, route_y, route_z)를 산출하여 드론에게 전송하는 기능도 구비하게 되며, 드론의 비행이 가능한 비행 구역맵의 최대 고도 정보 또한 저장되어 있다(최대 고도 정보는 지역별 도청, 시청 등의 관할 지자체에서 제공하고 있음).
상기 드론 제어기는 재난 현장 목적지 위치(dx, dy, dz)까지 드론이 도달한 이후로 현장 여러 곳의 영상 데이터를 촬영하도록 드론의 이동을 제어하는 기능을 수행하게 된다.
또한, 본 발명은 상기 미디어 스트리밍 서버에서 브로드캐스팅되는 영상 데이터를 수신하고, 영상 분석 서버가 추출한 재난 상황에 대응하는 객체 정보를 수신하기 위한 관제 뷰어를 더 포함함으로써, 재난 대응 관제 센터와 같은 곳에서 관제 뷰어를 통해 현장 상황을 실시간으로 확인하거나 재난 규모 정보를 확인하여 전체적인 재난 대응 대책 마련과 구조 계획을 진두지휘하도록 지원할 수 있다.
이상에서 첨부된 도면을 참조하여 본원발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 위도, 경도 및 고도(x, y, z)에 기초하여 드론의 출발 위치(sx, sy, sz)로부터 목적지 위치(dx, dy, dz)를 선택하는 드론 목적지 선택 단계와,
    위도 및 경도(x, y)에 대한 (sx-dx) 및 (sy-dy) 값이 xy 좌표축을 기준으로 (sx-dx) 값이 0 초과이면 1 사분면 또는 4 사분면 방향, 0 미만이면 2 사분면 또는 3 사분면 방향을 나타내고, (sy-dy) 값이 0 초과이면 1 사분면 또는 2 사분면 방향, 0 미만이면 3 사분면 또는 4 사분면을 나타내어 1 내지 4 사분면에 중 어느 곳에 존재하는지 확인하여, 상기 드론이 출발 위치(sx, sy, sz)부터 목적지 위치(dx, dy, dz)까지 이동할 방향을 결정하는 드론 이동 방향 결정 단계와;
    상기 드론 이동 방향이 결정된 다음으로 드론의 이동 경로를 도출하기 위한 드론 이동 경로 도출 단계와;
    상기 드론 이동 경로 도출 단계 다음으로 드론에 드론 전체 이동 경로(route_x, route_y, route_z)가 입력시켜 수직 및 수평 비행을 통해 목적지 위치(dx, dy, dz)까지 드론이 도달하도록 하는 드론 비행 단계와;
    상기 드론에 구비되는 카메라로 촬영한 영상 데이터를 수집하는 영상 데이터 수집 단계와;
    상기 영상 데이터 수집 단계에서 수집된 영상 데이터에서 객체 부분에 라벨링을 하여 객체 인식을 가능하도록 하는 객체 인식 라벨링 단계와;
    상기 객체 인식 라벨링 단계를 거쳐 라벨링된 객체를 사전에 규정된 재난 상황 객체 인식 모델에 순차적으로 삽입하여 객체 인식률을 증가시키는 객체 인식 모델 삽입 단계와;
    상기 객체 인식 모델 삽입 단계를 통해 라벨링된 객체와 객체 인식 모델이 매칭된 것을 객체 정보로 추출하거나, 매칭이 제대로 이루어지지 않는 라벨링된 객체를 머신러닝을 통해 객체 인식 모델과 매칭되도록 하여 객체 정보를 추출하는 객체 인식 학습을 수행하여 객체 정보를 추출하는 객체 정보 추출 단계와;
    상기 객체 정보 추출 단계에서 추출된 객체 정보를 객체 알림 수신 클라이언트로 전송하여 객체 정보에 기초한 재난 상황별 대응을 가능하도록 하는 객체 정보 전송 단계;를 포함하며,
    상기 드론 이동 경로 도출 단계는,
    드론 출발 위치 초기값(sx, sy, 0)을 설정하는 드론 출발 위치 초기값 설정 단계와,
    드론 출발 위치의 최대 가능 고도(max_sz)를 설정하는 드론 출발 위치 고도 설정 단계와,
    (dx-sx) 및 (dy-sy)를 통해 드론 이동 경로(route_x, route_y)를 획득하는 드론 이동 경로 획득 단계와,
    드론의 이동 경로상의 고도 정보(route_z)를 획득하는 드론 이동 경로 고도 획득 단계와,
    드론 이동 경로(route_x, route_y)에 이동 경로상의 고도 정보(route_z)를 추가하여 드론의 전체 이동 경로를 도출하는 드론 전체 이동 경로 도출 단계;를 더 포함하며,
    상기 드론 비행 단계는,
    드론이 목적지 위치 상공에 도착하면 지상 물체와의 충돌 회피를 위해 레이더, 근접 센서 및 영상 분석 정보 중 적어도 어느 하나 이상의 충돌 방지 정보를 수신하여 최소 고도 정보를 도출한 다음 이동 경로상의 고도 정보(route_z)에 반영하여 드론을 하강시키는 드론 하강 단계를 더 포함하는 것을 특징으로 하는 스마트 드론을 사용한 재난 상황 대응 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 영상 데이터 수집 단계 다음으로 원격 관리자가 드론에 복귀 명령을 하면 이전에 입력된 드론 전체 이동 경로(route_x, route_y, route_z)를 역으로 사용하여 드론을 출발 위치(sx, sy, sz)로 복귀시키는 드론 복귀 단계를 더 포함하는 것을 특징으로 하는 스마트 드론을 사용한 재난 상황 대응 방법.
  9. 삭제
  10. 삭제
KR1020180151669A 2018-11-30 2018-11-30 스마트 드론을 사용한 재난 상황 대응 방법 KR102166432B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180151669A KR102166432B1 (ko) 2018-11-30 2018-11-30 스마트 드론을 사용한 재난 상황 대응 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151669A KR102166432B1 (ko) 2018-11-30 2018-11-30 스마트 드론을 사용한 재난 상황 대응 방법

Publications (2)

Publication Number Publication Date
KR20200065316A KR20200065316A (ko) 2020-06-09
KR102166432B1 true KR102166432B1 (ko) 2020-10-15

Family

ID=71082025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151669A KR102166432B1 (ko) 2018-11-30 2018-11-30 스마트 드론을 사용한 재난 상황 대응 방법

Country Status (1)

Country Link
KR (1) KR102166432B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318489B1 (ko) 2021-05-07 2021-10-28 대한민국(행정안전부 국립재난안전연구원장) 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법
KR102613983B1 (ko) 2022-12-26 2023-12-18 고려대학교산학협력단 무인 이동체를 활용한 실시간 구조요청 대응 방법 및 이를 위한 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203135B1 (ko) 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
KR102376921B1 (ko) * 2020-10-07 2022-03-23 한국국토정보공사 토지현황 분석을 위한 데이터베이스 구축 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417498B1 (ko) * 2012-12-21 2014-07-08 한국항공우주연구원 무인 항공기 획득 영상을 이용하는 영상 처리 장치 및 방법
KR101815028B1 (ko) * 2015-09-09 2018-01-04 (주)태성에스엔아이 무인 촬영 비행체의 이동 경로 설정 방법 및 무인 촬영 비행체의 이동 경로 설정 방법을 실행시키는 프로그램이 기록된 기록 매체
KR101692781B1 (ko) 2015-10-05 2017-01-04 금오공과대학교 산학협력단 드론 및 모니터링 센서 연동 기반의 재난 관리 시스템
KR101882452B1 (ko) * 2016-11-30 2018-07-27 경북도립대학교산학협력단 무선충전이 가능한 화재예방드론 시스템
KR101894409B1 (ko) 2017-11-29 2018-09-04 주식회사 무지개연구소 드론 관제 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318489B1 (ko) 2021-05-07 2021-10-28 대한민국(행정안전부 국립재난안전연구원장) 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법
KR102613983B1 (ko) 2022-12-26 2023-12-18 고려대학교산학협력단 무인 이동체를 활용한 실시간 구조요청 대응 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20200065316A (ko) 2020-06-09

Similar Documents

Publication Publication Date Title
KR102166432B1 (ko) 스마트 드론을 사용한 재난 상황 대응 방법
Barmpounakis et al. Unmanned Aerial Aircraft Systems for transportation engineering: Current practice and future challenges
Qi et al. Search and rescue rotary‐wing uav and its application to the lushan ms 7.0 earthquake
Geraldes et al. UAV-based situational awareness system using deep learning
Ivosevic et al. The use of conservation drones in ecology and wildlife research
US20190051046A1 (en) Incident Site Investigation and Management Support System Based on Unmanned Aerial Vehicles
Gatteschi et al. New frontiers of delivery services using drones: A prototype system exploiting a quadcopter for autonomous drug shipments
US9429945B2 (en) Surveying areas using a radar system and an unmanned aerial vehicle
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CN102637040B (zh) 无人机集群可视导航任务协同方法和系统
KR101791467B1 (ko) 드론을 이용한 원격 전력설비 점검 방법
JP7065477B2 (ja) 災害状況判定システムおよび災害判定飛行システム
Surmann et al. Integration of uavs in urban search and rescue missions
US20150025927A1 (en) Mission component evaluation and response architecture
KR102318489B1 (ko) 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법
KR101883292B1 (ko) 재난 구조 및 대응 시스템 및 그 운용 방법
CN109035665A (zh) 一种新型森林火灾预警系统及火灾预警方法
EP3689754A1 (en) Flying body, living body detection system, living body detection method, program and recording medium
Duncan et al. Autonomous Capabilities for Small Unmanned Aerial Systems Conducting Radiological Response: Findings from a High‐fidelity Discovery Experiment
CN106989728A (zh) 一种基于无人机的建筑地面测绘系统
KR20210041337A (ko) 순찰 출동 관제 시스템과 관제 장치 및 이의 운용 방법
KR102396330B1 (ko) 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법
Zhang et al. A framework of on-site construction safety management using computer vision and real-time location system
WO2019030820A1 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP2022518532A (ja) 単一の平面視画像フレームに基づく検出及び測距

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)