KR102417591B1 - 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 - Google Patents
온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 Download PDFInfo
- Publication number
- KR102417591B1 KR102417591B1 KR1020210186392A KR20210186392A KR102417591B1 KR 102417591 B1 KR102417591 B1 KR 102417591B1 KR 1020210186392 A KR1020210186392 A KR 1020210186392A KR 20210186392 A KR20210186392 A KR 20210186392A KR 102417591 B1 KR102417591 B1 KR 102417591B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- drone
- camera
- information
- board
- Prior art date
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000013473 artificial intelligence Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 31
- 230000009977 dual effect Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 239000004984 smart glass Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D43/00—Arrangements or adaptations of instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B64C2201/127—
-
- B64C2201/146—
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 온보드(On-Board)된 비행제어기(Flight controller : FC)와 비행제어 컴퓨터 보드(FCC)에 리눅스 운영체제 서버를 구성하고 실시간 카메라 영상획득과 짐벌제어정보와, 비행제어기의 자세정보, 기체 고도 각도센서 정보를 지피에스 시간정보에 클럭을 동기화하여, 카메라에 최적화된 실시간 동영상을 처리하고, 온보드 비행제어기의 신호동기화 최적화를 위해 통합된 하나의 신호처리 보드로 비행제어컴퓨터를 포함하고 있으며 리눅스 기반 운영체제로 드론에서 운영되는 모든 신호처리를 동기화하여 통합 운영하는 인터페이스를 갖고,
카메라 짐벌과 비행제어기 인터페이스를 통해 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 알고리즘을 통해 지구좌표계 표준 자세정보를 획득하고 카메라의 화각, 해상도 정보를 획득하며, 드론의 고도계는 저가 센서를 사용하므로 오차가 크게 발생되는 문제를 해결하기 이해 지피에스에 보정된 신호를 연동하도록 10cm미만 알티케이(RTK) 또는 1m미만 디지피에스(DGPS) 보정정보를 연동시키며, 비행제어 컴퓨터는 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하고, 비행제어 컴퓨터에서 동영상을 스마트조종기로 전송할 때 프레임용량에 따라 데이터 전송속도가 지연되는 문제를 해결하기 위해 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘이 구동하며, 드론 조종자가 운영하는 스마트조종기는 드론에서 엠팩(MPEG) 동영상을 수신받아 처리하는 조종기 온보드 컴퓨터는 리눅스 기반 이중 아이피(Dual IP)중계 서버로 구성하여 스마트조종기에서 수신받은 엠팩(MPEG) 스트리밍은 지상관제시스템(GCS)와 인공지능 처리기에 동시 전송하고, 지상관제시스템(GCS)은 동영상 엠피이지(MPEG)를 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 메타정보를 해석하고 드론의 카메라 방향과 지형위치를 모사하며 동영상은 해당위치에서 실시간 표출하며, 인공지능 처리기는 엠팩(MPEG) 데이터를 전송받아 동영상과 메타정보를 분리하고 동영상은 학습된 인공지능 알고리즘(사람, 탱크 등 찾으라 하는 것)으로 객체를 인식하며, 인식된 객체는 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 각각 표시하여 인공지능 객체식별에 대해 시간의 위치결정 방법을 제공하는 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템을 제공한다.
카메라 짐벌과 비행제어기 인터페이스를 통해 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 알고리즘을 통해 지구좌표계 표준 자세정보를 획득하고 카메라의 화각, 해상도 정보를 획득하며, 드론의 고도계는 저가 센서를 사용하므로 오차가 크게 발생되는 문제를 해결하기 이해 지피에스에 보정된 신호를 연동하도록 10cm미만 알티케이(RTK) 또는 1m미만 디지피에스(DGPS) 보정정보를 연동시키며, 비행제어 컴퓨터는 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하고, 비행제어 컴퓨터에서 동영상을 스마트조종기로 전송할 때 프레임용량에 따라 데이터 전송속도가 지연되는 문제를 해결하기 위해 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘이 구동하며, 드론 조종자가 운영하는 스마트조종기는 드론에서 엠팩(MPEG) 동영상을 수신받아 처리하는 조종기 온보드 컴퓨터는 리눅스 기반 이중 아이피(Dual IP)중계 서버로 구성하여 스마트조종기에서 수신받은 엠팩(MPEG) 스트리밍은 지상관제시스템(GCS)와 인공지능 처리기에 동시 전송하고, 지상관제시스템(GCS)은 동영상 엠피이지(MPEG)를 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 메타정보를 해석하고 드론의 카메라 방향과 지형위치를 모사하며 동영상은 해당위치에서 실시간 표출하며, 인공지능 처리기는 엠팩(MPEG) 데이터를 전송받아 동영상과 메타정보를 분리하고 동영상은 학습된 인공지능 알고리즘(사람, 탱크 등 찾으라 하는 것)으로 객체를 인식하며, 인식된 객체는 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 각각 표시하여 인공지능 객체식별에 대해 시간의 위치결정 방법을 제공하는 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템을 제공한다.
Description
본 발명은 온보드 비행제어 컴퓨터가 구비된 드론에 관한 것으로, 더욱 상세하게는 드론의 고속비행 중 드론 카메라가 바라보는 동영상 객체위치의 좌표획득과 인공지능으로 추출된 객체의 위치 결정 시 드론 카메라에서 획득된 실시간 동영상과 드론 비행정보와 짐벌 자세정보를 온보드 비행제어 컴퓨터에서 처리하고, 이를 해당 드론의 온보드 비행제어 컴퓨터에서 글로벌 좌표 표준자세 값으로 변환하여 동영상과 메타정보를 융합한 컨테이너 포맷으로 프레임을 구성하여 저장 및 스마트조종기로 전송하고 스마트조종기의 지상관제시스템(GCS)에서 수신된 엠펙(MPEG) 동영상 포맷을 영상과 메타정보로 분리(파싱)하여 지리정보에 표시하며 스마트조종기에서 인공지능 처리기로 전송된 엠펙(MPEG)을 분리하여 동영상은 인공지능 학습된 객체인식으로 식별하고 식별된위치 좌표는 메타정보로 산출된 객체의 시간좌표를 동기화 하여 결정된 위치와 시간정보를 처리할 수 있는 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템에 관한 것이다.
드론을 이용한 영상획득 기술이 지속적으로 발전하고 있다. 또한 드론에 인공지능 기술이 적용되면서 실시간 드론 동영상 위치와 시간정보의 객체식별 중요성이 대두되고 있으며, 드론이 실시간 이동중 자연적, 인공적인 객체에 대해 카메라가 바라보는 위치의 좌표와 시간정보를 함께 제공하는 서비스 기술수요가 확대 되고 있다.
지금까지는 드론의 영상은 비행하는 위치를 드론 지피에스(GPS) 값으로 동영상과 지피에스 비행정보를 별도로 수신 받아 드론이 촬영한 위치좌표를 구하기 위해 영상저장과 메칭하여 지피에스 비행정보를 저장하여 활용하는 것이 일반적이다.
그러나 현재까지는 드론의 위치와 카메라가 바라보는 거리 각도 자세값의 오차와 영상전송에서 데이터의 불규칙한 크기로 전송지연이 발생하고 있어 오차가 너무크게 발생하여 어려움을 겪고 있었다.
이러한 어려움을 해결하기 위한 방법으로는 드론에 컴퓨터를 탑재하거나 고가의 영상처리기와 신호처리기를 탑재하여 드론이 바라보는 카메라의 위치를 실시간 동기화를 위해 연구되고 있지만 이를 위하여는 컴퓨터를 탑재할만큼 드론의 크기가 대형화되어야 되어야 하는 문제와, 각각의 장치를 연결하는 과정에서 신호지연 등이 발생하여 크기가 너무 커지는 한편 고가의 장비로 운영의 어려움이 있었다.
또한 드론에서 동영상의 실시간 프레임 특성은 드론 비행자세와 데이터 표현값과 카메라 짐벌의 자세표현값이 서로 다르게 운동하며 출력되고 있어 두 개의 운동자세 결정은 카메라가 바라보는 최종 자세값으로 통합하고 최종 자세값은 글로벌 표준규격의 자세값으로 변환하여 메타정보에 저장되어야 하며, 카메라가 바라보는 고도값이 매우 중요하여 드론의 고도계는 비행중 오차가 수m이상 발생되어 카메라가 바라보는 위치 오차가 크므로 이를 위하여 지피에스를 보정하는 디지피에스(DGPS)는 1m이내 알티케이(RTK)보정은 10cm미만의 고도를 보정하고 각계는 지피에스(GPS) 아이엠유(IMU)와 지자기센서를 결합한 알고리즘으로 시간동기화된 기술구현이 요구되고 있어 드론에서 소형화 경량화 방법의 어려움으로 대중화되지 못하고 있다.
특히 드론 동영상 특성은 비행경로 변경에 따라 일반적으로 고정되어 있는 영상프레임보다 동영상의 변화가 심하게 발생하며, 동영상 프레임은 이전프레임과 현재프레임의 변화된 정보만을 압축하여 전송하는 특징으로 이전 프레임과 현재의 프레임 변화가 클 경우 동영상 프레임 데이터가 증가되어 드론에서 무선으로 전송될 때 데이터량의 불규칙한 규격으로 전송 지연시간이 발생되는 특징도 있으며, 드론 조종자는 드론으로 부터 수신된 영상에서 객체식별을 하였어도 어느 시점의 동영상인지 프레임 영상만 가지고 확인이 어려운 문제가 있다.
최근 드론 영상이 인공지능에 접목되면서 드론영상의 객체 식별된 실시간 위치와 시간의 정보 요구가 더욱더 증가하고 있다. 따라서 드론이 비행중 드론 동영상의 시간의 위치좌표 획득은 카메라가 바라보는 짐벌자세 정보와 드론이 비행하는 자세의 정보에 카메라 각도, 정밀한 고도정보를 통해 동영상 프레임에 실시간 동기화 방법이 필요하다.
또한 드론에서 획득된 영상은 드론 운영자에게 무선으로 전송되어야 하며 동영상 전송은 데이터 증가의 변화폭이 크게 발생하며 부선 통신은 한정된 주파수 자원에 따라 일정속도로 동영상과 카메라규격 정보를 포함한 위치 자세의 메타정보를 손실없이 전송되도록 데이터 전송 조절기능이 요구된다.
그리고 드론에서 전송된 동영상 엠펙(MPEG)는 스마트조종기의 온보드 컴퓨터에서 수신되고, 지상관제시스템(GCS)과 인공지능 처리기에 동시에 전송되는 컴퓨터 기능을 갖고 있으며 지상관제시스템은 엠팩을 분석하여 동영상과 메타정보를 지리정보 시스템과 함께 이용되므로 인공지능 처리기는 학습엔진을 통해 동영상의 객체인식과 메타정보의 위치좌표 획득이 가능하며, 이러한 방법은 현재의 시간에 영상이 아니고 이동중 카메라가 바라보는 각도의 시간의 위치와 동기화된 동영상 좌표를 드론 카메라로 바라보는 위치의 시간에 동기화된 영상위치 식별을 표출하는 방법이므로 실시간 동영상이 실제위치 좌표에 표출되는 프레임을 드론에 탑재된 온보드 비행제어 컴퓨터와 스마트조종기의 온보드 서버로 구현하여 동영상 촬영 당시의 좌표동기화 기술로 서비스하는 방법이 필요하다.
한편 특허 제10-1943823호 종래의 기술은 고속비행중 정밀위치 데이터 획득을 위한 무인기 및 고속비행중 정밀위치 데이터 획득을 위한 무인기 임무장비 동기화 결정 방법으로 드론(무인기)의 사진촬영중 위치오차 발생요인에 관한 발명이며 종래 기술은 드론을 이용한 3차원 모델링에 필요한 사진촬영에서 동기화 방법이다.
기존 촬영 방법은 일반적으로 드론에 장착되는 카메라 짐벌이 직하방향으로 고정시켜 드론의 지피에스(GPS)좌표와 카메라 짐벌의자세 정보를 사진과 메타정보로 동기화 시켜 촬영하는 방법을 설명하고 있으며, 3차원 모델링은 사진의 중첩도에 따라 스테레오 영상기법으로 정사영상을 생성하는 방법으로, 정밀도 향상을 위해 운용자는 후처리보정을 위한 지상의 지상기준점(GCS) 표시좌표를 드론이 함께 촬영하여 상용화된 3D모델링 소프트웨어서 지상기준점을 기준으로 정사 모자이크 처리를 통해 정확도를 향상시키는 촬영방법이다.
이러한 방법은 드론이 촬영경로에 따라 사진촬영 위치결정을 GPS정보에 동기화하여 사진촬영 영상위치 결정하는 방법으로 사진촬영의 위치정밀도를 높이기 위한 기술이다.
그리고 등록특허 10-2242366호는 토공현장의 디지털맵 생성을 위한 드론 기반 지상기준점 배치 자동화 장치로, GPS오차가 크기 때문에 cm정밀도를 갖는 RTK보정 기술로 3차원 디지털맵 생성을 위해 가상기준점의 배치를 RTK기술로 사진촬영 방법을 제시하고 있다.
특히 기존 동영상 전송 방법은 아날로그 또는 HDMI 통신 방식이 많이 사용되고 있으며 이는 이미지 덤프 방식으로 드론 이동중 데이터 증가되는 문제를 동일한 규격으로 영상을 송출하는 방법으로 메타정보를 포함하지 못하는 문제가 있고, 메타정보를 포함한 정보를 아날로그 HDMI로 변환되면 동영상 프레임에 포함된 메타정보는 삭제되는 문제가 있어 좌표인식에서는 활용되지 않은 영상 포맷이다.
또한 드론에서 동영상에서 위치정보 정밀도를 높이기 위해 별도의 위성항법(GNSS) 보정기술인 알티케이(RTK) 동기화 기술을 적용하고 있으나 이는 드론위치의 정밀도가 향상되는 효과만 있을뿐 실시간 카메라가 바라보는 위치 계산에 필요한 GPS시간에 위치좌표와 카메라정보 및 드론 자세와 짐벌 자세의 융합된 표준자세 정보, 정밀한 각도, 고도를 신호처리 손실 없이 결정하기 위해 카메라, 짐벌, 기체, 비행제어등 서로다른 장치를 연결할 경우 획득되는 정보의 통합 누적오차가 발생하고, 데이터 지연 문제로 기술적 한계를 가지고 있다.
그리고 종래 기술에서의 동영상 특징은 현재의 영상 프레임은 이전프레임의 변화된 정보를 압축하여 전송되는 정보이므로 각 프레임은 정확한 시간과 장소를 알 수 없는 특징과 드론에서 무선전송 될 때 특정프레임의 데이터량 증가로 지연(Delay)시간이 발생하는 문제로 물체식별을 탐지하여도 정확한 위칙 식별이 어려워 수백m 오차가 발생하며, 현재 드론에서 메타정보가 없은 경우 카메라가 바라보는 영상 프레임의 위치는 이전영상의 변화 값의 연속적인 이미지를 가지고 있어도 영상 전송이후 운용자가 바라보는 동영상 프레임만 가지고 위치와 시간의 시점을 알 수가 없는 문제점은 항상 대두되고 있다.
이러한 동영상처리와 메타정보의 융합은 높은 성능의 컴퓨터가 드론에 탑재되어야 정밀한 자세와 화각을 포함하는 동기화 및 메타정보와 동영상 융합은 가능하나 소형드론에서 운용 가능한 서버구성 방법과 동영상 생성과 메타정보 처리가능한 컴퓨터 융합기술구현이 어렵고 신호처리가 분산될 경우 지연되는 문제와 대량의 동영상 프레임 용량이 크게 변화될 때 무선통신 구간에서 한정된 주파수로 영상이 지연되거나 영상전송의 시피유(CPU) 처리 한계로 지연되는 문제가 발생되고 있다.
이렇듯 종래에는 드론에서 다양한 주변기기 인터페이스로 데이터 통합으로 동기화되지 않은 영상처리 문제와 메타정보 컨테이너 디지털 영상은 HDMI 또는 아나로그 포맷으로 변환될 경우 동영상과 메타정보가 손상되는 문제와. 드론에서 전송되는 동영상 무선 트레픽 자동조절과 한정된 통신 주파수에 용량이 큰 데이터가 전송될때 통신지연되는 문제가 있었다.
본 발명에서는 동영상 디지털 정보의 시간의 좌표를 동영상 프레임에서 손실 없이 드론에서 전송된 스마트조종기의 영상이 지상관제장비와 인공지능 처리기로 전송하기 위한 2중화 서버 컴퓨터 구성 방법과 스마트조종기에서 지상관제시스템(GCS)에서 지리정보 시스템(GIS)에 드론 이 바라보는 갇도 표시와 동영상이 실시간 좌표로 표현되는 방법 및 인공지능 처리기는 엠팩(MPEG)를 통해 동영상과 메타정보를 통해 학습된 객체식별과 객체의 좌표를 계산하고 그 결과를 스마트안경 또는 모니터를 통해 인공지능의 혼합현실(Mixed Reality)을 구현하여 서비스가 이루어지는 방법을 해결하고자 한다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 온보드(On-Board)된 비행제어기(Flight controller : FC)와 비행제어 컴퓨터 보드(FCC)에 리눅스 운영체제 서버를 구성하고 실시간 카메라 영상획득과 짐벌제어정보와, 비행제어기의 자세정보, 기체 고도 각도센서 정보를 지피에스 시간정보에 클럭을 동기화하여, 카메라에 최적화된 실시간 동영상을 처리하고, 온보드 비행제어기의 신호동기화 최적화를 위해 통합된 하나의 신호처리 보드로 비행제어컴퓨터를 포함하고 있으며 리눅스 기반 운영체제로 드론에서 운영되는 모든 신호처리를 동기화하여 통합 운영하는 인터페이스를 갖는 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템을 제공하는데 그 목적이 있다.
또한 본 발명은 카메라 짐벌과 비행제어기 인터페이스를 통해 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 알고리즘을 통해 지구좌표계 표준 자세정보를 획득하고 카메라의 화각, 해상도 정보를 획득하며, 드론의 고도계는 저가 센서를 사용하므로 오차가 크게 발생되는 문제를 해결하기 이해 지피에스에 보정된 신호를 연동하도록 10cm미만 알티케이(RTK) 또는 1m미만 디지피에스(DGPS) 보정정보를 연동시키며, 비행제어 컴퓨터는 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하고, 비행제어 컴퓨터에서 동영상을 스마트조종기로 전송할 때 프레임용량에 따라 데이터 전송속도가 지연되는 문제를 해결하기 위해 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘이 구동하며, 드론 조종자가 운영하는 스마트조종기는 드론에서 엠팩(MPEG) 동영상을 수신받아 처리하는 조종기 온보드 컴퓨터는 리눅스 기반 이중 아이피(Dual IP)중계 서버로 구성하여 스마트조종기에서 수신받은 엠팩(MPEG) 스트리밍은 지상관제시스템(GCS)와 인공지능 처리기에 동시 전송하고, 지상관제시스템(GCS)은 동영상 엠피이지(MPEG)를 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 메타정보를 해석하고 드론의 카메라 방향과 지형위치를 모사하며 동영상은 해당위치에서 실시간 표출하며, 인공지능 처리기는 엠팩(MPEG) 데이터를 전송받아 동영상과 메타정보를 분리하고 동영상은 학습된 인공지능 알고리즘(사람, 탱크 등 찾으라 하는 것)으로 객체를 인식하며, 인식된 객체는 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 각각 표시하여 인공지능 객체식별에 대해 시간의 위치결정 방법을 제공하는 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템을 제공하는데 다른 목적이 있다
상기한 목적을 달성하기 위하여 본 발명은 위성측위시스템(GNSS) 수신기를 이용하며, RTK/DGPS 보정정보를 수신받아 GPS 보정을 하도록 구성되는 위성항법장치(GPS)(100)와, 온보드(On-Board)된 비행제어기(Flight controller : FC)와 비행제어 컴퓨터 보드(FCC)에 리눅스 운영체제 서버를 구성하고 실시간 카메라 영상획득과 짐벌제어정보와, 비행제어기의 자세정보, 기체 고도 각도센서 정보를 지피에스 시간정보에 클럭을 동기화하여, 카메라에 최적화된 실시간 동영상을 처리하며, 온보드 비행제어기의 신호동기화 최적화를 위해 통합된 하나의 신호처리 보드로 비행제어컴퓨터를 포함하고 있으며 카메라 짐벌(300)과 비행제어기 인터페이스를 통해 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 미리 설정된 알고리즘을 통해 지구좌표계 표준 자세정보를 획득하며 상기 카메라 짐벌(300)의 카메라의 화각, 해상도 정보를 획득하고, 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하며, 동영상을 스마트조종기(400)로 전송할 때 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘을 이용하는 온보드 비행제어 컴퓨터(200)를 포함하여 구성됨을 특징으로 하는 온보드 비행제어 컴퓨터가 구비된 드론을 제공한다.
여기서 온보드 비행제어컴퓨터(200)는 자세/고도/각도의 센서부와, 모터를 구동하기 위한 ESC(Electronic Speed Controller) 전원제어부, 상기 스마트조종기(400)로 영상 데이터를 송신하기 위한 영상통신부, 상기 스마트조종기(400)로부터 제어신호를 수신받기 위한 제어통신부 및 제어통신부의 제어에 의해 비행을 제어하는 비행제어부를 포함하여 구성됨을 특징으로 한다.
그리고 상기한 목적을 달성하기 위하여 본 발명은 위성측위시스템(GNSS) 수신기를 이용하며, RTK/DGPS 보정정보를 수신받아 GPS 보정을 하도록 구성되는 위성항법장치(GPS)(100); 온보드(On-Board)된 비행제어기(Flight controller : FC)와 비행제어 컴퓨터 보드(FCC)에 리눅스 운영체제 서버가 구성되고, 실시간 카메라 영상획득과 짐벌제어정보와, 비행제어기의 자세정보, 기체 고도 각도센서 정보를 지피에스 시간정보에 클럭을 동기화하여, 카메라에 최적화된 실시간 동영상을 처리하며, 온보드 비행제어기의 신호동기화 최적화를 위해 통합된 하나의 신호처리 보드로 비행제어컴퓨터를 포함하고 있으며, 카메라 짐벌(300)과 비행제어기 인터페이스를 통해 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 미리 설정된 알고리즘을 통해 지구좌표계 표준 자세정보를 획득하며 상기 카메라 짐벌(300)의 카메라의 화각, 해상도 정보를 획득하고, 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하며, 동영상을 스마트조종기(400)로 전송할 때 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘을 이용하는 온보드 비행제어 컴퓨터(200); 조종기 온보드 컴퓨터로 리눅스 운영체제로 구동되며, 조종제어기를 포함하고, 지상관제시스템을 포함하며, 상기 온보드 비행제어 컴퓨터(200) 제어를 위한 제어통신부와, 상기 온보드 비행제어 컴퓨터(200)와 영상통신을 수행하는 영상통신부 및 듀얼 IP 중계부를 포함하여 구성되는 스마트 조종기(400); 상기 스마트 조종기(400)로부터 엠펙(MPEG) 데이터를 전송받아 동영상과 메타정보를 분리하고 동영상은 학습된 인공지능 알고리즘으로 객체를 인식하며, 인식된 객체는 미리 학습된 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 혼합현실 모니터(600)로 제공하는 인공지능 학습기(500); 및 스마트 안경 또는 모니터를 포함하여 구성되어 상기 인공지능 학습기(500)에서 제공된 드론 카메라 동영상 객체위치 좌표를 표시하는 혼합혼실 모니터(600);를 포함하여 구성됨을 특징으로 하는 온보드 비행제어 컴퓨터가 구비된 드론을 이용한 카메라 동영상 객체 위치 좌표 획득 시스템을 제공한다.
여기서 상기 스마트 조종기(400)는 드론 조종자가 운영하는 스마트조종기로, 상기 온보드 비행제어 컴퓨터(200)에서 엠팩(MPEG) 동영상을 수신받아 처리하는 온보드 컴퓨터는 리눅스 기반 이중(Dual) 아이피(IP) 중계 서버(듀얼 IP 중계부)로 구성되어 엠팩(MPEG) 스트리밍은 지상관제시스템(GCS)와 혼합현실 모니터(600)에 구성되는 인공지능 처리기에 동시 전송되며, 상기 지상관제시스템(GCS)에서는 동영상 엠피이지(MPEG)를 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 메타정보를 해석하고, 드론의 카메라 방향과 지형위치를 모사하며, 동영상은 해당위치에서 실시간 표출하도록 구성된 것을 특징으로 한다.
본 발명의 실시 예에 따르면 다음과 같은 효과가 있다.
첫째, 비행제어기(Flight controller : FC)와 비행제어 컴퓨터 보드(FCC)에 리눅스 운영체제 서버를 온보드(On-Board)로 구성함으로써 안정적인 실시간 카메라 영상획득과 짐벌제어정보와, 비행제어기의 자세정보, 기체 고도 각도센서 정보를지피에스 시간정보에 클럭을 동기화하여, 카메라에 최적화된 실시간 동영상을 처리할 수 있고, 온보드화함에 따라 드론의 크기를 획기적으로 소형화할 수 있다.
둘째, 동영상 디지털 정보의 시간의 좌표를 동영상 프레임에서 손실없이 드론에서 전송된 스마트조종기의 영상이 지상관제장비와 인공지능 처리기로 전송하기 위한 2중화 서버 컴퓨터로 구성하여 스마트조종기에서 지상관제시스템(GCS)에서 지리정보 시스템(GIS)에 드론이 바라보는 각도 표시와 동영상이 실시간 좌표로 표현하고, 인공지능 처리기에서 엠팩(MPEG)을 통해 동영상과 메타정보를 통해 학습된 객체식별과 객체의 좌표를 계산하고 그 결과를 스마트안경 또는 모니터를 통해 인공지능의 혼합현실(Mixed Reality)을 구현함으로써, 공중에서 이동 중인 드론 카메라에서 촬영되어 전송된 동영상에 대하여도 동영상 객체위치 좌표 획득이 안정적으로 서비스가 이루어진다.
도 1은 본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 운영개요를 설명하기 위한 도면,
도 2는 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 학습된 객체 인식기반의 정밀위치 추정과 변경 변화 검출 기술의 실시예를 설명하기 위한 도면,
도 4 및 도 5는 본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론을 설명하기 위한 도면,
도 6은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 인공지능 학습 객체인식과, 인공지능 학습 결과를 설명하기 위한 도면,
도 7은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 스마트조정기와 인공지능 학습기에서 메타정보 손실없는 엠펙 듀얼 서비스를 설명하기 위한 도면,
도 8은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 인공지능 학습기에서 탱크객체인식 학습엔진을 실행하고, 이를 혼합현실 모니터에서 디스플레이한 예를 보여주는 도면이다.
도 9 및 도 10은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 인공지능 학습기에서 사람객체인식 학습엔진을 실행하고, 이를 혼합현실 모니터에서 디스플레이한 예를 보여주는 도면이다.
도 2는 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 학습된 객체 인식기반의 정밀위치 추정과 변경 변화 검출 기술의 실시예를 설명하기 위한 도면,
도 4 및 도 5는 본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론을 설명하기 위한 도면,
도 6은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 인공지능 학습 객체인식과, 인공지능 학습 결과를 설명하기 위한 도면,
도 7은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 스마트조정기와 인공지능 학습기에서 메타정보 손실없는 엠펙 듀얼 서비스를 설명하기 위한 도면,
도 8은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 인공지능 학습기에서 탱크객체인식 학습엔진을 실행하고, 이를 혼합현실 모니터에서 디스플레이한 예를 보여주는 도면이다.
도 9 및 도 10은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 인공지능 학습기에서 사람객체인식 학습엔진을 실행하고, 이를 혼합현실 모니터에서 디스플레이한 예를 보여주는 도면이다.
본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 1은 본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 운영개요를 설명하기 위한 도면이고, 도 2는 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 실시예를 설명하기 위한 블록 구성도이다.
본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 운영개요는 도 1에 나타낸 바와 같은데, 위성항법장치(GPS)(100), 온보드 비행제어컴퓨터(200), 카메라 짐벌(300), 스마트 조종기(400), 인공지능 학습기(500) 및 혼합현실 모니터(600)를 포함하여 구성되는 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 카메라 짐벌(300)에 대하여 비행제어 컴퓨터(200)에서 좌표를 획득하여 영상과 메타정보가 동기화되고, 드론에 구비된 미션 컴퓨터(온보드 비행제어컴퓨터(200))에서 영성동기화된 엠펙(MPEG)이 전송된다. 즉 엠펙 트레픽의 전송관리가 수행되고, 스마트 조정기(400)는 이중(Dual) 영상 스트리밍을 위한 이중 IP 중계 서버로 구성되며, 혼합현실 모니터(600)에서는 인공지능 학습(메타)에 의해 혼합현실을 모니터링하여 객제인식 좌표 서비스를 제공한다.
이를 위한 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 실시예는 도 2에 나타낸 바와 같은데, 위성항법장치(GPS)(100)는 위성측위시스템(GNSS) 수신기를 이용하며, RTK/DGPS 보정정보를 수신받아 GPS 보정을 하도록 구성된다.
온보드 비행제어컴퓨터(200)는 온보드(On-Board)된 비행제어기(Flight controller : FC)와 비행제어 컴퓨터 보드(FCC)에 리눅스 운영체제 서버를 구성하고 실시간 카메라 영상획득과 짐벌제어정보와, 비행제어기의 자세정보, 기체 고도 각도센서 정보를 지피에스 시간정보에 클럭을 동기화하여, 카메라에 최적화된 실시간 동영상을 처리하며, 온보드 비행제어기의 신호동기화 최적화를 위해 통합된 하나의 신호처리 보드로 비행제어컴퓨터를 포함하고 있으며 리눅스 기반 운영체제로 드론에서 운영되는 모든 신호처리를 동기화 하여 통합 운영하는 인터페이스를 갖는다.
특히 카메라 짐벌(300)과 비행제어기 인터페이스를 통해 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 미리 설정된 알고리즘을 통해 지구좌표계 표준 자세정보를 획득하고, 카메라 짐벌(300)의 카메라의 화각, 해상도 정보를 획득하며, 드론의 고도계는 저가 센서를 사용하므로 오차가 크게 발생되는 문제를 해결하기 위해 지피에스에 보정된 신호를 연동하도록 10cm미만 알티케이(RTK) 또는 1m미만 디지피에스(DGPS) 보정정보를 연동시키도록 구성되었다.
또한 온보드 비행제어 컴퓨터(200)는 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하고, 온보드 비행제어 컴퓨터(200)에서 동영상을 스마트조종기(400)로 전송할 때 프레임용량에 따라 데이터 전송속도가 지연되는 문제해결 위해 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘이 이용되도록 하였다.
이러한 온보드 비행제어컴퓨터(200)는 자세/고도/각도의 센서부와, 모터를 구동하기 위한 ESC(Electronic Speed Controller) 전원제어부를 포함하여 구성되며, 영상통신부, 제어통신부 및 비행제어부를 포하하여 구성된다. 온보드 비행제어컴퓨터(200)는 위성항법장치(GPS)(100)로부터 정밀한 위치/고도/시간정보와, 카메라 짐벌(300)로부터 짐벌정보와 동영상정보(H.264 영상)를 수신받아 지상의 스마트 조정기(400)와 영상통신 및 제어 통신을 수행한다. 즉 상기 온보드 비행제어컴퓨터(200)는 자세/고도/각도의 센서부와, 모터를 구동하기 위한 ESC(Electronic Speed Controller) 전원제어부, 상기 스마트조종기(400)로 영상 데이터를 송신하기 위한 영상통신부, 상기 스마트조종기(400)로부터 제어신호를 수신받기 위한 제어통신부 및 제어통신부의 제어에 의해 비행을 제어하는 비행제어부를 포함하여 구성된다.
스마트 조종기(400)는 드론 조종자가 운영하는 스마트조종기로, 드론의 온보드 비행제어 컴퓨터(200)에서 엠팩(MPEG) 동영상을 수신받아 처리하는 조종기 온보드 컴퓨터는 리눅스 기반 이중(Dual) 아이피(IP) 중계 서버(듀얼 IP 중계부)로 구성하여 스마트조종기에서 수신받은 엠팩(MPEG) 스트리밍은 스마트 조종기(400)에 구비되는 지상관제시스템(GCS)와 혼합현실 모니터(600)에 구성되는 인공지능 처리기에 동시 전송되며, 지상관제시스템(GCS)에서는 동영상 엠피이지(MPEG)를 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 메타정보를 해석하고 드론의 카메라 방향과 지형위치를 모사하며 동영상은 해당위치에서 실시간 표출한다.
이를 위한 스마트 조종기(400)는 조종기 온보드 컴퓨터로 리눅스 운영체제로 구동되며, 조종제어기를 포함하고, 지상관제시스템(GCS(테블릿 PC 등))을 포함하며, 온보드 비행제어 컴퓨터(200) 제어를 위한 제어통신부와, 온보드 비행제어 컴퓨터(200)와 영상통신을 수행하는 영상통신부 및 듀얼 IP 중계부를 포함하여 구성된다.
인공지능 학습기(500)는 스마트 조종기(400)로부터 엠펙(MPEG) 데이터를 전송받아 동영상과 메타정보를 분리하고 동영상은 학습된 인공지능 알고리즘(예를 들어 사람, 탱크, 재선충 등을 찾으라 하는 것)으로 객체를 인식하며, 인식된 객체는 미리 학습된 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 혼합현실 모니터(600)로 제공한다.
여기서 혼합혼실 모니터(600)는 스마트 안경이나 모니터 등으로 구성되어 인공지능 학습기(500)에서 제공된 드론 카메라 동영상 객체위치 좌표를 표시한다.
도 3은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 학습된 객체 인식기반의 정밀위치 추정과 변경 변화 검출 기술의 실시예를 설명하기 위한 도면이다.
본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 학습된 객체 인식기반의 정밀위치 추정과 변경 변화 검출 기술의 실시예는 도 3에 나타낸 바와 같이, 우선, 딥러닝 객체를 인식하고, 거리를 추정하며, 상대적. 절대위치가 보고된다.
여기서 딥러닝 객체 인식은,
식1과 같고,
여기서, 딥러닝 객체인식 : L은 loss이고, p는 predicted class scores이며, u는 True class scores이고, tu는 True box coordinates이며, v는 predicted box coordinates로, 이는 실제 위치와 추정위치간의 차이를 뜻하며 이를 낮추도록 학습을 한다는 의미의 수식이다.
그리고 거리 추정은 식 2와 같다.
여기서 Distance on ground(D)는 지상에서 목표 거리 찾기이고, Target global position은 객체 인식 위치좌표이다.
그리고 상대적 절대 위치 보고는 객체 인식기반의 정밀 위치 추정과 변경 변화를 검출하는 것이다.
도 4 및 도 5는 본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명에 따른 온보드 비행제어 컴퓨터가 구비된 드론을 설명하기 위한 도면으로, 도 2에서와 같은 온보드 비행제어컴퓨터(200)에 구성되는 센서부와, 비행제어, 리눅스 운영체제로 운영되는 비행제어컴퓨터, 제어통신부, 영상통신부 및 전원제어부가 하나의 보드에 온되어 있는 것을 보여주고 있다. 이를 통해 도 5의 좌측에서의 기존 드론에서는 센서 및 메인보드, 비행제어 컴퓨터 보드, 짐벌 제어보드(짐벌 제어기), 배터리 셀로 이루어지는 배터리 팩, 전원제어보드(전원제어기) 등의 여러 보드가 하나의 드론 핵심 부품들을 구성함에 따라 드론이 대형화하였음에 반해 본원발명은 우측에서와 같이, 하나의 온보드 비행제어컴퓨터(200)에 온보드 됨으로서 소형 경량화 온보드 비행제어가 가능한 것을 보여주고 있다.
도 6은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 인공지능 학습 객체인식과, 인공지능 학습 결과 처리를 설명하기 위한 도면이고, 도 7은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 스마트조정기와 인공지능 학습기에서 메타정보 손실없는 엠펙 듀얼 서비스를 설명하기 위한 도면이며, 도 8은 본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템의 인공지능학습기에서 탱크 객체 인식 학습엔진 실행 결과의 예시를 나타낸 도면이다.
본 발명에 따른 드론 카메라 동영상 객체 위치 좌표 획득 시스템에서 인공지능 학습 객체인식과, 인공지능 학습 결과에 대한 처리는 도 6 및 도 7에서와 같은데, 위성항법장치(GPS)(100)에서의 GPS 위치정보와 고도/각도정보, 카메라 짐벌(300)에서의 짐벌 자세정보(카메라 화각 정보)와 동영상 정보는 온보드 비행제어컴퓨터(200)에서 동기화 되고, 온보드 비행제어 컴퓨터(200)에서는 동기화된 메타정보와 동영상 정보를 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출한다(미션 컴퓨터 운영부). 이때 앞에서 설명한 바와 같이 프레임용량에 따라 데이터 전송속도가 지연되는 문제해결 위해 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘이 구동된다.
그리고 이를 스마트 조종기(400)로 전송하면 조종기 온보드 컴퓨터는 리눅스 기반 이중(Dual) 아이피(IP)중계 서버(듀얼 IP 중계부)로 구성된 스마트 조종기(400)는 엠펙 프레임을 수신받아 처리하여 스마트조종기(400)에서 수신받은 엠팩(MPEG) 스트리밍은 지상관제시스템(GCS)(타블렛 PC 등)과 인공지능 학습에 동시 전송된다.
지상관제시스템(GCS)은 동영상 엠피이지(MPEG)를 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 메타정보를 해석하고 드론의 카메라 방향과 지형위치를 모사하며 동영상은 해당위치에서 실시간 표출한다.
인공지능 학습기(500)는 엠팩(MPEG)데이터를 전송받아 동영상(H.264)과 메타정보를 분리(엠펙 패킷 분리)하고 동영상은 학습된 인공지능 알고리즘(사람, 탱크 등 찾으라 하는 것)으로 객체를 인식하며, 인식된 객체는 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 각각 표시한다.
혼합현실 모니터(600)는 혼합현실 인공지능(MR)을 통해 타블렛 GIS와 객체검출을 하고, 타블렛 GIS 좌표정보에 따라 모니터(스마트 안경)에 표시한다.
이를 단계별로 설명하면, 1단계로 실시간 카메라 짐벌(300) 동영상 드론 비행 메타정보 동기화 SW 구현한다. 이때, 실시간 동영상 획득 동기화하고, 실시간 카메라 화각 짐벌자세 + 위치각도 고도 메타정보 동기화한다.
그 다음 2단계로, 미션컴퓨터 동기화된 H.26x영상 + 메타정보 MPEG 프레임 생성한다. 이때, H.26x 동영상 + 메타정보 콘테이너 MPEG 프레임 생성하고, MPEG를 암호 알고리즘 적용 암호화 인코딩, 디코딩 작업을 수행한다.
이어 3단계로, Dual 서비스 IP중계 서버포팅한다. 이때, 동영상 Dual IP 중계 서버 포팅(리눅스 우분트 기반의) 하고, 스마트조종기는 MPEG 동영상 지상관제 시스템(GCS), 인공지능 학습기를 포함한다.
그리고 4단계로, 감시정찰 객체식별 위한 인공지능 학습기 좌표 획득 알고리즘이 수행되는데, 객체인식 사전학습 딥러닝이 수행되어 인공지능 감시정찰 객체인식(실시간 전장 객체 식별 및 위치 추정)을 수행한다.
그 다음 5단계로, 동영상 객체식별 혼합현실 스마트안경 콘텐츠 서비스 제작한다. 이때 스마트안경용 동영상 객체 혼합현실(MR) 콘텐츠 제작한다(UI 포함).
이어 6단계로, 지리정보 시스템(GIS)기반 AI객체정보 모니터링 구현한다. 그에 따라 동영상 혼합현실 콘텐츠 서비스가 제공된다.
도 8에서는 인공지능 학습기에서 탱크객체인식 학습엔진을 실행하고, 이를 혼합현실 모니터에서 디스플레이한 예를 보여주고 있다.
인공지능 학습기에서 탱크객체인식 학습엔진을 실행한 예에서는 3개의 탱크에 대한 객체인식이 되고, 좌측 하단에는 프레임 메타정보 좌표가 산출된 것을 보여주고 있다.
도 9 및 도 10은 인공지능 학습기에서 사람객체인식 학습엔진을 실행하고, 이를 혼합현실 모니터에서 디스플레이한 예를 보여주는 도면이다.
인공지능 학습기에서 사람객체인식 학습엔진을 실행한 예에서는 도 9에서는 3명의 사람에 대한 객체인식이 되고, 도 10에서는 1명의 사람에 대한 객체인식이 된 것으로, 붉은 색 원으로 인식된 객체를 표시한 예를 보여주고 있다.
이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
100 : 위성항법장치(GPS) 200 : 온보드 비행제어컴퓨터
300 : 카메라 짐벌 400 : 스마트 조종기
500 : 인공지능 학습기 600 : 혼합현실 모니터
300 : 카메라 짐벌 400 : 스마트 조종기
500 : 인공지능 학습기 600 : 혼합현실 모니터
Claims (4)
- 삭제
- 삭제
- 위성측위시스템(GNSS) 수신기를 이용하며, RTK/DGPS 보정정보를 수신받아 GPS 보정을 하도록 구성되는 위성항법장치(GPS)(100);
모터를 구동하기 위한 ESC(Electronic Speed Controller) 전원제어부와, 영상 데이터를 송신하기 위한 영상통신부와, 제어신호를 수신받기 위한 제어통신부와, 상기 제어통신부의 제어에 의해 비행을 제어하는 비행제어부와, 자세/고도/각도 센서부 및 상기 위성항법장치(GPS)(100)로부터 정밀한 위치/고도/시간정보와, 카메라 짐벌(300)로부터 짐벌정보와 동영상정보(H.264 영상)를 수신받아 지상의 스마트 조정기(400)와 영상통신 및 제어 통신을 수행하며, 상기 카메라 짐벌(300)에 대한 좌표를 획득하여 영상과 메타정보가 동기화되고, 영상동기화된 엠펙(MPEG) 전송 시 실시간 카메라 동영상을 기준으로 프레임에 메타정보가 생성되며 시간동기화 프레임에 컨테이너 구조를 삽입한 엠팩(MPEG) 구조로 드론이 비행하는 위치에서 카메라가 바라보는 좌표를 산출하는 정보를 포함하고, 프레임용량에 따라 동영상 전송 시간동기에 맞추어 프레임 크기가 크면 프레임 자동조절로 주파수 설정된 밴드폭을 넘지 않도록 프레임조절 되는 영상처리 알고리즘을 이용하여 전송하는 온보드 비행제어 컴퓨터(200);
조종기 온보드 컴퓨터로 리눅스 운영체제로 구동되며, 조종제어기를 포함하고, 지상관제시스템을 포함하며, 상기 온보드 비행제어 컴퓨터(200) 제어를 위한 제어통신부와, 상기 온보드 비행제어 컴퓨터(200)와 영상통신을 수행하는 영상통신부 및 듀얼 IP 중계부를 포함하여 구성되는 스마트 조종기(400);
상기 스마트 조종기(400)로부터 엠펙(MPEG) 데이터를 전송받아 동영상과 메타정보를 분리하고 동영상은 학습된 인공지능 알고리즘으로 객체를 인식하며, 인식된 객체는 미리 학습된 메타정보를 기반으로 시간의 위치좌표를 계산하여 드론 카메라 동영상 객체위치 좌표를 혼합현실 모니터(600)로 제공하는 인공지능 학습기(500); 및
스마트 안경 또는 모니터를 포함하여 구성되어 상기 인공지능 학습기(500)에서 제공된 드론 카메라 동영상 객체위치 좌표를 표시하는 혼합혼실 모니터(600);를 포함하여 구성됨을 특징으로 하는 온보드 비행제어 컴퓨터가 구비된 드론을 이용한 카메라 동영상 객체 위치 좌표 획득 시스템.
- 제3항에 있어서,
상기 스마트 조종기(400)는 드론 조종자가 운영하는 스마트조종기로,
리눅스 운영체제로 구동되는 조종기 온보드 컴퓨터와, 조종제어기와 지상관제시스템(GCS)을 포함하며, 상기 온보드 비행제어 컴퓨터(200) 제어를 위한 제어통신부와, 상기 온보드 비행제어 컴퓨터(200)와 영상통신을 수행하는 영상통신부 및 듀얼 IP 중계부를 포함하여 구성되어,
상기 온보드 비행제어 컴퓨터(200)에서 엠팩(MPEG) 동영상을 수신받아 엠팩(MPEG) 스트리밍은 상기 지상관제시스템(GCS)와 상기 혼합현실 모니터(600)에 구성되는 인공지능 처리기에 동시 전송되며, 상기 지상관제시스템(GCS)에서는 동영상 엠팩(MPEG)을 전송받아 동영상과 메타정보를 분리하여 지아이에스(GIS) 지도에 드론의 카메라 방향과 지형위치를 모사하며, 동영상은 해당위치에서 실시간 표출하도록 구성된 것을 특징으로 하는 온보드 비행제어 컴퓨터가 구비된 드론을 이용한 카메라 동영상 객체 위치 좌표 획득 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210186392A KR102417591B1 (ko) | 2021-12-23 | 2021-12-23 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
| PCT/KR2022/015356 WO2023120908A1 (ko) | 2021-12-23 | 2022-10-12 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210186392A KR102417591B1 (ko) | 2021-12-23 | 2021-12-23 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102417591B1 true KR102417591B1 (ko) | 2022-07-06 |
Family
ID=82400274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210186392A KR102417591B1 (ko) | 2021-12-23 | 2021-12-23 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102417591B1 (ko) |
| WO (1) | WO2023120908A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023120908A1 (ko) * | 2021-12-23 | 2023-06-29 | 주식회사 두시텍 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
| KR102620116B1 (ko) | 2023-04-28 | 2024-01-02 | (주)네온테크 | 드론에 의한 타겟 좌표의 취득 시스템 및 이에 의한 타겟 좌표 취득 방법 |
| KR20240023926A (ko) | 2022-08-16 | 2024-02-23 | (주)메타파스 | 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170083979A (ko) * | 2017-05-31 | 2017-07-19 | 주식회사 하우앳 | 공중 추적 영상촬영을 위한 무선비행체 및 카메라 짐벌 제어시스템 |
| US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
| KR101943823B1 (ko) | 2017-10-31 | 2019-01-31 | 주식회사 두시텍 | 고속비행 중 정밀위치 데이터 획득을 위한 무인기 및 고속비행 중 정밀위치 데이터 획득을 위한 무인기 임무장비 동기화 결정방법 |
| KR20200048615A (ko) * | 2018-10-30 | 2020-05-08 | (주)메타파스 | 머신러닝기반 실시간 태양광발전소 검사 드론 |
| KR20200058079A (ko) * | 2018-11-19 | 2020-05-27 | 네이버시스템(주) | 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법 |
| KR102260372B1 (ko) | 2020-10-29 | 2021-06-03 | 한국건설기술연구원 | 토공현장의 디지털맵 생성을 위한 드론 기반 지상기준점 배치 자동화 방법 |
| EP3619695B1 (en) * | 2017-05-05 | 2021-07-28 | Tg-17, Llc | System and method for threat monitoring, detection, and response |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102417591B1 (ko) * | 2021-12-23 | 2022-07-06 | 주식회사 두시텍 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
-
2021
- 2021-12-23 KR KR1020210186392A patent/KR102417591B1/ko active IP Right Grant
-
2022
- 2022-10-12 WO PCT/KR2022/015356 patent/WO2023120908A1/ko unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
| EP3619695B1 (en) * | 2017-05-05 | 2021-07-28 | Tg-17, Llc | System and method for threat monitoring, detection, and response |
| KR20170083979A (ko) * | 2017-05-31 | 2017-07-19 | 주식회사 하우앳 | 공중 추적 영상촬영을 위한 무선비행체 및 카메라 짐벌 제어시스템 |
| KR101943823B1 (ko) | 2017-10-31 | 2019-01-31 | 주식회사 두시텍 | 고속비행 중 정밀위치 데이터 획득을 위한 무인기 및 고속비행 중 정밀위치 데이터 획득을 위한 무인기 임무장비 동기화 결정방법 |
| KR20200048615A (ko) * | 2018-10-30 | 2020-05-08 | (주)메타파스 | 머신러닝기반 실시간 태양광발전소 검사 드론 |
| KR20200058079A (ko) * | 2018-11-19 | 2020-05-27 | 네이버시스템(주) | 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법 |
| KR102260372B1 (ko) | 2020-10-29 | 2021-06-03 | 한국건설기술연구원 | 토공현장의 디지털맵 생성을 위한 드론 기반 지상기준점 배치 자동화 방법 |
Non-Patent Citations (1)
| Title |
|---|
| An aerial Mixed-Reality Environment for First-Person-View Drone Flying(2020.08.06.)* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023120908A1 (ko) * | 2021-12-23 | 2023-06-29 | 주식회사 두시텍 | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 |
| KR20240023926A (ko) | 2022-08-16 | 2024-02-23 | (주)메타파스 | 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법 |
| KR102620116B1 (ko) | 2023-04-28 | 2024-01-02 | (주)네온테크 | 드론에 의한 타겟 좌표의 취득 시스템 및 이에 의한 타겟 좌표 취득 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023120908A1 (ko) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102417591B1 (ko) | 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템 | |
| US8577518B2 (en) | Airborne right of way autonomous imager | |
| WO2018086122A1 (zh) | 多路传感数据融合的方法和系统 | |
| EP2423871B1 (en) | Apparatus and method for generating an overview image of a plurality of images using an accuracy information | |
| AU2011314338C1 (en) | Real-time moving platform management system | |
| Yahyanejad et al. | Incremental mosaicking of images from autonomous, small-scale uavs | |
| KR101160454B1 (ko) | 무인항공기의 자세 제어를 이용한 3ｄ 공간정보구축 방법 | |
| US20090012995A1 (en) | Method and apparatus for capture and distribution of broadband data | |
| KR101896654B1 (ko) | 드론을 이용한 3d 영상 처리 시스템 및 방법 | |
| JP2008186145A (ja) | 空撮画像処理装置および空撮画像処理方法 | |
| US11082639B2 (en) | Image display method, image display system, flying object, program, and recording medium | |
| WO2019230604A1 (ja) | 検査システム | |
| KR101943823B1 (ko) | 고속비행 중 정밀위치 데이터 획득을 위한 무인기 및 고속비행 중 정밀위치 데이터 획득을 위한 무인기 임무장비 동기화 결정방법 | |
| WO2021250914A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
| US10557718B2 (en) | Auxiliary control method and system for unmanned aerial vehicle | |
| US10412372B2 (en) | Dynamic baseline depth imaging using multiple drones | |
| US10509819B2 (en) | Comparative geolocation system | |
| JP2016118994A (ja) | 監視システム | |
| JP2022008125A (ja) | 可動物体の環境でマッピングするためのシステム、方法およびプログラム | |
| CN112235041A (zh) | 实时点云的处理系统、方法及机载数据采集装置、方法 | |
| KR102340527B1 (ko) | 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법 | |
| JP2003316259A (ja) | 撮影映像処理方法及び撮影映像処理システム | |
| Batzdorfer et al. | Multisensor equipped UAV/UGV for automated exploration | |
| WO2019100214A1 (zh) | 输出影像生成方法、设备及无人机 | |
| KR102181809B1 (ko) | 시설물 점검 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |