KR20210083453A - 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법 - Google Patents

촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법 Download PDF

Info

Publication number
KR20210083453A
KR20210083453A KR1020190175364A KR20190175364A KR20210083453A KR 20210083453 A KR20210083453 A KR 20210083453A KR 1020190175364 A KR1020190175364 A KR 1020190175364A KR 20190175364 A KR20190175364 A KR 20190175364A KR 20210083453 A KR20210083453 A KR 20210083453A
Authority
KR
South Korea
Prior art keywords
unexploded
unexploded ordnance
artificial intelligence
image
pavement
Prior art date
Application number
KR1020190175364A
Other languages
English (en)
Other versions
KR102396330B1 (ko
Inventor
이철희
구태회
조재훈
Original Assignee
주식회사 딥인스펙션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥인스펙션 filed Critical 주식회사 딥인스펙션
Priority to KR1020190175364A priority Critical patent/KR102396330B1/ko
Publication of KR20210083453A publication Critical patent/KR20210083453A/ko
Application granted granted Critical
Publication of KR102396330B1 publication Critical patent/KR102396330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06K9/00664—
    • G06K9/2054—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법에 관한 것이다.
본 발명의 실시예에 따른 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템은 촬영영상을 수신하는 입력부와, 촬영영상을 이용하여 비행 포장면의 불발탄 및 폭파구를 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 3D 포인트 클라우드 전용 강화학습 및 설명 가능 인공지능 기반 딥러닝 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 불발탄 및 폭파구를 검출하고 측정하는 것을 특징으로 한다.

Description

촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법{SYSTEM AND METHOD FOR ESTABLISHING RECOVERY OF RUNWAY BASED ON IMAGE, AI AND REINFORCEMENT LEARNING AT WAR}
본 발명은 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법에 관한 것이다.
종래 기술에 따른 비행장 피해분석 기술에 따르면, 정찰반에 의한 폭파구 수동 측량(육안 관측, 줄자 관측), 무전으로 폭파구의 위치 정보 전달, 시설 통제반에 의한 MOS 수동 선정(폭파구 위치 기록, 폭파구 크기 분류, MOS 수동 선정), 무전으로 폭파구의 위치 정보 전달, 피해 복구반에 의한 활주로 보수(피해 복구) 과정이 이루어진다.
종래 기술에 따르면, 폭파구 수동 측량 과정에서 측량에 오랜 시간이 소요되고, 기준점이 손실되는 문제점이 있고, MOS 수동 선정 과정에서 위치/크기가 부정확하고 최적 선정이 어려운 문제점이 있으며, 활주로 보수 과정에서 정보 오전달에 의한 2차 작업 가능성이 높은 문제점이 있다.
종래 기술에 따른 고정형 FOD 탐지 시스템은 비행 안전 문제로 활주로 주변에 고정형 타워 설치를 선호하지 않는 군 비행장 요구사항에 맞지 않은 문제점이 있다.
종래 기술에 따른 최소운영활주로 선정은 인력에 의해 수행되어, 작업자의 숙련도에 따라 측량 정확도가 상이하고, 피격에 의한 기준점 손실 문제점이 있다.
종래 기술에 따르면, 무전을 통한 정보 전달 과정에서 오인식 문제가 발생하여, 신속히 활주로를 보수하고 최적의 최소운영활주로를 선정하는데 어려움이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 촬영영상, 인공지능, 알고리즘을 기반으로, 드론 맵핑 기술을 활용하여 긴급 비행장 피해분석을 수행하는 것이 가능한 전시 비행 포장면 피해복구 자동화 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템은 촬영영상을 수신하는 입력부와, 촬영영상을 이용하여 비행 포장면의 불발탄 및 폭파구를 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 3D 포인트 클라우드 전용 인공지능 기반 딥러닝 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 불발탄 및 폭파구를 검출하고 측정하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 군 비행장 요구사항에 적합한 드론 탐지 시스템의 자체 위치/자세값을 적용할 수 있고, 정확한 위치/크기 데이터 기반으로 신속한 의사결정 지원이 가능하며, 활주로 피해평가를 가시화하고 공간 데이터를 통한 최소운영활주로 자동 선정이 가능한 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 드론 맵핑 기술을 활용한 긴급 비행장 피해분석 과정을 도시한다.
도 3은 본 발명의 실시예에 따른 인공지능 기반의 폭파부/불발탄 검출 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 최소운영활주로 선정 과정을 도시한다.
도 5는 본 발명의 실시예에 따른 점군데이터 기반 딥러닝 아키텍처의 구조를 도시한다.
도 6은 본 발명의 실시예에 따른 트레이닝 데이터 생성 과정을 도시한다.
도 7 및 도 8은 본 발명의 실시예에 따른 불발탄 감지를 위한 딥러닝 아키텍처 구성을 도시한다.
도 9는 본 발명의 실시예에 따른 불발탄 자동탐지를 위한 소프트웨어 구성을 도시한다.
도 10은 본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법을 도시한다.
도 11은 본 발명의 실시예에 따른 불발탄 검출 프로세스를 도시한다.
도 12는 본 발명의 실시예에 따른 불발탄 및 폭파구 검출을 위한 강화학습 알고리즘의 구성을 도시한다.
도 13은 본 발명의 실시예에 따른 불발탄 및 폭파구 검출을 위한 Deep-XAI 알고리즘의 구성을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템을 도시한다.
본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템은 촬영영상을 수신하는 입력부(110)와, 촬영영상을 이용하여 비행 포장면의 불발탄 및 폭파구를 검출하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 3D 포인트 클라우드 인공지능 기반 딥러닝 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 불발탄 및 폭파구를 검출하고 측정한다.
프로세서(130)는 촬영영상의 분석 결과를 이용하여 불발탄 및 폭파구의 위치, 형상, 크기, 수량에 관한 정보를 요약 테이블로 작성하고, 요약 테이블을 CAD 형식으로 작성한다.
프로세서(130)는 불발탄 및 폭파구의 위치가 표시된 영상에 대해, 불발탄 및 폭파구로 추정한 이유를 텍스트로 설명하고, 상기 불발탄 및 폭파구 추정의 근거가 되는 핵심적인 특징(feature)의 위치를 영상 위에 하이라이트로 표시한다.
프로세서(130)는 강화학습 네트워크를 이용하여 불발탄 및 폭파구의 위치, 크기, 종류를 최종적으로 결정한다.
프로세서(130)는 불발탄 및 폭파구 위치를 추정하여 불발탄 및 폭파구의 좌표를 추출하고 불발탄 및 폭파구 가능성을 추정하되, 불발탄 및 폭파구 대상 후보군의 수량을 감소시키는 동시에 불발탄 및 폭파구의 상대적으로(강화학습 네트워크를 사용하지 않은 경우에 비해) 정확한 좌표를 추출하고 검출 정확도를 향상시키기 위해 강화학습 네트워크를 이용한다.
도 2는 본 발명의 실시예에 따른 드론 맵핑 기술을 활용한 긴급 비행장 피해분석 과정을 도시한다.
멀티(스테레오) 카메라 영상 데이터 수집 과정에서는, 스테레오 카메라를 이용하여 고해상도의 RGB 영상을 촬영하고, 위치/자세 데이터를 수집한다.
멀티(스테레오) 영상 매칭 과정에서는, 스테레오 매칭, 3차원 데이터 추출, 활주로/유도로 데이터를 구축하고, 유형 및 영역 분리 과정에서는 2D 지도를 제작하고, 2D/3D 정사영상을 제작한다.
불발탄 및 이물질 탐지 과정에서는, RGB 영상을 분석하여 불발탄 및 이물질을 탐지하고, 그 유형을 분류하며, 불발탄/이물질 분석 과정에서는 영상을 분석하여 폭파구 및 이물질을 분석한다.
활주로 피해분석 과정에서는 가시화 및 공간 데이터 분석을 수행하고, 의사결정을 지원한다.
작업과정에서는 우선 순위를 결정하고, 포장 공사를 진행한다.
본 발명의 실시예에 따르면, 군 비행장 요구사항에 적합한 드론 탐지 시스템의 자체 위치/ 자세값을 적용할 수 있고, 정확한 위치/크기 데이터 기반으로 신속한 의사결정 지원이 가능하며, 활주로 피해평가를 가시화하고 공간 데이터를 통한 최소운영활주로 자동 선정이 가능하다.
도 3은 본 발명의 실시예에 따른 인공지능 기반의 폭파부/불발탄 검출 과정을 도시한다.
마스터 서버는 2D 파노라, 3D 재구성, 불발탄 검출, 도면작성, 2D 매핑 SW를 이용하고, 스토리지 서버는 설명가능 인공지능 기반의 딥러닝 학습 플랫폼 및 영상 데이터 스토리지를 포함하며, P&D 컴퓨테이션 서버는 GPU 기반의 분산병렬처리 SW 및 CPU 기반의 분산병렬처리 SW를 이용한다.
기존의 딥러닝 기술은 도출과정의 타당성을 제공하지 못하고 처리 과정을 사용자가 볼 수 없는 블랙박스 구조로 되어 있어, 정확도를 90% 이상으로 증가시키고 오류를 미리 감지하는 측면에 있어서 한계가 있다.
본 발명의 실시예에 따르면, 인공지능 시스템의 최종결과를 이해하도록, 사용자에게 설명하는 신뢰기반 기술인 설명가능 인공지능(XAI, Explainable Artificial Intelligence) 기반으로 검출을 수행한다.
이러한 설명가능 인공지능 알고리즘은 미사일과 불발탄을 검출하기 위한 이미지 분류 네트워크, 미사일과 불발탄을 검출한 과정, 이유, 그리고 핵심적인 특징(feature) 대해 텍스트로 설명하는 네트워크, 이미지의 특정부분에 하이라이트하는 네트워크로 구성된다.
강화학습 알고리즘은 불발탄 및 폭파구 위치를 추정하여 불발탄 및 폭파구의 좌표를 추출하고, 불발탄 및 폭파구 가능성을 추정하여 불발탄 및 폭파구 대상 후보군의 수량을 감소시킴으로써, 불발탄 및 폭파구 위치, 크기, 종류를 결정한다.
도 4는 본 발명의 실시예에 따른 최소운영활주로 선정 과정을 도시한다.
드론을 통한 3차원 지형 구축 과정이 수행되면, 폭파구를 탐지하고 폭파구의 위치를 지도화하는 과정이 수행되며, 최소 운영활주로 선정 과정이 수행된다.
드론에 장착된 멀티카메라를 이용하여 신속히 3차원 지형데이터를 구축하는 것이 가능하고, 폭파구의 위치 및 크기를 탐지하여 지도로 구축하는 것이 가능하며, 폭파구의 크기에 따라 피해복구가 신속하게 이루어질 수 있는 지역을 우선순위로, 최소 운영활주로를 선정한다.
도 5는 본 발명의 실시예에 따른 점군데이터 기반 딥러닝 아키텍처의 구조를 도시하고, 도 6은 본 발명의 실시예에 따른 트레이닝 데이터 생성 과정을 도시한다.
본 발명의 실시예에 따르면, V-CNN1 및 V-CNN2를 이용하여 점군데이터 기반의 딥러닝 과정이 수행된다.
V-CNN은 복셀라이즈 CNN(Voxelized Convolutional Neural Network)이고, MV-CNN은 멀티 뷰 CNN(Multi Veiwed Convolutional Neural Network)이다.
본 발명의 실시예에 따르면, 객체를 다양한 시점으로 프로젝션(투영)하여 트레이닝 데이터를 생성한다.
도 7 및 도 8은 본 발명의 실시예에 따른 불발탄 감지를 위한 딥러닝 아키텍처 구성을 도시한다.
도 7은 전술한 V-CNN1 및 V-CNN2와 MVCNN을 도시하고, 본 발명의 실시예에 따르면 하이브리드 3D 아키텍처로서 불발탄 탐지를 위한 딥러닝 아키텍처를 구성한다.
하이브리드 3D 아키텍처는 개별적인 V-CNN1, V-CNN2, MVCNN에 비해 불발탄과 폭파구의 검출 정확도가 상대적으로 높다.
본 발명의 실시예에 따르면, 법원 협의체 의견과 같은 메커니즘으로, 개별 의사결정의 편향성을 줄여 정확도를 향상시키고, 의사결정의 일반화를 구현한다.
도 9는 본 발명의 실시예에 따른 불발탄 자동탐지를 위한 소프트웨어 구성을 도시한다.
마스터 서버는 2D 파노라, 3D 재구성, 불발탄 검출, 도면작성, 2D 매핑 SW를 이용하고, 스토리지 서버는 설명가능 인공지능 기반의 딥러닝 학습 플랫폼 및 영상 데이터 스토리지를 포함하며, P&D 컴퓨테이션 서버는 GPU 기반의 분산병렬처리 SW 및 CPU 기반의 분산병렬처리 SW를 이용한다.
3D 점군(Point Cloud, 좌표계에 속한 점들의 집합) 데이터를 다양한 시점(예: 10 내지 20개)의 2D 이미지로 투영(Projection)하여 생성된 영상 데이터 셋을 기반으로, 2D 기반 딥러닝(비선형 변환기법의 기계학습 알고리즘의 집합으로 정의되며 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야, Convolutional Neural Network)을 트레이닝 시켜 신경망의 가중치를 갱신시키고, 트레이닝이 완료된 신경망을 통해 신규영상을 분석하여 불발탄을 탐지한다.
본 발명의 실시예에 따르면, 3D 점군(Point Cloud) 데이터를 Voxel Grid (포인트 클라우드에 3차원 정육면체를 조합한 형태로 포인트 클라우드를 필터링함, 예: 30Х30Х30)로 필터링하여 생성된 3D 영상 데이터 셋을 기반으로 3D 기반 멀티 스트림 딥러닝(MS-CNN: Multi Stream Voxel Convolutional Neural Network)을 트레이닝 시켜 신경망의 가중치를 갱신한 후, 트레이닝이 완료된 신경망을 통해 신규영상을 분석하여 불발탄을 탐지한다.
본 발명의 실시예에 따르면, 탐지정확도를 90% 이상으로 증가시키기 위해 2D 이미지와 점군(Point Cloud) 데이터로부터 출력된 결과를 합성하는 방식으로 불발탄을 탐지한다.
본 발명의 실시예에 따르면, 결과의 신뢰도를 높이고 사용자가 알고리즘의 오류를 감지할 수 있도록 설명 가능 인공지능(사용자에게 시스템의 개별 의사결정에 대한 설명을 제공하고 이해하도록 도와주는 인공지능 기술)을 기반으로 객체를 탐지한다.
탐지된 불발탄은 2D 도면에 정확한 X, Y 좌표가 표시되며, 효율적인 시각화를 위해 2D도면은 파노라마 영상과 합성된다.
도 10은 본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법을 도시한다.
본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법은 영상 촬영 단계(S1101), 영상 분할 단계(S1102), 3D 포인트 클라우드 생성 단계(S1103), 파노라마 영상 생성 단계(S1104), 불발탄 및 폭파구 검출/측정 단계(S1105), 불발탄 및 폭파구 검출 과정 설명 단계(S1106), 요약 테이블 작성 단계(S1107), 현황도 작성 단계(S1108) 및 보고서 작성 단계(S1109)를 포함한다.
S1101 단계는 스테레오 광학카메라를 이용하여 비행 포장면의 불발탄 및 폭파구를 검출하기 위해 동영상 촬영을 수행한다.
S1102 단계는 S11101 단계에서 촬영된 동영상을 정지영상(steel cut)으로 분할한다.
S1103 단계는 스테레오 이미지를 활용하여 3D 포인트 클라우드를 생성한다.
S1104 단계는 정지영상을 일정길이 단위(예: 10m, 30m, 50m)로 정합하여 파노라마 영상을 생성한다.
S1105 단계는 파노라마 이미지에서 3D 딥러닝 알고리즘을 이용하여 불발탄을 추출하고, 3D 딥러닝 알고리즘을 이용하여 폭파구를 추출하며, 파노라마 이미지에서 인공지능(FFFN) 알고리즘을 이용하여 불발탄과 폭파구의 크기를 측정한다.
이 때, 딥러닝 알고리즘과 강화학습 알고리즘을 합성함으로써, 불발탄과 폭파구를 검출하는 속도 및 정확도를 향상시킨다.
S1106 단계는 설명가능 인공지능 알고리즘을 이용하여, 불발탄 및 폭파구를 출력한 원인 및 과정에 대해, 하이라이트된 정지영상과 텍스트로 설명을 제공한다.
S1107 단계는 불발탄 및 폭파구의 특성을 이용하여 요약 테이블을 작성하며, 불발탄 및 폭파구의 길이, 폭, 면적, 픽셀수와 좌표 정보(불발탄 및 폭파구의 시작점, 끝점, 중심점의 좌표)를 포함하여 요약 테이블을 작성한다.
S1108 단계는 불발탄 및 폭파구에 대한 요약 테이블을 도면으로 출력하는 단계로서, 불발탄 및 폭파구의 특성 정보를 CAD 도면으로 변환하는 엔진을 활용하여 현황도를 작성한다.
S1109 단계는 불발탄 및 폭파구의 특성 정보를 집계하여, 공항 시설물 비행 포장면의 수량집계표를 포함한 보고서를 작성한다.
한편, 본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 비행 포장명 피해복구 자동화 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 촬영영상, 인공지능, 강화학습 알고리즘 기반의 비행 포장면 피해복구 자동화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 11을 참조하면, 본 발명의 실시예에 따른 불발탄 검출 프로세스는 4개의 네트워크로 구성된다.
준실시간 검출 네트워크(semi-real time object detector network)는 불발탄이 포함된 영상을 수신하고, 그 위치와 크기를 예측하여, 불발탄 위치가 표시된 영상을 출력한다.
강화학습 네트워크(reinforcement learning network)는 불발탄 위치 추정의 최적화를 통해, 불발탄 좌표를 추출하여 검출 정확도를 향상시키고, 불발탄 가능성 추정에 대한 최적화를 통해, 후보군 수량을 감소시켜 검출 속도를 향상시킨다.
설명가능 인공지능 네트워크(XAI network)는 불발탄 위치가 표시된 영상에 대해, 불발탄으로 추정한 이유를 텍스트로 설명하고, 불발탄으로 추정한 핵심적인 특징(feature) 위치를 영상 위에 하이라이트로 표시하여 제공한다.
딥러닝 트레이닝 플랫폼(deep learning training platform)은 인공 지능 네트워크를 직관적으로 학습시키기 위한 트레이닝 플랫폼이다.
설명가능 인공지능 기반 딥러닝 트레이닝 플랫폼은 파라미터 및 하이퍼파라미터를 편리하고 직관적으로 제어 가능한 효과가 있다.
도 12는 본 발명의 실시예에 따른 불발탄 및 폭파구 검출을 위한 강화학습 알고리즘의 구성을 도시한다.
본 발명의 실시예에 따른 강화학습 기반의 불발탄 및 폭파구 검출 프로세스는 2개의 네트워크로 구성된다.
기본 네트워크는 RPN(region proposal network) 기반으로, 준실시간(5fps)으로 불발탄 및 폭파구의 위치와 크기를 예측한다.
기본 네트워크는 불발탄 및 폭파구 위치 추정 최적화를 통해 불발탄 및 폭파구 좌표를 추출하고, 불발탄 및 폭파구 가능성 추정 최적화를 통해 후보군 수량을 감소시킨다.
연속처리 네트워크는 강화학습 기반으로 정확도를 향상시키는 네트워크로서, 강화학습 네트워크를 추가함으로써 정확도를 약 5% 향상시킬 수 있다.
도 13은 본 발명의 실시예에 따른 불발탄 및 폭파구 검출을 위한 Deep-XAI 알고리즘의 구성을 도시한다.
본 발명의 실시예에 따른 설명가능 인공지능 기반의 불발탄 및 폭파구 검출 프로세스는 이미지 분류 네트워크, 이미지를 텍스트로 설명하는 네트워크, 이미지의 특정부분에 하이라이트하는 네트워크를 포함하여 구성된다.
Deep-XAI에 대해 설명하면, 이는 CNN 기반 의사 결정에 대한 시각적 설명을 제공하고, AI의 투명성을 제공하며, 예측에 대한 신뢰도를 향상시키기 위한 목적으로 제안된다.
종래 기술에 따른 설명기능이 없는 CNN 및 Rule-Base System은 사용자가 이해하기 어렵고, 시스템 고장의 경우 설명/해석이 어려우며, ResNet 같은 심층 모델은 200개 이상의 레이어 깊이로 해석이 어려운 문제점이 있고, 규칙 기반 고전 시스템은 정확도 면에서 떨어지는 문제점이 있다.
Deep-XAI는 딥 네트워크가 추론한 중요 이유를 이미지상에 하이라이트하는 기능을 보유하고, 다양한 CNN 모델과의 통합이 가능하고, 모델들의 failure mode에 대한 통찰력을 제공하고, 대립하는(adversarial) 이미지에 대해 강건(robust)하고, 데이터셋의 편향을 식별하여 모델 일반화를 달성하며, 최첨단 심층 딥러닝 모델의 아키텍처를 변경하지 않고 설명기능을 제공하는 것이 가능한 효과가 있다.
Deep-XAI의 확장성으로는, Fully-Connected 레이어(예: VGG)를 갖는 CNN과 연결(통합)이 가능하고, 구조화된 출력에 사용하는 CNN(예: 캡션)과의 연결(통합)이 가능하며, 다중 모달 입력(예: VQA) 태스크 또는 강화 학습에도 사용이 가능하다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (4)

  1. 촬영영상을 수신하는 입력부;
    상기 촬영영상을 이용하여 비행 포장면의 불발탄 및 폭파구를 검출하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 3D 포인트 클라우드 전용 인공지능 기반 딥러닝 네트워크를 이용하여 상기 촬영영상을 분석하고, 상기 비행 포장면의 불발탄 및 폭파구를 검출하고 측정하는 것
    인 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 상기 촬영영상의 분석 결과를 이용하여 불발탄 및 폭파구의 위치, 형상, 크기, 수량에 관한 정보를 요약 테이블로 작성하고, 상기 요약 테이블을 CAD 형식으로 작성하는 것
    인 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템.
  3. 제1항에 있어서,
    상기 프로세서는 상기 불발탄 및 폭파구의 위치가 표시된 영상에 대해, 불발탄 및 폭파구로 추정한 이유를 텍스트로 설명하고, 상기 불발탄 및 폭파구 추정의 근거가 되는 핵심적인 특징(feature)의 위치를 영상 위에 하이라이트로 표시하는 설명가능 인공지능 네트워크를 이용하는 것
    인 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템.
  4. 제1항에 있어서,
    상기 프로세서는 불발탄 및 폭파구 위치를 추정하여 불발탄 및 폭파구의 좌표를 추출하고 불발탄 및 폭파구 가능성을 추정하되, 불발탄 및 폭파구 대상 후보군의 수량을 감소시키는 동시에 불발탄 및 폭파구의 좌표를 추출하고 검출 정확도를 향상시키기 위해 강화학습 네트워크를 이용하는 것
    인 촬영영상, 인공지능, 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템.
KR1020190175364A 2019-12-26 2019-12-26 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법 KR102396330B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190175364A KR102396330B1 (ko) 2019-12-26 2019-12-26 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190175364A KR102396330B1 (ko) 2019-12-26 2019-12-26 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210083453A true KR20210083453A (ko) 2021-07-07
KR102396330B1 KR102396330B1 (ko) 2022-05-11

Family

ID=76861947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190175364A KR102396330B1 (ko) 2019-12-26 2019-12-26 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102396330B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569962A (zh) * 2021-07-30 2021-10-29 昆明理工大学 一种基于TFL-ResNet的残药智能识别方法
CN114820462A (zh) * 2022-03-30 2022-07-29 沈阳东软智能医疗科技研究院有限公司 破口位置检测方法、装置、设备以及存储介质
KR20230065732A (ko) * 2021-11-05 2023-05-12 주식회사 지오스토리 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781994B1 (ko) * 2016-12-30 2017-09-26 공간정보기술 주식회사 다중 스테레오 카메라를 이용한 자유시점 실시간 3d 구현장치
KR102038127B1 (ko) * 2018-12-07 2019-10-29 주식회사 한국건설관리공사 무인비행체를 이용한 시설물 관리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781994B1 (ko) * 2016-12-30 2017-09-26 공간정보기술 주식회사 다중 스테레오 카메라를 이용한 자유시점 실시간 3d 구현장치
KR102038127B1 (ko) * 2018-12-07 2019-10-29 주식회사 한국건설관리공사 무인비행체를 이용한 시설물 관리 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Explainable Image Caption Generator Using Attention and Bayesian Inference", 2018 CSCI, 2018.12.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569962A (zh) * 2021-07-30 2021-10-29 昆明理工大学 一种基于TFL-ResNet的残药智能识别方法
KR20230065732A (ko) * 2021-11-05 2023-05-12 주식회사 지오스토리 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론
CN114820462A (zh) * 2022-03-30 2022-07-29 沈阳东软智能医疗科技研究院有限公司 破口位置检测方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
KR102396330B1 (ko) 2022-05-11

Similar Documents

Publication Publication Date Title
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
US10325201B1 (en) Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
JP2022520019A (ja) 画像処理方法、装置、移動可能なプラットフォーム、プログラム
KR102396330B1 (ko) 촬영영상, 인공지능, 강화학습 알고리즘 기반의 전시 비행 포장면 피해복구 자동화 시스템 및 그 방법
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
WO2019092418A1 (en) Method of computer vision based localisation and navigation and system for performing the same
US11280630B2 (en) Updating map data
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
US11967091B2 (en) Detection of environmental changes to delivery zone
Nassar et al. Simultaneous multi-view instance detection with learned geometric soft-constraints
Rodriguez et al. Low-cost quadrotor applied for visual detection of landmine-like objects
CN110619299A (zh) 基于网格的对象识别slam方法和装置
CN116469079A (zh) 一种自动驾驶bev任务学习方法及相关装置
CN117707194A (zh) 无人设备的飞行作业方法、装置、无人设备及存储介质
Baeck et al. Drone based near real-time human detection with geographic localization
Viana et al. Aerial image instance segmentation through synthetic data using deep learning
Drouin et al. Modeling and simulation framework for airborne camera systems
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
Galarreta Urban Structural Damage Assessment Using Object-Oriented Analysis and Semantic Reasoning
Kong et al. Toward the automatic detection of access holes in disaster rubble
Steenbeek CNN based dense monocular visual SLAM for indoor mapping and autonomous exploration
Sharma et al. Risk-aware path planning for ground vehicles using occluded aerial images
KR20170108552A (ko) 수변구조물 피해정보 분석을 위한 정보시스템 구축방안
Basmaji et al. AI-powered health monitoring of anode baking furnace pits in aluminum production using autonomous drones
Zaslavskiy et al. Method for automated data collection for 3d reconstruction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant