KR102457691B1 - 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법 - Google Patents

실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법 Download PDF

Info

Publication number
KR102457691B1
KR102457691B1 KR1020210164953A KR20210164953A KR102457691B1 KR 102457691 B1 KR102457691 B1 KR 102457691B1 KR 1020210164953 A KR1020210164953 A KR 1020210164953A KR 20210164953 A KR20210164953 A KR 20210164953A KR 102457691 B1 KR102457691 B1 KR 102457691B1
Authority
KR
South Korea
Prior art keywords
unit
real
drone
sensor data
drone body
Prior art date
Application number
KR1020210164953A
Other languages
English (en)
Other versions
KR20220072801A (ko
Inventor
정혁준
Original Assignee
아이원랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이원랩 주식회사 filed Critical 아이원랩 주식회사
Publication of KR20220072801A publication Critical patent/KR20220072801A/ko
Priority to KR1020220111112A priority Critical patent/KR102578922B1/ko
Application granted granted Critical
Publication of KR102457691B1 publication Critical patent/KR102457691B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B64C2201/042—
    • B64C2201/12—
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0085—Devices for aircraft health monitoring, e.g. monitoring flutter or vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

본 발명은 하나 이상의 카메라에서 획득한 이미지로부터 객체정보를 인공지능 기반으로 인식하고, 인식된 객체 정보를 이용하여 주위 상황을 인지, 기체에 장착된 센서 데이터를 이용하여 기체의 결함 여부 판단, 종합적 비행 상황을 판단하고 비행 제어에 관여하며 기체결함에 의한 사고 및 추돌에 의한 사고를 예방할 수 있으며, 또한 인공지능 기반으로 시설물 안전점검을 실시간으로 수행할 수 있는 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법에 관한 것이다.

Description

실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법{AN ARTIFICIAL INTELLIGENCE DRONE EQUIPPED WITH A SYSTEM THAT DETECTS DEFECTS BASED ON REAL-TIME SENSOR DATA, AND METHOD FOR DETECTING DEFECTS IN ARTIFICIAL INTELLIGENCE DRONES USING A SYSTEM THAT DETECTS DEFECTS BASED ON REAL-TIME SENSOR DATA}
본 발명은 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법에 관한 것으로서, 보다 구체적으로는, 하나 이상의 카메라에서 획득한 이미지로부터 객체정보를 인공지능 기반으로 인식하고, 인식된 객체 정보를 이용하여 주위 상황을 인지, 기체에 장착된 센서 데이터를 이용하여 기체의 결함 여부 판단, 종합적 비행 상황을 판단하고 비행 제어에 관여하며 기체결함에 의한 사고 및 추돌에 의한 사고를 예방할 수 있으며, 또한 인공지능 기반으로 시설물 안전점검을 실시간으로 수행할 수 있는 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법에 관한 것이다.
드론 및 AI와 관련된 기술은 예전부터 성장 가능성이 큰 사업 분야로 인식되고 지속적으로 기술 개발과 투자가 이루어지던 분야였으나 이 둘을 융합한 기술은 본격적으로 발명이 되지 못하는 상황이었다. 흔히, AI라고 하면 서버나 고성능 데스크탑에서 작동하는데 일반적인 드론은 이러한 큰 장치를 장착하고 날 수 없기 때문이다. 하지만 이제는 하드웨어의 발전과 알고리즘의 효율성 증가로 드론에 장착할 수 있는 크기의 소형 플랫폼에서 인공지능을 구동할 수 있게 되었다.
한편, 종래의 드론은 상공에 비행중인 드론에 대하여 실시간으로 자체적으로 비행 상황을 인지, 판단하거나 비행중인 드론의 기체 결함을 자체적으로 파악하고 더 나아가 이에 따른 위험 상황을 대처할 수 있도록 하는 기술이 전혀 반영되지 못하여 안전성에 있어 다소 미흡함을 가지고 있는 실정이다.
한국공개특허 제10-2018-0145607호
본 발명은 상기의 문제점을 해결하기 위함으로써, 하나 이상의 카메라에서 획득한 이미지로부터 객체정보를 인공지능 기반으로 인식하고, 인식된 객체 정보를 이용하여 주위 상황을 인지, 기체에 장착된 센서 데이터를 이용하여 기체의 결함 여부 판단, 종합적 비행 상황을 판단하고 비행 제어에 관여하며 기체결함에 의한 사고 및 추돌에 의한 사고를 예방할 수 있으며, 또한 인공지능 기반으로 시설물 안전점검을 실시간으로 수행할 수 있는 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론은 구동부를 포함하는 드론 몸체부(110), 비행 중 상기 드론 몸체부(110) 주변의 주변 환경 데이터를 획득하는 센서부(120), 상기 드론 몸체부(110) 및 상기 센서부(120)에 전원을 공급하는 전원부(130), 상기 주변 환경 데이터를 토대로 상기 드론 몸체부(110)의 비행 상황을 인지하고, 상기 드론 몸체부(110)의 비행 중 생성되는 비행 데이터를 토대로 상기 드론 몸체부(110)의 이상 여부를 판단하는 비행 관리부(140), 외부 통신 장치와 통신을 수행하는 통신부(150), 상기 비행 관리부(140)를 통해 판단된 상기 드론 몸체부(110)의 이상 여부를 토대로 상기 드론 몸체부(110)의 비행 자세 제어를 위한 PID 제어 및 고도 제어를 실시하며, 상기 비행 관리부(140)에 대한 정상 작동 여부를 검증하고, 상기 통신부(150)를 통해 외부 통신 장치와 통신 패킷을 송수신하는 통합 관리부(160) 및 상기 센서부(120)를 통해 획득되는 각 시설물 별 시설물 점검 데이터에 대한 패턴을 머신러닝을 통해 학습한 결과를 토대로 각 시설물 별 시설물 안전 점검을 수행하는 시설물 안전점검 관리부를 포함할 수 있다.
일 실시예에서, 상기 센서부(120)는 카메라 장치, 적외선 센서, 레이저 센서, 2D 라이다 장치, 가속도 센서, 자이로 센서, 전압 센서 및 지자계 센서를 포함할 수 있다.
일 실시예에서, 상기 비행 관리부(140)는 상기 카메라 장치를 통해 획득되는 실시간 영상 데이터를 분석하여 실제 객체에 대한 실시간 객체 정보를 인식하는 실시간 객체 인식부(141), 상기 적외선 센서, 상기 레이저 센서 및 상기 2D 라이더 장치를 통해 획득되는 실시간 센서 데이터를 분석하여 상기 드론 몸체부(110)를 기준으로 기 설정된 반경 내 공간 정보를 파악하는 공간 정보 처리부(142), 상기 가속도 센서, 상기 자이로 센서, 상기 전압 센서 및 상기 지자계 센서를 통해 획득되는 실시간 센서 데이터를 라플라스 변환 및 필터링하는 센서 데이터 전처리부(143), 상기 실시간 객체 인식부(141)를 통해 인식된 상기 실시간 객체 정보와 상기 공간 정보 처리부(142)를 통해 파악된 상기 공간 정보를 토대로, 상기 드론 몸체부(110)로부터 해당 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값을 인식하는 비전기반 상황 인식부(144), 상기 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 토대로 상기 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하는 결함 감지부(145) 및 상기 비전기반 상황 인식부(144)를 통해 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값과, 상기 결함 감지부(145)를 통해 감지된 결함 여부 및 결함 종류에 대한 결과값을 상기 통합 관리부(160)로 전달하여 상기 통합 관리부(160)를 통해 상기 드론 몸체부(110)의 비행 자세 제어가 수행되도록 하는 통합 정보 전달부(146)를 포함할 수 있다.
일 실시예에서, 상기 결함 감지부(145)는 상기 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델을 이용하여 학습하여 서로 일정 유사도를 가지는 한 쌍의 데이터를 추출 및 시각화(density) 한 후, 한 쌍의 데이터의 이격 여부를 토대로 상기 드론 몸체부(110)의 결함 여부를 판단할 수 있다.
일 실시예에서, 상기 센서부(120)는 비행 중 상기 드론 몸체부(110)의 회전각 데이터를 획득하며, 상기 결함 감지부(145)는 상기 통신부(150)를 통해 연결된 조종 제어기로부터 송신되는 조종 신호를 토대로 상기 회전각 데이터를 분석하여 상기 조종 제어기의 조작 상태를 파악할 수 있다.
일 실시예에서, 상기 결함 감지부(145)는 상기 조종 제어기의 고장 여부, 상기 드론 몸체부(110)의 비행 중 가해지는 외란에 의한 조종력 하락 여부, 상기 조종 제어기의 조작 시 기 설정된 회전각에 도달하는지 여부, 상기 드론 몸체부(110) 내 모터의 이상 발생 여부, 상기 모터의 이상 발생에 따라 상기 드론 몸체부(110)가 기 설정된 회전각에 도달하지 못하는지 여부 및 상기 드론 몸체부(110)에 탑재된 프로펠러의 이상 동작 여부 및 상기 프로펠러의 이상 발생에 따라 상기 드론 몸체부(110)가 기 설정된 회전각에 도달하지 못하는지 여부를 토대로 상기 조종 제어기의 조작 상태를 파악할 수 있다.
일 실시예에서, 상기 결함 감지부(145)는 상기 통신부(150)를 통해 연결된 조종 제어기로부터 상기 드론 몸체부(110)의 프로펠러 제어를 위한 조종 신호, 상기 드론 몸체부(110)의 x축, y축 및 z축에 대한 각 축방향 별 조종 신호와 자세 및 방위 참조 시스템(AHRS) 회전각 데이터를 수집 후 수집된 상기 조종 신호 및 상기 AHRS 회전각 데이터를 각각 상기 한 쌍의 데이터로써 정의할 수 있다.
본 발명의 다른 실시예에 따른 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법은 실시간 객체 인식부에서, 카메라 장치를 통해 획득되는 실시간 영상 데이터를 분석하여 실제 객체에 대한 실시간 객체 정보를 인식하는 단계, 공간 정보 처리부에서, 적외선 센서, 레이저 센서 및 2D 라이더 장치를 통해 획득되는 실시간 센서 데이터를 분석하여 드론 몸체부를 기준으로 기 설정된 반경 내 공간 정보를 파악하는 단계, 비전기반 상황 인식부에서, 상기 실시간 객체 인식부를 통해 인식된 상기 실시간 객체 정보와 상기 공간 정보 처리부를 통해 파악된 상기 공간 정보를 토대로, 상기 드론 몸체부로부터 해당 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값을 인식하는 단계, 센서 데이터 전처리부에서, 가속도 센서, 상기 자이로 센서, 상기 전압 센서 및 상기 지자계 센서를 통해 획득되는 실시간 센서 데이터를 라플라스 변환 및 필터링하는 단계, 결함 감지부에서, 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 토대로 상기 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하는 단계 및 통합 정보 전달부에서, 상기 비전기반 상황 인식부를 통해 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값과, 상기 결함 감지부를 통해 감지된 결함 여부 및 결함 종류에 대한 결과값을 통합 관리부로 전달하여 상기 통합 관리부를 통해 상기 드론 몸체부의 비행 자세 제어가 수행되도록 하는 단계를 포함할 수 있다.
일 실시예에서, 상기 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하는 단계는 상기 결함 감지부에서, 상기 센서 데이터 전처리부로부터 전달되는 실시간 센서 데이터를 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델을 이용하여 학습하여 서로 일정 유사도를 가지는 한 쌍의 데이터를 추출 및 시각화(density) 한 후, 한 쌍의 데이터의 이격 여부를 토대로 상기 드론 몸체부의 결함 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하는 단계는 통신부를 통해 연결된 조종 제어기로부터 상기 드론 몸체부의 프로펠러 제어를 위한 조종 신호, 상기 드론 몸체부의 x축, y축 및 z축에 대한 각 축방향 별 조종 신호와 자세 및 방위 참조 시스템(AHRS) 회전각 데이터를 수집 후 수집된 상기 조종 신호 및 상기 AHRS 회전각 데이터를 각각 상기 한 쌍의 데이터로써 정의하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따르면, 드론의 주요 사고 원인인 기체결함과 조종 시야 확보의 어려움에 대하여 드론에 장착된 하드웨어에서 인공지능 기반의 실시간 통합적 상황 인지 및 결함 진단에 따른 능동적 대응으로 사고율을 줄임으로써 드론 시스템의 신뢰성을 향상시킬 수 있는 이점을 가진다.
특히, 지상에서 드론을 관찰하거나 드론에서 전송된 영상으로 파악할 수 없는 드론 주위의 물체나 장애물에 대하여 드론 시스템이 이를 인식하고 상황 파악하여 제어에 관여(회피 기동 등)하여 사고 예방하고, 객체 및 공간 인지의 종합적 판단을 통한 상황인지로 미연에 발생할 수 있는 위험 상황에 대하여 경고 하고 필요에 따라서 제어에 관여하여 안정성 확보를 할 수 있는 이점을 가진다.
특히, 비행 중 가속도 자이로 등의 센서, 전압정보 등의 센서 데이터를 취득하여 전처리를 하고 고장감지 모듈에 입력하여 현재 기체 상태를 파악할 수 있도록 하며, 기체 결함의 전조증상이 발견되는 경우에는 비상착륙 등의 조치를 취하여 사고를 예방할 수 있는 이점을 가진다.
또한, 통신 불능상태일때나 외부 제어 시스템 혹은 조종사가 조종/제어 불능 상태에 있을때도 안전하고 신뢰성 있는 비행을 수행하기 위해 드론에 장착된 고성능/저전력의 소형 컴퓨팅 플랫폼에서 자체적으로 수행할 수 있는 이점을 가진다.
또한 시설물 안전 점검과 관련하여 각 시설물의 특성에 따라 목적에 맞는 안전점검 알고리즘을 구동할 수 있는 장거리 대응 다목적 시설물 안전 점검 드론으로 활용할 수 있는 이점을 가진다.
또한 신뢰성 높은 드론을 위험한 건설 현장 및 시설에 투입하여 안전 진단을 함으로써 사람이 직접 투입됐을 때 발생할 수 있는 인명사고를 미연에 방지할 수 있는 이점을 가진다.
또한, 고성능/저전력 기반의 소형 컴퓨팅 플랫폼으로 드론에 장착하여 운용하기 때문에 드론에서 취득된 영상 및 센서 정보들을 드론 자체적으로 처리하기 때문에 통신 환경이나 외부 시스템 상태의 영항을 받지 않으므로 높은 신뢰성을 가질 수 있는 이점을 가진다.
또한, 본 발명에 따른 인공지능 드론은 매우 다양한 종류의 센서를 탑재하고 있고, 각 센서를 전처리(필터링) 및 융합하고 상황을 인지하며 외부 신호를 수신 및 제어하는 매우 복잡한 시스템의 구현이 가능하기 때문에, 이러한 시스템 구현에 필요한 각 서브 시스템의 완벽한 모듈화를 통해 인공지능 드론의 비행 중 긴급상황 발생 시 비상정지와 같은 시스템 안전을 위한 조치를 신속하게 취할 수 있다는 점에 이점을 가진다.
도 1는 본 발명의 일 실시예에 따른 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)의 구성을 나타낸 도면이다.
도 2은 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)을 통한 결함 감지 및 그에 따른 드론 몸체부의 비행 자세 제어가 수행되는 개념을 나타낸 도면이다.
도 3은 결함 감지부(145)를 통해 한 쌍의 데이터를 추출 및 시각화(density)한 상태를 나타낸 화면이다.
도 4는 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법을 일련의 순서대로 도시한 도면이다.
도 5는 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)을 통한 인공지능 기반 임무수행 및 비행제어의 개념을 나타낸 도면이다.
도 6은 도 5의 개념을 설명하기 위한 일 실시예를 도식화한 도면이다.
도 7은 본 발명의 일 실시예에 따른 이상 감지부의 이상 상황 감지 개념을 나타낸 도면이다.
도 8은 도 7에 도시된 이상 감지부의 상황 인지 과정을 나타낸 도면이다.
이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.
도 1는 본 발명의 일 실시예에 따른 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)의 구성을 나타낸 도면이고, 도 2은 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)을 통한 결함 감지 및 그에 따른 드론 몸체부의 비행 자세 제어가 수행되는 개념을 나타낸 도면이며, 도 3은 결함 감지부(145)를 통해 한 쌍의 데이터를 추출 및 시각화(density)한 상태를 나타낸 화면이다.
도 1 및 도 2를 살펴보면, 본 발명의 일 실시예에 따른 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)은 크게 몸체부(110), 센서부(120), 전원부(130), 비행 관리부(140), 통신부(150), 통합 관리부(160) 및 시설물 안전점검 관리부(미도시)를 포함하여 구성될 수 있다.
드론 몸체부(110)는 인공지능 드론의 형상 및 인공지능 드론을 구동하기 위한 구동부(프로펠러 등)를 포함하는 의미로 해석될 수 있다.
센서부(120)는 드론 몸체부(110)가 상공을 비행하는 과정에서 드론 몸체부(110) 주변의 주변 환경 데이터를 획득하고, 이를 후술되는 비행 관리부(140)로 전달하는 역할을 한다.
보다 구체적으로, 센서부(120)는 드론 몸체부(110)에 탑재된 카메라 장치(360도 카메라, 열화상 카메라 등), 적외선 센서, 레이저 센서, 2D 라이다 장치, 가속소 센서, 자이로 센서, 전압 센서 및 지자계 센서를 포함할 수 있다.
전원부(130)는 드론 몸체부(110) 내 구동부와 센서부(120)에 전원을 공급하는 역할을 하며, 비행 관리부(140)는 센서부(120)를 통해 획득된 주변 환경 데이터를 토대로 드론 몸체부(110)의 비행 상황을 인지하고, 드론 몸체부(110)의 비행 중 생성되는 비행 데이터를 토대로 드론 몸체부(110)의 이상 여부를 판단하게 된다.
이를 위하여, 비행 관리부(140)는 실시간 객체 인식부(141), 공간 정보 처리부(142), 센서 데이터 전처리부(143), 비전기반 상황 인식부(144), 결함 감지부(145) 및 통합 정보 전달부(146)를 포함하여 구성될 수 있다.
실시간 객체 인식부(141)는 카메라 장치를 통해 획득되는 실시간 영상 데이터(실시간 영상 스트림)를 분석하여 실제 객체(인공지능 드론에 의해 촬영되는 사물 혹은 대상)에 대한 정보인 실시간 객체 정보를 인식하게 된다.
또한, 공간 정보 처리부(142)에서는 적외선 센서, 상기 레이저 센서 및 상기 2D 라이더 장치를 통해 획득되는 실시간 센서 데이터를 분석하여 상기 드론 몸체부(110)를 기준으로 기 설정된 반경 내 공간 정보를 파악하게 되고, 센서 데이터 전처리부(143)는 가속도 센서, 자이로 센서, 전압 센서 및 지자계 센서를 통해 획득되는 실시간 센서 데이터를 라플라스 변환 및 필터링하는 전처리 과정을 진행하게 된다. 이때, 후술되는 통신부(150)를 통해 연결된 조종 제어기로부터 전송되는 조종 신호에 비하여, 자세 및 방위 참조 시스템(AHRS) 회전각 데이터(AHRS 회전각 데이터)의 회전각은 매우 빠른 데이터 갱신 주기를 가지기 때문에, 조종 신호 입장에서는 이를 노이즈가 매우 크다고 판단할 수 있다. 따라서, 센서 데이터 전처리부(143)에서는 이러한 AHRS 회전각 데이터를 이동 평균화 하여 주기를 맞춤으로써 노이즈 감소(안정화)를 하게 된다.
실시간 객체 인식부(141)를 통해 인식된 실시간 객체 정보와, 공간 정보 처리부(142)에 의해 변환 및 필터링 된 실시간 센서 데이터는 비전기반 상황 인식부(144)로 전달된다.
비전기반 상황 인식부(144)에서는 실시간 객체 인식부(141)를 통해 인식된 실시간 객체 정보와, 공간 정보 처리부(142)에 의해 변환 및 필터링 된 실시간 센서 데이터를 토대로, 드론 몸체부(110)로부터 실제 객체까지의 거리 및 3차원 좌표계(x축, y축, z축) 상 좌표값을 인식하게 된다.
결함 감지부(145)는 센서 데이터 전처리부(143)를 통해 전처리 된 실시간 센서 데이터를 토대로 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하게 되며, 비전기반 상황 인식부(144)를 통해 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값과, 결함 감지부(145)를 통해 감지된 결함 여부 및 결함 종류에 대한 결과값(정보)는 후술되는 통합 관리부(160)로 전달되어, 통합 관리부(160)를 통해 드론 몸체부(110)의 비행 자세 제어가 수행되도록 할 수 있다.
여기에서, 결함 감지부(145)에서 전처리 된 실시간 센서 데이터를 이용하여 드론 몸체부(110)의 결함 여부 및 결함 종류를 판단하는 방법에 대해 살펴보면 다음과 같다.
본 발명에서 드론 몸체부(110)의 결함 여부 및 결함 종류를 판단하는 과정에는 실시간 센서 데이터 기반 결함 감지 시스템인 건전성 예측 관리(Prognostics and Health Management, PHM) 기술이 적용된다.
PHM 기술은 센서부(120)를 통해 획득되는 실시간 센서 데이터를 수집하고, 이를 잡음 제거 및 신호처리를 통해 결함과 관련된 특징 신호만을 추출하기 위한 기술이다.
한편, 결함 감지부(145)에서는 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델을 이용하여 학습하여 서로 일정 유사도를 가지는 한 쌍의 데이터를 추출 및 시각화(density) 한 후, 한 쌍의 데이터의 이격 여부를 토대로 상기 드론 몸체부(110)의 결함 여부를 판단하게 된다. 여기에서, 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델은 빠른 연산 결과를 도출할 수 있는 머신러닝 모델 중 하나이다.
이때, 결함 감지부(145)에서는 도 3과 같이 외부 통신 장치(예를 들어, 조종 제어기 등)와 통신을 수행하는 통신부(150)를 통해 연결된 조종 제어기로부터 드론 몸체부(110)의 프로펠러 제어를 위한 조종 신호, 드론 몸체부(110)의 x축, y축, z축에 대한 각 축 방향 별 조종 신호와 자세 및 방위 참조 시스템(AHRS) 회전각 데이터(AHRS 회전각 데이터)를 수집한 후, 수집된 조종 신호 및 AHRS 회전각 데이터를 각각 한 쌍의 데이터로써 정의할 수 있다.
결함 감지부(145)에서는 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델에 센서 데이터 전처리부(!43)를 통해 전처리 된 실시간 센서 데이터를 입력하여 이상 여부를 판단할 수 있으며, 시각화(density)를 통해 표현된 데이터 상에서 이격 여부를 토대로 비정상 데이터를 검출할 수 있다.
한편, 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델의 경우 실시간 센서 데이터의 선정의 상관관계가 매우 중요하다. 서로 관련성이 없는 데이터 쌍으로는 유의미한 학습 모델을 생성할 수 없기 때문이다.
일 실시예에서, 결함 감지부(145)는 결함유형 시나리오에 따른 실시간 센서 데이터를 선정할 수 있다. 예를 들어, 조종 신호와 AHRS 회전각 데이터의 경향성 일치 여부를 토대로 드론의 조종성을 검증할 수 있다.
또한, 결함 감지부(145)는 통신부(150)를 통해 연결된 조종 제어기로부터 송신되는 조종 신호를 토대로 회전각 데이터를 분석하고, 이를 토대로 조종 제어기의 조작 상태를 파악할 수 있다.
예를 들어, 조종 제어기의 성능 문제 혹은 설계 문제에 따른 고장 여부, 드론 몸체부(110)의 비행 중 가해지는 외란(바람)에 의하여 조종 신호 대비 드론 몸체부(110)가 기 설정된 정확한 회전각을 만들어 내지 못하는지에 대한 조종력 하락 여부, 드론 몸체부(110) 내 모터의 이상 발생 여부, 모터의 이상 발생에 따라 드론 몸체부(110)가 기 설정된 회전각에 도달하였는지, 도달하지 못하였는지 여부, 드론 몸체부(110)에 탑재된 프로펠러의 이상 동작 여부 및 프로펠러의 이상 발생에 따라 드론 몸체부(110)가 기 설정된 회전각에 도달하였는지, 도달하지 못하였는지 여부 등을 토대로 인공지능 드론에 대한 회전각 경향을 분석함으로써 인공 지능 드론의 조종 상태를 파악할 수 있다.
통합 관리부(160)는 비행 관리부(140)를 통해 판단된 드론 몸체부(110)의 이상 여부를 토대로 상기 드론 몸체부(110)의 비행 자세 제어를 위한 PID 제어 및 고도 제어를 실시하며, 상기 비행 관리부(140)에 대한 정상 작동 여부를 검증하고, 상기 통신부(150)를 통해 외부 통신 장치와 통신 패킷을 송수신할 수 있다. 특히, 통합 관리부(160)는 인공지능 드론의 자세, 고도 등을 변화시켜서 추돌이나 사고에 대한 방지가 가능하도록 제어에 적극적으로 개입할 수 있다.
또한, 통합 관리부(160) 내 비행 제어 처리부(161)에서는 센서부(120)를 통해 획득되는 실시간 센서 데이터 스트림(가속도 센서 또는 자이로 센서 등의 획득 정보)에 대해 앞서 살펴본 센서 데이터 전처리부(143)와 동일하게 전처리를 수행하여 자세 추정을 실시하고, GPS/관성센서를 이용하여 GPS/INS에서 사용된 기법(칼만 필터)를 활용하여 위치 및 고도를 추정한다. 또한 종합적 상황 인지에 다른 대처 방안을 전달받아 반영하고 자세 및 고도 제어부로 전달한다. 보다 구체적으로, 비행 제어 처리부(161) 내 센서 데이터 전처리부는 가속도 센서 또는 자이로 센서로부터 실시간 센서 데이터 스트림을 수신하여 자세 추정 모듈로 전달하고, EKF 기반 센서융합 위치추정 및 제어모듈에서 인공지능 드론의 위치센서(GPS, Vision기반 localization 등) 및 변위센서(Optical flow 센서, 카메라 등)로부터 관성센서 데이터를 획득하여 이를 비선형 시스템에서 이용 가능한 확장 칼만 필터(Extended Kalman Filter, EKF) 알고리즘을 기반으로 융합하여 인공지능 드론의 위치를 빠르게 추정할 수 있으며, 이를 토대로 인공지능 드론의 임무수행이 더욱 효율적으로 진행될 수 있다. 한편, 확장 칼만 필터(EKF) 알고리즘은 행렬 F, X, B, U, J H, Z, Z_pred와, 자코비안 행렬 J_h, J_h, Covariance 행렬 Q, R을 이용하게 된다. 확장 칼만 필터(EKF) 알고리즘에 대한 수식은 다음과 같다.
pred = Ft+BuT
Ppred = JFPTJF T+Q
Zpred = HXpred
y = Z-Zpred...error
S = JHPpredJT+R
K = Ppred*JT*S-1
XT+1 = Xpred+Ky
PT+1 = (I-KJH)Ppred
한편, 자세 및 고도 제어부는 PID 제어를 통하여 비행에 관련된 모터를 제어하기 위해 모터 제어기 및 외부 액츄에이터 인터페이스부를 포함하는 제어부에 신호를 출력하게 되고, 제어부에서는 이러한 신호를 토대로 모터를 제어하게 된다.
한편, 비행 제어 처리부(161) 내 모듈들은 각 모듈 별로 시간 기반 수식을 이용하기 때문에 각 모듈 별로 정확한 시간 간격으로 동시에 작동되어야 한다. 따라서, 비행 제어 처리부(161)는 각 모듈에서 요구하는 실행 간격을 각 모듈 별 특성에 따라 priorty 및 실행 간격을 기준으로 6개의 그룹으로 나누게 된다.
또한, 비행 제어 처리부(161)는 각 그룹에 속한 모듈들을 기 정의된 시간마다 정확히 작동이 수행되도록 Single Core MCU에서 멀티 태스킹을 구현하여 동시 작동하도록 하고, 각 task 가 기 정의된 시간 대로 정확한 시간 간격으로 작동하고 있는지를 모니터링하게 된다.
이러한 점은, 각 모듈 간에 철저하게 정해진 인터페이스로만 각 모듈들이 통신/제어하도록 하여 인공지능 드론의 전체 시스템에 대한 무결성을 보장하기 위함이며, 이를 도 2에서와 같이 모듈화 및 그룹화 하고 멀티 태스킹을 기반으로 정확한 시간으로 동시성을 보장하여 인공지능 드론의 전체 시스템에 대한 신뢰성을 확보하기 위함이다.
다음으로는, 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법을 순서대로 살펴보기로 한다.
도 4는 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법을 일련의 순서대로 도시한 도면이다.
도 4를 살펴보면, 앞서 살펴본 비행 관리부(140)의 실시간 객체 인식부(141)에서 카메라 장치를 통해 획득되는 실시간 영상 데이터를 분석하여 실제 객체에 대한 실시간 객체 정보를 인식하고(S401), 공간 정보 처리부(142)에서 적외선 센서, 레이저 센서 및 2D 라이더 장치를 통해 획득되는 실시간 센서 데이터를 분석하여 드론 몸체부(110)를 기준으로 기 설정된 반경 내 공간 정보를 파악하게 된다(S402).
비전기반 상황 인식부(144)에서는 실시간 객체 인식부(141)를 통해 인식된 실시간 객체 정보와 공간 정보 처리부(142)를 통해 파악된 공간 정보를 토대로 드론 몸체부(110)로부터 해당 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값을 인식하게 된다(S403).
다음으로, 센서 데이터 전처리부(143)에서는 가속도 센서, 자이로 센서, 전압 센서 및 지자계 센서를 통해 획득되는 실시간 센서 데이터를 전처리하고(S404), 결함 감지부(145)에서는 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 토대로 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하게 된다(S405).
다음으로, 통합 정보 전달부(146)에서는 비전기반 상황 인식부(144)를 통해 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값과, 결함 감지부(145)를 통해 감지된 결함 여부 및 결함 종류에 대한 결과값을 통합 관리부(160)로 전달함으로써, 통합 관리부(160)를 통해 드론 몸체부(110)의 비행 자세 제어가 수행되도록 한다(S406).
도 5는 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론(100)을 통한 인공지능 기반 임무수행 및 비행제어의 개념을 나타낸 도면이고, 도 6은 도 5의 개념을 설명하기 위한 일 실시예를 도식화한 도면이다.
도 5 및 도 6을 살펴보면, 본 발명은 인공지능 비행제어 통합 플랫폼에 해당하며 이를 구현하기 위해서는 인공지능 연산 시스템과 비행제어 시스템이 통합 되어 있는 점에 그 특징이 있다. 이는 의도되지 않은 동작을 할 수 있는 일반적인 OS 상의 인공지능 소프트웨어와 철저하게 의도된 대로 작동하는 비행제어 소프트웨어를 하드웨어 레벨로부터 분리하는 점에서 전혀 다른 특징이 있다. 이러한 이유는 비행제어 시스템이 safety critical system에 해당하기 때문이다.
또한 본 발명은 RF/5G 스위칭 제어 기법을 이용하여 통신 거리 확보나 대역폭 확보가 가능한 경우에는 RF를 이용하고, 통신 거리 확보나 대역폭 확보가 불가능한 경우(장거리 비행 등)에는 상용 통신망(5G/4G)을 이용할 수 있다. 이때, 상용 통신망을 이용하는 경우에는 1:1 통신뿐만 아니라 별도의 서버를 마련하여 데이터를 수집하도록 구현될 수도 있다.
또한, 일 실시예에서, 본 발명의 비행 제어 처리부(161)는 인공지능 드론의 비정상 상황에 대해 학습하고 이를 실시간으로 인지할 수 있도록 하는 이상 감지부를 더 포함할 수 있다. 이에 관해 살펴보면 다음과 같다.
도 7은 본 발명의 일 실시예에 따른 이상 감지부의 이상 상황 감지 개념을 나타낸 도면이고, 도 8은 도 7에 도시된 이상 감지부의 상황 인지 과정을 나타낸 도면이다.
도 7을 살펴보면, 이상 감지부(Anomaly Detector)는 다수의 이상 감지 매니저(Anomaly Detection manager)를 포함하며, 각각의 이상 감지 매니저는 비정상 상황을 학습하고 이를 실시간으로 인지할 수 있다.
이를 위하여, 각 이상 감지 매니저는 전처리 된 센서 데이터를 머신러닝에 기반하여 학습한 후 이에 대한 오류를 검토한 후 각 프로필 별로 저장하게 되고, 학습 진행이 완료된 경우, 이후로 입력되는 센서 데이터에 대해서는 기 학습된 모델을 이용하여 판단 후 상황 인지(Situation Recognition) 모듈로 전달 및 상황 인지 동작을 수행하게 된다. 각 상황은 단순한 비정상 상황에 대한 정보(Score)를 담고 있다. 예를 들어, 배터리, 진동 등에 대한 각 상황을 의미할 수 있다. 이러한 점은, 다수의 상황에 대한 통합적인 판단이 필요하기 때문에, 이상 감지부의 결과들을 상황 인지(Situation Srecognition) 모듈에서 통합적으로 상황을 인지하게 된다.
도 8을 살펴보면, 도 8은 앞서 살펴본 각 이상 감지 매니저에서 수행되는 과정을 나타낸 것이다.
먼저, 각 이상 감지 매니터는 다수의 센서 데이터 스트림을 입력받고 동기화 및 전처리를 수행한다. 이때 처리 종류(학습 또는 인지)에 따라 데이터 흐름이 결정되며, 만약 처리 종류가 학습으로 결정될 경우 모델 생성 과정을 거치게 된다. 이때 모델의 구현 방법은 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델 외에도 다양한 방법이 적용될 수 있다. 이러한 학습 모델이 생성된 후 인지과정이 진행될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론
110: 드론 몸체부
120: 센서부
130: 전원부
140: 비행 관리부
150: 통신부
160: 통합 관리부

Claims (10)

  1. 구동부를 포함하는 드론 몸체부(110);
    비행 중 상기 드론 몸체부(110) 주변의 주변 환경 데이터를 획득하는 센서부(120);
    상기 드론 몸체부(110) 및 상기 센서부(120)에 전원을 공급하는 전원부(130);
    상기 주변 환경 데이터를 토대로 상기 드론 몸체부(110)의 비행 상황을 인지하고, 상기 드론 몸체부(110)의 비행 중 생성되는 비행 데이터를 토대로 상기 드론 몸체부(110)의 이상 여부를 판단하는 비행 관리부(140);
    외부 통신 장치와 통신을 수행하는 통신부(150);
    상기 비행 관리부(140)를 통해 판단된 상기 드론 몸체부(110)의 이상 여부를 토대로 상기 드론 몸체부(110)의 비행 자세 제어를 위한 PID 제어 및 고도 제어를 실시하며, 상기 비행 관리부(140)에 대한 정상 작동 여부를 검증하고, 상기 통신부(150)를 통해 외부 통신 장치와 통신 패킷을 송수신하는 통합 관리부(160); 및
    상기 센서부(120)를 통해 획득되는 각 시설물 별 시설물 점검 데이터에 대한 패턴을 머신러닝을 통해 학습한 결과를 토대로 각 시설물 별 시설물 안전 점검을 수행하는 시설물 안전점검 관리부;를 포함하되,
    상기 비행 관리부(140)는,
    카메라 장치를 통해 획득되는 실시간 영상 데이터를 분석하여 실제 객체에 대한 실시간 객체 정보를 인식하는 실시간 객체 인식부(141);
    적외선 센서, 레이저 센서 및 2D 라이더 장치를 통해 획득되는 실시간 센서 데이터를 분석하여 상기 드론 몸체부(110)를 기준으로 기 설정된 반경 내 공간 정보를 파악하는 공간 정보 처리부(142);
    가속도 센서, 자이로 센서, 전압 센서 및 지자계 센서를 통해 획득되는 실시간 센서 데이터를 라플라스 변환 및 필터링하는 센서 데이터 전처리부(143);
    상기 실시간 객체 인식부(141)를 통해 인식된 상기 실시간 객체 정보와 상기 공간 정보 처리부(142)를 통해 파악된 상기 공간 정보를 토대로, 상기 드론 몸체부(110)로부터 해당 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값을 인식하는 비전기반 상황 인식부(144);
    상기 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 토대로 상기 드론 몸체부(110)의 결함 여부 및 결함 종류를 감지하는 결함 감지부(145); 및
    상기 비전기반 상황 인식부(144)를 통해 인식된 실제 객체까지의 거리 및 3차원 좌표계 상 좌표값과, 상기 결함 감지부(145)를 통해 감지된 결함 여부 및 결함 종류에 대한 결과값을 상기 통합 관리부(160)로 전달하여 상기 통합 관리부(160)를 통해 상기 드론 몸체부(110)의 비행 자세 제어가 수행되도록 하는 통합 정보 전달부(146);를 포함하는 것을 특징으로 하는, 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 결함 감지부(145)는,
    상기 센서 데이터 전처리부(143)로부터 전달되는 실시간 센서 데이터를 다변량 정규 분포(Multivariate Normal distribution) 기반 머신러닝 학습 모델을 이용하여 학습하여 서로 일정 유사도를 가지는 한 쌍의 데이터를 추출 및 시각화(density) 한 후, 한 쌍의 데이터의 이격 여부를 토대로 상기 드론 몸체부(110)의 결함 여부를 판단하는 것을 특징으로 하는, 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론.
  5. 제1항에 있어서,
    상기 센서부(120)는 비행 중 상기 드론 몸체부(110)의 회전각 데이터를 획득하며,
    상기 결함 감지부(145)는,
    상기 통신부(150)를 통해 연결된 조종 제어기로부터 송신되는 조종 신호를 토대로 상기 회전각 데이터를 분석하여 상기 조종 제어기의 조작 상태를 파악하는 것을 특징으로 하는, 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론.
  6. 제5항에 있어서,
    상기 결함 감지부(145)는,
    상기 조종 제어기의 고장 여부, 상기 드론 몸체부(110)의 비행 중 가해지는 외란에 의한 조종력 하락 여부, 상기 조종 제어기의 조작 시 기 설정된 회전각에 도달하는지 여부, 상기 드론 몸체부(110) 내 모터의 이상 발생 여부, 상기 모터의 이상 발생에 따라 상기 드론 몸체부(110)가 기 설정된 회전각에 도달하지 못하는지 여부 및 상기 드론 몸체부(110)에 탑재된 프로펠러의 이상 동작 여부 및 상기 프로펠러의 이상 발생에 따라 상기 드론 몸체부(110)가 기 설정된 회전각에 도달하지 못하는지 여부를 토대로 상기 조종 제어기의 조작 상태를 파악하는 것을 특징으로 하는, 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론.
  7. 제4항에 있어서,
    상기 결함 감지부(145)는,
    상기 통신부(150)를 통해 연결된 조종 제어기로부터 상기 드론 몸체부(110)의 프로펠러 제어를 위한 조종 신호, 상기 드론 몸체부(110)의 x축, y축 및 z축에 대한 각 축방향 별 조종 신호와 자세 및 방위 참조 시스템(AHRS) 회전각 데이터를 수집 후 수집된 상기 조종 신호 및 상기 AHRS 회전각 데이터를 각각 상기 한 쌍의 데이터로써 정의하는 것을 특징으로 하는, 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020210164953A 2020-11-25 2021-11-25 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법 KR102457691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220111112A KR102578922B1 (ko) 2020-11-25 2022-09-02 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200160125 2020-11-25
KR20200160125 2020-11-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220111112A Division KR102578922B1 (ko) 2020-11-25 2022-09-02 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20220072801A KR20220072801A (ko) 2022-06-02
KR102457691B1 true KR102457691B1 (ko) 2022-10-21

Family

ID=81985248

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210164953A KR102457691B1 (ko) 2020-11-25 2021-11-25 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법
KR1020220111112A KR102578922B1 (ko) 2020-11-25 2022-09-02 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220111112A KR102578922B1 (ko) 2020-11-25 2022-09-02 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법

Country Status (1)

Country Link
KR (2) KR102457691B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102372446B1 (ko) * 2020-08-13 2022-03-11 동아대학교 산학협력단 무인비행체와 가상 수상 기준점을 활용한 수위 측정 및 3차원 수면 공간정보 생성 방법
KR102607125B1 (ko) 2021-03-25 2023-11-29 (주)케이엠피 곤충 사육 장치
KR102633461B1 (ko) * 2023-07-05 2024-02-02 한성진 선박항해 안내를 위한 드론장치 및 그 장치의 구동방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026023A1 (en) * 2014-08-19 2016-02-25 Aeryon Labs Inc. Secure system for emergency-mode operation, system monitoring and trusted access vehicle location and recovery
JP2019059314A (ja) 2017-09-26 2019-04-18 日本電信電話株式会社 飛行制御装置、方法、及びプログラム
KR102012288B1 (ko) 2018-05-17 2019-10-21 (주)우리안전기술원 드론을 이용한 구조물 안전 점검 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074637B1 (ko) * 2012-09-19 2020-02-10 한국전력공사 구조물 점검용 비행 장치
KR102228194B1 (ko) * 2018-02-05 2021-03-22 이철희 카메라 초점 유지 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026023A1 (en) * 2014-08-19 2016-02-25 Aeryon Labs Inc. Secure system for emergency-mode operation, system monitoring and trusted access vehicle location and recovery
JP2019059314A (ja) 2017-09-26 2019-04-18 日本電信電話株式会社 飛行制御装置、方法、及びプログラム
KR102012288B1 (ko) 2018-05-17 2019-10-21 (주)우리안전기술원 드론을 이용한 구조물 안전 점검 시스템

Also Published As

Publication number Publication date
KR20220072801A (ko) 2022-06-02
KR102578922B1 (ko) 2023-09-15
KR20220130629A (ko) 2022-09-27

Similar Documents

Publication Publication Date Title
KR102457691B1 (ko) 실시간 센서 데이터 기반 결함 감지 시스템을 탑재한 인공지능 드론 및 실시간 센서 데이터 기반 결함 감지 시스템을 이용하여 인공지능 드론의 결함을 감지하기 위한 방법
Kouris et al. Learning to fly by myself: A self-supervised cnn-based approach for autonomous navigation
Scaramuzza et al. Vision-controlled micro flying robots: from system design to autonomous navigation and mapping in GPS-denied environments
Roberts et al. Low-cost flight control system for a small autonomous helicopter
Saska et al. Fault-tolerant formation driving mechanism designed for heterogeneous MAVs-UGVs groups
Alessandri et al. Fault detection of actuator faults in unmanned underwater vehicles
Fan et al. AUV docking based on USBL navigation and vision guidance
US10656643B1 (en) Safe and secure practical autonomy
CN113671994B (zh) 基于强化学习的多无人机与多无人船巡检控制系统
CN109101039A (zh) 立井检测方法及系统
Ohta et al. Image acquisition of power line transmission towers using UAV and deep learning technique for insulators localization and recognition
Suarez et al. Cooperative virtual sensor for fault detection and identification in multi-UAV applications
Sinisterra et al. A USV platform for surface autonomy
CN112223273A (zh) 一种工业机器人视觉检测及避障系统
Tsintotas et al. The MPU RX-4 project: Design, electronics, and software development of a geofence protection system for a fixed-wing vtol uav
CN109885091B (zh) 一种无人机自主飞行控制方法及系统
Ramírez et al. Coordinated sea rescue system based on unmanned air vehicles and surface vessels
CN111552315B (zh) 一种飞行驾驶方法、装置、设备和存储介质
Das et al. Human target search and detection using autonomous UAV and deep learning
CN115639769B (zh) 一种安全智能控制方法及系统
KR20240007861A (ko) 5g 기반 스마트 인공지능 드론 운용 시스템 및 이에 의해 운용되는 드론
KR102228804B1 (ko) 지능형학습 기반의 드론 비행안전 보조시스템
Zhu et al. Hawkeye: Open source framework for field surveillance
McFadyen et al. Assisted control for semi-autonomous power infrastructure inspection using aerial vehicles
Duan et al. Integrated localization system for autonomous unmanned aerial vehicle formation flight

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant