KR102281164B1 - 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법 - Google Patents

선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법 Download PDF

Info

Publication number
KR102281164B1
KR102281164B1 KR1020190149569A KR20190149569A KR102281164B1 KR 102281164 B1 KR102281164 B1 KR 102281164B1 KR 1020190149569 A KR1020190149569 A KR 1020190149569A KR 20190149569 A KR20190149569 A KR 20190149569A KR 102281164 B1 KR102281164 B1 KR 102281164B1
Authority
KR
South Korea
Prior art keywords
recognition
information
characteristic information
drone
merging
Prior art date
Application number
KR1020190149569A
Other languages
English (en)
Other versions
KR20210061709A (ko
Inventor
양승환
손현식
김덕근
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190149569A priority Critical patent/KR102281164B1/ko
Publication of KR20210061709A publication Critical patent/KR20210061709A/ko
Application granted granted Critical
Publication of KR102281164B1 publication Critical patent/KR102281164B1/ko

Links

Images

Classifications

    • G06K9/20
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • G06K9/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B64C2201/127
    • B64C2201/141
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치는 전선 객체의 인식을 위한 기준데이터가 저장되는 DB부; 드론에 장착된 카메라 모듈로부터 현장영상이 입력되는 영상입력부; 상기 기준데이터와 대응되는 복수 개 인식영역을 상기 현장영상에서 추출하는 인식영역추출부; 상기 추출된 복수 개 인식영역 중 상호 선형적 위치 관계를 가지는 인식영역을 상호 머징하여, 전선 위치영역을 표상하는 정보인 머징영역정보를 하나 이상 생성하는 머징처리부; 및 상기 드론의 경로정보와 상기 머징영역정보를 대비하여 상기 드론의 운행과 관련된 후속제어를 수행하는 운행제어부를 포함하는 것을 특징으로 한다.

Description

선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING LINE USING MUTUAL RELATION OF LINEAR CHARACTERISTIC INFORMATION}
본 발명은 드론에서 촬영되는 현장영상을 이용하여 드론 주변의 전선객체를 인식하는 장치 및 방법에 관한 것으로서, 더욱 구체적으로는 객체 학습 및 인식의 단위 기반인 인식영역의 특징정보를 선형적 특징을 가지는 분류 기준으로 유형화시키고 연속화시킴으로써 전선 객체가 위치하는 영역을 더욱 정확하게 정밀하게 인식할 수 있으며, 나아가 이를 기반으로 드론의 후속 운행을 더욱 정교하게 구현할 수 있는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법에 관한 것이다.
취미 또는 레저용은 물론, 무인비행체인 드론(drone)은 자세 제어 등이 안정적이며 적절한 고도까지 쉽게 도달할 수 있다는 등의 특징을 가지고 있어 화재 감시, 조난자 수색, 방송, 교통 모니터링, 물품 운송 등 다양한 분야로 그 활용도가 확장되고 있다.
이와 같이 드론은 다양한 편의성과 효용성을 가지고 있어 최근에는 농약을 살포하는 등의 농업 방제용으로도 활용되고 있다.
군사용이나 특수 목적용 등과 같이 위성 장치나 또 다른 비행체에서 조정되는 경우를 제외하면, 드론은 통상적으로 무선 조종기 등으로 원격지의 조정자가 육안으로 드론을 확인하면서 조정하는 방식으로 운용되며, 최근에는 드론에 장착된 카메라 장치의 영상을 무선통신 네트워크 등을 수신하고 조종자가 이를 확인하면서 조정하는 등의 방식도 적용되고 있다.
드론은 유인 비행체나 헬기 등과 같이 3차원 공간으로 비행하는 물체이므로 조정이 쉽지 않으며, 조정자가 육안으로 드론을 확인하거나 또는 조정기에 탑재되는 화면표시수단을 통하여 간접적으로 드론을 확인하면서 조정하여야 하므로 작은 부주의로도 충돌 등의 사고가 언제든지 발생할 수 있다.
이러한 충돌 등의 사고를 방지하기 위하여 최근에는 영상 장치 또는 센서(sensor) 등을 드론에 설치하여 드론 주변의 장애물을 인지하고 장애물이 인지되는 경우 드론이 경로를 우회하거나 정지하도록 하는 방법이나 알고리즘이 적용되고 있다.
이러한 방법이나 알고리즘(또는 이러한 알고리즘이 탑재된 장치) 등에는 영상 처리 기법, 딥러닝, 머신러닝 등의 학습 모델링 등을 기반으로 하는 객체 인식 기법 등이 주로 적용된다.
한편, 농업용으로 사용되는 드론의 경우, 일반적인 장애물은 크게 많지 않다고 할 수 있으나 농가, 농지 등의 주변에 무질서하게 설치된 전선들은 드론의 비행에 예기치 않는 장애물이 될 수 있고 실제적으로도 드론이 전선에 충돌하는 사고가 적지 않게 발생하고 있다.
전선은 상당히 긴 길이를 가지는 반면, 그 두께가 10~20mm 밖에 되지 않으며 설치환경이나 노후 등에 따라 형상적으로도 정형화되어 있지 않아 특히, 드론이 고속으로 비행하는 경우 육안은 물론, 카메라 장치의 영상을 통하여 간접 확인을 한다고 하여도 전선이 미리 인지되기가 쉽지 않아 사고 발생 빈도가 높다고 할 수 있다.
특히 방제용으로 이용되는 드론의 경우, 중량이 무겁고 크기가 크므로 사고 발생 시 드론 자체의 심각한 파손이 야기되며 단선 등에 의하여 정전 사고와 같은 큰 사고도 발생될 수도 있다.
종래 객체 인식 알고리즘은 특정 영역의 공간을 점유하는 개별 객체(또 다른 드론, 자동차, 사람, 장치 등)의 인식에는 어느 정도 효용성이 있으나, 전선의 경우 두께가 상당히 얇음은 물론, 전체 형상이 정형화되어 있지 않다는 특징을 가지고 있어 종래 객체 인식 알고리즘을 적용하는 경우 전선이 위치하는 공간 내지 영역을 정확히 정보화하고 이를 후속적으로 활용하기가 어렵다는 본질적인 문제점이 있다.
한국공개특허공보 10-2017-0062149호(2017.06.07) 한국공개특허공보 10-2018-0075111호(2018.07.04)
본 발명은 상기와 같은 배경에서 상술된 문제점을 해결하기 위하여 창안된 것으로서, 복수 개 인식영역의 위치 관계를 기반으로 상호 선형성을 가지는 인식영역을 그룹핑하고 그룹핑된 인식영역을 연속화시키는 전선 객체만에 특화된 방법을 적용함으로써, 전선 객체가 위치하는 공간 내지 영역을 더욱 정확하게 감지하고 이 결과를 드론의 후속 운행 제어에 활용하는 드론의 전선 인식장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 아래의 설명에 의하여 이해될 수 있으며, 본 발명의 실시예에 의하여 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 그 구성의 조합에 의하여 실현될 수 있다.
상기 목적을 달성하기 위한 본 발명의 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치는 전선 객체의 인식을 위한 기준데이터가 저장되는 DB부; 드론에 장착된 카메라모듈로부터 현장영상이 입력되는 영상입력부; 상기 기준데이터와 대응되는 복수 개 인식영역을 상기 현장영상에서 추출하는 인식영역추출부; 상기 추출된 복수 개 인식영역 중 상호 선형적 위치 관계를 가지는 인식영역을 상호 머징하여, 전선 위치영역을 표상하는 정보인 머징영역정보를 하나 이상 생성하는 머징처리부; 및 상기 드론의 경로정보와 상기 머징영역정보를 대비하여 상기 드론의 운행과 관련된 후속제어를 수행하는 운행제어부를 포함하여 구성될 수 있다.
여기에서, 본 발명의 상기 DB부는 서로 다른 크기의 라벨링 영역을 이용하여 생성된 복수 개 기준데이터가 저장될 수 있으며, 이 경우 본 발명의 상기 인식영역추출부는 상기 복수 개 기준데이터 중 상기 드론의 크기정보에 해당하는 기준데이터를 이용하여 상기 복수 개 인식영역을 선별하도록 구성되는 것이 바람직하다.
또한, 본 발명의 상기 기준데이터는 해당 크기의 라벨링 영역 내 복수 개의 전선 라인이 존재하는 경우 단일 전선 라인으로 처리되어 생성될 수 있다.
바람직하게, 본 발명의 상기 인식영역추출부는 상기 복수 개 인식영역 각각의 특징점 위치정보, 가로길이정보 및 세로길이정보를 포함하는 n(n은 2이상의 자연수)개 특성정보를 생성하도로 구성되며, 이 경우 본 발명의 상기 머징처리부는 상기 n개 특성정보의 위치관계를 이용하여 상기 복수 개 인식영역 중 선형성을 가지는 인식영역을 선별하고, 상기 선별된 복수 개 인식영역을 머징한 머징영역정보를 생성하도록 구성된다.
더욱 구체적으로 본 발명의 상기 머징처리부는 상기 n개 특성정보가 입력되는 특성정보입력부; 상기 n개 특성정보를 상기 현장영상의 수평방향인 X축 방향을 기준으로 순차적으로 정렬하는 정렬부; k+1(k는 1이상 n-1이하 자연수)번째 특성정보의 특징점 위치정보 중 Y축 좌표값이 k번째 특성정보의 높이 범위에 위치하는 경우 상기 k+1번째 특성정보에 해당하는 인식영역을 상기 k번째 특성정보에 해당하는 인식영역과 동일한 인식영역그룹으로 분류하는 그룹핑 프로세싱을 수행하는 그룹핑부; 및 동일한 인식영역그룹으로 분류된 인식영역을 연속적으로 연결하여 상기 머징영역정보를 생성하는 머징영역생성부를 포함하여 구성될 수 있다.
여기에서, 본 발명의 상기 머징처리부는 상기 그룹핑부의 그룹핑연산이 완료된 후, 상기 인식영역그룹으로 그룹핑되지 않은 인식영역에 해당하는 특성정보를 대상으로 상기 그룹핑 프로세싱이 순환적으로 적용되도록 제어하는 프로세싱제어부를 더 포함할 수 있다.
또한, 본 발명의 상기 머징영역생성부는 상기 특성정보를 이용하여 동일한 인식영역그룹에 속한 복수 개 인식영역 중 상호 인접한 인식영역의 상위 포인트와 하위 포인트를 상호 연결하여 상기 머징영역정보를 생성하도록 구성될 수 있다.
실시형태에 따라서 본 발명의 상기 운행제어부는 상기 드론의 현재 위치정보 및 속도정보를 더 이용하여 상기 드론의 운행과 관련된 후속제어를 수행하도록 구성될 수 있다.
나아가 본 발명은 상기 드론의 전방에 위치한 피사체와의 거리 정보를 생성하는 거리정보생성유닛을 더 포함할 수 있으며 이 경우 본 발명의 상기 운행제어부는 상기 거리 정보를 더 이용하여 상기 드론의 운행과 관련된 후속제어를 수행하도록 구성될 수 있다.
더욱 바람직하게, 본 발명은 근접한 전선 사이의 이격거리를 생성하는 이격거리생성부를 더 포함할 수 있다.
구체적으로 상기 이격거리생성부는 상기 n개 특성정보 각각에 포함된 특징점 위치정보 중 상기 X축 좌표값을 기준으로 상호 가장 근접한 특성정보 쌍을 선별하는 페어선별부; 상기 페어선별부에서 선별된 각 특성정보 쌍 각각에 포함된 2개의 특징점 위치정보 중 Y축 좌표값의 차이를 연산하고 이 중 최소값을 선별하는 연산처리부; 및 상기 선별된 최소값을 근접 전선의 이격거리정보로 설정하는 이격거리설정부를 포함할 수 있다. 이 경우 본 발명의 상기 운행제어부는 상기 이격거리정보를 더 이용하여 상기 드론의 운행과 관련된 후속제어를 수행하도록 구성될 수 있다.
본 발명의 다른 측면에 의한 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식방법은 드론에 장착된 카메라 모듈로부터 현장영상이 입력되는 영상입력단계; 전선 객체의 인식을 위하여 기 저장된 기준데이터와 대응되는 복수 개 인식영역을 상기 현장영상에서 추출하는 선별단계; 상기 추출된 복수 개 인식영역 중 상호 선형적 위치 관계를 가지는 인식영역을 상호 머징하여, 전선 위치영역을 표상하는 정보인 머징영역정보를 생성하는 머징처리단계; 및 상기 드론의 경로정보와 상기 하나 이상의 머징영역정보를 대비하여 상기 드론의 운행과 관련된 후속제어를 수행하는 운행제어단계를 포함하여 구성될 수 있다.
본 발명의 바람직한 일 실시예에 의할 때, 영상처리(딥러닝) 등에서 이산적(離散的, scattering)으로 분산 분포되는 인식 영역을 대상으로 선형적 특징 관계를 가지는 복수 개 인식영역을 선별적으로 연속화시킴으로써 전선의 위치 영역을 정확히 모델링화할 수 있어 전선의 물리적 특성에 최적화되는 인식 기반을 제공할 수 있다.
또한, 학습의 대상이 되는 영상데이터를 복수 개 크기의 라벨링 영역을 기준으로 각각 DB화하고 이를 전선 객체를 인식하는 기준 데이터로 활용함으로써 드론의 실제 크기에 따른 전선 인식이 차등적으로 이루어질 수 있어 더욱 실질적이고 정밀한 전선 인식 내지 감지를 구현할 수 있다.
나아가 본 발명에 의하는 경우, 영상데이터만을 이용한 간이한 방법으로 전선 객체의 정확한 인식이 이루어지므로 전선 인식 및 이를 기반으로 한 드론의 후속 운행 제어가 더욱 신속하게 구현될 수 있어 사고 발생률을 더욱 저하시킬 수 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술 사상을 더욱 효과적으로 이해시키는 역할을 하는 것이므로, 본 발명은 이러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 일 실시예에 의한 드론 및 이와 관련된 전반적인 구성을 도시한 도면,
도 2는 도 1에 도시된 드론의 상세 구성을 도시한 도면,
도 3은 본 발명에 의한 전선 인식장치의 상세 구성을 도시한 블록도,
도 4는 도 3에 도시된 본 발명의 머징처리부의 상세 구성을 도시한 블록도,
도 5는 도 3에 도시된 이격거리생성부의 상세 구성을 도시한 블록도,
도 6은 본 발명의 바람직한 일 실시예에 의한 전선 인식 프로세싱 과정을 도시한 흐름도,
도 7은 복수 개 인식영역을 연속화하는 본 발명의 프로세싱 과정을 도시한 흐름도,
도 8은 근접한 전선 사이의 이격거리를 연산하는 본 발명의 프로세싱 과정을 도시한 흐름도,
도 9는 전선 객체의 인식을 위한 라벨링 영역을 포함하는 기준데이터의 예를 도시한 도면,
도 10 및 도 11은 전선위치영역을 표상하는 정보인 머징영역정보에 대한 실시예를 도시한 도면,
도 12는 근접한 전선 사이의 이격거리를 산출하는 과정을 도시한 도면,
도 13은 복수 개 특성정보에 대한 일 실시예를 도시한 도면,
도 14는 도 13의 특성정보가 X축 방향으로 정렬된 실시예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 일 실시예에 의한 드론(50) 및 이와 관련된 전반적인 구성을 도시한 도면이며, 도 2는 도 1에 도시된 드론(50)의 상세 구성을 도시한 도면이다.
본 발명의 일 실시예에 의한 드론(50)은 농약 살포 등 방제용으로 사용되는 농업용 드론으로서, 도 2에 도시된 바와 같이 프로펠러 등 비행을 위한 기본적인 구동수단 및 안정적인 착지 내지 착륙을 유도하는 랜딩레그(53)를 포함할 수 있음은 물론이다.
실시형태에 따라서 드론(50)의 가운데 부분에는 농약 등이 보관되는 챔버(52)가 구비되며, 이 챔버(52)와 물리적으로 연결되며 정해진 신호 체계 등에 따라 개방되어 농약 등이 살포되는 하나 이상의 노즐 수단(51)이 포함될 수 있다.
본 발명의 드론(50)은 후술되는 바와 같이 전선 객체의 인식을 위하여 현장 영상을 촬영하는 카메라 모듈(55)이 몸체(54)의 상부 등에 구비되며, 실시형태에 따라서 TOF(Time Of Flight)카메라, 적외선 센서, 라이다(lidar) 등과 같이 객체와의 거리 정보를 생성할 수 있는 거리정보생성유닛(57)이 추가적으로 탑재될 수 있다.
상기 거리정보생성유닛(57)은 독립된 장치 내지 유닛으로 구현될 수 있음은 물론이며, 실시형태에 따라서 카메라 모듈(55)과 통합된 하나의 장치 내지 유닛으로도 구현될 수 있다.
본 발명에 의한, 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치(이하 '전선 인식장치'라 지칭한다)(100)는 드론(50)의 몸체(54)에 내장되는 장치로서, 후술하여 상세히 설명되는 바와 같이 카메라 모듈(55)로부터 입력되는 현장영상을 파싱(parsing)하고 필요한 데이터 가공 프로세싱을 수행하여 주변의 전선 객체를 인식하고 인식된 결과를 기초로 드론의 운행을 후속적으로 제어하는 장치에 해당한다.
이러한 내-외부 구성을 포함하는 본 발명의 드론(50)은 도 1에 도시된 바와 같이 개별화된 조종기 단말(70)에 구비된 레버 등의 인터페이싱 수단을 사용자(조정자)가 조작하는 방법 등을 통하여 그 운행이 제어된다.
실시형태에 따라서 조종기 단말(70)의 일측에는 드론(50)에 설치된 카메라 모듈(55)로부터 수신되는 영상이 표출되는 화면표시수단(71)이 구비될 수 있음은 물론이다.
또한, 본 발명의 드론(50)은 전선 객체 인식 및 그 후속 프로세싱과 관련하여 기준 데이터 등 필요한 데이터를 무선 통신 네트워크를 통하여 외부 서버(200)로부터 수신할 수 있도록 통신모듈이 구비될 수 있다.
통상적으로 조종기 단말(70)을 조작하는 사용자는 드론(50)과 근접한 거리에 위치하고 있으므로 조종기 단말(70)과 드론(50) 사이의 운행 컨트롤 등과 같은 제어 신호는 RF신호 체계 등에 의한 무선 통신으로 구현될 수 있으며, 드론(50)에 장착된 카메라 모듈(55)에서 생성되는 영상데이터 등은 wifi 등과 같은 무선 통신 네트워크를 통하여 구현될 수 있다.
또한, 전선 객체 인식을 위한 기준 데이터 및 객체 인식 알고리즘이 구현된 엔진 등이 탑재되는 외부 서버(200)는 복수 개 드론(50-1, …, 50-m)과 다중적으로 통신 가능하게 구현되어야 하며 나아가 외부 서버(200)가 드론의 작업 현장에 인접하지 않을 수 있으므로 드론(50)과 외부 서버(200) 사이의 통신은 무선인터넷, CDMA, 3G, LTE 등과 같은 통신 네트워크로 구현되는 것이 바람직하다.
도 2에 도시된 드론(50)은 본 발명을 구현하기 위한 일 실시예를 예시한 것이므로 실시형태에 따라서 외형 형상이나 구조 등은 다양하게 변형될 수 있음은 물론이다.
또한, 전선 인식을 위한 기준 데이터 등은 드론(50)의 요청 신호 등에 의하여 외부 서버(200)로부터 전송되도록 구성할 수 있음은 물론이나, 하드웨어 리소스가 충분히 확보된다면 통신 제약과 같은 환경에 강인하게 대처하고 데이터 처리의 즉시성 등이 구현될 수 있도록 드론(50)에 구비되는 본 발명의 전선 인식장치(100)에 내장되는 형태로 구현되는 것이 바람직하다.
이하에서는 첨부된 도면을 참조하여 본 발명에 의한 전선 인식장치(100)의 상세 구성 및 구체적인 프로세싱 과정을 설명하도록 한다.
도 3에 도시된 바와 같이 본 발명의 전선 인식장치(100)는 DB부(110), 영상입력부(120), 인식영역추출부(130), 머징(merging)처리부(140), 운행제어부(150), 운행정보저장부(160), 통신부(170), 상태정보처리부(180) 및 이격거리생성부(190)를 포함하여 구성될 수 있다.
본 발명의 상세한 설명에 앞서, 도 3에 도시된 본 발명의 전선 인식장치(100), 도 4에 도시된 머징처리부(140) 및 도 5에 도시된 이격거리생성부(190)의 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다.
즉, 각각의 구성은 본 발명의 기술 사상을 실현하기 위한 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 구성되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.
본 발명의 DB부(110)는 전선 객체의 인식을 위한 기준 데이터가 저장된다(S500, 도 6 참조). 상기 기준 데이터는 전선 객체를 인식하기 위한 복수 개의 샘플 영상 등을 기반으로 학습된 결과 데이터로서, 잘 알려진 바와 같이 영상의 특징점 정보 등을 반복적 내지 지속적으로 확인하면서 인식이 대상이 되는 객체(전선)를 판단하기 위한 로 데이터(raw-data)가 된다.
영상 인식 알고리즘(딥러닝 등 포함)의 경우, 통상적으로 사각 형상의 라벨링 영역(labeling area)을 기본 유닛으로 이 라벨링 영역에 포함된 객체의 에지(edge) 또는 외곽 라인 또는 위치 기반의 특징점 정보 등을 유형화함으로써 해당 객체의 식별(인식)을 위한 기준 데이터를 생성하여 활용한다.
도 9에 도시된 도면은 기준 데이터 생성을 위한 샘플 영상과 해당 샘플 영상에서 추출되는 라벨링 영역(L1, L2)이 도시된 기준 데이터를 예시한 도면이다.
도 9에는 이해의 편의성을 높이기 위하여 사진 대용의 도면과 그에 포함된 라벨링 영역(L1, L2)을 도시하고 있으나, 실제적으로는 본 발명의 기준데이터는 라벨링 영역을 특징화하는 데이터 셋(date set)의 형태로 기준 데이터가 생성될 수 있다.
상기 기준데이터는 전선 객체의 인식을 위한 로-데이터이므로 실제 드론에 장착된 카메라 모듈에서 생성되는 영상과 흡사한 촬영 조건(예를 들어, 5m~15m의 거리 등)에서 촬영되는 것이 바람직하며, 영상 크기, 해상도, 초점 거리 등과 같이 광학적 특성 정보는 적절한 변환 함수를 적용하여 필요한 범위에서 가공될 수 있음은 물론이다.
본 발명은 전선 객체를 인식하고 이를 기반으로 드론이 전선에 충돌하는 것을 방지하는 기술이므로 기준 데이터에 포함된 라벨링 영역 또한, 드론의 크기 내지 점유 공간 별 크기에 대응되는 복수 개 종류로 생성하고, 후속적으로 드론(50)에서 전선 객체를 인식하는 프로세싱을 수행할 때, 해당 드론(50)의 크기에 대응되는 라벨링 영역이 설정된 기준 데이터가 선별적으로 적용되도록 구성하는 것이 바람직하다.
도 9의 상단 도면(a)은 크기(a1×b1)가 작은 라벨링 영역이 포함된 기준 데이터의 예시이며, 하단 도면(b)은 상대적으로 큰 크기(a2×b2)의 라벨링 영역이 포함된 기준데이터에 해당한다.
도 9에 도시된 도면(사진 대용)은 실제 촬영되는 영상 내지 이미지를 표상하는 것으로서, 이하 설명에서 도 9에 예시된 도면을 기준으로 수평축을 X축으로, 수직축을 Y축으로 정의하여 설명하도록 한다.
도 9(b)에 예시된 도면은 상대적으로 큰 크기의 라벨링 영역이 프로세싱의 단위로 설정된 기준 데이터로서, 해당 크기의 라벨링 영역 내 복수 개의 전선 라인이 존재하는 경우 해당 크기에 대응되는 드론(50)은 이 전선들 사이를 통과할 수 없으므로 이 경우 특정 라벨링 영역 내 복수 개의 전선 라인은 단일(single) 전선 라인으로 처리되어 기준 데이터가 생성되도록 구성하는 것이 바람직하다.
본 발명의 영상입력부(120)는 드론(50)에 장착된 카메라 모듈(55)로부터 현장 영상을 입력받는다(S510). 이 현장 영상은 실제 드론(50)이 비행을 하면서 촬영하는 현장에 대한 영상을 의미한다.
앞서 설명된 바와 같이 본 발명의 기준데이터는 본 발명의 전선 인식장치(100)의 일 구성인 DB부(110)에 저장될 수 있으나 실시형태에 따라서 외부 서버(200)에 기준 데이터를 요청하고 수신(S505)하는 방법으로도 이용될 수 있음은 물론이다.
영상입력부(120)에 현장 영상이 입력되면 본 발명의 인식영역추출부(130)는 상기 DB부(110)에 저장된 기준데이터를 독출(access and read)하고 입력된 현장 영상을 대상으로 상기 기준 데이터에 대응되는 복수 개 인식영역을 추출한다(S520).
앞서 기술된 바와 같이 본 발명의 DB부(110)에 라벨링 영역의 크기가 서로 다른 복수 개 기준데이터가 저장된 경우, 본 발명의 인식영역추출부(130)는 해당 드론(50)의 크기 정보에 해당하는 기준 데이터를 이용하여 상기와 같이 복수 개 인식영역을 선별하도록 구성하는 것이 바람직하다.
도 10(a)는 카메라 모듈(55)로부터 입력되는 현장 영상의 일 예를 도시한 도면이며, 도 10(b)는 현장 영상을 대상으로 기준데이터(라벨링 영역)에 대응되는 복수 개 인식영역(RA1~RA7)이 추출된 일 예를 도시한 도면이다.
이와 같이 복수 개 인식영역(RA, Recognition Area)이 추출되면 본 발명의 머징처리부(140)는 상기 추출된 복수 개 인식영역(예를 들어, 도 9의 RA1~RA7) 중 상호 선형적(linearity) 위치 관계를 가지는 인식 영역을 선별한다(S530).
이와 같이 상호 선형적 위치 관계를 가지는 하나 이상의 인식영역이 선별되면 본 발명의 머징(merging)처리부(140)는 이들을 상호 머징하여(S540) 전선 위치영역을 표상하는 정보인 머징영역정보를 생성한다(S550).
선형적 위치 관계를 가지는 인식 영역의 선별 및 이들의 머징 프로세싱에 대한 본 발명의 구체적인 실시예는 후술하도록 한다.
복수 개 인식영역 중 상호 선형적 위치 관계를 가지는 인식 영역이 2개 이상의 분류로 구분된다면 본 발명의 머징처리부(140)는 이들 각각을 머징하여 2개 이상의 머징영역정보를 생성한다.
이와 같이 전선이 위치하는 영역을 표상하는 하나 이상의 머징영역정보가 생성되면 이 정보는 본 발명의 운행제어부(150)로 출력되며 본 발명의 운행제어부(150)는 드론(50)의 현재 위치 정보, 경로 정보 등을 이 머징영역정보를 대비하여 드론(50)의 운행, 비행 등과 관련된 후속 운행 제어를 수행하게 된다(S560).
본 발명의 상태정보처리부(180)는 GPS모듈(185) 등으로부터 수신되는 위치 정보 등을 이용하여 현재 자신의 위치 정보를 생성하도록 구성될 수 있으며, 이 경우 본 발명의 운행제어부(150)는 상태정보처리부(180)에서 출력되는 현재 위치 정보를 이용하여 후속 운행을 제어하도록 구성될 수 있다.
후속 운행의 제어에 대한 구체적인 실시예는 도 6에 예시된 바와 같이 전선 개수, 전선과의 거리, 도달 예측 시간 등의 상황 정보를 생성하고 전송하는 이벤트(S561), 조정자의 인지를 위하여 조종기 단말(70)로 이에 대한 알람 정보를 전송하는 이벤트(S562) 또는 드론(50)이 정지, 우회, 후퇴, 속도 감속 등이 되도록 자체적인 구동 수단을 제어하는 이벤트(S563)를 포함하여 드론(50)의 운행 제어에 대한 다양한 이벤트로 설정될 수 있다.
이하에서는 도 4 및 도 7을 참조하여 본 발명의 머징처리부(140) 등에서 수행되는 구체적인 프로세싱을 설명하도록 한다.
도 4에 도시된 바와 같이 본 발명의 머징처리부(140)는 특성정보입력부(141), 정렬부(142), 그룹핑부(143), 머징영역생성부(144) 및 프로세싱제어부(145)를 포함하여 구성될 수 있다.
우선, 본 발명의 인식영역추출부(130)는 상기와 같이 현장영상에서 복수 개 인식영역(RA)을 추출할 때, 복수 개 인식영역을 대표하는 정보로서 복수 개 인식영역 각각의 특징점의 위치정보, 가로길이정보 및 세로길이정보를 포함하는 특성정보를 생성(S600)하도록 구성된다. 만약 하나의 현장영상에서 추출되는 인식영역(RA)이 n개라면 특성정보 또한, n개가 된다.
여기서 n은 2이상의 자연수이며, 특징점은 인식영역(RA)의 가운데 포인트가 되는 것이 일반적일 수 있으나 이는 하나의 예일 뿐, 인식영역을 특정할 수 있다면 상위 가운데 포인트, 하위 가운데 포인트, 각 모서리 포인트 등이 될 수도 있음은 물론이다. 도 13은 이러한 과정을 통하여 생성되는 특성정보의 일 예에 해당한다.
이와 같이 n개의 특성정보가 생성되어 본 발명의 머징처리부(140)에 입력되면 본 발명의 머징처리부(140)는 각 인식영역(RA)의 위치정보, 크기 정보를 확인할 수 있으므로 각 인식영역(RA)의 위치 상호 관계를 이용하여 상기 복수 개 인식영역 중 선형성을 가지는 인식영역을 선별하고, 상기 선별된 복수 개 인식영역을 머징한 머징영역정보를 생성할 수 있다.
딥러닝 등의 학습 기반 인식 알고리즘을 이용하여 인식영역을 추출하는 경우, 인식영역은 순차적 위치 정보 등을 가지는 정해진 순서로 도출되지 않으며 무작위(random) 순서로 추출된다.
인식 알고리즘은 관심대상이 되는 해당 객체만을 선별하는 것이므로 이러한 무작위 순서의 추출도 유의미할 수 있으나, 이러한 종래 방법을 전선 인식에 그대로 적용하는 경우 대체적으로 수평 길이 방향으로 길게 확장되는 영역을 점유하는 전선의 물리적 특징을 정확히 반영할 수 없게 되므로 전선 인식의 정확도가 상당히 낮아지거나 불가능하게 된다.
나아가 전선은 횡 방향 등으로 상당한 점유 영역을 가지나 종래의 객체 인식 방법의 경우 분리된 복수 개의 객체만을 인식하게 되므로 이러한 방식을 그대로 전선 객체 인식에 적용하는 경우 전선이 위치한 정확한 영역을 확인하기 어렵게 된다.
본 발명은 이러한 문제점을 효과적으로 극복하고 전선 객체에만 특화된 인식 방법을 구현하기 위한 기술에 해당한다.
이를 구현하기 위하여 본 발명은 머징처리부(140)의 일 구성인 특성정보입력부(141)에 n개의 특성정보가 입력되면(S610) 본 발명의 정렬부(142)는 입력된 n개 특성정보를 파싱(parsing)하고 파싱된 데이터를 이용하여 n개 특성정보를 X축 방향을 기준으로 순차적으로 정렬(sort)한다(S620).
도 14는 도 13에 예시된 7개의 특성정보를 x축 좌표값을 기준으로 정렬한 예를 도시하고 있다.
이와 같이 정렬 프로세싱이 완료되면 본 발명의 그룹핑부(143)는 k+1번째 특성정보의 특징점 위치정보 중 Y축 좌표값이 k번째 특성정보의 높이 범위(y축 기준)에 위치하는 경우(S630) 상기 k+1번째 특성정보에 해당하는 인식영역을 상기 k번째 특성정보에 해당하는 인식영역과 동일한 인식영역그룹으로 분류하는 그룹핑 프로세싱을 수행한다(S640). 여기서 k는 1이상 n-1이하의 자연수이다.
상기 그룹핑 프로세싱은 635단계, 650단계, 660단계의 프로세싱을 통하여 순환적으로 적용됨으로써 n개의 특성정보(n개의 인식영역) 전체를 대상으로 수행된다.
도 14에 예시된 실시예를 기준으로 상기 본 발명의 그룹핑 프로세싱을 보충적으로 설명하면 다음과 같다.
2번째 특성정보의 데이터 세트는 [1, 1, (11, 30)]이며, y축 좌표값은 30이다. 도 13 등에 표기된 바와 같이 좌표값을 거리로 환산하는 함수를 적용할 때, 좌표간 거리는 10cm로 가정한다.
이 y축 좌표값 30을 1번째 특성정보의 높이 범위 즉, 센터의 위치정보(10, 10)와 가로 및 세로크기(1m×1m)와 대비할 때, 2번째 특성정보의 y축 좌표값 30은 1번째 특성정보의 높이 범위를 벗어난다.
이 경우, 2번째 특성정보가 표상하는 인식영역(RA)은 1번째 특성정보가 표상하는 인식영역(RA)과 선형적 특징을 공유하지 않는다고 간주될 수 있다.
3번째 특성정보의 y축 좌표값도 1번째 특성정보의 높이 범위를 벗어나므로 3번째 특성정보가 표상하는 인식영역도 1번째 특성정보가 표상하는 인식영역과 선형적 특징을 공유하지 않는다고 간주된다.
다음 수순으로 4번째 특성정보를 1번째 특성정보와 대비하면, 4번째 특성정보의 y값 10은 1번째 특성정보의 높이 범위에 위치하므로 본 발명의 그룹핑부(143)는 4번째 특성정보가 표상하는 #4인식영역을 #1인식영역과 동일한 인식영역그룹으로 분류한다.
그 다음으로는 5번째 특성정보(#5인식영역에 해당하는 특성정보)를 4번째 특성정보와 대비하며, 이 경우 5번째 특성정보의 y값 15는 4번째 특성정보의 높이 범위에 위치하므로 #5인식영역을 #4인식영역과 동일한 인식영역그룹으로 분류한다.
이러한 프로세싱을 통하여 #1인식영역, #4인식영역 및 #5인식영역은 상호 인접한 범위 내에서 선형적 특성을 공유하므로 이들 3개의 인식영역은 동일한 하나의 인식영역으로 그룹핑된다.
그 다음으로 6번째 특성정보(#6인식영역에 해당하는 특성정보)를 5번째 특성정보와 대비한다. 6번째 특성정보의 y값 28은 5번째 특성정보의 높이 범위에 해당하지 않으므로 순차적으로 7번째 특성정보(#7인식영역에 해당하는 특성정보)를 5번째 특성정보와 대비한다.
이 경우 7번째 특성정보의 y값 13은 5번째 특성정보의 높이 범위(5번째 특성정보의 y값인 15를 기준으로 상하 1m 이내)에 위치하므로 7번째 특성정보에 해당하는 #7인식영역은 #5인식영역과 선형적 특성을 공유한다고 볼 수 있다.
이러한 프로세싱을 통하여 #1, #4, #5 및 #7인식영역은 x축 좌표값을 기준으로 인접한 상호 영역이 서로 선형적 특징을 공유하므로 이들 4개의 인식영역이 하나의 동일한 인식영역그룹으로 분류된다.
이와 같이 인식영역그룹이 생성되면(S670), 본 발명의 머징영역생성부(144)는 동일한 인식영역그룹으로 분류된 인식영역(위의 예에서, #1, #4, #5 및 #7인식영역)을 연속적으로 연결하여 머징영역정보를 생성한다(S680).
이와 같이 하나의 인식영역그룹 생성이 완료되면, 상기 그룹핑 프로세싱에서 인식영역그룹으로 분류되지 않은 #2, #3 및 #6특성정보(인식영역)를 대상으로 다시 그룹핑 프로세싱을 순환적으로 수행한다.
잔존하는 3개의 특성정보를 앞서 설명된 바와 같은 방법을 적용할 때, #3특성정보(잔존하는 특성정보 중 2번째 특성정보)는 #2특성정보와 대비되며, #6특성정보는 #3특성정보와 대비된다.
이들 특성정보는 자신보다 선행(X축 좌표값 기준)하여 위치하는 특성정보의 높이 범위에 위치하므로 이들 #2, #3 및 #6특성정보에 해당하는 #2, #3 및 #6인식영역 또한, 동일한 인식영역그룹으로 분류되며, 앞서 기술된 바와 같이 이들 인식영역그룹을 연속적으로 연결하는 과정을 통하여 현장 영상 내 또 다른 제2머징영역정보가 생성된다.
도 11은 위에서 설명한 과정의 최종 결과를 도시한 도면으로서, 도 11의 상단 도면(a)은 현장영상에서 하나의 머징영역(MA, Merging Area)이 생성된 예이며, 도 11의 하단 도면(b)은 현장영상에서 2개의 제1머징영역 및 제2머징영역이 생성된 예에 해당한다.
동일한 인식영역그룹에 속하는 복수 개 인식영역을 연속화시키는 방법은 인접한 인식영역의 모서리를 상호 연결하는 등 실시형태에 따라서 다양하게 적용될 수 있다.
드론의 비행 특성, 크기 및 드론과의 충돌 가능성을 고려할 때, 동일한 인식영역그룹에 속한 복수 개 인식영역 중 상호 인접한 인식영역의 가운데 상위 포인트(UP, upper point, 도 10 참조)들을 연결하고, 가운데 하위 포인트(BP, bottom point)들을 상호 연결하여 복수 개 인식영역을 연속화시키는 방법이 바람직하다.
앞서 기술된 바와 같이 본 발명의 운행제어부(150)는 이와 같이 머징영역정보(MA1, MA2 등)가 생성되면, 현재 위치 정보와 대비하여 드론(50)의 운행과 관련된 후속 제어를 수행한다.
드론(50)에 속도계 장치가 구비되거나, 앞서 기술된 바와 같이 거리정보생성유닛(57)이 구비되는 경우 본 발명의 운행제어부(150)는 속도정보 및/또는 및 장애물과의 거리 정보를 더 이용함으로써 충돌 가능 시간 등을 연산할 수 있어 드론(50)의 후속 제어를 더욱 정밀하게 수행할 수 있다.
또한, 본 발명은 통신부(170)를 통하여 전선 객체 인지와 관련된 다양한 알람 정보가 전송되도록 구성할 수 있으며, 운행정보저장부(160)에 전선 객체의 감지를 통하여 후속 운행이 제어된 시간, 위치 정보 등과 같은 운행과 관련된 다양한 이력 정보가 저장되도록 구성될 수 있다.
이하에서는 도 5, 도 8 및 도 12를 통하여 근접한 전선 사이의 이격거리를 산출하는 본 발명의 이격거리생성부(190)의 구성에 대하여 상세히 설명하도록 한다.
도 5에 도시된 바와 같이 본 발명의 이격거리생성부(190)는 구체적으로 페어(pair)선별부(191), 연산처리부(192) 및 이격거리설정부(193)를 포함하여 구성될 수 있다.
본 발명의 인식영역추출부(130)는 이 실시예에서도 앞서 기술된 바와 같이 상기 복수 개 인식영역 각각의 특징점 위치정보, 가로길이정보 및 세로길이정보를 포함하는 n개 특성정보를 생성(S700)하여 출력하도록 구성된다. 여기서 n은 2이상의 자연수이다.
본 발명에 의한 이격거리생성부(190)의 일 구성인 페어선별부(191)는 n개 특성정보가 인식영역추출부(130)로부터 입력되면(S710) 상기 n개 특성정보 각각에 포함된 특징점 위치정보 중 상기 X축 좌표값을 기준으로 상호 가장 근접한 특성정보 쌍을 선별한다(S720).
도 12에 예시된 예를 기준으로 할 때, 8개 각 특성정보에 포함된 특징점(P11, P12, P13, P14, P21, P22, P23, P24)의 위치정보 중 X축 좌표값을 기준으로 상호 가장 근접한(d) 특성정보 쌍은 Pair1(P11, P21), Pair2(P12, P22), Pair3(P13, P23) 및 Pair1(P14, P24) 4개의 쌍이 된다.
이와 같이 X축을 기준으로 가장 근접한 특성정보 쌍을 선별하는 경우, Line 1과 Line 2 사이의 연산된 거리 정보를 최단 거리인 직선 방향 거리에 최대한 근접시킬 수 있게 된다.
이와 같이 특성정보 쌍이 선별되면, 본 발명의 연산처리부(192)는 상기 페어선별부(191)에서 선별된 각 특성정보 쌍 각각에 포함된 2개의 특징점 위치정보 중 Y축 좌표값의 차이를 연산한다(S730). 도 12의 실시예서는 이러한 Y축 좌표값의 차이는 D1, D2, D3 및 D4가 된다.
이와 같이 Y축 좌표값 사이의 차이가 연산되면 이들 값들 중 최소값을 선별한다(S740). 도 12의 실시예에서 최소값은 D2가 된다. 이와 같이 최소값이 선별되면 본 발명의 이격거리설정부(193)는 상기 선별된 최소값을 근접 전선의 이격거리정보로 설정 및 저장하며(S760) 이격거리정보는 본 발명의 운행제어부(150)로 전달되어 드론(50)의 후속 운행 제어에 활용된다.
이와 같이 본 발명은 드론(50)에 장착된 카메라 모듈(55)에서 촬영된 영상과 딥러닝 등과 관련된 본 발명의 인식 알고리즘만을 통하여 근접한 전선과 전선 사이의 정확한 거리 정보를 산출할 수 있다.
나아가 본 발명은 산출된 거리 정보를 드론(50)의 운행에 직접적으로 활용할 수 있어 전선이 위치한 영역을 크게 우회하지 않고 전선과 전선 사이를 드론(50)이 통과할 수 있는지 여부를 미리 추가적으로 확인할 수 있어 드론(50)의 운행 제어의 효율성을 더욱 높일 수 있다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
상술된 본 발명의 설명에 있어 제1 및 제2 등과 같은 수식어는 상호 간의 구성요소를 상대적으로 구분하기 위하여 사용되는 도구적 개념의 용어일 뿐이므로, 특정의 순서, 우선순위 등을 나타내기 위하여 사용되는 용어가 아니라고 해석되어야 한다.
본 발명의 설명과 그에 대한 실시예의 도시를 위하여 첨부된 도면 등은 본 발명에 의한 기술 내용을 강조 내지 부각하기 위하여 다소 과장된 형태로 도시될 수 있으나, 앞서 기술된 내용과 도면에 도시된 사항 등을 고려하여 본 기술분야의 통상의 기술자 수준에서 다양한 형태의 변형 적용 예가 가능할 수 있음은 자명하다고 해석되어야 한다.
상술된 본 발명의 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치(시디롬, 램, 롬, 플로피 디스크, 자기 디스크, 하드 디스크, 광자기 디스크 등)를 포함하며, 유무선 인터넷 전송을 위한 서버도 포함한다.
50 : 드론 70 : 조종기 단말
100 : 본 발명의 전선 인식장치
110 : DB부 120 : 영상입력부
130 : 인식영역추출부 140 : 머징처리부
141 : 특성정보입력부 142 : 정렬부
143 : 그룹핑부 144 : 머징영역생성부
145 : 프로세싱제어부
150 : 운행제어부 160 : 운행정보저장부
170 : 통신부 180 : 상태정보처리부
190 : 이격거리생성부 191 : 페어선별부
192 : 연산처리부 193 : 이격거리설정부
200 : 외부 서버

Claims (15)

  1. 전선 객체의 인식을 위한 기준데이터가 저장되는 DB부;
    드론에 장착된 카메라 모듈로부터 현장영상이 입력되는 영상입력부;
    상기 기준데이터와 대응되는 복수 개 인식영역을 상기 현장영상에서 추출하는 인식영역추출부;
    상기 추출된 복수 개 인식영역 중 상호 선형적 위치 관계를 가지는 인식영역을 상호 머징하여, 전선 위치영역을 표상하는 정보인 머징영역정보를 하나 이상 생성하는 머징처리부; 및
    상기 드론의 경로정보와 상기 머징영역정보를 대비하여 상기 드론의 운행과 관련된 후속제어를 수행하는 운행제어부를 포함하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  2. 제 1항에 있어서, 상기 DB부는,
    서로 다른 크기의 라벨링 영역을 이용하여 생성된 복수 개 기준데이터가 저장되며,
    상기 인식영역추출부는 상기 복수 개 기준데이터 중 상기 드론의 크기정보에 해당하는 기준데이터를 이용하여 상기 복수 개 인식영역을 선별하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  3. 제 1항에 있어서, 상기 기준데이터는,
    해당 크기의 라벨링 영역 내 복수 개의 전선 라인이 존재하는 경우 단일 전선 라인으로 처리되어 생성되는 것을 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  4. 제 1항에 있어서, 상기 인식영역추출부는,
    상기 복수 개 인식영역 각각의 특징점 위치정보, 가로길이정보 및 세로길이정보를 포함하는 n(n은 2이상의 자연수)개 특성정보를 생성하고,
    상기 머징처리부는 상기 n개 특성정보의 위치관계를 이용하여 상기 복수 개 인식영역 중 선형성을 가지는 인식영역을 선별하고, 상기 선별된 복수 개 인식영역을 머징한 머징영역정보를 생성하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  5. 제 4항에 있어서, 상기 머징처리부는,
    상기 n개 특성정보가 입력되는 특성정보입력부;
    상기 n개 특성정보를 상기 현장영상의 수평방향인 X축 방향을 기준으로 순차적으로 정렬하는 정렬부;
    k+1(k는 1이상 n-1이하 자연수)번째 특성정보의 특징점 위치정보 중 Y축 좌표값이 k번째 특성정보의 높이 범위에 위치하는 경우 상기 k+1번째 특성정보에 해당하는 인식영역을 상기 k번째 특성정보에 해당하는 인식영역과 동일한 인식영역그룹으로 분류하는 그룹핑 프로세싱을 수행하는 그룹핑부; 및
    동일한 인식영역그룹으로 분류된 인식영역을 연속적으로 연결하여 상기 머징영역정보를 생성하는 머징영역생성부를 포함하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  6. 제 5항에 있어서, 상기 머징처리부는,
    상기 그룹핑부의 그룹핑연산이 완료된 후, 상기 인식영역그룹으로 그룹핑되지 않은 인식영역에 해당하는 특성정보를 대상으로 상기 그룹핑 프로세싱이 순환적으로 적용되도록 제어하는 프로세싱제어부를 더 포함하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  7. 제 5항에 있어서, 상기 머징영역생성부는,
    상기 특성정보를 이용하여 동일한 인식영역그룹에 속한 복수 개 인식영역 중 상호 인접한 인식영역의 상위 포인트와 하위 포인트를 상호 연결하여 상기 머징영역정보를 생성하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  8. 제 1항에 있어서, 상기 운행제어부는,
    상기 드론의 현재 위치정보 및 속도정보를 더 이용하여 상기 드론의 운행과 관련된 후속제어를 수행하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  9. 제 8항에 있어서,
    상기 드론의 전방에 위치한 피사체와의 거리 정보를 생성하는 거리정보생성유닛을 더 포함하고,
    상기 운행제어부는 상기 거리 정보를 더 이용하여 상기 드론의 운행과 관련된 후속제어를 수행하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  10. 제 5항에 있어서,
    근접한 전선 사이의 이격거리를 생성하는 이격거리생성부를 더 포함하고,
    상기 이격거리생성부는,
    상기 n개 특성정보 각각에 포함된 특징점 위치정보 중 상기 X축 좌표값을 기준으로 상호 가장 근접한 특성정보 쌍을 선별하는 페어선별부;
    상기 페어선별부에서 선별된 각 특성정보 쌍 각각에 포함된 2개의 특징점 위치정보 중 Y축 좌표값의 차이를 연산하고 이 중 최소값을 선별하는 연산처리부; 및
    상기 선별된 최소값을 근접 전선의 이격거리정보로 설정하는 이격거리설정부를 포함하고,
    상기 운행제어부는 상기 이격거리정보를 더 이용하여 상기 드론의 운행과 관련된 후속제어를 수행하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치.
  11. 드론의 전선 인식장치에서 전선을 인식하는 방법으로서,
    드론에 장착된 카메라모듈로부터 현장영상이 입력되는 영상입력단계;
    전선 객체의 인식을 위한 기준데이터와 대응되는 복수 개 인식영역을 상기 현장영상에서 추출하는 인식영역추출단계;
    상기 추출된 복수 개 인식영역 중 상호 선형적 위치 관계를 가지는 인식영역을 상호 머징하여, 전선 위치영역을 표상하는 정보인 머징영역정보를 하나 이상 생성하는 머징처리단계; 및
    상기 드론의 경로정보와 상기 머징영역정보를 대비하여 상기 드론의 운행과 관련된 후속제어를 수행하는 운행제어단계를 포함하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식방법.
  12. 제 11항에 있어서, 상기 인식영역추출단계는,
    상기 복수 개 인식영역 각각의 특징점 위치정보, 가로길이정보 및 세로길이정보를 포함하는 n(n은 2이상의 자연수)개 특성정보를 생성하고,
    상기 머징처리단계는 상기 n개 특성정보의 위치관계를 이용하여 상기 복수 개 인식영역 중 선형성을 가지는 인식영역을 선별하고, 상기 선별된 복수 개 인식영역을 머징한 머징영역정보를 생성하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식방법.
  13. 제 12항에 있어서, 상기 머징처리단계는,
    상기 n개 특성정보가 입력되는 특성정보입력단계;
    상기 n개 특성정보를 상기 현장영상의 수평방향인 X축 방향을 기준으로 순차적으로 정렬하는 정렬단계;
    k+1(k는 1이상 n-1이하)번째 특성정보의 특징점 위치정보 중 Y축 좌표값이 k번째 특성정보의 높이범위에 위치하는 경우 상기 k+1번째 특성정보에 해당하는 인식영역을 상기 k번째 특성정보에 해당하는 인식영역과 동일한 인식영역그룹으로 분류하는 그룹핑 프로세싱을 수행하는 그룹핑단계; 및
    동일한 인식영역그룹으로 분류된 인식영역을 연속적으로 연결하여 상기 머징영역정보를 생성하는 머징영역생성단계를 포함하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식방법.
  14. 제 13항에 있어서, 상기 머징영역생성단계는,
    상기 특성정보를 이용하여 동일한 인식영역그룹에 속한 복수 개 인식영역 중 상호 인접한 인식영역의 상위 포인트와 하위 포인트를 상호 연결하여 상기 머징영역정보를 생성하는 것을 특징으로 하는 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식방법.
  15. 제 11항 내지 제14항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020190149569A 2019-11-20 2019-11-20 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법 KR102281164B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190149569A KR102281164B1 (ko) 2019-11-20 2019-11-20 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190149569A KR102281164B1 (ko) 2019-11-20 2019-11-20 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210061709A KR20210061709A (ko) 2021-05-28
KR102281164B1 true KR102281164B1 (ko) 2021-07-23

Family

ID=76140451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149569A KR102281164B1 (ko) 2019-11-20 2019-11-20 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법

Country Status (1)

Country Link
KR (1) KR102281164B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230110405A (ko) 2022-01-14 2023-07-24 한국전력공사 문제수목 확인드론 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074637B1 (ko) * 2012-09-19 2020-02-10 한국전력공사 구조물 점검용 비행 장치
KR20150093948A (ko) * 2014-02-10 2015-08-19 영남대학교 산학협력단 Db를 이용한 장애물 인식 장치 및 그 방법
KR101767492B1 (ko) 2015-11-27 2017-08-11 서경식 무인비행체의 충돌방지장치
KR101895343B1 (ko) 2016-12-26 2018-09-05 이선구 충돌 회피용 드론 제어장치
KR20190007632A (ko) * 2017-07-13 2019-01-23 한국과학기술원 3차원 지도를 작성하여 사물 위치를 인지하는 운반용 드론

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230110405A (ko) 2022-01-14 2023-07-24 한국전력공사 문제수목 확인드론 및 방법

Also Published As

Publication number Publication date
KR20210061709A (ko) 2021-05-28

Similar Documents

Publication Publication Date Title
JP6729673B2 (ja) 複数車両の協力による交通イベントの位置特定
US11543532B2 (en) Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing
WO2020192464A1 (zh) 一种摄像头标定方法、路侧感知设备和智慧交通系统
JP6548690B2 (ja) シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
CN107121677B (zh) 基于超宽带认知cppm信号的避障雷达方法及装置
CN105786016B (zh) 无人机以及rgbd图像的处理方法
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
CN110741223A (zh) 信息处理装置、信息处理方法以及程序
KR20210022570A (ko) 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치
JP2019211900A (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US11423663B2 (en) Object detection device, object detection method, and non-transitory computer readable medium comprising computer program for object detection-use
CN106164931B (zh) 用于在车辆显示装置上显示目标的方法和装置
CN102637040A (zh) 无人机集群可视导航任务协同方法和系统
CN107607953A (zh) 一种侧向车辆防碰撞系统及其方法
CN109426802A (zh) 雷达和视觉传感器系统的融合
KR20210098972A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체
TW202036478A (zh) 攝影機標定方法、路側感知設備和智慧交通系統
KR20190101331A (ko) 차량 내 멀티 카메라를 이용한 생체 인증 방법 및 장치
KR102166432B1 (ko) 스마트 드론을 사용한 재난 상황 대응 방법
DE112019001659T5 (de) Steuervorrichtung, steuerverfahren und programm
CN105006175A (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
CN111731304B (zh) 车辆控制装置、车辆控制方法及存储介质
KR102281164B1 (ko) 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법
CN114387322A (zh) 用于运载工具的方法、运载工具和存储介质
CN113359709A (zh) 一种基于数字孪生的无人驾驶运动规划方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant