KR20210094730A - 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템 - Google Patents

항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템 Download PDF

Info

Publication number
KR20210094730A
KR20210094730A KR1020200008291A KR20200008291A KR20210094730A KR 20210094730 A KR20210094730 A KR 20210094730A KR 1020200008291 A KR1020200008291 A KR 1020200008291A KR 20200008291 A KR20200008291 A KR 20200008291A KR 20210094730 A KR20210094730 A KR 20210094730A
Authority
KR
South Korea
Prior art keywords
information
image data
aerial image
heavy equipment
data
Prior art date
Application number
KR1020200008291A
Other languages
English (en)
Other versions
KR102289550B1 (ko
Inventor
김종성
안은빈
이지애
이광오
Original Assignee
에스케이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 주식회사 filed Critical 에스케이 주식회사
Priority to KR1020200008291A priority Critical patent/KR102289550B1/ko
Publication of KR20210094730A publication Critical patent/KR20210094730A/ko
Application granted granted Critical
Publication of KR102289550B1 publication Critical patent/KR102289550B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용하여, 실시간 항공 영상 데이터와 매칭되는 GIS 데이터를 AR 방식으로 제공하는 AR 정보 제공 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 AR 정보 제공 방법은, AR 정보 제공 시스템이, 항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시키는 단계; AR 정보 제공 시스템이, 학습된 이미지 학습 모델을 기반으로 입력되는 실시간 항공 영상 데이터와 기저장된 GIS 데이터를 매칭시키는 매칭 단계; 및 AR 정보 제공 시스템이, 매칭된 GIS 데이터가 AR 방식으로 화면에 출력되도록 하는 단계;를 포함한다. 이에 의해, 카메라를 이용하여 수집된 영상에 매칭되는 GIS 데이터 및 중장비로 인식되는 객체의 위치정보를 정확하게 산출하여, AR 방식으로 제공함으로써, 안전 및 보안 관련 산업에 효율적인 관리가 가능한 서비스를 제공할 수 있다.

Description

항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용한 AR 정보 제공 방법 및 시스템{Augmented reality information providing method and system using image deep learning for matching aerial image data and Geographic Information System data}
본 발명은 AR 정보 제공 방법 및 시스템에 관한 것으로, 더욱 상세하게는 항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용하여, 실시간 항공 영상 데이터와 매칭되는 GIS 데이터를 AR 방식으로 제공하는 AR 정보 제공 방법 및 시스템에 관한 것이다.
최근에는 드론을 이용하여 수집되는 영상에 AR(augmented reality) 정보를 제공하는 기술이 등장하였으나, 드론을 이용하여 수집되는 영상의 경우에, 드론의 구조적인 문제로 인하여, 드론의 좌표값(위치정보)과 영상의 타겟 간의 위치가 일치하지 않아, 드론의 위치정보를 기반으로 제공되는 AR 정보들은, 실제 데이터와의 오차가 크다는 문제점이 존재한다.
또한, 드론을 이용하여 수집된 영상 내에 굴삭기와 같은 중장비를 객체로 인식하는 경우에도, 중장비로 인식된 객체의 위치정보를 정확하게 산출하기 위해, 별도로 중장비 내에 위치정보를 제공하는 수단이 마련되어야 한다는 점에서 추가 비용이 발생하는 불편함이 존재한다.
따라서, 수집된 영상에 매칭되는 GIS 데이터 및 중장비로 인식되는 객체의 위치정보를 정확하게 산출하여, AR 방식으로 제공할 수 있는 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 카메라를 이용하여 수집된 영상에 매칭되는 GIS 데이터 및 중장비로 인식되는 객체의 위치정보를 정확하게 산출하여, AR 방식으로 제공할 수 있는 항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용한 AR 정보 제공 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, AR 정보 제공 방법은, AR 정보 제공 시스템이, 항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시키는 단계; AR 정보 제공 시스템이, 학습된 이미지 학습 모델을 기반으로 입력되는 실시간 항공 영상 데이터와 기저장된 GIS 데이터를 매칭시키는 매칭 단계; 및 AR 정보 제공 시스템이, 매칭된 GIS 데이터가 AR 방식으로 화면에 출력되도록 하는 단계;를 포함한다.
그리고 항공 영상 데이터는, 항공 영상 데이터의 촬영 위치 정보, 촬영 고도 정보 및 촬영 각도 정보가 포함된 촬영 정보를 포함할 수 있다.
또한, 매칭 단계는, 항공 영상 데이터에 대한 실제 촬영 영역을 계산하고, 계산된 실제 촬영 영역에 대응되는 GIS 데이터를 항공 영상 데이터와 매칭시킬 수 있다.
그리고 매칭 단계는, 좌표계의 단위를 변환하고, 사용할 스케일의 중복 보간점을 제거하거나 연결되는 지점을 병합함으로써, GIS 데이터를 가공하고, 가공된 GIS 데이터를 항공 영상 데이터와 매칭시킬 수 있다.
또한, 매칭 단계는, 실시간 항공 영상 데이터 내의 시설물 중 R-Tree 알고리즘을 통해 검색되는 주요 시설물 정보를 GIS 데이터에 매칭시킬 수 있다.
그리고 출력 단계는, 촬영 정보 및 실시간 항공 영상 데이터 내 주요 시설물 정보를 이용하여, 실제 촬영 영역의 위도 및 경도가 계산되면, 계산 결과에 매칭되는 GIS 데이터가 AR 방식으로 출력될 수 있다.
또한, 본 발명의 일 실시예에 따른, AR 정보 제공 방법은, 실시간 항공 영상 데이터가 입력되면, AR 정보 제공 시스템이, 학습된 이미지 학습 모델을 기반으로 실시간 항공 영상 데이터 내 중장비를 인식하는 단계;를 더 포함하고, 출력 단계는, 중장비가 인식되면, 중장비의 인식 결과를 GIS 데이터와 함께 AR 방식으로 출력할 수 있다.
그리고 본 발명의 일 실시예에 따른, AR 정보 제공 방법은, 중장비가 인식되면, AR 정보 제공 시스템이, 실제 촬영 영역의 위도 및 경도 계산 결과에 매칭되는 GIS 데이터를 이용하여, 중장비의 위치정보를 추론하는 단계;를 더 포함할 수 있다.
또한, GIS 데이터에는, 실제 촬영 영역 내에 매립된 가스관의 위치정보 및 깊이정보가 포함되며, AR 정보 제공 방법은, AR 정보 제공 시스템이, 중장비의 위치정보와 실제 촬영 영역 내에 가스관의 정보들을 이용하여, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지하는 단계;를 더 포함할 수 있다.
그리고 출력 단계는, 실제 촬영 영역 내 매립된 가스관과 중장비의 위치가 기설정된 범위 이내로 인접하면, 충돌 위험 상황을 알리는 경고 알람이 출력되도록 하고, 충돌 위험 상황 시, 출력되는 경고 알람은, 매립된 가스관의 깊이에 따라 출력 방식 또는 출력 표시가 다르게 설정될 수 있다.
그리고 인식 단계는, 중장비가 인식되는 경우, 학습된 이미지 학습 모델을 이용하여, 중장비가 작업 상태인지 또는 비작업 상태인지 판단하고, 탐지 단계는, 중장비가 작업 상태로 판단되는 경우에만, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지할 수 있다.
한편, 본 발명의 다른 실시예에 따른, AR 정보 제공 시스템은, 딥러닝 기반의 이미지 학습 모델을 저장하는 저장부; 및 항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시키고, 학습된 이미지 학습 모델을 기반으로 입력되는 실시간 항공 영상 데이터와 매칭되는 GIS 데이터가 화면 내 AR 방식으로 출력되도록 하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 카메라를 이용하여 수집된 영상에 매칭되는 GIS 데이터 및 중장비로 인식되는 객체의 위치정보를 정확하게 산출하여, AR 방식으로 제공함으로써, 안전 및 보안 관련 산업에 효율적인 관리가 가능한 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용한 AR 정보 제공 시스템의 설명에 제공된 도면,
도 2는 본 발명의 일 실시예에 따른 항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용한 AR 정보 제공 방법의 설명에 제공된 흐름도,
도 3 내지 도 5는 드론의 촬영 영역의 계산하는 과정의 설명에 제공된 도면, 그리고
도 6 내지 도 7은 GIS 데이터가 매칭된 항공 영상 데이터가 예시된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용한 AR 정보 제공 시스템(이하에서는 'AR 정보 제공 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이다.
본 실시예에 따른 AR 정보 제공 시스템은, 카메라를 이용하여 수집된 영상에 매칭되는 GIS 데이터 및 중장비로 인식되는 객체의 위치정보를 정확하게 산출하여, AR 방식으로 제공하기 위해 마련된다.
이를 위해, 본 AR 정보 제공 시스템은, 통신부(110), 저장부(120) 및 프로세서(130)를 포함할 수 있다.
통신부(110)는, 카메라를 통해 수집되는 항공 영상 데이터를 수신할 수 있는 통신 모듈이다.
여기서, 카메라는 드론과 같은 무인 비행체에 장착된 카메라 또는 CCTV(Closed Circuit Television)와 같은 감시용 카메라일 수 있다.
저장부(120)는, 프로세서(130)가 동작함에 있어 필요한 프로그램 및 데이터를 저장할 수 있다.
구체적으로, 저장부(120)는, GIS 데이터, 딥러닝 기반의 이미지 학습 모델 및 이미지 학습 모델을 학습시키기 위한 학습 데이터들을 저장할 수 있다.
프로세서(130)는, 항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시킨다.
구체적으로, 프로세서(130)는, 중장비가 포함되어 있는 복수의 항공 영상 데이터들을 학습용 데이터로 입력받아 딥러닝을 이용하여 이미지 학습 모델을 학습시키게 된다. 이를 통해, 이미지 학습 모델은 입력 영상에 중장비가 포함된 경우 그 중장비를 인식 및 추출할 수 있다.
또한, 프로세서(130)는, 실시간 항공 영상 데이터가 입력되면, 학습된 이미지 학습 모델을 이용하여, 실시간 항공 영상 데이터에서 중장비가 포함되었는지 여부 및 중장비가 포함된 경우 해당 항공 영상 데이터에서 중장비가 포함된 위치를 추출할 수 있다.
그리고 프로세서(130)는, 입력된 실시간 항공 영상 데이터를 기저장된 GIS 데이터를 매칭시킬 수 있다. 즉, 프로세서(130)는 입력된 실시간 항공 영상 데이터의 촬영된 실제 위치에 해당되는 실제 촬영 영역의 좌표를 계산하고, 계산된 좌표 정보에 대응되는 위치의 GIS 데이터를 추출하여 매칭함으로써, 항공 영상 데이터에 GIS 데이터를 매칭시킬 수 있다.
여기에서, 실제 촬영 영역은 해당 항공 영상 데이터에 포함된 영역의 실제 지리적 영역을 나타내며, 항공 영상은 공중에서 촬영되므로 도 3에 도시된 바와 같이 일반적으로 사각형 형태의 영역이 촬영되게 된다.
따라서, 실제 촬영 영역 정보는 실제 촬영 영역에 해당되는 사각형의 4개의 꼭지점의 실제 좌표 정보(위도 및 경도 정보)를 포함한다.
구체적으로, 프로세서(130)는, 항공 영상 데이터의 촬영 위치 정보, 촬영 고도 정보 및 촬영 각도 정보 등이 포함된 촬영 정보를 이용하여 항공 영상 데이터에 대한 실제 촬영 영역을 계산할 수 있게 된다.
여기에서, 촬영 정보는 항공 영상 데이터가 촬영되면서 영상 데이터와 함께 기록될 수 있으며, 촬영 위치 정보와 촬영 고도 정보와 촬영 각도 정보가 포함된다.
예를 들어, 항공 영상 데이터가 드론에 의해 촬영될 경우, 프로세서(130)는 드론의 GPS 정보를 이용하여 촬영 위치 정보를 확인하고, 드론의 고도 정보를 이용하여 촬영 고도 정보를 확인하며, 드론의 기수 방향 및 카메라 앵글을 이용하여 촬영 각도 정보를 확인할 수 있게 된다.
그리고, 프로세서(130)는 계산된 실제 촬영 영역에 대응되는 GIS 데이터를 추출하여 항공 영상 데이터와 매칭시킬 수 있다. 즉, 프로세서(130)는 GIS 데이터 중 실제 촬영 영역에 포함되는 GIS 데이터(특히, 가스관 관련 데이터 및 주요 시설물 데이터)를 추출하여 항공 영상 데이터와 매칭시킬 수 있게 된다. 이 때, GIS 데이터는 항공 영상 데이터 또는 실제 촬영 영역과 포맷이나 양식이 다를 수 있으며, 이 경우, 프로세서(130)는 GIS 데이터를 가공하여 항공 영상 데이터 또는 실제 촬영 영역과 포맷이나 양식을 일치시킬 수도 있다.
또한, 프로세서(130)는, 실시간 항공 영상 데이터 내 주요 시설물 정보를 이용하여, 실제 촬영 영역의 계산 결과를 검증하거나 보정할 수 있다.
구체적으로, 프로세서(130)는 이미지 학습 모델을 주요 시설물이 포함된 항공 영상 데이터를 입력하여 학습시킴으로써, 항공 영상 데이터 내에 포함된 주요 시설물을 인식할 수도 있다.
그리고, 프로세서(130)는 실시간 항공 영상 데이터 내에 이미지 학습 모델에 의해 인식된 주요 시설물이 있는 경우, 계산된 실제 촬영 영역을 이용하여 인식된 주요 시설물의 위치를 산출할 수 있게 된다.
그러면, 프로세서(130)는 산출된 주요 시설물의 위치와 GIS 데이터에 포함된 해당 주요 시설물의 위치를 비교함으로써, 실제 촬영 영역의 계산 결과를 검증하거나 보정할 수 있게 된다.
이때, 주요 시설물은, 소방서, 경찰서, 시청 등의 관공서, 학교 및 대형 쇼핑몰, 백화점, 초대형 빌딩 등의 랜드마크에 해당하는 건축물과 같이 이미지에서 인식이 용이하고, 주소의 변경 빈도가 적은 시설물을 의미한다.
여기에서, GIS 데이터는 지리정보시스템(GIS: Geographic Information System) 데이터를 나타낸다. 지리정보시스템은 과거 인쇄물 형태로 이용하던 지도 및 지리정보를 컴퓨터를 이용해 작성, 관리하고 여기서 얻은 지리정보를 기초로 데이터를 수집, 분석, 가공하여 지형과 관련되는 모든 분야에 적용하기 위해 설계된 종합정보시스템으로서, 지리정보시스템은 토지, 자원, 환경, 시설물 등 국토 공간에 관한 제반 정보를 디지털화하여 공유 및 활용할 수 있도록 하는 국가 차원의 지리정보체계가 구축된 시스템이다.
또한, 프로세서(130)는, 실시간 항공 영상 데이터가 입력되면, 학습된 이미지 학습 모델을 기반으로 실시간 항공 영상 데이터 내 중장비를 인식할 수 있다.
그리고 프로세서(130)는, 중장비가 인식되면, 실제 촬영 영역 정보를 이용하여, 중장비의 위치정보를 산출할 수 있다.
이때, 프로세서(130)는 중장비의 위치정보와 실제 촬영 영역 내에 가스관의 정보들을 이용하여, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지하고, 도 6에 도시된 바와 같이 실시간 항공 영상 데이터 및 그에 매칭되는 GIS 데이터(특히, 가스관 관련 데이터 및 주요 시설물 데이터)가 AR 방식으로 디스플레이 장치의 화면에 출력되도록 할 수 있다.
여기서, 디스플레이 장치는 AR 정보 제공 시스템에 포함된 디스플레이 장치가 될 수도 있고, 또는 AR 정보 제공 시스템과 통신 가능하도록 연결된 별도의 디스플레이 장치가 될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 항공 영상 데이터와 GIS 데이터의 매칭을 위한 이미지 학습을 이용한 AR 정보 제공 방법(이하에서는 'AR 정보 제공 방법'으로 총칭하기로 함)의 설명에 제공된 흐름도이고, 도 3 내지 도 5는 드론의 촬영 영역의 계산하는 과정의 설명에 제공된 도면이며, 도 6 내지 도 7은 GIS 데이터가 매칭된 항공 영상 데이터가 예시된 도면이다.
본 실시예에 따른 AR 정보 제공 시스템에 의해 수행되는 AR 정보 제공 방법은, 프로세서(130)가, 항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시키는 학습 단계(S210), 실시간 항공 영상 데이터가 입력되면, 프로세서(130)가, 이미지 학습 모델을 이용하여, 입력된 실시간 항공 영상 데이터와 기저장된 GIS 데이터를 매칭시키는 매칭 단계(S220), 실시간 항공 영상 데이터가 입력되면, 프로세서(130)가, 학습된 이미지 학습 모델을 기반으로 실시간 항공 영상 데이터 내 중장비의 인식 여부를 판별하는 인식 단계(S230), 중장비가 인식되면(S230-Y), 프로세서(130)가, 실제 촬영 영역의 위도 및 경도 계산 결과인 실제 촬영 영역 정보에 매칭되는 GIS 데이터를 이용하여, 중장비의 위치정보를 추론하는 추론 단계(S240), 프로세서(130)가, 중장비의 위치정보와 실제 촬영 영역 내에 가스관의 정보들을 이용하여, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지하는 탐지 단계(S250) 및 프로세서(130)에 의해, 학습된 이미지 학습 모델을 기반으로 입력되는 실시간 항공 영상 데이터와 매칭되는 GIS 데이터가 화면에 AR 방식으로 출력되도록 하는 출력 단계(S260)로 구성될 수 있다.
매칭 단계(S220)에서는, 프로세서(130)가, 실시간 항공 영상 데이터를 이용하여, 항공 영상 데이터에 대한 실제 촬영 영역을 계산하고, 계산된 실제 촬영 영역에 대응되는 GIS 데이터를 가공하여, 항공 영상 데이터와 매칭시킬 수 있다.
여기서, 항공 영상 데이터는, 촬영 위치 정보와 촬영 고도 정보와 촬영 각도 정보가 포함된 촬영 정보가 부가될 수 있으며, GIS 데이터에는, 실제 촬영 영역 내에 매립된 가스관의 위치정보 및 깊이정보가 포함될 수 있다.
그리고 매칭 단계(S220)에서는, 프로세서(130)가, GIS 데이터 가공 시, GIS 데이터의 geometry 구조 정보를 제거하고, 좌표계의 단위를 변환하고, 도 3 내지 도 4에 예시된 바와 같이, 사용할 스케일의 중복 보간점을 제거하거나 연결되는 지점을 병합할 수 있다.
또한, 매칭 단계(S220)에서는, 프로세서(130)가, 실시간 항공 영상 데이터 내의 시설물 중 R-Tree 알고리즘을 통해 검색되는 주요 시설물 정보를 GIS 데이터와 매칭시킬 수 있다.
즉, 매칭 단계(S220)에서는, 프로세서(130)가, 촬영 정보와 실시간 항공 영상 데이터 내 주요 시설물 정보를 이용하여, 실제 촬영 영역의 위도 및 경도를 계산하고, 계산 결과에 매칭되도록 할 수 있다.
여기서, R-Tree 알고리즘은, 특정 지역을 둘러싸는 최소범위사각형의 특성을 이용하여 데이터를 조직화하는 공간 데이터 구조를 생성하는 알고리즘이다.
인식 단계(S230)에서는, 프로세서(130)가, 학습된 이미지 학습 모델을 기반으로 실시간 항공 영상 데이터 내 중장비를 인식할 수 있으며, 나아가, 중장비가 인식되는 경우, 학습된 이미지 학습 모델을 이용하여, 중장비가 작업 상태인지 또는 비작업 상태인지 판단할 수 있다.
이 경우, 탐지 단계(S250)에서, 프로세서(130)가, 중장비가 작업 상태로 판단되는 경우에서만, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지함으로써, 중장비의 이동과 같은 비작업 상태에서 매립된 가스관과 중장비가 충돌하는 것으로 판단하는 오류 발생을 방지할 수 있다.
추론 단계(S240)에서는, 프로세서(130)가, 실시간 항공 영상 데이터와 매칭되는 GIS 데이터에 포함된 화면 내 주요 시설물들의 위치정보를 이용하여, 중장비의 위치정보를 추론할 수 있다.
예를 들면, 프로세서(130)는, 실시간 항공 영상 데이터와 매칭되는 GIS 데이터를 이용하여, 화면 내 주요 시설물들의 위치정보를 획득하고, 획득된 주요 시설물들로부터 중장비의 거리 등을 고려하여, 별도의 위치정보 측정을 위한 센서 없이, 중장비의 위치정보를 추론할 수 있다.
이때, 중장비의 위치정보의 추론 결과의 정확도를 위하여, 적어도 셋 이상의 주요 시설물들의 위치정보들을 이용하여, 각각의 주요 시설물들과 중장비 간의 거리를 산출하고, 거리 산출 결과를 이용하여 중장비의 위치정보를 추론하는 것이 바람직하다.
구체적으로 예를 들면, 프로세서(130)는, 화면 내 주요 시설물들의 셋 이상인 경우, 중장비와의 상대 거리가 다른 주요 시설물보다 가까운 주요 시설물을 우선적으로 선정하는 방식으로 3개 선정하고, 선정된 3개의 주요 시설물들과 중장비 간의 거리를 산출할 수 있다.
탐지 단계(S250)에서는, 프로세서(130)가, 중장비의 위치정보와 실제 촬영 영역 내에 가스관의 정보들을 이용하여, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지할 수 있으며, 추가적으로 프로세서(130)가, 통신부(110)를 통해, 중장비를 이용한 작업을 수행하고자 하는 지역의 위치정보가 포함된 작업 계획 정보가 획득되면, 추론 단계를 통해, 추론된 위치정보 또는 통신부(110)를 통해 획득된 중장비의 위치정보를 기반으로 중장비가 작업 계획 정보에 적합한 지역에서 작업을 수행하는지 여부를 검증할 수 있다.
한편, 출력 단계(S260)에서는, 중장비가 인식되면, 프로세서(130)에 의해, 중장비의 인식 결과가 GIS 데이터와 함께 AR 방식으로 디스플레이 장치의 화면에 출력되도록 할 수 있다.
또한, 프로세서(130)는, 가스관과 중장비 간의 거리의 산출 결과가 중장비의 인식 결과 및 GIS 데이터와 함께, 함께 AR 방식으로 디스플레이 장치의 화면에 출력되도록 할 수 있다.
그리고, 프로세서(130)는 중장비의 위치정보를 AR 방식으로 화면에 표시할 수도 있다. 이 때, 프로세서(130)는 중장비의 위치정보를 주변의 주요 시설물과의 거리를 표시하는 방식으로 표시할 수도 있다. 예를 들어, 프로세서(130)는 중장비와 가까운 주요시설물이 분당 경찰서인 경우, 중장비의 위치정보를 “분당 경찰서로부터 반경 50미터 이내 위치”와 같이 표시할 수도 있다.
구체적으로, 프로세서(130)는, 실제 촬영 영역 내 매립된 가스관과 중장비의 위치가 기설정된 범위 이내로 인접하면, 출력 단계(S260)에서, 충돌 위험 상황을 알리는 경고 알람을 제공하며, 충돌 위험 상황 시, 제공되는 경고 알람은, 매립된 가스관의 깊이에 따라 문자, 색상, 형상 등의 표시가 다르게 설정되어, 관리자가 가스관의 깊이에 따라 중장비와 가스관의 거리 또는 충돌 위험 상황의 정도(degree)를 빠르게 인지하도록 할 수 있다.
이때, 가스관과 중장비 간의 거리는, 가스관이 매립된 지점과 중장비가 위치하는 지점 간의 수평적 거리를 의미하며, 가스관이 매립된 지점의 GPS 좌표와 중장비가 위치하는 지점의 GPS 좌표를 기반으로 거리를 산출하는 것과 같은 결과가 도출될 수 있다.
다만, 프로세서(130)는, 탐지 단계(S250)에서, 가스관과 중장비 간의 거리 산출 시, 가스관이 매립된 지점과 중장비가 위치하는 지점 간의 거리가 기설정된 범위 이내로 인접한 것으로 판단되면, 출력 단계(S260)에서, 경고 알람이 출력되도록 하는 동시에, 가스관이 매립된 깊이정보를 이용하여, 매립된 가스관과 중장비의 거리를 산출하고, 거리 산출 결과를 화면에 표시하거나 또는 거리 산출 결과에 따라 서로 다른 경고 알람이 출력되도록 할 수 있다.
예를 들면, 프로세서(130)는, 매립된 가스관과 중장비의 거리에 따라 충돌 위험의 경계 수준이 최저 등급부터 순차적으로 경계 수준이 높아지는 복수의 등급을 설정하고, 각각의 등급에 해당하는 거리 산출 결과가 산출되면, 등급에 따른 경고 알람을 출력함으로써, 관리자가 거리 산출 결과에 따라 가스관과 중장비의 거리 또는 충돌 위험 상황의 정도(degree)를 빠르게 인지하도록 할 수 있다.
이를 통해, 실시간 항공 영상 데이터가 입력된 이후, 각각의 작업에 대한 리소스 관리를 원활하게 할 수 있으며, 실시간 항공 영상 데이터에 대하여 즉각적이고, 효과적으로 AR 정보들을 제공할 수 있다.
첨언하면, 본 실시예에서는 매칭 단계(S220)와, 인식 단계(S230), 추론 단계(S240) 및 탐지 단계(S250)가 순차적으로 수행되는 것으로 설명하고 있지만, 매칭 단계(S220)를 수행하는 이미지 학습 모델과 인식 단계(S230), 추론 단계(S240) 및 탐지 단계(S250)를 수행하는 이미지 학습 모델이 개별적으로 마련되어, 각각의 작업이 병렬적으로 수행되도록 구현할 수 있다.
더불어, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 통신부
120 : 저장부
130 : 프로세서

Claims (12)

  1. AR 정보 제공 시스템이, 항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시키는 단계;
    AR 정보 제공 시스템이, 학습된 이미지 학습 모델을 기반으로 입력되는 실시간 항공 영상 데이터와 기저장된 GIS 데이터를 매칭시키는 매칭 단계; 및
    AR 정보 제공 시스템이, 매칭된 GIS 데이터가 AR 방식으로 화면에 출력되도록 하는 단계;를 포함하는 AR 정보 제공 방법.
  2. 청구항 1에 있어서,
    항공 영상 데이터는,
    항공 영상 데이터의 촬영 위치 정보, 촬영 고도 정보 및 촬영 각도 정보가 포함된 촬영 정보를 포함하는 것을 특징으로 하는 AR 정보 제공 방법.
  3. 청구항 1에 있어서,
    매칭 단계는,
    항공 영상 데이터에 대한 실제 촬영 영역을 계산하고, 계산된 실제 촬영 영역에 대응되는 GIS 데이터를 항공 영상 데이터와 매칭시키는 것을 특징으로 하는 AR 정보 제공 방법.
  4. 청구항 3에 있어서,
    매칭 단계는,
    좌표계의 단위를 변환하고, 사용할 스케일의 중복 보간점을 제거하거나 연결되는 지점을 병합함으로써, GIS 데이터를 가공하고, 가공된 GIS 데이터를 항공 영상 데이터와 매칭시키는 것을 특징으로 하는 AR 정보 제공 방법.
  5. 청구항 3에 있어서,
    매칭 단계는,
    실시간 항공 영상 데이터 내의 시설물 중 R-Tree 알고리즘을 통해 검색되는 주요 시설물 정보를 GIS 데이터에 매칭시키는 것을 특징으로 하는 AR 정보 제공 방법.
  6. 청구항 5에 있어서,
    출력 단계는,
    촬영 정보 및 실시간 항공 영상 데이터 내 주요 시설물 정보를 이용하여, 실제 촬영 영역의 위도 및 경도가 계산되면, 계산 결과에 매칭되는 GIS 데이터가 AR 방식으로 출력되는 것을 특징으로 하는 AR 정보 제공 방법.
  7. 청구항 1에 있어서,
    실시간 항공 영상 데이터가 입력되면, AR 정보 제공 시스템이, 학습된 이미지 학습 모델을 기반으로 실시간 항공 영상 데이터 내 중장비를 인식하는 단계;를 더 포함하고,
    출력 단계는,
    중장비가 인식되면, 중장비의 인식 결과를 GIS 데이터와 함께 AR 방식으로 출력하는 것을 특징으로 하는 AR 정보 제공 방법.
  8. 청구항 7에 있어서,
    중장비가 인식되면, AR 정보 제공 시스템이, 실제 촬영 영역의 위도 및 경도 계산 결과에 매칭되는 GIS 데이터를 이용하여, 중장비의 위치정보를 추론하는 단계;를 더 포함하는 것을 특징으로 하는 AR 정보 제공 방법.
  9. 청구항 8에 있어서,
    GIS 데이터에는, 실제 촬영 영역 내에 매립된 가스관의 위치정보 및 깊이정보가 포함되며,
    AR 정보 제공 방법은,
    AR 정보 제공 시스템이, 중장비의 위치정보와 실제 촬영 영역 내에 가스관의 정보들을 이용하여, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지하는 단계;를 더 포함하는 것을 특징으로 하는 AR 정보 제공 방법.
  10. 청구항 9에 있어서,
    출력 단계는,
    실제 촬영 영역 내 매립된 가스관과 중장비의 위치가 기설정된 범위 이내로 인접하면, 충돌 위험 상황을 알리는 경고 알람이 출력되도록 하고,
    충돌 위험 상황 시, 출력되는 경고 알람은,
    매립된 가스관의 깊이에 따라 출력 방식 또는 출력 표시가 다르게 설정되는 것을 특징으로 하는 AR 정보 제공 방법.
  11. 청구항 7에 있어서,
    인식 단계는,
    중장비가 인식되는 경우, 학습된 이미지 학습 모델을 이용하여, 중장비가 작업 상태인지 또는 비작업 상태인지 판단하고,
    탐지 단계는,
    중장비가 작업 상태로 판단되는 경우에만, 실제 촬영 영역 내 매립된 가스관과 중장비의 충돌 위험 상황을 탐지하는 것을 특징으로 하는 AR 정보 제공 방법.
  12. 딥러닝 기반의 이미지 학습 모델을 저장하는 저장부; 및
    항공 영상 데이터를 이용하여, 딥러닝 기반의 이미지 학습 모델을 학습시키고, 학습된 이미지 학습 모델을 기반으로 입력되는 실시간 항공 영상 데이터와 매칭되는 GIS 데이터가 화면 내 AR 방식으로 출력되도록 하는 프로세서;를 포함하는 AR 정보 제공 시스템.
KR1020200008291A 2020-01-22 2020-01-22 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템 KR102289550B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200008291A KR102289550B1 (ko) 2020-01-22 2020-01-22 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200008291A KR102289550B1 (ko) 2020-01-22 2020-01-22 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210094730A true KR20210094730A (ko) 2021-07-30
KR102289550B1 KR102289550B1 (ko) 2021-08-12

Family

ID=77148420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200008291A KR102289550B1 (ko) 2020-01-22 2020-01-22 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102289550B1 (ko)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084348A (ko) * 1998-05-04 1999-12-06 정선종 증강현실을 이용한 헬기 운항 시스템 및 그방법
KR20060008100A (ko) * 2004-07-23 2006-01-26 권용진 모바일 기반의 지리정보 검색 및 조회 시스템
KR100885246B1 (ko) * 2008-02-13 2009-02-25 (주) 지오씨엔아이 Ｇｉｓ를 이용한 임분배치용 데이터베이스 구축 방법 및 이를 이용한 임분배치 방법
KR20090102311A (ko) * 2008-03-26 2009-09-30 (주)성경기술공사 수치지도를 이용한 산사태 발생지 예측 시스템
JP2010241412A (ja) * 2009-03-31 2010-10-28 Honeywell Internatl Inc 飛行中の航空機に接近する気象を評価するためのシステムおよび方法
KR100992619B1 (ko) * 2010-06-21 2010-11-05 (주)안세기술 클라우드-컴퓨팅 환경상에서 모바일단말의 증강현실을 활용한 지하시설물 정보제공시스템 및 정보제공방법
KR101213132B1 (ko) * 2011-12-28 2012-12-18 주식회사 선도소프트 공간객체 정보를 저장한 코드패턴, 코드패턴 생성기, 코드패턴을 이용한 지리정보표시시스템 및 그에 따른 방법
KR20140046358A (ko) * 2012-10-10 2014-04-18 이명진 산사태 위험성 분석 시스템 및 방법
KR20150131801A (ko) * 2014-05-16 2015-11-25 한국지질자원연구원 지리정보시스템 및 뉴로퍼지 기법에 기반한 산사태 예측 시스템 및 이를 이용한 산사태 예측 방법
KR101793509B1 (ko) * 2016-08-02 2017-11-06 (주)노루기반시스템즈 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
KR101809656B1 (ko) * 2016-10-06 2017-12-18 (주)지오씨엔아이 위성영상 기반 양식장 시설물 탐지 시스템 및 그 탐지 방법
KR101840820B1 (ko) * 2016-09-28 2018-03-22 주식회사 빅스 무인 비행체의 3차원 증강 현실 비행 영상을 생성하는 방법 및 서버
KR101876499B1 (ko) * 2017-02-03 2018-08-02 주식회사 올포랜드 증강현실을 이용한 건설공간정보 디스플레이 방법
KR101948792B1 (ko) * 2018-05-14 2019-02-15 (주)제타럭스시스템 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
KR20190059395A (ko) * 2017-11-23 2019-05-31 (주) 피플소프트 Gis 정보를 이용한 3차원 지형과 cctv 영상의 정합을 통한 3차원 기반 cctv 관제 시스템
KR102053582B1 (ko) * 2019-05-28 2019-12-06 (주) 지오아이티 딥러닝 기반 영상패턴학습을 이용한 토지피복 분류 방법
JP2019537770A (ja) * 2016-09-23 2019-12-26 エーオン・ベンフィールド・インコーポレイテッドＡｏｎ Ｂｅｎｆｉｅｌｄ Ｉｎｃ． 資産特性を分類するためのプラットフォーム、システム、ならびに方法および航空画像解析による資産特徴保守管理

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084348A (ko) * 1998-05-04 1999-12-06 정선종 증강현실을 이용한 헬기 운항 시스템 및 그방법
KR20060008100A (ko) * 2004-07-23 2006-01-26 권용진 모바일 기반의 지리정보 검색 및 조회 시스템
KR100885246B1 (ko) * 2008-02-13 2009-02-25 (주) 지오씨엔아이 Ｇｉｓ를 이용한 임분배치용 데이터베이스 구축 방법 및 이를 이용한 임분배치 방법
KR20090102311A (ko) * 2008-03-26 2009-09-30 (주)성경기술공사 수치지도를 이용한 산사태 발생지 예측 시스템
JP2010241412A (ja) * 2009-03-31 2010-10-28 Honeywell Internatl Inc 飛行中の航空機に接近する気象を評価するためのシステムおよび方法
KR100992619B1 (ko) * 2010-06-21 2010-11-05 (주)안세기술 클라우드-컴퓨팅 환경상에서 모바일단말의 증강현실을 활용한 지하시설물 정보제공시스템 및 정보제공방법
KR101213132B1 (ko) * 2011-12-28 2012-12-18 주식회사 선도소프트 공간객체 정보를 저장한 코드패턴, 코드패턴 생성기, 코드패턴을 이용한 지리정보표시시스템 및 그에 따른 방법
KR20140046358A (ko) * 2012-10-10 2014-04-18 이명진 산사태 위험성 분석 시스템 및 방법
KR20150131801A (ko) * 2014-05-16 2015-11-25 한국지질자원연구원 지리정보시스템 및 뉴로퍼지 기법에 기반한 산사태 예측 시스템 및 이를 이용한 산사태 예측 방법
KR101793509B1 (ko) * 2016-08-02 2017-11-06 (주)노루기반시스템즈 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
JP2019537770A (ja) * 2016-09-23 2019-12-26 エーオン・ベンフィールド・インコーポレイテッドＡｏｎ Ｂｅｎｆｉｅｌｄ Ｉｎｃ． 資産特性を分類するためのプラットフォーム、システム、ならびに方法および航空画像解析による資産特徴保守管理
KR101840820B1 (ko) * 2016-09-28 2018-03-22 주식회사 빅스 무인 비행체의 3차원 증강 현실 비행 영상을 생성하는 방법 및 서버
KR101809656B1 (ko) * 2016-10-06 2017-12-18 (주)지오씨엔아이 위성영상 기반 양식장 시설물 탐지 시스템 및 그 탐지 방법
KR101876499B1 (ko) * 2017-02-03 2018-08-02 주식회사 올포랜드 증강현실을 이용한 건설공간정보 디스플레이 방법
KR20190059395A (ko) * 2017-11-23 2019-05-31 (주) 피플소프트 Gis 정보를 이용한 3차원 지형과 cctv 영상의 정합을 통한 3차원 기반 cctv 관제 시스템
KR101948792B1 (ko) * 2018-05-14 2019-02-15 (주)제타럭스시스템 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
KR102053582B1 (ko) * 2019-05-28 2019-12-06 (주) 지오아이티 딥러닝 기반 영상패턴학습을 이용한 토지피복 분류 방법

Also Published As

Publication number Publication date
KR102289550B1 (ko) 2021-08-12

Similar Documents

Publication Publication Date Title
JP6976641B2 (ja) 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその制御方法
KR101941521B1 (ko) 해상객체의 자동추적 시스템 및 방법
JP6826421B2 (ja) 設備巡視システム及び設備巡視方法
CN104978390A (zh) 使用出行路径元数据进行情景感知目标检测
US11551411B2 (en) Data processor, data processing method, and data processing program for determining correspondence relationships between laser scanning point clouds
KR102388806B1 (ko) 주행 상황 판단 시스템
CN111174782A (zh) 位姿估计方法、装置、电子设备及计算机可读存储介质
US20230236038A1 (en) Position estimation method, position estimation device, and position estimation program
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
WO2014067684A1 (en) Method to enhance underwater localization
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN113012215A (zh) 一种空间定位的方法、系统及设备
KR102053906B1 (ko) 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
KR102289550B1 (ko) 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템
KR102377393B1 (ko) 중장비 및 가스관 인식용 영상 분석 방법 및 시스템
CN115723919A (zh) 一种船舶偏航的辅助航行方法及装置
Novais et al. Community based repository for georeferenced traffic signs
CN117897737A (zh) 一种无人机监控方法、装置、无人机及监控设备
CN113570622A (zh) 一种障碍物确定方法、装置、电子设备以及存储介质
JP6686076B2 (ja) 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム
KR102049433B1 (ko) Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법
Ghosh et al. On localizing a camera from a single image
Tonosaki et al. Indoor Localization by Map Matchin Using One Image of Information Board
KR20180000205A (ko) 지능형 영상 분석 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant