KR102345786B1 - 리모트 센싱의 지능형 기상 데이터 처리를 위한 ai 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법 - Google Patents

리모트 센싱의 지능형 기상 데이터 처리를 위한 ai 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법 Download PDF

Info

Publication number
KR102345786B1
KR102345786B1 KR1020190165296A KR20190165296A KR102345786B1 KR 102345786 B1 KR102345786 B1 KR 102345786B1 KR 1020190165296 A KR1020190165296 A KR 1020190165296A KR 20190165296 A KR20190165296 A KR 20190165296A KR 102345786 B1 KR102345786 B1 KR 102345786B1
Authority
KR
South Korea
Prior art keywords
data
layer
weather
framework
remote sensing
Prior art date
Application number
KR1020190165296A
Other languages
English (en)
Other versions
KR20210070152A (ko
Inventor
차병래
서재현
박진영
Original Assignee
제노테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제노테크 주식회사 filed Critical 제노테크 주식회사
Publication of KR20210070152A publication Critical patent/KR20210070152A/ko
Application granted granted Critical
Publication of KR102345786B1 publication Critical patent/KR102345786B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법에 관한 것으로, 데이터레이크의 논리적 기능을 지원하는 물리 계층(10)과, 데이터가 저장된 모든 소스에서 데이터를 수집하여 숫자로 표현되는 데이터수집계층(20)과, 상기 숫자로 표현되어 수집된 데이터 세트를 정규화하기 위해 서로 다른 스케일의 특징을 선택하고 특징엔지니어링하는 메시징 계층(30)과, 상기 데이터 세트의 크기를 축소하는 TDA계층(51)과, 상기 데이터 세트의 데이터 보강하고, 데이터 변환하는 메타데이터 계층(55)과, 상기 데이터 세트를 모델링하는 지능계층(54)과, 상기 모델링된 데이터 세트를 시각화하는 서빙계층(80)을 포함하여 SSD 및 GPU에 의한 컴퓨팅이 통합된 Abyss SDS 인프라를 기반으로 하는 데이터레이크 프레임워크를 포함하고, 상기 데이터레이크 프레임워크에 Giuseppe의 머신 러닝 아키텍쳐를 활용하여 데이터레이크 중심의 AI 서비스 지원에 대한 기능을 정의하고 매핑하는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법에 있어서, 대상물이나 현상에 관한 물리적 정보를 수집하고 그 물리적 정보에 대해 분석 판독하는 원격 탐사 기능이 구비된 리모트 센싱의 드론을 포함하고, 상기 AI 프레임 워크 지원 분산 에지클러스터를 이용하여 서로 다른 두 날짜에서 동일한 영역에 대한 두 개의 지리 이미지를 수신받는 단계와, 상기 지리 이미지 중 기상이벤트 이후 지리 이미지에서 이전 지리 이미지를 제거하는 단계와, 상기 기상이벤트 이후 지리 이미지를 5개의 클래스로 나누는 단계와, 표색상을 설정하는 단계와, 상기 설정된 표색상을 이용하여 각 클래스에 색상을 할당하는 단계와, 상기 이미지를 저장하고 기상 이벤트의 이후 이미지에서 이전 이미지와 대조한 차이를 식별하여 기상 변화를 탐지하는 단계를 포함하는 것을 특징으로 한다.

Description

리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법{Weather Change Detection Method using Distributed Edge Clusters with AI Framework Support for Intelligent Weather Data Processing Based on Remote Sensing}
본 발명은 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법에 관한 것으로, 보다 상세하게는 다양한 빅데이터를 처리하기 위해 SSD(Solid State Drive) 및 GPU 등에 의한 컴퓨팅을 Abyss SDS(Software Defined Storage) 인프라에 강화하고 통합하여 CDA 기반 AI 프레임 워크를 지원할 수 있는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법에 관한 것이다.
최근 기상 이변으로 인해 다양한 재난이 발생하고 있다. 특히, 최근 들어 해수면의 온도가 상승하면서 태풍의 빈도가 잦아지고 규모가 커짐으로써 피해가 매우 심각해지고 있다. 이 중 한반도로 들어와 큰 피해를 입히는 태풍은 대부분 가을에 집중되고 있으며, 그 빈도수는 점차 증가하고 있고, 한반도를 넘어 전 세계의 비정상적인 기후 문제는 사회적, 경제적 파급으로 작용하여 인류 문명의 번영을 위협하고 있다.
한편, 기술이 발전할수록 더 많은 위성들이 발사되고 있으며, 상황에 따라 드론 등에 의한 리모트 센싱으로 데이터 배포 또한 쉬워짐에 따라 원격 감지에 대한 기술도 나날이 발전하고 있다.
따라서, 이러한 데이터 배포, 원격 감지 등의 기술의 발전을 이용하여 기후 변화로 인해 발생되는 문제점을 해결하고 피해 상황을 파악 수 있는 것에 대한 요구가 절실하다.
본 발명은 상기의 문제점을 해결하기 위하여 제안되는 것으로, 빅데이터를 처리하기 위해 SSD 및 GPU에 의한 컴퓨팅을 Abyss SDS(Software Defined Storage) 인프라에 강화하고 통합하여 CDA 기반 AI 프레임 워크를 지원할 수 있는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법을 제공하는 데 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터 및 이를 이용한 기상 피해지역의 변화 탐지 방법은, 데이터레이크의 논리적 기능을 지원하는 물리 계층(10)과, 데이터가 저장된 모든 소스에서 데이터를 수집하여 숫자로 표현되는 데이터수집계층(20)과, 상기 숫자로 표현되어 수집된 데이터 세트를 정규화하기 위해 서로 다른 스케일의 특징을 선택하고 특징엔지니어링하는 메시징 계층(30)과, 상기 데이터 세트의 크기를 축소하는 TDA계층(51)과, 상기 데이터 세트의 데이터 보강하고, 데이터 변환하는 메타데이터 계층(55)과, 상기 데이터 세트를 모델링하는 지능계층(54)과, 상기 모델링된 데이터 세트를 시각화하는 서빙계층(80)을 포함하여 SSD 및 GPU에 의한 컴퓨팅이 통합된 Abyss SDS 인프라를 기반으로 하는 데이터레이크 프레임워크를 포함하고, 상기 데이터레이크 프레임워크에 Giuseppe의 머신 러닝 아키텍쳐를 활용하여 데이터레이크 중심의 AI 서비스 지원에 대한 기능을 정의하고 매핑하는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법에 있어서, 대상물이나 현상에 관한 물리적 정보를 수집하고 그 물리적 정보에 대해 분석 판독하는 원격 탐사 기능이 구비된 리모트 센싱의 드론을 포함하고, 상기 AI 프레임 워크 지원 분산 에지클러스터를 이용하여 서로 다른 두 날짜에서 동일한 영역에 대한 두 개의 지리 이미지를 수신받는 단계와, 상기 지리 이미지 중 기상이벤트 이후 지리 이미지에서 이전 지리 이미지를 제거하는 단계와, 상기 기상이벤트 이후 지리 이미지를 5개의 클래스로 나누는 단계와, 표색상을 설정하는 단계와, 상기 설정된 표색상을 이용하여 각 클래스에 색상을 할당하는 단계와, 상기 이미지를 저장하고 기상 이벤트의 이후 이미지에서 이전 이미지와 대조한 차이를 식별하여 기상 변화를 탐지하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 AI 프레임 워크는, CDA(Connected Data architecture) 기반일 수 있다.
삭제
삭제
삭제
본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터는, 정확한 다수의 데이터를 바탕으로 CDA 기반 AI 프레임 워크를 효과적으로 지원할 수 있어 현존하는 위험을 줄이며 재난 상황에 대해 대비하기가 수월하도록 할 수 있다.
도 1은 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터의 일 구성인 Abyss SDS의 구성도이다.
도 2는 Giuseppe's의 머신 러닝 아키텍처 개략도이다.
도 3은 도 2의 Giuseppe's의 머신 러닝 아키텍처를 활용하여 데이터레이크 프레임워크를 구현하도록 형성된 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터의 구성도이다.
도 4는 기상 위성 데이터의 변화 탐지를 통한 검증 테스트의 개략도이다.
도 5는 도 4의 변화 탐지 과정에 대한 플로우차트이다.
도 6은 라즈베리파이에 의한 변화 탐지 테스트 결과이다.
도 7은 Intel i5에 의한 변화 탐지 테스트 결과이다.
도 8은 Intel i7에 의한 변화 탐지 테스트 결과이다.
도 9는 Intel i9에 의한 변화 탐지 테스트 결과이다.
도 10은 도 6 내지 도 9에서 테스트된 각 CPU 모델별 컴퓨팅 시간의 평균 및 표준 편차에 대한 로그 차트이다.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터는, 다양한 빅데이터를 처리하기 위해 SSD 및 GPU에 의한 컴퓨팅을 Abyss SDS(Software Defined Storage) 인프라에 강화하고 통합하여 CDA(Connected Data architecture) 기반 AI 프레임 워크를 지원할 수 있는 시스템에 관한 것이다.
이하, 도 1 내지 도 10을 참조하여 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터 및 이를 이용한 기상 피해지역의 변화 탐지 방법을 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터의 일 구성인 Abyss SDS의 구성도이며, 도 2는 Giuseppe's의 머신 러닝 아키텍처 개략도이고, 도 3은 도 2의 Giuseppe's의 머신 러닝 아키텍처를 활용하여 데이터레이크 프레임워크를 구현하도록 형성된 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터의 구성도이다.
먼저, 도 1 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 구성하는 Abyss SDS는, SMB(Small and Medium-sized Business)를 위한 대용량 클러스터로서, 연결된 데이터 아키텍처를 지원할 수 있으며, CPU, 스토리지(Storages), SSD(Solid State Drive), GPU, AI Tools로 구분될 수 있다. 이때, 상기 CPU는 복수의 코어들로 구성될 수 있다.
본 발명은, 이러한 Abyss SDS을 기반으로 하여 전사적인 데이터레이크 프레임워크(DataLake Framework)를 구현할 수 있고, 구현된 데이터레이크 프레임워크를 활용하여 AI 서비스를 지원할 수 있는 것이다.
구체적으로, Abyss SDS 기반의 데이터레이크 프레임워크(이하, '데이터레이크'라 함)는, 전사적 데이터 레이크(Enterprise-wide DataLake)를 구축하기 위해 물리 계층(Physical Layer), 데이터 수집 계층(Data Acquisition Layer), 메시징 계층(Messaging Layer), 처리 계층(Ingestion Layer), 람다 아키텍처(Lambda Architecture), 보안 계층(Security Layer), 분산 스토리지 계층(Distributed Storage Layer) 및 서빙 계층(Serving Layer)를 포함하여 구성될 수 있다.
물리 계층(10)은 데이터레이크의 최하단에 위치하며, 데이터레이크의 논리적 기능들을 지원하기 위한 컴퓨팅(11), 스토리지(12), 네트워킹(13) 등의 물리적인 자원들로 구성되는 것으로, 본 발명에서는 상기의 Abyss SDS가 구비된다.
데이터 수집 계층(20)은 업무기기(100)와 연결되어 데이터를 수신 받을 수 있다. 이때, 데이터 수집 계층(20)은 인터넷, 클라우드 컴퓨팅 등을 통해 데이터를 수신 받을 수 있다.
또한, 데이터 수집 계층(20)은 업무기기(100)로부터 수신 받은 데이터를 추가 처리할 수 있는 메시지로 변환할 수 있다.
즉, 데이터 수집 계층(20)은 업무기기(100)로부터 데이터를 수신 후에 추가 처리하기 위해 수신된 데이터를 파싱하고, 파싱된 데이터를 변환하여 메시지로 생성 후 버퍼메모리에 임시로 저장할 수 있다.
여기서, 데이터 수집 계층(20)은 데이터를 메시지로 변환하기 위한 다양한 스키마 사양을 수용할 수 있도록 유연성(flexibility)이 있도록 형성될 수 있으며, 동시에 모든 변환된 데이터 메시지(translated data messages)를 데이터레이크에 원활하게 푸시할 수 있는 빠른 연결 메커니즘을 제공하도록 형성될 수 있다.
메시징 계층(30)은 데이터 수집 계층(20)에 연결된 외부의 여러 연결들을 분리하는 주요한 계층이며, 생성된 메시지의 전달을 위한 통신을 지원하도록 형성된다.
여기서, 메시징 계층(30)은 1:1 통신을 위한 큐(queue)와 1:n의 게시와 구독을 위한 토픽 메시징(Topic messaging) 구조의 통신을 지원하게 된다.
이를 통해, 메시징 계층(30)은 데이터 수집 계층(20)과 업무기기(100) 사이의 연결을 분리하여 불필요한 데이터가 유입되는 것을 방지하며, 데이터 수집 계층(20)으로부터 수신 받아 메시지로 변환된 데이터의 전달을 보장하게 된다.
또한, 메시징 계층(30)은 메시지의 전달을 보장하기 위해 메시지의 지속성(persistent)을 형성할 수 있으며, 이러한 메시지의 지속성은 스토리지 매체에서 지원받을 수 있다.
처리 계층(40)은 람다 아키텍처(50)를 위한 주요한 계층으로서, 메시징 계층(30)에서 람다 아키텍처(50)로 데이터를 전달하는 속도를 제어할 수 있다.
이때, 처리 계층(40)은 다양한 부하조건에서 확장 가능한 고확장성을 확보하도록 형성될 수 있으며, 이를 통해 다양한 데이터를 고속으로 처리할 수가 있다.
람다 아키텍처(50)는 메시징 계층(30)으로부터 전달된 데이터를 모델링하여 변환데이터로 변환 후 배치 처리하거거나, 실시간으로 처리할 수 있다.
이때, 람다 아키텍처(50)는 배치 데이터 처리와 실시간 데이터 처리의 병합을 원활하게 하며, 고성능 분산 컴퓨팅과 확장성으로 대규모 데이터 세트를 일괄적으로 준 실시간 처리를 통해 일관된 데이터를 제공할 수 있도록 할 수 있다.
특히, 람다 아키텍처(50)는 저 지연(low latency)에 의한 엔터프라이즈 데이터의 다양한 데이터로드 프로파일(data load profile)을 통한 스케일 아웃(scale-out) 아키텍처를 구현 가능하도록 정의한다.
이러한 람다 아키텍처(50)의 내부에는 본 발명의 데이터레이크의 주요한 특성을 포함하고 있으며, 도 3에 도시된 바와 같이 TDA 계층(TDA Layer), 배치 계층(Batch Layer), 스트림 계층(Stream Layer), 지능 계층(Intelligent Layer), 메타데이터 계층(Metadata Layer), 보안 및 컨텐츠 관리자(Security & Content Manager)로 구성될 수 있다.
여기서, TDA 계층(51)은 위상데이터분석(Topology data analysis)을 통해 메시징 계층(30)에서 전달 받은 데이터를 모델링 된 데이터(modeled data)로 변환할 수 있으며, 이는 다른 데이터레이크 모델들과의 차별화된 핵심 기능일 수 있다. 여기서, 모델링 된 데이터는 람다 아키텍처(50)의 서빙 계층(80)에 의한 제공 가능한 데이터 모델을 의미한다.
배치 계층(52)은 시스템 자원의 최적 활동을 보장할 수 있으며, 상기 메시징 계층(30)을 통해 수신된 데이터에 대해 일괄 처리를 수행하면서 모델링 된 데이터에 대한 높은 품질을 출력 하기 위한 장기 실행 작업에 적용될 수 있다.
또한, 배치 계층(52)은 일괄처리를 복구하기 위해 재생 또는 반환하기 위한 메커니즘을 제공할 수 있으며, 고품질의 모델링 된 데이터를 생성하도록 메시징 계층(30)에서 전달받은 데이터를 기반으로 기계학습 및 데이터 과학처리를 지원한다.
또한, 배치 계층(52)은 모델링 된 데이터의 품질을 향상시키기 위해 중복 제거, 오류 데이터 검출 및 데이터 계보의 뷰를 제공할 수 있다.
스트림 계층(53)은, 메시징 계층(30)으로부터 전달되는 데이터를 실시간 처리하기 위한 것으로, 배치 계층(52)과 분리되도록 형성된다.
스트림 계층(53)은 실시간 처리와 관련된 데이터 모델을 생성할 수 있으며, 모든 장기 실행 프로세스들이 일괄 처리 모드로 위임되어 있어야 하고, 데이터가 미처리 및 산적되지 않도록 고속 접근과 저장소의 지원을 필요로 한다.
이때, 스트림 계층(53)은 배치 계층(52)에서 일괄 처리된 데이터 세트와 병합할 수 있는 방식으로 출력 모델을 생성할 수 있다. 이를 통해, 스트림 계층(53)은 추후 사용자기기(200)로 데이터를 제공할 경우 보강된 데이터를 제공할 수 있게 된다.
상기 스트림 계층(53)을 구성함으로써 업무기기(100)로부터 다량의 데이터가 전달되더라도 데이터 스트림에 대해 빠른 작업을 수행할 수가 있다.
지능 계층(54)은 고품질의 모델링된 데이터를 생성하기 위해 수집된 데이터를 기반으로 기계 학습 및 데이터 과학 처리를 배치 계층(52)과 스트림 계층(53)에 지원할 수 있다. 이를 통해, 배치 계층(52)과 스트림 계층(53)에서 처리되는 데이터의 품질을 대폭 향상시킬 수 있게 된다.
또한, 고품질의 모델링 된 데이터를 분산 스토리지 계층(70)에 저장하고, 사용자기기(200)로 데이터를 제공하기 위해 서빙 계층(80)으로 제공할 수 있다.
메타데이터 계층(55)은 데이터레이크 운영을 위한 생성된 메타데이터의 저장/관리/검색 기능 등의 메타 데이터 관리 기능을 수행할 수 있다.
여기서, 메타데이터는 데이터에 관한 구조화된 데이터로, 대량의 정보 가운데에서 찾고 있는 정보를 효율적으로 찾아내서 이용하도록 일정한 규칙에 따라 콘텐츠에 대하여 부여되는 데이터이다.
즉 메타데이터 계층(55)은, 추후 사용자기기(200)로부터 데이터 요청이 수신되었을 경우 데이터레이크에 저장된 다수의 모델링 된 데이터 중에서 요청된 데이터를 추출하기 위해 각각의 모델링 된 데이터에 대한 메타데이터를 생성하고 관리할 수 있다.
보안 및 컨텐츠 관리자(56)는 데이터레이크를 구성하는 여러 계층(Layer)들의 다양한 역할을 수행할 S/W들을 가상화(Virtualization) 기술에 의한 CI(Content integration)/CD(Content delivery)/CD(Content deployment) 기능을 제공할 수 있고, 이는 다른 데이터레이크 모델과의 차별된 구성이다.
상기와 같이 구성되는 람다 아키텍처(50)에서 생성된 모델링 데이터는 보안 계층(60)으로 전달되어 보호될 수 있다.
보안 계층(Security Layer)은 데이터레이크의 각 계층의 구성 요소들 간의 인증(authentication), 승인(Authorization), 네트워크 격리(Network Isolation), 데이터 보호(Data Protection), 감사(Auditing)/진단(Diagnose) 등의 다양한 보안 기능을 제공할 수 있다.
여기서, 보안 계층(60)은 모델링 된 데이터를 보호하기 위해 암호화할 수도 있다. 이로써 대용량 데이터 분석을 활용하여 의사 결정을 하기 위한 사용자가 증가함에 따라 발생하는 보안 사고를 미연에 방지할 수 있게 된다.
분산 스토리지 계층(70)은 보안 계층(60)을 통해 암호화된 데이터를 저장할 수 있다. 또한, 분산 스토리지 계층(70)은 직렬연산과 랜덤연산을 지원할 수 있으며, 다중 데이터 구조 스토리지를 위해 유연하고 확장이 가능하도록 형성될 수 있다.
또한, 분산 스토리지 계층(70)은 데이터 수집 계층(20)을 통해 수신되는 데이터 및 데이터 스트림에 대한 람다 아키텍처(50)의 전반적인 반응성(Reactivity)을 정의하게 되며, 람다 아키텍처(50)의 스트림 계층(53)에 의해 수행되는 동작이 느려 람다 아키텍처(50)의 준 실시간(near rela-time) 처리를 방해하지 않도록 빠르게 동작되도록 형성될 수 있다.
아울러, 데이터레이크의 서빙 계층(80)은 모델링되어 저장된 데이터를 사용자기기(200)로 제공할 수 있다. 이때, 데이터는 시스템들 간의 다중 방법으로 전송이 가능할 수 있으며, 서비스 등을 통하여 데이터를 전송할 수 있다.
본 발명은 상기와 같은 데이터레이크를 구현하여 AI 프레임 워크를 지원할 수 있으며, 보다 상세하게는 도 3에 도시된 바와 같이 Giuseppe의 머신 러닝 아키텍처를 참조하여 데이터레이크 중심의 AI 서비스 지원에 다양한 기능을 정의하고 매핑할 수가 있다.
도 2에 도시된 바와 같이 Giuseppe의 머신 러닝 아키텍처는 7단계로 정의된다.
첫째, 데이터 수집(Data Collection) 단계로서, 데이터가 저장된 모든 소스에서 데이터를 수집할 수 있으며, 이때, 수집되는 데이터는 숫자로 표현되어 수집될 수 있다.
둘째, 숫자로 표현되어 수집된 데이터 세트(dataset)를 정규화(Normalizing)하는 단계로서, 서로 다른 스케일의 특징들을 선택(feature selection)하고 특징 엔지니어링(feature engineering)한다는 측면에서 가장 중요한 단계 중 하나이다.
셋째, 크기를 축소(dimensionality Reduction) 하는 단계로서, 이 단계는 필수적이지는 않으나 많은 경우에 있어서 메모리 손실 또는 계산 시간이 오래 걸리는 것에 대한 좋은 해법이 될 수 있다. 즉, 데이터 세트에 많은 기능이 있는 경우에 본 단계가 유용하게 사용될 수 있다.
넷째, 데이터 보강(Data Augmentation) 단계로서, 기본 데이터 세트에는 비선형 요소가 거의 없기 때문에 역학을 포착하기가 매우 어려우므로, 데이터 보강을 통해 기존 기능으로부터 얻어진 파생된 기능을 포함하는 풍부한 데이터 세트를 얻기에 유용할 수 있다.
다섯째, 데이터 변환(Data conversion) 단계로서, 범주형 데이터(Categorical data)를 처리할 때에 간단히 처리할 수 있어 중요한 단계이다.
여섯째, 모델링(Modeling) 하는 단계로서 모든 특정 작업에 가장 적합하게 분류하고 클러스터링 알고리즘을 선택하는 단계이다. 머신 러닝 기술의 성공은 각 매개 변수의 올바른 선택에 달려 있어, 중요한 단계라 할 수 있다.
일곱째, 시각화(Visualization)하는 단계로서, 머신 러닝의 중간과 마지막 단계의 결과를 시각화할 수 있다.
본 발명은 상술한 7단계로 정의된 Giuseppe의 머신 러닝을 활용하여 데이터레이크 중심의 AI 서비스 지원에 대한 다양한 기능을 정의하고 매핑할 수가 있다.
도 3에 도시된 바와 같이, 데이터 수집(Data Collection) 단계는 데이터 수집 계층(20)에서 이루어질 수 있고, 정규화(Normalizing)하는 단계는 메시징 계층(30)에서 이루어질 수 있다.
또한, 크기를 축소(dimensionality Reduction) 하는 단계는 TDA 계층(51)에서 이루어질 수 있고, 데이터 보강(Data Augmentation) 단계와 데이터 변환(Data conversion) 단계는 메타데이터 계층(55)에서 이루어질 수 있다.
또한, 모델링(Modeling) 하는 단계는 지능 계층에서 이루어질 수 있으며, 시각화(Visualization)하는 단계는 서빙 계층(80)에서 이루어질 수 있다.
이하, 상기와 같이 구성되는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 변화 탐지를 검증하였다.
이는, 도 4 내지 도 10을 참조하여 설명하기로 한다.
도 4는 기상 위성 데이터의 변화 탐지를 통한 검증 테스트의 개략도이며, 도 5는 도 4의 변화 탐지 과정에 대한 플로우차트이고, 도 6은 라즈베리파이에 의한 변화 탐지 테스트 결과이다.
도 7은 Intel i5에 의한 변화 탐지 테스트 결과이며, 도 8은 Intel i7에 의한 변화 탐지 테스트 결과이고, 도 9는 Intel i9에 의한 변화 탐지 테스트 결과이며, 도 10은 도 6 내지 도 9에서 테스트된 각 CPU 모델별 컴퓨팅 시간의 평균 및 표준 편차에 대한 로그 차트이다.
변화 탐지(Change detection)는 서로 다른 두 날짜에서 정확히 동일한 영역에 대해 두 개의 지리적으로 등록된 이미지(이하 '지리 이미지'라 함)를 가져와 도 4에 도시된 바와 같이 기상 이벤트의 차이(이후 이미지-이전 이미지)를 자동으로 식별하는 프로세스이다.
여기서, 기상 이벤트란 태풍, 미세먼지 등의 피해를 입히는 기상 상태를 의미한다.
본 발명의 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 변화 탐지의 검증 테스트를 위해 위성 기상 데이터를 사용하여 다양한 성능을 가진 CPU 모델(라즈베리파이, Intel i5, Intel i7 및 Intel i9)에서의 태풍 손상에 의한 변화 탐지를 수행하여 비교하였으며, 도 4 및 도 5는 기상 위성 데이터의 변화 탐지에 의한 Abyss SDS 기반의 제안된 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지의 검증 테스트의 과정을 보여준다.
이러한 검증 테스트 과정의 코드는 파이썬, GDAL, Numpy 및 PIL 패키지로 구현 및 테스트되었고, 라즈베리파이, Intel i5, Intel i7, Intel i9에서 태풍 피해에 의한 변화 탐지의 검증 테스트를 수행하였다.
그 결과는 도 6 내지 도 9와 같고, 4가지 유형의 CPU 모델에서 컴퓨팅 소요 시간 평균 및 표준 편차의 차트는 도 10에 도시하였다.
도 6 내지 도 10를 살펴보면, 평균 시간 소요는 라즈베리파이, Intel i5, Intel i7, Intel i9 순으로 소요되었고, 표준편차는 라즈베리파이, Intel i7, Intel i5, Intel i9 순으로 높은 편차도를 보였다.
이 결과를 바탕으로 살펴본 결과, 본 발명의 실시 예에 따른 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 변화 탐지는, 다양한 CPU 모델에서 호환은 가능했으나, 컴퓨팅 시간과 편차를 고려하여 Intel i5 이상의 성능에서 실행됨이 바람직함을 확인하였다.
아울러, 상기에서는 위성으로 변화 탐지를 수행하였으나, 변화 탐지는 드론 등에 의해 수행될 수도 있다.
이를 위해, 변화 탐지를 수행하는 드론은, 리모트 센싱(Remote sensing) 즉, 멀리 떨어진 위치로부터 대상물이나 현상에 관한 물리적 정보를 수집하고 그 물리적 정보에 대해 분석, 판독하는 원격 탐사 기능이 구비될 수 있다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
10 : 물리 계층
20 : 데이터 수집 계층
30 : 메시징 계층
40 : 처리 계층
50 : 람다 아키텍처
51 : TDA 계층
52 : 배치 계층
53 : 스트림 계층
54 : 지능 계층
55 : 메타데이터 계층
56 : 보안 및 컨텐츠 관리자
60 : 보안 계층
70 : 분산 스토리지 계층
80 : 서빙 계층
100 : 업무기기
200 : 사용자기기

Claims (4)

  1. 데이터레이크의 논리적 기능을 지원하는 물리 계층(10)과, 데이터가 저장된 모든 소스에서 데이터를 수집하여 숫자로 표현되는 데이터수집계층(20)과, 상기 숫자로 표현되어 수집된 데이터 세트를 정규화하기 위해 서로 다른 스케일의 특징을 선택하고 특징엔지니어링하는 메시징 계층(30)과, 상기 데이터 세트의 크기를 축소하는 TDA계층(51)과, 상기 데이터 세트의 데이터 보강하고, 데이터 변환하는 메타데이터 계층(55)과, 상기 데이터 세트를 모델링하는 지능계층(54)과, 상기 모델링된 데이터 세트를 시각화하는 서빙계층(80)을 포함하여 SSD 및 GPU에 의한 컴퓨팅이 통합된 Abyss SDS 인프라를 기반으로 하는 데이터레이크 프레임워크를 포함하고, 상기 데이터레이크 프레임워크에 Giuseppe의 머신 러닝 아키텍쳐를 활용하여 데이터레이크 중심의 AI 서비스 지원에 대한 기능을 정의하고 매핑하는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법에 있어서,
    상기 AI 프레임 워크 지원 분산 에지클러스터를 이용하여 서로 다른 두 날짜에서 동일한 영역에 대한 두 개의 지리 이미지를 수신받는 단계와,
    상기 지리 이미지 중 기상이벤트 이후 지리 이미지에서 이전 지리 이미지를 제거하는 단계와,
    상기 기상이벤트 이후 지리 이미지를 5개의 클래스로 나누는 단계와,
    표색상을 설정하는 단계와,
    상기 설정된 표색상을 이용하여 각 클래스에 색상을 할당하는 단계와,
    상기 이미지를 저장하고 기상 이벤트의 이후 이미지에서 이전 이미지와 대조한 차이를 식별하여 기상 변화를 탐지하는 단계를 포함하는 것을 특징으로 하는 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법.
  2. 제 1 항에 있어서,
    상기 AI 프레임 워크는,
    CDA(Connected Data architecture) 기반인 것을 특징으로 하는 리모트 센싱의 지능형 기상 데이터 처리를 위한 AI 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법.
  3. 삭제
  4. 삭제
KR1020190165296A 2019-12-04 2019-12-12 리모트 센싱의 지능형 기상 데이터 처리를 위한 ai 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법 KR102345786B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190160152 2019-12-04
KR20190160152 2019-12-04

Publications (2)

Publication Number Publication Date
KR20210070152A KR20210070152A (ko) 2021-06-14
KR102345786B1 true KR102345786B1 (ko) 2022-01-03

Family

ID=76417745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190165296A KR102345786B1 (ko) 2019-12-04 2019-12-12 리모트 센싱의 지능형 기상 데이터 처리를 위한 ai 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법

Country Status (1)

Country Link
KR (1) KR102345786B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276256A1 (en) * 2017-03-24 2018-09-27 Western Digital Technologies, Inc. Method and Apparatus for Smart Archiving and Analytics

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101944616B1 (ko) * 2017-05-26 2019-01-31 이화여자대학교 산학협력단 위성 영상을 이용한 재해 및 재난 경보 방법 및 그 방법을 수행하는 재해 및 재난 경보 서버
KR20190087807A (ko) * 2018-01-17 2019-07-25 제노테크주식회사 데이터레이크 프레임워크

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276256A1 (en) * 2017-03-24 2018-09-27 Western Digital Technologies, Inc. Method and Apparatus for Smart Archiving and Analytics

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
차병래 외 3명. 'Connected Data Architecture 개념의 확장을 통한 AI 서비스 초안 설계'. 스마트미디어저널, Vol.7, No.4, 2018.12., pp.31-36.

Also Published As

Publication number Publication date
KR20210070152A (ko) 2021-06-14

Similar Documents

Publication Publication Date Title
Ali et al. RES: Real-time video stream analytics using edge enhanced clouds
Zaharia et al. Fast and interactive analytics over Hadoop data with Spark
WO2020258290A1 (zh) 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统
CN107391258B (zh) 一种软硬件一体的便携式遥感影像实时处理系统
CN107809467B (zh) 一种云环境下容器镜像数据的删减方法
CN106407463A (zh) 一种基于Hadoop的图像处理方法及系统
CN107241305B (zh) 一种基于多核处理器的网络协议分析系统及其分析方法
CN109933565A (zh) 一种多尺度海量遥感影像的快速切片方法及系统
CN111586091A (zh) 一种实现算力组配的边缘计算网关系统
CN102831405A (zh) 基于分布式和暴力匹配的室外大规模物体识别方法和系统
CN110855638A (zh) 一种基于云计算的遥感卫星数据解压缩处理系统及方法
CN111614769A (zh) 一种深度学习技术的行为智能分析引擎系统及控制方法
CN112558869B (zh) 基于大数据遥感影像缓存方法
Jiang et al. Application Research of Key Frames Extraction Technology Combined with Optimized Faster R‐CNN Algorithm in Traffic Video Analysis
CN104199889A (zh) 基于CEP技术的RTLogic大数据处理系统及方法
US20140370920A1 (en) Systems and methods for generating and employing an index associating geographic locations with geographic objects
Shtern et al. Towards a multi-cluster analytical engine for transportation data
CN112352228B (zh) 数据存储系统和方法
CN115033616A (zh) 一种基于多轮采样的数据筛查规则验证方法及其装置
CN116226139B (zh) 一种适用大规模海洋数据的分布式存储和处理方法及系统
KR102345786B1 (ko) 리모트 센싱의 지능형 기상 데이터 처리를 위한 ai 프레임 워크 지원 분산 에지 클러스터를 이용한 기상 피해지역의 변화 탐지 방법
CN107423188B (zh) 日志处理方法及设备
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
Tripathi et al. A comparative analysis of conventional hadoop with proposed cloud enabled hadoop framework for spatial big data processing
KR20160145250A (ko) 가상 머지를 지원하는 셔플 내장형 분산 스토리지 시스템 및 그 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant