KR102338265B1 - Monitoring system and method for space weather observation data in ipfs decentralized storage environment - Google Patents
Monitoring system and method for space weather observation data in ipfs decentralized storage environment Download PDFInfo
- Publication number
- KR102338265B1 KR102338265B1 KR1020190124053A KR20190124053A KR102338265B1 KR 102338265 B1 KR102338265 B1 KR 102338265B1 KR 1020190124053 A KR1020190124053 A KR 1020190124053A KR 20190124053 A KR20190124053 A KR 20190124053A KR 102338265 B1 KR102338265 B1 KR 102338265B1
- Authority
- KR
- South Korea
- Prior art keywords
- ipfs
- weather observation
- observation data
- space weather
- node
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013459 approach Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 23
- 235000020420 bandung Nutrition 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 238000007639 printing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 230000002354 daily effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 241000272878 Apodiformes Species 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241001622618 Borbo Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/1827—Management specifically adapted to NAS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
- H04L43/0864—Round trip delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W2001/006—Main server receiving weather information from several sub-stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W2201/00—Weather detection, monitoring or forecasting for establishing the amount of global warming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Ecology (AREA)
- Marketing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Cardiology (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Atmospheric Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템에 관한 것으로서, 보다 구체적으로는 인도네시아 우주 기상 관측 데이터를 위한, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템으로서, 계측기와 연결되어, 우주 기상 관측 데이터를 생성하는 계측기 단말(Instrument PC); IPFS 네트워크로 상호 연결되며, 상기 계측기 단말에서 생성된 우주 기상 관측 데이터를 상기 IPFS 네트워크에 분산 저장 및 배포하는 IPFS 노드; 및 상기 IPFS 네트워크를 구성하며, 피어 리더 역할을 하는 중앙 서버를 포함하며, 상기 IPFS 네트워크에서는, 상기 IPFS 노드들을 멤버로 하는 IPFS-클러스터를 구성하여 상기 우주 기상 관측 데이터를 분산 저장 및 제공하되, 상기 IPFS-클러스터 멤버인 IPFS 노드에 대해서만 파일 배포를 하며, 상기 중앙 서버는, 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하고, 모니터링 결과를 웹 인터페이스를 통해 제공하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법에 관한 것으로서, 보다 구체적으로는 인도네시아 우주 기상 관측 데이터를 위한, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법으로서, 계측기와 연결되어, 우주 기상 관측 데이터를 생성하는 계측기 단말(Instrument PC); IPFS 네트워크로 상호 연결되며, 상기 계측기 단말에서 생성된 우주 기상 관측 데이터를 상기 IPFS 네트워크에 분산 저장 및 배포하는 IPFS 노드; 및 상기 IPFS 네트워크를 구성하며, 피어 리더 역할을 하는 중앙 서버를 포함하는 모니터링 시스템에서, 상기 IPFS 네트워크에서는, 상기 IPFS 노드들을 멤버로 하는 IPFS-클러스터를 구성하여 상기 우주 기상 관측 데이터를 분산 저장 및 제공하되, 상기 IPFS-클러스터 멤버인 IPFS 노드에 대해서만 파일 배포를 하며, 상기 중앙 서버는, (A) 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하는 단계; 및 (B) 상기 단계 (A)에 따른, 노드의 실제 상태 및 데이터 흐름에 대한 모니터링 결과를 웹 인터페이스를 통해 제공하는 단계를 수행하여 모니터링을 하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법에 따르면, IPFS(Inter Planetary File System)를 사용하여 우주 기상 관측 데이터를 분산 저장함으로써, 피어 투 피어 연결을 통해 데이터를 노드로 분산시켜 데이터 가용성과 처리량을 증가시킬 수 있고, 단일 실패 지점이 없어 데이터를 더욱 원활하게 제공할 수 있으며, 각 노드로부터의 실시간 데이터 흐름과 노드 상태 정보를 모니터링하고, 모니터링 결과를 웹 인터페이스를 통해 제공함으로써, 관리자가 실행 중인 프로세스를 쉽게 관찰하고 대응할 수 있다.The present invention relates to a space weather observation data monitoring system in an IPFS distributed storage environment, and more specifically, to a space weather observation data monitoring system in an IPFS distributed storage environment for Indonesia space weather observation data, which is connected to an instrument, an instrument terminal for generating space weather observation data (Instrument PC); an IPFS node interconnected by an IPFS network, for distributing, storing and distributing space weather observation data generated by the instrument terminal to the IPFS network; and a central server constituting the IPFS network and serving as a peer leader, wherein the IPFS network configures an IPFS-cluster including the IPFS nodes as members to distribute and store and provide the space weather observation data, File distribution is performed only for IPFS nodes that are IPFS-cluster members, and the central server performs monitoring using an active approach to monitor the actual state of the node and a passive approach to monitor data flow, and displays the monitoring results through a web interface. It is characterized by its configuration to be provided through.
In addition, the present invention relates to a method for monitoring space weather observation data in an IPFS distributed storage environment, and more specifically, to a method for monitoring space weather observation data in an IPFS distributed storage environment for Indonesia space weather observation data, which is connected to an instrument. Became an instrument terminal (Instrument PC) for generating space weather observation data; an IPFS node interconnected by an IPFS network, for distributing, storing and distributing space weather observation data generated by the instrument terminal to the IPFS network; and a central server constituting the IPFS network and serving as a peer leader, in the IPFS network, configuring an IPFS-cluster including the IPFS nodes as members to distribute and store and provide the space weather observation data However, file distribution is performed only for IPFS nodes that are members of the IPFS-cluster, and the central server performs monitoring using (A) an active approach to monitor the actual state of the node and a passive approach to monitor data flow. ; and (B) providing monitoring results for the actual state and data flow of the node according to step (A) through a web interface to perform monitoring.
According to the system and method for monitoring space weather observation data in an IPFS distributed storage environment proposed in the present invention, by using IPFS (Inter Planetary File System) to distribute and store space weather observation data, data is transmitted through a peer-to-peer connection. By distributing to nodes, data availability and throughput can be increased, data can be provided more smoothly without a single point of failure, real-time data flow from each node and node status information can be monitored, and the monitoring results can be viewed through a web interface. By providing this, the administrator can easily observe and respond to running processes.
Description
본 발명은 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 인도네시아 우주 기상 관측 데이터를 위한 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템에 관한 것이다.The present invention relates to a system and method for monitoring space weather observation data in an IPFS distributed storage environment, and more particularly, to a space weather observation data monitoring system in an IPFS distributed storage environment for Indonesia space weather observation data.
일반적으로 우주 기상이라는 용어는 우주 환경에서 발생하는 지구와 우주에서의 인간 활동에 영향을 줄 수 있는 물리적 프로세스를 말한다. 국립 항공 우주 연구소(LAPAN; https://lapan.go.id)가 대표하는 인도네시아는 아세안 지역의 우주 기상 정보 및 예측 서비스(Space Weather Information and Forecast Services, SWIFt; http://swifts.sains.lapan.go.id)라는 우주 기상 활동과 관련된 정보 및 예측을 제공하는 시스템을 적극적으로 개발하고 있다. SWIFtS 연구원 및 예측자는 매일 우주 분석(위성 또는 전파 기술)을 활용하는 응용 프로그램을 사용하는 사용자에게 SWIFtS 웹 사이트에 정확한 실제 정보를 제공하기 위해 매일 데이터 분석 및 처리를 수행한다. 따라서 우주 기상 관측 기기로부터 수집된 데이터는 지속적으로 업데이트 되어, 데이터 가용성을 유지한다. 백그라운드 프로세스에서, SWIFtS는 인도네시아 전역에 퍼져있는 관측소에 설치된 다양한 기기에서 데이터를 수집하는 데이터 스토리지 시스템에 의해 지원된다. SWIFtS가 제공하는 일일 정보는, 지속적으로 잘 작동하는 데이터 스토리지 시스템과, 연구원들의 요구를 충족시킬 수 있는 실시간 데이터 제공이 요구된다.
In general, the term space weather refers to the physical processes that occur in the space environment and that can affect human activity on Earth and in space. Indonesia, represented by the National Aeronautics and Space Administration (LAPAN; https://lapan.go.id), is the ASEAN region's Space Weather Information and Forecast Services (SWIft; http://swifts.sains.lapan). .go.id) is actively developing a system that provides information and predictions related to space weather activity. SWIFtS researchers and predictors perform daily data analysis and processing in order to provide accurate, real-world information on the SWIFtS website to users using applications that utilize space analytics (satellite or radio technology) on a daily basis. Therefore, the data collected from the space weather observation device is continuously updated to maintain data availability. In the background process, SWIFtS is supported by a data storage system that collects data from various instruments installed at observatories spread across Indonesia. Daily information provided by SWIFtS requires a data storage system that works continuously and provides real-time data that can meet the needs of researchers.
도 1은 인도네시아 관측 사이트 지도를 도시한 도면이다. 도 1에 도시된 바와 같이, 인도네시아에는 서로 다른 섬에 8개의 관측소(이하, 사이트라고 함)가 분산되어 있으며, 자바 섬(Java Island)의 반둥에는 중앙 데이터 센터가 하나 있다.
1 is a view showing a map of the Indonesian observation site. As shown in FIG. 1 , eight observatories (hereinafter referred to as sites) are distributed on different islands in Indonesia, and there is one central data center in Bandung, Java Island.
인도네시아 우주 기상 관측 데이터의 저장 및 처리를 위해 사용되는 기존 시스템은, 중앙 집중식 모델을 기반으로 클라이언트/서버 계층을 구현하고 있다. 현재 시스템의 중앙 집중식 방법에는 낮은 데이터 가용성, 낮은 처리량 및 데이터 업데이트 시간 증가와 같은 몇 가지 단점이 있다. 현재 반둥의 메인 서버는 데이터를 저장하는 중앙 스토리지로서, 반둥의 메인 서버에 대한 많은 수의 연결로 인하여 높은 네트워크 로드를 생성하게 된다. 현재 시스템에서는, 기본 SSH 포트를 통해 모든 데이터를 동기화하기 위해 모든 동기화 프로세스가 한 번에 실행된다. 따라서 각 사이트 및 기기의 다양한 데이터를 손상 없이 실시간으로 안전하게 저장하기 위해, 실행해야 하는 작업 대기열을 생성하게 된다. 낮은 처리량은 높은 네트워크 로드로 인해 데이터 동기화 시간에 영향을 주어, 동기화 시간이 더 오래 걸리는 문제가 있다.
The existing system used for storage and processing of Indonesian space weather observation data implements a client/server layer based on a centralized model. The centralized method of the current system has several disadvantages such as low data availability, low throughput, and increased data update time. Currently, Bandung's main server is a central storage for storing data, and a large number of connections to Bandung's main server creates a high network load. In the current system, all synchronization processes run at once to synchronize all data over the default SSH port. This creates a queue of tasks that need to be executed in order to safely store various data from each site and device in real time without damage. The low throughput affects the data synchronization time due to the high network load, so there is a problem that the synchronization time takes longer.
따라서 이와 같은 중앙 집중식 방법에는, 시스템 과부하, 시간 지연 등의 문제가 있으며, 서버가 다운되면 시스템이 최신 데이터를 제공할 수 없는 문제가 있었다. 또한, 종래에는 데이터 모니터링 시에 관리자가 실행 중인 프로세스를 쉽게 관찰할 수 있는 방법이 없어 불편함이 야기되었다.
Therefore, in such a centralized method, there are problems such as system overload and time delay, and when the server is down, the system cannot provide the latest data. Also, in the related art, there is no method for an administrator to easily observe a running process during data monitoring, which causes inconvenience.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2017-0110200호(발명의 명칭: 기상 관련 데이터의 수집, 처리 및 배포 시스템, 공개일자: 2017년 10월 11일) 등이 개시된 바 있다.On the other hand, as prior art related to the present invention, Patent Publication No. 10-2017-0110200 (title of the invention: collection, processing and distribution system of meteorological data, publication date: October 11, 2017), etc. has been disclosed. .
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, IPFS(Inter Planetary File System)를 사용하여 우주 기상 관측 데이터를 분산 저장함으로써, 피어 투 피어 연결을 통해 데이터를 노드로 분산시켜 데이터 가용성과 처리량을 증가시킬 수 있고, 단일 실패 지점이 없어 데이터를 더욱 원활하게 제공할 수 있으며, 각 노드로부터의 실시간 데이터 흐름과 노드 상태 정보를 모니터링하고, 모니터링 결과를 웹 인터페이스를 통해 제공함으로써, 관리자가 실행 중인 프로세스를 쉽게 관찰하고 대응할 수 있는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and by using IPFS (Inter Planetary File System) to distribute and store space weather observation data, data is transferred to nodes through peer-to-peer connection Data availability and throughput can be increased by distributing it, data can be provided more smoothly without a single point of failure, real-time data flow from each node and node status information are monitored, and monitoring results are provided through a web interface An object of the present invention is to provide a system and method for monitoring space weather observation data in an IPFS distributed storage environment, in which an administrator can easily observe and respond to running processes.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템은,Space weather observation data monitoring system in an IPFS distributed storage environment according to a feature of the present invention for achieving the above object,
인도네시아 우주 기상 관측 데이터를 위한, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템으로서,As a space weather observation data monitoring system in an IPFS distributed storage environment for Indonesia space weather observation data,
계측기와 연결되어, 우주 기상 관측 데이터를 생성하는 계측기 단말(Instrument PC);an instrument terminal connected to the instrument to generate space weather observation data (Instrument PC);
IPFS 네트워크로 상호 연결되며, 상기 계측기 단말에서 생성된 우주 기상 관측 데이터를 상기 IPFS 네트워크에 분산 저장 및 배포하는 IPFS 노드; 및an IPFS node interconnected by an IPFS network, for distributing, storing and distributing space weather observation data generated by the instrument terminal to the IPFS network; and
상기 IPFS 네트워크를 구성하며, 피어 리더 역할을 하는 중앙 서버를 포함하며,and a central server constituting the IPFS network and serving as a peer leader,
상기 IPFS 네트워크에서는, 상기 IPFS 노드들을 멤버로 하는 IPFS-클러스터를 구성하여 상기 우주 기상 관측 데이터를 분산 저장 및 제공하되, 상기 IPFS-클러스터 멤버인 IPFS 노드에 대해서만 파일 배포를 하며,In the IPFS network, an IPFS-cluster having the IPFS nodes as members is configured to distribute and store and provide the space weather observation data, but file distribution is performed only to IPFS nodes that are members of the IPFS-cluster,
상기 중앙 서버는, 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하고, 모니터링 결과를 웹 인터페이스를 통해 제공하는 것을 그 구성상의 특징으로 한다.
The central server performs monitoring using an active approach for monitoring the actual state of a node and a passive approach for monitoring data flow, and provides a monitoring result through a web interface.
바람직하게는,Preferably,
상기 중앙 서버는 반둥 노드이며,The central server is a Bandung node,
상기 IPFS 네트워크는, 인도네시아 우주 기상 관측 데이터의 실시간 제공을 위해, 상기 계측기 단말과의 연결 없이 새 파일이 생성될 때마다 복제를 통해 모든 파일을 수집하는 서버로서, Garut 노드 및 Pasuruan 노드를 더 포함할 수 있다.
The IPFS network is a server that collects all files through duplication whenever a new file is created without a connection with the instrument terminal for real-time provision of Indonesian space weather observation data, and may further include a Garut node and a Pasuruan node. can
바람직하게는, 상기 능동적 접근법은,Preferably, the active approach comprises:
핑 프로세스를 통해 ICMP 패킷을 전송하여 노드의 실제 상태를 결정할 수 있다.
The actual state of a node can be determined by sending an ICMP packet through the ping process.
더욱 바람직하게는, 상기 중앙 서버는,More preferably, the central server,
(1) 상기 IPFS 네트워크에서 대상 노드 ID를 핑(ping)하는 단계;(1) pinging a target node ID in the IPFS network;
(2) 상기 대상 노드가 온라인이면 응답을 수신하고, 대기 시간에 대한 왕복 시간(RTT)을 인쇄하는 단계; 및(2) receiving a response if the target node is online, and printing a round trip time (RTT) for the waiting time; and
(3) 퐁 결과를 웹 페이지에 표시하는 단계를 포함하는 능동적 접근법을 이용해 노드의 실제 상태를 모니터링할 수 있다.
(3) The actual state of the node can be monitored using an active approach that includes displaying the Pong result on a web page.
더더욱 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1) is
(1-1) 핑 명령이 실행되면 분산 해시 테이블(DHT)에서 대상 노드의 노드 ID를 찾고, 상기 노드 ID를 이용해 상기 대상 노드에 연결하는 단계; 및(1-1) when a ping command is executed, finding a node ID of a target node in a distributed hash table (DHT), and connecting to the target node using the node ID; and
(1-2) 상기 대상 노드에 ICMP 패킷을 전송하고 퐁 응답을 대기하는 단계를 포함할 수 있다.
(1-2) transmitting an ICMP packet to the target node and waiting for a pong response.
더더욱 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1) is
모든 노드에서 상태 정보를 얻기 위해, 미리 정해진 시간마다 실행될 수 있다.
In order to get status information from all nodes, it can be executed at a predetermined time.
바람직하게는, 상기 수동적 접근법은,Preferably, the passive approach comprises:
상기 계측기 단말에서 생성된 우주 기상 관측 데이터가 IPFS 네트워크에 자동으로 업로드되는 과정에서 생성된 로그 파일을 이용해 데이터 흐름을 모니터링할 수 있다.
The data flow can be monitored using a log file generated while the space weather observation data generated by the instrument terminal is automatically uploaded to the IPFS network.
더욱 바람직하게는, 상기 로그 파일은,More preferably, the log file,
파일 이름, 타임스탬프, 파일 크기, 블록 해시, 계측기 이름 및 총 크기를 포함하는 메타 데이터 파일 정보를 포함하며, 계측기 이름을 기반으로 할 수 있다.
Contains metadata file information including file name, timestamp, file size, block hash, instrument name and total size, and can be based on instrument name.
더욱 바람직하게는, 상기 로그 파일은,More preferably, the log file,
데이터 흐름을 모니터링하기 위해, 모든 IPFS 노드에서 상기 중앙 서버로 미리 정해진 시간 간격으로 전송될 수 있다.
In order to monitor the data flow, it may be transmitted at predetermined time intervals from all IPFS nodes to the central server.
바람직하게는, 상기 웹 인터페이스는,Preferably, the web interface comprises:
HTML, CSS 및 JS로 구성된 Bootstrap 3.3 프레임워크로 구현될 수 있다.
It can be implemented with the Bootstrap 3.3 framework consisting of HTML, CSS and JS.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법은,A space weather observation data monitoring method in an IPFS distributed storage environment according to a feature of the present invention for achieving the above object,
인도네시아 우주 기상 관측 데이터를 위한, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법으로서,A method for monitoring space weather observation data in an IPFS distributed storage environment for Indonesia space weather observation data, the method comprising:
계측기와 연결되어, 우주 기상 관측 데이터를 생성하는 계측기 단말(Instrument PC);an instrument terminal connected to the instrument to generate space weather observation data (Instrument PC);
IPFS 네트워크로 상호 연결되며, 상기 계측기 단말에서 생성된 우주 기상 관측 데이터를 상기 IPFS 네트워크에 분산 저장 및 배포하는 IPFS 노드; 및an IPFS node interconnected by an IPFS network, for distributing, storing and distributing space weather observation data generated by the instrument terminal to the IPFS network; and
상기 IPFS 네트워크를 구성하며, 피어 리더 역할을 하는 중앙 서버를 포함하는 모니터링 시스템에서,In a monitoring system comprising a central server constituting the IPFS network and serving as a peer leader,
상기 IPFS 네트워크에서는, 상기 IPFS 노드들을 멤버로 하는 IPFS-클러스터를 구성하여 상기 우주 기상 관측 데이터를 분산 저장 및 제공하되, 상기 IPFS-클러스터 멤버인 IPFS 노드에 대해서만 파일 배포를 하며,In the IPFS network, an IPFS-cluster having the IPFS nodes as members is configured to distribute and store and provide the space weather observation data, but file distribution is performed only to IPFS nodes that are members of the IPFS-cluster,
상기 중앙 서버는,The central server,
(A) 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하는 단계; 및(A) performing monitoring using an active approach of monitoring the actual state of the node and a passive approach of monitoring data flow; and
(B) 상기 단계 (A)에 따른, 노드의 실제 상태 및 데이터 흐름에 대한 모니터링 결과를 웹 인터페이스를 통해 제공하는 단계를 수행하여 모니터링을 하는 것을 그 구성상의 특징으로 한다.
(B) It is characterized in that the monitoring is performed by performing the step of providing the monitoring result for the actual state and data flow of the node through the web interface according to the step (A).
바람직하게는,Preferably,
상기 중앙 서버는 반둥 노드이며,The central server is a Bandung node,
상기 IPFS 네트워크는, 인도네시아 우주 기상 관측 데이터의 실시간 제공을 위해, 상기 계측기 단말과의 연결 없이 새 파일이 생성될 때마다 복제를 통해 모든 파일을 수집하는 서버로서, Garut 노드 및 Pasuruan 노드를 더 포함할 수 있다.
The IPFS network is a server that collects all files through duplication whenever a new file is created without a connection with the instrument terminal for real-time provision of Indonesian space weather observation data, and may further include a Garut node and a Pasuruan node. can
바람직하게는, 상기 단계 (A)의 능동적 접근법은,Preferably, the active approach of step (A) comprises:
핑 프로세스를 통해 ICMP 패킷을 전송하여 노드의 실제 상태를 결정할 수 있다.
The actual state of a node can be determined by sending an ICMP packet through the ping process.
더욱 바람직하게는, 상기 단계 (A)는,More preferably, the step (A),
(1) 상기 IPFS 네트워크에서 대상 노드 ID를 핑(ping)하는 단계; 및(1) pinging a target node ID in the IPFS network; and
(2) 상기 대상 노드가 온라인이면 응답을 수신하고, 대기 시간에 대한 왕복 시간(RTT)을 인쇄하는 단계를 포함하는 능동적 접근법을 이용해 노드의 실제 상태를 모니터링하며,(2) receiving a response if the target node is online, and monitoring the actual state of the node using an active approach comprising the steps of printing a round trip time (RTT) to latency;
상기 단계 (B)에서는, 퐁 결과를 웹 페이지에 표시할 수 있다.
In step (B), the pong result may be displayed on a web page.
더더욱 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1) is
(1-1) 핑 명령이 실행되면 분산 해시 테이블(DHT)에서 대상 노드의 노드 ID를 찾고, 상기 노드 ID를 이용해 상기 대상 노드에 연결하는 단계; 및(1-1) when a ping command is executed, finding a node ID of a target node in a distributed hash table (DHT), and connecting to the target node using the node ID; and
(1-2) 상기 대상 노드에 ICMP 패킷을 전송하고 퐁 응답을 대기하는 단계를 포함할 수 있다.
(1-2) transmitting an ICMP packet to the target node and waiting for a pong response.
더더욱 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1) is
모든 노드에서 상태 정보를 얻기 위해, 미리 정해진 시간마다 실행될 수 있다.
In order to get status information from all nodes, it can be executed at a predetermined time.
바람직하게는, 상기 단계 (A)의 수동적 접근법은,Preferably, the passive approach of step (A) comprises:
상기 계측기 단말에서 생성된 우주 기상 관측 데이터가 IPFS 네트워크에 자동으로 업로드되는 과정에서 생성된 로그 파일을 이용해 데이터 흐름을 모니터링할 수 있다.
The data flow can be monitored using a log file generated while the space weather observation data generated by the instrument terminal is automatically uploaded to the IPFS network.
더욱 바람직하게는, 상기 로그 파일은,More preferably, the log file,
파일 이름, 타임스탬프, 파일 크기, 블록 해시, 계측기 이름 및 총 크기를 포함하는 메타 데이터 파일 정보를 포함하며, 계측기 이름을 기반으로 할 수 있다.
Contains metadata file information including file name, timestamp, file size, block hash, instrument name and total size, and can be based on instrument name.
더욱 바람직하게는, 상기 로그 파일은,More preferably, the log file,
데이터 흐름을 모니터링하기 위해, 모든 IPFS 노드에서 상기 중앙 서버로 미리 정해진 시간 간격으로 전송될 수 있다.
In order to monitor the data flow, it may be transmitted at predetermined time intervals from all IPFS nodes to the central server.
바람직하게는, 상기 웹 인터페이스는,Preferably, the web interface comprises:
HTML, CSS 및 JS로 구성된 Bootstrap 3.3 프레임워크로 구현될 수 있다.It can be implemented with the Bootstrap 3.3 framework consisting of HTML, CSS and JS.
본 발명에서 제안하고 있는 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법에 따르면, IPFS(Inter Planetary File System)를 사용하여 우주 기상 관측 데이터를 분산 저장함으로써, 피어 투 피어 연결을 통해 데이터를 노드로 분산시켜 데이터 가용성과 처리량을 증가시킬 수 있고, 단일 실패 지점이 없어 데이터를 더욱 원활하게 제공할 수 있으며, 각 노드로부터의 실시간 데이터 흐름과 노드 상태 정보를 모니터링하고, 모니터링 결과를 웹 인터페이스를 통해 제공함으로써, 관리자가 실행 중인 프로세스를 쉽게 관찰하고 대응할 수 있다.According to the system and method for monitoring space weather observation data in an IPFS distributed storage environment proposed in the present invention, by using IPFS (Inter Planetary File System) to distribute and store space weather observation data, data is transmitted through peer-to-peer connection. By distributing to nodes, data availability and throughput can be increased, data can be provided more smoothly without a single point of failure, real-time data flow from each node and node status information can be monitored, and the monitoring results can be viewed through a web interface. By providing this, the administrator can easily observe and respond to running processes.
도 1은 인도네시아 관측 사이트 지도를 도시한 도면.
도 2는 중앙 서버와 사이트 서버 사이의 동기화 프로세스를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템의 시스템 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법의 IPFS 네트워크 다이어그램을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법에서, 관측 사이트의 상태를 표시한 도면.
도 6은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템에 데이터가 저장되는 과정을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법의 흐름을 도시한 도면.
도 8 및 도 9는 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법에서, 능동적 접근법을 이용한 노드 상태 모니터링의 세부적인 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법에서, 수동적 접근법을 이용한 데이터 흐름 모니터링의 세부적인 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템 및 방법에서, 웹 인터페이스로 제공되는 모니터링 화면을 예를 들어 도시한 도면.1 is a view showing a map of the Indonesian observation site.
Fig. 2 shows a synchronization process between a central server and a site server;
3 is a diagram illustrating a system configuration of a space weather observation data monitoring system in an IPFS distributed storage environment according to an embodiment of the present invention.
4 is a diagram illustrating an IPFS network diagram of a space weather observation data monitoring system and method in an IPFS distributed storage environment according to an embodiment of the present invention;
5 is a view showing a state of an observation site in a system and method for monitoring space weather observation data in an IPFS distributed storage environment according to an embodiment of the present invention;
6 is a diagram illustrating a process of storing data in a space weather observation data monitoring system in an IPFS distributed storage environment according to an embodiment of the present invention.
7 is a diagram illustrating a flow of a method for monitoring space weather observation data in an IPFS distributed storage environment according to an embodiment of the present invention.
8 and 9 are diagrams illustrating a detailed flow of node status monitoring using an active approach in a space weather observation data monitoring method in an IPFS distributed storage environment according to an embodiment of the present invention.
10 is a diagram illustrating a detailed flow of data flow monitoring using a passive approach in a space weather observation data monitoring method in an IPFS distributed storage environment according to an embodiment of the present invention.
11 is a view illustrating, for example, a monitoring screen provided as a web interface in a system and method for monitoring space weather observation data in an IPFS distributed storage environment according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing the preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is said to be connected to another part, this includes not only a case in which it is directly connected, but also a case in which it is indirectly connected with another element interposed therebetween. In addition, the inclusion of any component means that other components may be further included, rather than excluding other components, unless otherwise stated.
도 2는 중앙 서버(210)와 사이트 서버 사이의 동기화 프로세스를 도시한 도면이다. 종래 인도네시아 우주 기상 관측 데이터의 저장 및 처리를 위해 사용되는 시스템은, 중앙 집중식 모델을 기반으로 클라이언트/서버 계층을 구현하고 있다. 이와 같은 중앙 집중식 모델에서, 데이터 업데이트 지연 문제는 중앙 서버(210)에서 모든 사이트 서버로 또는 동시에 발생하는 사이트 서버와 PC 장비 간의 동기화에서 발생한다.
2 is a diagram illustrating a synchronization process between the
도 2에서, 크론 탭(crontab)은 5분마다 서브 프로그램을 실행하는 메인 프로그램을 실행하여 서버와 기기 PC 간에 데이터를 한 번에 동기화한다. 중앙 사이트와 모든 사이트 서버 간에 동일한 프로세스를 통해 15분마다 데이터를 동기화한다. 이와 같은 상황은 모든 동시 액세스가 하나의 포트로 향할 때 문제가 될 수 있으며, 많은 수의 작업 대기열 때문에 높은 네트워크 로드가 발생하며, 이로 인해 데이터 업데이트가 지연되게 된다.
In FIG. 2 , crontab executes a main program that executes a sub program every 5 minutes to synchronize data between the server and the device PC at once. Synchronize data every 15 minutes through the same process between the central site and all site servers. A situation like this can be problematic when all concurrent accesses are directed to one port, and the large number of work queues creates a high network load, which delays data updates.
도 3은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10)의 시스템 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10)은, 인도네시아 우주 기상 관측 데이터를 위한, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10)으로서, 계측기 단말(100)(Instrument PC) 및 IPFS 노드(200)를 포함하여 구성될 수 있다.
3 is a diagram illustrating a system configuration of a space weather observation
즉, 본 발명에서는, 피어 투 피어 네트워크를 활용하여 우주 기상 관측 데이터를 위한 분산 스토리지 및 모니터링 시스템(10)을 개발하였다. 본 발명에서는, IPFS를 핵심 시스템으로 사용하여 데이터를 분산 저장하고 다른 노드에 배포할 수 있다. IPFS에서 저장소를 초기화하여 키 쌍(공개키 및 개인키)이 생성되고, 노드에서 IPFS 구성을 호스트하고 저장소 오브젝트를 저장하는 로컬 폴더가 형성될 수 있다. 각 노드의 ID(NodeID)는 노드의 공개키 해시를 사용해 만들어질 수 있다.
That is, in the present invention, a distributed storage and
보다 구체적으로, 본 발명에서는, 중앙 서버 및 사이트(site) 서버를 IPFS 네트워크에 연결된 노드로 만들 수 있다. 피어는 피어 간에 파일을 자동으로 배포하는 프로세스를 위해 준비된 개인 IPFS 네트워크로 제한될 수 있다. 피어 간에 데이터를 교환하는 기본 프로세스가 유사하기 때문에, IPFS는 비트 토런트 프로토콜 위에서 객체 스토리지 서비스로 볼 수 있다. 파일이 IPFS에 게시되면 피어는 해당 내용에 액세스하여 로컬 복사본을 보관할 수 있다. 데이터는 최소 24시간 동안 공개적으로 제공될 수 있다. 다른 피어와의 상호작용(pinning)이 없으면, 데이터는 재활용하지 않고 가비지 수집기(garbage collector)에 전달될 수 있다. 가비지 수집기 도구는 IPFS 네트워크에서 사용하지 않는 데이터를 지우는데 사용될 수 있다. 제안된 시스템 아키텍처에서는 계측기(instrument)가 다양하고 연속적인 데이터를 생성하므로 자동 피닝(automatic pinning)으로 파일 공유를 처리해야 한다.
More specifically, in the present invention, the central server and the site server can be made into nodes connected to the IPFS network. Peers can be limited to private IPFS networks prepared for the process of automatically distributing files between peers. Because the basic process for exchanging data between peers is similar, IPFS can be viewed as an object storage service on top of the BitTorrent protocol. Once a file is published to IPFS, peers can access its contents and keep a local copy. Data may be made publicly available for at least 24 hours. If there is no pinning with other peers, the data can be passed to the garbage collector without recycling. Garbage collector tools can be used to clear unused data from IPFS networks. In the proposed system architecture, since the instrument generates various and continuous data, automatic pinning should handle the file sharing.
IPFS-클러스터는 다른 호스트에서 실행되는 IPFS 데몬 사이를 조정하는 데 사용되는 도구이다. 이들이 하나의 클러스터에 상호 연결되어 있으면, IPFS의 피어가 추가한 모든 개체가 모든 구성원에 의해 자동으로 고정(pinned)될 수 있다. 따라서 한 피어가 네트워크에서 연결을 끊거나 해당 개체를 삭제하더라도 다른 피어가 여전히 제공할 수 있다. 그러나 피어는 데이터 중 일부만 수신하고 피어가 개체를 배포하면 IPFS 네트워크에서 더 이상 중복되지 않을 수 있다. 따라서 본 발명에 따르면 내용이 동일한 각 파일이 저장되지 않으므로, 노드의 저장 공간을 크게 늘리지 않을 수 있다. 또한, 노드에서 사용 가능한 리소스를 사용하는 이점이 있다.
IPFS-Cluster is a tool used to coordinate between IPFS daemons running on different hosts. If they are interconnected in one cluster, any objects added by peers of IPFS can be automatically pinned by all members. So even if one peer disconnects from the network or deletes that object, the other peer can still serve it. However, once peers receive only some of the data and peers distribute objects, they may no longer be redundant in an IPFS network. Therefore, according to the present invention, since each file having the same content is not stored, the storage space of the node may not be significantly increased. It also has the advantage of using the resources available on the node.
이하에서는, 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10)을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
Hereinafter, each component constituting the space weather observation
계측기 단말(100)은, 계측기와 연결되어, 우주 기상 관측 데이터를 생성할 수 있다. 우주 기상 관측 데이터는 유형에 따라 매일, 매시간, 15분, 5분마다 생성될 수 있다. 모든 사이트에는 다양한 계측기가 있는데, 예를 들어 CADI(Canadian Advanced Digital Ionosonde)와 같은 계측기가 포함될 수 있다. CADI는 이온층(Ionosphere layer) 내의 이온화된 부분을 연구하기 위한 특수 레이더이다. 여러 위치에 설치되며 항상 15분 간격으로 데이터를 생성한다.
The
계측기 단말(100)은 계측기에서 데이터를 수집하는 초기 제공자이다. 도 3에 도시된 바와 같이, IPFS 노드(200)와 계측기 단말(100) 간의 데이터 통신 모듈로는, TCP/IP를 사용할 수 있다. 데이터 전송 모듈(Data Transfer Module)의 경우, 단말의 운영 체제에 따라 상이할 수 있다. 예를 들어, FTP는 Windows OS로의 데이터 전송에 사용되는 반면, SFTP는 Unix OS가 설치된 단말에 사용될 수 있다. 각각의 계측기 단말(100)에는 데이터가 저장되는 장소로 데이터 수집기(Data collector)가 있을 수 있다. 사용자가 데이터를 사용할 수 있게 하려면 데이터가 생성되는 즉시 피어 간에 데이터를 배포해야 한다. 따라서 데이터 수집기 감시자(Data Collector watcher)는 최신 파일을 사이트 서버(IPFS 노드(200))의 데이터 수집기로 자동 전송할 수 있다. 데이터 수집기 감시자는 데이터 전송과 관련하여, 메타 데이터가 포함된 로그 파일을 생성할 수 있다. 이때, 데이터 수집기 감시자는 파이썬의 감시 라이브러리로 구축될 수 있다.
The
IPFS 노드(200)는, IPFS 네트워크로 상호 연결되며, 계측기 단말(100)에서 생성된 우주 기상 관측 데이터를 IPFS 네트워크에 분산 저장 및 배포할 수 있다. IPFS 네트워크에서는, IPFS 노드(200)들을 멤버로 하는 IPFS-클러스터를 구성하여 우주 기상 관측 데이터를 분산 저장 및 제공하되, IPFS-클러스터 멤버인 IPFS 노드(200)에 대해서만 파일 배포를 할 수 있다.
The
도 3에 도시된 바와 같이, IPFS 노드(200)에는 최신 데이터를 유지하는 데 필수적인 데이터 수집기 감시자 서비스가 사용될 수 있다. 이 서비스는 파이썬의 pylnotify 라이브러리와 IPFS API의 클라이언트 라이브러리를 사용하여 작성될 수 있다. 계측기 단말(100)에서 계측기 이름을 기반으로 하는 고유한 루트 디렉토리는 원시 데이터를 저장하는 루트 디렉토리로 설정될 수 있다. 계측기 단말(100)에서 새 파일을 생성하여 보내면 계측기 유형에 따라 이름이 지정된 서버의 폴더로 수집될 수 있다. 프로그램은 폴더가 변경될 때마다 IPFS에 데이터를 추가하고 파일 이름, 타임 스탬프, 계측기 이름, 블록 해시, 파일 크기 및 총 크기와 같은 메타 데이터 정보가 포함된 로그를 생성할 수 있다. 도 3에서 서버는 IPFS 바이너리를 실행하여 리소스를 IPFS 노드(200)로 관리할 수 있다. LibP2P는 시스템의 주요 부분으로, 데이터 및 통신 전송 허용, 분산 해시 테이블 작성 및 시스템에서 파일 교환과 같은 일부 필수 태스크가 필요할 수 있다. 데이터 통신 모듈의 경우 PC와 서버 간의 연결은 TCP/IP로 연결될 수 있다.
As shown in FIG. 3 , the
도 4는 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법의 IPFS 네트워크 다이어그램을 도시한 도면이다. IPFS 네트워크에서는, IPFS 노드(200)들을 멤버로 하는 IPFS-클러스터를 구성하여 우주 기상 관측 데이터를 분산 저장 및 제공하되, IPFS-클러스터 멤버인 IPFS 노드(200)에 대해서만 파일 배포를 할 수 있다. 각 서버에는 노드 ID라고 하는 고유 식별자가 있으며 다중 주소 형식(Multiaddr-formatted)의 바이트 문자열을 사용하여 오버레이 네트워크의 노드 간에 통신할 수 있다. Multiaddr은 모든 네트워크 프로토콜의 주소를 지원하고 주소 캡슐화를 지원할 수 있다. 또한 IPFS-클러스터는 파일 배포 흐름을 제한하는 데 사용될 수 있다.
4 is a diagram illustrating an IPFS network diagram of a space weather observation
도 4에 도시된 바와 같이, 각 사이트에는 여러 시간 범위의 데이터를 생성하는 다양한 계측기가 있으므로 계측기들은 표준 피어로 사용되며, 중앙 서버(210)는 피어 리더로 사용될 수 있다. IPFS 노드(200)가 파일을 교환해야 할 경우, 피어 투 피어 연결이 노드 간에 구축되므로, 도 4에 도시된 바와 같이, 노드가 다른 노드에 직접 연결할 수 있다. 예를 들어, 파푸아 섬에 위치한 Biak 노드는 계측기 CADI에서 최신 파일을 수집하며, 다른 섬의 노드(예를 들어, 노드 반둥(Bandung))로 배포할 준비가 될 수 있다. 그들이 IPFS-클러스터에 연결되면, 반둥 피어는 Biak으로부터 파일을 요청하고, 그들 사이에 P2P 연결이 생성되어, 반둥은 Biak 피어로부터 직접 데이터를 얻을 수 있다. 이 시나리오는 반둥과 Biak뿐만 아니라 모든 피어에게도 발생할 수 있다. 즉, 피어가 다른 피어에게 요청된 파일을 제공하도록 요청할 때 모든 피어는 서로 직접 연결될 수 있다.
As shown in Figure 4, each site has various instruments generating data for different time ranges, so the instruments are used as standard peers, and the
한편, 도 4에 도시된 바와 같이, 중앙 서버(210)는, IPFS 네트워크를 구성하며 피어 리더 역할을 할 수 있다. 중앙 서버(210)는, 계측기 단말(100)과 연결 없이 우주 기상 관측 데이터의 저장 및 배포를 하며, 자바 섬의 반둥 노드일 수 있다. 또한, IPFS 네트워크는, 인도네시아 우주 기상 관측 데이터의 실시간 제공을 위해, 계측기 단말(100)과의 연결 없이 새 파일이 생성될 때마다 복제를 통해 모든 파일을 수집하는 서버로서, Garut 노드 및 Pasuruan 노드를 더 포함할 수 있다. 반둥은 데이터 센터의 기본 사이트로 필수적이며 데이터를 필요로 하는 많은 수의 사용자를 보유하고 있으므로 새 파일이 생성될 때마다 복제를 통해 모든 파일을 수집해야 한다. 그러나 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법은 네트워크 및 스토리지 비용을 고려하여 파일을 모든 피어에 복제하지 않을 수 있다.
Meanwhile, as shown in FIG. 4 , the
도 5는 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법에서, 관측 사이트의 상태를 표시한 도면이다. 도 5에서 확인할 수 있는 바와 같이, 각 노드에는 대역폭 용량, 링크 연결성 및 매일 전달되는 총 데이터 양이 서로 다를 수 있다. 본 발명에서는, HDFS(Hadoop Distributed File System)의 복제 요소와 유사한 다른 세 노드에만 파일을 복제할 수 있다.
5 is a view showing the state of an observation site in the space weather observation
도 5에 따르면, 자바 섬의 반둥과 동일한 지리적 위치를 기반으로 데이터를 저장할 다른 노드를 선택하는 것이 바람직하다. 이는 반둥이 오프라인 상태로 표시된 다른 노드에서 파일을 가져와야 하는 시간을 줄이는 데 영향을 미칠 수 있다. 또한, 데이터를 매일 수집할 때 총 크기가 가장 작은 다른 노드, 다른 노드보다 대역폭 용량이 더 높은 노드, 및 광섬유 링크로 연결된 노드를 선택하는 것이 바람직하다. 따라서 이러한 고려 사항에 따라, Garut 노드 및 Pasuruan 노드를 데이터 복제의 두 번째 및 세 번째 센터로 선택하는 것이 바람직하다. Garut 노드는 광섬유 연결로 5Mbps의 대역폭 용량을 가지며 매일 21MB의 데이터를 수집한다. 또한 Pasuruan 노드는 광섬유 링크에 의한 대역폭 용량으로 7Mbps를 가지며 매일 39MB의 데이터를 수집한다. 따라서, 도 4에 도시된 네트워크 다이어그램에서 확인할 수 있는 바와 같이, Garut과 Pasuruan에 반둥과 함께 데이터 복제만 받는 역할을 하는 두 번째 서버(second server)를 각각 추가할 수 있다.
According to Fig. 5, it is preferable to select another node to store data based on the same geographic location as Bandung, Java Island. This may affect Bandung reducing the amount of time it has to fetch files from other nodes marked as offline. Also, when collecting data on a daily basis, it is desirable to select another node with the smallest total size, a node with a higher bandwidth capacity than other nodes, and a node connected by a fiber optic link. Therefore, according to these considerations, it is desirable to select the Garut node and the Pasuruan node as the second and third centers of data replication. The Garut node has a bandwidth capacity of 5 Mbps with a fiber optic connection and collects 21 MB of data per day. In addition, Pasuruan node has 7Mbps of bandwidth capacity by fiber optic link and collects 39MB of data every day. Therefore, as can be seen in the network diagram shown in FIG. 4 , a second server serving only to receive data replication along with Bandung can be added to Garut and Pasuruan, respectively.
도 6은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10)에 데이터가 저장되는 과정을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10)에서는, 먼저 계측기가 새 파일을 생성하고 계측기 단말(100)에 저장하면 데이터 감시자 서비스는 최신 데이터를 사이트 서버인 IPFS 노드(200)로 전송하기 위해 청구할 수 있다. 계측기 유형에 따라 사이트 서버(IPFS 노드(200))에서 데이터의 루트 디렉토리를 관찰하기 위해 데이터 수집기 감시자를 포함할 수 있다. 데이터 수집기 감시자는 데이터가 작성될 때마다 서버가 최신 파일을 IPFS 네트워크에 업로드하도록 할 수 있다. 이후 서버는 IPFS 노드(200)로서 데이터를 로컬 저장소에 객체로 저장하고 객체의 메타 데이터를 분산 해시 테이블(DHT)에 넣을 수 있다.
6 is a diagram illustrating a process of storing data in the space weather observation
한편, 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법에서는, 데이터의 흐름 및 노드 상태를 모니터링하기 위해 피어 리더에서 모니터링을 생성할 수 있다. 즉, 중앙 서버(210)는, 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하고, 모니터링 결과를 웹 인터페이스를 통해 제공할 수 있다.
Meanwhile, in the space weather observation
도 7은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법의 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법은, 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하는 단계(S10) 및 모니터링 결과를 웹 인터페이스를 통해 제공하는 단계(S20)를 포함하여 구현될 수 있다.
7 is a diagram illustrating a flow of a method for monitoring space weather observation data in an IPFS distributed storage environment according to an embodiment of the present invention. As shown in FIG. 7 , the method for monitoring space weather observation data in an IPFS distributed storage environment according to an embodiment of the present invention uses an active approach to monitor the actual state of a node and a passive approach to monitor data flow. It may be implemented including the step of performing monitoring (S10) and the step of providing the monitoring result through a web interface (S20).
단계 S10에서는, 중앙 서버(210)가 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행할 수 있다.
In step S10, the
단계 S20에서는, 중앙 서버(210)가 단계 S10에 따른, 노드의 실제 상태 및 데이터 흐름에 대한 모니터링 결과를 웹 인터페이스를 통해 제공할 수 있다. 여기서, 웹 인터페이스는, HTML, CSS 및 JS로 구성된 Bootstrap 3.3 프레임워크로 구현될 수 있다.
In step S20, the
도 8 및 도 9는 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법에서, 능동적 접근법을 이용한 노드 상태 모니터링의 세부적인 흐름을 도시한 도면이다. 도 8 및 도 9에 도시된 바와 같이, 중앙 서버(210)는, IPFS 네트워크에서 대상 노드 ID를 핑하는 단계(S110), 대상 노드가 온라인이면 응답을 수신하고, 대기 시간에 대한 왕복 시간(RTT)을 인쇄하는 단계(S120) 및 퐁 결과를 웹 페이지에 표시하는 단계(S130)을 수행하여, IPFS 노드(200)의 실제 상태를 모니터링할 수 있다.
8 and 9 are diagrams illustrating a detailed flow of node status monitoring using an active approach in a method for monitoring space weather observation data in an IPFS distributed storage environment according to an embodiment of the present invention. 8 and 9, the
즉, 중앙 서버(210)는, IPFS 네트워크에서 대상 노드 ID를 핑(ping)하여, 능동 모니터링에 접근할 수 있다(S110). 단계 S110은, 모든 노드에서 상태 정보를 얻기 위해 미리 정해진 시간(예를 들어, 1분)마다 실행될 수 있다. 이 핑은 ICMP 패킷을 대상 노드로 보내는 것이 아니라 몇 가지 추가 단계를 거쳐야 한다. 즉, 단계 S110은, 핑 명령이 실행되면 분산 해시 테이블(DHT)에서 대상 노드의 노드 ID를 찾고, 노드 ID를 이용해 대상 노드에 연결하는 단계(S111) 및 대상 노드에 ICMP 패킷을 전송하고 퐁 응답을 대기하는 단계(S112)를 포함할 수 있다.
That is, the
대상 노드가 오프라인인 경우 퐁은 오류를 생성할 수 있다. 대상 노드가 온라인이면 응답을 수신하고 최종적으로 대기 시간에 대한 왕복 시간(RTT)을 인쇄할 수 있다(S120). pong 결과는 JSON(JavaScript Object Notation) 파일로 구성되며 JQuery 함수에 의해 웹 페이지에 표시될 수 있다(S130). NodeJS는 HTTP 서버로 사용되었으며 색인 페이지는 20초마다 상태를 업데이트할 수 있다.
Pong may generate an error if the target node is offline. If the target node is online, it can receive a response and finally print the round-trip time (RTT) for the waiting time (S120). The pong result is composed of a JSON (JavaScript Object Notation) file and can be displayed on a web page by a JQuery function (S130). NodeJS was used as an HTTP server and the index page can update its state every 20 seconds.
도 10은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법에서, 수동적 접근법을 이용한 데이터 흐름 모니터링의 세부적인 흐름을 도시한 도면이다. 본 발명의 단계 S10에서, 수동적 접근법은, 계측기 단말(100)에서 생성된 우주 기상 관측 데이터가 IPFS 네트워크에 자동으로 업로드되는 과정에서 생성된 로그 파일을 이용해 데이터 흐름을 모니터링할 수 있다. 보다 구체적으로, 수동 접근 방식은 최신 파일이 계측기 단말(100)에서 사이트 서버(IPFS 노드(200))로 전송될 때마다 모니터링 하는 데이터 수집기 감시자(data collector watcher)를 사용할 수 있다. IPFS 노드(200)는 IPFS-클러스터를 통해 IPFS 네트워크에 파일을 자동으로 업로드 할 수 있다. 이 프로세스는 로그 파일을 생성할 수 있고, 수동적 접근법은 이러한 로그 파일을 이용해 데이터 흐름을 모니터링할 수 있다.
10 is a diagram illustrating a detailed flow of data flow monitoring using a passive approach in a space weather observation data monitoring method in an IPFS distributed storage environment according to an embodiment of the present invention. In step S10 of the present invention, the passive approach may monitor the data flow using a log file generated in the process of automatically uploading the space weather observation data generated by the
여기서, 로그 파일은, 파일 이름, 타임스탬프, 파일 크기, 블록 해시, 계측기 이름 및 총 크기를 포함하는 메타 데이터 파일 정보를 포함하며, 계측기 이름을 기반으로 할 수 있다. 로그 파일은, 데이터 흐름을 모니터링하기 위해, 모든 IPFS 노드(200)에서 중앙 서버(210)로 미리 정해진 시간 간격으로 전송될 수 있다. 즉, Rsync를 사용하여 1분마다 사이트와 중앙 서버(210)간에 모든 로그 파일을 추가로 동기화할 수 있다. 기본 서버의 업데이트 된 로그 파일은 HTTP를 통해 JQuery에 의해 검색되어 웹 인터페이스를 통해 표시될 수 있다.
Here, the log file includes metadata file information including a file name, timestamp, file size, block hash, instrument name, and total size, and may be based on the instrument name. The log file may be transmitted at predetermined time intervals from all
본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법의 구현을 위하여, BitSwap 프로토콜을 사용하여 파일과 노드 정보의 실제 위치를 가진 피어의 포인터를 저장하기 위해 노드와 분산 해시 테이블(DHT) 간에 블록을 교환하는 IPFS 네트워크를 구성할 수 있다. 이와 같은, IPFS 네트워크에서 업로드된 파일은 해시 함수와 기본 인코딩의 조합을 사용하여 고정 크기의 객체에 매핑될 수 있다. 객체는 블록이라고 하는 여러 청크로 구성될 수 있다. 이때, SHA256 해시 기능이 적용될 수 있으며, IPFS는 파일 청크를 위해 Rabin 지문 방법을 사용하기 때문에 각 블록의 크기를 최대 256KB로 만들 수 있다.
To implement the space weather observation
모니터링을 위해서는, Bootstrap 3.3 프레임 워크 및 JQuery로 구축된 웹 인터페이스를 구현할 수 있다. 웹 인터페이스는, 데이터 전송을 위해 NodeJS 버전 10.15.3을 HTTP 서버로 구현할 수 있다. 각 IPFS 노드(200)에는 계측기에 따라 여러 개의 로그 파일이 있다. 따라서 별도의 JQuery 함수는 해당 파일에서 데이터를 읽고 추출하는 데 사용될 수 있다.
For monitoring, a web interface built with Bootstrap 3.3 framework and JQuery can be implemented. The web interface can implement NodeJS version 10.15.3 as an HTTP server for data transfer. Each
도 11은 본 발명의 일실시예에 따른 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법에서, 웹 인터페이스로 제공되는 모니터링 화면을 예를 들어 도시한 도면이다. 도 11에서 IPFS 네트워크에 성공적으로 저장되고 다른 노드로 분배된 데이터에 대한 정보가 제공되는 모니터링 화면을 확인할 수 있다. 또한, 각 IPFS 노드(200)의 상태도 표시되어 관리자는 IPFS 노드(200)의 현재 상태를 판별할 수 있다. 로그 파일은 1분마다 자동으로 업데이트되고, 데이터 모니터링을 위해 모든 사이트에서 중앙 서버(210)로 로그가 전송될 수 있다. 한편, 노드 상태 모니터링의 경우 상태 정보는 핑 완료 후 중앙 서버(210)에서 생성된 파일에서 가져올 수 있다. 도 11에서 노드 2와 노드 3은 오프라인 상태로 인해 데이터 정보가 없는 노드 4와 달리 상태가 온라인이므로 데이터를 표시할 수 있다.
11 is a diagram illustrating, for example, a monitoring screen provided as a web interface in the space weather observation
전술한 바와 같이, 본 발명에서 제안하고 있는 IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10) 및 방법에 따르면, IPFS(Inter Planetary File System)를 사용하여 우주 기상 관측 데이터를 분산 저장함으로써, 피어 투 피어 연결을 통해 데이터를 노드로 분산시켜 데이터 가용성과 처리량을 증가시킬 수 있고, 단일 실패 지점이 없어 데이터를 더욱 원활하게 제공할 수 있으며, 각 노드로부터의 실시간 데이터 흐름과 노드 상태 정보를 모니터링하고, 모니터링 결과를 웹 인터페이스를 통해 제공함으로써, 관리자가 실행 중인 프로세스를 쉽게 관찰하고 대응할 수 있다.
As described above, according to the space weather observation
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.
10: 본 발명에 따른 모니터링 시스템
100: 계측기 단말
200: IPFS 노드
210: 중앙 서버
S10: 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하는 단계
S20: 모니터링 결과를 웹 인터페이스를 통해 제공하는 단계
S110: IPFS 네트워크에서 대상 노드 ID를 핑하는 단계
S111: 핑 명령이 실행되면 분산 해시 테이블(DHT)에서 대상 노드의 노드 ID를 찾고, 노드 ID를 이용해 대상 노드에 연결하는 단계
S112: 대상 노드에 ICMP 패킷을 전송하고 퐁 응답을 대기하는 단계
S120: 대상 노드가 온라인이면 응답을 수신하고, 대기 시간에 대한 왕복 시간(RTT)을 인쇄하는 단계
S130: 퐁 결과를 웹 페이지에 표시하는 단계10: Monitoring system according to the present invention
100: instrument terminal
200: IPFS node
210: central server
S10: performing monitoring using an active approach of monitoring the actual state of the node and a passive approach of monitoring the data flow
S20: Step of providing monitoring results through a web interface
S110: Ping the target node ID in IPFS network
S111: When the ping command is executed, the node ID of the target node is found in the distributed hash table (DHT), and the node ID is used to connect to the target node
S112: Sending an ICMP packet to the target node and waiting for a pong response
S120: If the target node is online, receiving a response, and printing the round-trip time (RTT) for the waiting time
S130: Step of displaying the pong result on a web page
Claims (20)
계측기와 연결되어, 우주 기상 관측 데이터를 생성하는 계측기 단말(100)(Instrument PC);
IPFS 네트워크로 상호 연결되며, 상기 계측기 단말(100)에서 생성된 우주 기상 관측 데이터를 상기 IPFS 네트워크에 분산 저장 및 배포하는 IPFS 노드(200); 및
상기 IPFS 네트워크를 구성하며, 피어 리더 역할을 하는 중앙 서버(210)를 포함하며,
상기 IPFS 네트워크에서는, 상기 IPFS 노드(200)들을 멤버로 하는 IPFS-클러스터를 구성하여 상기 우주 기상 관측 데이터를 분산 저장 및 제공하되, 상기 IPFS-클러스터 멤버인 IPFS 노드(200)에 대해서만 파일 배포를 하며,
상기 중앙 서버(210)는, 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하고, 모니터링 결과를 웹 인터페이스를 통해 제공하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).A space weather observation data monitoring system (10) in an IPFS distributed storage environment for Indonesia space weather observation data, comprising:
It is connected to the instrument, the instrument terminal 100 (Instrument PC) for generating space weather observation data;
an IPFS node (200) interconnected by an IPFS network and distributing, storing and distributing space weather observation data generated by the instrument terminal (100) to the IPFS network; and
It comprises a central server 210 constituting the IPFS network and serving as a peer leader,
In the IPFS network, an IPFS-cluster having the IPFS nodes 200 as members is configured to distribute and store and provide the space weather observation data, but file distribution is performed only to the IPFS nodes 200, which are members of the IPFS-cluster, ,
The central server 210 performs monitoring using an active approach for monitoring the actual state of a node and a passive approach for monitoring data flow, and provides monitoring results through a web interface, IPFS distributed storage Space weather observation data monitoring system (10) in the environment.
상기 중앙 서버(210)는 반둥 노드이며,
상기 IPFS 네트워크는, 인도네시아 우주 기상 관측 데이터의 실시간 제공을 위해, 상기 계측기 단말(100)과의 연결 없이 새 파일이 생성될 때마다 복제를 통해 모든 파일을 수집하는 서버로서, Garut 노드 및 Pasuruan 노드를 더 포함하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).According to claim 1,
The central server 210 is a Bandung node,
The IPFS network is a server that collects all files through duplication whenever a new file is created without connection with the instrument terminal 100 to provide real-time Indonesian space weather observation data, a Garut node and a Pasuruan node. Space weather observation data monitoring system (10) in the IPFS distributed storage environment, characterized in that it further comprises.
핑 프로세스를 통해 ICMP 패킷을 전송하여 노드의 실제 상태를 결정하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).The method of claim 1 , wherein the active approach comprises:
A space weather observation data monitoring system (10) in an IPFS distributed storage environment, characterized in that it determines the actual state of a node by sending an ICMP packet through a ping process.
(1) 상기 IPFS 네트워크에서 대상 노드 ID를 핑(ping)하는 단계;
(2) 상기 대상 노드가 온라인이면 응답을 수신하고, 대기 시간에 대한 왕복 시간(RTT)을 인쇄하는 단계; 및
(3) 퐁 결과를 웹 페이지에 표시하는 단계를 포함하는 능동적 접근법을 이용해 노드의 실제 상태를 모니터링하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).According to claim 3, The central server 210,
(1) pinging a target node ID in the IPFS network;
(2) receiving a response if the target node is online, and printing a round trip time (RTT) for the waiting time; and
(3) A space weather observation data monitoring system (10) in an IPFS distributed storage environment, characterized in that monitoring the actual state of the node using an active approach including the step of displaying the Pong result on a web page.
(1-1) 핑 명령이 실행되면 분산 해시 테이블(DHT)에서 대상 노드의 노드 ID를 찾고, 상기 노드 ID를 이용해 상기 대상 노드에 연결하는 단계; 및
(1-2) 상기 대상 노드에 ICMP 패킷을 전송하고 퐁 응답을 대기하는 단계를 포함하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).According to claim 4, wherein the step (1),
(1-1) when a ping command is executed, finding a node ID of a target node in a distributed hash table (DHT), and connecting to the target node using the node ID; and
(1-2) Transmitting an ICMP packet to the target node and waiting for a Pong response, a space weather observation data monitoring system in an IPFS distributed storage environment (10).
모든 노드에서 상태 정보를 얻기 위해, 미리 정해진 시간마다 실행되는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).According to claim 4, wherein the step (1),
Space weather observation data monitoring system (10) in an IPFS distributed storage environment, characterized in that it is executed at a predetermined time to obtain status information from all nodes.
상기 계측기 단말(100)에서 생성된 우주 기상 관측 데이터가 IPFS 네트워크에 자동으로 업로드되는 과정에서 생성된 로그 파일을 이용해 데이터 흐름을 모니터링하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).The method of claim 1 , wherein the passive approach comprises:
Space weather observation data monitoring in an IPFS distributed storage environment, characterized in that the data flow is monitored using a log file generated in the process in which the space weather observation data generated by the instrument terminal 100 is automatically uploaded to the IPFS network system (10).
파일 이름, 타임스탬프, 파일 크기, 블록 해시, 계측기 이름 및 총 크기를 포함하는 메타 데이터 파일 정보를 포함하며, 계측기 이름을 기반으로 하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).The method of claim 7, wherein the log file,
Space weather observation data monitoring in an IPFS distributed storage environment, characterized based on the instrument name, containing metadata file information including file name, timestamp, file size, block hash, instrument name and total size system (10).
데이터 흐름을 모니터링하기 위해, 모든 IPFS 노드(200)에서 상기 중앙 서버(210)로 미리 정해진 시간 간격으로 전송되는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).The method of claim 7, wherein the log file,
Space weather observation data monitoring system (10) in an IPFS distributed storage environment, characterized in that it is transmitted at predetermined time intervals from all IPFS nodes (200) to the central server (210) in order to monitor the data flow.
HTML, CSS 및 JS로 구성된 Bootstrap 3.3 프레임워크로 구현된 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 시스템(10).According to claim 1, wherein the web interface,
A space weather observation data monitoring system (10) in an IPFS distributed storage environment, characterized in that it is implemented with the Bootstrap 3.3 framework composed of HTML, CSS and JS.
계측기와 연결되어, 우주 기상 관측 데이터를 생성하는 계측기 단말(100)(Instrument PC);
IPFS 네트워크로 상호 연결되며, 상기 계측기 단말(100)에서 생성된 우주 기상 관측 데이터를 상기 IPFS 네트워크에 분산 저장 및 배포하는 IPFS 노드(200); 및
상기 IPFS 네트워크를 구성하며, 피어 리더 역할을 하는 중앙 서버(210)를 포함하는 모니터링 시스템(10)에서,
상기 IPFS 네트워크에서는, 상기 IPFS 노드(200)들을 멤버로 하는 IPFS-클러스터를 구성하여 상기 우주 기상 관측 데이터를 분산 저장 및 제공하되, 상기 IPFS-클러스터 멤버인 IPFS 노드(200)에 대해서만 파일 배포를 하며,
상기 중앙 서버(210)는,
(A) 노드의 실제 상태를 모니터링하는 능동적 접근법 및 데이터 흐름을 모니터링하는 수동적 접근법을 이용하여 모니터링을 수행하는 단계; 및
(B) 상기 단계 (A)에 따른, 노드의 실제 상태 및 데이터 흐름에 대한 모니터링 결과를 웹 인터페이스를 통해 제공하는 단계를 수행하여 모니터링을 하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.A method for monitoring space weather observation data in an IPFS distributed storage environment for Indonesia space weather observation data, the method comprising:
It is connected to the instrument, the instrument terminal 100 (Instrument PC) for generating space weather observation data;
an IPFS node (200) interconnected by an IPFS network and distributing, storing and distributing space weather observation data generated by the instrument terminal (100) to the IPFS network; and
In the monitoring system 10 constituting the IPFS network and including a central server 210 serving as a peer leader,
In the IPFS network, an IPFS-cluster having the IPFS nodes 200 as members is configured to distribute and store and provide the space weather observation data, but only the IPFS node 200, which is a member of the IPFS-cluster, distributes files. ,
The central server 210,
(A) performing monitoring using an active approach of monitoring the actual state of the node and a passive approach of monitoring data flow; and
(B) Space weather observation in an IPFS distributed storage environment, characterized in that the monitoring is performed by performing the step of providing monitoring results on the actual state and data flow of the node through a web interface according to step (A) How to monitor data.
상기 중앙 서버(210)는 반둥 노드이며,
상기 IPFS 네트워크는, 인도네시아 우주 기상 관측 데이터의 실시간 제공을 위해, 상기 계측기 단말(100)과의 연결 없이 새 파일이 생성될 때마다 복제를 통해 모든 파일을 수집하는 서버로서, Garut 노드 및 Pasuruan 노드를 더 포함하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.12. The method of claim 11,
The central server 210 is a Bandung node,
The IPFS network is a server that collects all files through duplication whenever a new file is created without connection with the instrument terminal 100 to provide real-time Indonesian space weather observation data, a Garut node and a Pasuruan node. Space weather observation data monitoring method in the IPFS distributed storage environment, characterized in that it further comprises.
핑 프로세스를 통해 ICMP 패킷을 전송하여 노드의 실제 상태를 결정하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.12. The method of claim 11, wherein the active approach of step (A) comprises:
A method for monitoring space weather observation data in an IPFS distributed storage environment, characterized in that it determines the actual state of a node by sending an ICMP packet through a ping process.
(1) 상기 IPFS 네트워크에서 대상 노드 ID를 핑(ping)하는 단계; 및
(2) 상기 대상 노드가 온라인이면 응답을 수신하고, 대기 시간에 대한 왕복 시간(RTT)을 인쇄하는 단계를 포함하는 능동적 접근법을 이용해 노드의 실제 상태를 모니터링하며,
상기 단계 (B)에서는, 퐁 결과를 웹 페이지에 표시하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.According to claim 13, wherein the step (A),
(1) pinging a target node ID in the IPFS network; and
(2) receiving a response if the target node is online, and monitoring the actual state of the node using an active approach comprising the steps of printing a round trip time (RTT) to latency;
In the step (B), a method for monitoring space weather observation data in an IPFS distributed storage environment, characterized in that the Pong result is displayed on a web page.
(1-1) 핑 명령이 실행되면 분산 해시 테이블(DHT)에서 대상 노드의 노드 ID를 찾고, 상기 노드 ID를 이용해 상기 대상 노드에 연결하는 단계; 및
(1-2) 상기 대상 노드에 ICMP 패킷을 전송하고 퐁 응답을 대기하는 단계를 포함하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.15. The method of claim 14, wherein step (1) comprises:
(1-1) when a ping command is executed, finding a node ID of a target node in a distributed hash table (DHT), and connecting to the target node using the node ID; and
(1-2) A method for monitoring space weather observation data in an IPFS distributed storage environment, comprising: transmitting an ICMP packet to the target node and waiting for a Pong response.
모든 노드에서 상태 정보를 얻기 위해, 미리 정해진 시간마다 실행되는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.The method of claim 15, wherein step (1) comprises:
A method for monitoring space weather observation data in an IPFS distributed storage environment, characterized in that it is executed at a predetermined time in order to obtain status information from all nodes.
상기 계측기 단말(100)에서 생성된 우주 기상 관측 데이터가 IPFS 네트워크에 자동으로 업로드되는 과정에서 생성된 로그 파일을 이용해 데이터 흐름을 모니터링하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.12. The method of claim 11, wherein the passive approach of step (A) comprises:
Space weather observation data monitoring in an IPFS distributed storage environment, characterized in that the data flow is monitored using a log file generated in the process in which the space weather observation data generated by the instrument terminal 100 is automatically uploaded to the IPFS network Way.
파일 이름, 타임스탬프, 파일 크기, 블록 해시, 계측기 이름 및 총 크기를 포함하는 메타 데이터 파일 정보를 포함하며, 계측기 이름을 기반으로 하는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.The method of claim 17, wherein the log file,
Space weather observation data monitoring in an IPFS distributed storage environment, characterized based on the instrument name, containing metadata file information including file name, timestamp, file size, block hash, instrument name and total size Way.
데이터 흐름을 모니터링하기 위해, 모든 IPFS 노드(200)에서 상기 중앙 서버(210)로 미리 정해진 시간 간격으로 전송되는 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.The method of claim 17, wherein the log file,
Space weather observation data monitoring method in an IPFS distributed storage environment, characterized in that it is transmitted at predetermined time intervals from all IPFS nodes (200) to the central server (210) in order to monitor the data flow.
HTML, CSS 및 JS로 구성된 Bootstrap 3.3 프레임워크로 구현된 것을 특징으로 하는, IPFS 분산 스토리지 환경에서의 우주 기상 관측 데이터 모니터링 방법.The method of claim 11, wherein the web interface,
A method for monitoring space weather observation data in an IPFS distributed storage environment, characterized in that it is implemented with the Bootstrap 3.3 framework composed of HTML, CSS and JS.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190124053A KR102338265B1 (en) | 2019-10-07 | 2019-10-07 | Monitoring system and method for space weather observation data in ipfs decentralized storage environment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190124053A KR102338265B1 (en) | 2019-10-07 | 2019-10-07 | Monitoring system and method for space weather observation data in ipfs decentralized storage environment |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210041392A KR20210041392A (en) | 2021-04-15 |
KR102338265B1 true KR102338265B1 (en) | 2021-12-09 |
Family
ID=75440879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190124053A KR102338265B1 (en) | 2019-10-07 | 2019-10-07 | Monitoring system and method for space weather observation data in ipfs decentralized storage environment |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102338265B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113448937A (en) * | 2021-07-08 | 2021-09-28 | 山东中科好靓科技有限公司 | Data transmission method based on ARM micro server |
CN113434093B (en) * | 2021-07-08 | 2023-12-01 | 山东中科好靓基础软件技术有限公司 | IPFS data storage method capable of effectively improving storage capacity |
CN113835642A (en) * | 2021-09-29 | 2021-12-24 | 浪潮卓数大数据产业发展有限公司 | Distributed storage network construction method based on IPFS and distributed storage network |
CN118612728A (en) * | 2024-05-14 | 2024-09-06 | 杭州电子科技大学 | Space-sky integrated data controllable sharing method and system based on deep reinforcement learning |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020129134A1 (en) | 2000-05-26 | 2002-09-12 | Leighton F. Thomson | Global load balancing across mirrored data centers |
CN109241161A (en) | 2018-08-09 | 2019-01-18 | 深圳市雅码科技有限公司 | A kind of meteorological data management method |
CN109344156A (en) | 2018-09-03 | 2019-02-15 | 中国农业大学 | Magnanimity multi-source meteorological measuring distributed storage method and device |
KR101962288B1 (en) | 2018-12-31 | 2019-03-26 | 주식회사 미탭스플러스 | Apparatus for Sharing Economy using Blockchain |
-
2019
- 2019-10-07 KR KR1020190124053A patent/KR102338265B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020129134A1 (en) | 2000-05-26 | 2002-09-12 | Leighton F. Thomson | Global load balancing across mirrored data centers |
CN109241161A (en) | 2018-08-09 | 2019-01-18 | 深圳市雅码科技有限公司 | A kind of meteorological data management method |
CN109344156A (en) | 2018-09-03 | 2019-02-15 | 中国农业大学 | Magnanimity multi-source meteorological measuring distributed storage method and device |
KR101962288B1 (en) | 2018-12-31 | 2019-03-26 | 주식회사 미탭스플러스 | Apparatus for Sharing Economy using Blockchain |
Also Published As
Publication number | Publication date |
---|---|
KR20210041392A (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102338265B1 (en) | Monitoring system and method for space weather observation data in ipfs decentralized storage environment | |
US9992274B2 (en) | Parallel I/O write processing for use in clustered file systems having cache storage | |
US10657108B2 (en) | Parallel I/O read processing for use in clustered file systems having cache storage | |
US11818209B2 (en) | State management and object storage in a distributed cloud computing network | |
Confais et al. | Performance analysis of object store systems in a fog and edge computing infrastructure | |
US20060190602A1 (en) | Monitoring for replica placement and request distribution | |
CN107734026A (en) | A kind of design method, device and the equipment of network attached storage cluster | |
US20190014161A1 (en) | Downloading of server-based content through peer-to-peer networks | |
US20130007253A1 (en) | Method, system and corresponding device for load balancing | |
KR20040103980A (en) | Method For Implementing Content Delivery Network (CDN) Internetworking, Respective Networks And Interface Component | |
Chang et al. | Write-aware replica placement for cloud computing | |
CN115733848A (en) | Data distributed storage management system facing edge equipment | |
US9544371B1 (en) | Method to discover multiple paths to disk devices cluster wide | |
CN118227050A (en) | Data storage method and device | |
US20130159547A1 (en) | Data transfer system | |
JP2007207013A (en) | Information processor and information sharing program | |
US20240176762A1 (en) | Geographically dispersed hybrid cloud cluster | |
Burkard | Herodotus: A peer-to-peer web archival system | |
Liu et al. | Software‐Defined Edge Cloud Framework for Resilient Multitenant Applications | |
Chandrasekaran et al. | CASE: A context-aware storage placement and retrieval ecosystem | |
Lin et al. | A Programmable and Reliable Publish/Subscribe System for Multi-Tier IoT | |
KR20090001571A (en) | Contents delivery system and method for randomly delivering contents blocks in parallel | |
Tiago | Telecommunications and Informatics Engineering | |
Chillamcherla | On High Performance Cloud Based File Synchronization with User Collaboration | |
CN116546019A (en) | Traffic management method, device, equipment and medium based on service grid |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |