KR102104369B1

KR102104369B1 - 자원 최적화 기능을 구비한 수재해 통합 분석 장치

Info

Publication number: KR102104369B1
Application number: KR1020180167531A
Authority: KR
Inventors: 계창우; 신대규; 이종혁
Original assignee: (주)에스이랩
Priority date: 2018-12-21
Filing date: 2018-12-21
Publication date: 2020-04-27

Abstract

독립적으로 운영되던 다양한 수재해 관련 알고리즘을 모듈화하여 통합 구성하고 이러한 알고리즘 모듈의 중복 수행을 줄이고 산출 자료를 적절히 처리하여 불필요한 자원 낭비를 방지하도록 한 자원 최적화 기능을 구비한 수재해 통합 분석 장치에 관한 것으로서, 수재해 분석을 위해 다양하게 수집되는 방대한 관측 자료들을 교차 사용하는 복수의 알고리즘 모듈들을 통합하여 연계 분석을 수행할 수 있도록 하는 플렛폼 시스템을 구성할 경우 각 알고리즘 모듈들에 포함된 전처리들 중 중복되는 것을 별도로 수행하도록 하여 부하를 줄이고, 각 알고리즘 모듈의 동작 중 발생된 중간 산출물을 선별 제거하며 최종적으로 얻어진 산출 결과는 그 데이터를 이진화하여 유연성이 높은 이미지 파일 포맷 형태를 빌어 압축 저장함으로써 시스템 자원 및 저장 공간의 사용 효율을 높이고, 증설 시점을 늦추면서 운영 비용을 줄일 수 있는 효과가 있음과 아울러 오류를 줄일 수 있는 효과가 있다.

Description

자원 최적화 기능을 구비한 수재해 통합 분석 장치{Integrated analyzing apparatus for water disaster with resource optimizing function}

본 발명은 자원 최적화 기능을 구비한 수재해 통합 분석 장치에 관한 것으로서, 더욱 상세히는 독립적으로 운영되던 다양한 수재해 관련 알고리즘을 모듈화하여 통합 구성하고 이러한 알고리즘 모듈의 중복 수행을 줄이고 산출 자료를 적절히 처리하여 불필요한 자원 낭비를 방지하도록 한 자원 최적화 기능을 구비한 수재해 통합 분석 장치에 관한 것이다.

다양한 국가 기관과 연구 기관에서 기상 정보와 위성 정보 및 지리 정보를 토대로 수재해에 대한 분석과 예보를 수행하고 있다.

이러한 각 기관들의 연구자들은 각자 자신의 알고리즘을 개발하고 이를 지속적으로 개선하면서 그 결과를 분석하고 공유하는 등 수재해에 대한 피해를 방지하고 보다 정확한 예측과 파급 효과를 분석하고 있다.

이러한 기관들 중에서 일부 기관은 독자적이거나 복수의 기관이 모여서 기 개발된 여러 종류의 알고리즘들을 단일 알고리즘 서버에 구축한 후 복수의 알고리즘을 통해 산출되는 정보들을 수집하고, 여러 알고리즘을 통해 얻어진 결과를 다른 알고리즘을 통해 분석하는 등 분석 성능을 개선하기 위해 노력하고 있다.

하지만, 이러한 기존 재해 알고리즘 통합 구성의 경우 개별 알고리즘을 통합하여 구성한 후 상호작용을 하는 것에만 초점이 맞추어져 있어 복합적 분석은 가능하지만, 중복 처리되는 데이터나 중복 수행되는 자료 처리 과정이 많아 자원의 낭비가 심하고 연산 속도가 느리며, 각 알고리즘 간의 상호 연계성이 부족하여 이들을 연계하기 위한 구성이 복잡한 실정이다. 또한, 여러 기관의 알고리즘들이 통합되는 경우 기관이나 연구자별로 상이한 자료처리 방식에 의해 이를 통합하기 위한 자료처리 시스템의 복잡도가 높아지며 이러한 복잡도에 의해서 일정 수준 이상이 되면 모니터링이나 효율화가 어려운 문제가 발생하게 된다.

도 1은 종래 통합 분석 시스템의 구성예를 보인 것이다.

다양한 종류의 관측 자료 제공부(10)가 제공하는 자료들을 알고리즘 서버(20)에 포함된 복수의 알고리즘 처리부가 수신하여 처리하는 구성으로서, 관측 자료 제공부(10)는 자체 수집 관측 자료와 외부 서버에서 제공하는 관측 자료를 수집하여 알고리즘 서버(20)에서 요청할 경우 제공하며, 알고리즘 서버(20)에는 복수의 알고리즘 처리부가 구성되는데, 각 알고리즘 처리부는 관측 자료를 수집하여 전처리하는 구성들과 알고리즘 실행 후 이들을 다른 알고리즘에서 사용할 수 있는 다양한 결과로 산출 결과를 제공하는 구성들을 각각 개별적으로 구비하고 있다.

이와 같이 각각의 알고리즘 처리부는 그 개발 기관이나 연구자들마다 그 구성이 상이할 수 있으며, 이러한 상이한 기관이나 연구자들은 각각 자신만의 자료처리 방식을 사용하며, 연구자라는 집단의 특성 상 높은 소프트웨어 개발 수준을 요구하는 효율적 산출 정보 생성에 시간과 노력을 기울이기 보다는 연구와 분석에 필요한 정보들 자체에만 관심이 있어 자료 관리 효율이 낮더라도 가급적 간단한 방식으로 산출 결과를 출력하는 구성을 사용하고 있다. 따라서, 알고리즘 별로 자료 처리 방식이 다를 수 있고, 산출 자료 역시 정보만 나열되는 방식이어서 통합적인 자료 처리나 알고리즘 간 자료 연계 등이 쉽지 않다.

나아가, 이러한 알고리즘 서버의 구성을 확장하여 다양한 기관과 연구자들의 개발 알고리즘을 통합 구성하고, 이들간의 연계를 통해 분석 결과를 융합하거나 복수의 알고리즘 산출물을 입력으로 이용하는 분석 알고리즘들을 구성할 경우 이러한 알고리즘의 통합과 입출력 자료의 표준화, 각 알고리즘의 처리 상황 모니터링, 다단계 분석을 위한 입력자료와 산출자료의 일자나 버전 확인 등을 지원하기 위한 구성이 대단히 복잡해지게 된다.

따라서, 처음부터 통합 시스템에 대한 표준 구성을 마련하고, 다양한 기관이나 연구자가 개발 알고리즘을 해당 시스템을 위한 것으로 모듈화하면서 표준 입출력을 사용하거나 적어도 표준 입출력으로 용이하게 변환될 수 있는 방식의 입출력을 사용하도록 하며, 알고리즘 수행 프로그램 소스 역시 통합 관리를 위해 표준화된 개발 언어 들로 통일하기 위해 포팅하는 과정을 거치도록 함으로써 전체적인 시스템을 재해 분석에 적합한 개방형 플랫폼 형식으로 구성할 수 있다.

도 2는 이러한 방식의 예로서 수재해 분석 플랫폼의 개념도를 보인 것이다. 도시된 바와 같이 수재해에 관련된 분석을 위한 다양한 알고리즘들을 모듈화하여 구성하고, 표준화 자료 포맷 변환 구성과 데이터 분산 관리 구성을 갖춘 자료 처리 시스템(100)과 이러한 자료 처리 시스템(100)과 연동하여 자료 처리 시스템(100)에서 분석된 산출물들을 수신하여 이를 종류별로 구분한 후 다양한 용도로 활용할 수 있도록 하는 자료 통합 관리 시스템(200)으로 구성된다.

비록 도시된 개념적 구성은 단순해 보이지만 실질적으로 다양한 개별 연구자들이 고유하게 개발한 알고리즘을 효율적으로 모듈화하는 것도 어렵고, 이러한 개발 알고리즘의 개선이나 연구 단계에서 지속적인 변형이 발생할 수 있으며, 특히, 여러 알고리즘들이 상호 입출력을 참조하면서 연계되어 수행되어야 하는 경우에 대한 관리도 쉽지 않은 실정이다. 나아가, 이러한 각 알고리즘 모듈들은 실질적인 핵심 처리 구성 외에도 이러한 핵심 처리를 위해 수집 기상 정보를 전처리하는 구성들도 다수 존재하므로 이러한 전처리 중복에 따른 연산과 저장공간, 전력 및 시간에 대한 낭비 문제가 발생하는 등 효율화 부분에서는 개선되어야 하는 부분이 다수 존재하는 실정이다.

결국, 기존 통합 방재 시스템이나 기존의 통합 재해 분석 시스템들은 다양한 환경 정보를 통합적으로 분석하여 그 결과를 산출한 후 이를 통해 다양한 정보를 활용하여 재해에 대응하는 것을 목적으로 하였지만, 이를 실질적으로 구현하기 위한 통합 시스템 자체의 특정에 맞는 최적화나 효율성 증대에 대한 연구는 미진한 상황이다.

예컨대 수재해 분석을 위한 통합 시스템의 경우 십여가지의 알고리즘을 통합하여 구성하더라도 수백개의 분산처리 연산 코어가 필요하고, 수십~수백 테라바이트급 저장공간이 필요한 상황이다. 나아가, 이들 중 하나의 알고리즘이 수행되는 과정에서 중간 산출물로 수십 기가바이트의 저장 공간이 필요할 뿐만 아니라 수백개의 연산 코어가 할당되어야 하며, 이러한 각 알고리즘들이 연동되기 위해 다른 알고리즘의 수행 상황을 지속적으로 확인하는 과정에서 많은 시스템 자원들이 낭비되고 있는 실정이므로 더 많고 복잡한 알고리즘들이 탑재될 것이 예상되는 환경에서 이러한 각 알고리즘 모듈의 연동이나 성능 개선을 위한 시스템 효율화가 절실한 상황이다.

한국공개특허 제10-2014-0110566호 [화산재해 대응 통합 플랫폼 아키텍쳐 시스템] 한국 등록특허 제10-1219176호 [재난 방지용 통합관리 제어 시스템]

전술한 문제점을 해결하기 위한 본 발명의 목적은 수재해 분석을 위해 다양하게 수집되는 방대한 관측 자료들을 교차 사용하는 복수의 알고리즘 모듈들을 통합하여 연계 분석을 수행할 수 있도록 하는 플렛폼 시스템을 구성할 경우 각 알고리즘 모듈들에 포함된 전처리들 중 중복되는 것을 별도로 수행하도록 하여 부하를 줄이고, 각 알고리즘 모듈의 동작 중 발생된 중간 산출물을 선별 제거하며, 최종적으로 얻어진 산출 결과는 그 데이터를 이진화하여 유연성이 높은 이미지 파일 포맷 형태를 빌어 압축 저장함으로써 필요한 데이터 저장 용량을 획기적으로 줄일 수 있도록 한 자원 최적화 기능을 구비한 수재해 통합 분석 장치를 제공하는 것이다.

본 발명의 다른 목적은 수재해 분석을 위한 알고리즘 모듈의 산출 자료가 대부분 이차원 배열 형태를 아스키 파일로 저장한 경우가 많으므로 해당 산출 자료의 이차원 배열을 태그 확장이 가능한 TIFF 파일 포맷의 규격을 활용하여 수재해 통합 분석 장치를 위한 태그를 구성한 후 그에 맞추어 이미지 저장 영역에 이차원 정보를 저장하도록 함으로써 랜덤 억세스가 가능하면서 파일의 크기를 수십분의 1로 줄일 수 있도록 한 자원 최적화 기능을 구비한 수재해 통합 분석 장치를 제공하는 것이다.

본 발명의 실시예에 따른 자원 최적화 기능을 구비한 수재해 통합 분석 장치는 자료제공 서버로부터 제공되는 관측 자료를 수집하여 표준화된 입력자료 형태로 변환하고 산출결과를 표준화하여 출력하되 본 시스템에서만 사용되는 형식으로 이미지 파일 포맷을 빌어 산출결과를 변환하는 자료처리 표준화부와; 수재해 분석을 위해 독립적으로 동작하거나 연계하여 동작하여 산출결과를 제공하는 복수의 알고리즘 모듈이 포함된 알고리즘 모듈부와; 자료처리 표준화부가 제공하는 관측 자료 중 복수의 알고리즘 모듈에서 공통적으로 사용되는 전처리 과정을 수행하여 관련 알고리즘 모듈에 제공하고, 각 알고리즘 모듈의 산출자료에 대한 생성 시간을 별도의 시간정보로 저장하며, 알고리즘 모듈의 산출자료 생성에 따라 중간 산출물을 제거하는 알고리즘 수행부를 포함한다.

일례로서, 자료처리 표준화부는 산출 결과에서 미사용 변수를 제거하는 미사용 변수 제거부와, 산출자료가 이차원 배열 구조인 경우 이를 이진화한 후 이미지 파일 포맷의 구조를 빌어서 데이터 저장을 위한 이미지 파일르 변환하는 산출물 변환부를 포함할 수 있다.

일례로서, 산출물 변환부는 이차원 배열 구조 저장을 위해 새롭게 마련한 태그가 포함된 이미지 파일 디렉토리(IDF) 및 이미지 데이터 영역으로 정의되는 TIFF 파일 포맷을 이용하여 해당 이진화된 산출 자료를 저장하여 산출자료를 데이터 저장용 TIFF 포맷으로 변환할 수 있다.

일례로서, 알고리즘 수행부는 알고리즘 모듈 수행시 생성되는 중간 산출물과 산출 자료를 저장하는 산출 데이터 저장부와; 자료 처리 표준화부에서 제공되는 입력자료를 이용하여 복수의 알고리즘 모듈에서 공통적으로 필요로하는 전처리를 수행하여 전처리 산출자료를 산출 데이터 저장부에 저장하는 통합 전처리부와; 각 알고리즘 모듈의 산출 결과 생성 시간 정보를 저장하는 시간 정보 저장부와; 시간 정보 저장부를 통해 알고리즘 모듈의 산출 결과 생성을 파악하고 해당 알고리즘 모듈이 생성한 중간 산출물을 상기 산출 데이터 저장부에서 제거하는 중간 산출물 제거부를 포함할 수 있다.

일례로서, 알고리즘 모듈은 수행에 따른 중간 산출물과 산출 결과를 구분하여 산출 데이터 저장부에 저장하고, 산출 결과를 생성한 시간을 상기 시간 정보 저장부에 등록할 수 있다.

일례로서, 알고리즘 모듈은 연계되는 이전 알고리즘 모듈의 산출 결과 생성 여부를 상기 시간 정보 저장부에 등록된 산출 결과 생성 시간을 통해 확인할 수 있다.

본 발명의 실시예에 따른 자원 최적화 기능을 구비한 수재해 통합 분석 장치는 수재해 분석을 위해 다양하게 수집되는 방대한 관측 자료들을 교차 사용하는 복수의 알고리즘 모듈들을 통합하여 연계 분석을 수행할 수 있도록 하는 플렛폼 시스템을 구성할 경우 각 알고리즘 모듈들에 포함된 전처리들 중 중복되는 것을 별도로 수행하도록 하여 부하를 줄이고, 각 알고리즘 모듈의 동작 중 발생된 중간 산출물을 선별 제거하며 최종적으로 얻어진 산출 결과는 그 데이터를 이진화하여 유연성이 높은 이미지 파일 포맷 형태를 빌어 압축 저장함으로써 시스템 자원 및 저장 공간의 사용 효율을 높이고, 증설 시점을 늦추면서 운영 비용을 줄일 수 있는 효과가 있음과 아울러 오류를 줄일 수 있는 효과가 있다.

특히, 수재해 분석을 위한 알고리즘 모듈의 산출 자료가 대부분 이차원 배열 형태를 아스키 파일로 저장한 경우가 많으므로 해당 산출 자료의 이차원 배열을 태그 확장이 가능한 TIFF 파일 포맷의 규격을 활용하여 수재해 통합 분석 장치를 위한 태그를 구성한 후 그에 맞추어 이미지 저장 영역에 이차원 정보를 저장하도록 함으로써 랜덤 억세스가 가능하면서 파일의 크기를 수십분의 1로 줄일 수 있어 저장 공간 효율과 자료 입출력 효율을 크게 높일 수 있는 효과가 있다.

도 1은 종래 수재해 통합 분석 시스템의 구성예를 보인 것이다.
도 2는 개선된 수재해 분석 플랫폼의 개념도를 보인 것이다.
도 3은 본 발명의 실시예에 따른 수재해 분석 플랫폼의 수재해 통합 자료 처리 장치의 구성을 보인 것이다.
도 4는 본 발명의 실시예에 따른 수재해 통합 자료 처리 장치를 이용한 융합 분석 결과의 예시를 보인 것이다.
도 5는 본 발명의 실시예에 따른 수재해 통합 자료 처리 장치의 산출물 종류를 보인 예시도이다.
도 6은 본 발명의 실시예에 따른 수재해 통합 자료 처리 장치의 구성을 보인 것이다.
도 7은 본 발명의 실시예에 따른 수재해 통합 자료 처리 장치용 데이터 저장 규격으로 사용할 TIFF의 확장성을 설명하기 위한 개념도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

특히, 이하 본 발명의 실시예에서 설명하는 수재해 통합 자료 처리 장치는 단일 서버에 구성되는 것일 수 있으나, 메인 서버와 복수의 연동되는 병렬 연산부로 구성될 수 있으며, 입력자료와 산출자료를 임시 저장하기 위한 대용량 저장부를 포함할 수 있다. 예시적으로 본 발명의 실시예에서 언급되는 알고리즘 모듈부를 포함하는 알고리즘 수행부는 리눅스 서버에 구성되며, 필요시 연산량 증가를 위한 복수의 병렬 컴퓨터를 포함하여 구성될 수 있다.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.

도 3은 본 발명의 실시예에 따른 수재해 분석 플랫폼의 수재해 통합 자료 처리 장치의 구성을 보인 것이다. 도시된 바와 같이 자료 제공 서버(50)는 관측 자료를 수집하여 제공하는 것으로, 수재해에 관련된 레이더 관측 자료, 자동기상 관측 장비(Automatic Weather Station:AWS), 종관기상관측장비(Automated Surface Observing System:ASOS), 각종 위성 관측 자료, 지리 관측 자료 등을 수집한 후 적절한 시점에 이러한 자료들을 수재해 통합 자료 처리 장치(300)에 제공한다.

수재해 통합 자료 처리 장치(300)는 도시된 바와 같이 크게 자료 처리 표준화부(310), 알고리즘 모듈부(330)를 포함하는 알고리즘 수행부(320) 및 알고리즘 수행부(320)를 통해 적절한 알고리즘 모듈 조합으로 원하는 결과를 원하는 시점에 대해 얻기 위한 수재해 분석 수행 시나리오를 설정 및 실행시키는 수재해 분석 수행 시나리오 관리부(340)를 포함한다. 나아가 산출된 자료를 표준화하여 저장하는 데이터베이스(390)를 내부 혹은 외부에 구비할 수 있다.

이러한 알고리즘 모듈부(330)의 알고리즘 모듈(331)은 레이더 자료 분석, 강수 산출, 하도별 유출량 산출, 도시 유출 해석 등과 같은 도시 홍수를 위한 알고리즘, 복수의 홍수 범람 지역 탐지와 위성 자료 기반 침수지 산출을 포함하는 광역 홍수 관련 알고리즘, 증발량 산출, 토양 수분 산출, 토양 수분 보정 등의 수문 정보 알고리즘, 토양 수분 기반 가뭄지수 산출, 농업적 가뭄지수 산출, 통계기반 중장기 예측, 단기 예측 등의 가뭄 정보 알고리즘, 다양한 북한 수계 관련 분석 알고리즘, 하천 건천화 알고리즘 등이 포함될 수 있다.

도시된 자료처리 표준화부(310)는 자료제공 서버(50)로부터 제공되는 관측 자료를 수집하여 표준화된 입력자료 형태로 변환하고 알고리즘 수행부(320)를 통해 얻어진 산출결과를 표준화하여 데이터베이스(390)에 저장한다.

알고리즘 수행부(320)는 수재해 분석을 위해 독립적으로 동작하거나 연계하여 동작하는 복수의 알고리즘 모듈(331)이 정의된 알고리즘 모듈부(330)를 포함하며, 자료처리 표준화부(310)가 제공하는 관측 자료 중 복수의 알고리즘 모듈(331)에서 공통적으로 사용되는 전처리 과정을 수행하여 관련 알고리즘 모듈부에 제공하고, 각 알고리즘 모듈의 산출자료에 대한 생성 시간을 별도의 시간정보로 저장하며, 알고리즘 모듈의 산출자료 생성에 따라 중간 산출물을 제거한다.

즉, 본 발명의 실시예에 따른 알고리즘 수행부(320)는 다양한 알고리즘 모듈을 독립적으로 혹은 연동하면서 수행하도록 하되, 알고리즘 처리 효율화를 위하여 중복처리를 개선하고 불필요한 저장공간의 낭비를 방지하며, 산출자료 파악의 효율성을 높인다.

특히, 다양한 알고리즘 모듈(331)을 통합 구성하고 이들을 연동함으로써 개별적으로 분석되던 내용들을 병합하여 합성 분석이 가능하도록 시나리오를 구성할 수도 있다.

예를 들어 A 기관에서 처리하여 사용하던 x-NET 레이더 자료와 B 기관에서 처리하여 사용하던 x-NET 레이더 자료를 합성하여 합성장을 생성한 후 강우량을 산출하도록 한다거나, 도 4에 예로 든 바와 같이 침수지 탐지를 위해서 나사(NASA)의 과학조사 위성인 테라 위성(EOS AM-1)을 통해 수신한 MODIS(Moderate-resolution Imaging Spectroradiometer) 자료를 기반으로 하는 토양수분 산출 알고리즘에 따른 결과(도 4a)와 일본 우주항공연구개발기구의 위성(GCOM-W1)을 통해 수신한 AMSR2(Advanced Microwave Scanning Radiometer 2) 자료를 기반으로 하는 토양 수분 산출 알고리즘을 통한 결과(도 4b)를 이용하여 생성한 합성 결과(도 4c)를 새롭게 분석하여 얻을 수 있게 된다.

이와 같이 복수 알고리즘 모듈(331)이 상호 연동하여 실행되기 때문에, 시스템 효율화를 위해 고려해야 되는 내용을 살펴보면, 우선 중복 연산을 방지하여 시스템 효율을 높여야 하는 부분이 있고, 다양한 알고리즘 모듈이 수행되는 과정에서 모델 구동의 확인, 산출물의 검증, 중간 연산 등을 위해 산출 결과가 나오면 더 이상 이용하지 않을 중간 산출물을 장치 내 파일로 저장하므로 불필요한 중간 산출물을 제거해야 하는 부분이 있으며, 최종 산출 결과의 경우 대부분 이차원 배열을 아스키 정보로 단순 나열하고 있어 이를 효과적으로 이진화하여 크기를 줄이고 랜덤 억세스가 가능하도록 해야 하는 부분이 있을 뿐만 아니라, 계층적 알고리즘 모듈 수행을 위해 이전 알고리즘 모듈의 산출 결과 생성 여부를 용이하게 확인할 수 있도록 하는 부분도 고려되어야 한다.

특히, 연구자들의 연구 기반 알고리즘 모듈 구조에서는 다양한 중산 산출물들이 존재하게 되는데, 예를 들어 본 발명이 적용되는 수재해 통합 자료 처리 장치를 통해 수행된 '수증기량 알고리즘 모듈'의 산출물의 누적된 산출물의 총량은 97GB로서, 이를 살펴본 결과 도 5에 도시된 바와 같이 78GB가 중간 산출물로서 약 73%에 해당함을 알 수 있다. 이러한 중간 산출물과 최종 결과 산출 자료를 구분하여 해당 최종 결과 산출 자료를 생성되면 더 이상 사용하지 않는 중간 산출물을 선별하여 제거하고, 최종 결과 산출 자료라 하더라도 더 이상 사용하지 않는 미사용 내용은 삭제하여 저장 공간을 확보할 필요가 있다.

따라서, 본 발명의 실시예에서는 이러한 문제점들를 해결할 수 있도록 한 것이다.

도 6은 본 발명의 실시예에 따른 수재해 통합 자료 처리 장치의 구성을 좀 더 상세히 보인 것이다.

도시된 바와 같이, 본 발명의 실시예에 따른 수재해 통합 자료 처리 장치(300)는 자료제공 서버(50)로부터 제공되는 관측 자료를 수집하여 표준화된 입력자료 형태로 변환환하고 산출결과를 표준화하여 출력하되 본 시스템에서만 사용되는 형식으로 이미지 파일 포맷을 빌어 산출결과를 변환하는 자료처리 표준화부(310)와, 수재해 분석을 위해 독립적으로 동작하거나 연계하여 동작하여 산출결과를 제공하는 복수의 알고리즘 모듈(331)이 포함된 알고리즘 모듈부(330)와, 자료처리 표준화부(310)가 제공하는 관측 자료 중 복수의 알고리즘 모듈(331)에서 공통적으로 사용되는 전처리 과정을 수행하여 관련 알고리즘 모듈(331)에 제공하고, 각 알고리즘 모듈(331)의 산출자료에 대한 생성 시간을 별도의 시간정보로 저장하며, 알고리즘 모듈(331)의 산출자료 생성에 따라 중간 산출물을 제거하는 알고리즘 수행부(321)를 포함하며, 수재해 분석 수행 시나리오 관리부(340)가 알고리즘 수행부(320)와 연동하여 설정된 각종 시나리오에 따라 알고리즘 모듈(331)의 개별 혹은 조합 수행을 관리한다.

알고리즘 수행부(320)는 알고리즘 모듈(331) 수행시 생성되는 중간 산출물과 산출 자료를 저장하는 산출 데이터 저장부(329)와, 자료 처리 표준화부(310)에서 제공되는 입력자료를 이용하여 복수의 알고리즘 모듈(331)에서 공통적으로 필요로하는 전처리를 수행하여 전처리 산출자료를 산출 데이터 저장부에 저장하는 통합 전처리부(322)와, 각 알고리즘 모듈(331)의 산출 결과 생성 시간 정보를 저장하는 시간 정보 저장부(333)와, 시간 정보 저장부(333)를 통해 알고리즘 모듈(331)의 산출 결과 생성을 파악하고 해당 알고리즘 모듈(331)이 생성한 중간 산출물을 상기 산출 데이터 저장부에서 제거하는 중간 산출물 제거부(321)를 포함한다.

이를 통해서 공통적으로 수행하는 전처리에 대한 부하를 감소시킬 수 있으며, 별도의 통합 전처리부(322)에서 전처리 산출자료가 완료되는 동안 알고리즘 모듈부(330)는 연산 자원을 활용할 수 있게 된다.

예를 들어, 하천 건천화 분석 알고리즘과 K-LIS(한국 토지정보시스템) 수재해 정보 산출 알고리즘의 입력자료 전처리로서 ASOS, AWS 등 지상 관측자료에 대한 격자 자료 생성이 필요한데, 이러한 동일 입력자료에 대한 동일 격자 자료 생성을 각각 수행하고 있으므로, 본 발명의 통합 전처리부(322)는 이러한 중복 전처리 과정을 대신 처리한 후 그 전처리 산출자료를 해당 알고리즘 모듈(331)에 제공하는 것으로 계산 효율을 높일 수 있게 된다.

또한 본 발명의 실시예에 따른 알고리즘 수행부(320)는 이렇게 통합 전처리부(322)를 통해서 얻어진 전처리 산출자료를 관련 알고리즘 모듈(331)이 더 이상 사용하지 않을 경우 해당 전처리 산출자료를 제거할 수 있고, 각 알고리즘 모듈(331)이 목표로 하는 산출 자료를 생성한 후 해당 알고리즘 동작 과정에서의 생성한 중간 산출물을 제거하여 저장 공간에 대한 효율성을 높일 수 있다.

이를 위해서 각 알고리즘 모듈(331)은 최종 산출 자료를 생성한 후 더 이상 사용하지 않을 중간 산출물 파일(파일명 혹은 파일 내부)에 제거 가능을 나타내는 인덱스를 표시할 수고 중간 산출물 제거부(321)가 이를 확인하여 해당 중간 산출물을 제거할 수 있으나 이는 필수적이지는 않다.

다른 방식으로, 중간 산출물 제거부(321)는 각 알고리즘 모듈(331)의 이전 산출 결과 생성 시점과 이번 산출 결과 생성 시점을 시간정보 저장부(333)를 통해 확인할 수 있으므로 그 사이에 해당 알고리즘 모듈(331)에 의해 생성된 산출 자료중 해당 산출 결과 파일을 제외한 파일들을 제거할 수 있다. 혹은 중간 산출물 제거부(321)가 각 알고리즘 모듈 별로 중간 산출물로 생성하는 파일에 대한 규칙 정보를 미리 구비하여 해당 알고리즘 모듈(331)의 산출 결과 생성 시 관련된 중간 산출물 파일들을 찾아서 자동으로 삭제할 수도 있다.

다만, 연구를 위해 중간 산출물이 필요한 경우를 대비하여 중간 산출물 제거부(321)는 이러한 중간 산출물을 완전히 삭제하는 대신 임시 저장 공간으로 이동시켜 삭제 대상 파일로 관리하며 일정 기간 복구 요청이 없는 경우 해당 삭제 대상 파일을 삭제할 수도 있다.

상기 각 알고리즘 모듈(331)은 산출 결과를 생성한 시간을 시간 정보 저장부(333)에 등록하도록 하는데, 이를 위해 알고리즘 모듈(331)을 구성하는 수행 프로그램 상에 산출자료 생성 완료 시점에 산출자료 생성 시간을 시간정보 저장부에 등록하는 모듈 내 시간 관리부(소스 코드)를 구성할 수 있다. 이는 해당 알고리즘 모듈(331)을 수재해 통합 자료 처리 장치(300)에 탑재할 때 추가될 수 있다.

이렇게 각 알고리즘 모듈(331)이 산출자료 생성 시간을 별도의 시간정보 저장부(333)에 저장할 경우 각 알고리즘 모듈(331)은 연계되는 이전 알고리즘 모듈의 산출 결과 생성 여부를 상기 시간 정보 저장부에 등록된 산출 결과 생성 시간을 통해 확인할 수 있게 되므로 여러 선행 알고리즘 모듈들의 산출 자료를 이용하는 후속 알고리즘 모듈은 각각의 선행 알고리즘 모듈의 동작 상태와 산출 자료를 지속적으로 확인할 필요 없이 해당 시간정보 저장부(333)에 저장된 산출 결과 생성 시간만 확인하면 복수의 선행 알고리즘 모듈 수행 상황을 한 번에 확인할 수 있게 된다. 이를 통해서 자료 확인을 위한 자료 처리 부하를 줄일 수 있고, 중간 산출물 제거부(321)는 언제 중간 산출물을 제거해야 하는 지 확인할 수 있다.

이와 같은 알고리즘 수행부(320)를 통해 중간 산출물이 제거된 산출 자료가 생성되는 경우, 이를 자료처리 표준화부(310)를 통해 데이터베이스(390)에 저장하거나 필요한 경우 내부 시스템에 저장할 수 있다.

하지만 입출력 프로그램에 익숙하지 않거나 이러한 데이터 관리보다는 연구에 집중하는 연구자들의 알고리즘을 이용한다는 점에서 산출 자료의 형식은 상당히 비효율적인 경우가 많다.

특히, 연구자들이 개발한 알고리즘에 따른 수재해 관련 산출물의 경우 대부분 이차원 배열 형태를 아스키 파일로 저장한 산출 자료가 많은데, 아스키 파일을 통해 단순 기록한 이차원 배열 형태의 산출 자료는 랜덤 억세스가 되지 않아 파일 내부에서 필요한 정보를 확인하기 위한 자료 처리 부하가 증가하고, 넓은 지역에 대한 수재해 관련 산출 정보를 생성하기 때문에 그 파일에 포함된 데이터량이 많아 이를 아스키 파일로 저장할 경우 파일의 크기가 대단히 커진다.

따라서, 본 발명의 실시예에서는 이러한 산출 자료의 크기를 줄이면서도 랜덤 억세스가 가능하도록 하여 저장 공간과 자료 처리 부하를 크게 경감시킬 수 있도록 한다.

도 6에 도시된 바와 같이 본 발명의 실시예에 따른 자료처리 표준화부(310)는 산출 결과에서 미사용 변수를 제거하는 미사용 변수 제거부와, 산출자료가 이차원 배열 구조인 경우 이를 이진화한 후 이미지 파일 포맷의 구조를 빌어서 데이터 저장을 위한 이미지 파일로 변환하는 산출물 변환부를 포함한다.

미사용 변수 제거부는 산출 자료중 사용되지 않는 산출 변수를 산출 자료에서 제거하는데, 이러한 사용되지 않는 산출 변수는 각 알고리즘 모듈(331)이 미사용 변수 제거부(310)에 이러한 미사용 변수에 대한 정보 혹은 사용 변수에 대한 정보를 알려주거나 알고리즘 모듈(331)을 수재해 통합 자료 처리 장치에 탑재할 때 사용 변수나 미사용 변수를 정하여 미사용 변수 제거부(310)가 확인할 수 있도록 한다.

산출물 변환부는 이차원 배열 구조 저장을 위해 새롭게 마련한 태그가 포함된 이미지 파일 디렉토리(IDF) 및 이미지 데이터 영역으로 정의되는 TIFF 파일 포맷을 이용하여 해당 이진화된 산출 자료를 저장하여 산출자료를 데이터 저장용 TIFF 포맷으로 변환한다. 이를 통해 랜덤 억세스가 가능하면서 그 크기를 수십분의 일로 줄일 수 있다. 예를 들어 하천건천화 분석 알고리즘의 산출 자료는 아스키 형식으로서 한 번에 약 3MB의 크기를 가지는 산출 자료를 생성하는데, 이를 TIFF 포맷으로 변환할 경우 0.1MB 정도로 줄어들며 랜덤 억세스도 가능하게 된다.

이러한 TIFF 파일은 도 7에 도시된 바와 같이 다양한 형식으로 파일 구조를 정의할 수 있는데, 도 7a에 도시된 바와 같이 헤더와 이미지 파일 디렉토리(IDF) 및 해당 IDF에 대응되는 이미지 영역을 정의할 수 있고, 이를 도 7b에 도시된 바와 같이 IDF와 이미지 영역을 대응되게 구성할 수 있다. 물론, 이미지 영역들을 처음에 구성하고 IDF를 뒤에 구성할 수도 있다. 즉, 이러한 IDF는 각각 하나의 이미지 영역을 정의하는 것으로 멀티 페이지 포맷을 지원하는 것이며, 각각의 IDF에는 복수의 태그들을 정의할 수 있다.

이러한 TIFF 파일 구조에서 그 태그는 용이하게 확장할 수 있고, 다양한 커스텀 구성을 사용할 수 있어 자신만의 목적을 가진 태그를 정의하여 사용할 수 있으므로 본 발명에서는 이러한 태그를 2차원 배열을 저장하기위한 것으로 정의하여 데이터를 이미지 포맷의 형식을 빌어서 변환 및 억세스할 수 있도록 한다. 특히 이러한 TIFF 파일의 경우 밴더마다 자신의 고유한 태그 구조를 사용할 수 있어 보안성을 높이기 위한 목적에서도 적합하다.

현재 알려져 있는 여러 태그 구조들 중에는 좌표를 TIFF 파일에 저장하기 위한 것도 있으므로 이러한 태그 구조를 수재해를 위한 산출 자료에 적합하도록 수정하여 활용할 수 있다. 예를 들어 태그에 이차원 배열의 행렬 크기를 정의하고, 이미지 영역에 실제 이차원 배열의 데이터를 행렬 순서대로 바이너리로 추가하면 해당 태그를 통해 이미지 영역의 바이너리 데이터를 행과 열로 구분하여 확인할 수 있게 된다.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

50: 자료 제공 서버 300: 수재해 통합 자료 처리 장치
310: 자료처리 표준화부 320: 알고리즘 수행부
321: 중간 산출물 제거부 322: 통합 전처리부
329: 산출 데이터 저장부 330: 알고리즘 모듈부
331: 알고리즘 모듈 333: 시간 정보 저장부
340: 수재해 분석 수행 시나리오 관리부

Claims

자료제공 서버로부터 제공되는 관측 자료를 수집하여 표준화된 입력자료 형태로 변환하고 산출결과를 표준화하여 출력하되 본 시스템에서만 사용되는 형식으로 이미지 파일 포맷을 빌어 이차원 배열 아스키 파일 형태의 산출결과를 배열 데이터에 대한 랜덤 억세스가 가능하며 크기가 작은 이진 자료로 변환하는 자료처리 표준화부와;
수재해 분석을 위해 독립적으로 동작하거나 연계하여 동작하여 산출결과를 제공하는 복수의 알고리즘 모듈이 포함된 알고리즘 모듈부와;
자료처리 표준화부가 제공하는 관측 자료 중 복수의 알고리즘 모듈에서 공통적으로 사용되는 전처리 과정을 수행하여 관련 알고리즘 모듈에 제공하고, 각 알고리즘 모듈의 산출자료에 대한 생성 시간을 별도의 시간 정보 저장부에 저장하며, 상기 시간 정보 저장부를 통해 알고리즘 모듈의 산출자료 생성을 파악하고에 해당 알고리즘 모듈이 생성한 중간 산출물을 제거하는 알고리즘 수행부를 포함하며,
상기 자료처리 표준화부는 산출 결과에서 미사용 변수를 제거하는 미사용 변수 제거부와, 산출자료가 이차원 배열 구조인 경우 이를 이진화한 후 이미지 파일 포맷의 구조를 빌어서 데이터 저장을 위한 이미지 파일 포맷으로 변환하는 산출물 변환부를 포함하되,
상기 산출물 변환부는 이차원 배열의 행렬 크기를 정의하는 태그가 포함된 이미지 파일 디렉토리(IDF) 및 이미지 데이터 영역으로 정의되는 TIFF 파일 포맷을 이용하여 해당 이진화된 산출 자료를 태그에 맞추어 이미지 데이터 영역에 저장하여, 해당 태그와 데이터 저장 순서로 데이터의 행과 열을 구분할 수 있는 데이터 저장용 멀티페이지 TIFF 포맷으로 변환하는 것을 특징으로 하는 자원 최적화 기능을 구비한 수재해 통합 분석 장치.
삭제
삭제
청구항 1에 있어서, 상기 알고리즘 수행부는 알고리즘 모듈 수행시 생성되는 중간 산출물과 산출 자료를 저장하는 산출 데이터 저장부와; 자료 처리 표준화부에서 제공되는 입력자료를 이용하여 복수의 알고리즘 모듈에서 공통적으로 필요로하는 전처리를 수행하여 전처리 산출자료를 산출 데이터 저장부에 저장하는 통합 전처리부와; 각 알고리즘 모듈의 산출 결과 생성 시간 정보를 저장하는 시간 정보 저장부와; 시간 정보 저장부를 통해 알고리즘 모듈의 산출 결과 생성을 파악하고 해당 알고리즘 모듈이 생성한 중간 산출물을 상기 산출 데이터 저장부에서 제거하는 중간 산출물 제거부를 포함하는 것을 특징으로 하는 자원 최적화 기능을 구비한 수재해 통합 분석 장치.
청구항 4에 있어서, 상기 알고리즘 모듈은 수행에 따른 중간 산출물과 산출 결과를 구분하여 산출 데이터 저장부에 저장하고, 산출 결과를 생성한 시간을 상기 시간 정보 저장부에 등록하는 것을 특징으로 하는 자원 최적화 기능을 구비한 수재해 통합 분석 장치.
청구항 5에 있어서, 상기 알고리즘 모듈은 연계되는 이전 알고리즘 모듈의 산출 결과 생성 여부를 상기 시간 정보 저장부에 등록된 산출 결과 생성 시간을 통해 확인하는 것을 특징으로 하는 자원 최적화 기능을 구비한 수재해 통합 분석 장치.