KR102178121B1 - 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법 및 이를 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 - Google Patents
웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법 및 이를 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 Download PDFInfo
- Publication number
- KR102178121B1 KR102178121B1 KR1020190158774A KR20190158774A KR102178121B1 KR 102178121 B1 KR102178121 B1 KR 102178121B1 KR 1020190158774 A KR1020190158774 A KR 1020190158774A KR 20190158774 A KR20190158774 A KR 20190158774A KR 102178121 B1 KR102178121 B1 KR 102178121B1
- Authority
- KR
- South Korea
- Prior art keywords
- file
- processing system
- distributed processing
- web
- name
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명은 웹 기반으로 공간 빅데이터를 관리할 수 있는 서비스 제공 방법, 그리고 이러한 서비스 제공 방법을 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
Description
본 발명은 웹 기반으로 공간 빅데이터를 관리할 수 있는 서비스 제공 방법, 그리고 이러한 서비스 제공 방법을 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
대용량의 데이터를 처리할 수 있는 컴퓨팅 장치들이 개발되면서 다양한 서비스 제공이 가능해 지게 되었으며, 이와 맞물려 더 편리한 새로운 서비스에 대한 요구 역시 지속적으로 증가하고 있다. 새로운 서비스에 대한 요구는 공간정보를 다루는 분야에 있어서도 예외가 아닌데, 각종 공간들에 대한 데이터를 다양한 방식으로 처리하도록 함으로써 여러 종류의 서비스를 제공하고자 하는 수요 역시 지속적으로 증가하고 있다.
일반적으로 빅데이터를 처리하기 위해서는 분산 처리 시스템이 활용되는데, 하둡(Hadoop) 역시 이러한 분산 처리 시스템의 한 종류에 해당하며, 공간정보 빅데이터를 처리하기 위하여서도 위와 같은 분산 처리 시스템이 활용될 수 있다.
한편, 사용자 입장에서는 자신이 사용하고 있는 분산 처리 시스템의 전체 현황을 파악하여야 할 필요가 다수 존재할 수 있는데, 종래의 하둡에서는 분산 처리 시스템을 전반적으로 확인할 수 있는 모니터링용 소프트웨어를 제공하고 있지 않으며, 나아가 분산 처리 시스템 내 저장되어 있는 파일들을 관리하기 위한 별도의 파일 관리 소프트웨어도 제공하고 있지 않아 사용자는 매우 큰 불편함을 겪고 있는 실정이다. 현재로서는 Cloudera사의 HUE처럼 본질적으로는 다른 목적을 위해 존재하는 소프트웨어(HUE는 SQL질의를 위한 오픈 소스임)에 모니터링 기능, 또는 파일 관리 기능이 얹어진 형태의 소프트웨어가 제공되고 있긴 하나, 소프트웨어의 설치 및 운용이 복잡하다는 문제점도 있다.
본 발명은 이와 같은 문제점에 착안하여 도출된 것으로, 이상에서 살핀 기술적 문제점을 해소시킬 수 있음은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 발명할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.
본 발명은 공간 빅데이터를 사용하는 사용자가 분산 처리 시스템을 웹 기반으로 모니터링 할 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 사용자가 웹 기반의 사용자 인터페이스를 통해 분산 처리 시스템 내 저장되어 있는 공간 빅데이터, 즉 파일들을 관리할 수 있도록 하는 것을 목적으로 한다.
한편, 본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 서비스 서버가 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법에 있어서, 상기 서비스 서버는 분산 처리 시스템과 연결된 것을 특징으로 하고, 상기 방법은, 사용자 단말기로부터의 모니터링 정보 요청에 응답하여 상기 분산 처리 시스템에 대한 모니터링 정보를 제공하는 단계; 를 포함하되, 사용자 단말기로부터의 모니터링 정보 요청 수신, 및 상기 사용자 단말기로의 모니터링 정보 제공은 상기 서비스 서버에 의해 제공되는 웹 기반의 제1 사용자 인터페이스를 통해 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 방법에 있어서 상기 분산 처리 시스템은 하둡(Hadoop) 또는 아파치 스톰(Apache storm)을 포함하는 것을 특징으로 할 수 있다.
또한, 상기 방법에 있어서 상기 분산 처리 시스템에 대한 모니터링 정보를 제공하는 단계는, 상기 사용자 단말기로부터의 모니터링 정보 요청이 수신된 이후 기 설정된 주기마다 반복적으로 수행되는 것을 특징으로 할 수 있다.
또한 상기 방법에 있어서 상기 분산 처리 시스템에 대한 모니터링 정보는, 디스크 사용정도, CPU 사용정도, 메모리 사용정도, 또는 네트워크 사용정도 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
또한 상기 방법은 사용자 단말기로부터의 파일 관리 입력에 응답하여 상기 분산 처리 시스템 내 저장되어 있는 파일 중 적어도 하나에 대한 파일 이벤트를 실행시키는 단계;를 포함하되, 상기 사용자 단말기로부터의 파일 관리 입력은 상기 서비스 서버에 의해 제공되는 웹 기반의 제2 사용자 인터페이스를 통해 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 방법에 있어서 상기 파일 관리 입력은, 파일명 변경, 이동, 복사, 삭제, 다운로드, 업로드, 새폴더 생성, 또는 퍼미션 변경 중 하나인 것을 특징으로 할 수 있다.
또한, 상기 방법에 있어서 상기 파일 이벤트를 실행시키는 단계는, 사용자 단말기로부터 파일 관리 입력을 수신하는 단계; 상기 파일 관리 입력으로부터 파일 이벤트를 분류하는 단계; 분류된 파일 이벤트에 따라 파일 이벤트를 실행시키는 단계;를 포함할 수 있다.
또한, 상기 방법에 있어서 상기 제2 사용자 인터페이스는, 상기 분산 처리 시스템 내 저장되어 있는 파일들에 대한 정보들을 표시하되, 상기 파일들에 대한 정보들은 파일 크기, 유저, 그룹, 퍼미션, 또는 날짜 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 저장 매체는 서비스 서버가 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법을 수행하기 위한 명령어들을 저장하되, 상기 서비스 서버는 분산 처리 시스템과 연결된 것을 특징으로 하고, 상기 방법은, 사용자 단말기로부터의 모니터링 정보 요청에 응답하여 상기 분산 처리 시스템에 대한 모니터링 정보를 제공하는 단계;를 포함하되, 사용자 단말기로부터의 모니터링 정보 요청 수신, 및 상기 사용자 단말기로의 모니터링 정보 제공은 상기 서비스 서버에 의해 제공되는 웹 기반의 제1 사용자 인터페이스를 통해 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 컴퓨터 판독 가능한 저장 매체에 있어서 상기 방법은, 사용자 단말기로부터의 파일 관리 입력에 응답하여 상기 분산 처리 시스템 내 저장되어 있는 파일 중 적어도 하나에 대한 파일 이벤트를 실행시키는 단계; 를 포함하되, 상기 사용자 단말기로부터의 파일 관리 입력은 상기 서비스 서버에 의해 제공되는 웹 기반의 제2 사용자 인터페이스를 통해 이루어지는 것을 특징으로 할 수 있다.
본 발명에 따르면 사용자는 분산 처리 시스템을 모니터링 하기 위한, 또는 파일 관리를 하기 위한 별도의 콘솔형 소프트웨어를 설치할 필요 없이 웹 기반의 사용자 인터페이스를 통해 어디서나 분산 처리 시스템의 현 상황을 모니터링 할 수 있게 되는 효과가 있으며, 또한 파일 관리도 쉽게 할 수 있게 되는 효과가 있다.
한편, 본 발명에 의한 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 웹 기반의 공간 빅데이터 관리 서비스 제공방법이 구현되는 전체 시스템 환경을 도시한 것이다.
도 2는 분산 처리 시스템의 기본 구조를 도시한 것이다.
도 3은 본 발명에 따라 분산 처리 시스템을 모니터링 하는 과정을 도시한 것이다.
도 4 및 도 5는 본 발명에 따른 서비스 제공 방법에서 제공되는 제1 사용자 인터페이스의 일 예시를 도시한 것이다.
도 6은 본 발명에서 제공하는 파일 관리 기능을 개념적으로 이해하기 위한 것이다.
도 7은 본 발명에 따른 서비스 제공 방법에서 제공되는 제2 사용자 인터페이스의 일 예시를 도시한 것이다.
도 2는 분산 처리 시스템의 기본 구조를 도시한 것이다.
도 3은 본 발명에 따라 분산 처리 시스템을 모니터링 하는 과정을 도시한 것이다.
도 4 및 도 5는 본 발명에 따른 서비스 제공 방법에서 제공되는 제1 사용자 인터페이스의 일 예시를 도시한 것이다.
도 6은 본 발명에서 제공하는 파일 관리 기능을 개념적으로 이해하기 위한 것이다.
도 7은 본 발명에 따른 서비스 제공 방법에서 제공되는 제2 사용자 인터페이스의 일 예시를 도시한 것이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한, 어떤 구성요소들을 포함한다는 표현은 “개방형”의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.
우선 본 발명에 따라 공간 빅데이터 관리 서비스가 제공되는 환경이 어떤 시스템적 환경에서 구현되는지에 대해 도 1을 참조하여 간단히 살펴보기로 한다.
도 1은 본 발명에 따른 공간 빅데이터 관리 서비스가 제공되는 시스템을 개략적으로 도시한 것으로, 이 시스템에는 사용자 단말기(100) 및 서비스 서버(200) 가 도 1과 같은 네트워크 연결 상태로 존재할 수 있다. 이 때 상기 서비스 서버(200)는 하둡(Hadoop)과 같은 분산 처리 시스템과 연결되어 있을 수 있다.
본 발명에서 구현하고자 하는 방법의 쉬운 예시를 살펴볼 때, 예를 들어 공간 빅데이터를 이용하여 어떤 일련의 서비스를 제공하고자 하는 사용자(또는 개발자)는 서비스 서버(200)가 웹 기반으로 제공하는 제1 사용자 인터페이스를 통해 분산 처리 시스템의 실시간 모니터링 정보를 확인할 수 있으며, 또는 서비스 서버(200)가 웹 기반으로 제공하는 제2 사용자 인터페이스를 통해 분산 처리 시스템 내에서의 파일명 변경, 파일 이동, 파일 삭제 등과 같은 파일 관리를 간이하게 할 수 있다.
도 1에 도시된 시스템을 구성하는 각 구성들에 대해 더 자세히 살펴보면 다음과 같다.
먼저 사용자 단말기(100)와 관련하여, 사용자 단말기(100)는 사용자가 보유하거나 소지하고 다니는 단말기를 일컫는 것으로, 여기에는 홈 PC 등과 같은 설치형 단말기는 물론, 스마트폰, PDA, 태블릿PC 등과 같이 휴대가 가능한 단말기도 포함될 수 있다. 이러한 사용자 단말기를 장치의 측면에서 볼 때에, 각 사용자 단말기들은 중앙처리유닛(CPU)과 메모리를 구비하고 있는 것을 전제로 한다. 중앙처리유닛은 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 불릴 수 있다. 또한 중앙처리유닛은 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있는데, 하드웨어를 이용하여 구현하는 경우에는 ASIC(application specific integrated circuit) 또는 DSP(digital signal processor), DSPD(digital signal processing device), PLD(programmable logic device), FPGA(field programmable gate array) 등으로, 펌웨어나 소프트웨어를 이용하여 구현하는 경우에는 위와 같은 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등을 포함하도록 펌웨어나 소프트웨어가 구성될 수 있다. 또한, 메모리는 ROM(Read Only Memory), RAM(Random Access Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래쉬(flash) 메모리, SRAM(Static RAM), HDD(Hard Disk Drive), SSD(Solid State Drive) 등으로 구현될 수 있다. 상기 사용자 단말기(100)는 디스플레이 및 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 입력용 수단과 연결될 수 있다.
한편, 서비스 서버(200)는 본 발명에 따른 방법을 실제로 구현하기 위한 프로그램, 즉 명령어들의 집합을 제공하는 구성이며, 나아가 복수의 사용자 단말기들로부터 입력 및 업로드 된 관찰정보를 저장하는 구성에 해당한다.
다른 한편, 서비스 서버(200)의 형태는, 어느 특정 운영자가 관리하는 적어도 하나의 서버용 PC일 수 있으며, 또는 타 업체에서 제공하는 클라우드 서버의 형태, 즉 운영자가 회원가입하여 사용할 수 있는 클라우드 서버의 형태일 수도 있다. 특히 서비스 서버가 서버용 PC로 구현된 경우, 해당 서비스 서버는 중앙처리유닛 및 메모리를 포함할 수 있으며, 이에 대해서는 앞선 사용자 단말기의 설명 과정에서 자세히 언급하였으므로 여기서는 설명을 생략하기로 한다.
도 2는 분산 처리 시스템의 하나인 하둡(Hadoop)의 기본적인 구조를 개념적으로 도시한 것이다. 하둡은 데이터가 저장되면 다수의 노드들에 복제 데이터도 함께 저장을 함으로써 데이터 유실을 방지하는 것을 특징으로 하며, 저장된 파일에의 접근은 스트리밍 방식만 허용되고, 나아가 한번 저장한 데이터는 수정이 불가한 채 읽기만 가능하게 함으로써 데이터의 무결성을 유지하는 것을 특징으로 하는 분산 처리 시스템이다.
하둡은, 도 2에도 도시되어 있는 것과 같이 마스터 역할을 하는 네임노드, 그리고 슬레이브 역할을 하는 복수 개의 데이터노드들로 이루어져 있다. 네임노드에서는 하둡의 메타데이터(블록들이 저장되는 디렉토리의 이름, 파일명 등)를 관리하고, 만일 외부로부터 요청이 있는 경우에는 이 메타데이터를 이용하여 하둡에 저장된 파일에 접근이 가능하도록 한다. 데이터노드는 대용량의 데이터들이 분산되어 저장될 수 있는 공간이며, 주기적으로 노드에 저장되어 있는 블록의 정보를 네임노드에 전송하는 역할을 한다.
한편, 다시 도 2를 참조할 때, 네임노드는 서비스 서버(200)와 연결되어 있는 것으로 도시되어 있음을 확인할 수 있는데, 본 발명에서의 서비스 서버(200)는 메타데이터를 관리하는 네임노드와 지속적으로 통신을 함으로써 후술하게 될 모니터링 정보를 제공하는 서비스, 또는 파일 관리를 제공하는 서비스가 가능하게 할 수 있다. 다른 한편, 도면에서는 상기 서비스 서버(200)와 네임노드가 별개의 독립적인 구성인 것으로 도시되어 있긴 하나, 상기 서비스 서버(200)와 네임노드는 실질적으로 하나의 컴퓨팅 장치로도 구현될 수 있음을 이해해야 할 것이다. 즉, 서비스 서버(200)가 네임노드의 역할을 동시에 수행할 수도 있으며, 사용자는 서비스 서버(200)와 네트워크 상에서 연결되어 분산 처리 시스템 전반의 모니터링 정보를 요청하거나, 또는 분산 처리 시스템 내 저장되어 있는 파일(들)을 대상으로 파일 관리 입력을 전달할 수도 있다.
앞서도 잠시 언급하였듯, 본 상세한 설명에서는 공간 빅데이터 관리 서비스가 두 가지 종류로 나뉘어 제공될 수 있는데, 첫 번째는 분산 처리 시스템에 대한 모니터링 정보를 제공하는 서비스, 두 번째는 분산 처리 시스템 내 저장된 파일(들)에 대한 파일 관리 서비스가 그것이다. 이하에서는 도면들을 참조하여 각각의 서비스에 대해 자세히 살펴보기로 한다.
먼저 모니터링 정보를 제공하는 서비스와 관련하여, 서비스 서버(200)는 사용자가 모니터링을 하고자 하는 의사를 표시하였을 때, 다시 말해 사용자 단말기로부터의 모니터링 정보 요청이 수신되었을 때 이에 대한 응답으로 분산 처리 시스템에 대한 전반적인 모니터링 정보를 제공할 수 있다. 예를 들어, 하둡(Hadoop)을 이용하는 경우 사용자는 본 발명에 따른 서비스 서버(200)가 제공하는 제1 사용자 인터페이스를 통해 단순히 메뉴를 클릭하는 것 만으로도 현재 분산 처리 시스템 내 디스크 사용정도, CPU 사용정도, 메모리 사용정도 등이 포함된 정보들을 다양한 형태의 시각적 자료들과 함께 제공받을 수 있다.
한편, 서비스 서버(200)는 미리 설정된 주기에 따라 분산 처리 시스템의 전반적인 정보를 수집 및 갱신할 수 있는데, 그 과정은 도 3에 도시되어 있다. 도 3을 참조할 때, 임의의 시점에서 서비스 서버(200)는 사용자 단말기로부터의 입력을 수신(제1 사용자 인터페이스를 통하여 수신)함으로써 분산 처리 시스템에 대한 정보를 얼마나 자주 수집할 것인지에 대한 모니터링 주기를 설정(S101)할 수 있으며, 모니터링 주기가 설정된 이후에는 설정된 시간이 도래하였는지 여부를 판단(S102)하고, 만일 설정된 시간이 도래하였다면 분산 처리 시스템 측에 정보 수집 요청을 전달(S103)할 수 있으며, 정보가 수집된 후에는 기존의 분산 처리 시스템에 대한 모니터링 정보를 갱신(S104)할 수 있다. 만일 분산 처리 시스템이 하둡이라면, 서비스 서버(200)는 네임노드 측으로 상기 네임노드가 데이터노드들로부터 수신한 메타데이터를 요청함으로써 상기 분산 처리 시스템의 최신 상태 정보들을 수집할 수 있다. 한편, 설정 시간이 도래하지 않았다면 당연히 서비스 서버(200)는 대기 상태(S105)에 들어가며 설정된 시간이 될 때까지 이를 유지하게 될 것이다.
한편, 상기 서비스 서버(200)는 임의로 사용자가 모니터링 주기를 설정하지 않았다 하더라도 자체적으로 필요에 따라 모니터링 주기를 조절할 수 있는데, 예를 들어 임의 시점에서 사용자의 요청에 따라 모니터링 정보가 일응 갱신이 되었고, 이 때 갱신된 정보에 의할 때 각종 모니터링 정보들, 예를 들어 디스크 사용정도, CPU 사용정도, 메모리 사용정도 중 적어도 어느 하나의 것이 기준치보다 더 높은 것으로 나타난 경우, 모니터링 주기를 더 짧게 설정함으로써 분산 처리 시스템을 보다 자주 모니터링 하도록 할 수 있다. 즉, 서비스 서버(200)는 최초 모니터링 정보 요청이 있은 후부터는 수집된 모니터링 정보의 수치 범위가 기준치를 벗어났는지 또는 기준치 내에 있는지 여부를 인지하고, 이에 따라 자체적으로 기 설정된 만큼의 시간 간격을 조절함으로써 모니터링 주기를 설정할 수 있다. 만약 어느 시점에서 수집된 모니터링 정보가 기준치 내에 있는 것으로 인지되었다면, 논리적으로 당연히, 서비스 서버(200)는 다시 모니터링 주기를 디폴트 값으로 조정하거나 또는 종전의 모니터링 주기에 비해서는 조금 더 길게 주기를 설정함으로써 자율적으로 분산 처리 시스템에 대한 모니터링 주기를 조절할 수 있다.
도 4는 본 발명에 따른 서비스 서버(200)가 제공하는 제1 사용자 인터페이스의 일 예시를 도시한 것으로, 웹(web)을 통해 사용자가 모니터링 정보를 볼 수 있는 인터페이스를 구현한 예이다. 도 4에 따를 때, 제1 사용자 인터페이스에는 네임노드, 데이터노드의 현재 상태, 데이터노드의 블록 개수, 블록 에러의 개수, 전체 파일의 개수 및 전체 디렉토리의 개수 등과 같은 정보들이 표시될 수 있으며, 도 4의 하단에 보이는 것과 같이 디스크 사용정도, CPU 사용정도, 메모리 사용정도, 네트워크 사용정도를 나타내는 그래프가 표시됨으로써 사용자가 현재 분산 처리 시스템의 상황을 쉽게 파악할 수 있게 할 수 있다.
도 5는 본 발명에 따른 서비스 서버(200)가 제공하는 제1 사용자 인터페이스의 또 다른 예시를 도시한 것으로, 도 5는 화면의 구성을 달리 함으로써 사용자가 현재 분산 처리 시스템의 상황을 더 쉽게 파악할 수 있도록 한 것이다. 도 5에서는 네임노드 커넥션 로드, 네임노드 힙(heap), 네임노드 호스트 로드, 네임노드 RPC, 하둡 공간 활용정도를 나타내는 그래프 외에 Failed disk volumes, Blocks with Corrupted Replicas, Under Replicated Blocks 등의 수치가 사용자가 쉽게 인지할 수 있도록 표시된 모습이 도시되어 있다.
다음으로 분산 처리 시스템 내 저장된 파일(들)에 대한 파일 관리 서비스를 제공하는 것과 관련하여, 서비스 서버(200)는 웹을 통해 사용자에게 제2 사용자 인터페이스를 제공함으로써, 더 구체적으로는 웹 기반의 파일 브라우져를 제공함으로써 사용자가 분산 처리 시스템 내 저장되어 있는 파일들을 쉽게 관리하도록 할 수 있다.
도 6은 파일 관리 서비스를 제공하는 모습을 개념적으로 도시한 것인데, 이에 따르면 사용자 단말기(100)로부터 파일 관리 입력이 수신(S201)되었을 때, 서비스 서버(200)는 상기 파일 관리 입력으로부터 파일 이벤트를 분류(S202)해 내고, 이 후 분류된 파일 이벤트에 따라 실제 특정 파일(들)을 대상으로 파일 이벤트를 실행(S203)시키게 된다. 이 때 파일 관리 입력에는 다양한 것들이 포함될 수 있는데, 예를 들어 파일명 변경, 이동, 복사, 삭제, 다운로드, 업로드, 새폴더 생성, 또는 퍼미션 변경 등이 포함될 수 있다.
서두에서도 언급한 바와 같이, 종래에는 분산 처리 시스템 내 저장되어 있는 파일들을 관리하기 위한 별도의 파일 관리 소프트웨어가 제공되지 않았기에 사용자(개발자)들 입장에서는 매우 큰 불편함이 존재하였는데, 본 발명에서는 서비스 서버(200)로 하여금 분산 처리 시스템 내 파일들을 쉽게 관리할 수 있도록, 특히 웹 기반의 사용자 인터페이스를 제공함으로써 사용자에게 편의성을 제공하고자 하였다.
특히 분산 처리 시스템이 하둡이라고 가정할 때, 서비스 서버(200)는 네임노드와의 통신을 통해 상기 네임노드가 관리하고 있는 메타데이터들을 수집할 수 있으며, 이러한 메타데이터들을 이용하여 각각의 데이터노드에 분산저장되어 있는 파일들에 접근할 수 있고, 접근 후 각각의 파일들에 대한 파일 이벤트를 실행시킴으로써 파일 관리 서비스를 제공할 수 있다.
도 7은 사용자가 웹을 통해 볼 수 있는 제2 사용자 인터페이스를 도시한 것이다. 도 7을 참조할 때, 제2 사용자 인터페이스는 파일 브라우져의 형태임을 확인할 수 있으며, 인터페이스의 상단에는 특정 파일을 검색할 수 있는 검색창, 그리고 각종 파일 관리 입력을 할 수 있는 메뉴들이 표시되어 있고, 그 하단에는 디렉토리, 파일명과 더불어 파일 크기, 유저, 그룹, 퍼미션, 또는 날짜 등의 정보들이 함께 표시되어 있음을 확인할 수 있다. 이러한 제2 사용자 인터페이스를 통해, 사용자는 단순히 특정 파일 또는 디렉토리를 선택한 후 파일 관리 입력을 위한 메뉴 중 하나를 클릭함으로써 쉽게 파일 관리를 수행할 수 있게 될 것이다.
이상 본 발명에 따른 웹 기반의 공간 빅데이터 관리 서비스 제공 방법에 대해 살펴보았다. 한편, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.
특히, 본 명세서에 첨부된 도면에 도시된 블록도와 순서도에 포함된 본 발명의 기술적 특징을 실행하는 구성들은 상기 구성들 사이의 논리적인 경계를 의미한다. 그러나 소프트웨어나 하드웨어의 실시 예에 따르면, 도시된 구성들과 그 기능들은 독립형 소프트웨어 모듈, 모놀리식 소프트웨어 구조, 코드, 서비스 및 이들을 조합한 형태로 실행되며, 저장된 프로그램 코드, 명령어 등을 실행할 수 있는 프로세서를 구비한 컴퓨터에서 실행 가능한 매체에 저장되어 그 기능들이 구현될 수 있으므로 이러한 모든 실시 예 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.
따라서, 첨부된 도면과 그에 대한 기술은 본 발명의 기술적 특징을 설명하기는 하나, 이러한 기술적 특징을 구현하기 위한 소프트웨어의 특정 배열이 분명하게 언급되지 않는 한, 단순히 추론되어서는 안 된다. 즉, 이상에서 기술한 다양한 실시 예들이 존재할 수 있으며, 그러한 실시 예들이 본 발명과 동일한 기술적 특징을 보유하면서 일부 변형될 수 있으므로, 이 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.
또한, 순서도의 경우 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 가장 바람직한 결과를 얻기 위하여 도시된 것으로서, 도시된 특정한 순서나 순차적인 순서대로 그러한 동작들을 반드시 실행되어야 한다거나 모든 도시된 동작들이 반드시 실행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티 태스킹과 병렬 프로세싱이 유리할 수 있다. 아울러, 이상에서 기술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 의해 본 발명을 제한하려는 의도가 아니다. 따라서, 이상에서 기술한 실시 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범위를 벗어나지 않으면서도 본 실시 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
사용자 단말기 100
서비스 서버 200
서비스 서버 200
Claims (10)
- 서비스 서버가 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법에 있어서,
상기 서비스 서버는 분산 처리 시스템 - 상기 분산 처리 시스템은 하둡(Hadoop)임 - 과 연결된 것을 특징으로 하고,
상기 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법은,
사용자 단말기로부터의 모니터링 정보 요청에 응답하여 상기 분산 처리 시스템에 대한 모니터링 정보 - 상기 분산 처리 시스템에 대한 모니터링 정보는 디스크 사용정도, CPU 사용정도, 메모리 사용정도, 및 네트워크 사용정도를 포함함 - 를 제공하는 단계;
를 포함하되,
사용자 단말기로부터의 모니터링 정보 요청 수신, 및 상기 사용자 단말기로의 모니터링 정보 제공은 상기 서비스 서버에 의해 제공되는 웹 기반의 제1 사용자 인터페이스 - 상기 제1 사용자 인터페이스에는, 네임 노드 및 데이터노드의 현재 상태, 데이터노드의 블록 개수, 블록 에러의 개수, 전체 파일의 개수, 전체 디렉토리 개수, 디스크 사용정도, CPU 사용정도, 메모리 사용정도, 및 네트워크 사용정도가 표시됨 - 를 통해 이루어지이루어지고,
상기 분산 처리 시스템은 네임노드 및 데이터노드를 포함하되,
상기 네임노드는, 상기 하둡의 메타데이터 - 상기 메타데이터는, 블록들이 저장되는 디렉토리 이름 및 파일명을 포함함 - 를 관리하고, 외부로부터 접근 요청이 있는 경우 상기 메타데이터를 이용하여 상기 하둡에 저장된 파일에 접근이 가능하도록 하고,
상기 데이터노드는, 대용량의 데이터들이 분산 저장하는 공간으로서, 상기 데이터노드에 저장되어 있는 블록의 정보를 네임노드로 전송하는 것을 특징으로 하며,
상기 서비스 서버는, 상기 네임노드 측으로 상기 네임노드가 상기 데이터노드들로부터 수신한 메타데이터를 요청함으로써 상기 분산 처리 시스템의 최신 상태 정보들을 수집하되, 상기 서비스 서버는 디스크 사용정도, CPU사용정도, 또는 메모리 사용정도 중 어느 하나의 것이 기준치보다 더 높으면 자체적으로 모니터링 주기를 더 짧게 설정하고, 기준치 이내이면 상기 모니터링 주기를 디폴트 값으로 설정하는 것을 특징으로 하며,
또한 상기 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법은,
사용자 단말기로부터의 파일 관리 입력 - 상기 파일 관리 입력은, 파일명 변경, 이동, 복사, 삭제, 다운로드, 업로드, 새폴더 생성, 또는 퍼미션 변경 중 하나임 - 에 응답하여 상기 분산 처리 시스템 내 저장되어 있는 파일 중 적어도 하나에 대한 파일 이벤트를 실행시키는 단계;
를 포함하되,
상기 사용자 단말기로부터의 파일 관리 입력은 상기 서비스 서버에 의해 제공되는 웹 기반의 제2 사용자 인터페이스 - 상기 제2 사용자 인터페이스에는, 특정 파일을 검색할 수 있는 검색창, 파일 관리 입력을 위한 메뉴들, 디렉토리명, 파일명, 파일 크기, 유저, 그룹, 퍼미션, 및 날짜가 표시됨 - 를 통해 이루어지며,
상기 파일 이벤트를 실행시키는 단계는,
사용자 단말기로부터 파일 관리 입력을 수신하는 단계;
상기 파일 관리 입력으로부터 파일 이벤트를 분류하는 단계;
분류된 파일 이벤트에 따라 파일 이벤트를 실행시키는 단계;
를 포함하는 것을 특징으로 하는,
웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 서비스 서버가 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법을 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 서비스 서버는 분산 처리 시스템과 연결된 것을 특징으로 하고,
상기 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법은,
사용자 단말기로부터의 모니터링 정보 요청에 응답하여 상기 분산 처리 시스템에 대한 모니터링 정보 - 상기 분산 처리 시스템에 대한 모니터링 정보는 디스크 사용정도, CPU 사용정도, 메모리 사용정도, 및 네트워크 사용정도를 포함함 - 를 제공하는 단계;
를 포함하되,
사용자 단말기로부터의 모니터링 정보 요청 수신, 및 상기 사용자 단말기로의 모니터링 정보 제공은 상기 서비스 서버에 의해 제공되는 웹 기반의 제1 사용자 인터페이스 - 상기 제1 사용자 인터페이스에는, 네임 노드 및 데이터노드의 현재 상태, 데이터노드의 블록 개수, 블록 에러의 개수, 전체 파일의 개수, 전체 디렉토리 개수, 디스크 사용정도, CPU 사용정도, 메모리 사용정도, 및 네트워크 사용정도가 표시됨 - 를 통해 이루어지고,
상기 분산 처리 시스템은 네임노드 및 데이터노드를 포함하되,
상기 네임노드는, 하둡의 메타데이터 - 상기 메타데이터는, 블록들이 저장되는 디렉토리 이름 및 파일명을 포함함 - 를 관리하고, 외부로부터 접근 요청이 있는 경우 상기 메타데이터를 이용하여 상기 하둡에 저장된 파일에 접근이 가능하도록 하고,
상기 데이터노드는, 대용량의 데이터들이 분산 저장하는 공간으로서, 상기 데이터노드에 저장되어 있는 블록의 정보를 네임노드로 전송하는 것을 특징으로 하며,
상기 서비스 서버는, 상기 네임노드 측으로 상기 네임노드가 상기 데이터노드들로부터 수신한 메타데이터를 요청함으로써 상기 분산 처리 시스템의 최신 상태 정보들을 수집하되, 상기 서비스 서버는 디스크 사용정도, CPU사용정도, 또는 메모리 사용정도 중 어느 하나의 것이 기준치보다 더 높으면 자체적으로 모니터링 주기를 더 짧게 설정하고, 기준치 이내이면 상기 모니터링 주기를 디폴트 값으로 설정하는 것을 특징으로 하며,
또한 상기 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법은,
사용자 단말기로부터의 파일 관리 입력 - 상기 파일 관리 입력은, 파일명 변경, 이동, 복사, 삭제, 다운로드, 업로드, 새폴더 생성, 또는 퍼미션 변경 중 하나임 - 에 응답하여 상기 분산 처리 시스템 내 저장되어 있는 파일 중 적어도 하나에 대한 파일 이벤트를 실행시키는 단계;
를 포함하되,
상기 사용자 단말기로부터의 파일 관리 입력은 상기 서비스 서버에 의해 제공되는 웹 기반의 제2 사용자 인터페이스 - 상기 제2 사용자 인터페이스에는, 특정 파일을 검색할 수 있는 검색창, 파일 관리 입력을 위한 메뉴들, 디렉토리명, 파일명, 파일 크기, 유저, 그룹, 퍼미션, 및 날짜가 표시됨 - 를 통해 이루어지며,
상기 파일 이벤트를 실행시키는 단계는,
사용자 단말기로부터 파일 관리 입력을 수신하는 단계;
상기 파일 관리 입력으로부터 파일 이벤트를 분류하는 단계;
분류된 파일 이벤트에 따라 파일 이벤트를 실행시키는 단계;
를 포함하는 것을 특징으로 하는,
컴퓨터 판독 가능한 저장 매체.
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190158774A KR102178121B1 (ko) | 2019-12-03 | 2019-12-03 | 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법 및 이를 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190158774A KR102178121B1 (ko) | 2019-12-03 | 2019-12-03 | 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법 및 이를 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102178121B1 true KR102178121B1 (ko) | 2020-11-12 |
Family
ID=73398687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190158774A KR102178121B1 (ko) | 2019-12-03 | 2019-12-03 | 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법 및 이를 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102178121B1 (ko) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100792240B1 (ko) * | 2007-04-05 | 2008-01-07 | 김재홍 | 멀티 비전 구현 방법 및 그 시스템 |
KR20150043377A (ko) * | 2012-08-07 | 2015-04-22 | 어드밴스드 마이크로 디바이시즈, 인코포레이티드 | 클라우드 컴퓨팅 시스템을 튜닝하는 시스템 및 방법 |
KR20150104585A (ko) * | 2013-01-07 | 2015-09-15 | 페이스북, 인크. | 분산형 데이터베이스 쿼리 엔진을 위한 시스템 및 방법 |
KR101641179B1 (ko) | 2015-12-31 | 2016-07-20 | 아이씨티웨이주식회사 | 대용량 공간데이터 분산 처리 방법 및 이를 위한 분산 처리 서버 |
KR20170013592A (ko) * | 2015-07-28 | 2017-02-07 | 디포커스 (주) | 하둡 기반의 어플라이언스 관리 시스템 |
KR20190061247A (ko) * | 2017-11-27 | 2019-06-05 | (주) 글루시스 | 빅데이터 처리 플랫폼의 실시간 자원 사용률 모니터링 시스템 |
-
2019
- 2019-12-03 KR KR1020190158774A patent/KR102178121B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100792240B1 (ko) * | 2007-04-05 | 2008-01-07 | 김재홍 | 멀티 비전 구현 방법 및 그 시스템 |
KR20150043377A (ko) * | 2012-08-07 | 2015-04-22 | 어드밴스드 마이크로 디바이시즈, 인코포레이티드 | 클라우드 컴퓨팅 시스템을 튜닝하는 시스템 및 방법 |
KR20150104585A (ko) * | 2013-01-07 | 2015-09-15 | 페이스북, 인크. | 분산형 데이터베이스 쿼리 엔진을 위한 시스템 및 방법 |
KR20170013592A (ko) * | 2015-07-28 | 2017-02-07 | 디포커스 (주) | 하둡 기반의 어플라이언스 관리 시스템 |
KR101641179B1 (ko) | 2015-12-31 | 2016-07-20 | 아이씨티웨이주식회사 | 대용량 공간데이터 분산 처리 방법 및 이를 위한 분산 처리 서버 |
KR20190061247A (ko) * | 2017-11-27 | 2019-06-05 | (주) 글루시스 | 빅데이터 처리 플랫폼의 실시간 자원 사용률 모니터링 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200218693A1 (en) | Data storage system for analysis of data across heterogeneous information management systems | |
US11294786B2 (en) | Management of internet of things devices | |
US11314618B2 (en) | Management of internet of things devices | |
US11204900B2 (en) | Request routing and query processing in a sharded database | |
US11995336B2 (en) | Bucket views | |
US12001688B2 (en) | Utilizing data views to optimize secure data access in a storage system | |
US9489443B1 (en) | Scheduling of splits and moves of database partitions | |
Abourezq et al. | Database-as-a-service for big data: An overview | |
US10102211B2 (en) | Systems and methods for multi-threaded shadow migration | |
US9305010B1 (en) | Virtual file system providing interface between analytics platform and physical file system | |
Lai et al. | Towards a framework for large-scale multimedia data storage and processing on Hadoop platform | |
US20210055885A1 (en) | Enhanced data access using composite data views | |
US9460151B2 (en) | System and methods to configure a query language using an operator dictionary | |
US10628298B1 (en) | Resumable garbage collection | |
US10929100B2 (en) | Mitigating causality discrepancies caused by stale versioning | |
WO2019226652A1 (en) | Auto-scaling a software application | |
KR20130097447A (ko) | 클라우드 서비스를 이용하기 위한 단말기 및 방법 | |
WO2017011015A1 (en) | Distributed file system with tenant file system entity | |
US20210240666A1 (en) | Displaying an alert and options when deleting a file that is associated with a sequence of files | |
KR102178121B1 (ko) | 웹 기반의 공간 빅데이터 관리 서비스를 제공하는 방법 및 이를 수행하기 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 | |
US20210397599A1 (en) | Techniques for generating a consistent view of an eventually consistent database | |
US10289495B1 (en) | Method and system for performing an item level restore from a backup | |
US11836125B1 (en) | Scalable database dependency monitoring and visualization system | |
US10657109B1 (en) | Method and system for sharepoint backup for disaster restore | |
EP4325365A1 (en) | Monitoring energy consumption associated with users of a distributed computing system using tracing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |