KR101597045B1 - 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법 - Google Patents

Abstract

본 발명은 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법을 제공하기 위한 것으로, URL 정보를 기초로 빅데이터를 처리할 때 발생하는 대량의 데이터를 병렬 처리하여 병목구간을 없애고 화면에 고속으로 분배하여 빠르고 안정적인 검색정보 출력이 가능하게 된다.

Description

빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법{Apparatus and method for serial output by multi process distribution of big data}

본 발명은 빅데이터의 분배 및 출력 처리에 관한 것으로, 특히 URL(Uniform Resource Locator) 정보를 기초로 빅데이터를 처리할 때 발생하는 대량의 데이터를 병렬 처리하여 병목구간을 없애고 화면에 고속으로 분배하여 빠르고 안정적인 검색정보 출력이 가능하도록 하기에 적당하도록 한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법에 관한 것이다.

일반적으로 빅데이터는 데이터의 생성 양ㆍ주기ㆍ형식 등이 방대한 데이터이다. 이러한 빅데이터는 데이터의 생성 양ㆍ주기ㆍ형식 등이 기존 데이터에 비해 너무 크기 때문에, 종래의 방법으로는 수집ㆍ저장ㆍ검색ㆍ분석이 어려운 방대한 데이터를 말한다. 빅데이터는 각종 센서와 인터넷의 발달로 데이터가 늘어나면서 나타났다. 컴퓨터 및 처리기술이 발달함에 따라 디지털 환경에서 생성되는 빅데이터와 이 데이터를 기반으로 분석할 경우 질병이나 사회현상의 변화에 관한 새로운 시각이나 법칙을 발견할 가능성이 커졌다. 빅데이터는 초대용량의 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(velocity)라는 뜻에서 3V라고도 불리며, 여기에 네 번째 특징으로 가치(value)를 더해 4V라고 정의하기도 한다. 빅데이터에서 가치(value)가 중요 특징으로 등장한 것은 엄청난 규모뿐만 아니라 빅데이터의 대부분은 비정형적인 텍스트와 이미지 등으로 이루어져 있고, 이러한 데이터들은 시간이 지나면서 매우 빠르게 전파하며 변함에 따라 그 전체를 파악하고 일정한 패턴을 발견하기가 어렵게 되면서 가치(value) 창출의 중요성이 강조되었기 때문이다.

도 1은 종래 URL 빅데이터의 분배와 출력 장치의 블록구성도이다.

여기서 참조번호 10은 웹 사이트이고, 20은 데이터 순차분배부, 21은 순차처리 프로세서, 22는 공유메모리, 30은 검색정보 출력부, 31은 화면이다.

그래서 데이터 순차분배부(20)의 순차처리 프로세서(21)에서는 웹 사이트(10)로부터 URL 정보를 포함한 정보를 순차적으로 수신(Serial Receive)하고, 공유 메모리(22)에 수신한 URL 기반 정보를 순차적으로 저장(Serial Write)한다. 그리고 데이터 순차분배부(20)는 검색정보 출력부(31)의 복수개의 화면(31)에 저장된 URL 기반 정보를 출력한다.

이렇게 데이터를 순차적으로 처리하는 이유는 빅데이터를 분석하기 위해 URL 정보를 기반으로 하는데, URL 정보의 특성상 일부 값의 전송 오류가 발생하게 되면 전체 데이터를 신뢰할 수 없게 되어 빅데이터 처리에서의 심각한 오류가 발생하기 때문이다.

따라서 URL 기반의 빅데이터 처리에서의 오류를 방지하기 위해서 데이터 순차분배부(22)에서는 병렬처리가 아닌 단일 프로세스로 하나하나씩 URL 데이터 값을 읽어 복수개의 화면(31)에 각각 출력시키게 된 것이다.

그러나 종래기술은 URL 기반으로 웹 사이트(10)에 올라가는 정보가 정세 변동이나 정책 변동에 의해 순간적으로 급증하는 경우, 데이터 처리시 병목현상이 발생하거나 화면 출력 부하로 인하여 URL 기반 빅데이터를 통한 검색정보를 원활하게 출력하지 못하는 현상이 발생하는 문제점이 있었다.

또한 종래기술에는 한국공개특허 제 2014-0102457 호의 "질의 분할을 이용한 데이터 스트림 처리 장치 및 방법"이 개시된 바 있다. 이는 분할된 서브 질의들을 복수의 데이터 스트림 처리 장치에서 분할/병렬 처리하도록 한 질의 분할을 이용한 데이터 스트림 처리 장치 및 방법을 제시한 것인데, 이는 본 발명에서 해결하고자 하는 URL 정보를 기초로 빅데이터를 처리하는 내용은 제시하지 못한 한계가 있다.

KR 10-2014-0102457 A

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 URL 정보를 기초로 빅데이터를 처리할 때 발생하는 대량의 데이터를 병렬 처리하여 병목구간을 없애고 화면에 고속으로 분배하여 빠르고 안정적인 검색정보 출력이 가능한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법을 제공하는데 있다.

도 2는 본 발명의 일 실시예에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치의 블록구성도이고, 도 3는 도 2에서 빅데이터의 멀티프로세스 분배를 통한 순차 출력의 처리흐름을 보인 개념도이다.

이에 도시된 바와 같이, TCP(Transmission Control Protocol) 소켓(210)을 통해 웹 사이트(100)로부터 URL 기반 빅데이터의 데이터 종류별로 URL처리 프로세서(410)를 띄워 병렬 방식으로 URL 기반 빅데이터를 전송받아 처리하도록 제어하는 메인프로세서(200)와; 상기 메인프로세서(200)의 제어를 받고, 화면 실행 및 관리가 수행되도록 하는 화면 실행 및 관리부(300)와; 상기 메인프로세서(200)의 제어를 받고, URL처리 프로세서(410)를 가동시켜 UDP(User Datagram Protocol) 소켓(420)을 통해 상기 웹 사이트(100)로부터의 종류별 URL 기반 빅데이터를 병렬 방식으로 수신하고, URL 기반 빅데이터에서 미리 입력된 URL 기반 검색 조건과 매칭되는 검색 결과를 추출하여 공유메모리(430)에 병렬 방식으로 저장하며, 검색정보 순차출력부(500)의 화면로더부(510)에 검색결과를 시리얼 방식으로 분배하는 URL데이터 분배부(400)와; 상기 URL데이터 분배부(400)로부터 각각의 URL 기반 검색결과를 시리얼 방식으로 분배받아 출력시키는 화면로더부(510)를 구비한 검색정보 순차출력부(500);를 포함하여 구성된 것을 특징으로 한다.

상기 URL데이터 분배부(400)는, 스레드(Thread)의 메시지 큐를 이용하여 상기 검색정보 순차출력부(500)의 화면로더부(510) 중에서 검색정보 갱신을 요청한 화면로더부(510)의 메인 메시지 큐로 전송하고, 전송하는 인자는 공유메모리 옵셋(Offset) 값이며, 상기 공유메모리(430)는 상기 URL처리 프로세서(410)에 의해 병렬 방식으로 쓰여진 URL 기반 빅데이터를 순환 큐(Queue) 방식으로 관리하는 것을 특징으로 한다.

상기 검색정보 순차출력부(500)의 화면로더부(510)는, 스레드의 메시지 큐를 이용하여 상기 공유메모리(430)에 먼저 쓰여진 데이터를 순차적으로 처리하는 것을 특징으로 한다.

도 4는 본 발명의 일 실시예에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 방법을 보인 흐름도이다.

이에 도시된 바와 같이, URL데이터 분배부(400)에서는 웹 사이트(100)의 URL 기반 빅데이터의 데이터 종류별로 URL처리 프로세서(410)를 띄워서 병렬 방식으로 URL 기반 빅데이터를 수신하여 URL 기반의 검색 조건과 매칭되는 빅데이터에 대한 검색 결과를 추출하는 제 1 단계(ST1)와; 상기 제 1 단계 후 공유메모리(430)는 순환 큐 방식으로 저장된 URL 기반의 검색 결과 데이터를 관리하는 제 2 단계(ST2)와; 상기 제 2 단계 후 상기 공유메모리(430)에 쓰여진 URL 기반 검색 결과 데이터는 상기 URL데이터 분배부(400)에 의해 빅데이터 검색 결과를 요청한 검색정보 순차출력부(500)의 화면로더부(510)의 메인 메시지 큐로 전송되고, 이때 전송되는 인자는 공유메모리 옵셋 값인 제 3 단계(ST3)와; 상기 제 3 단계 후 상기 화면로더부(510)에서는 상기 공유메모리(430)에 저장된 URL 기반 빅데이터 검색 결과를 시리얼 방식으로 수신한 다음 스레드의 메시지 큐를 이용하여 먼저 쓰여진 데이터를 순차적으로 처리하여 URL 검색 결과 데이터를 화면에 출력시키는 제 4 단계(ST4);를 포함하여 수행하는 것을 특징으로 한다.

본 발명에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법은 URL 정보를 기초로 빅데이터를 처리할 때 발생하는 대량의 데이터를 병렬 처리하여 병목구간을 없애고 화면에 고속으로 분배하여 빠르고 안정적인 검색정보 출력이 가능한 효과가 있게 된다.

도 1은 종래 URL 빅데이터의 분배와 출력 장치의 블록구성도이다.
도 2는 본 발명의 일 실시예에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치의 블록구성도이다.
도 3는 도 2에서 빅데이터의 멀티프로세스 분배를 통한 순차 출력의 처리흐름을 보인 개념도이다.
도 4는 본 발명의 일 실시예에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 방법을 보인 흐름도이다.

이와 같이 구성된 본 발명에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치 및 그 방법의 바람직한 실시예를 첨부한 도면에 의거하여 상세히 설명하면 다음과 같다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있으며, 이에 따라 각 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 해석되어야 할 것이다.

먼저 본 발명은 URL 정보를 기초로 빅데이터를 처리할 때 발생하는 대량의 데이터를 병렬 처리하여 병목구간을 없애고 화면에 고속으로 분배하여 빠르고 안정적인 검색정보 출력이 가능하게 하고자 한 것이다.

도 2는 본 발명의 일 실시예에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치의 블록구성도이고, 도 3는 도 2에서 빅데이터의 멀티프로세스 분배를 통한 순차 출력의 처리흐름을 보인 개념도이다.

메인프로세서(200)는 웹 사이트(100)로부터 URL 기반 빅데이터의 데이터 종류별로 URL처리 프로세서(410)를 띄워 병렬 방식으로 URL 기반 빅데이터를 전송받아 처리하도록 제어한다. 또한 메인 프로세서(210)의 TCP(Transmission Control Protocol) 소켓(210)은 웹 사이트(100)로부터 데이터 종류별로 URL 기반 빅데이터를 전달받아 메인프로세서(200)에서 처리될 수 있도록 한다.

화면 실행 및 관리부(300)는 메인프로세서(200)의 제어를 받고, 화면 실행 및 관리가 수행되도록 한다.

URL데이터 분배부(400)는 메인프로세서(200)의 제어를 받고, URL처리 프로세서(410)를 가동시켜 UDP(User Datagram Protocol) 소켓(420)을 통해 웹 사이트(100)로부터의 종류별 URL 기반 빅데이터를 병렬 방식으로 수신하고, URL 기반 빅데이터에서 미리 입력된 URL 기반 검색 조건과 매칭되는 검색 결과를 추출하여 공유메모리(430)에 병렬 방식으로 저장하며, 검색정보 순차출력부(500)의 화면로더부(510)에 검색결과를 시리얼 방식으로 분배한다. 또한 URL데이터 분배부(400)는 스레드(Thread)의 메시지 큐를 이용하여 검색정보 순차출력부(500)의 화면로더부(510) 중에서 검색정보 갱신을 요청한 화면로더부(510)의 메인 메시지 큐로 전송하고, 전송하는 인자는 공유메모리 옵셋(Offset) 값이며, 공유메모리(430)는 URL처리 프로세서(410)에 의해 병렬 방식으로 쓰여진 URL 기반 빅데이터를 순환 큐(Queue) 방식으로 관리한다.

검색정보 순차출력부(500)는 URL데이터 분배부(400)로부터 각각의 URL 기반 검색결과를 시리얼 방식으로 분배받아 출력시키는 화면로더부(510)를 구비한다. 또한 화면로더부(510)는 스레드의 메시지 큐를 이용하여 공유메모리(430)에 먼저 쓰여진 데이터를 순차적으로 처리한다.

또한 본 발명은 GDI(Graphics Device Interface) 객체 등의 리소스를 공유하기 때문에 전체 자원을 적게 차지하게 된다. 또한 프로세서 내에서 공통데이터를 관리하기가 용이하며, 화면 로딩 속도가 빠르게 된다.

도 4는 본 발명의 일 실시예에 의한 빅데이터의 멀티프로세스 분배를 통한 순차 출력 방법을 보인 흐름도이다.

먼저 URL데이터 분배부(400)에서는 웹 사이트(100)의 URL 기반 빅데이터의 데이터 종류별로 URL처리 프로세서(410)를 띄워서 병렬 방식으로 URL 기반 빅데이터를 수신하여 URL 기반의 검색 조건과 매칭되는 빅데이터에 대한 검색 결과를 추출한다(ST1).

그리고 공유메모리(430)는 순환 큐 방식으로 저장된 URL 기반의 검색 결과 데이터를 관리한다(ST2).

또한 공유메모리(430)에 쓰여진 URL 기반 검색 결과 데이터는 URL데이터 분배부(400)에 의해 빅데이터 검색 결과를 요청한 검색정보 순차출력부(500)의 화면로더부(510)의 메인 메시지 큐로 전송된다(ST3). 이때 전송되는 인자는 공유메모리 옵셋 값이다.

그래서 화면로더부(510)에서는 공유메모리(430)에 저장된 URL 기반 빅데이터 검색 결과를 시리얼(Serial) 방식으로 수신한 다음 스레드의 메시지 큐를 이용하여 먼저 쓰여진 데이터를 순차적으로 처리하여 URL 검색 결과 데이터를 화면에 출력시킨다(ST4).

또한 본 발명에 의해 URL 기반 빅데이터를 병렬 방식으로 처리하게 되면 다음과 같은 특징이 있다.

즉, 병렬프로세스 아키텍처(화면 독립실행)에 의해 설령 일부 화면에 오류가 발생했다할지라도 오류가 난 화면만 다운되며 다른 화면은 다운되지 않게 된다. 또한 특정 화면(예, 특정 URL 기반 검색어 출력 화면)이 대량의 빅데이터로 인해 느려지더라도 다른 화면이 영향을 받지 않는다. 또한 병렬로 URL 기반 빅데이터의 처리가 가능하며, 화면에서 동시에 접근이 가능하다. 그리고 화면 별로 프로세스 Priority(우선실행) 적용이 가능하다. CPU 코어의 개수가 많을수록 좋은 성능을 발휘한다. 프로세스 단위는 OS가 부하를 적절히 조절하여 Idle 상태의 코어에 일을 할당하기 때문에 부하조절을 위한 복잡한 코딩이 필요가 없다.(코어단위의 부하 조절) 스레드는 기본적으로 생성된 프로세스 내에서 부하 조절이 이루어지며, 스레드 생성시 코딩을 통해 멀티코어를 이용한다 하더라도 다시 Idle 상태 등에 빠지게 되면 해당 프로세스 내에서 부하조절이 된다. 프로세스는 멀티코어 중 1개를 독점하여 사용 할 수 있다.(예를 들어 쿼드코어 이면 CPU 점유율 25%까지 사용가능) GDI 객체(화면을 그리기 위한 객체) 및 USER 객체(Window 등)는 프로세스 단위로 독립되어 있다.

이처럼 본 발명은 URL 정보를 기초로 빅데이터를 처리할 때 발생하는 대량의 데이터를 병렬 처리하여 병목구간을 없애고 화면에 고속으로 분배하여 빠르고 안정적인 검색정보 출력이 가능하게 되는 것이다.

이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술적 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 웹 사이트
200 : 메인프로세서
210 : TCP 소켓
300 : 화면 실행 및 관리부
400 : URL데이터 분배부
410 : URL처리 프로세서
420 : UDP 소켓
430 : 공유메모리
500 : 검색정보 순차출력부
510 : 화면로더부

Claims (4)

1. TCP 소켓(210)을 통해 웹 사이트(100)로부터 URL 기반 빅데이터의 데이터 종류별로 URL처리 프로세서(410)를 띄워 병렬 방식으로 URL 기반 빅데이터를 전송받아 처리하도록 제어하는 메인프로세서(200)와;
   상기 메인프로세서(200)의 제어를 받고, 화면 실행 및 관리가 수행되도록 하는 화면 실행 및 관리부(300)와;
   상기 메인프로세서(200)의 제어를 받고, URL처리 프로세서(410)를 가동시켜 UDP 소켓(420)을 통해 상기 웹 사이트(100)로부터의 종류별 URL 기반 빅데이터를 병렬 방식으로 수신하고, URL 기반 빅데이터에서 미리 입력된 URL 기반 검색 조건과 매칭되는 검색 결과를 추출하여 공유메모리(430)에 병렬 방식으로 저장하며, 검색정보 순차출력부(500)의 화면로더부(510)에 검색결과를 시리얼 방식으로 분배하는 URL데이터 분배부(400)와;
   상기 URL데이터 분배부(400)로부터 각각의 URL 기반 검색결과를 시리얼 방식으로 분배받아 출력시키는 화면로더부(510)를 구비한 검색정보 순차출력부(500);
   를 포함하여 구성되고,
   상기 URL데이터 분배부(400)는,
   스레드의 메시지 큐를 이용하여 상기 검색정보 순차출력부(500)의 화면로더부(510) 중에서 검색정보 갱신을 요청한 화면로더부(510)의 메인 메시지 큐로 전송하고, 전송하는 인자는 공유메모리 옵셋 값이며, 상기 공유메모리(430)는 상기 URL처리 프로세서(410)에 의해 병렬 방식으로 쓰여진 URL 기반 빅데이터를 순환 큐 방식으로 관리하고,
   상기 검색정보 순차출력부(500)의 화면로더부(510)는,
   스레드의 메시지 큐를 이용하여 상기 공유메모리(430)에 먼저 쓰여진 데이터를 순차적으로 처리하는 것을 특징으로 하는 빅데이터의 멀티프로세스 분배를 통한 순차 출력 장치.
   
2. 삭제
3. 삭제
4. 삭제

Images