KR101892351B1 - 스마트 팩토리를 위한 빅데이터 분석 시스템 - Google Patents

Abstract

연속공정에서 수집된 대용량의 데이터를 분산파일 시스템 기반의 빅데이터 저장소에 저장할 수 있는 본 발명의 일 실시예에 따른 스마트팩토리를 위한 빅데이터 분석 시스템은, 복수의 공정이 연결되는 연속공정에서 수집된 수집 데이터를 처리하기 위한 스마트팩토리를 위한 빅데이터 분석 시스템으로서, 상기 연속공정에서 수집된 데이터들 중 각 공정 별 부하 데이터를 독출하는 제1 정렬 데이터 페치 유닛; 상기 부하 데이터를 파일로 생성하는 파일 생성유닛; 및 상기 파일 생성유닛에 의해 생성된 파일이 저장되는 빅데이터 저장소를 포함하는 것을 특징으로 한다.

Description

스마트 팩토리를 위한 빅데이터 분석 시스템{Big Data Analysis System for Smart Factory}

본 발명은 공장 데이터 처리에 관한 것으로서, 보다 구체적으로는 연속공정용 대용량 데이터의 실시간 처리에 관한 것이다.

원재료를 이용하여 완제품을 생성하기 위한 복수개의 공정들이 연속적으로 수행되고, 각 공정의 산출물들이 서로 혼합되거나 특정 공정의 산출물의 상태가 변화하여 후속 공정으로 공급되는 것과 같이, 각 공정들이 서로 관련되어 있는 생산 방식을 연속공정 생산방식이라 한다. 철강산업, 에너지산업, 제지산업, 또는 정유산업 등이 연속공정 생산 방식이 적용되는 대표적인 산업들이다.

예컨대, 철강산업은 제선공정, 제강공정, 연주공정 및 압연공정 등과 같은 복수개의 공정으로 이루어진다. 제선공정은 쇳물(용선)을 생산하는 공정으로서, 철광석을 고로에 넣고 원료탄이 타면서 나오는 열에 의해 철광석을 녹인다. 제강공정은 쇳물에서 불순물을 제거하는 공정으로, 전로 속에 고철과 용선을 함께 넣은 후 산소를 불어 넣어 불순물을 제거한다. 연주공정은 액체상태의 철이 고체가 되는 공정으로, 불순물이 제거된 용강을 주형(mold)에 주입하고 연속 주조기를 통과하면서 냉각, 응고되어 슬래브, 블룸, 또는 빌릿 등과 같은 중간 소재로 만들어진다. 압연공정은 철을 강판이나 선재로 만드는 공정으로, 연주공정에서 생산된 슬래브, 블룸, 또는 빌릿을 롤(Roll) 사이로 통과시켜 늘리거나 얇게 만들어 강판을 생산한다.

이러한 연속공정 생산방식이 적용되는 산업의 경우, 단일공정 생산방식이 적용되는 산업과 달리, 원재료 또는 중간재가 고속으로 이동하기 때문에 데이터 수집주기가 짧고 데이터의 양이 많을 뿐만 아니라, 소음, 먼지, 수분 등이 많은 공장 환경에서 제품이 생산되기 때문에 계측이상이 자주 발생하고, 작업 방법에 따라 중간재들이 서로 혼합되거나 소재의 위치가 이동한다는 특성이 있다.

이에 따라, 연속공정이 생산방식이 적용되는 산업의 경우 대용량의 데이터를 실시간으로 처리할 수 있고, 각 공정 별로 발생된 데이터들 간의 연관관계를 분석할 수 있는 시스템이 요구된다.

하지만, 대한민국 공개특허공보 제10-2015-0033847호(발명의 명칭: 실시간 공장상황을 반영한 디지털 팩토리 생산능력 관리 시스템, 2015.04.02. 공개) 등에 개시되어 있는 일반적인 공장 데이터 처리 시스템(예컨대, 철강 데이터 처리 시스템)은 단일 공정에서 발생하는 데이터의 처리 및 분석을 위한 것이기 때문에, 연속 공정에서 발생하는 대용량의 데이터를 실시간으로 처리할 수 없을 뿐만 아니라, 각 공정별로 발생된 데이터들 간의 연관관계를 분석할 수 없다는 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 연속공정에서 수집된 대용량의 데이터를 분산파일 시스템 기반의 빅데이터 저장소에 저장할 수 있는 스마트팩토리를 위한 빅데이터 분석 시스템을 제공하는 것을 그 기술적 특징으로 한다.

또한, 본 발명은 연속공정에서 수집된 데이터를 부하 데이터와 무부하 데이터로 구분하여 분산파일 시스템에 저장할 수 있는 스마트팩토리를 위한 빅데이터 분석 시스템을 제공하는 것을 다른 기술적 과제로 한다.

또한, 본 발명은 연속공정에서 수집된 데이터를 미리 정해진 건수 단위로 분할하여 저장할 수 있는 스마트팩토리를 위한 빅데이터 분석 시스템을 제공하는 것을 또 다른 기술적 과제로 한다.

또한, 본 발명은 연속공정에서 수집된 데이터를 파일로 가공하는 작업을 병렬적으로 처리할 수 있는 스마트팩토리를 위한 빅데이터 분석 시스템을 제공하는 것을 또 다른 기술적 과제로 한다.

상기 목적을 달성하기 위해서, 본 발명의 일 실시예에 따른 스마트팩토리를 위한 빅데이터 분석 시스템은, 복수의 공정이 연결되는 연속공정에서 수집된 수집 데이터를 처리하기 위한 스마트팩토리를 위한 빅데이터 분석 시스템으로서, 상기 연속공정에서 수집된 데이터들 중 각 공정 별 부하 데이터를 독출하는 제1 정렬 데이터 페치 유닛; 상기 부하 데이터를 파일로 생성하는 파일 생성유닛; 및 상기 파일 생성유닛에 의해 생성된 파일이 저장되는 빅데이터 저장소를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 연속공정에서 수집된 대용량의 데이터를 분산파일시스템 기반의 빅데이터 저장소에 저장하기 때문에, 현재 수집되고 있는 마이크로 데이터를 실시간으로 처리할 수 있다는 효과가 있다.

또한, 본 발명에 따르면, 연속공정에서 수집된 데이터를 부하 데이터와 무부하 데이터로 구분하여 분산파일 시스템에 저장하기 때문에, 파일 조회 속도를 개선할 수 있고 파일 조회시, 무부하 데이터를 스캔할 필요가 없어 쿼리 수행 시간을 단축할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 연속공정에서 수집된 데이터를 미리 정해진 건수 단위로 분할하여 저장하기 때문에 연속공정에서 발생된 데이터가 임시로 저장되는 메모리 큐의 아웃오브 메모리 발생을 미연에 방지할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 연속공정에서 수집된 데이터를 파일로 가공하는 파일 생성 유닛을 복수개로 구현함으로써 파일 생성 작업을 병렬적으로 처리할 수 있어 처리 속도를 더욱 향상시킬 수 있다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 연속공정용 데이터를 실시간으로 처리하는 분산병렬처리시스템을 포함하는 스마트팩토리 아키텍처를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 인터페이스 시스템의 구성을 보여주는 블록도이다.
도 3은 복수개의 인터페이스 프로세싱부 및 복수개의 큐 저장부를 포함하는 인터페이스 시스템의 구성을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 분산병렬처리시스템의 구성을 구체적으로 나타내는 도면이다.
도 5는 복수개의 실시간 프로세싱부 및 복수개의 메모리부를 포함하는 분산병렬처리시스템의 구성을 보여주는 도면이다.
도 6은 데이터 매핑 및 정렬 작업의 분산병렬처리방법을 예시적으로 보여주는 개념도이다.
도 7은 본 발명의 실시예에 따른 빅데이터 분석 시스템의 구성을 구체적으로 나타내는 도면이다.
도 8은 본 발명의 다른 실시예에 따른 빅데이터 분석 시스템의 구성을 구체적으로 나타내는 도면이다.
도 9는 부하 데이터와 무부하 데이터의 예시를 보여주는 도면이다.

이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.

본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.

도 1은 본 발명의 일 실시예에 따른 연속공정용 데이터를 실시간으로 처리하는 분산병렬처리시스템을 포함하는 스마트팩토리 아키텍처를 보여주는 도면이다.

도 1에 도시된 바와 같이, 본 발명에 따른 스마트팩토리 아키텍쳐는, 데이터 수집 장치(1), 네트워크(2), 스마트팩토리 플랫폼(1000), 및 어플리케이션 시스템(3)과 같은 계층으로 구성된다.

데이터 수집 장치(1)는 연속공정에서 발생되는 데이터를 수집한다. 일 실시예에 있어서, 연속공정이란 원재료를 이용하여 완제품을 생성하기 위한 복수개의 공정들이 연속적으로 수행되고, 각 공정의 산출물들이 서로 혼합되거나 특정 공정의 산출물의 상태가 변화하여 후속 공정으로 공급되는 방식의 공정을 의미한다. 철강공정이 이러한 연속공정의 대표적인 예에 해당한다. 이하에서는 설명의 편의를 위해, 연속공정이 철강공정인 것으로 가정하여 설명하기로 한다.

철강공정은 제선공정, 제강공정, 연주공정, 및 압연공정 등과 같은 다양한 공정으로 구성되므로, 데이터 수집 장치(10)는 제선공정, 제강공정, 연주공정, 및 압연공정 등과 같은 다양한 공정의 진행 과정에서 발생되는 마이크로 데이터(Micro Data)를 수집한다. 여기서, 마이크로 데이터는 다양한 센서 등을 통해 수집된 데이터 그 자체로서 원시 데이터(Raw Data)를 의미한다. 이하에서는, 설명의 편의를 위해 마이크로 데이터를 수집 데이터로 표기하기로 한다.

이를 위해, 데이터 수집 장치(1)는 데이터를 수집하기 위한 다양한 계측기, 센서, 액츄에이터 등을 포함한다. 데이터 수집 장치(1)는 계측기, 센서, 액츄에이터 등에 의해 수집된 데이터를 통합하거나 제어하는 P/C, PLC(Programmable Logic Controller), DCS(Distributed Control System) 등을 더 포함할 수 있다.

네트워크(2)는 데이터 수집 장치(1)에서 수집된 대용량의 데이터를 스마트팩토리 플랫폼(1000)으로 전달한다. 일 실시예에 있어서, 본 발명에 따른 네트워크(2)는 네트워크 케이블, 게이트웨이, 라우터, 또는 무선 AP(Access Point) 등을 포함할 수 있으나 이에 한정되는 것은 아니다.

스마트팩토리 플랫폼(1000)은 데이터 수집 장치(1)에서 수집된 대용량의 수집 데이터를 네트워크(2)를 통해 수신한다. 스마트팩토리 플랫폼(1000)은 수신된 대용량의 수집 데이터를 실시간으로 처리한다. 또한, 스마트팩토리 플랫폼(100)은 처리된 수집 데이터를 기초로 설비 또는 재료 등의 이상유무를 실시간으로 판단할 뿐만 아니라 빅데이터 분석을 위해 수집 데이터를 빅데이터 저장부(미도시)에 저장하며, 저장된 데이터에 대한 조회 및 분석 서비스를 제공한다.

일 실시예에 있어서, 본 발명에 따른 스마트팩토리 플랫폼(100)은 도 1에 도시된 바와 같이, 인터페이스 시스템(100), 분산병렬처리 시스템(200), 빅데이터 분석시스템(300)을 포함한다. 또한, 스마트팩토리 플랫폼(1000)은 서비스 시스템(400), 관리시스템(500), 및 보안시스템(500)을 더 포함할 수 있다.

인터페이스 시스템(100)은 Level 0 내지 Level 2의 이기종 장치들과 다양한 프로토콜을 통해 연결되기 위한 연결 수단을 제공하고 데이터 수집 장치(1)에서 수집된 수집 데이터를 전처리 하여 수집 데이터를 표준화한다.

이하, 도 2를 참조하여 본 발명에 따른 인터페이스 시스템(100)에 대해 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 인터페이스 시스템(100)의 구성을 보여주는 도면이다. 도 2에 도시된 바와 같이, 본 발명에 따른 인터페이스 시스템(100)은 인터페이스 프로세싱부(110) 및 큐 저장부(120)를 포함한다.

인터페이스 프로세싱부(110)는 연속공정으로부터 수집된 수집 데이터의 연계처리를 위해, 수집된 데이터들을 전처리한다. 일 실시예에 있어서, 인터페이스 프로세싱부(110)는 수집된 데이터를 표준화함으로써 수집된 데이터를 전처리할 수 있다. 이를 위해, 인터페이스 프로세싱부(110)는 도 2에 도시된 바와 같이, 수신유닛(111), 파싱유닛(112), 표준화유닛(113), 필터링유닛(114), 및 전송유닛(115)를 포함한다.

수신유닛(111)은 데이터 수집 장치(1)에 포함된 센서들에 의해 수집된 수집 데이터를 수신한다. 일 실시예에 있어서, 수신유닛(110)은 하나 이상의 통신 방식을 이용하여 수신한다. 일례로, 수신유닛(111)은 iBA, OPC(OLE for Process control), TCP/IP 등과 같은 다양한 통신방식을 이용할 수 있다. 즉, 데이터 수집 장치(1)에 포함된 센서 등의 종류에 따라서 네트워크(2)를 구성하는 각각의 게이트웨이 등에서 이용하는 통신방식이 다양할 수 있으므로, 본 발명의 실시예에 따른 수신유닛(111)은 다양한 네트워크(2)와 통신할 수 있는 모든 통신방식을 지원한다.

파싱유닛(112)은 수신유닛(111)을 통해 수신된 수집 데이터를 파싱한다.

구체적으로 데이터 수집 장치(1)에서 수집된 수집 데이터는 복수의 항목 ID를 포함하는 그룹 ID, 수집 시간, 및 복수의 측정값이 반복되는 구조를 가질 수 있다. 이 때, 항목 ID는 측정한 속성을 식별하기 위한 것으로 연속 공정 중 설비, 재료, 또는 제품의 어떤 속성을 측정한 것인지를 의미하는 값으로 온도나 습도 등이 될 수 있다. 그룹 ID는 특정 공장에서 위치 별 또는 각 공정 별로 몇 가지 항목을 그룹으로 편성한 대표값이 될 수 있다. 다만, 본 발명의 실시예에서 데이터 구조는 이에 한정되지 않으므로 그룹 ID 자체에 수집된 시간이 포함되어 있을 수도 있다.

이와 같이, 수집 데이터가 별도의 구분없이 그룹 ID, 수집 시간, 및 복수의 측정값이 반복되는 형태로 구성되어 있는 경우, 분산병렬처리 시스템(200)이 표준화되어 있지 않은 그룹 ID, 항목 ID, 및 복수의 측정값을 해석하는 과정이 별도로 필요하기 때문에, 설비의 이상 또는 제품의 품질 이상 등의 실시간 분석이 어렵게 될 수 있다.

따라서, 파싱유닛(112)은 연속공정으로부터 수집된 수집 데이터의 연계 처리를 위해, 수집된 데이터를 미리 설정된 레이아웃에 기초하여 의미있는 단위로 파싱한다.

일 실시예에 있어서, 파싱유닛(112)은 수집 데이터를 그룹 ID별로 파싱하고, 그룹 ID에 포함된 복수의 항목 ID와 복수의 측정값을 각각 매칭시켜 단일 항목 ID, 수집 시간, 및 단일 측정값을 갖는 형태의 데이터로 각각 변환할 수 있다.

이러한 실시예에 따르는 경우, 파싱유닛(112)은 수집 데이터 전문에 대한 메시지 레이아웃이 정의되어 있는 메시지 레이아웃 저장부(117)를 참조하여 수집 데이터를 파싱할 수 있다. 메시지 레이아웃 저장부(117)는 별도의 구성으로 인터페이스 프로세싱부(110) 또는 다른 장치에 포함될 수 있다. 그러나, 본 발명은 이에 한정되지 않으므로 파싱유닛(112) 내부에 메시지 레이아웃에 관한 정보가 포함되어 있을 수도 있다.

표준화유닛(113)은 파싱유닛(112)에 의해 파싱된 수집 데이터를 표준화한다. 일 실시예에 있어서, 표준화유닛(113)은 파싱유닛(112)으로부터 전달되는 단일 항목 ID, 수집된 시간, 및 단일 측정값을 갖는 각각의 수집 데이터에 대해서, 미리 설정된 표준변환기준에 따라 항목 ID를 표준항목 ID로 변환하고 측정값의 단위 및 자리수를 통일시킴으로써 파싱된 데이터를 표준화할 수 있다.

구체적으로, 데이터 수집 장치(1)에 포함된 각각의 센서 또는 액츄에이터 등은 동일한 속성을 측정하더라도 이들이 생산된 업체나 이들이 포함된 공장의 특성에 따라 서로 다른 항목 ID를 가질 수 있다. 이와 같이 서로 다른 항목 ID를 기준으로 파싱된 데이터가 그대로 분산병렬처리시스템(200)으로 전달될 경우, 표준화되어 있지 않은 항목 ID 및 복수의 측정값을 해석하는 과정이 별도로 필요하기 때문에, 설비의 이상 또는 제품의 품질 이상 등을 모니터링하는 분산병렬처리시스템(200)의 성능이 저하될 수 있다. 따라서, 본 발명의 실시예에 따른 표준화유닛(113)은 동일한 속성을 측정한 데이터가 동일한 항목 ID를 갖도록 각 수집 데이터에 포함된 항목 ID를 표준항목 ID로 변경할 수 있다.

이와 같이, 표준화유닛(113)은 서로 동일한 속성을 측정한 측정값에 대해서는 동일한 표준항목 ID를 갖도록 수집 데이터를 전처리함으로써, 각각의 표준항목 ID에 기초하여 연속공정으로부터 수집된 수집 데이터가 연계 처리될 수 있도록 한다.

또한, 데이터 수집 장치(1)를 통해 수집된 수집 데이터에 포함된 측정값의 형식은 센서나 액츄에이터와 같은 데이터 수집 장치(1)의 종류에 따라 상이할 수 있다. 그 결과, 연속공정으로부터 각각 수집된 서로 다른 형식의 수집 데이터의 연계 처리를 위해서는 각 디바이스의 종류에 따라 데이터의 단위 및 길이를 환산하는 과정을 추가로 수행해야 하기 때문에 연속공정으로부터 수집되는 대용량의 데이터를 실시간으로 연계 처리하는 것이 불가능하다. 따라서, 본 발명의 실시예에 따른 표준화유닛(113)은 분산병렬처리시스템(200)이 실시간으로 대용량의 데이터를 처리할 수 있도록 수집 데이터를 표준화한다.

표준화유닛(113)은 별도의 구성으로 인터페이스 프로세싱부(110) 또는 다른 장치에 포함된 표준 변환기준 저장부(118)를 참조하여, 항목 ID, 측정값의 단위 및 자리수를 표준화할 수 있으나, 본 발명은 이에 한정되지 않으므로 표준화유닛(113) 내부에 표준화를 위한 표준 변환기준에 관한 정보가 포함되어 있을 수 있다.

필터링유닛(114)은 미리 설정된 필터링 기준에 따라 표준화유닛(113)에서 표준화된 데이터를 큐 저장부(120)에 저장할 것인지 여부를 판단한다. 일례로, 수집된 수집 데이터의 종류에 따라 등급이 미리 설정되어 있고, 필터링유닛(114)은 상기 등급에 따라 큐 저장부(120)에 저장할 데이터 여부를 판단할 수 있다. 일 실시예에 있어서, 등급은 표준화된 데이터의 표준항목 ID를 기준으로 중요도에 따라 결정될 수 있으나 이에 한정되는 것은 아니다.

필터링유닛(114)은 큐 저장부(120)에 저장될 필요가 있는 데이터를 필터링하기 위한 기준이 저장된 필터링 기준 저장부(119)를 참조하여 표준화된 데이터를 필터링할 수 있다. 필터링 기준 저장부(119)는 별도의 구성으로 인터페이스 프로세싱부(110) 또는 다른 장치에 포함될 수 있다. 그러나, 본 발명은 이에 한정되지 않으므로 필터링유닛(114) 내부에 필터링 기준에 관한 정보가 저장되어 있을 수도 있다.

전송유닛(115)은 필터링유닛(114)을 통해 필터링된 데이터를 큐 저장부(120)의 큐에 저장한다. 일 실시예에 있어서, 전송유닛(115)는 필터링된 데이터를 그룹 ID 또는 표준항목 ID별로 큐 저장부(120)의 큐(121)에 저장한다.

즉, 본 발명의 실시예에서는 서로 다른 형식을 갖는 각 공정 별 수집 데이터를 파싱 및 표준화하여 일정한 형식으로 변환하는 한편, 표준화된 데이터를 그룹 ID 또는 표준항목 ID 별로 저장하여 그룹 ID 또는 표준항목 ID 별로 데이터 확인이 가능하므로 연속공정으로부터 수집된 수집 데이터가 실시간으로 연계 처리될 수 있다.

일 실시예에 있어서, 큐 저장부(120)는 복수개로 구성될 수 있다. 이러한 실시예에 따르는 경우, 전송유닛(115)이 복수개의 큐 저장부(120) 중 어느 하나의 큐 저장부(120)에 전처리된 수집 데이터를 저장하면 나머지 큐 저장부(120)에도 동일 데이터가 복제되어 저장된다. 이때, 전송유닛(115)은 복수의 큐 저장부(121)의 부하를 고려하여 부하가 적은 큐 저장부(121)에 수집 데이터를 저장할 수 있다.

또한, 전송유닛(115)은 복수개의 큐 저장부(120)의 동작모드에 따라 수집 데이터의 저장 여부를 결정할 수 있다. 구체적으로, 전송유닛(115)은 복수개의 큐 저장부(120)의 동작모드가 대기모드인 경우 데이터의 저장을 중지할 수 있다. 이때, 복수개의 큐 저장부(120)의 동작모드는 복수개의 큐 저장부(120) 중 정상 동작하는 큐 저장부(120)의 개수에 기초하여 결정될 수 있다.

한편, 복수개의 큐 저장부(120)의 동작 모드가 대기 모드인 경우, 수신유닛(111)도 수집 데이터의 수신을 중지하게 된다. 즉, 큐 저장부(120)가 비정상적으로 동작하여 수집 데이터의 저장이 실시간으로 수행되지 않음에도 불구하고, 수신유닛(111)이 데이터 수집 장치(1)로부터 계속해서 수집 데이터를 수신할 경우 큐 저장부(120)의 장애로 인해 인터페이스 프로세싱부(110)의 수집 데이터 처리 동작에도 장애가 발생하게 된다.

따라서, 본 발명의 실시예에서 인터페이스 프로세싱부(110)는 큐 저장부(120)의 동작 모드가 대기 모드인 경우, 수집 데이터의 수신 및 저장을 중지함으로써 장애 발생을 방지하고, 큐 저장부(120)가 정상 동작하면 다시 수집 데이터의 수신 및 저장을 수행할 수 있다.

본 발명의 실시예에 따른 인터페이스 프로세싱부(110)는 수집 데이터 병합유닛(116), 메시지 레이아웃 저장부(117), 표준변환기준 저장부(118), 및 필터링 기준 저장부(119) 중 적어도 하나를 더 포함할 수 있다.

수집 데이터 병합유닛(116)은 연속 공정에서의 처리 성능 향상을 위해 수집 데이터를 병합(Merge)하여 파싱유닛(112)으로 전달한다. 일 실시예에 있어서, 수집 데이터 병합유닛(116)은 일정시간 간격(예: 0.1초, 1초, 1분 등)으로 수신유닛(111)을 통해 수신되는 수집 데이터를 병합한다. 즉, 연속 공정의 특성상 아주 짧은 주기(예: 5㎳ 내지 20㎳)로 수집 데이터가 파싱유닛(112)으로 전달될 수 있는데, 이러한 짧은 주기로 파싱유닛(112)이 데이터를 연속해서 파싱하는 것은 전체 시스템의 실시간 처리 성능을 악화시킬 수 있다.

따라서, 수집 데이터 병합유닛(116)은 실시간 모니터링을 위해 필요한 수집 데이터는 병합하지 않고 파싱유닛(112)로 바로 전달하고, 나머지 수집 데이터는 일정시간 간격으로 병합하여 파일 형태로 생성한 후 파싱유닛(112)으로 전달할 수 있다. 이 때, 실시간 모니터링을 위해 필요한 수집 데이터인지 여부는 수집 데이터의 중요도에 따라 설정될 수 있으며, 일례로 이상이 발생할 경우 즉각적인 조치가 필요한 설비 또는 재료로부터 수집되는 수집 데이터를 실시간 모니터링을 위해 필요한 수집 데이터로 설정할 수 있다.

메시지 레이아웃 저장부(117)에는 수집 데이터 전문에 대한 레이아웃을 정의한 데이터가 저장되어 있으며, 파싱유닛(112)은 메시지 레이아웃 저장부(117)를 참조하여 바이너리 형태 또는 별도의 데이터 전송 기준으로 전달되는 수집 데이터를 해석하는 근거로 이용할 수 있다.

표준변환기준 저장부(118)에는 데이터 수집 장치(1)를 구성하는 다양한 센서 등의 항목 ID를 표준화한 표준항목 ID와, 각 표준항목 ID에 따른 기준 단위와 자리수가 저장되어 있다. 즉, 다양한 센서로부터 대용량의 수집 데이터가 수집될 때부터 미리 표준화된 항목 ID와 통일된 단위와 자리수를 갖는 수집 데이터가 수집되는 것이 바람직하지만, 각 공정의 특성에 따라 각 센서에서 수집되는 수집 데이터의 특성이 상이할 수 있으므로 본 발명의 실시예에서는 향후 분석에 효율적으로 활용하기 위해 사전에 다양한 센서 등의 항목 ID를 표준화한 표준항목 ID와, 각 표준항목 ID에 따른 기준 단위와 자리수가 저장해 둔다.

이러한 실시예에 따르는 경우, 상술한 표준화유닛(113)은 표준변환기준 저장부(118)를 참조하여 파싱된 데이터의 항목 ID를 표준항목 ID로 변경하고, 단위 및 자리수를 통일시킬 수 있다.

필터링 기준 저장부(119)에는 표준화된 데이터 중 큐 저장부(120)에 저장될 필요가 있는 데이터를 필터링하기 위한 기준이 저장되어 있으며, 상술한 필터링유닛(114)은 필터링 기준 저장부(119)를 참조하여 표준화된 데이터 중 큐 저장부(120)에 저장할 데이터를 필터링할 수 있다.

큐 저장부(120)는 인터페이스 프로세싱부(110)에서 전처리된 데이터를 실시간 처리 전에 임시로 보관하는 영역으로 큐(121)를 포함한다.

큐(121)는 인터페이스 프로세싱부(110)에서 전처리된 데이터를 일정시간 동안 보관하기 위한 저장소로 데이터 유실 방지를 위해 메모리가 아닌 디스크 기반으로 데이터를 저장할 수 있다. 복수의 큐(121)에서 데이터를 저장하는 공간은 토픽(Topic)으로 구분될 수 있고, 동일 토픽 내의 파티션을 여러개 분리하여 병렬로 처리하는 것도 가능하다.

일 실시예에 있어서, 분산병렬처리시스템(200)이 큐 저장부(120)로부터 페치하는 데이터 그룹 별로 고유한 그룹 ID가 할당될 수 있고, 이 고유한 그룹 ID 별로 데이터 페치 주소가 관리될 수 있어, 데이터를 순차적으로 읽고 쓰는 큐 형태로 데이터가 저장 및 제공될 수 있다.

상술한 실시예에서는 하나의 인터페이스 프로세싱부(110) 및 하나의 큐 저장부(120)를 통해 수집 데이터를 전처리하는 것으로 설명하였지만, 변형된 실시예에 있어서는, 도 3에 도시된 바와 같이 복수개의 인터페이스 프로세싱부(110) 및 복수개의 큐 저장부(120)를 통해 수집 데이터를 전처리할 수도 있다.

이러한 실시예에 따르는 경우, 복수개의 인터페이스 프로세싱부(110)는 데이터 수집 장치(1)의 규모 및 공장의 물리적 위치 등에 따라 추가하는 형태로 확장될 수 있으며, 각각의 인터페이스 프로세싱부(110)는 고가용성(High Availability; HA)을 위해 이중화 구조로 구현될 수 있다.

즉, 각각의 인터페이스 프로세싱부(110)는 운영 서버 및 백업 서버로 구비되어 평상시 운영 서버가 동작하다가 운영 서버에 장애가 발생할 경우 자동으로 백업 서버가 활성화됨으로써, 전술한 인터페이스 프로세싱부(110)의 동작이 중단되지 않고 연속적으로 수행될 수 있다.

또한, 복수개의 큐 저장부(120)는 클러스터링 구조로 구현됨으로써, 1대의 큐 저장부(120)에 데이터가 저장되면 다른 큐 저장부(120)로 데이터가 복제되어 어느 큐 저장부(120)에 장애가 발생할 경우에도 다른 큐 저장부(120)를 참조하여 서비스를 지속으로 제공할 수 있다.

또한, 인터페이스 프로세싱부(110)는 수집된 수집 데이터에 대한 표준화가 완료되면 복수개의 큐 저장부(120) 중1대의 큐 저장부(120)를 선택하여 표준화된 데이터를 저장한다. 이 때, 데이터를 저장할 큐 저장부(120)를 선택하는 기준은 다양한 룰 중에서 선택될 수 있으며, 일례로 부하가 가장 낮은 큐 저장부(120)를 선택하거나, 순차적으로 선택하는 방식, 또는 데이터를 수집한 센서 별로 저장할 큐 저장부(120)를 사전에 미리 저장하여 선택하는 것이 가능하다.

다시 도 1을 참조하면, 분산병렬처리시스템(200)은 인터페이스 장치(100)에서 표준화된 표준화 데이터에 공정 식별자를 매핑하고, 각 공정 별로 수집된 수집 데이터들의 연계 처리를 위해 각 공정에서의 매핑 데이터들을 정렬한다. 이하, 본 발명에 따른 분산병렬처리시스템(200)을 도 4를 참조하여 보다 구체적으로 설명한다.

도 4는 본 발명의 일 실시예에 따른 분산병렬처리시스템(200)의 구성을 보여주는 도면이다. 도 4에 도시된 바와 같이, 본 발명에 따른 분산병렬처리시스템(200)은 실시간 프로세싱부(210) 및 메모리부(220)를 포함한다.

실시간 프로세싱부(210)는 인터페이스 시스템(100)에 의해 표준화된 데이터에 공정식별자를 매핑하여 매핑 데이터를 생성하고, 조업-설비-품질 등 영역간 데이터를 연계분석할 수 있도록 매핑 데이터를 정렬한다.

이를 위해, 본 발명에 따른 실시간 프로세싱부(210)는 도 4에 도시된 바와 같이, 페치(fetch) 수행모듈(211), 로딩 수행모듈(212), 공정매핑 수행모듈(213), 데이터 보정 수행모듈(215), 및 데이터 정렬 수행모듈(216)을 포함한다. 또한, 실시간 프로세싱부(210)는 설비 이상감지 수행모듈(217) 및 품질 이상감지 수행모듈(218)을 더 포함할 수 있다.

일 실시예에 있어서, 도 4에 도시된 복수개의 수행모듈(211~218)들은 실시간 프로세싱부(210)에 배포되어 각각의 기능을 구현하는 어플리케이션(Application)으로 구현될 수 있고, 이러한 어플리케이션들이 실시간 프로세싱부(210)에 작업 공간을 생성한 후 복수개의 쓰레드(Thread)를 생성함으로써 각 수행모듈(211~218) 별로 할당된 기능들을 수행하게 된다.

이하, 복수개의 수행모듈(211~218) 각각의 기능에 대해 구체적으로 설명한다.

페치 수행모듈(211)은 인터페이스 시스템(100)의 큐(121)로부터 표준화된 데이터를 독출하여 메모리부(220)의 수집데이터 저장부(221)에 저장한다. 일 실시예에 있어서, 페치 수행모듈(211)은 큐 저장부(120)에 포함된 복수의 큐(121) 각각에 대해서 이전에 데이터를 조회한 위치 정보를 기억함으로써, 이전까지 읽어 들인 데이터의 다음 데이터를 읽어 들일 수 있다.

이때, 인터페이스부(110)는 연속공정으로부터 수집된 수집 데이터의 연계 처리를 위해 표준화된 수집 데이터를 그룹 ID 또는 표준항목 ID 별로 큐(121)에 저장하므로, 페치 수행모듈(211)은 큐(121)에 저장된 표준화된 데이터를 그룹 ID 또는 표준항목 ID 별로 독출할 수 있다.

로딩 수행모듈(212)은 수집데이터 저장부(221)에 저장된 데이터를 로딩하여 공정매핑 수행모듈(213)으로 전달한다.

공정매핑 수행모듈(213)은 로딩 수행모듈(212)로부터 전달받은 표준화된 데이터에 해당 데이터가 수행된 공정을 식별하기 위한 공정 식별자를 매핑하고, 매핑 데이터를 데이터 보정 수행모듈(215)로 전달한다.

일 실시예에 있어서, 공정매핑 수행모듈(213)은 각 공정을 수행하는 설비의 설비 식별자 또는 해당 설비에 의해 가공되는 재료의 재료 식별자 중 적어도 하나를 공정식별자로써 표준화된 데이터에 매핑할 수 있다. 이를 위해, 매핑 수행모듈(213)은 설비매핑 수행모듈(213a) 및 재료매핑 수행모듈(213b)을 포함할 수 있다.

설비매핑 수행모듈(213a)은 로딩 수행모듈(212)에 의해 로딩된 표준화된 데이터에 해당 데이터가 수집된 설비 식별자를 매핑한다. 일 실시예에 있어서, 설비 식별자는 각 설비 별로 부여된 설비 번호일 수 있다.

일 실시예에 있어서, 설비맵핑 수행모듈(213a)은 수집 데이터의 수집 시간 및 수집 데이터를 수집한 센서의 속성 정보에 기초하여 수집 데이터가 발생한 설비의 설비 식별자를 추출할 수 있다. 이 때, 센서의 속성 정보는 측정한 속성을 식별하기 위한 정보로서 전술한 바와 같이 표준항목 ID를 포함할 수 있으나, 본 발명은 이에 한정되지 않는다.

즉, 전술한 바와 같이, 인터페이스 장치(100)에 의해 표준화된 데이터는 표준항목 ID, 수집된 시간, 및 표준화된 단위와 자리수를 갖는 단일 측정값을 포함하는데, 각 설비에 의해 수행되는 작업 별로 동작하는 시간이 정해져 있으므로 설비매핑 수행모듈(213a)은 수집 데이터의 수집 시간 정보에 기초하여 해당 시간에 동작한 설비를 확인할 수 있다. 또한, 센서의 속성 정보에는 해당 센서가 측정한 설비의 설비 식별자 정보가 포함되어 있으므로, 설비매핑 수행모듈(213a)은 특정 시간에 특정한 표준항목 ID를 갖는 센서가 측정한 설비의 설비 식별자를 추출할 수 있다.

그 결과, 설비 식별자가 맵핑된 맵핑 결과 데이터는 표준항목 ID, 수집된 시간, 설비 식별자 및 단일 측정값을 포함하게 된다.

재료매핑 수행모듈(213b)은 설비 식별자가 매핑된 매핑 데이터에 해당 설비 식별자에 대응되는 설비를 통해 가공된 재료의 재료 식별자를 매핑한다. 일 실시예에 있어서, 재료 식별자는 각 재료 별로 부여되어 있는 재료 식별자일 수 있다. 상술한 실시예에 있어서 재료매핑 수행모듈(213b)은 설비 식별자가 매핑되어 있는 매핑 데이터에 재료 식별자를 매핑하는 것으로 설명하였지만, 설 변형된 실시예에 있어서 설비 식별자는 센서에 의해 수집된 데이터에 미리 포함되어 있을 수 있으므로, 재료매핑 수행모듈(213b)은 로딩 수행모듈(212)로부터 전달된 표준화된 데이터에 재료 식별자를 매핑할 수도 있다.

재료맵핑 수행모듈(213b)은 각 공정에서 수행되는 작업 지시 정보에 기초하여 매핑 데이터에 매핑되어 있는 설비 식별자에 대응되는 설비에서 가공된 재료의 재료 식별자를 추출할 수 있다.

예컨대, 제1공정의 제1 설비를 통해 제1 재료 식별자가 부여되어 있는 제1재료가 생성되는 경우 재료맵핑 수행모듈(213b)은 제1 설비의 설비 식별자가 매핑되어 있는 매핑 데이터에 제1 재료 식별자를 추가로 매핑한다. 또한, 제2공정을 수행하는 제2 설비를 통해 제2 재료 식별자가 부여되어 있는 제2재료가 생성되는 경우, 재료맵핑 수행모듈(213b)은 제2 설비의 설비 식별자가 매핑되어 있는 매핑 데이터에 제2 재료 식별자를 추가로 매핑한다.

설비매핑 수행모듈(213a)에 의해 설비 식별자가 매핑된 데이터는 표준항목 ID, 수집시간, 설비 식별자, 및 표준화된 단위와 자리수를 갖는 단일 측정값을 포함하므로, 재료매핑 수행모듈(213b)에서 출력되는 매핑 데이터는 표준항목 ID, 수집된 시간, 설비 식별자, 재료 식별자, 및 단일 측정값을 포함하게 된다.

이와 같이, 본 발명의 실시예에 따른 분산병렬처리 시스템(200)은 표준화된 데이터에 설비 식별자 및 재료 식별자 중 적어도 하나를 포함하는 공정 식별자를 매핑함으로써, 각 데이터 별로 어떠한 재료가 어떠한 설비를 통과하는 과정에서 수집된 데이터인지 확인할 수 있고, 이러한 데이터의 추적을 통해 각 공정들간의 연계분석이 가능하다.

또한, 인터페이스 시스템(100)을 통해 수집 데이터가 표준화되기 때문에 분산병렬처리 시스템(200)은 정형화된 구조를 갖는 표준화된 데이터에 설비 식별자와 재료 식별자를 매핑할 수 있으므로 시간 지연 없이 대용량의 데이터를 실시간으로 처리할 수 있다.

한편, 데이터 수집 장치(1)를 통해 수집된 수집 데이터에는, 설비가 재료를 가공하고 있는 상태에서 수집된 데이터인 부하 데이터 및 설비가 재료를 가공하고 있지 않는 상태에서 수집된 데이터인 무부하 데이터를 포함할 수 있다.

무부하 데이터의 경우, 설비 식별자가 매핑된 수집 데이터에 추가로 매핑할 재료 식별자가 없으므로, 재료매핑 수행유닛(213b)은 설비 식별자가 매핑된 매핑 데이터를 바로 정렬 데이터 저장부(222)에 저장할 수 있다. 이러한 경우 부하 데이터와 무부하 데이터는 정렬 데이터 저장부(222)에서 분리되어 저장될 수 있다.

데이터 보정 수행모듈(215)은 공정 식별자가 매핑된 매핑 데이터 중 누락된 데이터가 있는 경우 누락된 데이터를 추가하여 매핑 데이터를 보정한다. 일 실시예에 있어서, 데이터 보정 수행모듈(215)은 매핑 데이터의 보정을 위해, 매핑 데이터에 포함된 수집 시간을 미리 정해진 수집 주기에 일치시킬 수 있다. 즉, 데이터 수집 장치(1)를 통해 미리 정해진 수집 주기로 수집 데이터가 발생해야 하는데 그렇지 않은 경우가 있을 수 있으므로, 데이터 보정 수행모듈(215)은 각 매핑 데이터의 수집 시간을 수집 주기에 일치시킨다.

예를 들어, 수집 주기를 20ms로 수집 데이터를 저장하는 경우 데이터 수집 장치(1)는 20ms 마다 수집 데이터를 발생시켜야 하므로, 데이터 보정 수행모듈(215)은 수집시간이 15시01분11초0005ms인 매핑 데이터의 수집시간을 15시01분11초0000ms로 변경하고, 수집시간이 15시01분11초0050ms인 매핑 데이터의 수집 시간을 15시01분11초0040ms로 변경할 수 있다.

그리고, 이와 같이 수집 주기가 20ms인 경우 20ms로 수집 데이터가 전달되어야 하는데, 일부 수집 데이터가 누락된 경우 각각의 수집 데이터들이 수집된 수집 주기가 20ms 보다 길게 된다. 따라서, 데이터 보정 수행모듈(215)은 누락이 발생한 데이터가 수집되었어야 하는 영역과 가장 인접한 위치에서의 매핑 데이터 또는 누락이 발생한 시간과 인접한 수집 시간의 매핑 데이터를 이용하여 누락된 데이터를 보정한다.

데이터 정렬 수행모듈(216)은 데이터 보정 수행모듈(215)에 의해 보정된 매핑 데이터 또는 공정 식별자가 매핑된 매핑 데이터를 각 공정의 데이터들 간의 연계처리를 위해 정렬한다.

일 실시예에 있어서, 데이터 정렬 수행모듈(216)은 동일한 재료 식별자가 매핑되어 있는 매핑 데이터들을 수집 시간에 따라 순차적으로 정렬한다. 즉, 데이터 정렬 수행모듈(216)은 연속공정에서 수집된 수집 데이터 간의 연계처리를 위해 매핑 데이터를 동일한 재료 식별자를 갖는 재료 단위로 시간 순서에 따라 정렬할 수 있다.

데이터 정렬 수행모듈(216)은 시간 순서에 따라 정렬된 매핑 데이터들을 동일한 재료 식별자에 대응되는 재료 상에서 해당 데이터가 수집된 위치를 기준으로 정렬한다.

매핑 데이터들의 정렬을 위해, 데이터 정렬 수행모듈(216)은 재료의 길이, 재료의 이동 속도, 및 수집 데이터의 수집 주기 중 적어도 하나를 이용하여 상기 재료 상에서 상기 시간에 따라 정렬된 수집 데이터의 수집 위치를 결정할 수 있다. 예컨대, 데이터 정렬 수행 모듈(216)은 재료의 이동 속도와 수집 데이터의 수집 주기를 곱한 값 및 재료의 전체 길이를 기준으로 재료 상에서 각 주기 별로 수집 데이터가 수집된 수집 위치를 결정할 수 있다. 이에 따라, 시간에 따라 정렬된 매핑 데이터는 재료 상에서 일 방향으로 소정의 위치에서 측정된 데이터로 각각 정렬될 수 있다.

데이터 정렬 수행모듈(216)은 서로 다른 수집 주기로 제1 공정 및 제2공정으로부터 각각 수집된 수집 데이터의 연계 처리를 위해, 각 재료 상에서 미리 정해진 간격으로 설정된 기준점들과 각 매핑 데이터의 수집 위치 간의 거리를 기초로 각 기준점들에서의 측정값을 산출하고, 산출된 측정값을 기초로 각 기준점들에서의 기준 데이터를 생성한다.

데이터 정렬 수행모듈(216)은 시간에 따라 정렬된 수집 데이터 및 기준점들에서의 기준 데이터들을 재료 상에서 일 방향으로 순차적으로 정렬한다. 데이터 정렬 수행모듈(216)은 정렬된 데이터를 메모리부(220)의 정렬데이터 저장부(222)에 저장한다. 일 실시예에 있어서, 일 방향은 재료의 길이 방향, 재료의 폭 방향, 및 재료의 두께 방향 중 적어도 하나가 될 수 있으나, 본 발명은 이에 한정되지 않는다.

제1공정 및 제2공정에서는 서로 다른 수집 주기로 각각의 수집 데이터가 수집되고 제1공정을 통과하는 재료의 길이, 폭, 또는 두께가 제2공정을 통과하는 재료의 길이, 폭 또는 두께와 서로 다를 수 있기 때문에, 각 공정 상에서 재료의 특정 영역에서 측정되는 측정값의 전후 관계 변화를 연계하여 관리하기 어려울 수 있다. 따라서, 본 발명에서는 제1 공정 및 제2공정으로부터 수집된 수집 데이터들간의 연계 처리를 위해, 각 공정에서 가공된 재료 상에서 설정된 복수개의 기준점에서의 측정값을 산출하고, 각 재료 별 기준점에서의 측정값을 이용하여 각 공정들간의 매핑 데이터들을 연계하여 관리한다.

이하에서는 데이터 정렬 수행 모듈(216)이 기준 데이터들을 재료 상에서 길이 방향으로 정렬하는 예를 구체적으로 설명한다.

제1공정에서 가공된 제1 재료의 길이 방향으로 제1 기준점들이 소정 간격으로 설정되어 있고, 제2공정에서 가공된 제2 재료의 길이 방향으로 제2 기준점들이 소정의 간격으로 설정되어 있다. 이러한 경우, 제1 기준점들에서의 제1 기준 데이터에는 제1 재료에 대응되는 제1 재료 식별자가 매핑되어 있고, 제2 기준점들에서의 제2기준 데이터들에는 제2 재료에 대응되는 제2 재료 식별자가 매핑되어 있다. 따라서, 각 재료 별로 재료 식별자가 맵핑되어 있는 재료 가계도(미도시) 상에서 제1재료 식별자 및 제2 식별자에 기초하여 제1 기준 데이터들과 제2 기준 데이터들이 연계된다.

즉, 재료 가계도에는 각 재료 시겹라작 트리 형태로 연결되어 있어, 이러한 재료 가계도를 참조함으로써 제1공정 및 제2공정을 순차적으로 통과하면서 생성되는 재료에게 할당된 재료 식별자를 통해 각 공정의 매핑 데이터들이 서로 연계될 수 있다.

데이터 정렬 수행모듈(216)은 상기와 같이 재료의 길이 방향으로 정렬된 매핑 데이터 및 기준 데이터들을 메모리부(220)의 정렬데이터 저장부(222)에 저장한다.

일례로, 데이터 정렬 수행모듈(216)은 재료 가계도에 기초하여 서로 연계되는 재료 식별자를 갖는 정렬 데이터들을 정렬데이터 저장부(222)의 동일한 공간에 저장할 수 있다. 이를 통해, 수집 데이터를 연계 처리할 때 동일한 저장 공간에서 간단하게 연계된 수집 데이터들을 함께 이용할 수 있게 된다.

또한, 데이터 정렬 수행모듈(216)은 맵핑 데이터를 시간에 따라 정렬한 제1정렬 데이터, 맵핑 데이터를 수집 위치를 기준으로 정렬한 제2정렬 데이터, 및 기준점들에서의 기준 데이터들을 정렬데이터 저장부(222)에 분리하여 저장할 수 있다.

즉, 데이터 정렬 수행모듈(216)은 제1 정렬 데이터, 제2 정렬 데이터, 및 기준 데이터들을 별도의 저장 장소에 각각 저장함으로써, 실제 측정된 값에 해당하는 제1정렬 데이터와 제2정렬 데이터를 시간 및 수집 위치를 기준으로 별도로 이용하도록 하고, 실제 데이터를 바탕으로 산출된 가상의 값에 해당하는 기준 데이터를 별도로 이용하도록 할 수 있으나, 본 발명은 이에 한정되지 않는다.

또한, 데이터 정렬 수행모듈(216)은 정렬 결과를 대용량 빅 데이터 분석 시스템(300)에서 이용할 수 있도록 정렬 완료를 알리는 이벤트를 완료이벤트 저장부(223)에 저장한다.

이와 같이, 실시간 프로세싱부(210)는 수집 데이터에 설비 식별자 또는 재료 식별자와 같은 공정 식별자를 매핑하고, 매핑 데이터를 정렬함으로써 수집 데이터가 연계 처리될 수 있도록 한다.

설비이상감지 수행모듈(217)은 설비매핑 수행모듈(213a)로부터 설비 식별자가 매핑된 데이터를 전달받고, 미리 설정된 설비이상판단기준에 따라 설비이상여부를 판단한다. 판단결과, 특정 설비에 이상이 발생한 것으로 판단되면, 설비이상감지 수행모듈(217)은 메모리부(220)의 이상감지결과 저장부(224)에 판단 결과를 저장한다.

이 때, 설비의 이상여부를 판단하기 위한 설비이상판단기준의 일례로 수집된 수집 데이터가 소정의 기준값을 벗어난 형태로 소정의 시간 동안 지속되는 경우 설비에 이상이 발생한 것으로 판단하도록 설정될 수 있으나, 본 발명은 이에 한정되지 않는다.

품질이상감지 수행모듈(218)은 정렬 데이터 저장부(222)로부터 정렬 데이터를 로딩하고, 정렬 데이터를 기초로 미리 설정된 품질이상판단기준에 따라 품질이상여부를 판단한다. 판단결과, 특정 재료의 품질에 이상이 발생한 것으로 판단되면, 품질이상감지 수행모듈(218)은 메모리부(220)의 이상감지결과 저장부(224)에 판단 결과를 저장한다.

일 실시예에 있어서, 품질이상감지 수행모듈(218)은 수집 데이터의 평균 및 오차 예측 등의 작업을 통해 품질이상여부 판단식의 레퍼런스로 활용하기 위한 매크로 데이터를 생성하고, 수집 데이터를 품질이상여부 판단식에 입력하여 그 결과에 따라 품질이상을 판단할 수 있다.

이와 같이, 본 발명에 따른 분산병렬처리시스템(200)은 각 공정들간의 연계분석을 위해 표준화 데이터를 재료 단위로 정렬하는 한편, 수집 데이터 또는 정렬 데이터를 바탕으로 실시간으로 설비 또는 재료의 품질에 이상이 발생하는지 모니터링함으로써, 설비 고장을 미리 예측할 수 있다.

한편, 실시간 프로세싱부(210)는 설비정보 저장부(219a), 작업지시정보 저장부(219b), 센서속성정보 저장부(219c), 및 품질판정모델 저장부(219d)를 더 포함할 수 있다.

설비정보 저장부(219a)에는 설비가 어느 공장, 어느 공정의 어느 위치에 존재하는지에 대한 정보, 설비에 대한 정비이력 정보, 데이터에 매핑할 설비정보와 각 설비 별로 설비의 이상여부를 판단하기 위한 설비이상판단기준이 저장되어 있다.

작업지시정보 저장부(219b)에는 MES(Manufacturing Execution System) 시스템의 작업에 대한 지시정보 및 해당 작업으로 특정 설비에서 발생하는 재료 식별자 정보, 해당 작업 수행에 대한 품질지표, 및 데이터에 매핑할 재료정보와 각 재료 별로 재료의 품질이상여부를 판단하기 위한 품질이상판단기준이 저장되어 있다.

센서속성정보 저장부(219c)에는 센서에서 수집되는 데이터의 종류, 단위, 수집주기, 해당 설비 식별자, 공장/공정 등의 정보가 저장되며, 특히 설비 또는 재료를 측정하는 센서의 항목 ID가 저장되어 있다.

품질판정모델 저장부(219d)에는 설비이상판단기준 및 품질이상판단기준이 미리 저장되어 있으므로, 품질이상감지 수행모듈(218)은 품질판정모델 저장부(219d)를 참조하여 품질이상을 판단할 수 있다.

메모리부(220)는 실시간 프로세싱부(210)에서 생성되는 다양한 데이터를 저장하되, 구체적으로 수집데이터 저장부(221), 정렬데이터 저장부(222), 완료이벤트 저장부(223), 및 이상감지결과 저장부(224)를 포함한다.

수집데이터 저장부(221)에는 페치 수행모듈(211)를 통해 큐(121)에서 독출한 표준화된 데이터 즉, 매핑, 보정, 및 정렬이 이루어지기 이전의 표준화된 데이터가 표준항목 ID 별로 저장되고, 로딩 수행모듈(212)은 수집데이터 저장부(221)로부터 표준화된 데이터를 로딩하여 설비매핑 수행모듈(213a)로 전달한다.

정렬데이터 저장부(222)에는 설비 또는 재료의 품질을 판정할 수 있도록 설비매핑 수행모듈(213a) 및 재료매핑 수행모듈(213b)에 의해 설비 식별자 및 재료 식별자 중 적어도 하나가 매핑된 매핑 데이터가 재료 단위로 정렬된 상태로 저장된다. 일 실시예에 있어서, 정렬데이터 저장부(222)에는 설비 식별자와 재료 식별자가 모두 맵핑된 부하 데이터 및 설비 식별자만이 맵핑된 무부하 데이터가 별도로 저장될 수 있다.

완료이벤트 저장부(223)에는 수집주기에 따라 정렬되고 누락된 데이터가 보정된 데이터가 정렬데이터 저장부(222)에 저장되면, 정렬 결과를 빅데이터 분석 시스템(300)에서 이용할 수 있도록 정렬 완료를 알리는 이벤트가 저장된다. 따라서, 빅데이터 분석 시스템(300)은 완료이벤트 저장부(223)를 모니터링하여 새로운 완료 이벤트가 발생하면 정렬데이터 저장부(222)로부터 정렬 데이터를 추출하여 이용하게 된다.

구체적으로, 완료 이벤트에는 해당 이벤트 전송시간, 데이터 수집시간, 정렬데이터 저장부(222)에서 데이터를 읽기 위한 키 정보, 이벤트를 저장하기 위한 파티션 및 디렉토리 정보 등이 포함된다. 따라서, 빅데이터 분석 시스템(300)은 완료이벤트 저장부(223)에서 새로운 완료 이벤트가 획득되면, 해당 완료 이벤트에 포함된 키 정보를 이용해서 해당 완료 이벤트에 대응되는 데이터가 정렬데이터 저장부(222)의 어느 파티션 및 디렉토리에 저장되어 있는지 확인하는 방식으로 새롭게 정렬된 데이터를 획득할 수 있다.

이상감지결과 저장부(224)에는 설비이상감지 수행모듈(217)에서 감지된 특정 설비의 이상감지결과, 및 품질이상감지 수행모듈(218)에서 감지된 특정 재료의 품질 이상감지결과가 저장된다.

따라서, 본 발명에 따르는 경우 사용자는 스마트팩토리 플랫폼(1000)의 외부에 구축된 별도의 이상감지 모니터링 시스템(미도시)을 통해 이상감지결과 저장부(224)에 접근함으로써 스마트팩토리 플랫폼(1000)의 특정 설비나 특정 재료의 품질에 이상이 발생했는지 확인할 수 있다.

다만, 본 발명은 이에 한정되지 않고 특정 설비 또는 특정 재료의 품질에서 이상이 발생한 경우 그 결과를 이상감지 모니터링 시스템으로 직접 전송함으로써 사용자가 이상을 바로 확인하도록 하는 것도 가능하다.

상술한 실시예에 있어서는 분산병렬처리시스템(200)이 하나의 실시간 프로세싱부(210) 및 하나의 메모리부(220)를 통해 표준화된 데이터를 매핑 및 정렬하는 것으로 설명하였지만, 변형된 실시예에 있어서 분산병렬처리시스템(200)은 도 4 및 도 5에 도시된 바와 같이 복수개의 실시간 프로세싱부(210a, 210b, 210c) 및 복수개의 메모리부(220)를 이용하여 표준화된 데이터를 매핑 및 정렬할 수도 있다.

이하, 도 4 및 도 5를 참조하여 변형된 실시예에 따른 분산병렬처리시스템에 대해 설명한다.

도 5는 복수개의 실시간 프로세싱부 및 복수개의 메모리부를 포함하는 분산병렬처리시스템의 구성을 개략적으로 보여주는 도면이다.

도 4에 도시된 바와 같이, 분산병렬처리시스템(200)은 복수개의 실시간 프로세싱부(210a, 210b, 210c) 및 복수개의 메모리부(220a, 220b, 220c)를 포함한다.

복수개의 실시간 프로세싱부(210a, 210b, 210c)에는 표준화된 데이터를 매핑 및 정렬하는 복수개의 수행모듈(211~218)들 중 하나 이상의 수행모듈(211~218)이 분산되어 배포된다. 이와 같이, 본 발명은 복수개의 실시간 프로세싱부(210a, 210b, 210c)가 자신에게 배포된 수행모듈(211~218)을 각각 실행시킴으로써 표준화된 데이터의 매핑 및 정렬작업을 복수개의 프로세싱 서버(210a, 210b, 210c)를 통해 분산 병렬 처리할 수 있어, 단일의 실시간 프로세싱부에서 모든 수행모듈(211~218)이 수행됨에 따른 과부하를 방지할 수 있다.

즉, 복수의 실시간 프로세싱부(210a, 210b, 210c, 210d)는 페치 수행모듈(211), 로딩 수행모듈(212), 설비매핑 수행모듈(213a), 재료매핑 수행모듈(213b), 데이터 보정 수행모듈(215), 데이터 정렬 수행모듈(216), 설비이상감지 수행모듈(217), 및 품질이상감지 수행모듈(218) 중 적어도 하나의 수행모듈을 각각 분산하여 병렬처리하고, 최종 결과 데이터를 메모리부(220)에 저장함으로써, 인터페이스 시스템(100)으로부터 전달되는 대용량의 데이터를 실시간으로 처리하게 된다.

이러한 경우 하나의 실시간 프로세싱부(210a, 210b, 210c)에 동일한 기능을 수행하는 수행모듈(211~218)이 복수개 배포될 수도 있다. 예컨대, 하나의 실시간 프로세싱부(210a, 210b, 210c)에 설비매핑 수행모듈(213a)이 복수개 배치될 수도 있다.

일 실시예에 있어서, 복수개의 실시간 프로세싱부(210a, 210b, 210c)는 클러스터링 구조로 구성될 수 있다. 이와 같이, 복수개의 실시간 프로세싱부(210a, 210b, 210c)는 클러스터링 구조를 가지기 때문에 특정 실시간 프로세싱부에 장애가 발생하면 장애가 발생된 실시간 프로세싱부에서 실행중이던 수행모듈(211~218)을 다른 실시간 프로세싱부로 이동시킬 수 있어 가용성을 확보할 수 있게 된다.

도 5에서는 분산병렬처리시스템(200)이 3개의 실시간 프로세싱부(210a, 210b, 210c)를 포함하는 것으로 도시하였지만, 데이터 처리 성능에 따라 실시간 프로세싱부는 추가로 증설될 수 있다.

복수개의 메모리부(220)에는 복수개의 실시간 프로세싱부(210a, 210b, 210c)에서 처리된 데이터가 저장된다. 일 실시예에 있어서, 처리 성능을 높이고 장애시 가용성을 보장하기 위해 복수개의 메모리부(220)는 전술한 큐 저장부(120)와 같이 클러스터링 구조를 가질 수 있다.

즉, 1대의 메모리부(220)에 데이터가 저장되면 다른 메모리부(220)에도 데이터가 복제되어 저장되므로, 특정 메모리부(220)에 장애가 발생하더라도 다른 메모리부(220)를 통해 서비스가 지속적으로 제공될 수 있다.

일 실시예에 있어서, 복수개의 메모리부(220)는 고가용성(High Availability; HA)을 위해 이중화 구조로 구비될 수 있다. 즉, 각각의 메모리부(220)는 마스터 인스턴스(M) 및 슬레이브 인스턴스(S)를 포함한다. 이러한 경우 제1 메모리부(220a)에 포함된 마스터 인스턴스(M)과 제2 메모리부(220b)에 포함된 슬레이브 인스턴스(S)가 한 쌍으로 동작하고, 제2 메모리부(220b)에 포함된 마스터 인스턴스(M)와 제1 메모리부(220a)에 포함된 슬레이브 인스턴스(S)가 한 쌍으로 동작하게 된다.

이러한 경우, 제1 메모리부(220a)의 마스터 인스턴스(M)에 정렬 데이터가 저장되면 제2 메모리부(220b)의 슬레이브 인스턴스(S)에도 정렬 데이터가 복제되어 저장되고, 제2 메모리부(220b)의 마스터 인스턴스(M)에 정렬 데이터가 저장되면 제1 메모리부(220a)의 슬레이브 인스턴스(S)에도 정렬 데이터가 복제되어 저장된다.

일 실시예에 있어서, 슬레이브 인스턴스(S)에 기록된 정렬 데이터는 장애시 복구를 위해 각 데이터가 스크립터(Scripter) 형태의 파일로 백업될 수 있다. 이때, 스크립터 형태의 파일이란 데이터의 쓰기 또는 읽기와 관련된 커맨드가 해당 데이터와 함께 저장되어 있는 형태의 파일을 의미한다.

한편, 제1 메모리부(220a)에 포함된 마스터 인스턴스(M)가 동작하다가 장애가 발생하는 경우 자동으로 제1 메모리부(220a)에 포함된 슬레이브 인스턴스(S)가 활성화됨으로써 전술한 실시간 프로세싱부(210)의 다양한 기능이 중단되지 않고 연속적으로 구현될 수 있다.

일 실시예에 있어서, 각 메모리부(220)의 마스터 인스턴스(M) 및 슬레이브 인스턴스(S)는 싱글 스레드(Rhread) 형태로 구성되고, 쓰기 및 읽기 별로 인스턴스 및 포트가 분리되어 있다.

한편, 각 메모리부(220)에 포함된 마스터 인스턴스(M) 및 슬레이브 인스턴스(S)는 전술한 수집데이터 저장부(221), 정렬데이터 저장부(222), 완료이벤트 저장부(223) 및 이상감지결과 저장부(224)를 각각 포함하여 구성될 수 있다.

이하, 도 6을 참조하여 표준화된 데이터의 매핑 및 정렬 작업을 분산병렬처리하는 방법을 예를 들어 설명한다.

도 6에 도시된 바와 같이, 제1 실시간 프로세싱부(210a)에 페치 수행모듈(211)이 배포되어 있기 때문에, 제1 실시간 프로세싱부(210a)는 페치 수행모듈(211)을 실행시킴으로써 페치 수행모듈(211)이 큐(121)에 접속하여 표준화된 데이터를 페치하고, 페치 데이터를 제1 메모리부(220a)의 마스터 인스턴스(M)에 저장하도록 한다. 이때, 제2 메모리부(220b)의 슬레이브 인스턴스(S)에도 데이터가 복제되어 저장된다. 상술한 실시예에 있어서는, 제1 메모리부(220a)의 마스터 인스턴스(M)에 데이터가 저장되는 것으로 설명하였지만 제2 메모리부(220b)의 마스터 인스턴스(M)에 데이터가 저장될 수도 있을 것이다. 이러한 경우 제1 메모리부(220a)의 슬레이브 인스턴스(S)에 데이터가 복제되어 저장된다.

제2 실시간 프로세싱부(210b)에는 로딩 수행모듈(212), 설비매핑 수행모듈(213a), 및 재료매핑 수행모듈(213b)이 배포되어 있기 때문에, 제2 실시간 프로세싱부(210b)는 로딩 수행모듈(212)을 실행시킴으로써 로딩 수행모듈(212)이 제2 메모리부(220b)의 슬레이브 인스턴스(S) 또는 제1 메모리부(220a)의 슬레이브 인스턴스(S)로부터 데이터를 독출한다.

그리고, 제2 실시간 프로세싱부(210b)는 설비매핑 수행모듈(213a)을 실행시킴으로써 제2 메모리부(220b)의 슬레이브 인스턴스(S) 또는 제1 메모리부(220a)의 슬레이브 인스턴스(S)로부터 독출된 데이터에 설비 식별자를 매핑하고, 재료매핑 수행모듈(213b)을 실행시킴으로써 설비 식별자가 매핑된 데이터에 재료 식별자를 매핑시킨다.

제3 실시간 프로세싱부(210c)에는 데이터 보정 수행모듈(215) 및 데이터 정렬 수행모듈(216)이 배포되어 있기 때문에, 제3 실시간 프로세싱부(210c)는 데이터 보정 수행모듈(215)을 실행시킴으로써 매핑 데이터 중 누락된 데이터를 보정하고, 데이터 정렬 수행모듈(216)을 수행함으로써 보정된 매핑 데이터를 재료 단위로 정렬하여 제2 메모리부(220b)의 마스터 인스턴스(M)에 저장한다. 이때, 제1 메모리부(220a)의 슬레이브 인스턴스(S)에도 데이터가 복제되어 저장된다. 상술한 설명에서는, 제2 메모리부(220b)의 마스터 인스턴스(M)에 정렬 데이터가 저장되는 것으로 설명하였지만 제1 메모리부(220a)의 마스터 인스턴스(M)에 정렬 데이터가 저장될 수도 있을 것이다. 이러한 경우 제2 메모리부(220b)의 슬레이브 인스턴스(S)에 데이터가 복제되어 저장된다.

상술한 실시예에 있어서는, 복수개의 메모리부(220)가 이중화 되어 구성됨으로써 제1 메모리부(220a)에 포함된 마스터 인스턴스(M)과 제2 메모리부(220b)에 포함된 슬레이브 인스턴스(S)가 한 쌍으로 동작하고, 제2 메모리부(220b)에 포함된 마스터 인스턴스(M)와 제1 메모리부(220a)에 포함된 슬레이브 인스턴스(S)가 한 쌍으로 동작하는 것으로 설명하였다.

하지만, 이러한 실시예에 따르는 경우, 마스터 인스턴스(M) 및 슬레이브 인스턴스(S)가 싱글 쓰레드로 구현되기 때문에, 제1 메모리부(220a)의 마스터 인스턴스(M)가 다운되는 경우 제1 메모리부(220)의 마스터 인스턴스(M)가 정상화될 때까지의 다운타임 동안, 제2 메모리부(220b)의 슬레이브 인스턴스(S)가 쓰기동작과 읽기동작을 모두 서비스 할 수 는 없다는 한계가 있다.

따라서, 변형된 실시예에 있어서, 메모리부(220)는 도 7에 도시된 바와 같이, 3중화 구조로 구현될 수 있다. 구체적으로, 변형된 실시예에 따른 메모리부(220) 각각은 마스터 인스턴스(M), 제1 슬레이브 인스턴스(S1), 및 제2 슬레이브 인스턴스(S2)를 포함한다.

이러한 경우, 제1 메모리부(220a)에 포함된 마스터 인스턴스(M)은 제2 및 제3 메모리부(220b, 220c)의 제1 슬레이브 인스턴스(S1)들과 한 쌍으로 동작한다. 이에 따라, 제1 메모리부(220a)에 포함된 마스터 인스턴스(M)에 데이터가 기입되면 제2 및 제3 메모리부(220b, 220c)의 제1 슬레이브 인스턴스(S1)들에도 데이터가 복제되어 저장된다.

또한, 제2 메모리부(220b)에 포함된 마스터 인스턴스(M)는 제1 메모리부(220a)에 포함된 제1 슬레이브 인스턴스(S1) 및 제3 메모리부(220c)에 포함된 제2 슬레이브 인스턴스(S2)들과 한 쌍으로 동작한다. 이에 따라, 제2 메모리부(220b)에 포함된 마스터 인스턴스(M)에 데이터가 기입되면 제1 메모리부(220a)에 포함된 제1 슬레이브 인스턴스(S1) 및 제3 메모리부(220c)에 포함된 제2 슬레이브 인스턴스(S2)들에도 데이터가 복제되어 저장된다.

또한, 제3 메모리부(220c)에 포함된 마스터 인스턴스(M)는 제1 메모리부(220a) 및 제2 메모리부(220b)에 포함된 제2 슬레이브 인스턴스(S1)들과 한 쌍으로 동작한다. 이에 따라, 제3 메모리부(220c)에 포함된 마스터 인스턴스(M)에 데이터가 기입되면 제1 메모리부(220a) 및 제2 메모리부(220b)에 포함된 제2 슬레이브 인스턴스(S1)들에도 데이터가 복제되어 저장된다.

다시 도 2를 참조하면, 빅데이터 분석 시스템(300)은 분산병렬처리시스템(200)에 의해 정렬된 데이터를 빅데이터 저장 공간에 저장한다. 또한, 빅데이터 분석 시스템(300)은 데이터 유실이 되지 않도록 관리하며 히스토리컬 데이터에 대한 조회 기능을 제공한다. 이하, 도 7을 참조하여 본 발명에 따른 빅데이터 분석 시스템(300)을 구체적으로 설명한다.

도 7은 본 발명의 일 실시예에 따른 빅데이터 분석 시스템의 구성을 보여주는 블록도이다.

도 7에 도시된 바와 같이 빅데이터 분석 시스템(300)은 대용량 데이터 처리부(310), 빅데이터 저장부(320), 및 쿼리 처리부(330)를 포함한다.

대용량 데이터 처리부(310)는 정렬 데이터와 이상감지 결과를 분산 병렬 처리하는 것으로서, 완료이벤트 수신유닛(311), 정렬데이터 페치유닛(312), 메모리 큐(313), 파일생성유닛(314), 및 이상감지 데이터 수신유닛(315)을 포함한다.

완료이벤트 수신유닛(311)은 분산병렬처리시스템(200)에 포함된 완료이벤트 저장부(223)를 모니터링하여 완료 이벤트가 새롭게 저장되면 해당 완료 이벤트를 정렬데이터 페치유닛(312)으로 전달한다.

정렬데이터 페치유닛(312)은 완료이벤트 수신유닛(311)으로부터 완료 이벤트가 전달되면, 정렬데이터 저장부(222)로부터 완료 이벤트에 해당하는 정렬 데이터를 조회하여 메모리 큐(313)에 저장한다. 일 실시예에 있어서, 정렬데이터 페치유닛(312)은 완료 이벤트에 포함된 키 정보를 이용해서 해당 완료 이벤트에 대응되는 데이터가 정렬데이터 저장부(222)의 어느 파티션 및 디렉토리에 저장되어 있는지 확인함으로써, 정렬데이터 저장부(222)에 저장된 데이터를 조회하여 메모리 큐(313)에 저장할 수 있다.

메모리 큐(313)는 정렬데이터 페치유닛(312)에 의해 독출된 데이터를 빅데이터 저장소(320)에 저장하기 전에 메모리 상에 임시로 보관한다. 일 실시예에 있어서, 데이터 양이 많지 않고 유실 방지가 필요한 경우 메모리 큐(313)를 파일 기반으로 구현할 수도 있다.

파일생성유닛(314)은 메모리 큐(313)에 저장된 데이터를 물리적인 파일로 생성하여 빅데이터 저장부(320)에 저장한다. 일 실시예에 있어서, 파일생성유닛(314)은 파일을 빅데이터 저장부(320)에 저장할 때, 파일포맷을 변경하거나 압축할 수 있다.

이상감지 데이터 수신유닛(315)은 분산병렬처리시스템(200)에 포함된 이상감지결과 저장부(224)를 모니터링하여 새로운 이상감지 결과가 저장되면 이를 메모리 큐(313)에 저장한다.

빅데이터 저장부(320)는 파일 생성유닛(314)에 의해 생성된 파일을 저장한다. 일 실시예에 있어서, 빅데이터 저장부(320)는 분산파일시스템(Distributed File System) 기반으로 구현될 수 있다. 예컨대, 빅데이터 저장부(320)는 하둡(Hadoop) 기반의 분산 파일 시스템으로 구현될 수 있다.

이러한 실시예에 따르는 경우, 빅데이터 저장부(320)는 마스터 노드(320a) 및 데이터 노드(320b)로 구성된다. 마스터 노드(320a)는 대용량 데이터 처리 장치(300)에 의해 생성된 많은 양의 파일을 데이터 노드들(320b)에 저장하고, 데이터 노드(320b)에 저장된 데이터들의 조회를 위한 작업(Job)을 생성 및 관리하며, 메타 데이터(Metadata)를 관리한다.

여기서, 작업(Job)이란 데이터 노드(320b)에 저장된 데이터를 조회하기 위해 쿼리 처리 장치(330)로부터 수신되는 쿼리를 처리하기 위한 단위를 의미한다. 예를 들어, 데이터 노드(320b)에 기록된 1개의 테이블에 대해 데이터를 조회하는 쿼리가 실행된 경우, 해당 테이블의 데이터를 조회한 결과 대상이 되는 데이터 노드가(320b)가 10개 선택되면, 10개의 데이터 노드(320b)에 대해 각 데이터 노드(320b) 별로 데이터를 조회하여 가져오는 작업(Job)과 데이터 노드(320b) 별로 획득된 데이터를 통합하는 작업(Job)이 실행되게 된다.

메타 데이터(Metadata)에는 데이터 노드(320b)에 저장되는 파일의 위치, 파일명, 파일이 저장되는 블록 ID, 및 서버의 저장위치 등이 포함된다. 예컨대, 파일 생성 유닛(314)에 파일이 생성되면 파일의 위치와 파일명이 메타데이터에 저장되고, 해당 파일이 블록 사이즈보다 커서 5개의 블록으로 나누어 각기 다른 3대의 서버에 저장되는 경우, 15개의 블록 ID와 각 서버의 저장위치가 메타데이터에 추가로 저장되게 된다.

이러한 메타 데이터는 데이터 노드(320b)에 저장된 데이터의 조회에 대한 작업(Job) 실행시 각 작업(Job)에 대한 분배 및 특정 파일의 데이터를 로딩할 때, 데이터의 위치 정보로 활용된다.

데이터 노드(320b)에는 대용량 데이터 처리 장치(300)에 의해 생성된 많은 양의 파일이 저장된다. 일 실시예에 있어서, 데이터 노드(320b)는 복수개로 구현될 수 있고, 각각의 데이터 노드(320b)는 히스토리컬 데이터 저장부(322) 및 모델 저장부(324)를 포함한다.

각 데이터 노드(320b)에 포함된 히스토리컬 데이터 저장부(322)에는 파일 생성유닛(314)에 의해 생성된 파일뿐만 아니라 데이터 수집 장치(1)에 의해 실시간으로 수집된 대용량의 수집 데이터가 모두 저장된다. 일 실시예에 있어서, 파일 생성유닛(314)에 의해 생성된 파일은 별도의 관계형 데이터베이스(Relational DataBase; RDB)에 저장될 수도 있다.

모델 저장부(324)에는 서비스 시스템(400)을 통해 재료나 제품에 대한 품질을 판정하기 위해 필요한 품질판정 모델과 이상예측 모델이 저장되어 있다.

쿼리 처리부(330)는 빅데이터 저장소(320)에 저장된 데이터를 조회하여 데이터를 리턴해주는 구성으로, 쿼리수신유닛(332), 쿼리실행유닛(336), 및 쿼리결과전송유닛(338)을 포함한다. 쿼리 처리부(330)는 쿼리 스케줄링유닛(334)을 더 포함할 수 있다.

구체적으로, 쿼리수신유닛(332)은 사용자로부터 쿼리를 수신하고 수신된 쿼리구문을 해석한다.

쿼리실행유닛(336)은 쿼리 수신유닛(322)을 통해 수신된 쿼리를 빅 데이터 저장소(320)로 전달함으로써 쿼리가 실행되도록 하고, 빅 데이터 저장소(320)로부터 쿼리 실행 결과를 획득한다.

쿼리결과전송유닛(338)은 쿼리수행 결과 빅 데이터 저장소(320)로부터 획득되는 데이터를 해당 쿼리를 요청한 사용자에게 전달한다.

한편, 쿼리 스케줄링유닛(334)은 쿼리수신유닛(332)을 통해 수신된 쿼리가 복수개의 하부 쿼리들로 구성되어 있는 경우, 수신된 쿼리를 각 하부 쿼리로 분류하여 쿼리 실행유닛(336)으로 전달한다.

상술한 실시예에 있어서는, 대용량 데이터 처리부(310)의 정렬 데이터 페치유닛(312)이 데이터의 종류에 관계없이 정렬데이터 저장부(222)에 저장된 데이터를 독출하여 메모리 큐(313)에 저장하는 것으로 설명하였다. 하지만, 다른 실시예에 있어서, 정렬 데이터 페치유닛(312)은 처리 속도의 향상을 위해 부하 데이터와 무부하 데이터를 구분하여 독출할 수 있다. 이하 다른 실시예에 따른 빅 데이터 분석 시스템의 구성을 도 8을 참조하여 보다 구체적으로 설명한다.

도 8은 본 발명의 다른 실시예에 따른 빅데이터 분석 시스템의 구성을 보여주는 도면이다.

도 8에 도시된 바와 같이, 빅 데이터 분석 시스템(300)은 대용량 데이터 처리부(310), 빅 데이터 저장부(320), 및 쿼리 처리부(330)를 포함한다. 빅 데이터 저장부(320) 및 쿼리 처리부(330)는 도 7에 도시된 것과 동일하므로 구체적인 설명은 생략하고, 이하에서는 대용량 데이터 처리부(310)의 구성 중 도 7에 도시된 것과 상이한 구성에 대해서만 설명하기로 한다.

본 발명의 다른 실시예에 따른 대용량 데이터 처리부(310)는 완료이벤트 수신유닛(311), 제1 정렬데이터 페치유닛(312a), 제2 정렬데이터 페치유닛(312b), 데이터 분할유닛(312c), 메모리 큐(313), 복수개의 파일 생성유닛(314a~314n), 및 이상감지 데이터 수신유닛(315)을 포함한다.

완료이벤트 수신유닛(311), 메모리 큐(313), 및 이상감지 데이터 수신유닛(315)의 기능은 도 7에 도시된 것과 동일하므로 구체적인 설명은 생략한다.

제1 정렬 데이터 페치유닛(312a)은 정렬 데이터 저장부(222)로부터 부하 데이터를 독출한다. 부하 데이터는 각 설비들이 재료를 가공하고 있는 상태에서 수집된 수집 데이터를 의미하는 것으로서, 부하 데이터에는 설비 식별자 및 재료 식별자가 모두 매핑되어 있다. 예컨대, 후판공정에서 조압연기(Roughing Mill: RM)나 사상 압연기(Finishing Mill: FM)에서 날판을 가공 중에 수집되는 온도 데이터나 평탄도 데이터가 부하 데이터에 해당할 수 있다. 이러한 부하 데이터는 도 10에 도시된 바와 같이, 데이터의 변화가 발생하며 데이터의 변화폭도 큰 특성을 갖는다.

제2 정렬 데이터 페치유닛(312b)은 정렬 데이터 저장부(222)로부터 무부하 데이터를 독출한다. 무부하 데이터는 각 설비들이 재료를 가공하지 않는 상태에서 수집된 수집 데이터를 의미하는 것으로서, 무부하 데이터에는 설비 식별자만이 매핑되어 있고 재료 식별자는 매핑되어 있지 않다. 예컨대, 무부하데이터는 후판공정에서 조압연기(Roughing Mill: RM)나 사상 압연기(Finishing Mill: FM)에서 날판을 가공하지 않은 상태에서 수집된 온도 데이터나 평탄도 데이터에 해당할 수 있다. 작업이 이루어지지 않는 상태에서 측정되기 때문에 무부하 데이터는 도 9에 도시된 바와 같이, 주로 동일한 값이 연속적으로 발생하게 되는 특성을 갖는다.

상술한 제1 정렬 데이터 페치유닛(312a) 및 제2 정렬 데이터 페치유닛(312b)은 처리 속도를 더욱 향상시키기 위해 각각 복수개로 구현될 수 있다.

일 실시예에 있어서, 정렬 데이터 저장부(222)는 부하 데이터가 저장되는 제1 정렬 데이터 저장부(222a) 및 무부하 데이터가 저장되는 제2 정렬 데이터 저장부(222b)를 포함할 수 있다. 이러한 실시예에 따르는 경우 제1 정렬 데이터 페치유닛(312a)은 제1 정렬 데이터 저장부(222a)로부터 부하 데이터를 독출하고, 제2 정렬 데이터 페치유닛(312b)은 제2 정렬 데이터 저장부(222b)로부터 무부하 데이터를 독출한다.

또한, 완료 이벤트 수신유닛(311)은 완료 이벤트 저장소(223)로부터 제1 정렬 데이터 저장부(222a)에 부하 데이터의 저장이 완료되었다는 이벤트가 발생되면, 해당 이벤트를 제1 정렬 데이터 페치유닛(312a)으로 전달함으로써, 제1 정렬 데이터 페치유닛(312a)이 제1 정렬 데이터 저장부(222a)에서 부하 데이터를 독출하게 한다. 완료 이벤트 수신유닛(311)은 완료 이벤트 저장소(223)로부터 제2 정렬 데이터 저장부(222b)에 무부하 데이터의 저장이 완료되었다는 이벤트가 발생되면, 해당 이벤트를 제2 정렬 데이터 페치유닛(312b)으로 전달함으로써, 제2 정렬 데이터 페치유닛(312b)이 제2 정렬 데이터 저장부(222b)에서 무부하 데이터를 독출하게 한다.

제1 정렬 데이터 페치유닛(312a)은 완료 이벤트 수신유닛(311)로부터 전달되는 완료 이벤트에 포함된 키 정보를 이용해서 해당 완료 이벤트에 대응되는 데이터가 제1 정렬데이터 저장부(222a)의 어느 파티션 및 디렉토리에 저장되어 있는지 확인함으로써, 제1 정렬데이터 저장부(222a)에 저장된 부하 데이터를 독출할 수 있다.

또한, 제2데이터 페치유닛(312b)은 완료 이벤트 수신유닛(311)으로부터 전달되는 완료 이벤트에 포함된 키 정보를 이용해서 해당 완료 이벤트에 대응되는 데이터가 제2 정렬데이터 저장부(222b)의 어느 파티션 및 디렉토리에 저장되어 있는지 확인함으로써, 제2 정렬데이터 저장부(222b)에 저장된 무부하 데이터를 독출할 수 있다.

상술한 실시예에 있어서, 제1 정렬 데이터 저장부(222a) 및 제2 정렬 데이터 저장부(222b)는 큐(Queue) 형태로 구현될 수 있다. 이는, 제1 정렬 데이터 저장부(222a) 및 제2 정렬 데이터 저장부(222b)를 메모리 캐시 형태로 구현하게 되면 저장 이벤트 발생시 바로 완료 이벤트 수신유닛(311)에 해당 이벤트가 전달되는 방식이기 때문에 완료 이벤트 수신유닛(311)이 다운되는 경우 해당 이벤트가 소멸함에 반해, 제1 정렬 데이터 저장부(222a) 및 제2 정렬 데이터 저장부(222b)를 큐 형태로 구현하게 되면, 저장 이벤트를 Queue공간에 저장하고 완료 이벤트 수신유닛(311)이 이를 가져가는 방식이기 때문에, 완료 이벤트 수신유닛(311)이 다운되더라도 완료 이벤트 수신유닛(311)이 복구되면 이전 처리 중인 이벤트부터 처리할 수 있어 이벤트 소실을 방지할 수 있게 된다.

또한, 상술한 실시예에 따르는 경우, 파일 생성유닛(314a~314n)은 부하 데이터를 파일로 생성하여 히스토리컬 데이터 저장소(322a)내의 부하 데이터 테이블(미도시)에 기록하고, 무부하 데이터를 파일로 생성하여 히스토리컬 데이터 저장소(322) 내의 무부하 데이터 테이블(미도시)에 기록함으로써, 즉, 부하 데이터를 기초로 생성된 파일과 무부하 데이터를 기초로 생성된 파일을 서로 다른 테이블에 분리하여 기록하기 때문에 데이터의 조회 및 분석이 필요한 경우 무부하 데이터의 스캔을 생략할 수 있어 처리속도를 향상시킬 수 있게 된다.

데이터 분할유닛(312c)은 제1 정렬 데이터 페치유닛(312a)에 의해 독출된 부하 데이터 또는 제2 정렬 데이터 페치유닛(312b)에 의해 독출된 무부하 데이터를 미리 정해진 건수 단위로 분할하여, 메모리 큐(313)에 저장한다.

이와 같이, 본 발명의 다른 실시예에 따른 빅 데이터 분석 시스템(300)이 데이터 분할유닛(312c)을 통해 데이터를 미리 정해진 단위의 건수로 분할하는 이유는, 300만건 이상의 대량의 데이터가 동시에 메모리 큐(313)로 전달되면 아웃오브 메모리(Out Of Memory)가 발생하여 시스템이 다운될 수 있기 때문이다. 일 실시예에 있어서, 데이터 분할유닛(312c)은 제1 정렬 데이터 페치유닛(312a)에 의해 독출된 부하 데이터 또는 제2 정렬 데이터 페치유닛(312b)에 의해 독출된 무부하 데이터를 만건 단위로 분할하여 메모리 큐(313)에 저장할 수 있다.

파일 생성유닛(314a~314n)은 메모리 큐(313)에 저장된 데이터를 물리적인 파일로 생성한다. 도 9에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 빅 데이터 분석 시스템(300)은 복수개의 파일 생성유닛(314a~314n)으로 구현되기 때문에, 복수개의 파일 생성유닛(314a~314n)이 파일 생성 작업을 병렬적으로 처리할 수 있어 파일 생성 작업의 속도를 향상시킬 수 있다. 이러한 실시예에 따르는 경우 복수개의 파일 생성유닛(314a~314n)은 서로 클러스터링되어 있을 수 있다.

다시 도 1을 참조하면, 서비스 시스템(400)은 표준화된 처리 프로세스와 업무 기준을 서비스로 재활용하는 구조로, 비즈니스 노하우를 리포지터리(Repository)화하여 기능 단위로 정의된 서비스 간 연결을 통해 계획-실행-제어 간의 연계를 용이하게 하며, 재료나 제품에 대한 품질판정 모델 또는 이상 예측 모델을 포함하는 분석모델을 호출하고 실행하여 분석 결과를 진행한다.

분석모델은 도 7 및 도 9에 도시된 모델 저장부(324)에 미리 저장되어 있으므로 서비스 시스템(400)은 분석모델에 대한 실행 호출 이벤트가 입력되면 분석모델에 필요한 데이터를 모델 저장부(324)로부터 추출하여 그 결과를 제공한다.

즉, 서비스 시스템(400)은 분산병렬처리시스템(200)에 의해 가공된 데이터를 직접 수신하여 분석하거나, 가공된 데이터가 빅데이터 분석 시스템(300)의 빅데이터 저장소(320)에 저장된 경우 빅데이터 저장소(320)를 참조하여 해당 데이터를 분석할 수 있다.

관리시스템(500)은 스마트팩토리 플랫폼(1000)에 속한 개별 구성에 대한 관리 및 UI/UX의 관리 데이터 수집을 위한 구성들에 대한 설정파일 관리, 각 구성의 개별 모니터링, 미리 설정된 설정값들 간의 연계정보 관리, 전체 시스템의 처리 성능 및 통합 모니터링 정보를 제공한다.

보안시스템(600)은 사용자에 대한 인증, 인가, 접근제어를 수행하며 데이터 자체에 대한 보안 및 전송 통로에 대한 보안을 관리한다.

어플리케이션 시스템(3)은 스마트팩토리 플랫폼(1000)을 기반으로 사용자에게 필요한 화면과 데이터를 가공하여 제공한다.

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 데이터 수집 장치 2: 네트워크
3: 어플리케이션 시스템 1000: 스마트팩토리 플랫폼
100: 인터페이스 시스템 200: 분산병렬처리시스템
300: 빅데이터 분석 시스템 310: 대용량 데이터 처리부
320: 데이터 저장소 330: 쿼리 처리부

Claims (20)

1. 복수의 공정이 연결되는 연속공정에서 수집된 수집 데이터를 처리하기 위한 스마트팩토리를 위한 빅데이터 분석 시스템에 있어서,
   상기 연속공정에서 수집된 데이터들 중 각 공정 별 부하 데이터를 독출하는 제1 정렬 데이터 페치 유닛;
   상기 연속공정에서 수집된 데이터들 중 무부하 데이터를 추출하는 제2 정렬 데이터 페치유닛;
   상기 부하 데이터 및 무부하 데이터를 파일로 생성하는 파일 생성유닛; 및
   상기 파일 생성유닛에 의해 생성된 파일이 저장되는 빅데이터 저장소를 포함하고,
   상기 제1 정렬 데이터 페치 유닛은 상기 수집 데이터들 중 상기 수집 데이터가 발생된 설비의 설비 식별자 및 상기 설비를 통해 발생된 재료의 재료 식별자가 매핑되어 있는 수집 데이터를 상기 부하 데이터로 독출하고,
   상기 제2 정렬 데이터 페치 유닛은 상기 수집 데이터들 중 상기 수집 데이터가 발생된 설비의 설비 식별자가 매핑되어 있는 수집 데이터를 상기 무부하 데이터로 독출하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 설비 식별자는, 상기 수집 데이터가 수집된 시간 및 상기 수집 데이터를 수집한 센서의 속성 정보에 기초하여 추출되는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
5. 제1항에 있어서,
   상기 재료 식별자는, 각 공정 별 작업 지시 정보에 기초하여 추출되는 것을 특징으로 스마트팩토리를 위한 빅데이터 분석 시스템.
6. 제1항에 있어서,
   상기 제1 정렬 데이터 페치 유닛은,
   상기 설비 식별자 및 상기 재료 식별자가 매핑된 매핑 데이터들이 수집 시간 순서 및 상기 공정에서 가공된 재료 단위 중 적어도 하나로 정렬된 수집 데이터를 상기 부하 데이터로 독출하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
7. 제6항에 있어서,
   상기 제1 정렬 데이터 페치 유닛은,
   상기 매핑 데이터가 상기 재료 상에서 미리 정해진 간격으로 설정된 기준점들과 상기 수집 데이터의 수집 위치간의 거리를 기초로 산출된 상기 각 기준점들에서의 기준 데이터를 기준으로 단위정렬된 수집 데이터를 상기 부하 데이터로 독출하고,
   상기 수집위치는, 상기 공정에서 가공된 재료의 길이, 상기 재료의 이동 속도, 및 상기 수집 데이터의 수집 주기 중 적어도 하나를 이용하여 결정되는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
8. 제6항에 있어서,
   상기 제1 정렬 데이터 페치 유닛은 상기 매핑 데이터 및 기준 데이터들이 상기 공정에서 가공된 재료 상에서 일 방향으로 정렬된 수집 데이터를 상기 부하 데이터로 독출하고,
   상기 기준데이터들은 상기 수집 데이터의 수집 위치 및 상기 재료의 기준점을 기초로 결정되며,
   상기 재료 상에서의 일 방향은, 상기 재료의 길이 방향, 상기 재료의 폭 방향, 및 상기 재료의 두께 방향 중 적어도 하나인 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
9. 제1항에 있어서,
   상기 부하 데이터는 큐(Queue) 형태로 구성된 제1 정렬 데이터 저장소에 기록되어 있고,
   상기 무부하 데이터는 큐 형태로 구성된 제2 정렬 데이터 저장소에 기록되어 있는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
10. 제1항에 있어서,
    상기 제1 정렬 데이터 페치유닛에 의해 독출된 부하 데이터 및 상기 제2 정렬 데이터 페치유닛에 의해 독출된 무부하 데이터가 임시적으로 기록되는 메모리 큐를 더 포함하고,
    상기 파일 생성유닛은 상기 메모리 큐에 기록되어 있는 부하 데이터 및 상기 제2 정렬 데이터 페치유닛에 의해 독출된 무부하 데이터를 파일로 생성하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
11. 제10항에 있어서,
    상기 제1 정렬 데이터 페치유닛에 의해 독출된 부하 데이터 및 상기 제2 정렬 데이터 페치유닛에 의해 독출된 무부하 데이터를 미리 정해진 건수 단위로 분할하는 데이터 분할유닛을 더 포함하고,
    상기 데이터 분할유닛은 상기 미리 정해진 건수 단위로 분할된 부하 데이터 및 무부하 데이터를 상기 메모리 큐에 기록하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
12. 제1항에 있어서,
    상기 파일 생성 유닛은 복수개로 구현되고 복수개의 파일 생성 유닛은 클러스터링되어 있어, 상기 복수개의 파일 생성 유닛이 상기 부하 데이터 및 무부하 데이터의 파일 생성 작업을 병렬로 처리하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
13. 제1항에 있어서,
    상기 빅데이터 저장소는,
    상기 파일 생성 유닛에 의해 생성된 파일이 저장되는 복수개의 데이터 노드; 및
    상기 파일 생성 유닛에 의해 생성된 파일을 상기 복수개의 데이터 노드에 분산 저장하는 마스터 노드를 포함하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
14. 제13항에 있어서,
    상기 마스터 노드는,
    상기 복수개의 데이터 노드에 저장된 파일을 조회하기 위한 쿼리가 수신되면, 상기 쿼리를 처리하는 단위인 작업(Job)을 생성 및 관리하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
15. 제13항에 있어서,
    상기 마스터 노드는,
    상기 데이터 노드에 저장된 파일의 위치 정보 및 파일명을 포함하는 메타 데이터(Metadata)를 관리하고,
    상기 파일의 위치 정보는, 해당 데이터 노드 내에서 상기 파일의 저장 위치, 상기 파일이 저장되는 블록의 ID, 및 상기 파일이 저장된 데이터 노드의 위치정보 중 적어도 하나를 포함하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
16. 제13항에 있어서,
    상기 파일 생성 유닛은 상기 부하 데이터를 파일로 생성하여 상기 데이터 노드의 제1 테이블에 저장하고, 상기 무부하 데이터를 파일로 생성하여 상기 데이터 노드의 제2 테이블에 저장하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
17. 제1항에 있어서,
    사용자로부터 입력되는 쿼리를 실행하여 상기 빅데이터 저장소를 조회하고, 쿼리 실행 결과를 사용자에게 리턴하는 쿼리 처리부를 더 포함하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
18. 제17항에 있어서, 상기 쿼리 처리부는
    사용자로부터 수신된 쿼리에 복수개 하부 쿼리가 포함되어 있으면, 상기 쿼리를 상기 복수개의 하부 쿼리로 분류하는 쿼리 스케쥴링유닛;
    상기 쿼리 스케쥴링유닛에 의해 분류된 하부 쿼리들을 상기 빅 데이터 저장소에 전달하여 상기 하부 쿼리가 실행되도록 하고, 상기 빅 데이터 저장소로부터 상기 쿼리 실행 결과를 획득하는 쿼리실행유닛; 및
    상기 쿼리 실행유닛이 획득한 쿼리 실행 결과를 사용자에게 리턴하는 쿼리결과 전송유닛을 포함하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
19. 제1항에 있어서,
    상기 부하 데이터의 생성을 알리는 제1 완료 이벤트가 수신되면 상기 제1 완료 이벤트를 상기 제1 정렬 데이터 페치유닛으로 전송하여 상기 제1 정렬 데이터 페치유닛이 상기 부하 데이터를 독출하도록 하고, 상기 무부하 데이터의 생성을 알리는 제2 완료 이벤트가 수신되면 상기 제2 완료 이벤트를 상기 제2 정렬 데이터 페치유닛으로 전송하여 상기 제2 정렬 데이터 페치유닛이 상기 무부하 데이터를 독출하도록 하는 완료이벤트 수신부를 더 포함하는 것을 특징을 하는 스마트팩토리를 위한 빅데이터 분석 시스템.
20. 제19항에 있어서,
    상기 제1 완료 이벤트에는 상기 부하 데이터에 대응되는 제1 키가 포함되어 있고, 상기 제1 정렬 데이터 페치유닛은 상기 제1 키를 이용하여 상기 부하 데이터가 저장된 제1 정렬 데이터 저장소의 파티션 및 디렉토리로부터 상기 부하 데이터를 독출하고,
    상기 제2 완료이벤트에는 상기 무부하 데이터에 대응되는 제2 키가 포함되어 있고, 상기 제2 정렬 데이터 페치유닛은 상기 제2 키를 이용하여 상기 무부하 데이터가 저장된 제2 정렬 데이터 저장소의 파티션 및 디렉토리로부터 상기 무부하 데이터를 독출하는 것을 특징으로 하는 스마트팩토리를 위한 빅데이터 분석 시스템.

Images