KR20220120963A - 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템 - Google Patents

머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템 Download PDF

Info

Publication number
KR20220120963A
KR20220120963A KR1020210024803A KR20210024803A KR20220120963A KR 20220120963 A KR20220120963 A KR 20220120963A KR 1020210024803 A KR1020210024803 A KR 1020210024803A KR 20210024803 A KR20210024803 A KR 20210024803A KR 20220120963 A KR20220120963 A KR 20220120963A
Authority
KR
South Korea
Prior art keywords
machine learning
data
host device
raw
logic
Prior art date
Application number
KR1020210024803A
Other languages
English (en)
Inventor
이상훈
김관용
Original Assignee
주식회사 와이넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이넷 filed Critical 주식회사 와이넷
Priority to KR1020210024803A priority Critical patent/KR20220120963A/ko
Publication of KR20220120963A publication Critical patent/KR20220120963A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Numerical Control (AREA)

Abstract

본 발명은 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템에 관한 것으로서, 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하고 용이한 모니터링이 이루어질 수 있도록 한 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템을 제공하는 것이다.
본 발명은 하나 이상의 프로세서들을 포함하는 호스트 장치; 상기 호스트 장치로부터의 라이트 커맨드에 따라 제공받은 로우 데이터를 기 프로그래밍 된 머신 러닝 로직에 따라 처리하여 머신 러닝 데이터를 생성하고, 상기 호스트 장치로부터의 리드 커맨드에 따라 상기 머신 러닝 데이터를 상기 호스트 장치에 제공하는 머신 러닝 장치; 상기 호스트 장치로부터 발생하는 로그데이터 및 머신 러닝 장치로부터 발생하는 머신 러닝 데이터를 분석 및 시각화하는 모니터링부;를 포함하며, 상기 머신 러닝 장치는, 메모리 모듈 인터페이스를 통해 호스트 장치로부터 제공받은 로우 데이터와 커맨드 데이터, 상기 로우 데이터가 머신 러닝 된 머신 러닝 데이터 및 상기 머신 러닝 데이터에 대한 위치 데이터를 저장하는 데이터 저장부; 기 프로그래밍 된 머신 러닝 로직에 따라 상기 로우 데이터를 처리하여 상기 머신 러닝 데이터를 생성하는 머신 러닝 로직부; 및 상기 커맨드 데이터에 근거하여 상기 데이터 저장부에서 상기 로우 데이터를 리드하여 상기 머신 러닝 로직부에 제공하고, 상기 머신 러닝 로직부에서 생성된 상기 머신 러닝 데이터를 상기 위치 데이터와 함께 상기 데이터 저장부에 라이트하는 머신 러닝 컨트롤러;를 포함하여 구성한다.

Description

머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템 {MONITORING SYSTEM FOR MACHINE LEARNING}
본 발명은 머신러닝 기반 빅데이터 분석 및 성능 감시 시스템에 관한 것으로서, 보다 상세하게는 머신러닝 기반 데이터 분석 솔루션을 제공함에 있어서 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하고 용이한 모니터링이 이루어질 수 있도록 한 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템에 관한 것이다.
AI(Artificial Intelligence)는 ‘생활의 데이터화’로 급격히 발전하고 있으나, 여전히 많은 부분이 미개척 영역으로 남아 있다. 특히 정보통신 분야에서는 쌓여 가는 대용량 데이터에 대한 분석 요구가 증가하고 있으나 일부 대형 사업자를 제외하고 대부분의 IDC(Internet Data Center) 운영기관에서는 데이터 활용이 극히 저조한 게 현실이다. 이러한 문제점을 개선하기 위해 이용자의 다양한 환경에 맞는 로그 수집/분석을 통해 조기에 문제점을 찾아 조치함으로써 미래 발생 가능한 장애를 예방하고, 다양한 시스템의 성능을 수집/분석/가시화하여 누구나 쉽게 시스템 환경을 분석할 수 있는 시스템이 요구된다.
일반적으로 머신러닝시스템(machine learning system)은 외부에서 주어지는 데이터를 통해 학습하고, 학습결과를 토대로 입력에 따른 출력을 예측하는 시스템을 의미한다.
빅데이터란 기존의 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다.
다양한 종류의 대용량 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형정보를 제공, 관리, 분석할 수 있도록 한다.
이러한 머신러닝 및 빅데이터 기술은 삶의 질을 풍요롭게하는 반면 시스템 관리 및 분석에 있어서는 상당한 어려움이 있었다.
대형 IDC의 경우 매일 수십억 건의 로그가 쌓이고 있으며 로그 용량도 테라바이트 수준으로 지속해서 증가하고 있어 이에 대한 수집, 분석, 관리에 많은 인력과 시스템(비용)을 투입하고 있는 문제점이 있다. 이러한 데이터의 증가로 문제 발생시 문제 원인을 찾기는 점점 어려워지고 있으며, ‘가시성’이 확보되지 않아 통제력을 잃는 영역이 늘어나고 있고, 이로 인해 문제 발생 시 원인 규명이 어렵고, 대응 시간이 증가하여 서비스 가용성을 악화시키는 핵심 요인으로 작용하는 문제점도 있었다.
대한민국 등록특허 제2073085호 (2020.01.29. 등록) 대한민국 등록특허 제2185190호 (2020.11.25. 등록)
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 머신러닝 기반 데이터 분석 솔루션을 제공함에 있어서 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하고 용이한 모니터링이 이루어질 수 있도록 한 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템을 제공하는데 본 발명의 목적이 있다.
상술한 목적을 달성하기 위해, 본 발명은 하나 이상의 프로세서들을 포함하는 호스트 장치; 상기 호스트 장치로부터의 라이트 커맨드에 따라 제공받은 로우 데이터를 기 프로그래밍 된 머신 러닝 로직에 따라 처리하여 머신 러닝 데이터를 생성하고, 상기 호스트 장치로부터의 리드 커맨드에 따라 상기 머신 러닝 데이터를 상기 호스트 장치에 제공하는 머신 러닝 장치; 상기 호스트 장치로부터 발생하는 로그데이터 및 머신 러닝 장치로부터 발생하는 머신 러닝 데이터를 분석 및 시각화하는 모니터링부;를 포함하며, 상기 머신 러닝 장치는, 메모리 모듈 인터페이스를 통해 호스트 장치로부터 제공받은 로우 데이터와 커맨드 데이터, 상기 로우 데이터가 머신 러닝 된 머신 러닝 데이터 및 상기 머신 러닝 데이터에 대한 위치 데이터를 저장하는 데이터 저장부; 기 프로그래밍 된 머신 러닝 로직에 따라 상기 로우 데이터를 처리하여 상기 머신 러닝 데이터를 생성하는 머신 러닝 로직부; 및 상기 커맨드 데이터에 근거하여 상기 데이터 저장부에서 상기 로우 데이터를 리드하여 상기 머신 러닝 로직부에 제공하고, 상기 머신 러닝 로직부에서 생성된 상기 머신 러닝 데이터를 상기 위치 데이터와 함께 상기 데이터 저장부에 라이트하는 머신 러닝 컨트롤러;를 포함하여 구성한다.
본 발명에 따른 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템에 의하면, 머신 러닝 장치를 범용의 메모리 모듈 형태로 형성함으로써 통상의 컴퓨터에 머신 러닝 기능을 쉽게 적용할 수 있고, 머신러닝 기반 데이터 분석시 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하여 용이한 모니터링이 이루어질 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템의 구성을 개략적으로 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 구성에서 호스트 장치와 머신 러닝 장치의 관계를 보다 상세하게 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 머신 러닝 장치의 구성을 보다 상세하게 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 머신 러닝 로직부의 각 FPGA의 구성을 보다 상세하게 나타낸 것이다.
이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세하게 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템의 구성을 나타낸 것이다.
도 1에 도시한 바와 같이, 본 발명의 주요 구성은 호스트 장치(100), 메모리 장치(200), 머신 러닝 장치(300), 모니터링부(400)를 포함할 수 있다.
상기 호스트 장치(100)는 하나 이상의 프로세서들을 포함하는 중앙처리장치(CPU) 또는 그래픽 처리장치(Graphic Processing Unit, GPU) 등과 같은 연산 장치를 포함할 수 있다. 호스트 장치(100)는 메모리 장치(200)와 통신하여 연산 동작에 필요한 데이터를 메모리 장치(200)로부터 제공받고 연산 결과를 메모리 장치(200)에 저장한다. 또한, 호스트 장치(100)는 머신 러닝 장치(300)에 머신 러닝 수행 명령 및 머신 러닝에 필요한 데이터를 제공하고, 머신 러닝 장치(300)로부터 머신 러닝 결과를 제공받는다. 이때, 호스트 장치(100)는 호스트 장치(100) 내에 구비된 메모리 컨트롤러(MC)를 통해 메모리 장치(200) 및 머신 러닝 장치(300)와 통신할 수 있다.
메모리 장치(200)는 호스트 장치(100)로부터 제공된 데이터 또는 호스트 장치(100)로 제공될 데이터를 저장하고, 호스트 장치(100)의 연산 동작을 보조하는 동작을 수행할 수 있다. 메모리 장치(200)는 휘발성 메모리를 포함하는 어떠한 저장 매체로든 구현될 수 있다. 이러한 메모리 장치(200)는 DIMM(Dual-Inline Memory Module) 표준에 따른 모듈 형태로 형성될 수 있다. 예를 들어, 메모리 장치(200)는 UDIMM(Unbuffered Dual In-Line Memory Module), RDIMM(Registered DIMM), LRDIMM(Load Reduced DIMM), NVDIMM(Non Volatile DIMM) 등을 포함할 수 있다.
머신 러닝 장치(300)는 호스트 장치(100)로부터의 라이트 명령에 따라 제공받은 데이터를 기 프로그래밍 된 머신 러닝 로직에 따라 처리하여 머신 러닝 데이터를 생성하고, 호스트 장치(100)로부터의 리드 명령에 따라 머신 러닝 데이터를 호스트 장치(100)에 제공한다. 머신 러닝 장치(300)는 컴퓨터 마더보드(motherboard)(10)와 연결을 가능하게 하는 칩 핀들(chip pins)을 포함하는 회로 기판(circuit board) 상에 다중 DRAM 칩들을 포함하는 메모리 모듈 형태로 형성될 수 있다. 예컨대, 머신 러닝 장치(300)는 메모리 장치(200)와 같이 DIMM(Dual In-line Memory Module) 표준에 따른 메모리 모듈 형태로 형성될 수 있다. 즉, 호스트 장치(100) 관점에서는 머신 러닝 장치(300)도 메모리 장치(200)와 같은 DIMM으로 취급된다.
모니터링부(400)는 상기 호스트 장치로부터 발생하는 로그데이터 및 머신 러닝 장치로부터 발생하는 머신 러닝 데이터를 분석 및 시각화하는 기능을 포함한다.
도 1에서의 호스트 장치(100), 메모리 장치(200) 및 머신 러닝 장치(300)는 데이터 센터 내 서버(미도시)의 마더보드(10)에 장착된 형태로 형성될 수 있다.
도 2는 도 1의 구성에서 호스트 장치(100)와 머신 러닝 장치(300)의 관계를 보다 상세하게 나타낸 도면이다.
도 2를 참조하면, 호스트 장치(100)는 머신 러닝이 필요한 경우, 메모리 컨트롤러(MC)를 통해 머신 러닝을 위해 필요한 데이터(DATA_CMD, DATA_RAW)를 머신 러닝 장치(300)에 제공하고, 머신 러닝 된 데이터(머신 러닝 데이터)(DATA_ML)를 머신 러닝 장치(300)로부터 제공받는다. 이때, 호스트 장치(100)는 메모리 장치(200)에 데이터를 라이트 또는 리드할 때와 같은 방법으로, 메모리 컨트롤러(MC)를 이용한 DIMM 인터페이스를 통해 머신 러닝 장치(300)에 데이터를 라이트 또는 리드함으로써 머신 러닝 장치(300)와 통신한다. 즉, 호스트 장치(100)는 메모리 장치(200)에 데이터를 라이트할 때와 같은 방법으로 머신 러닝 장치(300)에 머신 러닝을 위한 데이터(DATA_CMD, DATA_RAW)를 제공하고, 메모리 장치(200)의 데이터를 리드할 때와 같은 방법으로 머신 러닝 장치(300)로부터 머신 러닝 데이터(DATA_ML)를 제공받는다.
예컨대, 호스트 장치(100)는 머신 러닝 장치(300)에게 머신 러닝을 수행시키고자 하는 경우, 클록 신호(CLK), 라이트 커맨드(CMD_W) 및 어드레스 정보(ADDR)를 이용하여 커맨드 데이터(DATA_CMD) 및 머신 러닝에 사용될 원시 데이터인 로우 데이터(DATA_RAW)를 머신 러닝 장치(300) 내의 메모리 소자들(예컨대, DRAM들)에 라이트한다.
이후, 호스트 장치(100)는 클록 신호(CLK), 리드 커맨드(CMD_R) 및 어드레스 정보(ADDR)를 이용하여 머신 러닝 장치(300) 내의 메모리 소자들에 저장된 데이터를 리드함으로써 머신 러닝 데이터(DATA_ML)를 제공받는다. 즉, 호스트 장치(100)는 머신 러닝 장치(300)를 DIMM과 같이 취급하여 데이터를 라이트 또는 리드한다. 머신 러닝된 데이터(DATA_ML)를 리드시, 호스트 장치(100)는 머신 러닝 장치(300)의 메모리 소자의 특정 위치를 주기적으로 모니터링하여 머신 러닝된 데이터(DATA_ML)가 저장되었는지 여부를 먼저 확인할 수 있다.
머신 러닝 장치(300)는 기 프로그래밍 된 머신 러닝 로직에 따라 호스트 장치(100)로부터 제공받은 데이터(DATA_RAW)를 처리하여 머신 러닝을 수행하고, 머신 러닝 된 머신 러닝 데이터(DATA_ML)를 호스트 장치(100)에 제공한다. 예컨대, 머신 러닝 장치(300)는 호스트 장치(100)가 메모리 소자에 라이트한 커맨드 데이터(DATA_CMD) 및 로우 데이터(DATA_RAW)를 이용하여 머신 러닝을 수행하고, 머신 러닝을 통해 얻어진 결과 데이터(DATA_ML)를 메모리 소자에 저장한다. 이러한 머신 러닝 장치(300)는 머신 러닝 로직이 프로그래밍 된 복수의 FPGA(Field Programmable Gate Array)들을 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 도 2의 머신 러닝 장치(300)의 구성을 보다 상세하게 나타내는 구성도이다.
도 3을 참조하면, 머신 러닝 장치(300)는 데이터 저장부(310), 머신 러닝 로직부(320) 및 머신 러닝 컨트롤러(330)를 포함할 수 있다.
데이터 저장부(310)는 호스트 장치(100)로부터 제공받은 데이터(DATA_CMD, DATA_RAW), 머신 러닝 장치(300)에서 생성된 머신 러닝 데이터(DATA_ML) 및 머신 러닝 데이터(DATA_ML)에 대한 저장 위치를 알려주는 위치 데이터(DATA_LOC)를 저장한다. 데이터 저장부(310)는 호스트 장치(100)와는 종래의 DIMM과 같이 마더모드(10)의 신호 라인들을 통한 DIMM 인터페이스로 데이터를 송수신한다. 또한, 데이터 저장부(310)는 머신 러닝 컨트롤러(330)와는 머신 러닝 장치(300) 내의 신호 라인들을 통해 데이터를 송수신한다.
이러한 데이터 저장부(310)의 각 메모리 소자는 도 4에서와 같이, 호스트 장치(100)와의 데이터 송수신을 위한 데이터(DATA_CMD, DATA_LOC)가 저장되는 영역 및 실제 송수신 대상이 되는 데이터(DATA_RAW, DATA_ML)가 저장되는 영역을 포함하며, 각 영역은 미리 물리적으로 구분되게 정해질 수 있다.
따라서, 호스트 장치(100)는 지정된 위치에 커맨드 데이터(DATA_CMD)를 라이트하고 지정된 위치에 액세스하여 위치 데이터(DATA_LOC)를 리드할 수 있다. 특히, 호스트 장치(100)와의 통신을 위한 데이터(DATA_CMD,DATA_LOC)가 저장되는 위치(어드레스)가 미리 지정됨으로써, 호스트 장치(100)는 지정된 위치에 액세스하여 커맨드 데이터(DATA_CMD)를 라이트하고, 지정된 위치에 액세스하여 위치 데이터(DATA_LOC)를 리드할 수 있다. 이러한 데이터 저장부(310)의 메모리 소자들은 휘발성 메모리 소자들 예컨대 DRAM 들을 포함할 수 있다.
머신 러닝 로직부(320)는 머신 러닝 컨트롤러(330)로부터 로우 데이터(DATA_RAW)를 제공받으면, 기 프로그래밍된 머신 로직에 따라 로우 데이터(DATA_RAW)를 처리하여 머신 러닝을 수행하고, 머신 러닝 된 데이터(DATA_ML)를 머신 러닝 컨트롤러(330)에 제공한다. 머신 러닝 로직부(320)는 머신 러닝 로직이 프로그래밍 된 FPGA(Field Programmable Gate Array)들(FPGA 1 ∼ FPGA n)을 포함할 수 있다.
이때, FPGA들(FPGA 1 ∼ FPGA n)은 각각 독립적으로 머신 러닝 컨트롤러(330)로부터 로우 데이터(DATA_RAW)를 제공받아 머신 러닝을 수행한 후 머신 러닝 된 머신 러닝 데이터(DATA_ML)를 머신 러닝 컨트롤러(330)에 제공할 수 있다. 또는, FPGA들(FPGA 1 ∼ FPGA n)은 머신 러닝 로직을 순차적으로 수행할 수 있다. 예컨대, FPGA 1은 제공받은 로우 데이터를 이용하여 기 프로그래밍 된 로직에 따라 머신 러닝을 수행한 후 그 결과 데이터를 FPGA2에 제공하고, FPGA 2는 FPGA 1에서 처리된 데이터를 이용하여 기 프로그래밍 된 로직에 따라 머신 러닝을 수행한 후 그 결과 데이터를 FPGA 3에 제공할 수 있다. 이러한 방법으로 FPGA n 까지 순차적으로 머신 러닝을 수행한 후 최종의 FPGA n이 머신 러닝 컨트롤러(330)에게 완료된 머신 러닝 데이터(DATA_ML)를 제공할 수 있다.
머신 러닝 컨트롤러(330)는 데이터 저장부(310)에 저장된 로우 데이터(DATA_RAW)를 머신 러닝 로직부(320)에 제공하고, 머신 러닝 로직부(320)에 의해 머신 러닝된 데이터(DATA_ML)를 데이터 저장부(310)에 저장한다. 예컨대, 머신 러닝 컨트롤러(330)는 데이터 저장부(310)의 특정 영역에 커맨드 데이터(DATA_CMD)가 저장되었는지 여부를 주기적으로 모니터링하고, 커맨드 데이터(DATA_CMD)에 근거하여 데이터 저장부(310)에서 로우 데이터(DATA_RAW)를 리드한 후 이를 머신 러닝 로직부(320)에 제공한다.
머신 러닝 컨트롤러(330)는 머신 러닝 로직부(320)에서 머신 러닝을 수행하는 동안에는 데이터 저장부(310)와의 연결을 차단할 수 있다. 머신 러닝이 완료되면, 머신 러닝 컨트롤러(330)는 머신 러닝된 데이터(DATA_ML)를 머신 러닝 로직부(320)로부터 제공받아 데이터 저장부(310)에 라이트한다. 다음에, 머신 러닝 컨트롤러(330)는 머신 러닝된 데이터(DATA_ML)의 저장 위치를 알려주는 위치 데이터(DATA_LOC)를 미리 설정된 위치에 라이트한다.
도 4는 도 3에서의 머신 러닝 로직부(320)의 각 FPGA의 구성을 보다 상세하게 나타내는 도면이다. 도 4에서는 설명의 편의를 위해 인접한 2개의 FPGA들(FPGA 1, FPGA 2)의 구성 및 이들과 머신 러닝 컨트롤러(330)의 관계만을 예시적으로 나타내고 있다.
도 4를 참조하면, 각 FPGA는 로직부(322), 입력 버퍼(324) 및 출력 버퍼(326)를 포함할 수 있다.
로직부(322)는 머신 러닝 로직이 프로그래밍되며, 프로그래밍된 로직에 따라 입력 버퍼(324)에 저장된 로우 데이터(DATA_RAW)를 처리하여 머신 러닝 데이터(DATA_ML)를 생성하고, 생성된 머신 러닝 데이터(DATA_ML)를 출력버퍼(326)에 출력한다.
입력 버퍼(324)는 머신 러닝 컨트롤러(330)와 연결되며, 머신 러닝 컨트롤러(330)로부터 제공받은 로우 데이터(DATA_RAW)를 임시 저장한다.
출력 버퍼(324)는 머신 러닝 컨트롤러(330) 또는 다음 FPGA의 입력 버퍼와 연결되며, 로직부(322)에서 처리된 데이터(DATA_ML)를 임시 저장한다. 마지막 FPGA(FPGA n)의 출력 버퍼(324)는 머신 러닝 컨트롤러(330)와 연결된다.
본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양한 자명한 변형이 가능하다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어져야 한다.
100 : 호스트 장치
200 : 메모리 장치
300 : 머신 러닝 장치
310 : 데이터 저장부
320 : 머신 러닝 로직부
322 : 로직부
324 : 입력 버퍼
326 : 출력 버퍼
330 : 머신 러닝 컨트롤러

Claims (1)

  1. 하나 이상의 프로세서들을 포함하는 호스트 장치;
    상기 호스트 장치로부터의 라이트 커맨드에 따라 제공받은 로우 데이터를 기 프로그래밍 된 머신 러닝 로직에 따라 처리하여 머신 러닝 데이터를 생성하고, 상기 호스트 장치로부터의 리드 커맨드에 따라 상기 머신 러닝 데이터를 상기 호스트 장치에 제공하는 머신 러닝 장치;
    상기 호스트 장치로부터 발생하는 로그데이터 및 머신 러닝 장치로부터 발생하는 머신 러닝 데이터를 분석 및 시각화하는 모니터링부;를 포함하며,
    상기 머신 러닝 장치는,
    메모리 모듈 인터페이스를 통해 호스트 장치로부터 제공받은 로우 데이터와 커맨드 데이터, 상기 로우 데이터가 머신 러닝 된 머신 러닝 데이터 및 상기 머신 러닝 데이터에 대한 위치 데이터를 저장하는 데이터 저장부;
    기 프로그래밍 된 머신 러닝 로직에 따라 상기 로우 데이터를 처리하여 상기 머신 러닝 데이터를 생성하는 머신 러닝 로직부; 및
    상기 커맨드 데이터에 근거하여 상기 데이터 저장부에서 상기 로우 데이터를 리드하여 상기 머신 러닝 로직부에 제공하고, 상기 머신 러닝 로직부에서 생성된 상기 머신 러닝 데이터를 상기 위치 데이터와 함께 상기 데이터 저장부에 라이트하는 머신 러닝 컨트롤러;를 포함하여 구성되는 것을 특징으로 하는 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템.
KR1020210024803A 2021-02-24 2021-02-24 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템 KR20220120963A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210024803A KR20220120963A (ko) 2021-02-24 2021-02-24 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210024803A KR20220120963A (ko) 2021-02-24 2021-02-24 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템

Publications (1)

Publication Number Publication Date
KR20220120963A true KR20220120963A (ko) 2022-08-31

Family

ID=83061721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210024803A KR20220120963A (ko) 2021-02-24 2021-02-24 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템

Country Status (1)

Country Link
KR (1) KR20220120963A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102073085B1 (ko) 2018-01-02 2020-03-03 (주)코에버정보기술 Ｆｂｄ 머신러닝 기반의 동적 모니터링 시스템 및 그 방법
KR102185190B1 (ko) 2018-12-12 2020-12-01 한국전자통신연구원 머신러닝을 이용한 이상징후 탐지 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102073085B1 (ko) 2018-01-02 2020-03-03 (주)코에버정보기술 Ｆｂｄ 머신러닝 기반의 동적 모니터링 시스템 및 그 방법
KR102185190B1 (ko) 2018-12-12 2020-12-01 한국전자통신연구원 머신러닝을 이용한 이상징후 탐지 방법 및 시스템

Similar Documents

Publication Publication Date Title
US7143236B2 (en) Persistent volatile memory fault tracking using entries in the non-volatile memory of a fault storage unit
CN108320764B (zh) 半导体设备、存储器模块及其操作方法
US7519894B2 (en) Memory device with error correction code module
EP0931380B1 (en) Reconfigurable computing system
US8990488B2 (en) Memory buffer with one or more auxiliary interfaces
US20040047169A1 (en) Wavelength division multiplexed memory module, memory system and method
US9026870B2 (en) Memory module and a memory test system for testing the same
US9015440B2 (en) Autonomous memory subsystem architecture
CN101369240A (zh) 用于在信息处理系统中管理存储错误的系统和方法
US20160342533A1 (en) Apparatus for monitoring data access to internal memory device and internal memory device
CN104575595A (zh) 非易失性随机存取的存储装置
US9323458B2 (en) Memory buffer with one or more auxiliary interfaces
KR20220107617A (ko) 인메모리 프로세싱을 수행하는 병렬 처리 시스템
CN101401078A (zh) 存储装置、其控制方法及控制程序、存储卡、电路基板以及电子设备
US20210208198A1 (en) Chip test method, apparatus, device, and system
KR102615443B1 (ko) 머신 러닝 장치 및 이를 이용한 머신 러닝 시스템
KR20220120963A (ko) 머신러닝 기반의 빅데이터 분석 및 성능 감시 시스템
CN101401077A (zh) 存储装置及其控制方法和其控制程序、存储卡、电路基板及电子设备
US7251773B2 (en) Beacon to visually locate memory module
KR20030076429A (ko) 메모리 모듈의 전자적 테스트 방법
TWI823556B (zh) 記憶體異常檢測系統、主機板、電子裝置及異常檢測方法
CN117093158B (zh) 分布式存储系统的存储节点、系统、数据处理方法及装置
CN111968698B (zh) 一种flash芯片的测试系统及测试方法
EP3958138B1 (en) Neural network accelerator in dimm form factor
US20230376427A1 (en) Memory system and computing system including the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application