KR20190054741A - 데이터의 품질 관리 방법 및 장치 - Google Patents
데이터의 품질 관리 방법 및 장치 Download PDFInfo
- Publication number
- KR20190054741A KR20190054741A KR1020170151664A KR20170151664A KR20190054741A KR 20190054741 A KR20190054741 A KR 20190054741A KR 1020170151664 A KR1020170151664 A KR 1020170151664A KR 20170151664 A KR20170151664 A KR 20170151664A KR 20190054741 A KR20190054741 A KR 20190054741A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- storage
- completion signal
- stored
- quality
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 데이터의 품질 관리 방법 및 장치에 관한 것으로, 관리장치가 적어도 하나의 사용자 장치로부터 적어도 하나의 데이터를 수집하는 단계, 관리장치가 수집된 데이터를 하둡처리장치로 전송하고, 하둡처리장치로부터 데이터에 대한 저장완료 신호를 수신하는 단계, 관리장치가 저장완료 신호에 따라 데이터에 대한 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계 및 관리장치가 저장량 및 정합성 여부 중 적어도 하나에 대한 확인결과에 따른 오류를 표시하는 단계를 포함할 수 있고, 다른 실시 예로도 적용이 가능하다.
Description
본 발명은 데이터의 품질 관리 방법 및 장치에 관한 것으로, 하둡 기반의 빅 데이터 환경에서 데이터의 저장량 및 데이터 정합성에 대한 오류를 확인할 수 있는 데이터의 품질 관리 방법 및 장치에 관한 것이다.
빅 데이터는 디지털 환경에서 생성되는 데이터로 텍스트, 영상 데이터 등 다양한 형태의 데이터를 포함하는 대규모 데이터를 의미한다. 이러한 빅 데이터를 이용한 빅 데이터 시스템은, 빅 데이터를 분석 및 관리하여 사용자들의 생각 및 의견 등을 분석하고 예측하여 사용자들에게 보다 효과적인 정보 등을 제공하는데 사용된다.
특히, 하둡(hadoop)은 저렴한 비용으로 방대한 데이터의 분석을 제공하기 때문에 빅 데이터 시스템의 대표적인 방식으로 사용되고 있다. 그러나, 하둡의 쿼리 실행 엔진인 하이브(hive)는 스키마 온 리드(schema on read) 정책을 사용하여 데이터를 저장할 때 데이터에 오류가 발생하였더라도, 이를 오류로 인식할 수 없다. 빅 데이터라는 환경을 고려하면, 데이터에 대한 오류 인지 시점이 늦어질수록 데이터에 대한 복구가 어려워진다. 따라서, 하둡 기반의 빅 데이터 시스템에서, 데이터 저장 시에 데이터에 발생된 오류를 보다 빠르게 확인할 수 있는 기술의 필요성이 요구되고 있다.
빅 데이터는 디지털 환경에서 생성되는 데이터로 텍스트, 영상 데이터 등 다양한 형태의 데이터를 포함하는 대규모 데이터를 의미한다. 이러한 빅 데이터를 이용한 빅 데이터 시스템은, 빅 데이터를 분석 및 관리하여 사용자들의 생각 및 의견 등을 분석하고 예측하여 사용자들에게 보다 효과적인 정보 등을 제공하는데 사용된다.
특히, 하둡(hadoop)은 저렴한 비용으로 방대한 데이터의 분석을 제공하기 때문에 빅 데이터 시스템의 대표적인 방식으로 사용되고 있다. 그러나, 하둡의 쿼리 실행 엔진인 하이브(hive)는 스키마 온 리드(schema on read) 정책을 사용하여 데이터를 저장할 때 데이터에 오류가 발생하였더라도, 이를 오류로 인식할 수 없다. 빅 데이터라는 환경을 고려하면, 데이터에 대한 오류 인지 시점이 늦어질수록 데이터에 대한 복구가 어려워진다. 따라서, 하둡 기반의 빅 데이터 시스템에서, 데이터 저장 시에 데이터에 발생된 오류를 보다 빠르게 확인할 수 있는 기술의 필요성이 요구되고 있다.
본 발명의 일 실시 예에 따른 데이터의 품질 관리 방법은, 관리장치가 적어도 하나의 사용자 장치로부터 적어도 하나의 데이터를 수집하는 단계, 상기 관리장치가 상기 수집된 데이터를 하둡처리장치로 전송하고, 상기 하둡처리장치로부터 상기 데이터에 대한 저장완료 신호를 수신하는 단계, 상기 관리장치가 상기 저장완료 신호에 따라 상기 데이터에 대한 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계 및 상기 관리장치가 상기 저장량 및 정합성 여부 중 적어도 하나에 대한 확인결과에 따른 오류를 표시하는 단계를 포함하는 것을 특징으로 한다.
또한, 저장완료 신호는, 상기 데이터에 대한 일별 저장완료 신호 및 상기 데이터에 대한 데이터별 저장완료 신호를 포함하는 것을 특징으로 한다.
또한, 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계는, 상기 저장완료 신호가 상기 일별 저장완료 신호이면, 상기 저장량을 확인하는 단계를 포함하는 것을 특징으로 한다.
또한, 저장량을 확인하는 단계는, 상기 하둡처리장치에 저장된 상기 데이터의 일별 저장량을 확인하는 단계, 상기 확인된 일별 저장량과 이전에 저장된 이전 저장량을 비교하는 단계 및 상기 일별 저장량과 상기 이전 저장량의 차이가 임계치 이상이면, 데이터 품질에 대한 오류로 확인하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계는, 상기 저장완료 신호가 상기 데이터별 저장완료 신호이면, 상기 정합성 여부를 확인하는 단계를 포함하는 것을 특징으로 한다.
또한, 정합성 여부를 확인하는 단계는, 상기 하둡처리장치로 상기 하둡처리장치에 저장된 데이터에 대한 쿼리를 요청하는 단계, 상기 요청된 쿼리에 따른 응답을 수신하는 단계 및 상기 응답을 기반으로 저장된 데이터에 대한 정합성을 확인하고, 상기 확인된 정합성으로 상기 저장된 데이터의 품질에 대한 오류를 확인하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 쿼리를 요청하는 단계는, 상기 저장된 데이터에 대한 널 값과 상기 저장된 데이터의 타입을 확인하기 위한 쿼리를 요청하는 단계인 것을 특징으로 한다.
아울러, 본 발명의 일 실시 예에 따른 데이터의 품질 관리 장치는, 적어도 하나의 사용자 장치 및 하둡처리장치와 통신을 수행하는 통신부 및 상기 적어도 하나의 사용자 장치로부터 수집된 적어도 하나의 데이터를 상기 하둡처리장치로 전송하고, 상기 하둡처리장치로부터 수신된 상기 데이터에 대한 저장완료 신호에 따라 상기 데이터에 대한 저장량 및 정합성 여부 중 적어도 하나의 확인 결과로부터 상기 데이터에 대한 오류를 확인하는 제어부를 포함하는 것을 특징으로 한다.
또한, 저장완료 신호는, 상기 데이터에 대한 일별 저장완료 신호 및 상기 데이터에 대한 데이터별 저장완료 신호를 포함하는 것을 특징으로 한다.
또한, 제어부는, 상기 저장완료 신호가 상기 일별 저장완료 신호이면, 상기 하둡처리장치에 저장된 일별 저장량을 확인하고, 상기 일별 저장량과 이전에 저장된 이전 저장량의 차이가 임계치 이상이면, 데이터 품질에 대한 오류로 확인하는 것을 특징으로 한다.
또한, 제어부는, 상기 저장완료 신호가 상기 데이터별 저장완료 신호이면, 상기 하둡처리장치로 쿼리를 요청하고, 상기 쿼리에 따른 응답을 기반으로 저장된 데이터에 대한 정합성을 확인하여 상기 저장된 데이터의 품질에 대한 오류를 확인하는 것을 특징으로 한다.
또한, 쿼리는, 상기 저장된 데이터에 대한 널 값과 상기 저장된 데이터의 타입을 확인하기 위한 쿼리인 것을 특징으로 한다.
상술한 바와 같이 본 발명의 데이터의 품질 관리 방법 및 장치는 하둡 기반의 빅 데이터 환경에서 데이터의 저장량 및 데이터의 정합성에 대한 오류를 주기적 또는 실시간으로 확인함으로써 데이터의 품질을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 데이터 품질 관리 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 관리 장치의 주요 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 관리 장치에서 데이터의 품질을 관리하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 데이터의 품질을 관리하는 기반이 되는 스키마 관리 테이블을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 데이터의 정합성을 확인하기 위한 조건절을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 데이터 품질 관리에 따른 오류 발생 여부를 확인하기 위한 화면을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 관리 장치의 주요 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 관리 장치에서 데이터의 품질을 관리하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 데이터의 품질을 관리하는 기반이 되는 스키마 관리 테이블을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 데이터의 정합성을 확인하기 위한 조건절을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 데이터 품질 관리에 따른 오류 발생 여부를 확인하기 위한 화면을 나타내는 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.
본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
도 1은 본 발명의 실시 예에 따른 데이터 품질 관리 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명에 따른 데이터 품질 관리 시스템(10)은 사용자 장치(100), 관리 장치(200) 및 하둡처리장치(300)를 포함한다.
사용자 장치(100)는 인터넷 통신망에 접속이 가능한 장치로, 스마트 폰, 태블릿 PC, 컴퓨터, 인터넷 텔레비전 등의 장치일 수 있다. 사용자 장치(100)는 인터넷 통신망을 통해 웹 사이트 접속, 인터넷 텔레비전 시청 등의 동작을 수행하고, 인터넷 통신망에 접속하기 위해 액세스 포인트(access point; AP) 등으로의 접속을 수행할 수 있다. 이를 위해, 사용자 장치(100)는 LTE(long term evolution), LTE-A(long term evolution-advanced), WiFi(wireless fidelity) 등의 무선 통신을 이용하고, 케이블을 이용한 유선 통신을 수행할 수 있다. 본 발명에 따른 사용자 장치(100)는 복수의 사용자 장치를 포괄하는 용어로 사용된다.
관리 장치(200)는 사용자 장치(100)가 접속하는 인터넷 통신망과 연결되어 사용자 장치(100)가 수행하는 동작들과 관련된 데이터를 수집하고, 이를 통해 인터넷 통신 환경에서 발생하는 오류를 확인한다. 또한, 관리 장치(200)는 사용자 장치(100)로부터 수집된 데이터를 하둡처리장치(300)로 전송함으로써 사용자 장치(100)가 수행하는 동작들과 관련된 데이터를 빅 데이터로 사용할 수 있는 서버 등의 장치일 수 있다.
보다 구체적으로, 관리 장치(200)는 사용자 장치(100)가 인터넷 통신망에 접속하여 수행하는 동작들과 관련된 데이터를 수집한다. 관리 장치(200)가 수집하는 데이터는 사용자 장치(100)가 인터넷에 접속한 정보와 관련된 정보로서, 웹 사이트의 접속 내역, 인터넷 텔레비전의 사용 내역 및 액세스 포인트(access point; AP)로의 접속 이력 등을 포함할 수 있다.
관리 장치(200)는 수집된 데이터를 기 설정된 스키마 관리 테이블을 기반으로 저장하도록 하둡처리장치(300)로 전송한다. 이를 위해, 관리 장치(200)는 스키마 관리 테이블을 기 설정하여 하둡처리장치(300)로 전송한다. 관리 장치(200)는 하둡처리장치(300)로부터 데이터의 저장 완료를 알리는 저장완료 신호(예컨대, 트리거 신호)가 수신되면, 하둡처리장치(300)에 저장된 데이터에 대한 오류를 확인한다.
관리 장치(200)는 하둡처리장치(300)로부터 수신된 저장완료 신호의 종류를 확인한다. 관리 장치(200)는 저장완료 신호가 일별 저장완료 신호이면, 하둡처리장치(300)로 일별 데이터 저장량을 포함하는 데이터 저장량을 요청하여 확인할 수 있다. 관리 장치(200)는 데이터 저장량을 기반으로 일별 데이터 저장량의 월 평균 대비 증감율, 전주 대비 증감율 및 전일 대비 증감율을 산출하고, 증감율이 임계치 예컨대, 10% 이상 차이가 날 경우에 오류가 발생한 것으로 확인한다. 관리 장치(200)는 발생된 오류를 표시한다. 이때, 관리 장치(200)는 사용자 장치(100)에서 발생되어 관리 장치(200)가 수집한 데이터의 수집량과, 하둡처리장치(300)에 저장된 저장량을 비교하여 하둡처리장치(300)에 데이터 저장 시에 오류가 발생하였음을 확인할 수도 있다.
또한, 관리 장치(200)는 하둡처리장치(300)로부터 수신된 저장완료 신호의 종류를 확인한다. 관리 장치(200)는 저장완료 신호가 데이터별 저장완료 신호이면, 하둡처리장치(300)로 저장된 데이터의 정합성을 확인하기 위한 쿼리를 요청하고, 하둡처리장치(300)로부터 쿼리에 대한 응답을 수신할 수 있다. 예를 들면, 관리 장치(200)는 하둡처리장치(300)에 저장된 데이터의 스키마 관리 테이블에서 데이터의 널(null) 값과 타입(type)을 확인하기 위한 항목이 선택된 상태인지 확인하기 위한 쿼리를 요청할 수 있다. 관리 장치(200)는 요청한 쿼리에 대한 응답이 수신되면, 하둡처리장치(300)에 저장된 데이터의 정합성을 확인한다. 이때, 하둡처리장치(300)는 저장된 데이터의 스키마 관리 테이블에서 데이터의 널 값과 타입을 확인하기 위한 항목이 선택된 상태이면, 이를 응답으로 관리 장치(200)로 전송할 수 있다. 관리 장치(200)는 하둡처리장치(300)에 저장된 데이터의 저장 날짜가 제1 조건절에 대응되는 날짜와 상이하고, 데이터 타입이 제2 조건절과 상이하면 오류가 발생한 것으로 확인하고, 이를 표시한다.
하둡처리장치(300)는 관리 장치(200)로부터 전송되는 데이터를 저장하고, 데이터의 저장이 완료되면, 저장완료 신호를 관리 장치(200)로 전송한다. 하둡처리장치(300)는 관리 장치(200)에서 기 설정된 스키마 관리 테이블에 따라 데이터를 저장하고, 데이터의 저장이 완료되면 저장완료 신호를 관리 장치(200)로 전송한다. 이때, 하둡처리장치(300)는 일별 저장완료 신호 또는 데이터별 저장완료 신호 중 어느 하나를 관리 장치(200)로 전송할 수 있다.
보다 구체적으로, 하둡처리장치(300)는 하루 단위로 데이터의 저장을 수행하고, 데이터 저장의 종료 시점이 도래하면 저장완료 신호를 관리 장치(200)로 전송할 수 있다. 예컨대, 하둡처리장치(300)는 2017년 10월 1일 일요일이 시작되는 시점부터 종료되는 시점까지 데이터의 저장을 수행하고, 종료 시점이 도래하면 저장완료 신호를 관리 장치(200)로 전송할 수 있다. 이때, 저장완료 신호는 일별 저장완료 신호일 수 있다. 하둡처리장치(300)는 일별 저장완료 신호를 관리 장치(200)로 전송한 이후에, 관리 장치(200)의 요청에 의해서 월 평균 저장량, 일주일 전의 저장량 및 하루 전날의 저장량을 확인하여 관리 장치(200)로 전송할 수 있다. 예컨대, 하둡처리장치(300)는 2017년 10월 1일 일요일에 대한 일별 저장완료 신호를 관리 장치(200)로 전송하고, 2017년 10월의 이전 달인 2017년 9월에 포함된 일요일에 대한 데이터 저장량의 평균값, 2017년 10월 1일의 일주일 이전인 2017년 9월 24일에 대한 데이터 저장량 및 2017년 9월 30일에 대한 데이터 저장량을 확인하여 관리 장치(200)로 전송할 수 있다.
또한, 하둡처리장치(300)는 관리 장치(200)로부터 수신되는 하나의 데이터가 저장되는 시점마다 저장완료 신호를 관리 장치(200)로 전송할 수 있다. 이때, 저장완료 신호는 데이터별 저장완료 신호일 수 있다. 하둡처리장치(300)는 데이터별 저장완료 신호를 관리 장치(200)로 전송한 이후에, 관리 장치(200)로부터 저장된 데이터의 정합성을 판단하기 위한 쿼리를 요청받고, 요청된 쿼리에 대응되는 응답을 생성하여 관리 장치(200)로 전송한다. 이때, 쿼리는 데이터의 널 값 확인 및 테이터의 타입을 확인하기 위한 쿼리일 수 있다.
아울러, 본 발명의 실시 예에서는 하나의 데이터가 저장되는 시점마다 데이터별 저장완료 신호를 관리 장치(200)로 전송하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 예컨대, 데이터별 저장완료 신호는, 기 설정된 개수만큼의 데이터가 저장되는 시점, 기 설정된 시점이 도래할 때 관리 장치(200)로 전송할 수 있다. 또한, 데이터별 저장완료 신호는, 일별 저장완료 신호와 같이 하루 단위로 데이터 저장의 종료 시점에 관리 장치(200)로 전송할 수 있다.
도 2는 본 발명의 실시 예에 따른 관리 장치의 주요 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명에 따른 관리 장치(200)는 통신부(210), 입력부(220), 표시부(230), 메모리(240) 및 제어부(250)를 포함한다.
통신부(210)는 사용자 장치(100)와의 통신을 통해 사용자 장치(100)가 수행하는 동작들과 관련된 데이터들을 수집하여 제어부(250)로 제공한다. 통신부(210)는 제어부(250)의 제어에 의해 사용자 장치(100)로부터 수집된 데이터들을 하둡처리장치(300)로 전송한다. 이를 위해, 통신부(210)는 LTE(long term evolution), LTE-A(long term evolution-advanced), WiFi(wireless fidelity) 등의 무선 통신을 이용하고, 케이블을 이용한 유선 통신을 수행할 수 있다.
입력부(220)는 관리 장치(200)의 사용자 입력에 대응하여 입력 데이터를 발생시킨다. 입력부(220)는 적어도 하나의 입력수단을 포함한다. 입력부(220)는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key) 및 버튼(button)을 포함한다.
표시부(230)는 관리 장치(200)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(230)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 표시부(230)는 입력부(220)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.
메모리(240)는 관리 장치(200)의 동작 프로그램들을 저장한다. 메모리(240)는 데이터를 관리하기 위한 스키마 관리 테이블을 저장하고, 데이터의 정합성 확인을 위한 제1 조건절 및 제2 조건절을 저장한다.
제어부(250)는 통신부(210)를 통해 사용자 장치(100)가 인터넷 통신망에 접속하여 수행하는 동작들과 관련된 데이터를 수집한다. 데이터는 사용자 장치(100)가 인터넷에 접속한 정보와 관련된 정보로서, 웹 사이트의 접속 내역, 인터넷 텔레비전의 사용 내역 및 액세스 포인트(access point; AP)로의 접속 이력 등을 포함할 수 있다.
제어부(250)는 수집된 데이터를 기 설정된 스키마 관리 테이블을 기반으로 저장하도록 통신부(210)를 통해 하둡처리장치(300)로 전송한다. 이때, 데이터는 하둡처리장치(300)에 테이블 형태로 저장되고, 테이블 형태는 제어부(250)에서 기 설정되어 하둡처리장치(300)로 전송된 스키마 관리 테이블일 수 있다. 제어부(250)는 하둡처리장치(300)로부터 데이터의 저장 완료를 알리는 저장완료 신호가 수신되면, 하둡처리장치(300)에 저장된 데이터에 대한 오류를 확인한다.
보다 구체적으로, 제어부(250)는 하둡처리장치(300)로부터 수신된 저장완료 신호의 종류를 확인한다. 제어부(250)는 저장완료 신호가 일별 저장완료 신호이면, 하둡처리장치(300)로 일별 데이터 저장량을 포함하는 데이터 저장량을 요청하여 확인할 수 있다. 예를 들면, 제어부(250)는 오늘 예컨대, 2017년 10월 1일 일요일이 시작되는 시점부터 종료되는 시점까지 저장된 일별 데이터 저장량을 확인할 수 있다. 제어부(250)는 2017년 10월의 이전 달인 2017년 9월에 포함된 일요일에 대한 데이터 저장량의 평균값, 2017년 9월 24일 일요일의 저장량 및 2017년 9월 30일 월요일의 저장량을 각각 확인한다. 제어부(250)는 확인된 각각의 저장량을 기반으로 일별 데이터 저장량의 월 평균 대비 증감율, 전주 대비 증감율 및 전일 대비 증감율을 산출하고, 증감율이 임계치 예컨대, 10% 이상 차이가 날 경우에 오류가 발생한 것으로 확인한다. 제어부(250)는 발생된 오류를 표시한다.
또한, 제어부(250)는 하둡처리장치(300)로부터 수신된 저장완료 신호의 종류를 확인한다. 제어부(250)는 저장완료 신호가 데이터별 저장완료 신호이면, 하둡처리장치(300)로 저장된 데이터의 정합성을 확인하기 위한 쿼리를 요청하고, 하둡처리장치(300)로부터 쿼리에 대한 응답을 수신할 수 있다. 예를 들면, 관리 장치(200)는 하둡처리장치(300)에 저장된 데이터의 스키마 관리 테이블에서 데이터의 널(null) 값과 타입(type)을 확인하기 위한 항목이 선택된 상태인지 확인하기 위한 쿼리를 요청할 수 있다. 제어부(250)는 요청한 쿼리에 대한 응답이 수신되면, 하둡처리장치(300)에 저장된 데이터의 정합성을 확인한다.
제어부(250)는 하둡처리장치(300)에 저장된 데이터의 널 값 및 타입을 기 설정된 제1 조건절 및 제2 조건절과 비교하여 데이터의 정합성을 확인한다. 예컨대, 제어부(250)는 저장된 데이터의 저장 날짜가 제1 조건절에 대응되는 날짜와 상이하거나, 데이터 타입이 제2 조건절과 상이하면 오류가 발생한 것으로 확인하고, 이를 표시부(230)에 표시한다.
도 3은 본 발명의 실시 예에 따른 관리 장치에서 데이터의 품질을 관리하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 301단계에서 제어부(250)는 통신부(210)를 통해 사용자 장치(100)가 인터넷 통신망에 접속하여 수행하는 동작들과 관련된 데이터를 수집한다. 데이터는 사용자 장치(100)가 인터넷에 접속한 정보와 관련된 정보로서, 웹 사이트의 접속 내역, 인터넷 텔레비전의 사용 내역 및 액세스 포인트(access point; AP)로의 접속 이력 등을 포함할 수 있다.
303단계에서 제어부(250)는 수집된 데이터를 하둡처리장치(300)로 전송한다. 이때, 하둡처리장치(300)는 관리 장치(200)로부터 수신된 데이터를 저장한다. 이때, 데이터는 하둡처리장치(300)에 테이블 형태로 저장되고, 테이블 형태는 제어부(250)에서 기 설정되어 하둡처리장치(300)로 전송된 스키마 관리 테이블일 수 있다. 305단계에서 제어부(250)는 통신부(210)를 통해 하둡처리장치(300)로부터 데이터의 저장완료 신호가 수신되면 307단계를 수행한다.
307단계에서 제어부(250)는 저장완료 신호의 종류를 확인하여, 저장완료 신호가 일별 저장완료 신호이면 309단계를 수행하고, 일별 저장완료 신호가 아니면 데이터별 저장완료 신호인 것으로 확인하여 311단계를 수행한다.
309단계에서 제어부(250)는 하둡처리장치(300)에 저장된 데이터의 일별 저장량을 확인하고 315단계를 수행한다. 예를 들면, 제어부(250)는 오늘 예컨대, 2017년 10월 1일 일요일이 시작되는 시점부터 종료되는 시점까지 저장된 데이터의 일별 저장량을 하둡처리장치(300)로부터 수신하여 확인할 수 있다. 또한, 제어부(250)는 하둡처리장치(300)로부터 2017년 10월의 이전 달인 2017년 9월에 포함된 일요일에 대한 데이터 저장량의 평균값, 2017년 9월 24일 일요일의 저장량 및 2017년 9월 30일 월요일의 저장량을 각각 수신하여 확인할 수 있다.
315단계에서 제어부(250)는 하둡처리장치(300)로부터 수신된 저장량을 이용하여 월 평균 대비 증감율, 전주 대비 증감율 및 전일 대비 증감율을 산출한다. 제어부(250)는 증감율이 임계치 예컨대, 10% 이상 차이가 날 경우에 오류가 발생한 것으로 확인할 수 있다. 317단계에서 제어부(250)는 발생된 오류를 표시부(230)에 표시한다.
307단계의 확인결과, 저장완료 신호가 데이터별 저장완료 신호이면, 311단계에서 제어부(250)는 하둡처리장치(300)로 쿼리를 요청한다. 이때, 쿼리는 하둡처리장치(300)에 저장된 데이터의 스키마 관리 테이블에서 데이터의 널(null) 값과 타입(type)을 확인하기 위한 항목이 선택된 상태인지 확인하기 위한 쿼리이다. 313단계에서 제어부(250)는 하둡처리장치(300)로부터 쿼리에 대한 응답을 수신하여 315단계를 수행한다. 하둡처리장치(300)는 저장된 데이터의 스키마 관리 테이블에서 데이터의 널 값과 타입을 확인하기 위한 항목이 선택된 상태이면, 이를 쿼리에 대한 응답으로 관리 장치(200)로 전송할 수 있다. 이때, 쿼리는, 하둡처리장치(300)에 데이터가 저장될 때마다 요청할 수 있고, 하둡처리장치(300)에 저장된 데이터가 지정된 개수를 만족할 때마다 요청할 수 있다. 이를 위해, 하둡처리장치(300)는 데이터가 저장될 때마다 데이터별 저장완료 신호를 관리 장치(200)로 전송할 수 있고, 데이터가 지정된 개수를 만족할 때마다 관리 장치(200)로 전송할 수 있다.
315단계에서 제어부(250)는 하둡처리장치(300)로부터 수신된 응답에 따라 하둡처리장치(300)에 저장된 데이터별로 정합성을 확인하고, 확인결과에 따라 데이터별로 오류 발생 여부를 확인한다. 이를 위해, 제어부(250)는 하둡처리장치(300)에 저장된 데이터의 널 값 및 타입을 기 설정된 제1 조건절 및 제2 조건절과 비교한다. 이때, 제1 조건절 및 제2 조건절은 제어부(250)에서 기 설정된 조건절일 수 있다. 제1 조건절은 데이터의 발생 날짜, 발생 날짜와 저장 날짜의 날짜 차이를 포함하여 형성될 수 있으며, 제어부(250)는 제1 조건절을 기반으로 산출된 저장 날짜와 실질적으로 하둡처리장치(300)에 저장된 데이터의 저장 날짜가 상이하면 널 값이 0이 아니므로 데이터에 오류가 발생한 것으로 확인할 수 있다.
또한, 제2 조건절은 데이터의 타입, 예컨대, IP, address 및 date 등의 데이터 고유의 포맷을 확인하기 위해 형성될 수 있으며, 제어부(250)는 제2 조건절과 하둡처리장치(300)에 저장된 데이터의 포맷이 동일하지 않으면, 데이터에 오류가 발생한 것으로 확인할 수 있다. 317단계에서 제어부(250)는 발생된 오류를 표시부(230)에 표시한다.
본 발명의 실시 예에서는 저장완료 신호의 종류에 따라 제어부(250)가 데이터의 일별 저장량 및 데이터별 정합성 확인 중 어느 하나를 수행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 예컨대, 제어부(250)는 저장완료 신호가 수신되면, 저장완료 신호의 종류와 관계 없이 데이터의 일별 저장량과 데이터별 정합성 확인을 동시에 수행할 수도 있다.
도 4는 본 발명의 실시 예에 따른 데이터의 품질을 관리하는 기반이 되는 스키마 관리 테이블을 나타내는 도면이다.
도 4를 참조하면, 메모리(240)에 저장되는 스키마 관리 테이블은, 데이터에 포함되는 복수의 항목에 대한 테이블이며, 각 항목에 대한 컬럼 이름(column name)과 각 컬럼의 속성 이름(attribute name) 및 각 컬럼의 타입이 설정된다. 제어부(250)는 스키마 관리 테이블을 기반으로, 데이터의 정합성 확인 여부를 확인할 수 있다. 보다 구체적으로, 하둡처리장치(300)는 사용자 장치(100)로부터 수집된 데이터가 관리 장치(200)로부터 수신되면, 도 4와 같은 스키마 관리 테이블의 형식에 따라 데이터를 저장한다. 하둡처리장치(300)는 데이터가 저장되면, 도 4의 TBL_IS_CHK_NULL 및 TBL_IS_CHK_TYPE의 설정 상태를 확인하여 저장된 데이터의 정합성을 확인할 것인지를 결정할 수 있다. 이는 도 5를 이용하여 설명하기로 한다. 도 5는 본 발명의 실시 예에 따른 데이터의 정합성을 확인하기 위한 조건절을 나타내는 도면이다.
도 4 및 도 5를 참조하면, 하둡처리장치(300)는 관리 장치(200)로부터 저장된 데이터에 대한 쿼리가 요청되면, 쿼리에 대한 응답을 확인하여 관리 장치(200)로 전송한다. 이때, 하둡처리장치(300)는 쿼리가 요청된 데이터의 테이블에서 TBL_IS_CHK_NULL 및 TBL_IS_CHK_TYPE의 항목의 설정 상태를 확인한다. 이때, TBL_IS_CHK_NULL은 저장된 데이터가 널 값 확인이 필요한 데이터인지를 확인하기 위한 항목이고, TBL_IS_CHK_TYPE은 저장된 데이터의 데이터 타입의 확인이 필요한 데이터인지를 확인하기 위한 항목이다. 하둡처리장치(300)는 저장된 데이터가 널 값과 데이터 타입의 확인이 필요한 데이터인 것으로 확인되면, 요청된 쿼리에 대한 응답을 관리 장치(200)로 전송한다.
요청한 쿼리에 대한 응답을 수신한 관리 장치(200)의 제어부(250)는 기 설정된 제1 조건절(503) 및 제2 조건절(507)과 하둡처리장치(300)에 저장된 데이터를 비교하여 데이터의 정합성을 확인한다. 이때, 제1 조건절(503) 및 제2 조건절(507)의 기 설정 방법은 하기와 같다. 제어부(250)는 입력부(220)의 입력에 의해 데이터의 널 값을 확인하기 위한 Null체크 대상(501)을 선택되면, 조건절 항목에 제1 조건절(503)을 입력받는다. 제어부(250)는 데이터가 사용자 장치(100)에서 발생된 발생 날짜(yyyyMMdd)와, 하둡처리시스템(300)에 저장된 저장 날짜와 발생 날짜의 날짜 차이(-2)가 제1 조건절(503)로 입력되면 이를 메모리(240)에 저장하여 제1 조건절(503)로 설정한다. 제어부(250)가 날짜 차이를 입력받는 이유는, 데이터가 사용자 장치(100)에서 발생되는 시점과 하둡처리장치(300)에 저장되는 시점에 날짜 차이가 발생할 수 있기 때문이다. 또한, 제어부(250)는 입력부(220)의 입력에 의해 데이터의 타입을 확인하기 위한 정합성 체크 대상(505)이 선택되면, 조건절 항목에 제2 조건절(507)을 입력받는다. 제어부(250)는 데이터의 타입을 확인하기 위한 타입 체크 포맷이 정규식의 형태로 입력되면 이를 메모리(240)에 저장하여 제2 조건절(507)로 설정한다. 이때, 제2 조건절(507)은 데이터의 항목 중에서 데이터 타입이 string인 영문컬럼명(engC_name)에 할당된 항목의 포맷이 타입 체크 포맷과 동일한지를 확인하기 위한 조건절이다.
제어부(250)는 하둡처리장치(300)에 저장된 데이터의 저장 날짜를 확인한다. 제어부(250)는 확인된 날짜가 기 설정된 제1 조건절(503)인 발생 날짜(yyyyMMdd) 및 날짜 차이(-2)로부터 산출된 저장 날짜와 동일한지 확인한다. 제어부(250)는 확인된 날짜가 산출된 날짜와 상이하면 널 값이 0이 아닌 것으로 확인하여 저장된 데이터에 오류가 발생한 것으로 확인할 수 있다.
제어부(250)는 하둡처리장치(300)에 저장된 데이터의 데이터 타입이 제2 조건절(507)과 동일한지 확인한다. 제어부(250)는 저장된 데이터의 데이터 타입이 제2 조건절(507)의 타입과 상이하면 데이터에 오류가 발생한 것으로 확인할 수 있다. 제어부(250)는 정합성 확인 결과에 따른 오류 발생 여부를 표시부(230)에 표시한다. 이는 하기의 도 6을 이용하여 설명하기로 한다. 도 6은 본 발명의 실시 예에 따른 데이터 품질 관리에 따른 오류 발생 여부를 확인하기 위한 화면을 나타내는 도면이다.
도 6을 참조하면, 제어부(250)는 하둡처리장치(300)에 저장된 모든 데이터에 대한 일별 저장량(601), 일별 저장량(601)을 기반으로 월 평균 저장량(603), 일별 저장량(601)에 대응되는 날짜를 기준으로 일주일 이전의 저장량(605) 및 일별 저장량(601)에 대응되는 날짜의 이전 날짜의 저장량(607)을 표시한다. 또한, 제어부(250)는 월 평균 대비 증감율, 전주대비 증감율 및 전일 대비 증감율(609)을 산출하여 표시한다. 이때, 증감율이 임계치 예컨대, 10% 이상 차이가 날 경우에 오류가 발생한 것으로 확인할 수 있다.
또한, 제어부(250)는 하둡처리장치(300)에 저장된 모든 데이터를 제1 조건절(503) 및 제2 조건절(507)와 비교한 결과, 비교결과를 정합성 항목(611)에 표시할 수 있다. 이때, 저장된 모든 데이터의 널 값이 0이고, 데이터 타입이 성공인 것으로 표시되면, 저장된 모든 데이터에 오류가 없는 것으로 확인할 수 있다. 반대로, 널 값이 0이 아닌 숫자로 표시되거나, 데이터 타입이 실패인 것으로 표시되면, 저장된 모든 데이터 중 적어도 하나의 데이터에 오류가 발생한 것으로 확인할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (12)
- 관리장치가 적어도 하나의 사용자 장치로부터 적어도 하나의 데이터를 수집하는 단계;
상기 관리장치가 상기 수집된 데이터를 하둡처리장치로 전송하고, 상기 하둡처리장치로부터 상기 데이터에 대한 저장완료 신호를 수신하는 단계;
상기 관리장치가 상기 저장완료 신호에 따라 상기 데이터에 대한 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계; 및
상기 관리장치가 상기 저장량 및 정합성 여부 중 적어도 하나에 대한 확인결과에 따른 오류를 표시하는 단계;
를 포함하는 것을 특징으로 하는 데이터의 품질 관리 방법. - 제1항에 있어서,
상기 저장완료 신호는,
상기 데이터에 대한 일별 저장완료 신호 및 상기 데이터에 대한 데이터별 저장완료 신호를 포함하는 것을 특징으로 하는 데이터의 품질 관리 방법. - 제2항에 있어서,
상기 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계는,
상기 저장완료 신호가 상기 일별 저장완료 신호이면, 상기 저장량을 확인하는 단계;
를 포함하는 것을 특징으로 하는 데이터의 품질 관리 방법. - 제3항에 있어서,
상기 저장량을 확인하는 단계는,
상기 하둡처리장치에 저장된 상기 데이터의 일별 저장량을 확인하는 단계;
상기 확인된 일별 저장량과 이전에 저장된 이전 저장량을 비교하는 단계; 및
상기 일별 저장량과 상기 이전 저장량의 차이가 임계치 이상이면, 데이터 품질에 대한 오류로 확인하는 단계;
를 더 포함하는 것을 특징으로 하는 데이터의 품질 관리 방법. - 제2항에 있어서,
상기 저장량 및 정합성 여부 중 적어도 하나를 확인하는 단계는,
상기 저장완료 신호가 상기 데이터별 저장완료 신호이면, 상기 정합성 여부를 확인하는 단계;
를 포함하는 것을 특징으로 하는 데이터의 품질 관리 방법. - 제5항에 있어서,
상기 정합성 여부를 확인하는 단계는,
상기 하둡처리장치로 상기 하둡처리장치에 저장된 데이터에 대한 쿼리를 요청하는 단계;
상기 요청된 쿼리에 따른 응답을 수신하는 단계; 및
상기 응답을 기반으로 저장된 데이터에 대한 정합성을 확인하고, 상기 확인된 정합성으로 상기 저장된 데이터의 품질에 대한 오류를 확인하는 단계;
를 더 포함하는 것을 특징으로 하는 데이터의 품질 관리 방법. - 제6항에 있어서,
상기 쿼리를 요청하는 단계는,
상기 저장된 데이터에 대한 널 값과 상기 저장된 데이터의 타입을 확인하기 위한 쿼리를 요청하는 단계인 것을 특징으로 하는 데이터의 품질 관리 방법. - 적어도 하나의 사용자 장치 및 하둡처리장치와 통신을 수행하는 통신부; 및
상기 적어도 하나의 사용자 장치로부터 수집된 적어도 하나의 데이터를 상기 하둡처리장치로 전송하고, 상기 하둡처리장치로부터 수신된 상기 데이터에 대한 저장완료 신호에 따라 상기 데이터에 대한 저장량 및 정합성 여부 중 적어도 하나의 확인 결과로부터 상기 데이터에 대한 오류를 확인하는 제어부;
를 포함하는 것을 특징으로 하는 데이터의 품질 관리 장치. - 제8항에 있어서,
상기 저장완료 신호는,
상기 데이터에 대한 일별 저장완료 신호 및 상기 데이터에 대한 데이터별 저장완료 신호를 포함하는 것을 특징으로 하는 데이터의 품질 관리 장치. - 제9항에 있어서,
상기 제어부는,
상기 저장완료 신호가 상기 일별 저장완료 신호이면, 상기 하둡처리장치에 저장된 일별 저장량을 확인하고, 상기 일별 저장량과 이전에 저장된 이전 저장량의 차이가 임계치 이상이면, 데이터 품질에 대한 오류로 확인하는 것을 특징으로 하는 데이터의 품질 관리 장치. - 제9항에 있어서,
상기 제어부는,
상기 저장완료 신호가 상기 데이터별 저장완료 신호이면, 상기 하둡처리장치로 쿼리를 요청하고, 상기 쿼리에 따른 응답을 기반으로 저장된 데이터에 대한 정합성을 확인하여 상기 저장된 데이터의 품질에 대한 오류를 확인하는 것을 특징으로 하는 데이터의 품질 관리 장치. - 제11항에 있어서,
상기 쿼리는,
상기 저장된 데이터에 대한 널 값과 상기 저장된 데이터의 타입을 확인하기 위한 쿼리인 것을 특징으로 하는 데이터의 품질 관리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170151664A KR102507837B1 (ko) | 2017-11-14 | 2017-11-14 | 데이터의 품질 관리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170151664A KR102507837B1 (ko) | 2017-11-14 | 2017-11-14 | 데이터의 품질 관리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190054741A true KR20190054741A (ko) | 2019-05-22 |
| KR102507837B1 KR102507837B1 (ko) | 2023-03-07 |
Family
ID=66679911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170151664A KR102507837B1 (ko) | 2017-11-14 | 2017-11-14 | 데이터의 품질 관리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102507837B1 (ko) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100694152B1 (ko) * | 2005-09-14 | 2007-03-12 | 삼성전자주식회사 | 디지털 멀티미디어 기기에서 저장된 멀티미디어 컨텐츠를관리하는 방법 및 장치 |
| JP4261800B2 (ja) * | 2000-01-10 | 2009-04-30 | アイアン マウンテン インコーポレイテッド | クライアントサーバー環境における差分バックアップシステムの管理方法 |
| KR20090112259A (ko) * | 2008-04-24 | 2009-10-28 | 주식회사 케이티 | 디지털 콘텐츠 서비스를 위한 콘텐츠 관리 시스템 및 그방법 |
| US20120182891A1 (en) * | 2011-01-19 | 2012-07-19 | Youngseok Lee | Packet analysis system and method using hadoop based parallel computation |
| JP2012247877A (ja) * | 2011-05-26 | 2012-12-13 | Hitachi Ltd | コンテンツ配信システム、コンテンツ配置選定方法、配信センタ装置 |
| US20130031221A1 (en) * | 2010-09-21 | 2013-01-31 | Tencent Technology (Shenzhen) Company Limited | Distributed data storage system and method |
| KR20140064718A (ko) * | 2011-02-21 | 2014-05-28 | 아마데우스 에스.에이.에스. | 데이터 웨어하우스로부터 통계자료를 산출하는 방법 및 시스템 |
| KR20140069669A (ko) * | 2012-11-29 | 2014-06-10 | 한국과학기술정보연구원 | 규칙집합 기반 대용량 데이터 처리 시스템 및 방법 |
| KR20140119561A (ko) * | 2013-04-01 | 2014-10-10 | 한국전자통신연구원 | 센서네트워크의 대규모 데이터 수집 장치 및 방법 |
| KR20150002295A (ko) * | 2013-06-28 | 2015-01-07 | 주식회사 진스커뮤니케이션즈 | 검색 엔진을 이용한 데이터베이스 관리방법 및 그 시스템 |
| KR20150052540A (ko) * | 2013-11-06 | 2015-05-14 | 건국대학교 산학협력단 | 멀티미디어 트랜스코딩 방법 및 이를 수행하는 하둡 기반 멀티미디어 트랜스코딩 시스템 |
| JP2016009225A (ja) * | 2014-06-23 | 2016-01-18 | キヤノンマーケティングジャパン株式会社 | データベース管理装置、データベース管理方法、プログラムおよび記録媒体 |
| KR20160050745A (ko) * | 2014-10-30 | 2016-05-11 | 에스케이텔레콤 주식회사 | 실시간 또는 일괄 처리 기반의 데이터 처리방법 및 장치 |
| KR20160070636A (ko) * | 2014-12-10 | 2016-06-20 | 경희대학교 산학협력단 | 분산 클라우드 환경에서의 마이그레이션 제어 장치 및 이를 이용한 마이그레이션 제어 방법 |
| KR101743731B1 (ko) * | 2015-12-31 | 2017-06-05 | 건국대학교 산학협력단 | 분산된 데이터를 통합하여 생성한 온톨로지를 기반으로 쿼리를 처리하는 방법 및 장치 |
| JP2017515180A (ja) * | 2014-03-14 | 2017-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | ビッグ・データ・リポジトリにおけるデータ・セットの処理 |
| KR20170096302A (ko) * | 2016-02-16 | 2017-08-24 | 전북대학교산학협력단 | 이종 데이터 처리를 위한 분산 병렬 처리 시스템 |
| KR20170098027A (ko) * | 2016-02-19 | 2017-08-29 | 인제대학교 산학협력단 | 분석 모듈 기반의 생체신호 분석 시스템 및 방법 |
| KR20170098025A (ko) * | 2016-02-19 | 2017-08-29 | 인제대학교 산학협력단 | 빅 데이터 기반의 생체신호 분석 시스템 및 방법 |
| US20170269862A1 (en) * | 2016-03-15 | 2017-09-21 | International Business Machines Corporation | Storage capacity allocation using distributed spare space |
-
2017
- 2017-11-14 KR KR1020170151664A patent/KR102507837B1/ko active IP Right Grant
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4261800B2 (ja) * | 2000-01-10 | 2009-04-30 | アイアン マウンテン インコーポレイテッド | クライアントサーバー環境における差分バックアップシステムの管理方法 |
| KR100694152B1 (ko) * | 2005-09-14 | 2007-03-12 | 삼성전자주식회사 | 디지털 멀티미디어 기기에서 저장된 멀티미디어 컨텐츠를관리하는 방법 및 장치 |
| KR20090112259A (ko) * | 2008-04-24 | 2009-10-28 | 주식회사 케이티 | 디지털 콘텐츠 서비스를 위한 콘텐츠 관리 시스템 및 그방법 |
| US20130031221A1 (en) * | 2010-09-21 | 2013-01-31 | Tencent Technology (Shenzhen) Company Limited | Distributed data storage system and method |
| US20120182891A1 (en) * | 2011-01-19 | 2012-07-19 | Youngseok Lee | Packet analysis system and method using hadoop based parallel computation |
| KR20140064718A (ko) * | 2011-02-21 | 2014-05-28 | 아마데우스 에스.에이.에스. | 데이터 웨어하우스로부터 통계자료를 산출하는 방법 및 시스템 |
| JP2012247877A (ja) * | 2011-05-26 | 2012-12-13 | Hitachi Ltd | コンテンツ配信システム、コンテンツ配置選定方法、配信センタ装置 |
| KR20140069669A (ko) * | 2012-11-29 | 2014-06-10 | 한국과학기술정보연구원 | 규칙집합 기반 대용량 데이터 처리 시스템 및 방법 |
| KR20140119561A (ko) * | 2013-04-01 | 2014-10-10 | 한국전자통신연구원 | 센서네트워크의 대규모 데이터 수집 장치 및 방법 |
| KR20150002295A (ko) * | 2013-06-28 | 2015-01-07 | 주식회사 진스커뮤니케이션즈 | 검색 엔진을 이용한 데이터베이스 관리방법 및 그 시스템 |
| KR20150052540A (ko) * | 2013-11-06 | 2015-05-14 | 건국대학교 산학협력단 | 멀티미디어 트랜스코딩 방법 및 이를 수행하는 하둡 기반 멀티미디어 트랜스코딩 시스템 |
| JP2017515180A (ja) * | 2014-03-14 | 2017-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | ビッグ・データ・リポジトリにおけるデータ・セットの処理 |
| JP2016009225A (ja) * | 2014-06-23 | 2016-01-18 | キヤノンマーケティングジャパン株式会社 | データベース管理装置、データベース管理方法、プログラムおよび記録媒体 |
| KR20160050745A (ko) * | 2014-10-30 | 2016-05-11 | 에스케이텔레콤 주식회사 | 실시간 또는 일괄 처리 기반의 데이터 처리방법 및 장치 |
| KR20160070636A (ko) * | 2014-12-10 | 2016-06-20 | 경희대학교 산학협력단 | 분산 클라우드 환경에서의 마이그레이션 제어 장치 및 이를 이용한 마이그레이션 제어 방법 |
| KR101743731B1 (ko) * | 2015-12-31 | 2017-06-05 | 건국대학교 산학협력단 | 분산된 데이터를 통합하여 생성한 온톨로지를 기반으로 쿼리를 처리하는 방법 및 장치 |
| KR20170096302A (ko) * | 2016-02-16 | 2017-08-24 | 전북대학교산학협력단 | 이종 데이터 처리를 위한 분산 병렬 처리 시스템 |
| KR20170098027A (ko) * | 2016-02-19 | 2017-08-29 | 인제대학교 산학협력단 | 분석 모듈 기반의 생체신호 분석 시스템 및 방법 |
| KR20170098025A (ko) * | 2016-02-19 | 2017-08-29 | 인제대학교 산학협력단 | 빅 데이터 기반의 생체신호 분석 시스템 및 방법 |
| US20170269862A1 (en) * | 2016-03-15 | 2017-09-21 | International Business Machines Corporation | Storage capacity allocation using distributed spare space |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102507837B1 (ko) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11445032B2 (en) | Matching and attribution of user device events | |
| CN105447139B (zh) | 一种数据采集统计方法及其系统、终端、服务设备 | |
| US10097654B2 (en) | Identifying users of client devices for tracking user interactions with content distributed by content provider systems | |
| US20120324043A1 (en) | Access to network content | |
| US11328514B2 (en) | Centralized monitoring of confined spaces | |
| US9176798B2 (en) | Computer-readable recording medium, failure prediction device and applicability determination method | |
| US20130275418A1 (en) | Method and system for updating a background picture of a web search results page for different search queries | |
| CN107908487B (zh) | 任务控制管理方法、装置、设备及计算机可读存储介质 | |
| US20150302473A1 (en) | Information processing system and information processing method | |
| US20160063078A1 (en) | Automatic identification and tracking of log entry schemas changes | |
| US20130275453A1 (en) | Method and system for providing temporal search suggestions in real-time | |
| US11868594B2 (en) | Methods, systems, and media for specifying different content management techniques across various publishing platforms | |
| US10432490B2 (en) | Monitoring single content page application transitions | |
| JP6015750B2 (ja) | ログ収集サーバ、ログ収集システム、ログ収集方法 | |
| US10565636B2 (en) | Electronic device, system, and method | |
| US9104573B1 (en) | Providing relevant diagnostic information using ontology rules | |
| US20160048418A1 (en) | Service response detection and management on a mobile application | |
| RU2669172C2 (ru) | Способ и система мониторинга согласованности веб-сайта | |
| KR20190054741A (ko) | 데이터의 품질 관리 방법 및 장치 | |
| WO2022271306A1 (en) | In-app failure intelligent data collection and analysis | |
| CN110633182B (zh) | 用于监控服务器稳定性的系统、方法和装置 | |
| US20240103992A1 (en) | Alert rule manipulation in sync of temporary configuration change | |
| JP2013045307A (ja) | 静的解析システム、静的解析結果表示方法及びプログラム | |
| US20240193254A1 (en) | Systems, devices, and methods for tracking remote equipment location and utilization of computing devices | |
| CN114285743A (zh) | 更新配置信息的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |