KR101908313B1 - 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치 - Google Patents

대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치 Download PDF

Info

Publication number
KR101908313B1
KR101908313B1 KR1020120119324A KR20120119324A KR101908313B1 KR 101908313 B1 KR101908313 B1 KR 101908313B1 KR 1020120119324 A KR1020120119324 A KR 1020120119324A KR 20120119324 A KR20120119324 A KR 20120119324A KR 101908313 B1 KR101908313 B1 KR 101908313B1
Authority
KR
South Korea
Prior art keywords
data
information
processing
analysis
terminals
Prior art date
Application number
KR1020120119324A
Other languages
English (en)
Other versions
KR20140052771A (ko
Inventor
김상재
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020120119324A priority Critical patent/KR101908313B1/ko
Publication of KR20140052771A publication Critical patent/KR20140052771A/ko
Application granted granted Critical
Publication of KR101908313B1 publication Critical patent/KR101908313B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18Service support devices; Network management devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 대용량 데이터 운용에 관한 것으로, 특히 본 발명은 어플리케이션 이용 및 통화 호 기반의 데이터 생성과 전송을 수행하는 다수의 단말들, 상기 다수의 단말들에서 생성되는 대용량 데이터를 수집하고, 수집된 대용량 데이터를 사전 정의된 일정 항목들로 분류, 압축하여 일정 크기의 대용량 데이터로 정리하고, 상기 대용량 데이터를 사전 정의된 규칙에 따른 분산 정렬하여 일정 목적별 요약 정보를 구성한 후 이를 기반으로 다양한 가공 데이터를 생성하도록 지원하는 대용량 데이터 운용 장치를 포함하는 것을 특징으로 하는 대용량 데이터 운용 시스템 및 방법과 이를 지원하는 장치에 대한 구성을 개시한다.

Description

대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치{Analysis and Operation System And Method For Big Data, and Apparatus supporting the same}
본 발명은 대용량 데이터 분석 및 운용에 관한 것으로, 특히 단말 기반으로 발생한 대용량 데이터를 분석하여 일정 형태의 가공 데이터를 생성하고, 생성된 가공 데이터를 기반으로 다양한 서비스를 운용할 수 있도록 지원하는 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치에 관한 것이다.
통신 단말기는 휴대가 가능한 형태로 제작되면서 그 이용의 편리성과 휴대의 용이성 등으로 인하여 매우 폭넓은 분야에서 이용되고 있다. 이러한 통신 단말기는 최근 들어 다양한 사용자 기능을 탑재한 단말의 형태로 발전하면서 편리성과 오락성을 제공하고 있다. 단말은 고성능의 하드웨어가 장착된 단말기 형태로 제공되기 때문에 사용자들이 다양한 어플리케이션(이하 '앱'이라 약칭함)을 다운로드 받아 설치할 수 있도록 지원한다. 이에 따라 최근에는 단말에 적용되는 다양한 앱들이 개발 및 보급되고 있는 추세이다.
한편 단말들의 운용에 따라 종래에는 발생하지 않던 대용량의 데이터 이동과 처리 및 운용의 사례들이 발생하고 있다. 즉 종래 통화 기능이 주를 이루었던 피처폰 시대에는 단순히 음성 통화를 지원하거나 문자 메시지를 송수신하는 정도의 트래픽이 발생하였기 때문에 망 부하 등의 문제가 발생하지 않았으며, 발생된 트래픽 역시 단순히 몇 종류였기 때문에 그에 따른 분석이나 예측 및 처리 등이 예측 가능한 범주에 있었다. 그러나 단말들의 운용이 보편화되어 가면서 다양한 데이터들이 다양한 단말에서 소비되거나 또는 재생산되는 등의 서비스 운용이 발생하면서 종전에 비하여 엄청나게 많은 데이터의 이동이 발생하고 있으며, 이러한 데이터의 처리가 특정 기기나 장치에서 수행되고 있으며, 또한 그에 따른 망 부하가 급격하게 증가하고 있는 추세에 있다.
이에 따라, 상술한 데이터들의 이동과 처리 및 그에 따른 망 부하 예측과 처리 등의 요구가 증가하고 있으며, 상술한 데이터들의 적절한 분석을 통하여 새로운 서비스 운용에 이용할 수 있도록 하는 방안이 요구되고 있다.
따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명은 단말 운용에 따른 데이터들을 적절한 형태로 분류 및 분석할 수 있도록 지원하는 대용량 데이터 운용 시스템 및 방법과 이를 지원하는 장치를 제공함에 있다.
또한 본 발명은 단말에서 운용된 분류 및 분석 데이터들을 적절한 형태로 가공하여 특정 서비스에 운용할 수 있도록 지원하는 대용량 데이터 운용 시스템 및 방법과 이를 지원하는 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 대용량 데이터 운용을 위한 장치는 적어도 하나 이상의 단말로부터 생성된 대용량 데이터를 수집하기 위한 통신 채널을 형성하는 장치 통신부; 및 상기 단말로부터 생성된 상기 대용량 데이터를 수집하고, 수집된 대용량 데이터를 사전 정의된 일정 항목들로 분류한 후 일정 단위의 대용량 데이터로 가공하고, 상기 가공된 대용량 데이터를 사전 정의된 규칙에 따라 분산 정렬하여 목적별 요약 정보를 구성한 후 이를 기반으로 다양한 가공 데이터를 생성하도록 지원하는 장치 제어부;를 포함하여 구성될 수 있다.
이때, 상기 대용량 데이터 운용을 위한 장치는 상기 대용량 데이터 및 목적별 요약 정보를 저장하는 장치 저장부;를 더 포함하여 구성될 수 있다.
또한, 상기 장치 제어부는 상기 대용량 데이터 수집을 위한 데이터 수집부; 상기 수집된 대용량 데이터를 사전 정의된 일정 항목들로 분류하고, 압축하여 일정 단위의 대용량 데이터로 가공하는 네트웍 패킷 분석부; 상기 가공된 대용량 데이터를 사전 정의된 규칙에 따라 분산 정렬하는 분산 정렬 처리부; 상기 분산 정렬 처리된 대용량 데이터를 목적별 요약 정보로 구성하는 DW/MART 처리부; 및 상기 목적별 요약 정보를 기반으로 가공 데이터를 생성하는 데이터 이용부;를 포함하여 구성될 수 있다.
여기서, 상기 분산 정렬 처리부는 상기 분류된 데이터를 다수의 매퍼에 할당하고, 매퍼에 할당된 데이터를 리듀서에서 재정렬하는 분산 서버 장치들을 포함하여 구성될 수 있다.
여기서, 상기 네트웍 패킷 분석부는 상기 분산 정렬 처리부와 협의된 일정 개수의 항목들을 기준으로 상기 대용량 데이터들을 일정 크기로 분류하여 압축할 수 있다.
또한, 상기 목적별 요약 정보는 요금제별 데이터 요약 정보, 사용자별 데이터 요약 정보, 단말별 데이터 요약 정보, 위치별 데이터 요약 정보, 앱 종류별 데이터 요약 정보, OTT(Over the Top) 트래픽 요약 정보, 생활 동선별 데이터 요약 정보, 사용자별 구매 데이터 요약 정보, TV 앱 시청 데이터 요약 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 가공 데이터는 상기 목적별 요약 정보 각각에 대한 분석 데이터 및 상기 목적별 요약 정보들을 복합적으로 분석한 데이터 중 적어도 하나로 구성될 수 있다.
또한, 상기 장치 제어부는 상기 가공 데이터를 기반으로 사용자 활동에 대한 사회적 관계 및 그룹 분석을 수행하고, 사용자의 관계와 그룹 내 역할을 식별하여 캠페인 대상을 결정하도록 지원할 수 있다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 대용량 데이터 운용 방법은 적어도 하나 이상의 단말로부터 생성된 대용량 데이터를 수집하는 단계; 상기 수집된 대용량 데이터를 사전 정의된 일정 항목들로 분류한 후 일정 단위의 대용량 데이터로 가공하는 단계; 상기 가공된 대용량 데이터를 사전 정의된 규칙에 따라 분산 정렬하는 단계; 상기 분산 정렬 처리된 대용량 데이터를 목적별 요약 정보로 구성하는 단계; 및 상기 목적별 요약 정보를 기초로 가공 데이터를 생성하는 단계;를 포함하여 이뤄질 수 있다.
이때, 상기 가공하는 단계는 상기 수집된 대용량 데이터를 사전 정의된 일정 개수의 항목으로 분류하는 단계; 및 상기 분류된 대용량 데이터를 일정 크기로 압축하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 분산 정렬하는 단계는 상기 대용량 데이터들을 분산 서버 장치들의 매퍼에 할당하는 단계; 및 상기 매퍼에 할당된 데이터들을 리듀서들을 이용하여 재정렬하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 대용량 데이터 운용 방법은 상기 가공 데이터를 기반으로 사용자 활동에 대한 사회적 관계 및 그룹 분석을 수행하는 단계; 및 상기 사용자의 관계와 그룹 내 역할을 식별하여 캠페인 대상을 결정하는 단계;를 더 포함하여 이뤄질 수 있다.
또한, 상기 목적별 요약 정보로 구성하는 단계는 상기 단말의 DBM 정보와 상기 단말들의 운용에 따라 수집되어 정렬된 데이터들을 통합하여 분석하는 단계; 및 분석된 데이터들을 일정 목적에 따라 요약 정보로 구성하는 단계;를 포함하여 이뤄질 수 있다.
본 발명은 또한, 상술한 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체의 구성을 개시한다.
이상에서 살펴본 바와 같이 본 발명에 따른 대용량 데이터 운용 시스템 및 방법과 이를 지원하는 장치에 따르면, 본 발명은 단말 운용에 따른 대용량 데이터를 적절한 형태로 분류 및 분석할 수 있도록 지원한다.
이에 따라 본 발명은 분류 및 분석된 데이터를 부하 예측이나 특정 서비스 분포나 추정 등에 적용함으로써 새로운 서비스 창출의 기본 자료로 이용하거나 근거로 이용할 수 있도록 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 대용량 데이터 운용 시스템의 구성을 개략적으로 나타낸 도면.
도 2는 도 1의 대용량 데이터 운용 장치 구성을 보다 상세히 나타낸 도면.
도 3은 도 2의 장치 제어부 구성을 보다 상세히 나타낸 블록도.
도 4는 본 발명의 실시 예에 따른 패킷 분류 항목들의 일예를 나타낸 도면.
도 5는 본 발명의 실시 예에 따른 분산 정렬 장치 구성을 보다 상세히 나타낸 도면.
도 6은 본 발명의 분산 정렬을 위한 MapReduce 설명을 위한 도면.
도 7 내지 도 12는 본 발명의 가공 데이터의 다양한 예시를 나타낸 도면들.
도 13는 본 발명의 실시 예에 따른 대용량 데이터 운용 방법을 설명하기 위한 도면.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
도 1은 본 발명의 실시 예에 따른 대용량 데이터 운용 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 대용량 데이터 운용 시스템(10)은 다수의 단말들(100)과 대용량 데이터 운용 장치(200)를 포함할 수 있으며, 단말들(100)과 대용량 데이터 운용 장치(200) 간의 통신 연결 지원을 위한 다양한 형태의 네트워크 장치를 포함하는 통신망(300)을 포함할 수 있다.
이와 같은 구성을 가지는 본 발명의 대용량 데이터 운용 시스템(10)은 단말들(100)이 대용량 데이터 운용 장치(200)가 운용하는 통신 네트워크 망을 통하여 다양한 데이터 운용을 수행하는 과정에서 대용량 데이터 운용 장치(200)가 단말들(100)이 운용하는 데이터들을 수집하고, 수집된 데이터들을 사전 정의된 일정 항목들을 기반으로 필터링을 수행함으로 압축 및 요약하여 일정 형태의 가공 데이터를 생성할 수 있도록 지원한다. 그리고 대용량 데이터 운용 시스템(10)은 가공된 데이터를 기반으로 다양한 사태 추이 분석이나 사용자 기호 분석, 이용 서비스들의 분석, 새로운 서비스 계획 등에 이용할 수 있도록 지원할 수 있다. 이러한 본 발명의 대용량 데이터 운용 시스템(10)은 수백만 ~ 수천만의 단말들(100)로부터 발생하는 무작위적이며 사용자 기호에 기반한 데이터들을 일정 형태의 압축되고 요약된 데이터로 압축하기 위하여 MapReduce 알고리즘을 운용할 수 있으며, 이를 기반으로 사전 정의된 일정 항목 필터링을 MapReduce 알고리즘에 적용하여 가공하고자 하는 데이터 특성을 정의할 수 있다. 이에 따라 본 발명의 대용량 데이터 운용 시스템(10)에 의해 가공된 데이터는 일정 분류 항목들을 기반으로 데이터들이 분류 압축 및 요약되고, 이를 토대로 보다 다양한 서비스 확장이나 이전 서비스의 지원 형태 등을 예측하거나 계획할 수 있도록 지원할 수 있다.
단말들(100)은 접속 가능한 통신 모듈과 사용자 입력 인터페이스를 포함하며, 통신망(300)을 통하여 또는 대용량 데이터 운용 장치(200)에서 구축한 통신망을 통하여 다양한 데이터 송수신 기능을 수행하는 기기들이다. 예컨대 단말들(100)은 스마트폰, 스마트 패드, 휴대용 노트북, 스마트 노트 등 다양한 크기와 모양을 가지는 형태로 제작될 수 있으며, 따라서 본 발명의 단말들(100)이 특정 크기나 모양에 한정되는 것은 아니다. 본 발명의 단말들(100)은 통신망(300)을 통하여 데이터 운용 특히 특정 단말 앱을 운용하는 기기들이 될 수 있다.
단말들(100)은 채팅 앱과 같은 타 단말기와 통신 채널을 형성하고 타 단말기와 데이터를 송수신할 수 있다. 이때 단말들(100)이 운용하는 데이터는 대용량 데이터 운용 장치(200)를 거쳐 타 단말기와 송수신될 수 있다. 또한 단말들(100)은 게임 앱과 같이 특정 서버 장치와 통신 채널을 형성하고 해당 서버 장치와 데이터를 송수신할 수 있다. 이 과정에서도 역시 단말들(100)이 운용하는 데이터는 대용량 데이터 운용 장치(200)를 거쳐 특정 서버 장치와 송수신할 수 있다. 상술한 바와 같이 단말들(100)이 생성하는 데이터는 크게 호 연관 데이터와 호 비연관 데이터를 포함하며, 호 연관 데이터는 일회성 연관 데이터와 연속성 연관 데이터로 구분될 수 있다.
상술한 단말들(100)은 대용량 데이터 운용 장치(200)가 제공하는 서비스 가입 신청을 수행하고, 해당 서비스 가입 신청 승인에 따라 데이터 송수신 서비스를 이용할 수 있다. 또는 단말들(100)은 대용량 데이터 운용 장치(200)가 운용하는 Wi-Fi 통신망을 통하여 데이터 송수신 서비스를 이용할 수 있도록 지원하며, 이 과정에서 단말들(100)은 대용량 데이터 운용 장치(200)가 요구하는 데이터 활용 약정에 가입할 수 있다. 결과적으로 단말들(100)이 특정 데이터 송수신 서비스를 이용하기 위하여 대용량 데이터 운용 장치(200)를 경유하게 된다. 이러한 단말들(100)은 기기에 장착된 통신 모듈의 특성에 따라 3G 통신망을 통하여 대용량 데이터 운용 장치(200)를 이용하거나 4G 통신망을 통하여 대용량 데이터 운용 장치(200)를 이용할 수 있다.
대용량 데이터 운용 장치(200)는 통신망(300)을 통하여 적어도 하나의 단말들(100) 접속을 지원하고 단말들(100)이 선택한 기능들에 대하여 장치 내에서 구동하도록 지원한다. 예컨대 대용량 데이터 운용 장치(200)는 단말들(100)의 접속 루트에 따라 3G 통신망, 4G 통신망 또는 기타 통신망 등에 대한 정보 구분을 수행할 수 있다.
이러한 대용량 데이터 운용 장치(200)는 다양한 단말들(100)에 대한 데이터 수집과, 수집된 데이터들을 사전 정의된 일정 항목들로 필터링 및 압축 분류하며, 압축 분류된 데이터들을 MapReduce 알고리즘에 따라 분류 및 재정렬하고, 재정렬된 데이터들을 단말 DW(Data Warehouse)/MART로 요약하여 저장하도록 지원할 수 있다. 그리고 대용량 데이터 운용 장치(200)는 단말 DW/MART로 요약된 가공 데이터들을 기반으로 특정 데이터 분석이나, 데이터 분석 리포트, 경향 리포트, 의사 결정 등의 자료 등으로 이용할 수 있도록 지원할 수 있다. 이러한 대용량 데이터 운용 장치(200) 구성에 대하여 후술하는 도면들을 참조하여 보다 상세히 설명하기로 한다.
통신망(300)은 대용량 데이터 운용 시스템(10)의 각 구성들 간의 데이터 전달 및 신호 전달을 위한 통신 채널 형성을 지원할 수 있다. 즉 통신망(300)은 단말들(100)과 대용량 데이터 운용 장치(200)의 통신 채널을 형성하고, 단말들(100)과 대용량 데이터 운용 장치(200) 간의 데이터 송수신을 지원할 수 있다. 예컨대, 통신망(300)은 단말들(100)의 대용량 데이터 운용 장치(200)를 경유한 데이터의 전송 요청이나, 특정 서버 장치의 접속 요청 및 특정 서버 장치를 기반으로 하는 특정 데이터 수신이나 송신 등을 위한 통신 채널을 지원할 수 있다. 이러한 통신망(300)은 앞서 설명한 바와 같이 단말들(100)의 타입에 따라 3G 통신망이나 4G 통신망 또는 기타 데이터 송수신이 가능한 통신망 등을 포함할 수 있다. 특히 본 발명에서 통신망(300)의 역할은 단말들(100)에서 생성되어 전송되는 데이터들이 대용량 데이터 운용 장치(200)를 경유하도록 루트를 결정하고, 결정된 루트에 따라 데이터 전송이 이루어지도록 라우팅할 수 있다. 이를 위하여 통신망(300)의 일부 구성 예컨대 기지국이나 무선 액세스 포인트 등은 대용량 데이터 운용 장치(200)의 일부 구성으로 마련되거나, 대용량 데이터 운용 장치(200)의 제어에 따라는 구성으로서 통신망(300)에 포함되어 배치될 수 있다.
도 2는 본 발명의 대용량 데이터 운용 장치(200) 구성을 보다 상세히 나타낸 도면이다.
도 2를 참조하면, 본 발명의 대용량 데이터 운용 장치(200)는 장치 통신부(210), 장치 저장부(250) 및 장치 제어부(260)의 구성을 포함할 수 있다.
장치 통신부(210)는 대용량 데이터 운용 장치(200)의 통신 기능을 지원하는 구성으로서, 단말들(100)의 데이터 운용에 따라 송수신되는 데이터를 모니터링 및 캡쳐할 수 있도록 다양한 통신망과 통신이 가능한 형태로 마련될 수 있다. 예컨대 장치 통신부(210)는 LTE 형태의 4G망, WCDMA 방식의 3G망 등과 통신 채널을 형성할 수 있는 통신 모듈 및 네트웍 장치를 포함하고, 각 망을 통하여 단말들(100)이 송수신하는 데이터를 수집할 수 있도록 지원한다.
장치 저장부(250)는 대용량 데이터 운용 장치(200) 운용을 위한 다양한 응용 프로그램과 데이터를 저장하는 구성이다. 특히 장치 저장부(250)는 장치 통신부(210)가 수집한 단말들(100)의 대용량 데이터들을 일정한 목적을 기반으로 요약된 요약 정보를 저장할 수 있다. 예컨대 장치 저장부(250)는 고객별 데이터 사용 요약 정보, OTT(Over the Top) 트래픽 요약 정보, 위치별 트래픽 요약 정보, 요금제별 요약 정보 등 데이터 이용을 위한 특정 목적과 관련된 다양한 요약 정보를 저장할 수 있다. 즉 장치 저장부(250)는 단말 DW/MART(251) 정보들을 저장할 수 있다.
장치 제어부(260)는 대용량 데이터 운용 장치(200)의 운용과 관련된 다양한 데이터의 전달과 신호의 처리를 전반적으로 제어하는 구성이다. 본 발명의 대용량 데이터 운용 장치(200)는 단말들(100)의 대용량 데이터들을 처리하기 위한 분산 서버 장치들을 기반으로 하는 MapReduce 알고리즘을 운용할 수 있으며, 이에 따라 장치 제어부(260)는 수집된 데이터들을 특정 분산 서버 장치에 매핑하기 위한 Mapper 할당과, Mapper 할당에 의해 분류된 데이터들을 사전 정의된 일정 규칙과 양식에 따라 재정렬하는 Reducer의 할당을 제어할 수 있다. 여기서 Mapper와 Reducer는 각각의 분산 서버 장치들이 될 수 있으며, 또는 하나의 분산 서버 장치에 복수개의 Mapper 및 Reducer가 할당될 수도 있다.
한편 장치 제어부(260)는 데이터의 분산 병렬 처리 이전에 단말들(100)로부터 수집된 대용량 데이터들을 사전 정의된 일정 항목들로 필터링 또는 압축하는 과정을 수행하도록 지원할 수 있다. 예컨대 단말들(100)로부터 발생된 데이터는 일일 530TB(Terabyte) 이상 발생할 수 있으며, 이에 따라 장치 제어부(260)는 일일 대용량 데이터를 분산 병렬 처리가 가능한 정도로 압축하기 위한 작업을 수행하게 된다.
그리고 장치 제어부(260)는 분산 병렬된 데이터를 특정 목적과 방향에 따라 다양한 형태로 가공하여 가공 데이터를 생성하도록 지원할 수 있다. 예컨대 장치 제어부(260)는 분산 병렬되고 특정 목적에 의하여 요약된 요약 정보들을 기반으로 사전 요청된 특정 목적에 따른 리포트 정보를 생성하고, 분석 정보를 생성하고 이를 제공하도록 지원할 수 있다.
상술한 기능 지원을 위하여 장치 제어부(260)는 도 3에 도시된 바와 같은 구성을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 대용량 데이터 운용 장치(200)의 장치 제어부(260) 구성을 보다 상세히 나타낸 도면이다.
도 3을 참조하면, 본 발명의 장치 제어부(260)는 데이터 수집부(261), 네트웍 패킷 분석부(263), 분산 병렬 처리부(265), DW/MART 처리부(267) 및 데이터 이용부(269)를 포함하여 구성될 수 있다. 상술한 장치 제어부(260)의 구성 중 분산 병렬 처리부(265)는 MapReduce 알고리즘 운용에 따라 분산 서버 장치 형태로 구성될 수 있음을 설명하였다. 한편 상술한 장치 제어부(260)의 구성 역시 물리적으로 구분된 별도의 독립 장치 형태로 구성될 수 있다. 예컨대 데이터 수집부(261)와 네트웍 패킷 분석부(263)는 장치 통신부(210)로부터의 데이터 수집과 패킷 분석을 위하여 별도의 네트웍 관리 장치로 독립 배치될 수 있으며, 분산 병렬 처리부(265), DW/MART 처리부(267)는 수집된 데이터의 실질적으로 분류 및 재정렬을 위한 구성으로서 별도의 데이터 처리부로 독립 배치될 수 있다. 또한 데이터 이용부(269)의 경우 분류 및 재정렬된, 그리고 특정 목적에 따라 요약된 정보들을 일정한 형태로 가공하기 위하여 목적을 가진 컴퓨팅 장치로 배당될 수 있으며, 이러한 데이터 이용부(269)는 해당 목적 달성을 위해 대용량 데이터 운용 장치(200)에 배분되었다가 해당 목적을 달성한 이후에는 대용량 데이터 운용 장치(200)로부터 제외될 수도 있을 것이다.
데이터 수집부(261)는 장치 통신부(210)와 연결된 통신망(300)을 통하여 송수신되는 데이터를 수집하는 구성이다. 이러한 데이터 수집부(261)는 3G, 4G 망 등 다양한 통신망을 통하여 송수신되는 데이터들의 송수신 과정에서 데이터들을 캡쳐할 수 있다. 특히 데이터 수집부(261)는 특정 앱 운용에 따른 데이터 수집, 통화 호 관련 데이터 수집 등을 수행할 수 있다. 그리고 데이터 수집부(261)는 캡쳐한 데이터를 대용량 데이터 운용 장치(200)의 다른 시스템에서 인식할 수 있는 형태 예컨대 xDR(eXtended Data Record) 포맷으로 가공한다. 이 과정에서 데이터 수집부(261)는 일일 530TB의 데이터를 30TB로 가공할 수 있다. 이를 위하여 데이터 수집부(261)는 사전 정의된 100개 이하의 항목을 기반으로 530TB의 데이터들을 필터링하거나, 분류하거나 압축하는 등의 작업을 수행할 수 있다. 데이터 수집부(261)의 데이터 수집 지원을 위하여 수~수십대의 서버 장치가 코어망에 설치될 수 있다.
데이터 수집부(261)가 수집하는 정보는 크게 단말들(100)이 제공하는 단말 정보 및 DBM 고객 정보를 포함할 수 있다. 단말 정보는 크게 1차 정보 및 2차 유추 정보를 포함한다. 1차 정보는 앱 정보, URL(Web) 정보, 사용 시간 정보, 사용 위치 정보, 사용량 정보, 망 구분 정보, 착신/발신 정보, 데이터 유형 정보 및 사용 횟수 정보 등을 포함할 수 있다. 2차 유추 정보는 앱/Web 카테고리 정보, OTT 사업자 정보, 스토어/마켓 탐색 정보, 자사/타사 서비스 정보, TV 앱 시청률 정보, 신문 앱 구독율 정보, 쇼핑몰 트래픽 정보, 선호 컨텐츠 정보, Mobile life Log 정보, 도메인 정보, 시간대/요일별 사용 정보, 동선 정보, 시그널 트래픽(Signal Traffic) 정보, 사용자 트래픽(User Traffic) 정보, 거주 위치 정보, 방문자수, 페이지뷰, 체류 시간, 방문 일수 등의 정보를 포함할 수 있다. DBM 고객 정보는 성별 정보, 나이 정보, 단말기 타입 정보, 기변 정보, 요금제 정보, ARPU 정보, Voice 사용량 정보, Voice 위치 정보, SMS 사용량 정보, 부가 서비스 정보 등을 포함할 수 있다.
네트웍 패킷 분석부(263)는 데이터 수집부(261)에서 발생한 데이터를 분산 병렬 처리부(265)와 협의된 일정 개수 항목 예컨대 도 4에 도시된 바와 같은 11개의 항목으로 2차 가공 및 데이터 압축을 수행하는 구성이다. 이러한 네트웍 패킷 분석부(263)는 일일 30TB 데이터를 6TB로 요약 및 가공하는 역할을 수행하고, 요약 및 가공된 데이터를 분산 병렬 처리부(265)에 전달한다. 이러한 네트웍 패킷 분석부(263)는 시도호 분석과 장치 분석 기능을 지원하는 구성으로 망 감시 및 통제 역할을 수행할 수 있다. 네트웍 패킷 분석부(263) 구성을 위한 Hadoop 시스템 형태의 수십 ~ 수백대의 서버 장치가 배치될 수 있다.
분산 병렬 처리부(265)는 네트웍 패킷 분석부(263)가 요약 및 가공한 압축 데이터를 압축 해제하고 데이터를 분배하는 역할과, 분배된 데이터를 데이터 유형별로 분리하는 역할을 수행한다. 즉 분산 병렬 처리부(265)는 사용자 및 시도호 데이터 분리를 수행할 수 잇다. 그리고 분산 병렬 처리부(265)는 URL을 활용한 특정 서비스 이용 분리 예컨대 구글 스토어와 T 스토어 데이터를 분리할 수 있다. 분산 병렬 처리부(265)는 세션(Seesion) 단위로 발생한 데이터를 시간 단위로 요약(Summary)하며, T-FS 기반 MapReduce 구동 환경을 갖추어 구성될 수 있다. 이러한 분산 병렬 처리부(265)는 서버 장치 간 클러스터링(Clustering), Job Control 및 모니터링 역할을 수행한다.
DW/MART 처리부(267)는 DBM 고객 정보와 분산 병렬 처리부(265)에서 분산 병렬된 데이터를 결합한다. 즉 DW/MART 처리부(267)는 요금제, ARPU, 나이 등 고객 프로파일과 분산 병렬 데이터를 결합한다. 그리고 DW/MART 처리부(267)는 주제별 요약 DW/MART 생성 예컨대 시간대, 일별, 월별 Summary DW/MART 생성을 수행한다. 그리고 DW/MART 처리부(267)는 생성된 주제별 요약 DW/MART를 장치 저장부(250)에 저장하도록 지원할 수 있다.
데이터 이용부(269)는 장치 저장부(250)에 저장된 주제별 요약 DW/ART를 기반으로 다양한 정보 가공을 지원할 수 있다. 즉 데이터 이용부(269)는 Self 분석(61), 정형 리포트(63) 생성, Adhoc 리포트(65) 생성 등을 수행할 수 있다. 예컨대 데이터 이용부(269)는 단말 고객 사용 패턴 분석에 따른 활용, 단말 네트웍 트래픽 분석에 따른 활용 및 데이터 스토어 정보 제공에 따른 활용을 지원할 수 있다. 단말 고객 사용 분석 활용을 위하여 데이터 이용부(269)는 Map-Reduce에 의해 재정렬된 데이터를 특정 목적을 기반으로 요약된 정보를 이용하여 신규 상품 및 서비스 기획에 활용하기 위한 리포트 생성, Product형/고객 특징별 요금제 개발을 위한 자료 생성, Off-Peak 서비스 개발을 위한 자료 생성을 수행하도록 지원할 수 있다. 또한 단말 네트웍 트래픽 분석 활용을 위하여 데이터 이용부(269)는 OTT 트래픽 이슈 대응을 위한 리포트 생성, OTT 트래픽 근거 자료 데이터베이스 구축 지원 등을 지원할 수 있다. 데이터 스토어 정보 제공을 위하여 데이터 이용부(269)는 Telco Data 상품화를 위한 데이터 지원, Mobile Research 데이터 판매를 위한 데이터 지원, Mobile life Log 기반 제휴 사업 지원을 위한 데이터 지원 및 TV 시청률 정보 판매를 위한 자료 제공 등을 지원할 수 있다. 이러한 데이터 이용부(269)에 의해 생성되는 가공 데이터들에 대해서 후술하는 도면들을 참조하여 보다 상세히 설명하기로 한다.
도 5는 본 발명의 분산 병렬 처리부(265)의 구성을 보다 상세히 나타낸 도면이다.
도 5를 참조하면, 본 발명의 분산 병렬 처리부(265)는 데이터 인제스터 서버(Data Ingester Server)(51), 워크플로우 매니저(Workflow Manager) (52), 웹 클라이언트 콘솔(Web Client Console)(53), 맵리듀스(MapReduce)(54), 분배 파일 시스템(Distributed File System)(55), 데이터 통합 시스템(Data integration System)(56), 코디네이터(Coordinator)(57)를 포함할 수 있다.
데이터 인제스터 서버(51)는 네트웍 레이어에 해당하는 데이터 수집부(261)에서 파일 상태를 확인하고, 데이터를 압축 및 전송하는 역할을 수행한다. 이러한 데이터 인제스터 서버(51)는 데이터 수집부(261)가 전달하는 데이터를 압축 해제하여 데이터를 확인한다. 그리고 데이터 인제스터 서버(51)는 분배 파일 시스템(55)에 해당 데이터를 전달하며, 이 과정에서 데이터를 압축하여 전송할 수 있다. 즉 데이터 인제스터 서버(51)는 데이터 수집부(261)에서 일정 형태로 필터링 및 압축 가공된 데이터를 수신하면, 이를 압축 해제하여 데이터를 확인하고 분배 파일 시스템(55)에 저장할 수 있는 형태의 포맷으로 전환 및 압축하여 분배 파일 시스템(55)에 전달할 수 있다.
워크플로우 매니저(52)는 맵리듀스(54)의 작업 흐름을 관리하여 맵리듀스(54) 작업의 시작을 제어하고, 작업 이벤트를 감시한다. 즉 워크플로우 매니저(52)는 맵리듀스(54)의 작업 과정에서 발생하는 에러 감시나 중지 상태 감시 등을 수행할 수 있다. 한편 워크플로우 매니저(52)는 데이터의 맵리듀스(54) 작업이 완료되면 완료 이벤트를 코디네이터(57)에 전달한다.
웹 클라이언트 콘솔(53)은 워크플로우 매니저(52)의 작업 시작 및 작업 이벤트 감시 과정에서 요구되는 입력을 제공하는 구성이다.
맵리듀스(54)는 분배 파일 시스템(55)에 저장된 데이터들 특히 데이터 인제스터 서버(51)가 입력한 데이터들을 호출하고 일정 Mapper에 이를 할당한 후, 사전 정의된 규칙에 따라 Reducer에 분배 정렬하도록 지원하는 구성이다. 이러한 맵리듀스(54)는 도 6에 도시된 바와 같은 형태로 데이터들을 Mapper에 할당하고 이를 Reducer에서 재정렬하여 DW/MART 요약 정보를 생성할 수 있도록 지원한다.
분배 파일 시스템(55)은 데이터 인제스터 서버(51)에 의하여 데이터를 기입하고, 기입된 데이터를 맵리듀스(54)에 제공하여 Map-Reducing에 의해 재정렬되도록 제공할 수 있다. 그리고 분배 파일 시스템(55)은 맵리듀스(54)에 의해 재정렬된 데이터를 저장한다. 재정렬된 데이터는 DW/MART 처리부(267)에 전달될 수 있으며, DW/MART 처리부(267)는 사전 정의된 목적에 따라 재정렬된 데이터를 DW/MART 요약 정보로서 생성하여 장치 저장부(250)에 저장하도록 지원할 수 있다.
데이터 통합 시스템(56)은 분배 파일 시스템(55)에 저장된 재정렬된 데이터를 읽고서 분배 파일 시스템(55)으로부터 전달받은 재정렬된 데이터를 DW/MART 처리부(267)를 통하여 단말 DW/MART 요약 정보로서 장치 저장부(250)에 저장되도록 지원하는 구성이다. 이러한 데이터 통합 시스템(56)은 DW/MART 처리부(267)의 특정 목적에 따른 요약 정보 구성을 위하여 요청을 수신하면, 그에 대응하는 재정렬된 데이터를 수집하고 이를 DW/MART 처리부(267)에 전달하도록 지원할 수 있다.
코디네이터(57)는 분산 정렬 처리부(265)에 포함된 전체 구성들의 상태 확인을 수행한다. 그리고 코디네이터(57)는 각 분산 정렬 처리부(265)의 구성들의 작업 상태를 확인하고 시작 및 종료 메시지의 전달을 제공하는 구성이다. 즉 코디네이터(57)는 데이터 수집부(261)가 사전 정의된 일정 시점에 전달하는 데이터를 분배 파일 시스템(55)에 저장하는 스케줄링을 지원하고, 맵리듀스(54)에 의해 해당 데이터의 재정렬 및 분배 파일 시스템(55)으로의 저장 스케줄링을 지원할 수 있다. 특히 코디네이터(57)는 DW/MART 처리부(267)로부터의 특정 목적 요약 정보 생성에 대한 요청을 수신하면 그에 대응하는 재정렬된 데이터들의 생성과, 저장 및 전달을 위한 스케줄링을 계획하고 수행하도록 지원할 수 있다.
도 7 내지 도 12는 본 발명의 대용량 데이터 분석에 따라 재정렬되고 목적별 요약 정보로 가공된 데이터들의 다양한 예시를 나타낸 도면들이다.
먼저, 도 7은 예컨대 10대의 SMS(Short Message Service) 이용과 특정 채팅 앱 이용을 연계 분석에 대한 가공 데이터이다. 본 발명의 대용량 데이터 운용 장치(200)는 10대의 SMS 이용에 대한 정보 수집과 목적별 요약 정보 수집을 수행하며, 또한 10대의 채팅 앱 이용에 대한 정보 수집과 목적별 요약 정보 수집을 수행할 수 있다. 그리고 각각 수집된 정보들을 기반으로 데이터 이용부(269)가 도 7에 도시된 바와 같은 10대들의 SMS 및 채팅 앱 운용에 따른 변화 추이에 대한 그래프에 해당하는 가공 데이터를 생성할 수 있다. 상술한 각각의 정보는 단말들(100)의 데이터 운용과 문자 서비스 채널의 운용에 대한 정보가 수집되어 분배 파일 시스템(55)에 저장된 환경에서 맵리듀스(54)에 의하여 재정렬된 후 일정 목적별로 요약된 정보가 될 수 있다. 특히 대용량 데이터 운용 장치(200)는 일일별 수집된 데이터를 주기적으로 수집 및 저장함으로써, 데이터들의 변화 추이에 대한 가공 데이터를 생성할 수 있도록 지원할 수 있다. 이를 위하여 대용량 데이터 운용 장치(200)는 사전 정의된 일정 항목들을 기반으로 전체 데이터를 압축 및 정렬하도록 지원하게 된다.
도 8은 요일별 채팅 앱 사용량 분석에 대한 가공 데이터를 나타낸 도면이다. 이를 위하여 대용량 데이터 운용 장치(200)는 일일별로 수집되는 데이터들에 대하여 특정 채팅 앱 기반으로 송수신되는 데이터들을 분류 및 재정렬할 수 있으며, 이를 목적별 요약 정보로 생성할 수 있도록 지원한다. 특히 대용량 데이터 운용 장치(0는 특정 채팅 앱 접속 횟수에 대한 정보 및 해당 채팅 앱 운용에 따라 발생하는 트래픽 량에 대한 정보를 수집함으로써 도시된 바와 같은 가공 데이터를 생성하도록 지원할 수 있다.
도 9는 위치 기반 앱 사용 행태 분석에 대한 가공 데이터를 나타낸 도면이다. 이를 위하여 대용량 데이터 운용 장치(200)는 일일별 수집되는 단말들의 대용량 데이터들을 위치별로 분류 및 재정렬하되, 해당 위치에서 운용되는 앱 종류에 대해 수집한 정보를 목적별 요약 정보로서 추출할 수 있다. 그리고 대용량 데이터 운용 장치(200)는 위치 기반으로 각 앱 종류 이용에 대한 분포를 일정 그래프 형태로 가공하고, 이를 해당 위치에 매핑함으로써 도시된 바와 같은 위치 기반 앱 사용 행태 분석에 대한 가공 데이터를 제공할 수 있다. 여기서 대용량 데이터 운용 장치(200)는 별도 제공되는 지도 정보에 위치 정보를 매핑하고 앱 사용 행태에 대한 분석 도표를 해당 지도 정보의 일정 위치에 매핑하도록 함으로써, 가공 데이터의 인식률을 개선하고 그에 따른 가치 개선을 지원할 수 있다.
도 10은 연령대별 웹 브라우징 스타일 분석에 대한 가공 데이터를 나타낸 것이다. 이를 위하여 대용량 데이터 운용 장치(200)는 각 단말들을 운용하는 사용자들의 연령에 대한 목적별 요약 정보, 각 연령대 사용자들이 단말을 이용하여 접속을 수행하는 웹 사이트 정보에 대한 목적별 요약 정보를 생성한다. 이를 위하여 데이터 수집부(261)가 수집한 데이터들을 맵리듀스(54)가 분배 정렬한 데이터를 상술한 연령대별 및 웹 사이트 접속 기준으로 요약하도록 지원할 수 있다. 2차원 상으로 수집된 목적별 요약 정보는 도시된 바와 같이 연령대별 주로 접속하는 웹 사이트 정보들로 구분되는 도표에 해당하는 가공 데이터로 제공될 수 있다.
도 11은 OTT별 트래픽 분석에 대한 가공 데이터를 나타낸 도면이다. 이를 위하여 대용량 데이터 운용 장치(200)는 단말들(100)이 운용하는 앱들에 대한 정보를 수집하고, 각 앱들을 기반으로 운용되는 데이터 처리 형태에 대한 정보 즉 데이터 사용량, 시그널 트래픽 량, 헤더 양 등에 대한 정보를 수집한다. 즉 대용량 데이터 운용 장치(200)는 분배 파일 시스템(55)에 저장된 분배 정렬된 데이터들에 대하여 앱 별 운용에 따른 데이터 처리양에 대한 목적별 요약 정보를 생성하고, 이를 기반으로 도시된 바와 같은 OTT별 트래픽 분석에 대한 가공 데이터를 생성할 수 있다. 대용량 데이터 운용 장치(200)는 생성된 가공 데이터를 도시된 바와 같이 도표의 형태로 제공하거나 구매자의 요구에 따라 수치가 기재된 표로 제공되도록 지원할 수 있다.
도 12는 요금제별 패킷 트래픽 분석에 대한 가공 데이터를 나타낸 도면이다. 대용량 데이터 운용 장치(200)는 단말들(100)이 데이터 이용에 대하여 각 단말들(100)이 가입한 요금제에 대한 정보와 결합하여 어떠한 요금제에 가입한 스마트기기가 어느 정도의 데이터 사용량을 점유하는지에 대한 목적별 요약 정보를 생성할 수 있다. 이를 위하여 대용량 데이터 운용 장치(200)는 전체 데이터 사용량 분포에서 특정 단말들의 점유에 대한 요소와, 각 단말들이 가입한 요금제 요소를 종합적으로 비교 분석하여 요금제별 패킷 트래픽 분석을 위한 목적별 요약 정보를 생성할 수 있다.
또한, 본 발명의 대용량 데이터 운용 장치(200)는 다양한 관점에서 데이터 활용이 가능하다. 예를 들어, 특정 단말 사용자는 다양한 형태의 데이터 분류 항목들에 해당하는 서비스를 이용하거나, 특정 서비스 이용에 따라 데이터 분류 항목을 제공할 수 있다. 즉 단말들(100)은 Voice, SMS, 단말 종류 정보, ARPU, 요금제 정보, Content type 정보, 주중이나 주말 위치 정보, 일일 평균 데이터 사용량(Average MB per Day) 정보, 트래픽 정보, 데이터 사용 시간대 정보, 접속하는 사이트의 URL 주소 정보, 사용하는 앱 정보 등의 분류 항목을 제공할 수 있다. 대용량 데이터 운용 장치(200)는 상술한 단말들(100)의 분류 항목 및 상술한 분류 항목들로부터 유추되는 다양한 데이터 분류 항목들을 산출 및 결정하고, 이를 기반으로 다양한 가공 데이터 생성 예컨대 신규 요금제 기획, URL 사용 분포 가공 데이터 생성, 단말기별 앱/URL 사용 패턴 가공 데이터 생성 등을 지원할 수 있다. 상술한 기능 지원을 위하여 대용량 데이터 운용 장치(200)는 단말들(100)로부터 수집된 데이터 분류 항목들을 일정 목적별 요약 정보로서 가공하기 위하여 분류, 압축 및 재정렬할 수 있다.
예컨대 대용량 데이터 운용 장치(200)는 단말들(100)로부터 수집된 데이터들 중 신규 요금제 기획을 위하여 데이터 사용량, 지역 분석, 컨텐츠 분석, 피크 시간대 분석을 수행할 수 있다. 그리고 대용량 데이터 운용 장치(200)는 각 분석 결과에 따라 특정 스마트폰 기기에 해당하는 사용자의 패턴에 가장 부합하는 신규 요금제를 기획하고 이를 해당 스마트폰 기기 사용자에게 안내할 수 있을 것이다.
또한 대용량 데이터 운용 장치(200)는 URL 정보를 단말들(100)로부터 수집하고, 이를 이용하여 URL 사용 분포도를 생성할 수 있으며, 단말기별 앱/URL 사용 패턴과 같인 보다 복합적인 데이터 분석을 통하여 특정 가공 데이터 생성을 지원할 수 있다. 여기서 대용량 데이터 운용 장치(200)는 URL 정보를 먼저 수집하여 URL 사용 분포도에 해당하는 가공 데이터를 생성하고, 이를 다시 단말기별 앱 분석에 적용하여 보다 복합적인 단말기별 앱/URL 사용 패턴 분석에 따른 가공 데이터 생성을 지원할 수 있다.
한편 본 발명의 대용량 데이터 운용 장치(200)는 DBM 정보를 재구성하여 기업이 필요로 하는 상품 선호도나 상품 구매력과 같은 시장 조사, 광고 및 대상군 선정과 프로 모션 등의 캠페인 등에 대한 정보를 요약된 정보로서 제공할 수 있다. 그리고 대용량 데이터 운용 장치(200)는 단말들(100)의 생황 동선을 기반으로 위치 기반의 상권 분석을 지원하며, 위탁 서비스 등을 통해 상세한 분석 리포트 및 제휴 캠페인 등을 제공하도록 지원할 수 있다. 여기서 DBM에서 제공되는 정보는 고객 프로파일 정보, 고객 성향 및 선호도 정보, 고객 관계 정보, 고객 행동 분석 정보를 포함할 수 있다. 고객 프로파일 정보는 고객 성별, 연령, 청구지, 취미, 캠페인 유효 채널, 캠페인 offering 대응 행태, 고객 신용도, 고객 ARPU(구매력)을 포함하며, 고객 성향 및 선호도는 Self 채널 선호도(상담), 직접 상담 선호도, VOC 성향(공격적, 우호적), 휴대폰 구매 이력(구매력), 단말 구매 시기, 주요 사용 앱이나 URL(게임, 쇼핑. 검색 등), 선호/구매 컨텐츠 등의 정보를 포함할 수 있다. 고객 관계 정보는 통화 수신자 및 발신자를 포함하는 Social Networking 정보, 네트워킹 키맨(주요 캠페인 대상자), 고객 간의 관계 정보, 고객 간 영향도 정보 들을 포함할 수 있으며, 고객 행동 분석 정보는 주요 통화 시간, 통화 패턴, 주요 앱 활용 시간, 주요 URL 활용 시간, 주요 통화 위치, 주요 앱 활용 위치, 주요 URL 활용 위치 및 생활 동선 등의 정보를 포함할 수 있다.
상술한 바와 같이 가공 데이터는 목적별 요약 정보들 각각에 대한 분석 데이터가 될 수 있으며, 또한 목적별 요약 정보들의 복합적인 관계 분석에 대한 데이터가 될 수 있다. 상술한 정보들을 토대로 본 발명의 대용량 데이터 운용 장치(200)는 고객의 사회적 관계와 그룹을 분석하고, 관계 및 그룹 내의 역할을 식별할 수 있다. 그리고 대용량 데이터 운용 장치(200)는 이러한 정보를 기반으로 캠페인 대상 분석을 수행하고 이를 기반으로 하는 가공 데이터 생성을 지원할 수 있다.
도 13은 본 발명의 실시 예에 따른 대용량 데이터 운용 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 본 발명의 대용량 데이터 운용 방법은 먼저, 대용량 데이터 운용 장치(200)가 S101 단계에서 단말들(100)을 기반으로 운용되는 대용량 데이터를 수집할 수 있다. 이를 위하여 대용량 데이터 운용 장치(200)는 3G, 4G 망 등을 통하여 접속되는 단말들(100)의 데이터들을 캡쳐하고, 캡쳐된 데이터들을 사전 정의된 일정 항목들로 필터링하거나, 분류 및 압축할 수 있다. 예를 들어, 대용량 데이터 운용 장치(200)는 대용량 데이터를 일정 개수의 항목들로 1차 필터링, 분류 및 압축을 수행하고, 추가로 분석을 위해 사전 정의된 일정 개수의 항목들로 2차 필터링, 분류 및 압축을 수행하여 사전 정의된 일정 크기의 데이터 용량이 되도록 작업한다.
다음으로 대용량 데이터 운용 장치(200)는 일정 크기로 압축된 대용량 데이터들에 대하여 S103 단계에서 분석을 수행한다. 이를 위하여 대용량 데이터 운용 장치(200)는 대용량 데이터를 분배 파일 시스템에 저장하고, 저장된 분배 파일 시스템에 저장된 데이터들을 분산 서버 장치들을 이용하여 매핑 및 리듀싱을 수행하여 분산 재정렬하도록 지원할 수 있다.
대용량 데이터 운용 장치(200)는 분산 재정렬된 분석 데이터를 S105 단계에서 저장한다. 다음으로 대용량 데이터 운용 장치(200)는 S107 단계에서 저장된 데이터를 목적별 요약 정보로 구성하고 이를 기반으로 가공 데이터를 생성한다. 예컨대 대용량 데이터 운용 장치(200)는 요금제별, 단말별, 사용자 연령별, 앱 종류별, 위치별, 등 다양한 목적을 기준으로 목적별 요약 정보를 구성한다. 그리고 대용량 데이터 운용 장치(200)는 목적별 요약 정보들을 특정 분석 정보 제공을 목적으로 조합하여 가공 데이터를 생성할 수 있다. 예컨대 대용량 데이터 운용 장치(200)는 사용자 연령별로 구분되는 앱들에 대한 분포, 단말별로 사용되는 앱 종류들, 사용자 연령별 가입 요금제 종류 등 다양하고 복합적인 가공 데이터를 생성할 수 있다.
이상에서 설명한 바와 같이 본 발명의 대용량 데이터 운용 시스템과 방법 및 이를 지원하는 장치는 단말들을 기반으로 송수신되는 다양한 데이터들에 대하여 사전 정의된 일정 항목들로 데이터들의 크기를 분류 및 압축하고, 맵 리듀싱을 통하여 데이터의 분산 재정렬을 수행함으로써 일정 형태로 정리된 데이터들을 형성한다. 그리고 본 발명은 해당 데이터들을 일정 목적별로 요약 정보로서 재구성한 후, 재구성된 목적별 요약 정보를 기반으로 복합적인 가공 데이터를 생성할 수 있다. 이렇게 생성된 가공 데이터는 다양한 캠페인에 적용하거나, 특정 기획의 자료에 이용하거나, 근거로 이용하도록 제공될 수 있다.
한편 상술한 본 발명의 실시 예에 따른 단말들 기반으로 생성되는 대용량 데이터의 운용 기능 지원의 경우 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
이상에서는 본 발명의 실시 예에 따른 대용량 데이터 운용 기능 지원에 대하여 본 명세서 및 도면을 통해 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 대용량 데이터 운용 시스템 및 방법과 이를 지원하는 장치에 관한 것으로, 이러한 본 발명은 단말들의 운용에 따라 발생하는 대용량 데이터를 일정한 기준 항목들을 통하여 분류하고 이를 특정 목적에 따라 분산 재정렬한 후 목적별 요약 정보를 구성하고 이를 기반으로 다양한 형태의 가공 데이터를 제공할 수 있도록 지원한다.
이에 따라 본 발명은 의사 결정 등 다양한 상품 기획이나 캠페인 활동 등의 적절한 근거 자료나 데이터를 기반으로 운용할 수 있도록 함으로써 성공적인 사업 또는 업무 활동이 이루어지도록 지원할 수 있다.
10: 대용량 데이터 운용 시스템
100: 단말들 200: 대용량 데이터 운용 장치
210: 장치 통신부 250: 장치 저장부
260: 장치 제어부 300: 통신망

Claims (14)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 적어도 하나 이상의 단말로부터 생성된 대용량 데이터를 수집하는 단계;
    상기 수집된 대용량 데이터를 사전 정의된 일정 항목들로 분류한 후 일정 단위의 대용량 데이터로 가공하는 단계;
    상기 가공된 대용량 데이터를 사전 정의된 규칙에 따라 시간, 위치, 연령 및 트래픽 중 적어도 하나로 분산 정렬하는 단계;
    상기 분산 정렬 처리된 대용량 데이터를 이용하여 앱 또는 웹 사이트의 사용과 관련된 목적별 요약 정보를 구성하는 단계;
    상기 목적별 요약 정보를 기초로 가공 데이터를 생성하는 단계; 및
    상기 가공 데이터를 기반으로 사용자 활동에 대한 사회적 관계 및 그룹 분석을 수행하고, 상기 사용자의 관계와 그룹 내 역할을 식별하여 캠페인 대상을 결정하며, 상기 결정된 캠페인 대상에게 상기 가공 데이터를 제공하는 단계;를 포함하되,
    상기 제공하는 단계는,
    위치 기반 앱 사용 형태 분석에 대한 가공 데이터가 생성된 경우, 임의의 지역에 위치한 고객들이 사용하는 앱에 대한 분포를 파이 그래프 형태의 가공 데이터로 제공하고,
    연령대별 웹 브라우징 스타일 분석에 대한 가공 데이터가 생성된 경우, 연령대별로 사용하는 웹 사이트 정보에 대한 분포를 히스토그램 형태의 가공 데이터로 제공하며,
    요금제별 패킷 트래픽 분석에 대한 가공 데이터가 생성된 경우, 전체 데이터 사용량 분포에서 특정 단말들의 점유에 대한 요소와 각 단말들이 가입한 요금제 요소를 비교 분석하여 요금제별 패킷 트랙픽 분석에 대한 막대 그래프 형태의 가공 데이터로 제공하는 것을 특징으로 하는 대용량 데이터 운용 방법.
  10. 제9항에 있어서,
    상기 가공하는 단계는
    상기 수집된 대용량 데이터를 사전 정의된 일정 개수의 항목으로 분류하는 단계; 및
    상기 분류된 대용량 데이터를 일정 크기로 압축하는 단계;
    를 포함하는 것을 특징으로 하는 대용량 데이터 운용 방법
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 목적별 요약 정보를 구성하는 단계는
    상기 단말의 고객 정보와 상기 단말들의 운용에 따라 수집되어 정렬된 데이터들을 통합하여 분석하는 단계; 및
    분석된 데이터들을 일정 목적에 따라 요약 정보로 구성하는 단계;
    를 포함하는 것을 특징으로 하는 대용량 데이터 운용 방법.
  14. 삭제
KR1020120119324A 2012-10-25 2012-10-25 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치 KR101908313B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120119324A KR101908313B1 (ko) 2012-10-25 2012-10-25 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120119324A KR101908313B1 (ko) 2012-10-25 2012-10-25 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치

Publications (2)

Publication Number Publication Date
KR20140052771A KR20140052771A (ko) 2014-05-07
KR101908313B1 true KR101908313B1 (ko) 2018-10-16

Family

ID=50885938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119324A KR101908313B1 (ko) 2012-10-25 2012-10-25 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치

Country Status (1)

Country Link
KR (1) KR101908313B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102128389B1 (ko) * 2016-07-05 2020-07-09 주식회사 케이티 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813940B1 (ko) * 2006-08-16 2008-03-14 세종대학교산학협력단 대용량 dbms를 이용한 공간데이터 관리 시스템 및 그방법
KR20120085400A (ko) * 2011-01-24 2012-08-01 충남대학교산학협력단 하둡 기반 병렬 연산에 의한 패킷분석 시스템 및 방법

Also Published As

Publication number Publication date
KR20140052771A (ko) 2014-05-07

Similar Documents

Publication Publication Date Title
CN106712975B (zh) 手机上网流量统计及显示方法、装置及手机
CN101937545B (zh) 触点定制系统
US9949149B2 (en) Online and distributed optimization framework for wireless analytics
CN100589606C (zh) 一种短消息查询分析系统及方法
CN102208991A (zh) 一种日志处理方法、设备和系统
CN103561078A (zh) 电信运营系统及业务服务方法
CN103150696A (zh) 选择目标增值业务潜在客户的方法及装置
CN102929961A (zh) 基于构建快速数据分级通道的数据处理方法及其装置
CN103051672A (zh) 一种异构终端环境中的终端信息获取方法及装置
CN101557582B (zh) 一种移动通信用户信息统计方法及装置
CN104915902A (zh) 一种基于云平台的外卖在线派送实现方法
CN112311612A (zh) 一种家庭画像构建方法、装置及存储介质
CN108259421A (zh) 一种用户活跃度的统计方法及系统
CN102222112B (zh) 资源管理装置和资源管理方法
CN102982112A (zh) 排行榜生成方法、日志生成方法和服务器
CN106354797A (zh) 数据推荐方法和装置
CN112364086A (zh) 一种基于大数据平台的业务可视化方法及系统
CN109819098A (zh) 菜单选项显示方法、服务器、系统及计算机可读存储介质
CN107977855B (zh) 一种管理用户信息的方法及装置
CN109657893A (zh) 业务数据分配方法、装置、设备及计算机可读存储介质
Verkasalo Handset-based analysis of mobile service usage
CN112351147B (zh) 语音呼叫方法、装置及设备
KR101908313B1 (ko) 대용량 데이터 운용 시스템 및 방법과, 이를 지원하는 장치
CN106933971B (zh) 一种基于科技服务的数据分析统计系统
CN102136096A (zh) 业务动态流控方法、装置和一种并发控制系统

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant