KR101718599B1 - System for analyzing social media data and method for analyzing social media data using the same - Google Patents
System for analyzing social media data and method for analyzing social media data using the same Download PDFInfo
- Publication number
- KR101718599B1 KR101718599B1 KR1020150008863A KR20150008863A KR101718599B1 KR 101718599 B1 KR101718599 B1 KR 101718599B1 KR 1020150008863 A KR1020150008863 A KR 1020150008863A KR 20150008863 A KR20150008863 A KR 20150008863A KR 101718599 B1 KR101718599 B1 KR 101718599B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- sampling method
- social media
- index
- interface
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G06F17/30—
Abstract
본 발명의 일 측면은, 소셜 미디어에 포함된 데이터를 수집하는 수집 수단; 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단; 검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단; 도출된 상기 결과 값을 저장하는 데이터베이스; 및 상기 인덱싱 수단으로부터의 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스를 포함하는, 소셜 미디어 데이터 분석 시스템을 제공한다.An aspect of the present invention includes a collection means for collecting data included in social media; Indexing means for assigning an index to the collected data and searching for target data based on the index; Analyzing means for analyzing the searched target data and deriving a result value; A database for storing the derived result values; And a first interface for communicating the object data from the indexing means to the analyzing means.
Description
본 발명은 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법에 관한 것이다.
The present invention relates to a social media data analysis system and a method for analyzing social media data using the same.
빅 데이터란 기존의 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다.Big data refers to a large set of fixed or unstructured data beyond the ability to collect, store, manage, and analyze data with existing database management tools, and to extract value from these data and analyze the results.
다양한 종류의 대용량 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅 데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석할 수 있도록 한다.The development of Big Data Technology, which is characterized by the generation, collection, analysis and expression of various kinds of large data, enables more accurate forecasting of the diversified modern society to work more efficiently, provides customized information for individualized modern society members, Management, and analysis.
이와 같이, 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다.As such, Big Data presents the possibility of providing valuable information to society and humanity in all areas including politics, society, economy, culture, and science and technology, and its importance is highlighted.
빅 데이터 분석에는 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 동원될 수 있다. 특히, 최근 소셜 미디어와 같은 비정형 데이터의 증가로 인해 분석 기법들 중에서 텍스트 마이닝, 오피니언 마이닝, 소셜 네트워크 분석, 군집 분석 등이 주목을 받고 있다.Big data analysis can involve data mining, machine learning, natural language processing, pattern recognition, etc., which were used in existing statistics and computer science. In particular, textual mining, opinion mining, social network analysis, and cluster analysis are attracting attention in recent years due to the increase of unstructured data such as social media.
특히, 빅 데이터의 수집 기술과 관련하여, 한국등록특허 제10-1329034호는 SNS 검색 서비스를 이용한 URL 수집 시스템에 관한 것으로서, 실시간 검색어 정보의 최초 수집 시간, 검색어 수집 경로, 중복 수집 횟수, 중복 수집 시간의 내역 정보와 같은 URL 관련 히스토리 정보를 수집하는 히스토리 정보 수집 모듈을 포함하는 것을 특징으로 하고 있으나, 검색 시간 경과에 따른 데이터 용량 증가, 및 그에 따른 처리 성능 저하에 대응하기 어렵다는 한계가 있다.
In particular, Korean Patent Registration No. 10-1329034 relates to a URL collecting system using SNS search service in relation to a big data collecting technology, and it is an object of the present invention to provide a URL collecting system using an SNS search service, And history information collection module for collecting URL related history information such as time history information. However, it is difficult to cope with an increase in data capacity due to an elapse of a search time and a corresponding deterioration in processing performance.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 시간 경과에 따라 기하 급수적으로 누적되는 데이터의 처리 부하를 효과적으로 경감시킬 수 있는 소셜 미디어 데이터 분석 시스템과 이를 이용한 소셜 미디어 데이터 분석 방법을 제공하는 것이다.
It is an object of the present invention to provide a social media data analysis system capable of effectively reducing a processing load of data accumulatively accumulated over time, Analysis method.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 측면은, 소셜 미디어에 포함된 데이터를 수집하는 수집 수단; 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단; 검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단; 도출된 상기 결과 값을 저장하는 데이터베이스; 및 상기 인덱싱 수단으로부터의 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스를 포함하는, 소셜 미디어 데이터 분석 시스템을 제공한다.According to an aspect of the present invention, there is provided an information processing apparatus including: collection means for collecting data included in a social media; Indexing means for assigning an index to the collected data and searching for target data based on the index; Analyzing means for analyzing the searched target data and deriving a result value; A database for storing the derived result values; And a first interface for communicating the object data from the indexing means to the analyzing means.
일 실시예에 있어서, 상기 제1 인터페이스가, 상기 인덱싱 수단으로부터 수신한 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거할 수 있다.In one embodiment, the first interface may filter the target data received from the indexing means on the basis of a predetermined keyword, and remove the predetermined noise URL.
일 실시예에 있어서, 상기 제1 인터페이스가 필터링된 상기 대상 데이터를 샘플링(sampling) 방식으로 축소하고, 축소된 상기 대상 데이터를 상기 분석 수단으로 송신할 수 있다.In one embodiment, the first interface may reduce the filtered target data by a sampling method, and transmit the reduced target data to the analysis means.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.In one embodiment, the sampling scheme may be a random sampling scheme or a statistical sampling scheme.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 대상 데이터의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.In one embodiment, the statistical sampling method may be based on a statistical value of the type of the target data or the specific gravity of each target data.
일 실시예에 있어서, 상기 분석 수단으로부터의 상기 결과 값을 상기 데이터베이스로 전달하는 제2 인터페이스를 더 포함할 수 있다.In one embodiment, the analyzer may further include a second interface for communicating the resultant value from the analyzing means to the database.
일 실시예에 있어서, 상기 제2 인터페이스가 상기 분석 수단으로부터 수신한 상기 결과 값을 샘플링(sampling) 방식으로 축소하여 데이터 객체를 생성하고, 생성된 상기 데이터 객체를 상기 데이터베이스로 송신할 수 있다.In one embodiment, the second interface may generate a data object by reducing the result value received from the analysis means by a sampling method, and may transmit the generated data object to the database.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.In one embodiment, the sampling scheme may be a random sampling scheme or a statistical sampling scheme.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 결과 값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.In one embodiment, the statistical sampling method may be based on a statistical value of the type of the result or the weight of each result.
일 실시예에 있어서, 상기 인덱싱 수단이, 수집된 상기 데이터를 기설정된 기준에 따라 제1 수집 데이터와 제2 수집 데이터로 분류하고, 상기 제1 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제1 인덱싱 부와, 상기 제2 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제2 인덱싱 부를 포함할 수 있다.In one embodiment, the indexing unit classifies the collected data into first collected data and second collected data according to a predetermined criterion, assigns an index to the first collected data, And a second indexing unit for assigning an index to the second collected data and searching for target data based on the index.
일 실시예에 있어서, 상기 기설정된 기준이 상기 데이터의 수집 용량 또는 수집 기간일 수 있다.In one embodiment, the predetermined criteria may be a collection capacity or collection period of the data.
또한, 상기와 같은 목적을 달성하기 위해 본 발명의 다른 일 측면은, (a) 소셜 미디어에 포함된 데이터를 수집하는 단계; (b) 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 단계; (c) 검색된 상기 대상 데이터를 필터링하는 단계; (d) 필터링된 상기 대상 데이터를 분석하여 결과 값을 도출하는 단계; 및 (e) 도출된 상기 결과 값을 저장하는 단계;를 포함하는, 소셜 미디어 데이터 분석 방법을 제공한다.According to another aspect of the present invention, there is provided an information processing method including the steps of: (a) collecting data included in a social media; (b) assigning an index to the collected data, and searching for target data based on the index; (c) filtering the retrieved subject data; (d) analyzing the filtered subject data to derive a result value; And (e) storing the derived result values.
일 실시예에 있어서, 상기 (c) 단계에서 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거할 수 있다.In one embodiment, in the step (c), the target data may be filtered based on a preset keyword, and a predetermined noise URL may be removed.
일 실시예에 있어서, 필터링된 상기 대상 데이터를 샘플링(sampling) 방식으로 축소할 수 있다.In one embodiment, the filtered target data may be reduced in a sampling manner.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.In one embodiment, the sampling scheme may be a random sampling scheme or a statistical sampling scheme.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 대상 데이터의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.In one embodiment, the statistical sampling method may be based on a statistical value of the type of the target data or the specific gravity of each target data.
일 실시예에 있어서, 상기 (d) 및 (e) 단계 사이에, 도출된 상기 결과 값을 샘플링(sampling) 방식으로 축소하는 단계를 더 포함할 수 있다.In one embodiment, the method may further include, between the steps (d) and (e), reducing the derived result value by a sampling method.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.In one embodiment, the sampling scheme may be a random sampling scheme or a statistical sampling scheme.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 결과 값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.
In one embodiment, the statistical sampling method may be based on a statistical value of the type of the result or the weight of each result.
본 발명의 일 측면에 따른 소셜 미디어 데이터 분석 시스템은, 인덱싱 수단과 분석 수단 사이에 구비되는 제1 인터페이스를 통해 대상 데이터를 1차 축소시킴으로써, 분석 수단의 처리 부하를 경감시킬 수 있다.The social media data analysis system according to an aspect of the present invention can reduce the processing load of the analyzing means by first reducing the object data through the first interface provided between the indexing means and the analyzing means.
또한, 상기 소셜 미디어 데이터 분석 시스템은, 선택적으로, 분석 수단과 데이터베이스 사이에 제2 인터페이스를 구비할 수 있고, 이를 통해 분석 결과 값을 2차 축소시킴으로써 데이터베이스의 저장 부하를 경감시킬 수도 있다.In addition, the social media data analysis system may optionally include a second interface between the analysis means and the database, thereby reducing the storage load of the database by secondarily reducing the analysis result value.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.
도 1은 본 발명의 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
도 2는 본 발명의 일 실시예에 따른 제1 인터페이스의 구동 방식을 도식화한 것이다.
도 3은 본 발명의 다른 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
도 4는 본 발명의 일 실시예에 따른 제2 인터페이스의 구동 방식을 도식화한 것이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.FIG. 1 illustrates a structure of a social media data analysis system according to an embodiment of the present invention.
2 is a diagram illustrating a driving method of a first interface according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a structure of a social media data analysis system according to another embodiment of the present invention.
4 is a diagram illustrating a driving method of a second interface according to an embodiment of the present invention.
5 is a diagram illustrating a structure of a social media data analysis system according to another embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" . Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
소셜Social
미디어 데이터 분석 시스템 Media data analysis system
도 1은 본 발명의 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.FIG. 1 illustrates a structure of a social media data analysis system according to an embodiment of the present invention.
도 1을 참조하면, 상기 소셜 미디어 데이터 분석 시스템이 소셜 미디어에 포함된 데이터를 수집하는 수집 수단(100); 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단(200); 검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단(400); 도출된 상기 결과 값을 저장하는 데이터베이스(500); 및 상기 인덱싱 수단으로부터의 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스(300)를 포함할 수 있다.Referring to FIG. 1, the social media data analysis system includes: a collection means 100 for collecting data included in a social media; Indexing means (200) for indexing the collected data and searching for target data based on the index; Analyzing means (400) for analyzing the searched target data and deriving a result value; A
본 명세서에 사용된 용어 "인터페이스"는, 2개의 시스템 또는 장치를 상호 연결시켜 각 시스템 또는 장치의 입력 값과 출력 값, 예를 들어, 데이터 표현 형식, 데이터 수, 데이터 용량, 데이터 구조 등 간의 차이를 제어하기 위한 하드웨어적이거나 소프트웨어적인 것을 의미한다. 하드웨어적 인터페이스에는 물리적 조건, 회로의 조건, 전기적 조건 등이 있으며, 소프트웨어적 인터페이스에는 논리적 조건, 프로그래밍 조건 등이 있다.As used herein, the term "interface" refers to the interconnection of two systems or devices so that the difference between the input and output values of each system or device, e.g., data representation format, number of data, Lt; RTI ID = 0.0 > and / or < / RTI > Hardware interfaces include physical conditions, circuit conditions, and electrical conditions. Software interfaces include logical conditions and programming conditions.
도 2는 본 발명의 일 실시예에 따른 제1 인터페이스(300)의 구동 방식을 도식화한 것이다.2 is a diagram illustrating a driving method of the
도 2를 참조하면, 상기 제1 인터페이스(300)가 상기 인덱싱 수단(200)으로부터 수신한 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고(310), 기설정된 노이즈 URL을 제거(320)할 수 있고, 필터링된 상기 대상 데이터를 샘플링 방식으로 축소하고(330), 축소된 상기 대상 데이터를 상기 분석 수단(400)으로 송신할 수 있다. 상기 샘플링 방식은 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.Referring to FIG. 2, the
본 명세서에 사용된 용어 "노이즈 URL"은, 상기 대상 데이터 중 도박, 음란, 기타 사행성 또는 유해성 데이터와 같이 분석 대상과의 관련도가 현저히 떨어지는 데이터를 포함하는 URL을 의미한다. 상기 노이즈 URL은, 발굴된 특정 사이트의 URL 패턴이 저장되고 제거 주기가 설정된 제1 인터페이스(200)에 의해 자동적으로 제거될 수 있다.As used herein, the term "noise URL " means a URL including data that is significantly related to the analysis target, such as gambling, obscenity, gambling, or harmful data among the target data. The noise URL can be automatically removed by the
본 명세서에 사용된 용어 "무작위 샘플링"은, 키워드를 기준으로 필터링된 상기 대상 데이터 중 일부를 데이터의 속성과 무관하게 추출하여 표본화하는 것을 의미한다.As used herein, the term "random sampling " means extracting and sampling some of the subject data filtered based on the keyword, regardless of the attributes of the data.
예를 들어, 상기 대상 데이터를 16진수로 표현한 후, 이를 10진수로 변환하는 과정에서 생성되는 나머지 값에 따라 가중치를 부여하고, 부여된 가중치를 기준으로 필요에 따라 상위 또는 하위 10% 내지 50%에 해당하는 대상 데이터를 추출하도록 설정된 제1 인터페이스(200)에 의해 상기 무작위 샘플링이 자동적으로 수행될 수 있다. 이에 따라, 상기 분석 수단(400)으로 송신되는 대상 데이터의 용량이 축소(diminish)되어 상기 분석 수단(400)의 부하(load)가 경감될 수 있다.For example, the target data may be expressed in hexadecimal, and a weight may be assigned according to the remaining value generated in the process of converting the target data into a decimal number, and the upper or lower 10% to 50% The random sampling may be performed automatically by the
또한, 본 명세서에 사용된 용어 "통계적 샘플링"은, 특정 요소의 통계 값을 기준으로 가중치를 부여하여 표본화(샘플링)하는 것을 의미하며, 상기 무작위 샘플링 방식에 비해 상기 대상 데이터의 유형별 또는 영향력별 편차를 상대적으로 감소시킬 수 있다. 이 때, 상기 기준은 수집된 소셜 미디어의 유형-예를 들어, 뉴스, SNS, 블로그, 커뮤니티-별 또는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값일 수 있다.As used herein, the term "statistical sampling" means weighting and sampling (sampling) based on a statistical value of a specific element, Can be relatively reduced. In this case, the criterion may be a statistical value of the type of social media collected, for example, news, SNS, blog, community,
도 3은 본 발명의 다른 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다. FIG. 3 is a diagram illustrating a structure of a social media data analysis system according to another embodiment of the present invention.
도 3을 참조하면, 상기 소셜 미디어 데이터 분석 시스템이 상기 분석 수단(400)으로부터의 상기 결과 값을 상기 데이터베이스(500)로 전달하는 제2 인터페이스(600)를 더 포함할 수 있다. Referring to FIG. 3, the social media data analysis system may further include a
도 4는 본 발명의 일 실시예에 따른 제2 인터페이스(600)의 구동 방식을 도식화한 것이다. 4 is a diagram illustrating a driving method of the
도 4를 참조하면, 상기 제2 인터페이스(600)가 상기 분석 수단(400)으로부터 수신한 상기 결과 값을 무작위 샘플링 또는 통계적 샘플링 방식으로 축소하여(610) 데이터 객체를 생성하고(620), 생성된 상기 데이터 객체를 상기 데이터베이스(500)로 송신, 저장할 수 있다(630).Referring to FIG. 4, the
상기 제2 인터페이스(600)에 의한 상기 무작위 샘플링 또는 상기 통계적 샘플링은 상기 제1 인터페이스(300)에 의한 것과 유사한 개념으로 이해될 수 있다. 다만, 상기 제1 인터페이스(300)와 상기 제2 인터페이스(600)는 상이한 샘플링 방식으로 작동할 수 있다. 구체적으로, 상기 제1 인터페이스(300)와 상기 제2 인터페이스(600)의 통계적 샘플링 기준이 상이할 수 있다. 예를 들어, 상기 제1 인터페이스(300)가 소셜 미디어의 유형별 비중에 대한 통계 값을 기준으로 작동하고, 상기 제2 인터페이스(600)는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값을 기준으로 작동할 수 있다.The random sampling or statistical sampling by the
즉, 상기 무작위 샘플링은 상기 분석 수단(400)으로부터 수신한 상기 결과 값 중 일부를 결과 값의 속성과 무관하게 추출하여 표본화하는 것을 의미한다. 예를 들어, 상기 분석 수단으로부터 수신한 상기 결과 값을 16진수로 표현한 후, 이를 10진수로 변환하는 과정에서 생성되는 나머지 값에 따라 가중치를 부여하고, 부여된 가중치를 기준으로 필요에 따라 상위 또는 하위 10% 내지 50%에 해당하는 데이터 객체를 생성하도록 설정된 제2 인터페이스(600)에 의해 상기 무작위 샘플링이 자동적으로 수행될 수 있다. 이에 따라, 상기 데이터베이스(500)로 송신 및 저장되는 데이터 객체의 용량이 축소(diminish)되어 상기 데이터베이스(500)의 부하(load)가 경감될 수 있다.That is, the random sampling means that some of the result values received from the analysis means 400 are extracted and sampled regardless of the attribute of the result value. For example, the resultant value received from the analyzing means may be expressed as a hexadecimal number, and a weight may be assigned according to the remaining value generated in the process of converting the result value into a decimal number. The random sampling may be performed automatically by the
또한, 상기 통계적 샘플링은 특정 요소의 통계 값을 기준으로 가중치를 부여하여 표본화(샘플링)하는 것을 의미하며, 상기 무작위 샘플링 방식에 비해 상기 결과 값의 유형별 또는 영향력별 편차를 상대적으로 감소시킬 수 있다. 이 때, 상기 기준은 수집된 소셜 미디어의 유형-예를 들어, 뉴스, SNS, 블로그, 커뮤니티-별 또는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값일 수 있다.In addition, the statistical sampling means that the statistical sampling is performed by weighting based on statistical values of specific elements, and the deviation of the result value by type or influence can be relatively reduced as compared with the random sampling method. In this case, the criterion may be a statistical value of the type of social media collected, for example, news, SNS, blog, community,
상기 수집 수단(100)은 개방 웹(open web)은 물론, ID/PW 방식의 폐쇄 웹(closed web)에도 접근하여 그에 포함된 데이터를 수집할 수 있다.The collecting means 100 can access not only an open web but also an ID / PW closed web to collect data included therein.
상기 수집 수단(100)은, 씨딩 수단(미도시)으로부터 수신된 씨드 URL의 패턴 정보, 키워드 정보, 및 이들의 조합 중 선택되는 하나에 기반하여 소셜 미디어에 포함된 데이터를 수집하는 서버일 수 있다. The collecting means 100 may be a server for collecting data contained in the social media based on one of a seed URL pattern information received from a seeding means (not shown), keyword information, and a combination thereof .
구체적으로, 상기 수집 수단(100)이, 씨드 URL의 패턴 정보를 이용하여 데이터를 수집하는 경우와, 키워드 정보를 이용하여 데이터를 수집하는 경우에 각각 Apache의 오픈 소스인 너치(Nutch)와 오픈 API(open application program interface)를 기반으로 구동되는 것일 수 있다.Specifically, when the collecting means 100 collects data using the seed URL pattern information and when collecting data using the keyword information, Apache's open source Nutch and Open API (open application program interface).
상기 수집 수단(100)은 상기 너치(Nutch), 오픈 API(open application program interface), 알에스에스(RSS, rich site summary), 웹 스크래퍼(web scrapper) 각각에 기반하여 구동될 수 있고, 필요에 따라 이들 중 2 이상이 조합된 것에 기반하여 구동될 수도 있다.The collecting means 100 may be driven based on each of the Nutch, an open application program interface (RSS), a rich site summary (RSS) and a web scrapper, Or may be driven based on a combination of two or more of them.
상기 인덱싱 수단(200)은, 수집된 상기 데이터를 기설정된 기준에 따라 제1 수집 데이터와 제2 수집 데이터로 분류하고, 이들 각각을 별도의 인덱싱 부를 통해 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색할 수 있다.The
이 경우, 상기 인덱싱 수단(200)은, 상기 제1 수집 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 제1 인덱싱 부와(210), 상기 제2 수집 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 제2 인덱싱 부(220)를 포함할 수 있다.In this case, the
본 명세서에 사용된 용어 "인덱스"는, 데이터의 속성, 기록 장소 뿐만 아니라 해당 데이터에 수반되는 메타데이터를 포함하는 개념으로 이해될 수 있다.As used herein, the term "index" can be understood as a concept including not only the attribute of the data, the place of recording but also metadata accompanying the data.
상기 기설정된 기준은 상기 데이터의 수집 용량 또는 수집 기간일 수 있다. 상기 기설정된 기준이 상기 데이터의 수집 용량인 경우, 상기 제1 수집 데이터의 상기 수집 용량이 200 테라바이트 이하일 수 있으며, 상기 제2 수집 데이터의 상기 수집 용량이 200 테라바이트 초과일 수 있다. 또한, 상기 기설정된 기준이 상기 데이터의 수집 기간인 경우, 상기 제1 수집 데이터의 상기 수집 기간이 실시간, 또는 현재로부터 1년 이내일 수 있으며, 상기 제2 수집 데이터의 상기 수집 기간이 현재로부터 1년 초과일 수 있다.The predetermined criterion may be a collection capacity or collection period of the data. If the predetermined criterion is the collection capacity of the data, the collection capacity of the first collection data may be 200 terabytes or less, and the collection capacity of the second collection data may be more than 200 terabytes. Also, when the predetermined reference is the collection period of the data, the collection period of the first collection data may be real time or within one year from the present, and the collection period of the second collection data may be 1 Year.
상기 제1 인덱싱 부(210)가 형태소 또는 키워드 분석 기반의 인덱싱 유닛이 설치된 2 이상의 단위 서버를 포함할 수 있고, 상기 제2 인덱싱 부가 분산 처리 환경 기반의 인덱싱 유닛이 설치된 2 이상의 단위 서버를 포함할 수 있다.The
한편, 상기 분석 수단(400)이, 컨텐츠 분류(content categorizing), 데이터 마이닝(data mining), 텍스트 마이닝(text mining), 및 이들 중 2 이상이 조합된 것으로 이루어진 군으로부터 선택되는 하나의 기능을 수행하는 서버일 수 있다. 상기 분석 수단(400)으로는 구득 가능한 공지의 분석 솔루션이 설치된 서버가 사용될 수 있다.Meanwhile, the analyzing
상기 컨텐츠 분류(content categorizing) 기능을 수행하는 분석 수단의 일 례로, 『SAS® Content Categorization』은 대용량의 데이터를 처리하고 수작업이 요구되는 과도한 태깅 작업을 생략함으로써 정보 구성 및 액세스의 속도와 효율성을 높일 수 있고, 고급 언어 및 자연 언어 처리 기법을 활용하여 30가지 이상의 언어의 품사를 인식 분석함으로써 다국어 데이터를 효과적으로 관리할 수 있다. As an example of an analysis means for performing a content categorizing function, "SAS® Content Categorization" increases the speed and efficiency of information organization and access by omitting a large amount of data and omitting an excessive tagging operation requiring manual operation And can manage multilingual data effectively by recognizing and analyzing parts of more than 30 languages using advanced language and natural language processing techniques.
상기 데이터 마이닝(data mining) 기능을 수행하는 분석 수단의 일 례로, 『SAS® Enterprise Miner』는 데이터 접근, 관리, 필터링 작업을 통합하여 분석하기 위한 데이터 준비 작업이 간편하고, 데이터의 품질을 향상시켜 모델링의 효율성을 높이고 결과 값에 대한 신뢰도를 향상시킬 수 있다. 또한, 멀티스레드 알고리즘, 멀티프로세싱 및 그리드 컴퓨팅을 지원하여 실행 시간을 단축하고 하드웨어 리소스를 효율적으로 사용할 수 있으며, 시장 바구니 분석, 의사결정 트리, 변화도 부스팅(Gradient Boosting), 신경망, 선형 및 로지스틱 회귀와 같은 고급 예측/기술 모델링 알고리즘을 제공할 수 있다.As an example of an analytical means for performing the data mining function, "SAS® Enterprise Miner" is a simple and easy data preparation task for analyzing and integrating data access, management, and filtering operations, The efficiency of modeling can be improved and the reliability of the resultant value can be improved. It also supports multithreaded algorithms, multiprocessing, and grid computing to shorten execution time and efficiently use hardware resources. It also includes market basket analysis, decision trees, Gradient Boosting, neural networks, linear and logistic regression Lt; RTI ID = 0.0 > predictive / descriptive < / RTI > modeling algorithms.
상기 텍스트 마이닝(text mining) 기능을 수행하는 분석 수단의 일 례로, 『SAS® Text Analytics』는 텍스트 기반 정보와 구조적 데이터를 통합하는 텍스트 마이닝 솔루션과, 복잡한 질의에 정확한 답변을 제공하는 예측 분석을 비롯하여 텍스트 문서에서 지식을 검색하고 추출하는 다양한 도구를 제공할 수 있고, 고급 통계 모델링, 자연어 처리 및 고급 언어 기술을 결합하여 대용량의 다국어 데이터를 신속하게 자동으로 분류하여 원문 콘텐츠에 숨겨져 있는 동향, 패턴 및 감정을 찾아낼 수 있다.
As an example of an analytical means of performing the text mining function, "SAS® Text Analytics" includes a text mining solution that integrates text-based information and structured data, a predictive analysis that provides accurate answers to complex queries, Provides a variety of tools for searching and extracting knowledge from text documents. It combines advanced statistical modeling, natural language processing, and high-level language technology to quickly and automatically categorize large amounts of multilingual data to create trends, patterns, and I can find emotions.
소셜Social
미디어 데이터 분석 방법 How to analyze media data
상기와 같은 목적을 달성하기 위해, 본 발명의 다른 일 측면은 상기 소셜 미디어 데이터 분석 시스템을 이용하는 것을 특징으로 하는, 소셜 미디어 데이터 분석 방법을 제공한다.In order to achieve the above object, another aspect of the present invention provides a method for analyzing social media data, which uses the social media data analysis system.
상기 소셜 미디어 데이터 분석 방법은, 데이터 스트림을 따라 전기적으로 연결된 수집 수단, 인덱싱 수단, 제1 인터페이스, 분석 수단, 및 데이터베이스를 포함하고, 상기 분석 수단으로부터의 상기 결과 값을 상기 데이터베이스로 전달하는 제2 인터페이스를 선택적으로 더 포함하는 소셜 미디어 데이터 분석 시스템을 이용하는 것을 특징으로 한다.Said social media data analysis method comprising: collecting means electrically connected along a data stream; indexing means; a first interface; means for analyzing; and a database, said second means for communicating said results from said analyzing means to said database And a social media data analysis system that optionally further includes an interface.
구체적으로, 상기 소셜 미디어 데이터 분석 방법은, (a) 소셜 미디어에 포함된 데이터를 수집하는 단계; (b) 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 단계; (c) 검색된 상기 대상 데이터를 필터링하는 단계; (d) 필터링된 상기 대상 데이터를 분석하여 결과 값을 도출하는 단계; 및 (e) 도출된 상기 결과 값을 저장하는 단계;를 포함할 수 있다.Specifically, the method for analyzing social media data comprises the steps of: (a) collecting data included in a social media; (b) assigning an index to the collected data, and searching for target data based on the index; (c) filtering the retrieved subject data; (d) analyzing the filtered subject data to derive a result value; And (e) storing the derived result values.
상기 (c) 단계에서 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거할 수 있다. 또한, 필터링된 상기 대상 데이터를 샘플링(sampling) 방식으로 축소할 수 있다. 이 때, 상기 샘플링 방식은 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다. 선택 가능한 상기 샘플링 방식의 종류와 샘플링 기준에 관하여는 전술한 것과 같다.In the step (c), the target data may be filtered based on a predetermined keyword, and the predetermined noise URL may be removed. In addition, the filtered target data may be reduced by a sampling method. In this case, the sampling method may be a random sampling method or a statistical sampling method. The selection of the sampling method and the sampling criterion are as described above.
또한, 상기 (d) 및 (e) 단계 사이에, 도출된 상기 결과 값을 샘플링(sampling) 방식으로 축소하는 단계를 더 포함할 수 있다. 상기 결과 값에 대한 샘플링 방식 또한 상기 (c) 단계에서와 유사한 개념으로 이해될 수 있다. 다만, 필요에 따라, 상기 (c) 단계와는 상이한 샘플링 방식을 이용할 수 있다. 구체적으로, 통계적 샘플링 기준이 상이할 수 있다. 예를 들어, 상기 (c) 단계에서 상기 대상 데이터를 축소하는 경우에 소셜 미디어의 유형별 비중에 대한 통계 값을 기준으로 하고, 상기 결과 값을 축소하는 경우에는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.The method may further include, between the steps (d) and (e), reducing the derived result values by a sampling method. The sampling method for the resultant value may also be understood as a concept similar to that in the step (c). However, if necessary, a sampling method different from the step (c) may be used. Specifically, the statistical sampling criteria may be different. For example, when the target data is reduced in the step (c), the statistical value of the specific weight of the social media is used as a reference, and when the result value is reduced, the weight of the media or site Value can be used as a reference.
그 외 상기 소셜 미디어 데이터 분석 시스템 및 이에 포함되는 각각의 구성에 관하여는 전술한 것과 같다.
The above-mentioned social media data analysis system and the respective configurations included therein are the same as described above.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
100 : 수집 수단
200 : 인덱싱 수단
210 : 제1 인덱싱 부
220 : 제2 인덱싱 부
300 : 제1 인터페이스
400 : 분석 수단
500 : 데이터베이스
600 : 제2 인터페이스100: collection means
200: indexing means
210: first indexing section
220: second indexing section
300: First interface
400: means of analysis
500: Database
600: Second interface
Claims (19)
수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단;
검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단;
도출된 상기 결과 값을 저장하는 데이터베이스;
상기 인덱싱 수단으로부터의 상기 대상 데이터를 필터링하고, 필터링된 상기 대상 데이터를 제1 샘플링(sampling) 방식으로 축소하고, 축소된 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스; 및
상기 분석 수단으로부터의 상기 결과 값을 제2 샘플링(sampling) 방식으로 축소하여 데이터 객체를 생성하고, 생성된 상기 데이터 객체를 상기 데이터베이스로 전달하는 제2 인터페이스를 포함하는, 소셜 미디어 데이터 분석 시스템.
Means for collecting data contained in the social media;
Indexing means for assigning an index to the collected data and searching for target data based on the index;
Analyzing means for analyzing the searched target data and deriving a result value;
A database for storing the derived result values;
A first interface for filtering the object data from the indexing means, reducing the filtered object data by a first sampling method, and transmitting the reduced object data to the analysis means; And
A second interface for generating a data object by reducing the resultant value from the analyzing means by a second sampling method and for transmitting the generated data object to the database.
상기 제1 인터페이스가, 상기 인덱싱 수단으로부터 수신한 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거하는, 소셜 미디어 데이터 분석 시스템.
The method according to claim 1,
Wherein the first interface filters the target data received from the indexing means on the basis of a predetermined keyword and removes a predetermined noise URL.
상기 제1 샘플링 방식 및 제2 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식으로 서로 상이한 것인, 소셜 미디어 데이터 분석 시스템.
The method according to claim 1,
Wherein the first sampling method and the second sampling method are different from each other by a random sampling method or a statistical sampling method.
상기 통계적 샘플링 방식이 상기 대상 데이터 및 상기 결과값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 하는, 소셜 미디어 데이터 분석 시스템.
5. The method of claim 4,
Wherein the statistical sampling method is based on a statistical value of the weight of the target data and the result value by type or influence.
상기 인덱싱 수단이,
수집된 상기 데이터를 기설정된 기준에 따라 제1 수집 데이터와 제2 수집 데이터로 분류하고,
상기 제1 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제1 인덱싱 부와, 상기 제2 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제2 인덱싱 부를 포함하는, 소셜 미디어 데이터 분석 시스템.
The method according to claim 1,
Wherein the indexing means comprises:
Classifying the collected data into first collected data and second collected data according to a predetermined criterion,
A first indexing unit for assigning an index to the first collection data and searching for target data based on the index; a second indexing unit for indexing the second collection data and searching for target data based on the index; Including, social media data analysis system.
상기 기설정된 기준이 상기 데이터의 수집 용량 또는 수집 기간인, 소셜 미디어 데이터 분석 시스템.
11. The method of claim 10,
Wherein the predetermined criterion is a collection capacity or collection period of the data.
(a) 소셜 미디어에 포함된 데이터를 수집하는 단계;
(b) 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 단계;
(c) 제1 인터페이스에서 검색된 상기 대상 데이터를 필터링하고, 필터링된 상기 대상 데이터를 제1 샘플링(sampling) 방식으로 축소하는 단계;
(d) 제1 샘플링(sampling) 방식으로 축소된 상기 대상 데이터를 분석하여 결과 값을 도출하고, 도출된 상기 결과 값을 제2 인터페이스에서 제2 샘플링(sampling) 방식으로 축소하는 단계; 및
(e) 제2 샘플링(sampling) 방식으로 축소된 상기 결과 값을 저장하는 단계;를 포함하는, 소셜 미디어 데이터 분석 방법.
A method for analyzing social media data in a social media data analysis system,
(a) collecting data contained in a social media;
(b) assigning an index to the collected data, and searching for target data based on the index;
(c) filtering the object data retrieved from the first interface and reducing the filtered object data by a first sampling method;
(d) analyzing the object data reduced by the first sampling method to derive a result value, and reducing the derived result value from a second interface to a second sampling method; And
(e) storing the resultant reduced in a second sampling manner.
상기 (c) 단계에서 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거하는, 소셜 미디어 데이터 분석 방법.
13. The method of claim 12,
Wherein the step (c) includes filtering the target data based on a predetermined keyword, and removing a predetermined noise URL.
상기 제1 샘플링 방식 및 제2 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식으로 서로 상이한 것인, 소셜 미디어 데이터 분석 방법.
13. The method of claim 12,
Wherein the first sampling method and the second sampling method are different from each other by a random sampling method or a statistical sampling method.
상기 통계적 샘플링 방식이 상기 대상 데이터 및 상기 결과값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 하는, 소셜 미디어 데이터 분석 방법.16. The method of claim 15,
Wherein the statistical sampling method is based on a statistical value of the weight of the target data and the result value by type or influence.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150008863A KR101718599B1 (en) | 2015-01-19 | 2015-01-19 | System for analyzing social media data and method for analyzing social media data using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150008863A KR101718599B1 (en) | 2015-01-19 | 2015-01-19 | System for analyzing social media data and method for analyzing social media data using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160089198A KR20160089198A (en) | 2016-07-27 |
| KR101718599B1 true KR101718599B1 (en) | 2017-03-21 |
Family
ID=56617094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150008863A KR101718599B1 (en) | 2015-01-19 | 2015-01-19 | System for analyzing social media data and method for analyzing social media data using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101718599B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101986674B1 (en) * | 2017-08-31 | 2019-09-30 | (주)코머신 | Method for forecasting machine industry trend based on search frequency and system thereof |
| KR102088285B1 (en) * | 2017-10-12 | 2020-03-12 | 에스케이텔레콤 주식회사 | Method and device for collecting log based on rule |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100937329B1 (en) * | 2007-11-15 | 2010-01-18 | 주식회사 케이티 | Method and system for sampling log |
| KR20090078464A (en) * | 2008-01-15 | 2009-07-20 | 주식회사 시맨틱스 | Personalized search system and method using semantic and ontology |
| KR20140131327A (en) * | 2012-01-23 | 2014-11-12 | 무 시그마 비지니스 솔루션스 피브이티 엘티디 | Social media data analysis system and method |
-
2015
- 2015-01-19 KR KR1020150008863A patent/KR101718599B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160089198A (en) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577588B (en) | Intelligent operation and maintenance system for mass log data | |
| CN102831220B (en) | Subject-oriented customized news information extraction system | |
| US10565233B2 (en) | Suffix tree similarity measure for document clustering | |
| CN104899314B (en) | A kind of parentage analysis method and apparatus of data warehouse | |
| KR20160075971A (en) | Big data management system for public complaints services | |
| CN109582551A (en) | Daily record data analytic method, device, computer equipment and storage medium | |
| van Altena et al. | Understanding big data themes from scientific biomedical literature through topic modeling | |
| US10127617B2 (en) | System for analyzing social media data and method of analyzing social media data using the same | |
| CN106055546A (en) | Optical disk library full-text retrieval system based on Lucene | |
| US9563666B2 (en) | Unsupervised detection and categorization of word clusters in text data | |
| Mehta et al. | DOM tree based approach for web content extraction | |
| Jain et al. | A review of unstructured data analysis and parsing methods | |
| KR101532252B1 (en) | The system for collecting and analyzing of information of social network | |
| KR101718599B1 (en) | System for analyzing social media data and method for analyzing social media data using the same | |
| Zarrad et al. | The evaluation of the public opinion-a case study: Mers-cov infection virus in ksa | |
| KR101665649B1 (en) | System for analyzing social media data and method for analyzing social media data using the same | |
| Aliakbary et al. | Web page classification using social tags | |
| KR102025813B1 (en) | Device and method for chronological big data curation system | |
| CN110825792A (en) | High-concurrency distributed data retrieval method based on golang middleware coroutine mode | |
| Homocianu et al. | An Analysis of Scientific Publications on'Decision Support Systems' and'Business Intelligence'Regarding Related Concepts Using Natural Language Processing Tools | |
| KR20090033150A (en) | Ontology based index method and search engine using the same | |
| KR20210060830A (en) | Big data intelligent collecting method and device | |
| KR20200000208A (en) | Social data collection analysis system and method | |
| CN115132366A (en) | Multi-source data processing method and system based on health and medical big data standard library | |
| CN109543093A (en) | A kind of integral intelligent information assistant's platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 4 |