KR20210108323A - Computing device providing data analysis platform and data analysis method, computer program and computer-readable recording medium based on open big-data warehouse and visual programming language - Google Patents
Computing device providing data analysis platform and data analysis method, computer program and computer-readable recording medium based on open big-data warehouse and visual programming language Download PDFInfo
- Publication number
- KR20210108323A KR20210108323A KR1020210023301A KR20210023301A KR20210108323A KR 20210108323 A KR20210108323 A KR 20210108323A KR 1020210023301 A KR1020210023301 A KR 1020210023301A KR 20210023301 A KR20210023301 A KR 20210023301A KR 20210108323 A KR20210108323 A KR 20210108323A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- analysis
- data analysis
- storage unit
- technique
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000007405 data analysis Methods 0.000 title claims abstract description 103
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 47
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 238000013500 data storage Methods 0.000 claims description 32
- 238000007794 visualization technique Methods 0.000 claims description 21
- 238000013079 data visualisation Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 abstract description 13
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법에 관한 것으로서, 보다 상세하게는 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 적절한 방법 또는 수단을 추천하여 사용자 접근성을 향상시킬 수 있는 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법에 관한 것이다. The present invention relates to a computing device and a data analysis method that provide an open big data warehouse and a data analysis platform based on a visual programming language, and more particularly, to each step necessary for big data analysis, for example, collection, pre-processing, and analysis. It relates to a computing device and data analysis method that provide an open big data warehouse and a data analysis platform based on a visual programming language that can improve user accessibility by recommending appropriate methods or means in the , and visualization steps.
광의의 빅 데이터(big-data)란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(예를 들어, 수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 말한다. Big-data in a broad sense refers to extracting value from data, including unstructured data sets that are not in the form of a large (for example, tens of terabytes), structured or even non-database data that exceed the capabilities of existing database management tools, and extracts the results. analysis skills.
협의의 빅 데이터는 디지털 환경에서 생성되는 데이터 그 자체로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. Big data in the narrow sense refers to large-scale data that is large in scale, has a short generation cycle, and includes not only numerical data but also text and image data in the form of data generated in a digital environment.
다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅 데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석 가능케 하며 과거에는 불가능했던 기술을 실현시키기도 한다. The development of big data technology, which is characterized by the generation, collection, analysis, and expression of various types of large-scale data, more accurately predicts the diversified modern society, makes it work efficiently, and provides customized information for each individualized modern society member; It enables management, analysis, and enables technology that was previously impossible to be realized.
이와 같이 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다. As such, big data presents the possibility of providing valuable information to society and mankind in all areas such as politics, society, economy, culture, and science and technology, and its importance is being highlighted.
하지만, 많은 오픈 데이터가 공개되고 있지만, 예를 들어, 빅데이터 분석에 노련하지 않은 사용자가 실제 사용하고자 하는 경우에는 데이터 수집부터 전처리, 분석까지 각 단계별로 여러가지 어려움이 존재한다. 다시 말하면, 빅데이터 분석에 노련하지 않은 사용자와 같은 비전문가의 경우에는 개인 데이터를 처리할 때, 어떠한 오픈 데이터와 함께 어떠한 분석 기법을 사용하여 이떻게 시각화 해야 할지에 대한 사전 지식이 없는 경우가 많다. However, although a lot of open data is being released, for example, when a user who is not experienced in big data analysis wants to use it, there are various difficulties at each stage from data collection to pre-processing and analysis. In other words, in the case of non-experts such as users who are not experienced in big data analysis, when processing personal data, there are often no prior knowledge about which open data and which analysis technique to use and how to visualize it.
이러한 어려움에 대해서는, 종래 기술에 따른 데이터 분석 방법의 흐름도를 보여주는 도 1을 참조하여 살펴본다. These difficulties will be described with reference to FIG. 1 showing a flowchart of a data analysis method according to the prior art.
먼저, 사용자가 빅데이터 분석 결과를 필요로 하는 순간, 데이터 분석에 이용할 수 있는 데이터를 가지고 있는지 (또는 접근가능한지) 조사하고(S100), 가지고 있지 않다면 (또는 접근가능하지 않다면) 데이터를 수집한다(S150). First, at the moment when a user needs a big data analysis result, it is investigated whether it has (or is accessible) data that can be used for data analysis (S100), and if it does not have it (or is not accessible), data is collected ( S150).
다음으로, 이렇게 수집된 데이터가 분석에 적합한 형태를 가지도록 전처리 되어 있는지 조사하고(S200), 전처리 되어 있지 않다면 전처리를 수행한다(S250). Next, it is checked whether the collected data has been pre-processed to have a form suitable for analysis (S200), and if not, pre-processing is performed (S250).
이후에, 데이터를 분석할 방법을 가지고 있는지 조사하고(S300), 가지고 있지 않다면 어떠한 데이터 분석 방법이 있는지 조사하고 및/또는 결정한다(S350). Thereafter, it is investigated whether there is a method for analyzing data (S300), and if not, it is investigated and/or determined whether there is a method for analyzing data (S350).
이렇게 결정된 데이터 분석 방법에 의해 데이터 분석이 진행되고(S400), 분석된 결과를 사용자가 해석할 수 있는지 여부에 따라서(S500), 전문가 자문이 필요할 수도 있다(S550). 이와 유사하게, 분석된 결과를 사용자에게 시각화해서 보여줄 수 있는 적절한 시각화 기법이 있는지 여부에 따라서(S600), 전문가 자문이 필요할 수도 있다(S650). Data analysis is performed by the data analysis method determined in this way (S400), and depending on whether the user can interpret the analyzed results (S500), expert advice may be required (S550). Similarly, depending on whether there is an appropriate visualization technique that can visualize and show the analyzed result to the user (S600), expert advice may be required (S650).
마지막으로, 상기의 단계들에서 수집, 전처리, 분석된, 사용자가 원하는 데이터 분석 결과가 시각화되어 보여지게 된다(S700). Finally, the data analysis result that the user wants, collected, pre-processed, and analyzed in the above steps, is visualized and shown (S700).
이와 같이, 종래 기술에 따른 데이터 분석 방법에서는, 수집, 전처리, 분석 및 시각화 등의 매 단계마다 적절한 방법 또는 수단을 구비하고 있지 않은 경우에 있어서는, 예를 들어 빅데이터 분석에 노련하지 않은 사용자는 다음 단계로 진행하는 것에 많은 어려움이 있을 수 있다.As described above, in the data analysis method according to the prior art, if an appropriate method or means is not provided for every step such as collection, pre-processing, analysis and visualization, for example, a user who is not experienced in big data analysis is There can be many difficulties in going through the steps.
이로써, 본 발명의 목적은 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 발생하는 어려움을 해결할 수 있는, 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법을 제공하는 데 있다. Accordingly, an object of the present invention is to analyze data based on an open big data warehouse and a visual programming language, which can solve the difficulties that occur in each step necessary for such big data analysis, for example, in the collection, pre-processing, analysis, and visualization steps, etc. An object of the present invention is to provide a computing device that provides a platform and a data analysis method.
본 발명의 다른 목적은 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 적절한 방법 또는 수단을 추천하여 사용자 접근성을 향상시킬 수 있는, 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법을 제공하는 데 있다. Another object of the present invention is an open big data warehouse and visual that can improve user accessibility by recommending appropriate methods or means in each step necessary for such big data analysis, for example, collection, preprocessing, analysis, and visualization steps, etc. An object of the present invention is to provide a computing device that provides a data analysis platform based on a programming language and a data analysis method.
본 발명의 또 다른 목적은 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 비주얼 프로그래밍 언어를 이용하여 사용자 조작 편의성을 향상시킬 수 있는, 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼 및 데이터 분석 방법을 제공하는 데 있다. Another object of the present invention is an open big data warehouse and It is to provide a data analysis platform and data analysis method based on a visual programming language.
본 발명의 또 다른 목적은 개인 데이터를 오픈 데이터로 이전하여 다른 사용자와 공유함으로써 데이터의 정확도를 향상시킬 수 있는, 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법을 제공하는 데 있다. Another object of the present invention is to provide a data analysis platform based on an open big data warehouse and a visual programming language that can improve the accuracy of data by transferring personal data to open data and sharing it with other users, and data It is intended to provide an analysis method.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적은, 본 발명의 제1 측면에 따라, The object is, according to a first aspect of the present invention,
오픈 데이터를 저장하고 있는 빅데이터 저장부; a big data storage unit for storing open data;
사용자가 보유한 개인 데이터를 저장하고 있는 개인데이터 저장부; 및a personal data storage unit for storing personal data held by the user; and
상기 빅데이터 저장부에 저장된 오픈 데이터를 이용해 상기 개인데이터 저장부에 저장된 개인 데이터에 대한 데이터 분석을 하는 빅데이터 분석 모듈을 포함하고, 상기 빅데이터 분석 모듈은, a big data analysis module for data analysis on the personal data stored in the personal data storage unit using the open data stored in the big data storage unit, wherein the big data analysis module comprises:
상기 사용자가 선택한 전처리 기법에 따라, 상기 빅데이터 저장부에 저장될 상기 오픈 데이터 및 상기 개인데이터 저장부에 저장될 개인 데이터를 선가공하는 데이터 전처리부; a data preprocessing unit pre-processing the open data to be stored in the big data storage unit and personal data to be stored in the personal data storage unit according to the preprocessing technique selected by the user;
상기 사용자가 선택한 분석 기법에 따라, 상기 개인 데이터를 분석하는 데이터 분석부; 및a data analysis unit that analyzes the personal data according to the analysis technique selected by the user; and
상기 사용자가 선택한 시각화 기법에 따라, 상기 개인 데이터를 시각화하는 데이터 시각화부를 더 포함하는, According to the visualization technique selected by the user, further comprising a data visualization unit to visualize the personal data,
데이터 분석 플랫폼을 제공하는 컴퓨팅 장치에 의해 달성된다. This is accomplished by a computing device that provides a data analysis platform.
이때, 상기 개인데이터 저장부 내의 개인 데이터를 상기 빅데이터 저장부로 이전하여 다른 사용자들과 상기 개인 데이터를 공유할 수 있다. In this case, the personal data in the personal data storage unit may be transferred to the big data storage unit to share the personal data with other users.
또한, 상기 빅데이터 분석 모듈은, In addition, the big data analysis module,
적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법을 추천하는 기법 추천부를 더 포함하고, It further comprises a technique recommendation unit that recommends at least one or more pre-processing techniques, at least one analysis technique, and at least one or more visualization techniques,
상기 전처리 기법, 상기 분석 기법, 및 상기 시각화 기법의 선택은, 비주얼 프로그래밍 언어에 기반하여, 추천된 적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법 중 드래그 앤드 드롭 방식으로 실행되는 것이 바람직하다. The selection of the pre-processing technique, the analysis technique, and the visualization technique is performed in a drag-and-drop manner among at least one or more pre-processing techniques, at least one analysis technique, and at least one visualization technique recommended based on a visual programming language It is preferable to be
상기 목적은, 본 발명의 제2 측면에 따라,The object is, according to a second aspect of the present invention,
오픈 데이터를 저장하고 있는 빅데이터 저장부를 마련하는 단계; providing a big data storage unit storing open data;
사용자가 보유한 개인 데이터를 저장하고 있는 개인데이터 저장부를 마련하는 단계; 및providing a personal data storage unit for storing personal data held by the user; and
상기 빅데이터 저장부에 저장된 오픈 데이터를 이용해 상기 개인데이터 저장부에 저장된 개인 데이터에 대한 데이터 분석을 하는 빅데이터 분석 단계를 포함하고, 상기 빅데이터 분석 단계는, a big data analysis step of analyzing data on personal data stored in the personal data storage unit using the open data stored in the big data storage unit, wherein the big data analysis step comprises:
상기 사용자가 선택한 전처리 기법에 따라, 상기 빅데이터 저장부에 저장될 상기 오픈 데이터 및 상기 개인데이터 저장부에 저장될 개인 데이터를 선가공하는 단계; pre-processing the open data to be stored in the big data storage unit and personal data to be stored in the personal data storage unit according to the pre-processing technique selected by the user;
상기 사용자가 선택한 분석 기법에 따라, 상기 개인 데이터를 분석하는 단계; 및analyzing the personal data according to the analysis technique selected by the user; and
상기 사용자가 선택한 시각화 기법에 따라, 상기 개인 데이터를 시각화하는 단계를 더 포함하는, According to the visualization technique selected by the user, further comprising the step of visualizing the personal data,
데이터 분석 플랫폼을 제공하는 컴퓨팅 장치에서 실행되는 데이터 분석 방법에 의해 달성된다. This is achieved by a data analysis method executed on a computing device that provides a data analysis platform.
이때, 상기 개인데이터 저장부 내의 개인 데이터를 상기 빅데이터 저장부로 이전하여 다른 사용자들과 상기 개인 데이터를 공유할 수 있다. In this case, the personal data in the personal data storage unit may be transferred to the big data storage unit to share the personal data with other users.
또한, 상기 빅데이터 분석 단계는, In addition, the big data analysis step,
적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법을 추천하는 단계를 더 포함하고, The method further comprises recommending at least one or more pre-processing techniques, at least one analysis technique, and at least one or more visualization techniques,
상기 전처리 기법, 상기 분석 기법, 및 상기 시각화 기법의 선택은, 비주얼 프로그래밍 언어에 기반하여, 추천된 적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법 중 드래그 앤드 드롭 방식으로 실행되는 것이 바람직하다. The selection of the pre-processing technique, the analysis technique, and the visualization technique is performed in a drag-and-drop manner among at least one or more pre-processing techniques, at least one analysis technique, and at least one visualization technique recommended based on a visual programming language It is preferable to be
또한 상기 목적은, 본 발명의 제3 측면에 따라, In addition, according to the third aspect of the present invention,
상기의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체에 의해 달성된다. It is achieved by a computer-readable recording medium recording a program for performing the above method.
나아가, 상기 목적은, 본 발명의 제4 측면에 따라,Furthermore, according to the fourth aspect of the present invention,
상기의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램에 의해 달성된다.It is achieved by a computer program stored in a medium for executing the above method through combination with hardware.
상기한 바와 같은 본 발명의 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법에 따르면 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 발생하는 어려움을 해결할 수 있는 장점이 있다. According to the computing device and data analysis method that provides the open big data warehouse and the data analysis platform based on the visual programming language of the present invention as described above, each step required for such big data analysis, for example, collection, preprocessing, analysis, And there is an advantage that can solve the difficulties that occur in the visualization stage, etc.
또한 본 발명의 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법에 따르면 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 적절한 방법 또는 수단을 추천하여 사용자 접근성을 향상시킬 수 있는 장점이 있다. In addition, according to the computing device and data analysis method providing an open big data warehouse and a data analysis platform based on a visual programming language of the present invention, each step necessary for such big data analysis, for example, collection, pre-processing, analysis, and visualization steps There is an advantage in that user accessibility can be improved by recommending an appropriate method or means, etc.
또한 본 발명의 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법에 따르면 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 비주얼 프로그래밍 언어를 이용하여 사용자 조작 편의성을 향상시킬 수 있는 장점이 있다. In addition, according to the computing device and data analysis method providing an open big data warehouse and a data analysis platform based on a visual programming language of the present invention, each step necessary for such big data analysis, for example, collection, pre-processing, analysis, and visualization steps There is an advantage in that user operation convenience can be improved by using a visual programming language, etc.
또한 본 발명의 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼을 제공하는 컴퓨팅 장치 및 데이터 분석 방법에 따르면 개인 데이터를 오픈 데이터로 이전하여 다른 사용자와 공유함으로써 데이터의 정확도를 향상시킬 수 있는 장점이 있다.In addition, according to the computing device and data analysis method providing an open big data warehouse and a data analysis platform based on a visual programming language of the present invention, it is possible to improve the accuracy of data by transferring personal data to open data and sharing it with other users. There are advantages.
도 1은 종래 기술에 따른 데이터 분석 방법의 흐름도이다.
도 2는 본 발명에 따른 데이터 분석 방법의 흐름도이다.
도 3은 본 발명에 따른 데이터 분석 방법의 적용 예를 보여주는 도면이다.
도 4는 본 발명에 따른 데이터 분석 방법의 적용 예를 보여주는 도면이다. 1 is a flowchart of a data analysis method according to the prior art.
2 is a flowchart of a data analysis method according to the present invention.
3 is a view showing an application example of the data analysis method according to the present invention.
4 is a view showing an application example of the data analysis method according to the present invention.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the exemplary embodiments. The same reference numerals provided in the respective drawings indicate members that perform substantially the same functions.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
도 2는 본 발명에 따른 데이터 분석 방법의 흐름도이다. 2 is a flowchart of a data analysis method according to the present invention.
도 2를 참조하면, 먼저, 사용자가 빅데이터 분석 결과를 필요로 하는 순간, 데이터 분석에 이용할 수 있는 데이터를 가지고 있는지 (또는 접근가능한지) 조사하고(S100'), 가지고 있지 않다면 (또는 접근가능하지 않다면) 사용자의 의도에 적합할 수 있는 적절한 오픈 데이터를 추천한다(S150'). Referring to FIG. 2 , first, when a user needs a big data analysis result, it is investigated whether the user has (or is accessible) data available for data analysis (S100'), and if it does not have it (or is not accessible) If not), appropriate open data that can be suitable for the user's intention is recommended (S150').
다음으로, 이러한 데이터가 분석에 적합한 형태를 가지도록 전처리 되어 있는지 조사하고(S200'), 전처리 되어 있지 않다면 사용자의 의도에 적합할 수 있는 적절한 전처리 기법을 추천한다(S250'). Next, it is investigated whether such data has been pre-processed to have a form suitable for analysis (S200'), and if not, an appropriate pre-processing technique that can be suitable for the user's intention is recommended (S250').
이후에, 데이터를 분석할 방법을 가지고 있는지 조사하고(S300'), 가지고 있지 않다면 사용자의 의도에 적합할 수 있는 적절한 데이터 분석 방법을 추천한다(S350'). Thereafter, it is investigated whether there is a method for analyzing data (S300'), and if not, an appropriate data analysis method that can be suitable for the user's intention is recommended (S350').
이렇게 결정된 데이터 분석 방법에 의해 데이터 분석이 진행되고(S400'), 분석된 결과를 사용자에게 시각화해서 보여줄 수 있는 적절한 시각화 기법이 있는지 여부에 따라서(S600'), 사용자의 의도에 적합할 수 있는 적절한 시각화 기법을 추천한다(S650'). Data analysis is performed by the data analysis method determined in this way (S400'), and depending on whether there is an appropriate visualization technique that can visualize and show the analyzed result to the user (S600'), an appropriate A visualization technique is recommended (S650').
이때, 사용자의 선택에 제공되는 오픈 데이터 추천(S150'), 데이터 전처리 추천(S250'), 분석 기법 추천(S350'), 및/또는 시각화 기법 추천(S650')은, 순차적으로 또는 적어도 일부에 대해서 동시에 진행될 수 있다. 물론, 이에 대한 사용자의 선택도 순차적으로 또는 적어도 일부에 대해서는 동시에 진행될 수 있다. At this time, the open data recommendation (S150'), the data preprocessing recommendation (S250'), the analysis technique recommendation (S350'), and/or the visualization technique recommendation (S650') provided to the user's selection are sequentially or at least in part. can be carried out at the same time. Of course, the user's selection for this may also be performed sequentially or at least partially simultaneously.
마지막으로, 상기의 단계들에서 수집, 전처리, 분석된, 사용자가 원하는 데이터 분석 결과가 시각화되어 보여지게 된다(S700'). Finally, the data analysis result that the user wants, collected, pre-processed, and analyzed in the above steps, is visualized and shown (S700').
이와 같이, 본 발명에 따른 데이터 분석 방법에서는, 수집, 전처리, 분석 및 시각화 등의 매 단계마다 적절한 방법 또는 수단을 구비하고 있지 않은 경우에 있어서는, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 사용자의 의도에 적합할 수 있는 적절한 방법 또는 수단을 추천하여 사용자의 접근성을 향상시킬 수 있다. As such, in the data analysis method according to the present invention, if an appropriate method or means is not provided for every step such as collection, pre-processing, analysis and visualization, for example, in the collection, pre-processing, analysis, and visualization steps, etc. The user's accessibility can be improved by recommending an appropriate method or means suitable for the user's intention.
이러한 추천은 AI에 기반한 추천일 수 있다. Such a recommendation may be an AI-based recommendation.
AI, 즉 인공지능(artificial intelligence 혹은 machine intelligence)은 인간의 지능이 갖고 있는 기능을 갖춘 컴퓨터 시스템이며, 인간의 지능을 기계 등에 인공적으로 시연(구현)한 것이다. 일반적으로 범용 컴퓨터에 적용한다고 가정한다. 이 용어는 또한 그와 같은 지능을 만들 수 있는 방법론이나 실현 가능성 등을 연구하는 과학 분야를 지칭하기도 한다. 이는, 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 인공지능이라고 말하고 있다.AI, that is, artificial intelligence (or machine intelligence) is a computer system with the functions of human intelligence, and artificially demonstrated (implemented) human intelligence on machines. In general, it is assumed to be applied to general-purpose computers. The term also refers to the field of science that studies the methodology or feasibility of creating such intelligence. It is a field of computer science and information technology that studies how computers can do the thinking, learning, and self-development that can be done by human intelligence. It's called artificial intelligence.
또한 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다. Also, artificial intelligence does not exist by itself, but is directly or indirectly related to other fields of computer science. In particular, in modern times, attempts are being made to introduce artificial intelligence elements in various fields of information technology and use them to solve problems in that field.
또한, 이러한 추천은 비주얼 프로그래밍 언어를 이용해 시각화될 수 있다. Additionally, these recommendations may be visualized using a visual programming language.
컴퓨팅에서 비주얼 프로그래밍 언어(visual programming language, VPL) 또는 시각 프로그래밍 언어는 사용자가 텍스트로 지정하는 대신 그래픽적으로 프로그램 요소를 조작하여 프로그램을 개발할 수 있게 하는 모든 종류의 프로그래밍 언어를 일컫는다. VPL은 프로그래밍에 시각적 표현식, 텍스트와 그래픽 심볼의 공간적 배치를 허용하며 통사론적 요소나 세컨더리 노테이션 요소로 이용이 가능하다. 예를 들면 수많은 VPL(데이터플로 또는 다이어그램 방식의 프로그래밍)은 상자 또는 화살표 개념에 기반을 두며 여기서 상자나 다른 화면 객체들은 엔티티로 취급하며 화살표, 선, 아치 모양을 통해 연결되어 관계를 표현한다. In computing, a visual programming language (VPL) or visual programming language refers to any kind of programming language that allows users to develop programs by graphically manipulating program elements instead of specifying them as text. The VPL allows programming visual expressions, spatial placement of text and graphic symbols, and can be used as a syntactic element or a secondary notation element. For example, many VPLs (dataflow or diagrammatic programming) are based on the concept of boxes or arrows, where boxes and other screen objects are treated as entities and connected through arrows, lines, and arches to express relationships.
이러한 비주얼 프로그래밍 언어의 예들은, 앱 인벤터, 이토이즈(Etoys), 코조, 엠블록(mBlock), 랩터, 스크래치 등을 포함한다. Examples of such visual programming languages include App Inventor, Etoys, Kojo, mBlock, Raptor, Scratch, and the like.
여기서, 앱 인벤터(App Inventor for Android)는 원래 구글이 제공한 오픈 소스 웹 애플리케이션으로, 지금은 매사추세츠 공과대학교(MIT)에 의해 관리되고 있다. 컴퓨터 프로그래밍을 처음 접하는 사람들이 안드로이드 운영 체제용 응용 소프트웨어를 만들 수 있게 해준다. 스크래치와 스타로고 TNG 사용자 인터페이스와 매우 비슷한 그래픽 인터페이스를 사용하므로 사용자들이 시각 객체들을 드래그 앤드 드롭하여 안드로이드 장치에서 실행할 응용 프로그램들을 만들 수 있다. Here, App Inventor for Android is an open source web application originally provided by Google, and is now maintained by the Massachusetts Institute of Technology (MIT). It allows people new to computer programming to create application software for the Android operating system. It uses a graphical interface very similar to the Scratch and StarLogo TNG user interfaces, allowing users to drag and drop visual objects to create applications that will run on Android devices.
스크래치(Scratch)는 아이들에게 그래픽 환경을 통해 컴퓨터 코딩에 관한 경험을 쌓게 하기 위한 목적으로 설계된 교육용 프로그래밍 언어 및 환경으로서, 스퀵을 기반으로 스몰토크라는 언어로 작성되었다. 코딩을 주로하는 C++,C#, 비주얼 베이직 등과 달리 블록을 끌어당겨 탑을 쌓는 것처럼 코딩을 하기 때문에 프로그래밍을 처음 해보는 입문자들에게 권하는 프로그래밍 언어로, 비전문가의 경우 손쉽게 빅데이터 분석을 진행할 수 있다. Scratch is an educational programming language and environment designed for the purpose of giving children experience about computer coding through a graphical environment. It was written in Smalltalk based on Squeak. Unlike C++, C#, and Visual Basic, which mainly code, it is a programming language recommended for beginners who are new to programming because it is coding as if building a tower by pulling blocks.
이렇게 비주얼 프로그래밍 언어를 이용해 시각화되어 보여지는 추천은, 예를 들어, 수집, 전처리, 분석, 및 시각화 단계 등에서 하나 또는 그 이상이 추천되는 경우에 있어서는, 드래그 앤 드롭 방식으로 사용자의 의도에 적합할 수 있는 적절한 방법 또는 수단이 선택될 수 있다. The recommendations visualized using such a visual programming language may be suitable for the user's intention in a drag-and-drop manner, for example, in the case of one or more recommendations in the collection, pre-processing, analysis, and visualization steps. Any suitable method or means may be selected.
여기서, 드래그 앤드 드롭(Drag-and-drop, 끌어서 놓기)은 컴퓨터 그래픽 사용자 인터페이스 환경에서 시각적인 객체를 클릭하면서 다른 위치나 다른 가상 객체로 드래그하는 행위이다. 수많은 종류의 동작을 일으킬 수 있으며, 두 추상적 대상 사이에 다양한 종류의 연결을 만들 수 있다. Here, drag-and-drop (Drag-and-drop) is an act of dragging a visual object to another location or to another virtual object while clicking a visual object in a computer graphic user interface environment. It can cause many kinds of behavior, and can make different kinds of connections between two abstract objects.
물론, 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계에서 사용자의 의도에 적합할 수 있는 적절한 방법 또는 수단의 추천 및 선택은, 빅 데이터 분석이 진행되기 전에 일괄로, 또는 진행되는 과정에 따라 순차적으로, 또는 사용자의 필요에 따라 사전에 또는 진행과 동시에, 선택될 수 있다. 이로써, 사용자 편의성을 향상시킬 수 있게 된다. Of course, in each step necessary for big data analysis, for example, in the collection, pre-processing, analysis, and visualization steps, the recommendation and selection of an appropriate method or means that may be suitable for the user's intention is performed in a batch before the big data analysis proceeds. , or sequentially according to the process being performed, or may be selected in advance or simultaneously with the process according to the user's needs. Accordingly, it is possible to improve user convenience.
도 3은 본 발명에 따른 데이터 분석 플랫폼의 구성도이다. 3 is a block diagram of a data analysis platform according to the present invention.
도 3을 참조하면, 본 발명에 따른 데이터 분석 플랫폼(1)은, 필수적으로 오픈 빅데이터 웨어하우스(40) 및 빅데이터 분석 모듈(20)로 구성된다. Referring to FIG. 3 , the
오픈 빅데이터 웨어하우스(40)는, 기존에 전세계에 산재되어 있는 오픈 데이터(4)를 한 곳에 모아서 사전에 전처리 등의 절차를 수행한 후(도면의 절차 ④ 참조) 구축된 데이터 웨어하우스를 지칭한다. The open
여기서, 데이터 웨어하우스(data warehouse)란 일반적으로 사용자의 의사 결정에 도움을 주기 위하여, 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말한다. 줄여서 DW로도 불린다. Here, the data warehouse generally refers to a database that converts and manages the data accumulated in the database of the backbone system into a common format in order to help users make decisions. Also called DW for short.
이와 같은 오픈 빅데이터 웨어하우스(40)는, 실제 사용자가 자신이 가지고 있는 데이터, 즉 개인 데이터(30)와 오픈 데이터(4), 또는 다양한 오픈 데이터를 조합해서 빅데이터 분석을 수행할 때(도면의 절차 ② 참조), 데이터를 수집하고 전처리하는 과정을 생략 또는 간편하게 해준다. Such an open
개인이 보유한 개인 데이터(30)는, 후술할 빅데이터 분석 모듈(20)에 의해 전처리, 분석, 및/또는 시각화되어 저장될 수 있다. The
개인 데이터의 경우는 사용자들이 업로드하는 데이터로서 기본적으로는 업로드한 개인에게만 국한되어 사용된다. 하지만, 본 발명에 따르면, 사용자의 동의하에 오픈 빅데이터 웨어하우스(40)로 이전하여, 다양한 사용자와 해당 데이터를 공유할 수 있다(도면의 절차 ⑤ 참조). 이러한 공유를 통해, 결함있는 데이터들은 본 발명에 따라 예를 들어 클라우드 소싱을 통해 공개되고 정확하게 보정될 수 있게 된다. In the case of personal data, it is data uploaded by users and is basically used only for the uploaded individual. However, according to the present invention, by transferring to the open
빅데이터 분석 모듈(20)은 필수적으로 사용자의 의도에 적합한 적절한 형태로 데이터를 선가공하는 기능을 하는 데이터 전처리(21), 사용자의 의도에 적합한 적절한 형태로 데이터를 분석하는 기능을 하는 데이터 분석(22), 사용자의 의도에 적합한 적절한 형태로 데이터를 시각화하는 기능을 하는 데이터 시각화(23) 서브 모듈들을 포함할 수 있다. The big
상기에서 이미 설명된 바와 같은, 사용자의 선택에 제공되는 오픈 데이터 추천(S150'), 데이터 전처리 추천(S250'), 분석 기법 추천(S350'), 및/또는 시각화 기법 추천(S650')은, 빅데이터 분석 모듈(20)에 존재하는 서브 모듈인, 기법 추천(미도시)에 의해 실행되거나 또는 각각의 서브 모듈들, 즉 오픈 데이터(미도시), 데이터 전처리(21), 데이터 분석(22), 및/또는 데이터 시각화(23)에 의해, 비주얼 프로그래밍 언어에 기반하여, 실행될 수 있다. As already described above, the open data recommendation (S150'), the data preprocessing recommendation (S250'), the analysis technique recommendation (S350'), and/or the visualization technique recommendation (S650') provided to the user's selection are, A sub-module existing in the big
물론, 이러한 추천에 대한 사용자(10)의 선택은, 예를 들어, 데이터 전처리 기법의 선택은, 도면의 절차 ①과 같이, 대응하는 서브 모듈에 전달되어 실행될 수 있다. Of course, the selection of the
특히 데이터 시각화 기법에 대한 추천 및 선택으로(도면의 절차 ③ 참조), 데이터는 데이터 시각화(23) 서브 모듈에 의해 시각화된다(도면의 절차 ⑥ 참조). In particular, with the recommendation and selection of data visualization techniques (refer to
도 4는 본 발명에 따른 데이터 분석 방법의 적용 예를 보여주는 도면이다. 4 is a view showing an application example of the data analysis method according to the present invention.
도 4를 참조하면, 사용자가 빅 데이터 분석 기법을 이용해 개인이 보유하고 있는 데이터인 수확량 및 매출액을 분석하고자 하는 경우에 있어서, 온도, 인구 등을 포함하는 오픈 데이터를 전처리하여 오픈 빅데이터 웨어하우스(40')에 저장한다. 개인이 보유하고 있는 데이터인 수확량, 및 매출액도 전처리되어 개인 데이터 웨어하우스(30')에 저장된다. 물론, 이때 사용자가 분석에 이용하거나 분석하고자 하는 온도, 수확량, 매출액 등은 드래그 앤드 드롭 방식으로 선택될 수 있음을 알 수 있다. Referring to FIG. 4 , when a user wants to analyze harvest and sales, which are data owned by an individual using big data analysis technique, open data including temperature, population, etc. is pre-processed to open big data warehouse ( 40'). The harvest amount and sales, which are data held by an individual, are also pre-processed and stored in the
각각의 데이터에 대하여 전처리하고자 하는 기법을 AI에 의해 데이터 전처리 블록(21')으로부터 추천받고, 역시 드래그 앤드 드롭 방식으로 선택할 수 있다. 이와 유사하게, 데이터 분석 기법도 데이터 분석 블록(22')으로부터 추천받고, 드래그 앤드 드롭 방식으로 선택할 수 있다. 데이터 시각화 블록(23')의 경우에도 역시 동일하게 적용가능하다. A technique to be pre-processed for each data is recommended by the data pre-processing block 21' by AI, and may also be selected by a drag-and-drop method. Similarly, a data analysis technique may be recommended by the data analysis block 22' and may be selected by a drag-and-drop method. The data visualization block 23' is equally applicable.
이로써, 본 발명의 오픈 빅데이터 웨어하우스 및 비주얼 프로그래밍 언어에 기반한 데이터 분석 플랫폼 및 데이터 분석 방법에 따라, 이러한 빅 데이터 분석에 필요한 각 단계, 예를 들어 수집, 전처리, 분석, 및 시각화 단계 등에서 적절한 방법 또는 수단을 비주얼 프로그래밍 언어를 이용하여 AI에 의해 추천함으로써, 사용자 접근성 및 사용자 조작 편의성을 향상시킬 수 있게 된다. Accordingly, according to the data analysis platform and data analysis method based on the open big data warehouse and the visual programming language of the present invention, each step necessary for such big data analysis, for example, an appropriate method in the collection, pre-processing, analysis, and visualization steps, etc. Or by recommending the means by AI using a visual programming language, it is possible to improve user accessibility and user operation convenience.
실시예들에 따른 데이터 분석 플랫폼(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대 데이터 분석 플랫폼은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”, “장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The
한편, 본 발명의 실시예에 따른 방법들은 적어도 부분적으로 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다. Meanwhile, the methods according to an embodiment of the present invention may be at least partially implemented in the form of program instructions and recorded in a computer-readable recording medium. For example, embodied with a program product consisting of a computer-readable medium containing program code, which may be executed by a processor for performing any or all steps, operations, or processes described.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 컴퓨팅 장치일 수도 있고 이에 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치이다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.The computer may be a desktop computer, a laptop computer, a notebook computer, a smart phone, or any device that may be incorporated into or may be a similar computing device. A computer is a device having one or more alternative and special purpose processors, memory, storage, and networking components (either wireless or wired). The computer may run, for example, an operating system compatible with Microsoft's Windows, an operating system such as Apple OS X or iOS, a Linux distribution, or Google's Android OS.
상기 프로그램 명령 형태는, 소프트웨어로 통칭될 수 있고, 이는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The program instruction form may be collectively referred to as software, which may include a computer program, code, instruction, or a combination of one or more of these, and configures the processing device to operate as desired. may be configured or may independently or collectively instruct the processing device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be permanently or temporarily embody in The software may be distributed over networked computing devices and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.일반적으로 본 명세서에서 사용된 용어는, 특히 청구항에서(예를 들어, 청구항의 본문) 일반적으로 "개방적인" 용어로 의도된다(예를 들어, "포함하는"은 "포함하나 이에 제한되지 않는"으로, "가지다"는 "적어도 그 이상으로 가지다"로, "포함하다"는 "포함하나 이에 제한되지 않는다"로 해석되어야 함) 도입된 청구항 기재에 대하여 특정한 개수가 의도되는 경우, 이러한 의도는 해당 청구항에서 명시적으로 기재되며, 이러한 기재가 부재하는 경우 이러한 의도는 존재하지 않는 것으로 이해된다. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and used by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments and vice versa. ) is generally intended to be an "open-ended" term (e.g., "comprising" means "including but not limited to", "has" means "has at least more", "includes" means " Where a specific number is intended for an introduced claim statement, such intention is expressly recited in that claim, and in the absence of such recitation, the intention is non-existent. It is understood.
본 발명의 특정 특징만이 본 명세서에서 도시되고 설명되었으며, 다양한 수정 및 변경이 당업자에 대하여 발생할 수 있다. 그러므로 청구항은 본 발명의 사상 내에 속하는 변경 및 수정을 포함하는 것으로 의도된다는 점이 이해된다.Only specific features of the invention have been shown and described herein, and various modifications and variations will occur to those skilled in the art. It is therefore to be understood that the claims are intended to cover changes and modifications that fall within the spirit of the present invention.
1: 데이터 분석 플랫폼
4: 오픈 데이터
10: 사용자
20: 빅데이터 분석 모듈
21: 데이터 전처리
22: 데이터 분석
23: 데이터 시각화
30: 개인 데이터
40: 오픈 빅데이터 웨어하우스1: Data Analytics Platform 4: Open Data
10: User 20: Big data analysis module
21: data preprocessing 22: data analysis
23: Data Visualization 30: Personal Data
40: Open Big Data Warehouse
Claims (8)
오픈 데이터를 저장하고 있는 빅데이터 저장부;
사용자가 보유한 개인 데이터를 저장하고 있는 개인데이터 저장부; 및
상기 빅데이터 저장부에 저장된 오픈 데이터를 이용해 상기 개인데이터 저장부에 저장된 개인 데이터에 대한 데이터 분석을 하는 빅데이터 분석 모듈을 포함하고, 상기 빅데이터 분석 모듈은,
상기 사용자가 선택한 전처리 기법에 따라, 상기 빅데이터 저장부에 저장될 상기 오픈 데이터 및 상기 개인데이터 저장부에 저장될 개인 데이터를 선가공하는 데이터 전처리부;
상기 사용자가 선택한 분석 기법에 따라, 상기 개인 데이터를 분석하는 데이터 분석부; 및
상기 사용자가 선택한 시각화 기법에 따라, 상기 개인 데이터를 시각화하는 데이터 시각화부를 더 포함하는,
데이터 분석 플랫폼을 제공하는 컴퓨팅 장치. A computing device providing a data analysis platform, comprising:
a big data storage unit for storing open data;
a personal data storage unit for storing personal data held by the user; and
a big data analysis module for data analysis on the personal data stored in the personal data storage unit using the open data stored in the big data storage unit, wherein the big data analysis module comprises:
a data preprocessing unit pre-processing the open data to be stored in the big data storage unit and personal data to be stored in the personal data storage unit according to the preprocessing technique selected by the user;
a data analysis unit that analyzes the personal data according to the analysis technique selected by the user; and
According to the visualization technique selected by the user, further comprising a data visualization unit to visualize the personal data,
A computing device that provides a data analysis platform.
상기 개인데이터 저장부 내의 개인 데이터를 상기 빅데이터 저장부로 이전하여 다른 사용자들과 상기 개인 데이터를 공유하는 것을 특징으로 하는,
데이터 분석 플랫폼을 제공하는 컴퓨팅 장치. The method of claim 1,
Characterized in that the personal data in the personal data storage unit is transferred to the big data storage unit to share the personal data with other users,
A computing device that provides a data analysis platform.
상기 빅데이터 분석 모듈은,
적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법을 추천하는 기법 추천부를 더 포함하고,
상기 전처리 기법, 상기 분석 기법, 및 상기 시각화 기법의 선택은, 비주얼 프로그래밍 언어에 기반하여, 추천된 적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법 중 드래그 앤드 드롭 방식으로 실행되는,
데이터 분석 플랫폼을 제공하는 컴퓨팅 장치. 3. The method of claim 2,
The big data analysis module is
It further comprises a technique recommendation unit that recommends at least one or more pre-processing techniques, at least one analysis technique, and at least one or more visualization techniques,
The selection of the pre-processing technique, the analysis technique, and the visualization technique is performed in a drag-and-drop manner among at least one or more pre-processing techniques, at least one analysis technique, and at least one visualization technique recommended based on a visual programming language felled,
A computing device that provides a data analysis platform.
오픈 데이터를 저장하고 있는 빅데이터 저장부를 마련하는 단계;
사용자가 보유한 개인 데이터를 저장하고 있는 개인데이터 저장부를 마련하는 단계; 및
상기 빅데이터 저장부에 저장된 오픈 데이터를 이용해 상기 개인데이터 저장부에 저장된 개인 데이터에 대한 데이터 분석을 하는 빅데이터 분석 단계를 포함하고, 상기 빅데이터 분석 단계는,
상기 사용자가 선택한 전처리 기법에 따라, 상기 빅데이터 저장부에 저장될 상기 오픈 데이터 및 상기 개인데이터 저장부에 저장될 개인 데이터를 선가공하는 단계;
상기 사용자가 선택한 분석 기법에 따라, 상기 개인 데이터를 분석하는 단계; 및
상기 사용자가 선택한 시각화 기법에 따라, 상기 개인 데이터를 시각화하는 단계를 더 포함하는,
데이터 분석 방법. A data analysis method executed on a computing device providing a data analysis platform, the method comprising:
providing a big data storage unit storing open data;
providing a personal data storage unit for storing personal data held by the user; and
a big data analysis step of analyzing data on personal data stored in the personal data storage unit using the open data stored in the big data storage unit, wherein the big data analysis step comprises:
pre-processing the open data to be stored in the big data storage unit and personal data to be stored in the personal data storage unit according to the pre-processing technique selected by the user;
analyzing the personal data according to the analysis technique selected by the user; and
According to the visualization technique selected by the user, further comprising the step of visualizing the personal data,
Data analysis methods.
상기 개인데이터 저장부 내의 개인 데이터를 상기 빅데이터 저장부로 이전하여 다른 사용자들과 상기 개인 데이터를 공유하는 단계를 더 포함하는 것을 특징으로 하는,
데이터 분석 방법. 5. The method of claim 4,
Transferring the personal data in the personal data storage unit to the big data storage unit, characterized in that it further comprises the step of sharing the personal data with other users,
Data analysis methods.
상기 빅데이터 분석 단계는,
적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법을 추천하는 단계를 더 포함하고,
상기 전처리 기법, 상기 분석 기법, 및 상기 시각화 기법의 선택은, 비주얼 프로그래밍 언어에 기반하여, 추천된 적어도 하나 이상의 전처리 기법, 적어도 하나 이상의 분석 기법, 및 적어도 하나 이상의 시각화 기법 중 드래그 앤드 드롭 방식으로 실행되는,
데이터 분석 방법. 6. The method of claim 5,
The big data analysis step is,
The method further comprises recommending at least one or more pre-processing techniques, at least one analysis technique, and at least one or more visualization techniques,
The selection of the pre-processing technique, the analysis technique, and the visualization technique is performed in a drag-and-drop manner among at least one or more pre-processing techniques, at least one analysis technique, and at least one visualization technique recommended based on a visual programming language felled,
Data analysis methods.
A computer program stored in a medium for executing the method of any one of claims 4 to 6 through combination with hardware.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200022919 | 2020-02-25 | ||
| KR20200022919 | 2020-02-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210108323A true KR20210108323A (en) | 2021-09-02 |
| KR102640591B1 KR102640591B1 (en) | 2024-02-27 |
Family
ID=77794371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210023301A KR102640591B1 (en) | 2020-02-25 | 2021-02-22 | Computing device providing data analysis platform and data analysis method, computer program and computer-readable recording medium based on open big-data warehouse and visual programming language |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102640591B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170079648A (en) * | 2015-12-30 | 2017-07-10 | 대한민국(국민안전처 국립재난안전연구원장) | Analysis system for predicting future risks |
| KR101765296B1 (en) * | 2016-06-21 | 2017-08-04 | 어니컴 주식회사 | Apparatus and method for providing data analysis tool with user created analysis module |
| KR101765292B1 (en) * | 2016-06-21 | 2017-08-04 | 어니컴 주식회사 | Apparatus and method for providing data analysis tool based on purpose |
| KR101984937B1 (en) | 2018-11-28 | 2019-09-03 | 주식회사 피씨엔 | 3 dimensions digital timeline output system of traditional culture |
| KR102069841B1 (en) | 2018-06-21 | 2020-01-23 | 한전케이디엔 주식회사 | Cloud based power system software ecosystem |
-
2021
- 2021-02-22 KR KR1020210023301A patent/KR102640591B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170079648A (en) * | 2015-12-30 | 2017-07-10 | 대한민국(국민안전처 국립재난안전연구원장) | Analysis system for predicting future risks |
| KR101765296B1 (en) * | 2016-06-21 | 2017-08-04 | 어니컴 주식회사 | Apparatus and method for providing data analysis tool with user created analysis module |
| KR101765292B1 (en) * | 2016-06-21 | 2017-08-04 | 어니컴 주식회사 | Apparatus and method for providing data analysis tool based on purpose |
| KR102069841B1 (en) | 2018-06-21 | 2020-01-23 | 한전케이디엔 주식회사 | Cloud based power system software ecosystem |
| KR101984937B1 (en) | 2018-11-28 | 2019-09-03 | 주식회사 피씨엔 | 3 dimensions digital timeline output system of traditional culture |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102640591B1 (en) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Carrying out streamlined routine data analyses with reports for observational studies: introduction to a series of generic SAS® macros | |
| Rohn et al. | VANTED v2: a framework for systems biology applications | |
| Monacell et al. | Mobyle SNAP Workbench: a web-based analysis portal for population genetics and evolutionary genomics | |
| Ko et al. | Closha: bioinformatics workflow system for the analysis of massive sequencing data | |
| Purohit et al. | Optimization of function by using a new MATLAB based genetic algorithm procedure | |
| Yang et al. | Foundation models meet visualizations: Challenges and opportunities | |
| Kasalica et al. | APE: A command-line tool and API for automated workflow composition | |
| Wang et al. | G6: A web-based library for graph visualization | |
| Senk et al. | A collaborative simulation-analysis workflow for computational neuroscience using HPC | |
| Sarwar et al. | Database search, alignment viewer and genomics analysis tools: big data for bioinformatics | |
| KR102640591B1 (en) | Computing device providing data analysis platform and data analysis method, computer program and computer-readable recording medium based on open big-data warehouse and visual programming language | |
| Lu et al. | Early-Stage Engagement: Applying Big Data Analytics on Collaborative Learning Environment for Measuring Learners' Engagement Rate | |
| Blagoev | Using R programming language for processing of large data sets | |
| Sarojini et al. | Towards Developing a Guide to Choosing National High-Performance Computing Resources | |
| Ramirez et al. | HydroCompute: An open-source web-based computational library for hydrology and environmental sciences | |
| Tamla et al. | CIE: a cloud-based information extraction system for named entity recognition in AWS, Azure, and medical domain | |
| Okamoto et al. | Towards an intelligent software tool for enhanced model interoperability in climate change research | |
| Savira et al. | Writing, running, and analyzing large-scale scientific simulations with jupyter notebooks | |
| Gonçalves et al. | Cyrface: An interface from Cytoscape to R that provides a user interface to R packages | |
| Gurusubramani et al. | A Data Centre Configurable Data Mining Document Management Information System | |
| Cachucho et al. | Bipeline: a web-based visualization tool for biclustering of multivariate time series | |
| US20160335546A1 (en) | Self-pipelining workflow management system | |
| KR101997012B1 (en) | Appratus and method for estimating resource of program based on automata state complexity | |
| Xie et al. | Understanding Auto-Scheduling Optimizations for Model Deployment via Visualizations | |
| Wijesinghe et al. | Experiences on workflow management systems for dataintensive bioinformatics among sri lankan scientists |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |