WO2017146348A1 - 위치 기반 빅데이터 시스템 - Google Patents

위치 기반 빅데이터 시스템 Download PDF

Info

Publication number
WO2017146348A1
WO2017146348A1 PCT/KR2016/013341 KR2016013341W WO2017146348A1 WO 2017146348 A1 WO2017146348 A1 WO 2017146348A1 KR 2016013341 W KR2016013341 W KR 2016013341W WO 2017146348 A1 WO2017146348 A1 WO 2017146348A1
Authority
WO
WIPO (PCT)
Prior art keywords
spatial information
information
big data
storage
location
Prior art date
Application number
PCT/KR2016/013341
Other languages
English (en)
French (fr)
Inventor
이광한
Original Assignee
주식회사 케이앤컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이앤컴퍼니 filed Critical 주식회사 케이앤컴퍼니
Publication of WO2017146348A1 publication Critical patent/WO2017146348A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present disclosure relates to big data technology, and more particularly, to a big data system for processing big data including spatial information.
  • Spatial information refers to location information about natural or artificial objects existing in space and related information for spatial recognition and decision making. With the recent opening of public data, the opening speed of such spatial information is increasing exponentially, and services that utilize spatial information through various map services are increasing.
  • the spatial information consists of information for the whole country or city, and the collection of information in various fields causes a problem that the amount of information increases exponentially.
  • new information in order to analyze interactions between objects within a certain distance, there is a problem that new information must be queried and analyzed at every point.
  • DB memory database
  • This big data system is based on NoSQL as an alternative to relational databases.
  • NoSQL-based big data system does not provide a proper transaction or indexing function, and thus has a problem that performance is lower than that of a relational database in a high-speed query problem using low-volume data or advanced analysis.
  • the size of individual data is small but the number of data is infinitely large due to the location information that is the basis of spatial information along with the attribute classification of the information.
  • spatial information is divided into two-dimensional pieces by location and attributes, when it is processed with existing NoSQL-based big data system, the effect of distributed processing is insignificant. Due to the exponential growth of two-dimensional connections, there is a problem in that the memory DB cannot handle and the processing speed decreases, so that the advantages of the big data system cannot be utilized.
  • Patent Document 1 Publication No. 10-2015-0062637
  • the present specification provides a NoSQL-based big data system that is suitable for processing spatial information and can increase processing speed while utilizing NoSQL-based big data processing technology for processing large amounts of information.
  • a big data system is a NoSQL-based big data system that processes spatial information.
  • the big data system includes, in advance, a directory of a file system of a storage device configured to have a hierarchical structure identical to a system of predefined standard codes. It may be a big data system for storing spatial information to which a defined standard code is assigned.
  • a big data system includes a collection module configured to collect data on spatial information including location information and attribute information, and to distribute and process storage of the spatial information based on attribute information in the spatial information. Designating the above processing module, assigning a predefined standard code to the spatial information based on the location information in the spatial information, and designating a storage location of at least one storage device in which the spatial information is to be stored based on the assigned standard code. It may include a management module and a processing module for distributing and storing spatial information in a storage location of each designated storage device. In this case, the directory structure on the file system of the storage device may be set to have a hierarchical structure identical to that of the standard code.
  • a big data system may include: an analysis module configured to receive a request for inquiry of spatial information on a specific location and analyze the retrieved spatial information based on a preset analysis method and to generate analysis information; One or more processes to give a predefined standard code corresponding to the requested location of the query, obtain a storage location of the storage device storing the spatial information based on the assigned standard code, and distribute and process the query of the spatial information. It may include a management module for designating a module, and a processing module for accessing a file in a directory of the storage device to query spatial information and to transmit the information to the analysis module. In this case, the directory structure on the file system of the storage device may be set to have a hierarchical structure identical to that of the standard code.
  • a predefined standard code is assigned to the collected spatial information, and a system of standard codes In the directory of the storage device set to have the same hierarchical structure as in FIG. 2, the spatial information to which a predefined standard code is assigned may be stored.
  • a method for performing a collection process by a big data system may include collecting data on spatial information including location information and attribute information, and storing the spatial information based on attribute information in the spatial information. Designating one or more processing modules to be distributed and processed, and assigning a predefined standard code to the spatial information based on the positional information in the spatial information, and storing the spatial information based on the assigned standard code.
  • the method may include specifying a storage location of the storage device and distributing and storing spatial information in the storage location of each designated storage device.
  • the directory structure on the file system of the storage device may be set to have a hierarchical structure identical to that of the standard code.
  • a method of performing an analysis process by a big data system includes: receiving a request for inquiry of spatial information on a specific location, and a predefined standard code corresponding to a location where the inquiry of spatial information is requested Obtaining a storage location of a storage device storing spatial information based on the assigned standard code, designating one or more processing modules to distribute and process the inquiry of the spatial information, and Accessing a file in a directory may be retrieved and transmitted to the analysis module.
  • the directory structure on the file system of the storage device may be set to have a hierarchical structure identical to that of the standard code.
  • the big data system assigns a predefined standard code to the collected spatial information, and stores the spatial information assigned the standard code in a directory of a storage device configured to have a hierarchical structure identical to that of the standard code. Therefore, the memory DB (database) can only perform the distribution processing according to the attribute of the spatial information in the data distribution processing. Therefore, the processing speed can be increased, and even if a problem occurs due to a loss or error of the memory DB, the system of location information can be maintained at all times.
  • the corresponding big data system can acquire the storage location of the storage device in which the spatial information is stored based on the assigned standard code, it is possible to rapidly reach the spatial information corresponding to the location without querying the memory DB. It is suitable for processing spatial information.
  • FIG. 1 illustrates a schematic system architecture of a NoSQL-based big data system, in accordance with an embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram illustrating a directory creation process of a storage device of a storage layer according to an embodiment of the present invention with source code.
  • FIG. 3 is a schematic diagram illustrating a directory structure according to an embodiment of the present specification.
  • FIG. 4 is a schematic diagram illustrating a physical server configuration of a big data system according to an exemplary embodiment of the present specification.
  • FIG. 5 is a detailed configuration diagram of a NoSQL-based big data system layer according to an embodiment of the present specification.
  • FIG. 6 is a flowchart illustrating a method of performing a collection process by a big data system according to an exemplary embodiment of the present specification.
  • FIG. 7 is a flowchart illustrating a method of performing an analysis process by a big data system according to an exemplary embodiment of the present specification.
  • big data refers to a large collection of structured, unstructured or semi-structured data that goes beyond the ability to collect and analyze data with existing database management tools.
  • the structured data is data stored in a fixed field, for example, data that can be stored in a relational database, spreadsheet, or the like, such as a name, address, or contact.
  • the unstructured data is data that is not stored in the fixed field, for example, a text document, an image, a video, audio data, and the like.
  • the semi-structured data is not stored in a fixed field but includes metadata or a schema, for example, XML, HTML, text, and the like.
  • a big data system is a system capable of performing collection and storage processing (hereinafter, referred to as a collecting process) of big data and inquiry and analysis processing (hereinafter, referred to as an analysis process) of big data.
  • a big data system may be, for example, a system including a memory DB (eg, in-memory DB) that manages distributed storage and distributed processing.
  • the big data system according to the embodiments may have aspects that are wholly hardware or partly hardware and partly software.
  • the terms “unit”, “module”, “server”, “system”, “device” or “terminal”, “bot”, “robot” and the like refer to hardware and corresponding hardware. It is intended to refer to a combination of software driven by.
  • the hardware here may be a data processing device including a CPU or other processor.
  • software driven by hardware may refer to a running process, an object, an executable, a thread of execution, a program, or the like.
  • NoSQL in this specification means a non-relational database or data model.
  • a NoSQL-based big data system refers to a big data processing system that performs non-relational database processing.
  • FIG. 1 illustrates a schematic system architecture of a NoSQL-based big data system, in accordance with an embodiment of the present disclosure.
  • a system architecture of a big data system for big data analysis may be largely composed of three layers, for example, a distributed storage layer, a big data system layer, and a service layer.
  • the lowest layer, the distributed storage layer distributes and stores collected or analyzed information in distributed storage, and provides inquired information.
  • the storage system constituting the distributed storage layer may include a plurality of storage devices in which data is stored.
  • the storage device may include a plurality of storages (eg, local storage, network storage, etc.) that physically store data, and each storage device may include a plurality of storage locations.
  • the directory structure on the distributed file system of the storage device in the distributed storage layer of the big data system is set to have a hierarchical structure identical to that of a predefined standard code.
  • a distributed file system of a storage device of a distributed storage layer of a big data system may have a directory structure defined based on an administrative standard code such as an administrative building code system or a road name address standard code system determined by a public institution.
  • an administrative standard code such as an administrative building code system or a road name address standard code system determined by a public institution.
  • the administrative standard code has a hierarchical structure composed of upper and lower hierarchies (for example, hierarchical structure composed of upper and lower hierarchies such as city, district, and state)
  • the directory structure of the distributed file of the storage device can be set based on such hierarchical structure. have.
  • FIG. 2 is a schematic diagram illustrating a directory creation process of a storage device of a storage layer according to an embodiment of the present invention with source code.
  • public data for example, an address published by a building book
  • an administrative standard code provided by a public institution is read (1), and based on this, the system of the corresponding address [Shigun-gu-eup-myeon-dong-address] Main-address number] to create a data key (2), and the directory generation bot (or processing module) generates a directory with a corresponding key value to a plurality of storage devices (HDD or SSD) of the storage layer (3).
  • HDD or SSD storage devices
  • FIG. 3 is a schematic diagram illustrating a directory structure according to an embodiment of the present specification.
  • the directory structure has a hierarchical structure corresponding to the above-described address system, such as [si-gun-gu-eup-dong directory-address directory] from the top directory root.
  • attribute data, processing and prediction data files (File 1, File 2, File 3, etc.) of the corresponding address are stored.
  • directories For reference, about 20 million directories may be created in one storage device such as an HDD. Meanwhile, public data is updated monthly, creating a monthly data directory.
  • the file system of the storage device of the big data system may have a directory structure based on the administrative standard code
  • the spatial information including the location information of all addresses in the country is included in the big data system. It can be easily stored through a directory structure based on the administrative standard code system given by. Accordingly, the big data system is different from the conventional method (ie, unlike the conventional method in which the memory DB processes all non-relational databases that are two-dimensionally divided into locations and attributes), and the file system of the memory DB and the storage device. Use directory complexly.
  • the memory DB (corresponding to the management module of the big data system layer to be described later) can only perform distributed processing according to the attribute and size of spatial information in the process of distributing data, thereby increasing the processing speed, and memory DB Even if a problem occurs due to loss or error of the system, the location information system can be maintained at all times.
  • the same directory structure can be used when accumulating updated spatial information in one or more storage devices, the search and extraction of data can be facilitated. That is, since the spatial information assigned with the same administrative standard code is stored in a storage location on the same directory in each storage device which is distributed and stored (e.g., the spatial information assigned to the administrative standard code of A-dong A-dong of city A is stored in each storage device. Can be stored in location A, which is the same storage location, and the spatial information assigned to the administrative standard code of B-dong, A-gu, A can be stored in location B, which is the same storage location in each storage device), storage of spatial information, Easy to search and extract
  • the data system layer collects big data, analyzes and infers data by applying data mining to generate analysis information, manages (hosts) distributed storage, and receives a request from a service server in a service layer described below. It may be composed of one or more modules that perform a gateway function of collecting and delivering the analysis information.
  • each module of the big data system constituting the big data system layer may be connected to a main management module, some of the modules may be connected to at least one configuration of the service layer, and some of the modules may be described above. It may be connected to at least one configuration of one storage layer. This will be described in detail below with reference to FIG. 5.
  • the big data system layer uses a No-SQL database as a distributed database, and also uses a memory DB (eg, an in-memory DBMS) as a database management system (distributed processing host system).
  • a memory DB eg, an in-memory DBMS
  • DBMS distributed processing host system
  • a memory DB may be used to solve the problem of intermittent failure or data fragmentation.
  • the user when a user retrieves data, the user can search the path of the storage where the desired data pool is stored in the memory DB to provide fast responsiveness. You can secure the flexibility.
  • the service layer which is the highest layer, performs a function of providing various services based on analysis information through a web, a server, an API, and the like.
  • the service system configuring the service layer may provide various services based on big data analysis to the customers according to the request of the customers.
  • the big data system to collect / store, query / analyze the big data about the spatial information including the location information and attribute information.
  • the big data system layer 100 may include a collection module 110, an analysis module 120, a management module 130, a processing module 140, and an update module 150.
  • the big data system layer 100 may perform a collection process and an analysis process of spatial information.
  • the collection process refers to a series of processes for collecting big data about spatial information and storing it in a distributed storage medium, and the analysis process retrieves stored big data, extracts values from the retrieved big data, and retrieves the results. It means a series of analyzes.
  • the collection process and the analysis process performed by the big data system layer 100 will be described in detail.
  • the collection process is performed on the collection module 110 of the big data system layer 100, the management module 130 connected to the collection module 110, and the plurality of processing modules 140 connected to the management module 130. Can be performed by
  • the collection module 110 may collect big data.
  • the collected big data may include a large amount of data about spatial information.
  • the spatial information may include location information and attribute information.
  • the location information refers to information (eg, stomach, longitude information) of the position of an object existing in the corresponding space
  • the property information refers to information about an attribute (eg, type, size, etc.) of the spatial information. do.
  • the spatial information may further include related information.
  • the association information refers to information necessary for spatial recognition and decision related to an object existing in the space, and such association information may be utilized when the big data system generates analysis information based on the spatial information.
  • the related information may include environmental information such as education, health, and convenience within the set radius, including land information within the set radius, real estate transaction price information, real estate valuation information, building attribute information, and the like. .
  • the collection module 110 uses publicly built APIs, crawling engines, and the like to collect public data and open data, including spatial information, from various sources (eg, public institution servers, websites, etc.). Can be collected.
  • sources eg, public institution servers, websites, etc.
  • the management module 130 and the processing module 140 may manage to store the big data including the collected spatial information in a distributed storage medium.
  • a process of the management module 130 and the processing module 140 storing spatial information in a storage medium will now be described in detail.
  • the management module 130 may designate one or more processing modules to distribute and process storage of spatial information based on attribute information in the spatial information.
  • the management module 130 determines at least one of the number of storage and the minimum storage unit in which the spatial information is to be stored based on attributes such as the type and size of the data, and based on the spatial information It is possible to specify one or more processing modules 140 to process the distribution of storage of.
  • the management module 130 may assign a predefined standard code to the spatial information based on location information (for example, an address) in the spatial information, and designate a storage location of each designated storage device based on the assigned standard code.
  • the standard code is a code for classifying (for example, hierarchical) the space of interest according to the location of individual spaces constituting the entire space and the relationship of inclusion between the individual spaces, for example, an administrative standard code defined by a public institution. (For example, an administrative standard code according to Article 50 of the Electronic Government Act and Article 59 of the Enforcement Decree of the same Act).
  • the big data system is a management module. Since the in-memory DB can only perform distributed processing according to the property of spatial information in the process of distributing data, the processing speed can be increased, and even if a problem occurs due to loss or error of the memory DB, The advantage is that the scheme (ie directory structure) can always be maintained.
  • the management module 130 may instruct distributed processing of the storage job to the designated one or more processing modules 140 (the directory generating robot of FIG. 2).
  • Each processing module 140 may be connected to one or more storage devices.
  • each management module 130 may share one or more storage devices.
  • each processing module 140 may distribute and store spatial information in at least a portion of a connected storage device in a designated storage location based on the standard code.
  • the update module 150 (or the update bot) updates the spatial information by rotating around the storage location in the order of the reserved job. can do.
  • the update module 150 when the first spatial information is first collected and stored in the first storage location, or when the spatial information stored in the first storage location is changed, the update module 150 on the standard code corresponding to the first storage location.
  • the spatial information may be updated at the storage locations by transmitting the first spatial information or the changed spatial information to storage locations corresponding to peripheral locations within a radius set from the first location.
  • first spatial information eg, valuation information
  • a first object eg, land
  • a first location eg, Jongno-gu, Seoul
  • a peripheral location eg, Jung-gu, Seoul, Korea
  • a preset radius from the first location (eg, Jongno-gu, Seoul) for big data analysis in units of spatial radius.
  • the relevant information must also be updated and delivered to the surrounding storage location corresponding to the address within the surrounding radius, such as Eunpyeong-gu, Seodaemun-gu, Seongbuk-gu, etc., and as the information is changed, the second or third processed and stored information (analysis information) There is also a need for reworking and storing.
  • the processing module 140 may perform an update module (for example, after first storing the first spatial information in the main storage location corresponding to the first location (eg, the first address) or when the stored first spatial information is changed. Inform 150 of the change of the spatial information, and the update module 150 transmits the first spatial information stored or changed first to the peripheral storage location corresponding to the positions (addresses) within a preset radius from the first location, Accordingly, if there is analysis information that needs to be processed, the process of reprocessing and storing it may be performed.
  • an update module for example, after first storing the first spatial information in the main storage location corresponding to the first location (eg, the first address) or when the stored first spatial information is changed.
  • Inform 150 of the change of the spatial information and the update module 150 transmits the first spatial information stored or changed first to the peripheral storage location corresponding to the positions (addresses) within a preset radius from the first location.
  • the spatial information can be updated in the peripheral storage location.
  • the analysis process may be performed by the analysis module 120 of the big data system layer 100, the management module 130 connected to the analysis module and the plurality of processing modules 140 connected to the management module 130. Can be.
  • the analysis module 110 may receive a request for inquiry of spatial information about a specific location.
  • the received request may include location information on the location where the inquiry of the spatial information is requested.
  • the analysis module 110 may receive a request for inquiry of spatial information about a specific location from the client terminal.
  • the management module 130 and the processing module 140 may query the requested spatial information and provide the requested spatial information to the analysis module 120.
  • the management module 130 and the processing module 140 query the requested spatial information and provide the analysis information to the analysis module 120 as follows.
  • the management module 130 may assign a predefined standard code corresponding to the location where the inquiry of the spatial information is requested, and obtain a storage location of the storage device in which the spatial information is stored based on the assigned standard code.
  • the big data system has an advantage that the spatial information corresponding to the location can be quickly reached without the memory DB inquiry process.
  • the management module 130 may designate one or more processing modules to distribute and process the inquiry of the spatial information.
  • the management module 130 may designate one or more processing modules to distribute and process the inquiry of the spatial information based on the obtained storage location of the storage device.
  • the management module 130 may instruct distributed processing of the inquiry job to the designated one or more processing modules 140.
  • each processing module 140 may access the file in the directory of the storage device to query the spatial information and transmit the spatial information to the analysis module 120.
  • the analysis module 120 may extract the value from the data including the spatial information and analyze the result by analyzing the inquired spatial information based on a preset analysis method.
  • the analysis module 120 may analyze the commercial rights by analyzing the data including the spatial information to perform valuation on the real estate in the space where the inquiry is requested.
  • the analysis module 120 may provide a final analysis result to the client device.
  • the big data system generates a directory structure based on data including spatial information collected periodically (eg, monthly) through the first module, and generates a directory structure through the second module. Accumulate the data corresponding to the key value, retrieve the data within a predetermined radius using the location information through the third module, and the interaction of the location information with the related information (for example, real transaction information) in the spatial information through the fourth module By analyzing, we can execute the valuation analysis for all key values. Thereafter, the memory DB may be updated to provide the user with the latest analysis data.
  • at least one of the first to fourth modules may be a sub module included in the above-described analysis module 120.
  • the management module 130 may perform both a collection process and an analysis process. In another embodiment, the management module 130 performs a collection process and an analysis process. It may also include an analysis management module.
  • each module constituting the big data system 100 is not intended to necessarily refer to separate components that are physically separated. That is, in FIG. 1, although the collection module 110, the analysis module 120, the management module 130, and the processing module 140 are shown as separate blocks that are separated from each other, the collection module 110, the analysis module 120, the management module 130, and the processing module 140 may be executed by one or more processors. It's just a functional division. In some embodiments, some or all of the above-described modules may be integrated in the same one component, or may be implemented as separate components that are physically separated from one or more additional other modules. For example, the collection module 110, the analysis module 120, the management module 130, and the processing module 140 may be components communicatively coupled to each other in a distributed computing environment. In addition, the processing module 140 may be a bot configured to perform a particular function included in the management module 130.
  • FIG. 6 is a flowchart illustrating a method of performing a collection process by a big data system according to an exemplary embodiment of the present specification.
  • FIG. 6 detailed descriptions of the same or similar contents as those described with reference to FIGS. 1 to 5 will be omitted.
  • the big data system may collect data including spatial information.
  • the spatial information may include location information and attribute information.
  • the spatial information may further include related information.
  • the big data system may collect public data and open data including spatial information from various sources (eg, public institution servers, websites, etc.) using pre-built crawling engines or the like. .
  • the big data system may designate one or more processing modules to distribute and process the storage of the spatial information based on the attribute information in the spatial information (S20). For example, the big data system determines at least one of the number of storage and the minimum storage unit in which the spatial information is to be stored based on attributes such as the type and size of the data, and stores the spatial information based thereon. You can distribute one or more processing modules to process. Each processing module may be connected with one or more storage devices. In this case, each processing module may share one or more storage devices.
  • the big data system may assign a predefined standard code to the spatial information based on the location information in the spatial information, and designate a storage location of each designated storage device based on the assigned standard code (S30).
  • the standard code is a code for classifying a space of interest according to the location of each space and the relationship between spaces (eg, hierarchical classification).
  • the standard code may be an administrative standard code defined by a public institution.
  • the big data system since the directory structure on the file system of the storage device is set to have a hierarchical structure that is the same as a system of predefined standard codes (e.g., administrative standard codes), the big data system uses a memory DB to process distributed data. Only distributed processing can be performed according to the attribute and size of spatial information in the process, which can increase the processing speed and maintain the location information system at all times even if a problem occurs due to the loss or error of the memory DB.
  • predefined standard codes e.g., administrative standard codes
  • the big data system may instruct distributed processing of the storage job to the designated one or more processing modules.
  • the big data system may distribute and store the spatial information in a storage location designated based on the standard code for at least some of the connected storage devices through each processing module (S40).
  • FIG. 7 is a flowchart illustrating a method of performing an analysis process by a big data system according to an exemplary embodiment of the present specification.
  • FIG. 7 detailed descriptions of the same or similar contents as those described with reference to FIGS. 1 to 5 will be omitted.
  • the big data system may receive a request for inquiry of spatial information on a specific location (S110).
  • the received request may include location information on the location where the inquiry of the spatial information is requested.
  • the analysis module may receive a request for inquiry of spatial information about a specific location from a client terminal.
  • the big data system may assign a predefined standard code corresponding to the location where the inquiry of the spatial information is requested, and obtain a storage location of the storage device in which the spatial information is stored based on the assigned standard code (S120). ).
  • the big data system has an advantage that the spatial information corresponding to the location can be quickly reached without the memory DB inquiry process.
  • the big data system may designate one or more processing modules to distribute and process the inquiry of the spatial information (S130).
  • the big data system may designate one or more processing modules to distribute and process the inquiry of the spatial information based on the obtained storage location of the storage device.
  • the big data system may instruct distributed processing of the inquiry job to the designated one or more processing modules (S140).
  • the big data system may access the files in the directory of the storage device through each processing module, search for spatial information, and deliver the spatial information to the analysis module.
  • the big data system may extract the value from the data including the spatial information and analyze the result by analyzing the retrieved spatial information based on a preset analysis method (S150). For example, the big data system may analyze the commercial area by analyzing the data including the spatial information and performing a valuation on the real estate in the space where the inquiry is requested. The big data system can provide the final analysis result to the client device.
  • a preset analysis method S150
  • the big data system may analyze the commercial area by analyzing the data including the spatial information and performing a valuation on the real estate in the space where the inquiry is requested.
  • the big data system can provide the final analysis result to the client device.
  • the method according to the embodiments described above may be at least partly implemented as a computer program and recorded on a computer-readable recording medium.
  • a program for implementing a method for receiving a document is recorded, and the recording medium includes any kind of recording device capable of storing data that can be read by a computer.
  • computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • carrier wave for example, transmission over the Internet
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present embodiment will be readily understood by those skilled in the art to which the present embodiment belongs.
  • the big data system assigns a predefined standard code to the collected spatial information, and stores the spatial information assigned the standard code in a directory of a storage device configured to have a hierarchical structure identical to that of the standard code. Therefore, the memory DB (database) can only perform the distribution processing according to the attribute of the spatial information in the data distribution processing. Therefore, the processing speed can be increased, and even if a problem occurs due to a loss or error of the memory DB, the system of location information can be maintained at all times.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템에 있어서, 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장 장치의 파일 시스템의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 빅데이터 시스템이 개시된다.

Description

위치 기반 빅데이터 시스템
본 명세서는 빅데이터 기술에 관한 것으로, 보다 상세하게는 공간정보를 포함하는 빅데이터를 처리하는 빅데이터 시스템에 관한 것이다.
공간정보란 공간상에 존재하는 자연적 또는 인공적인 객체에 대한 위치정보 및 이와 관련된 공간적 인지 및 의사결정에 필요한 정보를 말한다. 최근 공공 데이터의 개방이 이루어지면서 이러한 공간정보의 개방 속도가 기하급수적으로 늘어나고 있으며, 다양한 지도서비스 등을 통해 공간정보를 활용하는 서비스가 늘어나고 있다.
그러나, 단순히 공간정보를 지도상에 표시하는 서비스만으로는 실생활에 필요한 핵심적인 정보를 제공하는데 한계가 있다. 대부분의 공간에는 복합적인 자연적 또는 인공적 객체들이 산재해 있으며, 각 객체들은 서로 상호작용을 통해 공간의 특성을 만들어내기 때문이다. 따라서, 개별 공간정보를 일차원적으로 활용하는 것이 아닌 다양한 공간정보를 활용하여 일정 거리 이내의 객체 간의 상호작용을 통한 공간 특성을 도출하기 위한 시스템의 필요성이 대두 되고 있다.
하지만, 공간정보는 전 국토 또는 도시를 대상으로 하는 정보들로서 이루어져 있고, 다양한 분야별 정보를 수집하게 되면 정보의 양이 기하급수적으로 늘어나는 문제가 생긴다. 게다가 일정 거리 이내의 객체 간의 상호작용을 분석하기 위해서는 모든 지점마다 새로운 정보를 조회하여 분석해야 하는 문제가 있다.
이러한 문제를 해결하기 위해 종래에는 공간정보를 처리하는 시스템의 사양을 높이고, 분석에 사용되는 정보의 양을 제한하는 등 소극적인 방법을 사용해 왔으며, 이러한 방법을 사용하는 경우, 예컨대, 대략 1km 반경에 대한 상권 분석의 경우에도 최소 1분 ~ 10분 이상의 시간이 소요되기 때문에, 이는 전문가들만 사용할 수 있거나, 일부 한정된 목적으로만 활용 가능하다는 한계를 갖는다.
이러한 한계를 극복하기 위해 분산된 저장 매체를 메모리 DB(database)를 통해 추상화 방식으로 확장하여 사용하는 방식의 빅데이터 시스템을 도입하기도 한다. 이러한 빅 데이터 시스템은 관계형 데이터베이스의 대안 기술로서 NoSQL을 기반으로 한다. 그러나, 이러한 기존의 NoSQL 기반의 빅데이터 시스템은 트랜젝션이나 인덱션 기능이 제대로 제공되지 않아, 저용량 데이터를 사용하거나 고급 분석을 이용한 고속 쿼리 문제에서는 관계형 데이터베이스에 비해 오히려 성능이 떨어진다는 문제가 있다.
특히, 본 발명자들의 연구에 따르면, 기존의 NoSQL 기반의 빅데이터 시스템으로 공간정보를 처리하는 경우 공간 정보의 고유한 특성으로 인하여 제한적인 효과만을 가져올 뿐이었다.
보다 구체적으로, 공간 정보의 경우에는 정보의 속성 분류와 함께 공간정보의 근간이 되는 위치정보로 인해 개별 데이터의 크기는 작으나 데이터 개수가 무한히 많은 형태를 띄게 된다. 또한, 공간 정보의 경우 위치와 속성으로 2차원적으로 잘게 쪼개지게 되기 때문에, 기존의 NoSQL 기반의 빅데이터 시스템으로 이를 그대로 처리하는 경우에는 분산 처리에 따른 효과는 미미하고, 오히려 메모리 DB의 역할이 2차원 연결에 따라 기하급수적으로 늘어나서 메모리 DB가 감당하지 못하여 처리 속도가 떨어지는 등 빅데이터 시스템의 장점을 살리지 못하는 문제가 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 공개특허공보 제10-2015-0062637호
이에 본 명세서는, 일측면에서 대용량 정보 처리를 위한 NoSQL 기반의 빅데이터 처리 기술을 활용하면서도 공간정보의 처리에 적합하고 처리 속도를 높일 수 있는 NoSQL 기반의 빅데이터 시스템을 제공하고자 한다.
일 구현예에 따른 빅데이터 시스템은, 공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템에 있어서, 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장 장치의 파일 시스템의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 빅데이터 시스템일 수 있다.
일 실시예에 따른 빅데이터 시스템은, 위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 수집 모듈과, 상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하고, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하며 부여된 표준코드에 기초하여 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 관리 모듈과, 지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 처리 모듈을 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템 상의 디렉토리 구조는 상기 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
일 실시예에 따른 빅데이터 시스템은, 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하고, 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석하여 분석정보를 생성하는 분석 모듈과, 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하며 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하고, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 관리 모듈과, 그리고 상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 처리 모듈을 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템상의 디렉토리 구조는 상기 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
일 구현예에 따른 빅데이터 시스템의 프로세스 수행 방법은, 공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템의 프로세스 수행 방법에 있어서, 수집된 공간정보에 미리 정의된 표준코드를 부여하고, 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장장치의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 것일 수 있다.
일 실시예에 따른 빅데이터 시스템이 수집 프로세스를 수행하는 방법은, 위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 단계와, 상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계와, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 단계와, 지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 단계를 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템 상의 디렉토리 구조는 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
일 실시예에 따른 빅데이터 시스템이 분석 프로세스를 수행하는 방법은, 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하는 단계와, 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하는 단계와, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계와, 상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 단계를 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템상의 디렉토리 구조는 상기 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
본 명세서에 따르면, 빅데이터 시스템은 수집된 공간정보에 미리 정의된 표준코드를 부여하고, 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장장치의 디렉토리에 표준코드가 부여된 공간정보를 저장하기 때문에, 메모리 DB(database)가 데이터의 분산 처리 과정에서의 공간정보의 속성에 따른 분산 처리만을 수행할 수 있다. 따라서, 처리 속도를 높일 수 있고 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 효과를 갖는다.
또한, 해당 빅데이터 시스템은 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득할 수 있기 때문에, 메모리 DB의 조회 과정 없이 위치에 맞는 공간정보에 빠른 속도로 도달할 수 있다는 이점을 갖기 때문에 공간 정보의 처리에 적합하다.
도 1은 본 명세서의 일 실시예에 따른, NoSQL 기반의 빅데이터 시스템의 개략적인 시스템 아키텍처를 나타낸다.
도 2는 본 명세서의 일 실시예에 따른 스토리지 레이어의 저장 장치의 디렉토리 생성 과정을 소스 코드와 함께 나타내는 개략도이다.
도 3은 본 명세서의 일 실시예에 따른 디렉토리 구조를 나타내는 개략도이다.
도 4는 본 명세서의 일 실시예에 따른 빅데이터 시스템의 물리적 서버 구성을 나타내는 개략도이다.
도 5는 본 명세서의 일 실시예에 따른 NoSQL 기반의 빅데이터 시스템 레이어의 세부 구성도이다.
도 6은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 수집 프로세스를 수행하는 방법을 나타내는 순서도이다.
도 7은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 분석 프로세스를 수행하는 방법을 나타내는 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서, 빅데이터는 기존의 데이터베이스 관리도구로 데이터를 수집, 분석할 수 있는 역량을 넘어서는 대량의 정형, 비정형 또는 반정형 데이터의 집합을 의미한다. 여기서, 정형 데이터는 고정된 필드에 저장된 데이터로서, 예컨대, 이름, 주소, 연락처 등과 같이 관계형 데이터베이스, 스프레드쉬트 등에 저장될 수 있는 데이터이다. 또한, 비정형 데이터는 고정된 필드에 저장되어 있지 않은 데이터로서, 예컨대, 텍스트 문서, 이미지, 동영상, 음성 데이터 등이 있다. 또한, 반정형 데이터는 고정된 필드에 저장되어 있지 않지만 메타데이터나 스키마를 포함하는 데이터로서, 예컨대, XML, HTML, 텍스트 등이 있다.
본 명세서에서, 빅데이터 시스템은 빅데이터의 수집 및 저장 처리(이하, 수집 프로세스)와, 빅데이터의 조회 및 분석 처리(이하, 분석 프로세스)를 수행할 수 있는 시스템이다. 이러한 빅데이터 시스템은, 예컨대, 분산 스토리지 및 분산 처리를 주관하는 메모리 DB(예컨대, 인메모리 DB)를 포함하는 시스템일 수 있다. 실시예들에 따른 빅데이터 시스템은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다.
본 명세서에서, "부(unit)", "모듈(module)", "서버", "시스템", "장치" 또는 "단말", "봇", "로봇" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
본 명세서에서 NoSQL은 비관계형 데이터 베이스 또는 데이터 모델을 의미한다.
본 명세서에서 NoSQL 기반의 빅데이터 시스템은 비관계형 데이터 베이스 처리를 수행하는 빅데이터 처리 시스템을 의미한다.
도 1은 본 명세서의 일 실시예에 따른, NoSQL 기반의 빅데이터 시스템의 개략적인 시스템 아키텍처를 나타낸다.
도 1을 참조하면, 빅데이터 분석을 위한 빅데이터 시스템의 시스템 아키텍처는 크게 3개의 레이어(layer), 예컨대, 분산 스토리지 레이어, 빅데이터 시스템 레이어 및 서비스 레이어로 구성될 수 있다.
최하위 레이어인 분산 스토리지 레이어는 수집 또는 분석된 정보를 분산 스토리지에 분산하여 저장하고, 조회된 정보를 제공하는 기능을 수행한다. 이러한 분산 스토리지 레이어를 구성하는 저장 시스템은 데이터가 저장된 복수의 저장 장치들을 포함할 수 있다. 이때, 저장 장치는 물리적으로 데이터를 저장하는 복수의 스토리지들(예컨대, 로컬 스토리지, 네트워크 스토리지 등)을 포함할 수 있고, 각 저장 장치는 복수의 저장 위치를 포함할 수 있다.
이하에서도 설명할 것처럼, 본 명세서의 일 실시예에 따른 빅데이터 시스템의 분산 스토리지 레이어에서 저장 장치의 분산 파일 시스템 상의 디렉토리 구조는 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된다.
예를 들면, 빅데이터 시스템의 분산 스토리지 레이어의 저장 장치의 분산 파일 시스템은, 공공기관에 의해 정해진 행정동 코드체계나 도로명 주소 표준 코드 체계 등의 행정표준코드를 기초로 정의된 디렉토리 구조를 가질 수 있다. 행정표준코드는 상하위 계층으로 구성된 계층적 구조(예컨대, 시, 구, 동 등과 같은 상하위 계층으로 구성된 계층적 구조)를 가지기 때문에, 이러한 계층 체계에 근거하여 저장 장치의 분산 파일의 디렉토리 구조를 설정할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 스토리지 레이어의 저장 장치의 디렉토리 생성 과정을 소스 코드와 함께 나타내는 개략도이다.
도 2에 도시된 바와 같이, 공공 기관에 의해 제공되는 행정표준코드에 관한 공공데이터(예컨대, 건축물 대장에서 공개한 주소)를 읽고(1), 이를 바탕으로 해당 주소의 체계 [시군구-읍면동-번지본번-번지부번]로 데이터 키를 만들도록 하고(2), 디렉토리 생성 봇(또는 처리 모듈)은 스토리지 레이어의 다수의 저장 장치(HDD 또는 SSD)에 해당 키값으로 디렉토리를 생성하도록 한다(3).
도 3은 본 명세서의 일 실시예에 따른 디렉토리 구조를 나타내는 개략도이다.
도 3에 도시된 바와 같이, 디렉토리 구조는 최상위 디렉토리 루트로부터 [시군구 디렉토리-읍면동 디렉토리-번지 디렉토리]와 같이 전술한 주소 체계에 대응되는 계층 체계를 가진다. 그리고, 이러한 계층화된 디렉토리에 해당 주소의 속성 데이터나 가공, 예측 데이터 파일들(File 1, File 2, File 3 등)이 저장된다.
참고로, 이때 예컨대 HDD와 같은 저장 장치 하나에는 약 2000만여 개의 디렉토리를 생성할 수 있다. 한편, 공공 데이터는 매달 업데이트되므로 월별로 데이터 디렉토리를 생성하게 된다.
이와 같이, 본 명세서의 일 실시예에 따른 빅데이터 시스템의 저장 장치의 파일 시스템은, 행정표준코드에 기초한 디렉토리 구조를 가질 수 있기 때문에, 전국 모든 주소의 위치정보를 포함하는 공간정보를 빅데이터 시스템에 의해 부여된 행정표준코드 체계에 기초한 디렉토리 구조를 통해 용이하게 저장할 수 있다. 이에 따라, 해당 빅데이터 시스템은, 기존과 달리 (즉, 위치와 속성으로 2차원 적으로 잘게 쪼개진 비관계형 데이터베이스를 메모리 DB가 모두 처리하는 기존 방식과 달리), 메모리 DB와 저장 장치의 파일 시스템의 디렉토리를 복합적으로 활용한다. 따라서, 메모리 DB (후술하는 빅데이터 시스템 레이어의 관리 모듈에 해당)는 데이터의 분산 처리 과정에서의 공간 정보의 속성 및 크기에 따른 분산 처리만을 수행할 수 있어, 처리 속도를 높일 수 있고, 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 이점을 갖는다.
또한, 공간정보의 업데이트 시 업데이트된 공간정보를 하나 이상의 저장 장치에 축적할 때 동일한 디렉토리 구조를 사용할 수 있기 때문에 데이터의 검색과 추출을 용이하게 할 수 있다. 즉, 동일한 행정표준코드가 부여된 공간정보는 분산되어 저장되는 각 저장 장치 내의 동일한 디렉토리 상의 저장 위치에 저장되기 때문에(예컨대, A시 A구 A동의 행정표준코드가 부여된 공간정보는 각 저장 장치 내 동일한 저장 위치인 A위치에 저장될 수 있고, A시 A구 B동의 행정표준코드가 부여된 공간정보는 각 저장 장치 내 동일한 저장 위치인 B위치에 저장될 수 있음), 공간정보의 저장, 검색 및 추출이 용이하다.
도 1을 다시 참조하여 빅데이터 시스템 레이어를 설명한다. 데이터 시스템 레이어는 빅데이터를 수집하고, 데이터마이닝을 적용하여 데이터를 분석하고 추론하여 분석정보를 생성하고, 분산 스토리지를 관리(주관)하고, 이하에서 설명할 서비스 레이어 내의 서비스 서버 등의 요청을 받아 분석정보를 취합하여 전달하는 게이트웨이 기능을 수행하는 하나 이상의 모듈로 구성될 수 있다.
실시예로서, 빅데이터 시스템 레이어를 구성하는 빅데이터 시스템의 각 모듈은 메인 관리 모듈에 연결될 수 있고, 모듈들 중 일부는 서비스 레이어의 적어도 하나의 구성에 연결될 수 있고, 모듈들 중 다른 일부는 전술한 스토리지 레이어의 적어도 하나의 구성에 연결될 수 있다. 이에 대하여는 도 5를 참조하여, 이하에서 상세히 설명하도록 한다.
이러한 기능을 수행하기 위해, 빅데이터 시스템 레이어는 분산 데이터베이스로서는, No-SQL 데이터베이스를 사용하고, 또한, 데이터베이스 관리 시스템 (분산 처리 주관 시스템)으로서, 예컨대, 메모리 DB (예컨대, 인메모리 DBMS)를 사용할 수 있다.
본 명세서의 빅데이터 시스템의 스토리지 레이어의 분산 파일 시스템은 하나 이상의 스토리지와 이기종간의 운영체제를 넘나들기 때문에(도 4 참조), 간헐적 장애나 데이터 파편화의 문제를 해결하기 위하여, 메모리 DB를 사용할 수 있다. 이 경우, 사용자가 데이터를 검색할 시 먼저 메모리 DB에서 원하는 데이터 풀(pool)이 저장된 스토리지의 경로를 검색하여 빠른 응답성을 제공할 수 있고, 또한 스토리지의 수평적 확장 정보를 메모리 데이터베이스화하여 데이터의 유연성을 확보할 수 있다.
도 1에서 최상위 레이어인 서비스 레이어는 웹, 서버, API 등을 통해 분석정보에 기초한 다양한 서비스를 제공하는 기능을 수행한다. 즉, 서비스 레이어를 구성하는 서비스 시스템은 고객의 요청에 따라 빅데이터 분석에 기반한 다양한 서비스를 고객에게 제공할 수 있다.
이하에서는 빅데이터 시스템 레이어의 구성을 중심으로, 빅데이터 시스템이 위치정보와 속성 정보를 포함하는 공간 정보에 관한 빅데이터를 수집/저장하고, 조회/분석하는 프로세스에 대하여 상세히 설명하도록 한다.
도 5는 본 명세서의 일 실시예에 따른 NoSQL 기반의 빅데이터 시스템 레이어의 세부 구성도이다. 도 5를 참조하면, 빅데이터 시스템 레이어(100)는 수집 모듈(110), 분석 모듈(120), 관리 모듈(130), 처리 모듈(140) 및 갱신 모듈(150)을 포함할 수 있다.
이러한 빅데이터 시스템 레이어(100)는 공간 정보의 수집 프로세스 및 분석 프로세스를 수행할 수 있다. 여기서, 수집 프로세스는 공간 정보에 관한 빅데이터를 수집하고, 분산된 저장 매체에 저장하는 일련의 과정을 의미하며, 분석 프로세스는 저장된 빅데이터를 조회하고, 조회된 빅데이터로부터 가치를 추출하고 결과를 분석하는 일련의 과정을 의미한다. 이하에서는, 빅데이터 시스템 레이어(100)에 의해 수행되는 수집 프로세스와 분석 프로세스에 대하여 상세히 설명하도록 한다.
수집 프로세스
일 실시예에서, 수집 프로세스는 빅데이터 시스템 레이어(100)의 수집 모듈(110), 수집 모듈(110)에 연결된 관리 모듈(130) 및 관리 모듈(130)에 연결된 복수의 처리 모듈(140)에 의해 수행될 수 있다.
우선, 수집 모듈(110)은 빅데이터를 수집할 수 있다. 이때, 수집되는 빅데이터는 공간정보에 대한 대량의 데이터를 포함할 수 있다. 실시예로서, 공간정보는 위치정보 및 속성정보를 포함할 수 있다. 여기서, 위치정보는 대응되는 공간상에 존재하는 객체의 위치에 대한 정보(예컨대, 위, 경도 정보)를 의미하고, 속성정보는 공간정보의 속성(예컨대, 유형, 크기 등)에 관한 정보를 의미한다. 또한, 공간정보는 연관정보를 더 포함할 수 있다. 여기서, 연관정보는 공간상에 존재하는 객체와 관련된 공간적 인지 및 의사결정에 필요한 정보를 의미하며, 이러한 연관정보는 빅데이터 시스템이 공간정보들에 기초하여 분석정보를 생성할 때 활용될 수 있다. 예를 들면, 연관정보는 설정한 반경 내의 토지정보, 부동산 실거래가 정보, 부동산 가치 평가 정보, 건물의 속성정보 등을 비롯해 설정한 반경 내의 교육, 보건, 생활편의 등의 환경정보를 포함할 수 있다.
실시예에서, 수집 모듈(110)은 미리 구축된 API, 크롤링 엔진(Crawling engine) 등을 이용하여 다양한 소스(예컨대, 공공기관 서버, 웹사이트 등)로부터 공간정보를 포함하는 공공 데이터 및 개방 데이터를 수집할 수 있다.
다음으로, 관리 모듈(130) 및 처리 모듈(140)은 수집된 공간정보를 포함하는 빅데이터를 분산된 저장매체에 저장하는 것을 주관할 수 있다. 관리 모듈(130) 및 처리 모듈(140)이 공간정보를 저장 매체에 저장하는 과정을 상세히 설명하면 다음과 같다.
우선, 관리 모듈(130)은 공간정보 내 속성정보에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다. 실시예로서, 관리 모듈(130)은 데이터의 유형(type) 및 크기(size)와 같은 속성에 기초하여 공간정보가 저장될 저장개수 및 최소 저장단위 중 적어도 하나를 결정하고, 이에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈(140)을 지정할 수 있다.
또한, 관리 모듈(130)은 공간정보 내 위치정보 (예컨대 주소)에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 지정된 각 저장 장치의 저장 위치를 지정할 수 있다. 여기서, 표준코드는 전체 공간을 구성하는 개별 공간의 위치 및 개별 공간 간의 포함관계에 따라 관심 공간을 분류(예컨대, 계층적 분류)하는 코드로서, 예를 들면, 공공기관에 의해 정의된 행정표준코드(예컨대, 전자정부법 제 50조 및 동법 시행령 제 59조에 따른 행정표준코드)일 수 있다.
앞서 설명한 바와 같이, 본 명세서에서, 저장 장치의 파일 시스템상의 디렉토리 구조는 미리 정의된 표준코드(예컨대, 행정표준코드)의 체계와 동일한 체계의 계층 구조를 갖도록 설정되기 때문에, 빅데이터 시스템은 관리 모듈인 메모리 DB가 데이터의 분산 처리 과정에서의 공간정보의 속성에 따른 분산 처리만을 수행할 수 있어, 처리 속도를 높일 수 있고, 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 공간정보 중 위치정보의 체계 (즉, 디렉토리 구조)가 항상 유지될 수 있다는 이점을 갖는다.
또한, 관리 모듈(130)은 지정된 하나 이상의 처리 모듈(140)(도 2의 디렉토리 생성 로봇)에 저장 작업의 분산 처리를 지시할 수 있다. 각 처리 모듈(140)은 하나 이상의 저장 장치와 연결될 수 있다. 이때, 각 관리 모듈(130)은 하나 이상의 저장 장치를 공유할 수도 있다. 이 경우, 각 처리 모듈(140)은 연결된 저장 장치 중 적어도 일부에 대하여 상기 표준코드에 기초하여 지정된 저장 위치에 공간정보를 분산하여 저장할 수 있다.
갱신 모듈(150)(또는 갱신 봇)은 공간정보가 최초로 수집되어 저장 위치에 저장되거나 저장 위치에 저장된 공간정보가 변경되는 경우, 예약된 잡의 순서에 따라서 해당 저장 위치 주변을 돌면서 공간정보를 갱신할 수 있다.
일 실시예에서, 갱신 모듈(150)은 제1 공간정보가 최초로 수집되어 제1 저장 위치에 저장되거나 제1 저장 위치에 저장된 공간정보가 변경되는 경우, 상기 제1 저장 위치에 대응되는 표준코드 상의 제1 위치로부터 설정된 반경 내에 있는 주변 위치에 대응되는 저장 위치들에 상기 제1 공간정보 또는 변경된 공간 정보를 전송함으로써 저장 위치들에서 공간 정보를 갱신할 수 있다.
예를 들면, 제1 위치 (예컨대 서울시 종로구)를 갖는 제1 객체(예컨대, 토지)에 대한 제1 공간정보(예컨대, 가치 평가 정보)가 최초로 수집되어 제1 저장 위치(메인 저장 위치)에 저장되거나, 제1 저장 위치에 저장된 상기 제1 공간정보가 변경되는 경우, 공간 반경 단위의 빅데이터 분석을 위해, 제1 위치(예컨대, 서울시 종로구)로부터 미리 설정된 반경 내의 주변 위치(예컨대, 서울시 중구, 은평구, 서대문구, 성북구 등과 같이 주변 반경 이내 주소지)에 대응되는 주변 저장 위치에도 해당 정보를 전달하여 갱신해 주어야 하고, 해당 정보가 변경됨에 따라 2차 또는 3차 가공되어 저장된 정보(분석정보)들에 대하여 재가공하여 저장할 필요도 생긴다.
이를 위해, 처리 모듈(140)은 제1 위치(예컨대, 제1 주소지)에 대응되는 메인 저장 위치에 제1 공간정보를 최초로 저장한 이후에 또는 저장된 제1 공간정보가 변경된 경우에, 갱신 모듈(150)에 공간정보의 변경을 알리고, 갱신 모듈(150)은 제1 위치로부터 미리 설정된 반경 내에 있는 위치들(주소지들)에 대응되는 주변 저장 위치에 최초로 저장된 또는 변경된 제1 공간정보를 전달하고, 이에 따라 가공할 필요가 있는 분석정보가 있는 경우, 이를 재가공하여 저장하는 프로세스를 진행할 수 있다.
이러한 과정을 통해, 주변 저장 위치에서 공간정보의 갱신이 수행될 수 있다.
분석 프로세스
일 실시예에서, 분석 프로세스는 빅데이터 시스템 레이어(100)의 분석 모듈(120), 분석 모듈에 연결된 관리 모듈(130) 및 관리 모듈(130)에 연결된 복수의 처리 모듈(140)에 의해 수행될 수 있다.
우선, 분석 모듈(110)은 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다. 이때, 수신된 요청에는 공간정보의 조회가 요청된 위치에 대한 위치정보를 포함할 수 있다. 예를 들면, 분석 모듈(110)은 클라이언트 단말로부터 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다.
다음으로, 관리 모듈(130) 및 처리 모듈(140)은 요청된 공간정보를 조회하여 분석 모듈(120)로 제공할 수 있다. 관리 모듈(130) 및 처리 모듈(140)이 요청된 공간정보를 조회하여 분석 모듈(120)로 제공하는 과정을 상세히 설명하면 다음과 같다.
우선, 관리 모듈(130)은 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득할 수 있다. 이와 같이, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득함으로써, 빅데이터 시스템은 메모리 DB의 조회 과정 없이 위치에 맞는 공간정보에 빠른 속도로 도달할 수 있다는 이점을 갖는다.
다음으로, 관리 모듈(130)은 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다. 실시예로서, 관리 모듈(130)은 획득된 저장 장치의 저장 위치에 기초하여 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다.
또한, 관리 모듈(130)은 지정된 하나 이상의 처리 모듈(140)에 조회 작업의 분산 처리를 지시할 수 있다. 이 경우, 각 처리 모듈(140)은 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 분석 모듈(120)로 전달할 수 있다. 이후, 분석 모듈(120)은 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석함으로써 공간정보를 포함하는 데이터로부터 가치를 추출하고 결과를 분석할 수 있다. 예를 들면, 분석 모듈(120)은 공간 정보를 포함하는 데이터를 분석함으로써 조회가 요청된 공간 내의 부동산에 대한 가치 평가를 수행하여 상권을 분석할 수 있다. 분석 모듈(120)은 클라이언트 장치로 최종 분석 결과를 제공할 수 있다.
이에 대하여 예를 들어 설명하면, 빅데이터 시스템은 제1 모듈을 통해 주기적으로(예컨대, 매달) 수집된 공간정보를 포함하는 데이터를 기초로 디렉토리 구조를 생성하고, 제2 모듈을 통해 생성된 디렉토리의 키값에 해당하는 데이터를 축적하고, 제3 모듈을 통해 위치정보를 이용하여 미리 설정된 반경 내의 데이터를 검색하고, 제4 모듈을 통해 공간정보 내 연관 정보 (예컨대 실거래가 정보)와 위치정보의 상호작용을 분석함으로써, 모든 키값에 해당하는 가치 평가 분석을 실행할 수 있다. 이후, 사용자에게 최신 분석 데이터를 제공할 수 있도록 메모리 DB를 갱신할 수 있다. 여기서, 제1 모듈 내지 제4 모듈 중 적어도 하나는 상술한 분석 모듈(120)에 포함된 서브 모듈일 수 있다.
한편, 일 실시예에 있어서, 상술한 바와 같이 관리 모듈(130)이 수집 프로세스 및 분석 프로세스를 모두 수행할 수 있지만, 다른 일 실시예에 있어서는 수집 프로세스를 수행하는 수집 관리 모듈, 및 분석 프로세스를 수행하는 분석 관리 모듈을 포함할 수도 있다.
본 명세서에서, 빅데이터 시스템(100)을 구성하는 각각의 모듈은 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 도 1에서 수집 모듈(110), 분석 모듈(120), 관리 모듈(130) 및 처리 모듈(140)은 서로 구분되는 별개의 블록으로 도시되었으나, 이는 하나 이상의 프로세서에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 실시예에 따라서는 전술한 각 모듈 중 일부 또는 전부가 동일한 하나의 구성요소 내에 집적화될 수 있으며, 또는 하나 이상의 부가적인 다른 모듈과 물리적으로 구분되는 별개의 구성요소로 구현될 수도 있다. 예컨대, 수집 모듈(110), 분석 모듈(120), 관리 모듈(130) 및 처리 모듈(140)은 분산 컴퓨팅 환경하에서 서로 통신 가능하게 연결된 컴포넌트(component)들일 수도 있다. 또한, 처리 모듈(140)은 관리 모듈(130) 내에 포함된 특정한 기능을 수행하도록 구성된 봇(bot)일 수 있다.
도 6은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 수집 프로세스를 수행하는 방법을 나타내는 순서도이다. 도 6에서는 도 1 내지 5에서 설명한 내용과 동일하거나 유사한 내용에 대한 상세한 설명은 생략한다.
도 6을 참조하면, 빅데이터 시스템은 공간정보를 포함하는 데이터를 수집할 수 있다. 여기서, 공간정보는 위치정보 및 속성정보를 포함할 수 있다. 또한, 공간정보는 연관정보를 더 포함할 수 있다. 실시예에서, 빅데이터 시스템은 미리 구축된 크롤링 엔진(Crawling engine) 등을 이용하여 다양한 소스(예컨대, 공공기관 서버, 웹사이트 등)로부터 공간정보를 포함하는 공공 데이터 및 개방 데이터를 수집할 수 있다.
다음으로, 빅데이터 시스템은 공간정보 내 속성정보에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다(S20). 예를 들면, 빅데이터 시스템은 데이터의 유형(type) 및 크기(size)와 같은 속성에 기초하여 공간정보가 저장될 저장개수 및 최소 저장단위 중 적어도 하나를 결정하고, 이에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다. 각 처리 모듈은 하나 이상의 저장 장치와 연결될 수 있다. 이때, 각 처리 모듈은 하나 이상의 저장 장치를 공유할 수도 있다.
다음으로, 빅데이터 시스템은 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 지정된 각 저장 장치의 저장 위치를 지정할 수 있다(S30). 여기서, 표준코드는 각 공간의 위치 및 공간 간의 포함관계에 따라 관심 공간을 분류(예컨대, 계층적 분류)하는 코드로서, 예컨대, 공공기관에 의해 정의된 행정표준코드일 수 있다.
본 명세서에서, 저장 장치의 파일 시스템 상의 디렉토리 구조는 미리 정의된 표준코드(예컨대, 행정표준코드)의 체계와 동일한 체계의 계층 구조를 갖도록 설정되기 때문에, 빅데이터 시스템은 메모리 DB가 데이터의 분산 처리 과정에서의 공간정보의 속성 및 크기에 따른 분산 처리만을 수행할 수 있어, 처리 속도를 높일 수 있고, 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 이점을 갖는다.
또한, 빅데이터 시스템은 지정된 하나 이상의 처리 모듈에 저장 작업의 분산 처리를 지시할 수 있다. 이 경우, 빅데이터 시스템은 각 처리 모듈을 통해, 연결된 저장 장치 중 적어도 일부에 대하여 상기 표준코드에 기초하여 지정된 저장 위치에 공간정보를 분산하여 저장할 수 있다(S40).
도 7은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 분석 프로세스를 수행하는 방법을 나타내는 순서도이다. 도 7에서는 도 1 내지 5에서 설명한 내용과 동일하거나 유사한 내용에 대한 상세한 설명은 생략한다.
도 7을 참조하면, 빅데이터 시스템은 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다(S110). 이때, 수신된 요청에는 공간정보의 조회가 요청된 위치에 대한 위치정보를 포함할 수 있다. 예를 들면, 분석 모듈은 클라이언트 단말로부터 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다.
다음으로, 빅데이터 시스템은 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득할 수 있다(S120). 이와 같이, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득함으로써, 빅데이터 시스템은 메모리 DB의 조회 과정 없이 위치에 맞는 공간정보에 빠른 속도로 도달 할 수 있다는 이점을 갖는다.
다음으로, 빅데이터 시스템은 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다(S130). 실시예로서, 빅데이터 시스템은 획득된 저장 장치의 저장 위치에 기초하여 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다.
다음으로, 빅데이터 시스템은 지정된 하나 이상의 처리 모듈에 조회 작업의 분산 처리를 지시할 수 있다(S140). 이 경우, 빅데이터 시스템은 각 처리 모듈을 통해, 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 분석 모듈로 전달할 수 있다.
다음으로, 빅데이터 시스템은 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석함으로써 공간정보를 포함하는 데이터로부터 가치를 추출하고 결과를 분석할 수 있다(S150). 예를 들면, 빅데이터 시스템은 공간 정보를 포함하는 데이터를 분석함으로써 조회가 요청된 공간 내의 부동산에 대한 가치 평가를 수행하여 상권을 분석할 수 있다. 빅데이터 시스템은 클라이언트 장치로 최종 분석 결과를 제공할 수 있다.
또한, 이상에서 설명한 실시예들에 따른 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 서류수령 대행 방법을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 명세서에 따르면, 빅데이터 시스템은 수집된 공간정보에 미리 정의된 표준코드를 부여하고, 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장장치의 디렉토리에 표준코드가 부여된 공간정보를 저장하기 때문에, 메모리 DB(database)가 데이터의 분산 처리 과정에서의 공간정보의 속성에 따른 분산 처리만을 수행할 수 있다. 따라서, 처리 속도를 높일 수 있고 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 효과를 갖는다.

Claims (14)

  1. 공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템에 있어서,
    미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장 장치의 파일 시스템의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 것을 특징으로 하는, 빅데이터 시스템.
  2. 제 1 항에 있어서,
    상기 미리 정의된 표준코드는, 전체 공간을 구성하는 개별 공간의 위치 및 개별 공간 간의 포함관계에 따라 관심 공간을 분류하는 코드인 것을 특징으로 하는, 빅데이터 시스템.
  3. 제 2 항에 있어서,
    상기 미리 정의된 표준코드는, 공공기관에 의해 정의된 행정표준코드인 것을 특징으로 하는, 빅데이터 시스템.
  4. 제 1 항에 있어서,
    상기 빅데이터 시스템은, 분산 스토리지 레이어; 및 빅데이터 시스템 레이어;를 포함하고,
    상기 분산 스토리지 레이어는 복수의 저장 장치를 포함하고,
    상기 빅데이터 시스템 레이어는, 상기 저장 장치의 파일 시스템에 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 디렉토리를 생성하는 것을 특징으로 하는, 빅데이터 시스템.
  5. 제 4 항에 있어서,
    상기 빅데이터 시스템은, 상기 빅데이터 시스템으로부터 얻어지는 빅데이터를 기초로 서비스를 제공하는 서비스 레이어를 더 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  6. 제 4 항에 있어서,
    상기 빅데이터 시스템 레이어는,
    위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 수집 모듈;
    상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하고, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하며 부여된 표준코드에 기초하여 설정된 디렉토리에 따라 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 관리 모듈; 및
    지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 처리 모듈을 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  7. 제 6 항에 있어서,
    상기 빅데이터 시스템 레이어는,
    제1 공간정보가 최초로 수집되어 제1 저장 위치에 저장되거나 제1 저장 위치에 저장된 공간정보가 변경되는 경우,
    상기 제1 저장 위치에 대응되는 상기 표준코드 상의 제1 위치로부터 설정된 반경 내에 있는 주변 위치에 대응되는 저장 위치들에 상기 제1 공간정보 또는 변경된 제1 공간 정보를 전송함으로써 공간 정보를 갱신하거나, 또는 공간 정보에 따라 가공되는 분석 정보를 재가공하는 갱신 모듈;을 더 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  8. 제 4 항에 있어서,
    상기 빅데이터 시스템 레이어는,
    특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하고, 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석하여 분석정보를 생성하는 분석 모듈;
    공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하며 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하고, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 관리 모듈; 및
    상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 처리 모듈을 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  9. 제 8 항에 있어서,
    상기 분석 정보는 갱신되는 것을 특징으로 하는, 빅데이터 시스템.
  10. 공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템의 프로세스 수행 방법에 있어서,
    수집된 공간정보에 미리 정의된 표준코드를 부여하고, 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장장치의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 것을 특징으로 하는, 빅데이터 시스템의 프로세스 수행 방법.
  11. 제 10 항에 있어서,
    수집 모듈에 의해, 위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 단계;
    관리 모듈에 의해, 상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계;
    상기 관리 모듈에 의해, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 단계; 및
    상기 처리 모듈에 의해, 지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 단계를 포함하여, 빅데이터 시스템이 수집 프로세스를 수행하는 것을 특징으로 하는, 빅데이터 시스템의 프로세스 수행 방법.
  12. 제 11 항에 있어서,
    갱신 모듈에 의해, 제1 공간정보가 최초로 수집되어 제1 저장 위치에 저장되거나 제1 저장 위치에 저장된 공간정보가 변경되는 경우, 상기 제1 저장 위치에 대응되는 상기 표준코드 상의 제1 위치로부터 설정된 반경 내에 있는 주변 위치에 대응되는 저장 위치들에 상기 제1 공간정보 또는 변경된 제1 공간 정보를 전송함으로써 주변 위치에서의 공간 정보를 갱신하거나, 또는 공간 정보에 따라 가공되는 분석 정보를 재가공하는 갱신 단계를 더 포함하는, 빅데이터 시스템의 프로세스 수행 방법.
  13. 제 10 항에 있어서,
    분석 모듈에 의해, 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하는 단계;
    관리 모듈에 의해, 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하는 단계;
    상기 관리 모듈에 의해, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계; 및
    상기 처리 모듈에 의해, 상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 단계를 포함하여, 빅데이터 시스템이 분석 프로세스를 수행하는 것을 특징으로 하는, 빅데이터 시스템의 프로세스 수행 방법.
  14. 제 13 항에 있어서,
    상기 분석 모듈에 의해, 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석하여 분석정보를 생성하는 단계를 더 포함하는, 빅데이터 시스템의 프로세스 수행 방법.
PCT/KR2016/013341 2016-02-24 2016-11-18 위치 기반 빅데이터 시스템 WO2017146348A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160021624A KR101773910B1 (ko) 2016-02-24 2016-02-24 위치 기반 빅데이터 시스템
KR10-2016-0021624 2016-02-24

Publications (1)

Publication Number Publication Date
WO2017146348A1 true WO2017146348A1 (ko) 2017-08-31

Family

ID=59685324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013341 WO2017146348A1 (ko) 2016-02-24 2016-11-18 위치 기반 빅데이터 시스템

Country Status (2)

Country Link
KR (1) KR101773910B1 (ko)
WO (1) WO2017146348A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743506A (zh) * 2023-09-04 2024-03-22 应急管理部大数据中心 一种基于自然语言的数据关联查询方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160816B1 (ko) * 2019-10-16 2020-09-28 주식회사 엘에프아이티 Gis 기반 서비스 제공 시스템
CN112115150B (zh) * 2020-08-03 2024-03-19 上海金仕达软件科技股份有限公司 嵌入式内存数据库的数据管理方法、终端设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090198662A1 (en) * 2005-02-22 2009-08-06 Bangalore Subbaramaiah Prabhakar Techniques for Crawling Dynamic Web Content
KR20140048396A (ko) * 2012-10-11 2014-04-24 주식회사 케이티 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
KR101463974B1 (ko) * 2014-05-26 2014-11-26 (주)시엠아이코리아 마케팅을 위한 빅데이터 분석 시스템 및 방법
KR20150057322A (ko) * 2013-11-19 2015-05-28 한국과학기술정보연구원 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법
KR20150058578A (ko) * 2013-11-18 2015-05-29 (주)스마트비즈온 전자계약 또는 전자세금계산서를 활용한 빅 데이터 구축 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090198662A1 (en) * 2005-02-22 2009-08-06 Bangalore Subbaramaiah Prabhakar Techniques for Crawling Dynamic Web Content
KR20140048396A (ko) * 2012-10-11 2014-04-24 주식회사 케이티 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
KR20150058578A (ko) * 2013-11-18 2015-05-29 (주)스마트비즈온 전자계약 또는 전자세금계산서를 활용한 빅 데이터 구축 시스템
KR20150057322A (ko) * 2013-11-19 2015-05-28 한국과학기술정보연구원 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법
KR101463974B1 (ko) * 2014-05-26 2014-11-26 (주)시엠아이코리아 마케팅을 위한 빅데이터 분석 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743506A (zh) * 2023-09-04 2024-03-22 应急管理部大数据中心 一种基于自然语言的数据关联查询方法及系统
CN117743506B (zh) * 2023-09-04 2024-05-28 应急管理部大数据中心 一种基于自然语言的数据关联查询方法及系统

Also Published As

Publication number Publication date
KR101773910B1 (ko) 2017-09-01

Similar Documents

Publication Publication Date Title
US10528579B2 (en) Method, system, and apparatus for enterprise wide storage and retrieval of large amounts of data
US10372883B2 (en) Satellite and central asset registry systems and methods and rights management systems
US9158843B1 (en) Addressing mechanism for data at world wide scale
US9292575B2 (en) Dynamic data aggregation from a plurality of data sources
CN102164186B (zh) 一种实现云搜索服务的方法及系统
US20110082879A1 (en) Proxy Support For Special Subtree Entries In A Directory Information Tree Using Attribute Rules
US20170374392A1 (en) Central asset registry system and method
WO2017196701A1 (en) Distributed data access control
CN1842008A (zh) 用于通过网络提供定制内容的方法和系统
US7783689B2 (en) On-site search engine for the World Wide Web
JP5557824B2 (ja) 階層ファイルストレージに対する差分インデクシング方法
WO2017146348A1 (ko) 위치 기반 빅데이터 시스템
US11843622B1 (en) Providing machine learning models for classifying domain names for malware detection
CN102682036A (zh) 一种基于非编系统的媒资检索方法和系统
US9870422B2 (en) Natural language search
CN109947759A (zh) 一种数据索引建立方法、索引检索方法及装置
Rehman et al. Building socially-enabled event-enriched maps
TWI362595B (en) Collaborative tagging systems and methods for resources
WO2018144536A1 (en) Satellite and central asset registry systems and methods and rights management systems
KR101877885B1 (ko) 공공의 공개 데이터 연계장치 및 그 방법
CN114443920A (zh) 地址信息解析方法、装置、电子设备和计算机可读介质
CN112783842B (zh) 一种日志收集方法和装置
Corti et al. Hypermap registry: an open source, standards-based geospatial registry and search platform
Mokbel et al. Microblogs data management systems: querying, analysis, and visualization
WO2020009287A1 (ko) 블록체인 및 분산 인프라 피투피 모델 기반 피오알 증명을 이용한 인터넷 서비스 제공 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16891750

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16891750

Country of ref document: EP

Kind code of ref document: A1