KR20190130957A - 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 - Google Patents

미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20190130957A
KR20190130957A KR1020190041226A KR20190041226A KR20190130957A KR 20190130957 A KR20190130957 A KR 20190130957A KR 1020190041226 A KR1020190041226 A KR 1020190041226A KR 20190041226 A KR20190041226 A KR 20190041226A KR 20190130957 A KR20190130957 A KR 20190130957A
Authority
KR
South Korea
Prior art keywords
scraping
information
server
request
cloud
Prior art date
Application number
KR1020190041226A
Other languages
English (en)
Inventor
정재원
백청석
Original Assignee
주식회사쿠콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사쿠콘 filed Critical 주식회사쿠콘
Priority to KR1020190041226A priority Critical patent/KR20190130957A/ko
Publication of KR20190130957A publication Critical patent/KR20190130957A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템은, 사용자 단말로부터 스크래핑 요청을 수신하면, 수신한 스크래핑 요청에 대한 응답 정보를 상기 사용자 단말에 제공하는 정보 제공 서버 및 미리 스크래핑된 정보를 저장하고 있는 빅데이터 저장소를 포함하되, 상기 정보 제공 서버는, 상기 스크래핑 요청이 정적인 정보에 대한 것인 경우 상기 미리 스크래핑된 정보를 이용하여 상기 응답 정보를 획득한다. 위 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템에 의하면 정적인 정보들은 미리 스크래핑 하여 빅데이터 저장소에 저장해둠으로써 이후 사용자 단말의 스크래핑 요청에 빠르게 답변할 수 있는 이점이 있다. 또한 스크래핑 대상이 되는 외부 기관의 정책 정보를 기초로 싱글 또는 멀티 처리 스크래핑 서버를 적절히 이용함으로써 스크래핑 서버 운용 효율을 향상시킬 수 있다.

Description

미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR CLOUD SCRAPPING USING PRE-SCRAPPED BIGDATA}
실시예들은 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램에 대한 것으로, 보다 구체적으로는, 소정의 정보를 미리 스크래핑(scrapping)하여 빅데이터 저장소에 저장하고, 사용자 단말의 스크래핑 요청이 있는 경우 빅데이터 저장소에 저장된 정보를 기초로 스크래핑 요청에 대한 응답을 제공하는 기술에 관련된 것이다.
최근 정보통신기술(Information & Communication Technology; ICT)의 발전에 따라 다양한 스크래핑(scrapping) 방식이 외부 기관에 저장된 정보를 취득하기 위해 이용되고 있다. 스크래핑에는 금융기관 서버 등에 접속하여 스크린에 보이는 데이터 중 필요한 것만 추출해 오는 스크린 스크래핑(screen scraping)과, 금융기관 서버 등에 접속하여 금융기관이 제공하는 정보 중 필요한 것을 파싱(parsing)하여 수신하는 데이터 스크래핑(data scrapping)이 있다.
한편, 최근에는 스크래핑 서버를 이용하여 스크래핑을 수행하는 클라우드 스크래핑(cloud scrapping) 기술이 널리 이용되고 있다. 그런데 이러한 클라우드 스크래핑 기술은 사용자의 스크래핑 요청에 대하여 각각 스크래핑을 수행하게 되므로, 스크래핑 요청의 수 또는 스크래핑 요청의 대상 외부 기관의 종류가 증가함에 따라 처리량이 증가하는 문제가 있다.
공개특허공보 제 10-2016-0125653호
본 발명의 일 측면에 따르면, 사용자 단말의 스크래핑(scrapping) 요청에 대하여 소정 형식의 정보에 대하여는 빅데이터 저장소에 저장된 정보를 기초로 빠르게 응답할 수 있고, 외부 기관 정책을 참고하여 스크래핑 서버를 효율적으로 운영할 수 있는 클라우드 스크래핑(cloud scrapping) 시스템 및 방법과, 이를 위한 컴퓨터 프로그램을 제공할 수 있다.
일 실시예에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑(cloud scrapping) 시스템은, 사용자 단말로부터 스크래핑 요청을 수신하면, 수신한 스크래핑 요청에 대한 응답 정보를 상기 사용자 단말에 제공하는 정보 제공 서버 및 미리 스크래핑된 정보를 저장하고 있는 빅데이터 저장소를 포함하되, 상기 정보 제공 서버는, 상기 스크래핑 요청이 정적인 정보에 대한 것인 경우 상기 미리 스크래핑된 정보를 이용하여 상기 응답 정보를 획득할 수 있다.
일 실시예에 있어서, 외부 기관 서버에 대하여 스크래핑을 수행하는 스크래핑 서버를 더 포함하되, 상기 스크래핑 요청이 동적인 정보에 대한 것인 경우, 상기 정보 제공 서버는 상기 스크래핑 요청을 상기 스크래핑 서버에 전송하고, 상기 스크래핑 서버는 외부 기관 서버를 스크래핑 하여 상기 스크래핑 요청에 대한 응답 정보를 획득하여 상기 정보 제공 서버에 전송할 수 있다.
일 실시예에 있어서, 상기 정보 제공 서버는, 상기 스크래핑 요청에 대한 응답정보를 상기 빅데이터 저장소에서 찾지 못하는 경우, 상기 스크래핑 요청을 상기 스크래핑 서버에 전송할 수 있다.
일 실시예에 있어서, 상기 정적인 정보는, 주소목록, 부동산 시세정보, 부동산 실거래 정보, 대출상품, 금리정보, 경제지표, 사업자 휴폐업 정보 중 하나 이상을 포함할 수 있다.
일 실시예에 있어서, 상기 스크래핑 서버는 싱글 처리 스크래핑 서버 및 멀티 처리 스크래핑 서버를 포함하고, 상기 정보 제공 서버는, 상기 스크래핑 요청의 대상이 되는 외부 기관의 정책 정보를 기초로 상기 스크래핑 요청을 상기 싱글 처리 스크래핑 서버 또는 멀티 처리 스크래핑 서버 중 적어도 하나에 할당할 수 있다.
일 실시예에 있어서, 상기 정보 제공 서버와 상기 스크래핑 서버 사이에 배치되는 분배 서버를 더 포함하되, 상기 분배 서버는, 상기 정보 제공 서버로부터 수신한 스크래핑 요청을 동작 가능한 스크래핑 서버에 분배하고, 스크래핑 서버로부터 응답 정보를 수신하여 상기 정보 제공 서버에 전송할 수 있다.
일 실시예에 있어서, 상기 사용자 단말에서 스크래핑이 직접 수행되면서 오류가 발생하면, 오류 발생시 사용자 단말에 입력된 스크래핑 입력정보로부터 오류 로그를 분석하고, 분석된 오류 로그를 기초로 상기 사용자 단말 내 스크래핑 모듈이 업데이트되게 하는 스크래핑 오류 수정 서버를 더 포함할 수 있다.
일 실시예에 따른 클라우드 스크래핑 시스템에 의해 실행되는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법은, 사용자 단말로부터 스크래핑 요청을 수신하는 단계, 상기 스크래핑 요청의 특성을 판단하는 단계, 상기 스크래핑 요청이 정적인 정보에 대한 것인 경우, 빅데이터 저장소에 저장된 미리 스크래핑된 정보를 이용하여 응답정보를 생성하는 단계 및 생성된 응답정보를 상기 사용자 단말에 제공하는 단계를 포함한다.
일 실시예에 있어서, 상기 스크래핑 요청이 동적인 정보에 대한 것인 경우, 외부 기관 서버를 스크래핑 하여 상기 스크래핑 요청에 대한 응답 정보를 획득하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 미리 스크래핑된 정보를 이용하여 응답정보를 생성하는 단계에서, 상기 스크래핑 요청에 대한 응답정보를 상기 빅데이터 저장소에서 찾지 못하는 경우, 외부 기관 서버를 스크래핑 하여 상기 스크래핑 요청에 대한 응답 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 정적인 정보는, 주소목록, 부동산 시세정보, 부동산 실거래 정보, 대출상품, 금리정보, 경제지표, 사업자 휴폐업 정보 중 하나 이상을 포함할 수 있다.
일 실시예에 있어서, 상기 스크래핑 요청의 대상이 되는 외부 기관의 정책 정보를 기초로 상기 스크래핑 요청을 싱글 처리 스크래핑 서버 또는 멀티 처리 스크래핑 서버 중 적어도 하나에 할당하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 사용자 단말에서 스크래핑이 직접 수행되면서 오류가 발생하면, 오류 발생시 사용자 단말에 입력된 스크래핑 입력정보로부터 오류 로그를 분석하는 단계 및 분석된 오류 로그를 기초로 상기 사용자 단말 내 스크래핑 모듈이 업데이트되게 하는 단계를 더 포함할 수 있다.
일 실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램은 하드웨어와 결합되어 상술한 방법을 실행할 수 있다.
본 발명의 일 측면에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑(cloud scrapping) 시스템 및 방법에 의하면, 정적인 정보들은 미리 스크래핑 하여 빅데이터 저장소에 저장해둠으로써 이후 사용자 단말의 스크래핑 요청에 빠르게 답변할 수 있는 이점이 있다.
또한, 본 발명의 일 측면에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법에 의하면, 스크래핑 대상이 되는 외부 기관의 정책 정보를 기초로 싱글 또는 멀티 처리 스크래핑 서버를 적절히 이용함으로써, 스크래핑 서버 운용 효율을 향상시킬 수 있는 이점이 있다.
나아가, 본 발명의 일 측면에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법에 의하면, 사용자 단말에서 직접 스크래핑시 발생되는 오류를 클라우드 스크래핑 시스템 단에서 분석하고 오류에 대한 해결책으로서 사용자 단말의 스크래핑 모듈을 업데이트시켜줄 수 있는 이점이 있다.
도 1은 일 실시예에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑(cloud scrapping) 시스템의 개략적인 구성을 나타내는 블록도이다.
도 2 및 도 3은 실시예에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법의 과정을 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따라 빅데이터 저장소에 미리 스크래핑된 정보를 구축하는 과정을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 스크래핑 서버의 종류에 따른 스크래핑 동작 환경을 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 있어서, 사용자 단말에서 스크래핑이 직접 수행되면서 오류가 발생한 경우 이러한 오류를 수정하기 위한 절차를 설명하기 위한 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑(cloud scrapping) 시스템의 개략적인 구성을 나타내는 블록도이다.
도 1을 참조하면, 실시예들에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템(100)은 정보 제공 서버(110) 및 빅데이터 저장소(120)를 포함할 수 있다. 다른 실시예에서, 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템(100)은 분배 서버(130), 스크래핑 서버(140), 빅데이터 수집서버(150) 및 스크래핑 오류 수정 서버(160) 중 하나 이상을 더 포함할 수도 있다.
실시예들에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템(100)은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "서버", "시스템", "플랫폼", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
클라우드 스크래핑 시스템(100)은 유선 및/또는 무선 네트워크를 통하여 사용자 단말(10), 외부기관 서버(20) 등과 상호 간에 통신 가능하게 연결될 수 있다. 유선 및/또는 무선 네트워크를 통한 통신 방법은 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다.
클라우드 스크래핑 시스템(100)과 사용자 단말(10) 사이의 통신은 클라우드 스크래핑 시스템(100)에서 규정한 API(Application Programming Interface)를 통하여 수행될 수 있다. API는 사전에 설정된 규약어를 통한 클라우드 스크래핑 시스템(100)과의 통신을 통하여 금융 처리 결과 및 사용자 인터페이스 등을 제공받고 나아가 직접 응용 프로그램과 서비스를 개발할 수 있는 도구를 지칭한다.
사용자 단말(10)은 클라우드 스크래핑 시스템(100)을 통해서 외부 기관 서버(20)로부터 소정의 정보를 스크래핑하여 획득하기 위해 사용자가 사용하는 장치이다. 사용자 단말(10)은 데이터 입력을 위한 입력장치, 처리 결과를 출력하는 출력 장치 및 입력장치를 통해 입력된 데이터를 연산 및 처리하여 그 처리 결과를 생성하는 연산장치를 포함할 수 있다. 사용자 단말(10)은 입력 데이터를 바탕으로 외부 기관 서버(20) 또는 스크래핑 시스템(100) 등과 통신하고, 그 처리 결과를 수신하여 출력함으로써 사용자가 소정의 정보를 스크래핑하여 확인할 수 있도록 한다. 사용자 단말(10)로는 스마트폰(smartphone)과 같은 모바일 컴퓨팅 장치, 개인용 컴퓨터, 노트북, 넷북, 태블릿 PC(Tablet PC), PDA(Personal Digital Assistant) 등이 채용될 수 있으나, 이에 한정되는 것은 아니다.
사용자 단말(10)은 자체 보유하고 있는 스크래핑 모듈을 통해 직접 외부 기관 서버(20)로부터 특정 정보를 스크래핑할 수도 있고, 클라우드 스크래핑 시스템(100)을 통해 스크래핑 요청을 하고 그 결과를 받을 수도 있다.
외부 기관 서버(20)는 은행, 증권사, 공공기관 등 다양한 정보를 저장하고 있는 임의의 서버를 의미한다. 외부 기관 서버(20)가 보유하고 있는 정보는 시간의 흐름에 따라 변하지 않는 정적인 정보와 실시간으로 변화하는 동적인 정보로 구분될 수 있다. 예컨대, 과거 기록에 대한 정보는 정적인 정보이고, 새롭게 실시간 업데이트되는 정보는 동적인 정보로 볼 수 있다.
도 2 및 도 3은 실시예에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법의 과정을 나타내는 순서도이다. 실시예들에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법은 상술한 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템의 구성요소들에 의해 구현될 수 있다.
도 2를 참조하면, 정보 제공 서버(110)는 사용자 단말(10)로부터 스크래핑 요청을 수신한다(S11). 그 후 정보 제공 서버(110)는 스크래핑 요청의 특징을 판단하여 스크래핑 요청이 정적인 정보에 대한 것인지 동적인 정보에 대한 것인지 결정한다(S12).
일 실시예에서, 정보 제공 서버(110)는 스크래핑 요청을 수신하기 전에 사용자 단말(10)에 인증키를 발급하고, 이를 검증함으로써 사용자 단말의 사용자를 검증할 수도 있다.
정보 제공 서버(110)는, 상기 스크래핑 요청이 정적인 정보에 대한 것인 경우 빅데이터 저장소(120)에 저장된 미리 스크래핑된 정보를 이용하여 응답 정보를 획득할 수 있다(S13). 여기서 '미리 스크래핑된 정보'란, 사용자가 스크래핑 요청할 것으로 예상되는 사항들에 대해 클라우드 스크래핑이 주기적 및/또는 비주기적으로 미리 스크래핑을 실시하여 얻은 결과를 의미한다. 정적인 정보는 변화되지 않으므로, 미리 스크래핑 하여 빅데이터 저장소(120)에 구축해 놓음으로써 사용자의 스크래핑 요청에 빠르게 대응할 수 있다.
그 후, 정보 제공 서버(110)는 응답 정보를 사용자 단말(10)에 제공한다(S14). 이상의 과정에 있어서, 스크래핑 처리를 위해서는 사용자 단말(10)로부터 인증 정보가 클라우드 스크래핑 시스템에 제공되는 경우, 정보 제공 서버(110)는 인증 정보의 이용이 완료된 후 이를 바로 삭제함으로써 사용자의 인증 정보에 대한 보안상의 위험을 제거한다.
도 3은 사용자 단말(10)의 스크래핑 요청이 동적인 정보에 대한 것인 경우를 나타낸다.
도 3을 참조하면, 동적인 정보는 외부 기관 서버(20)에서 실시간 스크래핑을 수행하여 획득하는 것이 적절하므로, 스크래핑을 수행하는 스크래핑 서버(140)가 필요하다. 또한, 스크래핑 요청을 적절히 스크래핑 서버(140)에 분배하기 위해 분배 서버(130)가 클라우드 스크래핑 시스템에 포함될 수 있다.
도 3을 참조하면, 정보 제공 서버(110)는 사용자 단말(10)로부터 스크래핑 요청을 수신하고(S21), 스크래핑 요청의 특징을 판단하여 스크래핑 요청이 정적인 또는 동적인 정보에 대한 것인지 판단한다(S22).
스크래핑 요청이 동적인 정보에 대한 것인 경우, 정보 제공 서버(110)는 스크래핑 요청을 스크래핑 서버에 전송하고(S23, S25), 스크래핑 서버(140)는 외부 기관 서버(20)를 스크래핑 하여 스크래핑 요청에 대한 응답 정보를 획득한다(S26). 그 후 스크래핑 서버(140)는 정보 제공 서버에 응답 정보를 전송한다(S27, S28). 그 후, 정보 제공 서버(110)는 응답 정보를 사용자 단말(10)에 제공한다(S29).
또한, 경우에 따라서는 스크래핑 정보가 정적인 정보에 관한 것이라고 하더라도 빅데이터 저장소에 이에 대한 응답정보가 저장되어 있지 않을 수 있다. 따라서 정보 제공 서버(110)는, 스크래핑 요청에 대한 응답정보를 상기 빅데이터 저장소(120)에서 찾지 못하는 경우, 스크래핑 요청을 상기 스크래핑 서버(140)에 전송할 수 있다. 즉 일차적으로 빅데이터 저장소(120)에서 스크래핑 요청에 대한 답을 찾고, 답을 찾지 못한 경우 이차적으로 스크래핑 서버(140)를 통해 스크래핑 요청에 대한 응답 정보를 찾을 수 있다.
여기서 빅데이터 저장소(120)에 저장되는 정적인 정보들은 상대적으로 정보의 갱신 주기가 긴 특성을 가지는 정보들로서, 예를 들어, 주소목록, 부동산 시세정보, 부동산 실거래 정보, 대출상품, 금리정보, 경제지표, 사업자 휴폐업 정보 중 하나 이상을 포함할 수 있으나 이에 본 발명이 제한되는 것은 아니다. 빅데이터 저장소(120)에 미리 저장해 놓음으로써 스크래핑 요청에 대한 답변 효율을 높일 수 있다면 어떤 형태의 정보도 상기 정적인 정보에 포함될 수 있다.
도 4는 본 발명의 일 실시예에 따라 빅데이터 저장소(120)에 미리 스크래핑된 정보를 구축하는 과정을 설명하는 순서도이다.
도 4를 참조하면, 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템(100)의 관리자 장치(101)는 빅데이터 수집 서버(150)에 빅데이터 수집 등록을 전송할 수 있다(S31). 여기서 관리자 장치(101)는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템(100)을 운영하는 관리자가 사용하는 컴퓨팅 장치를 의미한다.
그 후, 빅데이터 수집서버(150)는 빅데이터 수집 등록 정보를 기초로 스크래핑을 예약하고(S32), 예약된 스케쥴에 맞춰서 분배 서버(130)에 스크래핑 요청을 전송한다(S33). 분배 서버(130)는 가용 스크래핑 서버(140)를 검색하고(S34), 스크래핑 요청을 스크래핑 서버(140)에 할당한다(S35). 스크래핑 요청을 할당받은 스크래핑 서버(140)는 외부 기관 서버(20)에 스크래핑을 수행하고(S36), 결과물인 응답 정보를 분배 서버(130)에 전달한다(S37). 분배 서버(130)는 응답 정보를 빅데이터 수집 서버(150)에 다시 전달하고, 빅데이터 수집 서버(150)는 응답 정보를 빅데이터 저장소(120)에 저장한다.
이에 따라서 관리자 장치(101)가 계획한 소정의 스크래핑 요청에 대하여는 그 응답 정보가 미리 스크래핑 되어 빅데이터 저장소(120)에 구축될 수 있다.
도 3을 다시 참조하면, 정보 제공 서버(110)는 스크래핑 서버(140)에 스크래핑 요청을 직접 전송하거나, 분배 서버(130)를 경유해서 전송할 수도 있다. 분배 서버(130)는 스크래핑 요청을 기초로 사용 가능한 스크래핑 서버를 검색하고(S24), 스크래핑 서버(140)를 결정한 후 결정된 스크래핑 서버(140)에 스크래핑 요청을 할당할 수 있다. 또한, 분배서버(130)는 스크래핑 서버(140)가 스크래핑하여 획득한 응답 정보를 스크래핑 서버(140)로부터 수신하여(S27), 정보제공서버(110)에 전달할 수 있다.
또한, 분배 서버(130)는 스크래핑 서버의 작동 상태를 모니터링하고, 스크래핑 엔진 자동 배포 기능을 수행할 수도 있다. 또한 분배 서버(130)는 서버별, 업무별 최대 멀티 스크래핑 처리량에 따라서 가용한 스크래핑 서버를 선정할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 스크래핑 서버(140)의 종류에 따른 스크래핑 동작 환경을 나타내는 블록도이다.
도 5를 참조하면 스크래핑 서버는 싱글 처리 스크래핑 서버 및 멀티 처리 스크래핑 서버를 포함할 수 있다. 본 발명의 실시예들에서, 분배서버(130), 싱글 처리 스크래핑 서버(141) 및 멀티 처리 스크래핑 서버(142) 등의 모든 서버는 통신 환경에 따른 장애를 방지하고자 동일한 기능을 수행하는 장비들의 2개 이상의 세트로서 이중화 또는 다중화된 구성을 가질 수 있다. 따라서, 도 5에 도시된 분배서버(130), 싱글 처리 스크래핑 서버(141) 및 멀티 처리 스크래핑 서버(142) 등은 실제 운용되는 장비의 개수나 형태를 한정하는 것이 아니라는 점이 이해되어야 한다.
정보 제공 서버(110)는, 스크래핑 요청의 대상이 되는 외부 기관의 정책 정보를 기초로 스크래핑 요청을 싱글 처리 스크래핑 서버(141) 또는 멀티 처리 스크래핑 서버(142) 중 적어도 하나에 할당할 수 있다. 정보 제공 서버(110)는 스크래핑 요청을 분석하여 대상 외부 기관을 확인하고, 확인된 외부 기관의 정책정보를 참고하여 싱글처리 또는 멀티처리 스크래핑을 결정할 수 있다.
예컨대, 외부 기관의 정책 정보가 외부 기관 서버(20)로 단일 로그인만 가능한 경우, 정보 제공 서버(110)는 분배 서버(130)를 통해 싱글 처리 스크래핑 서버(141)로 스크래핑 요청을 할당할 수 있다. 이 경우 싱글 처리 스크래핑 서버(141)는 싱글 스크래핑(S41)을 수행할 수 있다.
이와 달리 외부 기관의 정책 정보가 외부 기관 서버(20)로 다중 로그인이 허용되는 경우, 정보 제공 서버(110)는 분배 서버(130)를 통해 멀티 처리 스크래핑 서버(142)로 스크래핑 요청을 각각 할당할 수 있다. 이 경우 멀티 처리 스크래핑 서버(142)는 다중 로그인 하여 멀티 스크래핑(S421, S422)을 수행할 수 있다. 멀티 처리 스크래핑 서버(142)로의 분배에 있어서, 분배 서버(130)는 각 멀티 처리 스크래핑 서버(142)에 현재 할당되어 있는 스크래핑 작업량을 확인하고, 현재 작업을 수행하고 있지 않은 파이프라인이 존재하는 멀티 처리 스크래핑 서버(142)로 스크래핑 작업을 할당할 수 있다.
도 6은 본 발명의 일 실시예에 있어서, 사용자 단말에서 스크래핑이 직접 수행되면서 오류가 발생한 경우 이러한 오류를 수정하기 위한 절차를 설명하기 위한 순서도이다.
실시예들에 따른 클라우드 스크래핑 시스템은 사용자로부터 수신된 요청에 따라 클라우드 스크래핑 시스템에서 스크래핑을 수행하고 그 결과를 제공하지만, 추가적으로 사용자 단말에서 직접 스크래핑을 수행하는 클라이언트(client) 스크래핑 동작에 있어서 사용자 단말 상의 스크래핑 모듈에서 발생하는 오류를 해결하기 위해 사용자 단말 상의 스크래핑 모듈을 업데이트하는 동작을 수행할 수 있다.
종래에 사용자 단말에서 직접 스크래핑 시 오류가 발생한 경우, 통상적으로 개발자가 사용자 단말에 원격접속을 통하여 오류를 수정하거나 오류 로그를 서버로 전송하여 오류를 수정하였다. 그러나, 원격접속의 경우 사용자는 별도 프로그램을 사용자 단말에 설치해야 하며 오류로그 서버 전송시에는 사용자의 개인 정보가 유출될 수 있고 로그가 많은 경우 유실도 발생할 수 있는 문제가 있다. 또한, 스크래핑 대상 외부 기관 사용자 별로 응답 정보의 형태가 다르기 때문에 다양한 케이스의 테스트 계정을 보유해야 하는 문제가 있다.
이에 본 발명의 일 실시예에 따르면 이러한 문제점을 개선하기 위해 스크래핑시 입력정보를 암호화하여 스크래핑 오류 수정 서버(160)가 전송받고, 클라우드 스크래핑을 통해 테스트 하여 빠르게 오류를 수정할 수 있다.
도 6을 참조하면, 사용자 단말(10)에서 스크래핑 수행 시 스크래핑 오류가 발생하면, 스크래핑 오류 수정 서버(160)는 오류 발생시 사용자 단말(10)에 입력된 스크래핑 입력정보를 수신하고(S51), 오류 로그를 분석하여 오류를 수정할 수 있다(S52). 이 경우 수신되는 스크래핑 입력정보는 암호화된 상태일 수 있다.
예컨대, 스크래핑 오류 수정 서버(160)는 스크래핑 모듈이 기 분석한 데이터 부분(A1)과 상기 기 분석한 데이터 부분(A)에 대응되는 현재 스크래핑하여 획득한 데이터 부분(A2)이 상이 할 경우 스크래핑 오류가 발생한 것으로 결정할 수 있다. 여기서 스크래핑 오류 발생 여부를 판단함에 이용되는 기 분석한 데이터 부분은 1) 해당 외부기관 서버를 식별할 수 있는 고유값, 태그 정보 또는 파싱된 정보 중 하나 이상을 포함할 수 있다.
또한 스크래핑 오류 수정 서버(160)는 스크래핑 오류가 발생한 것으로 판단하면, 오류 로그를 생성할 수 있다. 여기서 오류 로그는 로그시간, 플랫폼종류, 앱ID, 라이브러리 버전정보, 디바이스 아이디, 오류코드 중 하나 이상을 포함할 수 있다.
그 후 스크래핑 오류 수정 서버(160)는 이러한 오류 로그를 기 분석한 데이터 부분(A1)을 포함하는 데이터 부분과 비교함으로써 오류 원인을 도출하고, 이러한 오류 원인을 기초로 스크래핑 모듈(미도시)이 현재 스크래핑하여 획득한 데이터 부분(A2)을 수정하도록 사용자 단말(10) 내 스크래핑 모듈(미도시)이 업데이트 되도록 할 수 있다.
예컨대, 스크래핑 오류 수정 서버(160)는 사용자 단말(10) 내 소프트웨어 업데이트 요청을 사용자 단말(10)에 전송하고, 사용자 단말(10)의 업데이트 요청 수락에 따라서 상기 사용자 단말(10)에 스크래핑 모듈 업데이트를 위한 데이터를 사용자 단말(10)에 전송해줄 수 있다.
여기서 스크래핑 입력정보는 은행코드, 클래스(개인뱅킹 또는 기업뱅킹), 요청 서비스종류(전계좌조회, 거래내역조회 등), 계좌번호, 카드 코드, 로그인 전자서명값, 결제일, 조회 시작일 또는 조회 종료일과 같은 금융 관련 다양한 정보를 포함할 수 있다. 이때 스크래핑 오류 수정 서버(160)는 사용자의 인증 정보가 금융기관 등에서 요구하는 인증 방식에 따라 처리된 로그인 전자서명값을 수신하고 이를 기초로 스크래핑 모듈의 오류 수정을 실시할 수 있으므로, 사용자의 인증 정보의 원본 데이터를 스크래핑 오류 수정 서버(160) 등 외부 서버에 전달하여 보안 상의 위험을 발생시키지 않는다. 또한, 사용자의 로그인 전자서명값은 사용자 단말(10)의 업데이트 요청 수락이 수신되는 것에 대한 응답으로 스크래핑 오류 수정 서버(160)에서 삭제됨으로써, 스크래핑 모듈의 업데이트 후 로그인 전자서명값이 서버에 남아 있어 보안 상의 위험이 잔존하는 것을 방지할 수 있다.
이상에서 설명한 본 발명의 실시예들에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법을 이용하면, 정적인 정보들은 미리 스크래핑 하여 빅데이터 저장소에 저장해둠으로써 이후 사용자 단말(10)의 스크래핑 요청에 빠르게 답변할 수 있는 이점이 있다. 또한 스크래핑 대상이 되는 외부 기관의 정책 정보를 기초로 싱글 또는 멀티 처리 스크래핑 서버를 적절히 이용함으로써 스크래핑 서버 운용 효율을 향상시킬 수 있으며, 사용자 단말(10)에서 직접 스크래핑시 발생되는 오류를 클라우드 스크래핑 시스템 단에서 분석하고 오류에 대한 해결책으로서 사용자 단말(10)의 스크래핑 모듈을 업데이트시켜줄 수 있는 이점이 있다.
한편, 이상에서 설명한 실시예들에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (14)

  1. 사용자 단말로부터 스크래핑 요청을 수신하면, 수신한 스크래핑 요청에 대한 응답 정보를 상기 사용자 단말에 제공하는 정보 제공 서버; 및
    미리 스크래핑된 정보를 저장하고 있는 빅데이터 저장소를 포함하되,
    상기 정보 제공 서버는, 상기 스크래핑 요청이 정적인 정보에 대한 것인 경우 상기 미리 스크래핑된 정보를 이용하여 상기 응답 정보를 획득하는 것을 특징으로 하는, 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  2. 제1항에 있어서,
    외부 기관 서버에 대하여 스크래핑을 수행하는 스크래핑 서버를 더 포함하되,
    상기 스크래핑 요청이 동적인 정보에 대한 것인 경우, 상기 정보 제공 서버는 상기 스크래핑 요청을 상기 스크래핑 서버에 전송하고, 상기 스크래핑 서버는 외부 기관 서버를 스크래핑 하여 상기 스크래핑 요청에 대한 응답 정보를 획득하여 상기 정보 제공 서버에 전송하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  3. 제2항에 있어서,
    상기 정보 제공 서버는, 상기 스크래핑 요청에 대한 응답정보를 상기 빅데이터 저장소에서 찾지 못하는 경우, 상기 스크래핑 요청을 상기 스크래핑 서버에 전송하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  4. 제1항에 있어서,
    상기 정적인 정보는, 주소목록, 부동산 시세정보, 부동산 실거래 정보, 대출상품, 금리정보, 경제지표, 사업자 휴폐업 정보 중 하나 이상을 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  5. 제2항에 있어서,
    상기 스크래핑 서버는 싱글 처리 스크래핑 서버 및 멀티 처리 스크래핑 서버를 포함하고,
    상기 정보 제공 서버는, 상기 스크래핑 요청의 대상이 되는 외부 기관의 정책 정보를 기초로 상기 스크래핑 요청을 상기 싱글 처리 스크래핑 서버 또는 멀티 처리 스크래핑 서버 중 적어도 하나에 할당하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  6. 제5항에 있어서,
    상기 정보 제공 서버와 상기 스크래핑 서버 사이에 배치되는 분배 서버를 더 포함하되,
    상기 분배 서버는, 상기 정보 제공 서버로부터 수신한 스크래핑 요청을 동작 가능한 스크래핑 서버에 분배하고, 스크래핑 서버로부터 응답 정보를 수신하여 상기 정보 제공 서버에 전송하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  7. 제1항에 있어서,
    상기 사용자 단말에서 스크래핑이 직접 수행되면서 오류가 발생하면,
    오류 발생시 사용자 단말에 입력된 스크래핑 입력정보로부터 오류 로그를 분석하고, 분석된 오류 로그를 기초로 상기 사용자 단말 내 스크래핑 모듈이 업데이트되게 하는 스크래핑 오류 수정 서버를 더 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템.
  8. 클라우드 스크래핑 시스템에의해 실행되는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법으로서,
    사용자 단말로부터 스크래핑 요청을 수신하는 단계;
    상기 스크래핑 요청의 특성을 판단하는 단계;
    상기 스크래핑 요청이 정적인 정보에 대한 것인 경우, 빅데이터 저장소에 저장된 미리 스크래핑된 정보를 이용하여 응답정보를 생성하는 단계; 및
    생성된 응답정보를 상기 사용자 단말에 제공하는 단계를 포함하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법.
  9. 제 8항에 있어서,
    상기 스크래핑 요청이 동적인 정보에 대한 것인 경우, 외부 기관 서버를 스크래핑 하여 상기 스크래핑 요청에 대한 응답 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법.
  10. 제 9항에 있어서,
    상기 미리 스크래핑된 정보를 이용하여 응답정보를 생성하는 단계에서,
    상기 스크래핑 요청에 대한 응답정보를 상기 빅데이터 저장소에서 찾지 못하는 경우, 외부 기관 서버를 스크래핑 하여 상기 스크래핑 요청에 대한 응답 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법.
  11. 제 8항에 있어서,
    상기 정적인 정보는, 주소목록, 부동산 시세정보, 부동산 실거래 정보, 대출상품, 금리정보, 경제지표, 사업자 휴폐업 정보 중 하나 이상을 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법.
  12. 제 9항에 있어서,
    상기 스크래핑 요청의 대상이 되는 외부 기관의 정책 정보를 기초로 상기 스크래핑 요청을 싱글 처리 스크래핑 서버 또는 멀티 처리 스크래핑 서버 중 적어도 하나에 할당하는 단계를 더 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법.
  13. 제 12항에 있어서,
    상기 사용자 단말에서 스크래핑이 직접 수행되면서 오류가 발생하면,
    오류 발생시 사용자 단말에 입력된 스크래핑 입력정보로부터 오류 로그를 분석하는 단계; 및
    분석된 오류 로그를 기초로 상기 사용자 단말 내 스크래핑 모듈이 업데이트되게 하는 단계를 더 포함하는 것을 특징으로 하는 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법.
  14. 하드웨어와 결합되어 제 8항 내지 제13항 중 어느 한 항에 따른 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 방법을 실행하도록 기록매체에 저장된 컴퓨터 프로그램.
KR1020190041226A 2019-04-09 2019-04-09 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 KR20190130957A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190041226A KR20190130957A (ko) 2019-04-09 2019-04-09 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190041226A KR20190130957A (ko) 2019-04-09 2019-04-09 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180047730A Division KR102009336B1 (ko) 2018-04-25 2018-04-25 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20190130957A true KR20190130957A (ko) 2019-11-25

Family

ID=68730698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190041226A KR20190130957A (ko) 2019-04-09 2019-04-09 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20190130957A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296659B1 (ko) 2020-11-11 2021-08-31 민경권 스크래핑 기술을 연동한 단 대 단 개인정보 통합 활용 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160125653A (ko) 2015-04-22 2016-11-01 강헌 웹 스크래핑 기반 계좌 통합 관리 시스템 및 이의 웹 스크래핑 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160125653A (ko) 2015-04-22 2016-11-01 강헌 웹 스크래핑 기반 계좌 통합 관리 시스템 및 이의 웹 스크래핑 처리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296659B1 (ko) 2020-11-11 2021-08-31 민경권 스크래핑 기술을 연동한 단 대 단 개인정보 통합 활용 시스템 및 방법
US12013966B2 (en) 2020-11-11 2024-06-18 Gyenggwon MIN System and method for integrated usage of personal data using scraping technology based on end-users consultation

Similar Documents

Publication Publication Date Title
EP3520319B1 (en) Distributed electronic record and transaction history
KR102009336B1 (ko) 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
US10574539B2 (en) System compliance assessment utilizing service tiers
US9075986B1 (en) Systems and methods for software application security management
US11263327B2 (en) System for information security threat assessment and event triggering
US9350739B2 (en) Recovery from rolling security token loss
US10805154B2 (en) Secure configuration management system
KR102340474B1 (ko) 스크립트 엔진을 이용한 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램
US10261772B2 (en) Method and device for generating image file
KR101982085B1 (ko) 스크립트 엔진을 이용한 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램
US20190220305A1 (en) Automation as a service
US20140344006A1 (en) Analytics based service catalog management
CN110084600B (zh) 决议事务请求的处理、验证方法、装置、设备及介质
US20200387417A1 (en) Database optimized disaster recovery testing
CN111598575A (zh) 业务流程控制方法、装置、电子设备和可读存储介质
CN110572457A (zh) 基于区块链的资源申请方法及装置、电子设备、存储介质
CN110830428A (zh) 区块链金融大数据处理方法及系统
KR20190130957A (ko) 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
CN111401889B (zh) 基于区块链的信用数据处理方法、装置、设备和介质
CN110889763A (zh) 一种基于大数据的金融管理系统
US20180276744A1 (en) Multicomputer Digital Data Processing to Provide Access and Process Control
US20240095368A1 (en) Automated trust center for real-time security and compliance monitoring
US11799658B2 (en) Tracking data throughout an asset lifecycle
US20240126927A1 (en) Ui/ux development system applied with blockchain for preventing forgery/falsification and forgery/falsification verification method using the same
CN111563814B (zh) 信息处理方法、装置、系统和电子设备

Legal Events

Date Code Title Description
A107 Divisional application of patent