KR20230134724A - 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 - Google Patents
웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20230134724A KR20230134724A KR1020220031855A KR20220031855A KR20230134724A KR 20230134724 A KR20230134724 A KR 20230134724A KR 1020220031855 A KR1020220031855 A KR 1020220031855A KR 20220031855 A KR20220031855 A KR 20220031855A KR 20230134724 A KR20230134724 A KR 20230134724A
- Authority
- KR
- South Korea
- Prior art keywords
- time
- web page
- data
- artificial intelligence
- intelligence model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004590 computer program Methods 0.000 title claims abstract description 17
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 118
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 44
- 230000007613 environmental effect Effects 0.000 claims description 36
- 230000009193 crawling Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 12
- 238000013480 data collection Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
Abstract
본 발명은 웹 페이지의 시변화 데이터 예측 방법, 장치 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 관한 것으로, 더욱 상세하게는 웹 페이지에 관련된 시변화 데이터를 컨텐츠 정보 및 환경 정보를 기반으로 학습한 인공지능 모델을 통해 예측 가능한 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 관한 것이다.
Description
본 발명은 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 관한 것으로, 더욱 상세하게는 웹 페이지에 관련된 시변화 데이터를 컨텐츠 정보 및 환경 정보를 기반으로 학습한 인공지능 모델을 통해 예측 가능한 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 관한 것이다.
이동통신 서비스의 빠른 세대 진화와 더불어 스마트폰의 확산과 그에 따른 대용량 트래픽 서비스들의 대중화로 인해 급격한 트래픽 증가가 발생하였다.
일반적으로, 트랙픽 증가에 대한 예측은 이동통신사들의 통신 네트워크에 대한 투자와 마케팅 전략의 주요한 기준이 된다.
무선 데이터 트래픽 증가량은 매년마다 증가하고 있는데, 이에 관한 관련 업계의 학회에서는 5G 단말기를 구매할 때 동일 기종의 4G 단말기 대비 추가 부담하는 비용이 적어질수록 급격히 증가하며, 제공 가능한 서비스인 초고화질(UHD: Ultra High Definition), 가상현실(VR: Virtual Reality), 혼합현실(MR: Mixed Reality) 및 홀로그램(Hologram)의 서비스 컨텐츠의 볼륨이 많아질수록 5G 무선 데이터 사용량 민감도 증가에 영향을 미친다는 연구 결과도 발표하였다.
따라서, 앞으로도 웹 트래픽은 더욱 증가할 것으로 예상되는 가운데, 특정 시점에 증가하는 웹 트래픽을 예측하지 못할 경우 큰 문제가 야기될 수 있다.
실제로, 빼빼로 데이에 몰리는 트래픽 수요를 예측하지 못하여 어느 핀테크 회사는 5시간의 서버 장애를 겪기도 했다. 이처럼 특정 이슈에 발생하는 트래픽을 예측하지 못하면 광고나 홍보측면에서도 큰 피해를 겪을 수 밖에 없다.
그렇다고 갑자기 몰리는 트래픽에 대응하고자 미리 큰 규모의 서버를 구축하는 방법은 기업 입장에서는 부담이 될 수 있다.
따라서 적당한 크기의 서버를 구축하기 위해서는 웹 트래픽 예측이 우선되어야 하는데, 기존에는 웹 트래픽을 제대로 예측하는 모델이 부재할뿐더러, 있다 하더라도 특정 웹 페이지에 한정하여 웹 트래픽을 예측하도록 기능이 한정되어 있다.
또한, 웹 트래픽을 예측하기 위해 필요한 데이터가 미리 충분히 준비되지 못한 웹 페이지의 경우에는 웹 트래픽 예측을 위한 모델을 생성한다는 것이 사실상 불가능하다.
따라서, 이러한 문제를 개선하기 위해 웹 페이지의 시변화 데이터를 최적화된 방법으로 예측할 수 있는 기술적 사상이 필요하다.
따라서, 본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 컨텐츠 정보 및 환경 정보를 기반으로 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 특정일에 대해 예측하는 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램을 제공하는데 목적이 있다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 웹 관리 시스템이 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하는 방법은, 상기 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집하는 단계; 환경 정보를 수집하는 단계; 및 상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 특정 시점의 상기 시변화 데이터를 예측하기 위한 인공지능 모델을 학습시키는 단계; 및 상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터를 예측하는 단계를 포함한다.
또한, 상기 예측된 시변화 데이터가 웹 트래픽일 경우, 상기 웹 트래픽이 기 설정된 기준을 상회하는지 판단하는 단계; 및 상기 기 설정된 기준을 상회하는지 여부에 따라 추가 서버 증설 계획을 솔루션으로 생성하는 단계;를 더 포함한다.
또한, 상기 웹 페이지에 대해 시간에 따라 변동하는 상기 시변화 데이터는, 특정 통신 네트워크 환경에서 시계열상 변동하는 웹 트래픽, 웹 소켓 중 적어도 하나를 포함한다.
또한, 상기 컨텐츠 정보를 수집하는 단계는, 상기 웹 페이지 상에서 제공되는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터 중 적어도 하나를 상기 컨텐츠 정보로서 수집한다.
또한, 상기 환경 정보를 수집하는 단계는, 날짜, 시간, 날씨, 특정 이슈 중 적어도 하나를 상기 환경 정보로서 수집한다.
본 발명의 실시예에 따른 제1 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 방법은 특정 시점에서의 상기 제1 웹 페이지의 시변화 데이터에 관한 예측 요청을 수신하는 단계; 상기 제1 웹 페이지와 도메인이 동일한 제2 웹 페이지에 대응하는 인공지능 모델이 존재하는지 판단하는 단계; 상기 인공지능 모델이 부재한 경우, 상기 제1 웹 페이지와 도메인이 다르지만 특징 공간이 동일한 경우에 대응하는 제3 웹 페이지를 기반으로 기 제작한 인공지능 모델을 검출하는 단계; 상기 검출된 인공지능 모델을 상기 제1 웹 페이지의 훈련용 데이터를 이용하여 재학습시키는 단계; 및 상기 재학습된 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측하는 단계;를 포함하고, 상기 인공지능 모델이 존재하는 경우, 상기 존재하는 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측한다.
또한, 상기 제1 웹 페이지의 도메인과 상기 제3 웹 페이지의 도메인은, 상기 특징 공간은 동일하되 데이터 확률분포가 상이하다.
또한, 상기 재학습시키는 단계 이전에, 외부망의 활용이 가능한지 여부를 판단하는 단계; 상기 외부망의 활용이 불가능한 경우, 상기 제1 웹 페이지의 훈련용 데이터가 존재하는지 여부를 판단하는 단계; 상기 훈련용 데이터가 존재하지 않는 경우, 상기 웹 페이지로부터 발생되는 실시간 데이터를 수집하는 단계; 및 상기 수집된 실시간 데이터를 훈련용 데이터로 전처리하여 상기 인공지능 모델에 입력하는 단계;를 더 포함한다.
또한, 상기 훈련용 데이터가 존재하는 경우, 상기 훈련용 데이터를 전처리하여 상기 인공지능 모델에 입력하는 단계를 더 포함한다.
또한, 상기 외부망의 활용이 가능한 경우, 상기 제1 웹 페이지에 대해 크롤링을 수행하여 상기 제1 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하는 단계; 환경 정보를 수집하는 단계; 및 상기 컨텐츠 정보 및 상기 환경 정보를 데이터 전처리하여 상기 검출된 인공지능 모델에 입력하는 단계;를 포함한다.
본 발명의 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 웹 관리 시스템이 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하는 방법에 있어서, 상기 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집하는 단계; 환경 정보를 수집하는 단계; 상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 특정 시점의 상기 시변화 데이터를 예측하기 위한 인공지능 모델을 학습시키는 단계; 및 상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터를 예측하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 웹 관리 시스템이 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하는 방법에 있어서, 상기 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집하는 단계; 환경 정보를 수집하는 단계; 상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 특정 시점의 상기 시변화 데이터를 예측하기 위한 인공지능 모델을 학습시키는 단계; 및 상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터를 예측하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
본 발명의 다른 일 실시예에 따른 시변화 데이터 예측 기반 웹 관리 서버는, 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 인공지능 모델을 통해 예측하는 시변화 데이터 예측 모듈; 및 상기 시변화 데이터의 예측 결과에 따라 웹 관리 솔루션을 생성하여 제공하는 웹 관리 솔루션 모듈을 포함한다.
본 발명의 다른 실시예에 따른 웹 페이지의 시변화 데이터 예측 장치는 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하는 컨텐츠 정보 수집부; 환경 정보를 수집하는 환경 정보 수집부; 상기 수집된 컨텐츠 정보 및 환경 정보를 이용하여 상기 웹 페이지에 관련하여 시간에 따라 변하는 시변화 데이터를 예측하는 인공지능 모델을 학습시키는 인공지능 모델 학습부; 및 상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터에 대한 예측 결과를 도출하여 출력하는 예측 데이터 출력부를 포함한다.
또한, 상기 시변화 데이터는, 특정 통신 네트워크 환경에서 시계열상 변동하는 웹 트래픽, 웹 소켓 중 적어도 하나를 포함한다.
또한, 상기 컨텐츠 정보 수집부는, 상기 웹 페이지 상에서 제공되는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터 중 적어도 하나를 상기 컨텐츠 정보로서 수집한다.
또한, 상기 환경 정보 수집부는, 날짜, 시간, 날씨, 특정 이슈 발생 여부 중 적어도 하나를 상기 환경 정보로서 수집한다.
본 발명의 일 실시예에 따른 제1 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 장치는, 특정 시점에서의 상기 제1 웹 페이지의 시변화 데이터에 관한 예측 요청을 수신하는 통신부; 상기 제1 웹 페이지의 도메인 및 특징 공간 중 적어도 하나의 비교에 따른 동일 여부에 따라 적합한 인공지능 모델을 검출하는 인공지능 모델 검출부; 상기 검출된 인공지능 모델을 상기 제1 웹 페이지의 훈련용 데이터를 이용하여 재학습시키는 재학습부; 및 상기 재학습된 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측하는 예측부;를 포함한다.
또한, 상기 인공지능 모델 검출부는, 상기 제1 웹 페이지와 도메인이 동일한 제2 웹 페이지에 대응하는 인공지능 모델이 존재하는지 판단하고, 상기 인공지능 모델이 부재한 경우, 상기 제1 웹 페이지와 도메인이 다르지만 특징 공간이 동일한 경우에 대응하는 제3 웹 페이지를 기반으로 기 제작한 인공지능 모델을 검출한다.
또한, 상기 통신부는, 외부망의 활용이 가능한지 여부를 판단하고, 상기 외부망의 활용이 불가능한 경우, 상기 제1 웹 페이지의 훈련용 데이터가 존재하는지 여부를 판단하고, 상기 훈련용 데이터가 존재하지 않는 경우, 상기 웹 페이지로부터 발생되는 실시간 데이터를 수집하며, 상기 수집된 실시간 데이터를 훈련용 데이터로 전처리하여 상기 인공지능 모델에 입력하는 데이터 처리부를 더 포함한다.
또한, 상기 데이터 처리부는, 상기 훈련용 데이터가 존재하는 경우, 상기 훈련용 데이터를 전처리하여 상기 인공지능 모델에 입력한다.
또한, 상기 데이터 처리부는, 상기 외부망의 활용이 가능한 경우, 상기 제1 웹 페이지에 대해 크롤링을 수행하여 상기 제1 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하고, 환경 정보를 수집하며, 상기 컨텐츠 정보 및 상기 환경 정보를 데이터 전처리하여 상기 인공지능 모델에 입력한다.
본 발명의 실시예에 따른 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 의하면, 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측함으로써, 웹 관리에 효율적으로 이용할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 무선 통신 네트워크 환경 기반의 프라이빗한 IoT 환경이나 스마트 팩토리 환경에서 시계열 기반으로 예측해야 하는 중요한 데이터도 특정 시점을 기준으로 예측할 수 있다.
아울러, 본 발명의 다른 실시예에 의하면, 시변화 데이터를 예측하기 위해 필요한 데이터가 미리 준비되지 못한 웹 페이지에 대해서도 최적화된 방법으로 인공지능 모델을 이용할 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 웹 페이지의 시변화 데이터 예측 기반 웹 관리 서버의 구성을 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 시변화 데이터 예측 모듈의 구성을 도시하는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 모델의 구성을 개략적으로 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 인공지능 모델의 구성을 개략적으로 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 웹 관리 시스템의 개략적인 구성을 도시하는 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 시변화 데이터 예측 모듈의 구성을 도시하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 모델을 통해 산출된 예측 결과를 시각화하는 일 예를 도시한다.
도 8은 본 발명의 일 실시예에 따른 웹 관리 시스템이 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 방법을 설명하기 위한 순서도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 웹 관리 시스템에 의한 웹 페이지의 시변화 데이터 예측 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 시변화 데이터 예측 모듈의 구성을 도시하는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 모델의 구성을 개략적으로 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 인공지능 모델의 구성을 개략적으로 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 웹 관리 시스템의 개략적인 구성을 도시하는 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 시변화 데이터 예측 모듈의 구성을 도시하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 모델을 통해 산출된 예측 결과를 시각화하는 일 예를 도시한다.
도 8은 본 발명의 일 실시예에 따른 웹 관리 시스템이 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 방법을 설명하기 위한 순서도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 웹 관리 시스템에 의한 웹 페이지의 시변화 데이터 예측 방법을 설명하기 위한 흐름도이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 웹 페이지의 시변화 데이터 예측 기반 웹 관리 서버의 구성을 도시하는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 시변화 데이터 예측 모듈의 상세한 구성을 도시하는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시변화 데이터 예측 기반 웹 관리 서버(1)는 시변화 데이터 예측 모듈(10) 및 웹 관리 솔루션 모듈(20)을 포함한다.
시변화 데이터 예측 모듈(10)은 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하기 위한 모듈로서, 훈련용 데이터를 이용하여 학습시킨 인공지능 모델을 통해 시변화 데이터를 예측할 수 있다.
여기서, 시변화 데이터는 시계열 데이터를 포함할 수 있으며, 웹 트래픽, 웹 소켓 중 적어도 하나일 수 있고, 이에 한정하지 않는다. 여기서, 웹 소켓은 패킷에 의해 운반되는 일정 시간 동안의 전송 프로토콜 패킷을 의미한다.
일 예로, 시변화 데이터는 5G 네트워크 환경 기반의 프라이빗한 IoT 환경이나 스마트 팩토리 환경에서 시계열 기반으로 예측해야 하는 중요한 데이터를 포함할 수 있다.
그리고, 시변화 데이터 예측 모듈(10)은 웹 페이지(L)의 대용량 데이터로 학습된 딥러닝 기반의 인공지능 모델을 데이터의 양이 적어 분석과 예측이 불가능한 웹 페이지(M) 또는 과업(task)은 동일하지만 도메인은 상이한 웹 페이지(N)에 대해 해당 웹 페이지의 데이터로 재학습시켜, 재학습된 인공지능 모델을 통해 해당 웹 페이지의 시변화 데이터를 효율적으로 예측할 수 있다.
시변화 데이터 예측 모듈(10)에 대한 더 자세한 설명은 도 2에 관한 설명을 참고하기로 한다.
웹 관리 솔루션 모듈(20)은 시변화 데이터 예측 모듈(10)의 예측 결과에 따라 웹 관리 솔루션을 생성하여 제공할 수 있다.
이를 위해, 웹 관리 솔루션 모듈(20)은 시변화 데이터 예측 모듈(10)에서 예측된 특정 시점의 시변화 데이터에 따라 해당 웹 페이지에 대한 솔루션을 생성하는 솔루션 관리부(21), 및 생성된 솔루션을 해당 웹 페이지의 관리자 단말로 전송하는 통신부(22)를 포함한다.
일 실시예로, 솔루션 관리부(21)는 시변화 데이터 예측 모듈(10)에서 예측된 시변화 데이터가 미래의 어느 특정 시점의 웹 트래픽일 경우, 상기 웹 트래픽이 기 설정된 기준을 상회하는지 판단하고, 상기 기 설정된 기준을 상회하는지 여부에 따라 상기 웹 페이지를 운영하는 주체에게 상기 웹 페이지 운영 방안에 관한 솔루션을 생성할 수 있다. 예를 들어, 상기 웹 트래픽이 상기 기 설정된 기준을 상회하는 경우, 솔루션 관리부(21)는 상기 웹 페이지를 운영하는 주체에게 서버를 추가적으로 증설하는 방향의 솔루션을 생성하여 제공할 수 있다.
도 2를 참조하면, 시변화 데이터 예측 모듈(10)은 데이터 처리부(100), 데이터 저장부(200), 인공지능 모델부(300) 및 예측 데이터 출력부(400)를 포함한다. 시변화 데이터 예측 모듈(10)은 아키텍쳐를 통해 데이터를 학습시키고, 인공지능 모델을 통해 결과를 예측하며, 결과에 대한 시각화와 결과 반환 및 출력의 일련의 과정을 진행할 수 있다.
데이터 수집부(100)는 웹 페이지에 대해 수행된 크롤링에 의해 수집된 컨텐츠 정보를 저장하는 컨텐츠 정보 수집부, 환경 정보를 수집하는 환경 정보 수집부, 인공지능 모델의 결과값들을 수집하는 결과값인 시변화 데이터를 수집하는 시변화 데이터 수집부를 포함할 수 있다. 그리고, 상기 수집된 정보들 즉, 컨텐츠 정보, 환경 정보, 및 시변화 데이터를 훈련용 데이터로 처리하는 훈련용 데이터 처리부, 및 웹 페이지로부터 실시간으로 발생되는 데이터를 수집하는 실시간 데이터 처리부를 포함할 수 있다.
상기 훈련용 데이터 처리부는 상기 수집된 컨텐츠 정보 및 환경 정보에 대해 데이터 필터링 및 데이터 벡터화를 포함하는 전처리 프로세스를 적용할 수 있다. 훈련용 데이터는 수집된 컨텐츠 정보, 환경 정보 및 시계열 데이터를 포함할 수 있다.
환경 정보는 컨텐츠 정보에 의한 시변화 데이터의 변화에 영향 또는 관련 가능성이 있는 정보들로서, 일 실시예로 날짜, 요일, 시간, 날씨, 공간, 특정 이슈 정보 중 적어도 하나를 포함할 수 있다. 이러한, 환경 정보는 해당 웹 페이지로부터 수집될 수도 있지만, 예를 들어 다른 웹 사이트 등으로부터 수집될 수도 있고 이에 한정하지 않는다.
웹 페이지에 대한 크롤링이 수행되면, 웹 페이지 상에서 제공되는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터 중 적어도 하나가 데이터 수집부(100)에 의해 수집될 수 있다. 이를 통해 데이터 수집부(100)는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터를 컨텐츠 정보로서 수집할 수 있다.
보통, 웹 페이지에서 제공하는 컨텐츠가 무엇인지에 따라서도 방문자 수나 서버의 부하가 좌지우지된다고 볼 수 있다. 또는, 특정 시점이나 특정 이슈 발생과 웹 페이지에서 제공하는 컨텐츠 간 연관 관계에 따라서 웹 페이지의 방문자 수나 서버의 부하가 크게 영향을 받을 수도 있다.
예를 들어, 크리스마스나 발렌타인 데이, 어버이날과 같은 이벤트 데이에 특정 전자상거래 사이트의 웹 트래픽이 급증하는 경향이 있다.
이에, 본 발명에서는 웹 페이지에 대해 크롤링을 수행함으로써, 웹 페이지 상에서 제공되는 상품 또는 서비스 정보를 포함하는 컨텐츠 정보를 수집하며, 이와 더불어 환경 정보를 수집함으로써, 인공지능 모델이 컨텐츠 정보와 연관 관계가 있는 환경 정보를 고려하여 특정 시점의 웹 페이지의 시변화 데이터를 예측하고자 한다.
데이터 저장부(200)에는 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 프로그램이 저장될 수 있다. 그리고, 데이터 저장부(200)에는 웹 관리 서버(1)의 구동을 위한 운영 체제나 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 프로그램의 실행 과정에서 발생되는 여러 종류의 데이터가 저장될 수 있다.
이때, 데이터 저장부(200)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
인공지능 모델부(300)는 데이터 수집부(100)에서 수집된 데이터를 훈련시키는 데이터 훈련부, 훈련된 데이터를 기반으로 특정 시점의 시변화 데이터를 예측하기 위한 인공지능 모델을 저장 및 관리하는 인공지능 모델 관리부 및 상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 인공지능 모델을 학습시키는 인공지능 모델 학습부를 포함한다.
예측 결과 출력부(400)는 인공지능 모델을 기반으로 특정 시점의 웹 페이지에 관련된 시변화 데이터에 대한 예측 결과를 도출하여 출력할 수 있다.
예를 들어, 환경정보로서 미세먼지 정도가 반영되고, 컨텐츠 정보로서 마스크 판매 및 공기 청정기를 판매하는 컨텐츠를 포함하는 웹 페이지에 대해 모델이 학습될 수 있다. 이에, 인공지능 모델은 미세먼지의 심한 정도에 따라 마스크나 공기 청정기를 구매하기 위한 사용자 접속이 늘어남에 따라 폭증한 웹 트래픽을 결과값(Y)으로 얻을 수 있다.
또한, 예측 데이터 출력부(400)는 인공지능 모델부(300)에서 도출된 예측 결과를 처리하여 관리자 단말로 전송할 수 있다.
일 실시예로, 예측 데이터 출력부(400)는 예측 결과를 시각화하여 외부 단말로 전송 가능한 포맷으로 변환하는 시각화 내용 반환 모듈과, 시변화 데이터 관리 시스템에 필요한 포맷 형태로 예측 결과를 반환하는 결과 내용 반환 모듈을 포함할 수 있다.
여기서, 상기 결과 내용 반환 모듈은 시변화 데이터가 웹 트래픽일 경우, 예측 결과를 numpy array, float value 등으로 반환할 수 있다.
도 7은 본 발명의 일 실시예에 따른 인공지능 모델을 통해 산출된 예측 결과를 시각화하는 일 예를 도시한다. 도 7을 참조하면, 예측 데이터 출력부(400)는 결과 데이터가 시계열 데이터일 경우, 리스트의 형태로 반환을 진행할 수 있다. 이때, 사용자가 예측 결과를 시각화 데이터로 반환해줄 것을 요청한 경우, 해당 시계열 결과값을 기반으로 시계열 그래프를 생성하여 예측 결과를 이미지 형태로 출력해줄 수 있다.
도 3은 본 발명의 일 실시예에 따른 인공지능 모델의 구성을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에서는 데이터 수집부에 의해 수집된 데이터가 크롤링된 데이터이고, 크롤링된 데이터는 텍스트 데이터이기 때문에 텍스트 데이터 학습을 위해 트랜스포머를 가공하여 채택한다.
구체적으로, 인공지능 모델은 트랜스포머(transformer) 구조의 인코더 부분을 활용하고, 이를 통해 시계열 데이터를 예측할 수 있도록 마지막 레이어의 output 셀을 한 개로 변경하고, activation을 sigmoid로 변경한다.
트랜스포머의 인코더 블록은 레이어 정규화를 거쳐 멀티헤드 어텐션을 통과하도록 한다. 그 이후 64개의 multi layer perceptron 레이어를 통과한다. 이 인코더 블록 3개를 순차적으로 통과시킨다. 이후, 최종 블록의 출력값을 전체 평균 요약층인 global average pooling 레이어에 통과시켜 마지막 아웃풋을 출력하는 fully connected layer에 전달한다. 이 출력층에서 결과가 도출된다.
도 8은 본 발명의 일 실시예에 따른 웹 관리 시스템이 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 웹 관리 시스템이 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 방법은,
먼저, 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집할 수 있다(S110). 여기서, 컨텐츠 정보는 상기 웹 페이지 상에서 제공되는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터 중 적어도 하나를 포함할 수 있다.
그리고, 환경 정보를 수집할 수 있다(S120). 예를 들어, 날짜, 시간, 날씨, 특정 이슈 중 적어도 하나를 상기 환경 정보로서 수집할 수 있다. 환경 정보는 해당 웹 페이지를 통해 수집될 수도 있지만, 다른 특정 웹 사이트 등을 통해서도 수집될 수 있다.
다음으로, 상기 수집된 컨텐츠 정보 및 환경 정보에 대해 데이터 필터링 및 데이터 벡터화를 포함하는 전처리 프로세스를 적용할 수 있다(S130).
다음으로, 상기 컨텐츠 정보, 상기 환경 정보 및 상기 시변화 데이터를 이용하여 상기 인공지능 모델을 학습시킬 수 있다(S140).
다음으로, 상기 학습된 인공지능 모델을 기반으로 웹 페이지의 특정 시점에서의 시변화 데이터를 예측할 수 있다(S150).
이후, 상기 예측된 시변화 데이터가 웹 트래픽일 경우, 상기 웹 트래픽이 기 설정된 기준을 상회하는지 판단하고, 상기 기 설정된 기준을 상회하는지 여부에 따라 추가 서버 증설 계획을 솔루션으로 생성할 수 있으며, 생성된 솔루션 정보를 관리자 단말로 전송할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 인공지능 모델의 구성을 개략적으로 도시한 도면이다. 도 4의 (A)부분은 도 3에 도시된 인공지능 모델의 구성과 동일하고, 이에 (B)의 부분이 추가되어 전이학습 기반의 인공지능 모델을 구성한다.
구체적으로, (A)부분은 제1 웹 페이지에 대응하는 도메인에서 생성된 인공지능 모델이고, (B)부분은 (A)의 인공지능 모델을 제2 웹 페이지에 대응하는 다른 도메인의 모델 생성에 활용하기 위한 구성이다. 여기서, 제1 웹 페이지가 원천 도메인에 대응하고, 제2 웹 페이지가 목표 도메인에 대응한다.
도 5는 본 발명의 다른 실시예에 따른 웹 관리 시스템의 개략적인 구성을 도시하는 블록도이고, 도 6은 본 발명의 다른 실시예에 따른 시변화 데이터 예측 모듈의 구성을 도시하는 블록도이다.
도 5를 참조하면, 웹 관리 시스템은 웹 관리 서버(1), 시변화 데이터에 대한 예측을 요청하는 적어도 하나 이상의 웹 페이지 제공 장치(P1~PN) 및 네트워크를 포함할 수 있다.
웹 관리 서버(1)의 웹 관리 솔루션 모듈(20)은 도 1을 참조하여 전술한 것과 동일하되, 시변화 데이터 예측 모듈(10-2)은 도 6에 도시된 바와 같다.
웹 관리 서버(1)는 복수의 인공지능 모델을 구축하여 저장하고 있다. 그리고, 웹 관리 서버(1)는 시변화 데이터에 대한 예측 요청을 의뢰하는 적어도 하나 이상의 웹 페이지 제공 장치(P1~PN)에 대해
1) 도메인이 동일한 웹 페이지에 대응하는 인공지능 모델의 존재 여부,
2) 도메인은 다르지만 특징 공간이 동일한 경우에 대응하는 인공지능 모델의 존재 여부
를 판단하고, 상기 판단에 의해 검출된 인공지능 모델을 기반으로 해당 웹 페이지의 시변화 데이터를 예측할 수 있다.
이하, 제 1 웹페이지 제공 장치(P1)로부터 예측 요청을 수신한 경우의 일 예를 들어 설명하기로 한다.
통신부(510)에서 특정 시점에서의 상기 제1 웹 페이지의 시변화 데이터에 관한 예측 요청을 수신하며 이에, 인공지능 모델 검출부(520)는 제1 웹 페이지의 도메인 및 특징 공간 중 적어도 하나의 비교에 따른 동일 여부에 따라 적합한 인공지능 모델을 검출할 수 있다.
즉, 인공지능 모델 검출부(520)는 제1 웹 페이지와 도메인이 동일한 제2 웹 페이지에 대응하는 인공지능 모델이 존재하는지 판단하고, 상기 인공지능 모델이 부재한 경우, 제1 웹 페이지와 도메인이 다르지만 특징 공간이 동일한 경우에 대응하는 제3 웹 페이지를 기반으로 제작한 인공지능 모델을 검출할 수 있다.
여기서, 제1 웹 페이지의 도메인과 제3 웹 페이지의 도메인은 상기 특징 공간은 동일하되 데이터 확률분포가 상이한 웹 페이지의 경우에 해당한다.
재학습부(540)는 검출된 인공지능 모델을 제1 웹 페이지의 훈련용 데이터를 이용하여 재학습시킨다.
예측부(550)는 재학습된 인공지능 모델을 기반으로 제1 웹 페이지의 상기 시변화 데이터를 예측할 수 있다.
한편, 제1 웹 페이지의 훈련용 데이터를 획득하는 과정에서 먼저, 통신부(510)는 외부망의 활용이 가능한지 여부를 판단할 수 있다. 여기서, 외부망의 활용 가능 여부를 판단하는 것은 Open API를 제공하는 서비스에 Open API를 호출하여 해당 웹 페이지에 대한 크롤링 작업이 가능한지 여부를 확인하는 실행을 포함할 수 있다.
외부망의 활용이 불가능한 것으로 판단된 경우, 데이터 처리부(530)는 상기 제1 웹 페이지의 훈련용 데이터가 존재하는지 여부를 판단하고, 상기 훈련용 데이터가 존재하지 않는 경우, 상기 웹 페이지로부터 발생되는 실시간 데이터를 수집하며, 상기 수집된 실시간 데이터를 훈련용 데이터로 전처리하여 상기 인공지능 모델에 입력할 수 있다.
그리고, 데이터 처리부(530)는 상기 훈련용 데이터가 존재하는 경우, 상기 훈련용 데이터를 전처리하여 상기 인공지능 모델에 입력할 수 있다.
반대로, 외부망의 활용이 가능한 경우, 데이터 처리부(530)는 제1 웹 페이지에 대해 크롤링을 수행하여 제1 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하고, 환경 정보를 수집하며, 컨텐츠 정보 및 환경 정보를 데이터 전처리하여 인공지능 모델에 입력할 수 있다.
도 9 및 도 10은 도 5에 개시된 웹 관리 시스템에 의한 웹 페이지의 시변화 데이터 예측 방법을 설명하기 위한 흐름도이다. 구체적으로, 도 9 및 도 10을 참조하여 웹 관리 시스템에 의한 웹 페이지의 시변화 데이터 예측 방법에 대해 설명하면 다음과 같다.
먼저, 웹 관리 서버(1)는 특정 시점에서의 제1 웹 페이지의 시변화 데이터에 관한 예측 요청을 수신할 수 있다(S210).
그러면, 웹 관리 서버(1)는 제1 웹 페이지와 도메인이 동일한 인공지능 모델이 존재하는지 판단한다(S220).
이때, 상기 인공지능 모델이 부재한 경우, 상기 제1 웹 페이지와 도메인이 다르지만 특징 공간이 동일한 경우에 대응하는 제2 웹 페이지를 기반으로 기 제작한 인공지능 모델을 검출한다(S230). 여기서, 제1 웹 페이지의 도메인과 제2 웹 페이지의 도메인은, 상기 특징 공간은 동일하되 데이터 확률분포가 상이하다고 할 수 있다.
그리고, 검출된 인공지능 모델을 상기 제1 웹 페이지의 훈련용 데이터를 이용하여 재학습시킨다(S240).
그 다음, 상기 재학습된 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측할 수 있다(S250).
한편, S240 단계의 재학습 단계 이전에, 도 10에 도시된 바와 같이, 웹 관리 서버(1)는 제1 웹 페이지에 대해 외부망의 활용이 가능한지 여부를 판단할 수 있다(S232).
이때, 상기 외부망의 활용이 불가능한 경우, 상기 제1 웹 페이지의 훈련용 데이터가 존재하는지 여부를 판단할 수 있다(S233).
이때, 훈련용 데이터가 존재하지 않는 경우, 상기 웹 페이지로부터 발생되는 실시간 데이터를 수집한다(S235).
상기 수집된 실시간 데이터를 훈련용 데이터로 전처리하여 상기 인공지능 모델에 입력한다(S234).
반면, S233 단계에서 상기 제1 웹 페이지의 훈련용 데이터가 존재하는 경우, 상기 훈련용 데이터를 전처리하여 상기 인공지능 모델에 입력하는 단계를 더 포함할 수 있고, 다음은 S240 단계로 회귀한다.
한편, S232 단계에서 상기 외부망의 활용이 가능한 것으로 판단된 경우, 상기 제1 웹 페이지에 대해 크롤링을 수행하여 상기 제1 웹 페이지를 통해 제공된 컨텐츠 정보를 수집할 수 있다(S235). 아울러, 환경 정보를 수집하고, 상기 컨텐츠 정보 및 상기 환경 정보를 데이터 전처리하여 상기 인공지능 모델에 입력할 수 있다. 다음은, S240 단계로 회귀한다.
본 발명의 실시예에 따른 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 의하면, 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측함으로써, 웹 관리에 효율적으로 이용할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 무선 통신 네트워크 환경 기반의 프라이빗한 IoT 환경이나 스마트 팩토리 환경에서 시계열 기반으로 예측해야 하는 중요한 데이터도 특정 시점을 기준으로 예측할 수 있다.
아울러, 본 발명의 다른 실시예에 의하면, 시변화 데이터를 예측하기 위해 필요한 데이터가 미리 준비되지 못한 웹 페이지에 대해서도 최적화된 방법으로 인공지능 모델을 이용할 수 있다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
Claims (22)
- 웹 관리 시스템이 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하는 방법에 있어서,
상기 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집하는 단계;
환경 정보를 수집하는 단계;
상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 특정 시점의 상기 시변화 데이터를 예측하기 위한 인공지능 모델을 학습시키는 단계; 및
상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터를 예측하는 단계를 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제1 항에 있어서,
상기 예측된 시변화 데이터가 웹 트래픽일 경우,
상기 웹 트래픽이 기 설정된 기준을 상회하는지 판단하는 단계; 및
상기 기 설정된 기준을 상회하는지 여부에 따라 추가 서버 증설 계획을 솔루션으로 생성하는 단계;를 더 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제 1 항에 있어서,
상기 웹 페이지에 대해 시간에 따라 변동하는 상기 시변화 데이터는,
특정 통신 네트워크 환경에서 시계열상 변동하는 웹 트래픽, 웹 소켓 중 적어도 하나를 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제 1 항에 있어서,
상기 컨텐츠 정보를 수집하는 단계는,
상기 웹 페이지 상에서 제공되는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터 중 적어도 하나를 상기 컨텐츠 정보로서 수집하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제 1 항에 있어서,
상기 환경 정보를 수집하는 단계는,
날짜, 시간, 날씨, 특정 이슈 중 적어도 하나를 상기 환경 정보로서 수집하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제1 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 방법에 있어서,
특정 시점에서의 상기 제1 웹 페이지의 시변화 데이터에 관한 예측 요청을 수신하는 단계;
상기 제1 웹 페이지와 도메인이 동일한 제2 웹 페이지에 대응하는 인공지능 모델이 존재하는지 판단하는 단계;
상기 인공지능 모델이 부재한 경우, 상기 제1 웹 페이지와 도메인이 다르지만 특징 공간이 동일한 경우에 대응하는 제3 웹 페이지를 기반으로 기 제작한 인공지능 모델을 검출하는 단계;
상기 검출된 인공지능 모델을 상기 제1 웹 페이지의 훈련용 데이터를 이용하여 재학습시키는 단계; 및
상기 재학습된 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측하는 단계;를 포함하고,
상기 인공지능 모델이 존재하는 경우, 상기 존재하는 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제 6 항에 있어서,
상기 제1 웹 페이지의 도메인과 상기 제3 웹 페이지의 도메인은, 상기 특징 공간은 동일하되 데이터 확률분포가 상이한 웹 페이지의 시변화 데이터 예측 방법. - 제 6 항에 있어서,
상기 재학습시키는 단계 이전에,
외부망의 활용이 가능한지 여부를 판단하는 단계;
상기 외부망의 활용이 불가능한 경우, 상기 제1 웹 페이지의 훈련용 데이터가 존재하는지 여부를 판단하는 단계;
상기 훈련용 데이터가 존재하지 않는 경우, 상기 웹 페이지로부터 발생되는 실시간 데이터를 수집하는 단계; 및
상기 수집된 실시간 데이터를 훈련용 데이터로 전처리하여 상기 인공지능 모델에 입력하는 단계;를 더 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제 8 항에 있어서,
상기 훈련용 데이터가 존재하는 경우,
상기 훈련용 데이터를 전처리하여 상기 인공지능 모델에 입력하는 단계를 더 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 제 8 항에 있어서,
상기 외부망의 활용이 가능한 경우,
상기 제1 웹 페이지에 대해 크롤링을 수행하여 상기 제1 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하는 단계;
환경 정보를 수집하는 단계; 및
상기 컨텐츠 정보 및 상기 환경 정보를 데이터 전처리하여 상기 검출된 인공지능 모델에 입력하는 단계;를 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
웹 관리 시스템이 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하는 방법에 있어서,
상기 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집하는 단계;
환경 정보를 수집하는 단계;
상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 특정 시점의 상기 시변화 데이터를 예측하기 위한 인공지능 모델을 학습시키는 단계; 및
상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터를 예측하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
웹 관리 시스템이 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 예측하는 방법에 있어서,
상기 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 일정 기간 동안 제공된 컨텐츠 정보를 수집하는 단계;
환경 정보를 수집하는 단계;
상기 컨텐츠 정보, 상기 환경 정보, 및 상기 시변화 데이터를 이용하여 특정 시점의 상기 시변화 데이터를 예측하기 위한 인공지능 모델을 학습시키는 단계; 및
상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터를 예측하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램. - 웹 페이지에 관련하여 시간에 따라 변동하는 시변화 데이터를 인공지능 모델을 통해 예측하는 시변화 데이터 예측 모듈; 및
상기 시변화 데이터의 예측 결과에 따라 웹 관리 솔루션을 생성하여 제공하는 웹 관리 솔루션 모듈을 포함하는 것을 특징으로 하는 시변화 데이터 예측 기반 웹 관리 서버. - 웹 페이지에 대해 크롤링을 수행하여 상기 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하는 컨텐츠 정보 수집부;
환경 정보를 수집하는 환경 정보 수집부;
상기 수집된 컨텐츠 정보 및 환경 정보를 이용하여 상기 웹 페이지에 관련하여 시간에 따라 변하는 시변화 데이터를 예측하는 인공지능 모델을 학습시키는 인공지능 모델 학습부; 및
상기 인공지능 모델을 기반으로 특정 시점의 상기 웹 페이지의 상기 시변화 데이터에 대한 예측 결과를 도출하여 출력하는 예측 데이터 출력부를 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 14 항에 있어서,
상기 시변화 데이터는,
특정 통신 네트워크 환경에서 시계열상 변동하는 웹 트래픽, 웹 소켓 중 적어도 하나를 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 14 항에 있어서,
상기 컨텐츠 정보 수집부는,
상기 웹 페이지 상에서 제공되는 상품 또는 서비스에 대한 정형 또는 비정형의 품목 데이터 중 적어도 하나를 상기 컨텐츠 정보로서 수집하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 14 항에 있어서,
상기 환경 정보 수집부는,
날짜, 시간, 날씨, 특정 이슈 발생 여부 중 적어도 하나를 상기 환경 정보로서 수집하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제1 웹 페이지에 대해 시간에 따라 변동하는 시변화 데이터를 예측하는 장치에 있어서,
특정 시점에서의 상기 제1 웹 페이지의 시변화 데이터에 관한 예측 요청을 수신하는 통신부;
상기 제1 웹 페이지의 도메인 및 특징 공간 중 적어도 하나의 비교에 따른 동일 여부에 따라 적합한 인공지능 모델을 검출하는 인공지능 모델 검출부;
상기 검출된 인공지능 모델을 상기 제1 웹 페이지의 훈련용 데이터를 이용하여 재학습시키는 재학습부; 및
상기 재학습된 인공지능 모델을 기반으로 상기 제1 웹 페이지의 상기 시변화 데이터를 예측하는 예측부;를 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 18 항에 있어서,
상기 인공지능 모델 검출부는,
상기 제1 웹 페이지와 도메인이 동일한 제2 웹 페이지에 대응하는 인공지능 모델이 존재하는지 판단하고, 상기 인공지능 모델이 부재한 경우, 상기 제1 웹 페이지와 도메인이 다르지만 특징 공간이 동일한 경우에 대응하는 제3 웹 페이지를 기반으로 기 제작한 인공지능 모델을 검출하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 18 항에 있어서,
상기 통신부는, 외부망의 활용이 가능한지 여부를 판단하고,
상기 외부망의 활용이 불가능한 경우, 상기 제1 웹 페이지의 훈련용 데이터가 존재하는지 여부를 판단하고, 상기 훈련용 데이터가 존재하지 않는 경우, 상기 웹 페이지로부터 발생되는 실시간 데이터를 수집하며, 상기 수집된 실시간 데이터를 훈련용 데이터로 전처리하여 상기 인공지능 모델에 입력하는 데이터 처리부를 더 포함하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 20 항에 있어서,
상기 데이터 처리부는,
상기 훈련용 데이터가 존재하는 경우, 상기 훈련용 데이터를 전처리하여 상기 인공지능 모델에 입력하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치. - 제 20 항에 있어서,
상기 데이터 처리부는,
상기 외부망의 활용이 가능한 경우, 상기 제1 웹 페이지에 대해 크롤링을 수행하여 상기 제1 웹 페이지를 통해 제공된 컨텐츠 정보를 수집하고, 환경 정보를 수집하며, 상기 컨텐츠 정보 및 상기 환경 정보를 데이터 전처리하여 상기 인공지능 모델에 입력하는 것을 특징으로 하는 웹 페이지의 시변화 데이터 예측 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220031855A KR20230134724A (ko) | 2022-03-15 | 2022-03-15 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| KR1020240004143A KR20240011847A (ko) | 2022-03-15 | 2024-01-10 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220031855A KR20230134724A (ko) | 2022-03-15 | 2022-03-15 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240004143A Division KR20240011847A (ko) | 2022-03-15 | 2024-01-10 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230134724A true KR20230134724A (ko) | 2023-09-22 |
Family
ID=88190153
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220031855A KR20230134724A (ko) | 2022-03-15 | 2022-03-15 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| KR1020240004143A KR20240011847A (ko) | 2022-03-15 | 2024-01-10 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240004143A KR20240011847A (ko) | 2022-03-15 | 2024-01-10 | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20230134724A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117499201A (zh) * | 2023-10-09 | 2024-02-02 | 华青融天(北京)软件股份有限公司 | 异常网页告警方法、装置、电子设备和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101984730B1 (ko) | 2018-10-23 | 2019-06-03 | (주) 글루시스 | 서버 장애 자동 예측 시스템 및 자동 예측 방법 |
| KR102278814B1 (ko) | 2019-11-21 | 2021-07-19 | 고려대학교 산학협력단 | 웹 응용에 대한 사용자 상호작용 예측 방법 및 서버 |
-
2022
- 2022-03-15 KR KR1020220031855A patent/KR20230134724A/ko not_active IP Right Cessation
-
2024
- 2024-01-10 KR KR1020240004143A patent/KR20240011847A/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101984730B1 (ko) | 2018-10-23 | 2019-06-03 | (주) 글루시스 | 서버 장애 자동 예측 시스템 및 자동 예측 방법 |
| KR102278814B1 (ko) | 2019-11-21 | 2021-07-19 | 고려대학교 산학협력단 | 웹 응용에 대한 사용자 상호작용 예측 방법 및 서버 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117499201A (zh) * | 2023-10-09 | 2024-02-02 | 华青融天(北京)软件股份有限公司 | 异常网页告警方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240011847A (ko) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ali et al. | A data aggregation based approach to exploit dynamic spatio-temporal correlations for citywide crowd flows prediction in fog computing | |
| Himeur et al. | Next-generation energy systems for sustainable smart cities: Roles of transfer learning | |
| Mallick et al. | Transfer learning with graph neural networks for short-term highway traffic forecasting | |
| Chan et al. | Market segmentation and ideal point identification for new product design using fuzzy data compression and fuzzy clustering methods | |
| KR20240011847A (ko) | 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
| CN110663030A (zh) | 用于处理极端数据的边缘设备、系统和方法 | |
| Nayak et al. | A review on edge analytics: Issues, challenges, opportunities, promises, future directions, and applications | |
| US20220156563A1 (en) | Detecting adversary attacks on a deep neural network (DNN) | |
| JP6971514B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111898247A (zh) | 滑坡位移预测方法、设备及存储介质 | |
| Brahimi et al. | Modelling on Car‐Sharing Serial Prediction Based on Machine Learning and Deep Learning | |
| US11941792B2 (en) | Machine learning-based analysis of computing device images included in requests to service computing devices | |
| Ounoughi et al. | EcoLight: Eco-friendly traffic signal control driven by urban noise prediction | |
| CN116805039B (zh) | 特征筛选方法、装置、计算机设备和数据扰动方法 | |
| Tangrand | Some new contributions to neural networks and wavelets with applications | |
| CN116541779A (zh) | 个性化公共安全突发事件检测模型训练方法、检测方法及装置 | |
| CN116486622A (zh) | 基于道路数据的交通智能规划系统及其方法 | |
| CN115937355A (zh) | 电力物联网负荷预测指纹图像构造方法、系统及介质 | |
| CN115019218A (zh) | 图像处理方法和处理器 | |
| US20220188775A1 (en) | Federated learning for multi-label classification model for oil pump management | |
| KR101617074B1 (ko) | 스마트 워터 그리드에서의 수자원 분배를 위한 컨텍스트 인지 추천방법 및 장치 | |
| Singh et al. | Evolution of Smart Home Energy Management System Using Internet of Things and Machine Learning Algorithms. | |
| KR102579116B1 (ko) | 클라우드 기반 인공지능 자동 학습 및 배포를 위한 장치 및 이를 위한 방법 | |
| CN116150341B (zh) | 理赔事件检测方法、计算机设备和存储介质 | |
| US20230092447A1 (en) | Semantic concept matching using enhanced weak supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |