KR102560907B1 - 개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치 - Google Patents

개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치 Download PDF

Info

Publication number
KR102560907B1
KR102560907B1 KR1020220137381A KR20220137381A KR102560907B1 KR 102560907 B1 KR102560907 B1 KR 102560907B1 KR 1020220137381 A KR1020220137381 A KR 1020220137381A KR 20220137381 A KR20220137381 A KR 20220137381A KR 102560907 B1 KR102560907 B1 KR 102560907B1
Authority
KR
South Korea
Prior art keywords
disaster
learning model
data
occurred
auto
Prior art date
Application number
KR1020220137381A
Other languages
English (en)
Inventor
안성훈
Original Assignee
주식회사 모비젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모비젠 filed Critical 주식회사 모비젠
Priority to KR1020220137381A priority Critical patent/KR102560907B1/ko
Application granted granted Critical
Publication of KR102560907B1 publication Critical patent/KR102560907B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 일 실시예는, 제1로우 데이터를 수집하는 단계; 수집된 제1로우 데이터를 라벨링하고 전처리하는 단계; 적어도 하나 이상의 알고리즘이 에이전트로 설정되어 동작하는 학습모델에 상기 전처리된 데이터를 입력하는 단계; 상기 에이전트를 기반으로 상기 학습모델을 상기 전처리된 데이터로 학습시키는 단계; 및 학습이 완료된 상기 학습모델에 제2로우 데이터가 입력되면, 상기 제2로우 데이터를 분석하여 재난이 발생되었는지 여부를 판단하는 단계를 포함하는, 개선된 학습모델을 통해 재난발생여부를 판단하는 방법을 개시한다.

Description

개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치 {Method for determining an occurrence of disaster using improved machine learning model and apparatus thereof}
본 발명은 기계학습을 수행하는 모델을 통해서 재난이 발생되었는지 판단하는 방법으로서, 보다 구체적으로, 향상된 학습 알고리즘을 통해서 국가적 재난이 발생된 것을 빠르게 판단할 수 있는 방법 및 그 방법을 구현하기 위한 장치에 관한 것이다.
국가적 재난에 있어서, 재난관리의 핵심원칙은 재난이 발생된 사실을 재난관리본부와 같은 전문기관에 가능한 한 빠르게 알리는 것이다. 과거에 발생했던 참사들의 공통점은, 재난이 발생된 사실이 늦게 통보되었을 뿐만 아니라, 신속하게 재난 상황에 대응하지 못했던 점이라고, 사후적으로 분석한 결과가 다양하게 공지되어 있다.
과거 매스미디어 중심의 일방향적 소통에서 소셜 미디어를 통한 양방향적 의사소통이 가능해지면서, 양산되는 정보량이 폭발적으로 증가하였다. 이렇듯 소셜 미디어의 정보 유통이 활발해지면서, 집단 지성을 활용한 재난 대응 노력이 이어지고 있다. 일 예로서, 국립재난안전연구원(NDMI: National Disaster Management research Institute)은 실시간 소셜 미디어 모니터링 시스템인 소셜 빅보드(Social Big Board)를 활용하여 재난 알림 서비스를 제공하고 있다.
그러나, 여전히, 집단 지성을 활용하여 국지적 재난을 탐지하는 프로세스는 아직 미흡한 실정으로, 자동화된 재난 알림 모델을 통해서, 적시 적소에 재난 정보를 제공하는 사용자별 맞춤형 재난 정보 제공의 필요성이 대두되고 있다.
대한민국 등록특허 제10-2445527호 (2022.09.16 등록)
본 발명이 해결하고자 하는 기술적 과제는, 자동화된 재난 탐지를 위한 개선된 학습모델을 운용하는 방법 및 그 방법을 통해서 재난발생여부를 판단하는 방법을 제공하는 데에 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 방법은, 제1로우 데이터를 수집하는 단계; 수집된 제1로우 데이터를 라벨링하고 전처리하는 단계; 적어도 하나 이상의 알고리즘이 에이전트로 설정되어 동작하는 학습모델에 상기 전처리된 데이터를 입력하는 단계; 상기 에이전트를 기반으로 상기 학습모델을 상기 전처리된 데이터로 학습시키는 단계; 및 학습이 완료된 상기 학습모델에 제2로우 데이터가 입력되면, 상기 제2로우 데이터를 분석하여 재난이 발생되었는지 여부를 판단하는 단계를 포함한다.
상기 방법에 있어서, 상기 제1로우 데이터는, 기설정된 SNS 플랫폼의 데이터가 일정 개수 이상 수집되도록 크롤링하는 수집알고리즘에 의해서 수집된 데이터일 수 있다.
상기 방법에 있어서, 상기 에이전트는, 시퀀스 LSTM(Long-Short Term Memery) 알고리즘일 수 있다.
상기 방법에 있어서, 상기 라벨링하고 전처리하는 단계는, 재난이 발생되는 국가를 기설정된 국가로 한정할 수 있다.
상기 방법에 있어서, 상기 라벨링하고 전처리하는 단계는, 이모지(Emoji) 제거, 한글 맞춤법 검사, 한글 띄어쓰기 검사 중 적어도 하나를 수행할 수 있다.
상기 방법에 있어서, 상기 학습모델은, 자동검증 모듈(Auto-Evaluation Module), 자동 클린징 모듈(Auto-Cleansin Module), 자동최적화 모듈(Auto-Optimization Module), 자동화된 탐지설계 모듈(Auto-Search Modeling Module) 및 자동 유의성 도출 모듈(Auto Search Space Preprocessing Module)을 포함할 수 있다.
상기 방법에 있어서, 상기 재난이 발생되었는지 여부를 판단하는 단계는, 제2로우 데이터에서 재난에 대한 데이터로 최종분류된 키워드의 수를 계수하는 단계; 및 상기 계수된 키워드의 수로 재난이 발생되었는지 여부를 최종적으로 판단하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시예에 따른 장치는, 개선된 학습모델을 통해 재난발생여부를 판단하는 장치로서, 제1로우 데이터를 수집하는 수집부; 수집된 제1로우 데이터를 라벨링하고 전처리하는 전처리부; 적어도 하나 이상의 알고리즘이 에이전트로 설정되어 동작하는 학습모델에 상기 전처리된 데이터를 입력하는 입력제어부; 상기 에이전트를 기반으로 상기 학습모델을 상기 전처리된 데이터로 학습시키는 학습제어부; 및 학습이 완료된 상기 학습모델에 제2로우 데이터가 입력되면, 상기 제2로우 데이터를 분석하여 재난이 발생되었는지 여부를 판단하는 재난판단부를 포함한다.
상기 장치에 있어서, 상기 제1로우 데이터는, 기설정된 SNS 플랫폼의 데이터가 일정 개수 이상 수집되도록 크롤링하는 수집알고리즘에 의해서 수집된 데이터일 수 있다.
상기 장치에 있어서, 상기 에이전트는, 시퀀스 LSTM(Long-Short Term Memery) 알고리즘일 수 있다.
상기 장치에 있어서, 상기 전처리부는, 재난이 발생되는 국가를 기설정된 국가로 한정할 수 있다.
상기 장치에 있어서, 상기 전처리부는, 이모지(Emoji) 제거, 한글 맞춤법 검사, 한글 띄어쓰기 검사 중 적어도 하나를 수행할 수 있다.
상기 장치에 있어서, 상기 학습모델은, 자동검증 모듈(Auto-Evaluation Module), 자동 클린징 모듈(Auto-Cleansin Module), 자동최적화 모듈(Auto-Optimization Module), 자동화된 탐지설계 모듈(Auto-Search Modeling Module) 및 자동 유의성 도출 모듈(Auto Search Space Preprocessing Module)을 포함할 수 있다.
상기 장치에 있어서, 상기 재난판단부는, 제2로우 데이터에서 재난에 대한 데이터로 최종분류된 키워드의 수를 계수하고, 상기 계수된 키워드의 수로 재난이 발생되었는지 여부를 최종적으로 판단할 수 있다.
본 발명의 일 실시예는, 상기 방법을 실행시키기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체를 제공할 수 있다.
본 발명에 따르면, 빠르고 정확하게 재난이 발생된 사실을 자동으로 감지하고, 그 사실을 다수의 사용자에게 제공할 수 있다.
또한, 본 발명에 따른 재난 발생여부를 판단하는 방법은 기존의 알려져 있는 학습모델을 통해서 재난발생여부를 판단하는 방법에 비해서 정확하다.
도 1은 본 발명에 따른, 개선된 학습모델을 통해 재난발생여부를 판단하는 장치의 동작을 개념적으로 설명한 개념도이다.
도 2는 자동재난발생 판단장치의 일 예를 블록도로 나타낸 도면이다.
도 3은 도 2에서 설명한 처리부의 다른 일 예를 블록도로 나타낸 도면이다.
도 4는 표 1에서 설명한 알고리즘들의 모델적중률을 도식적으로 나타낸 도면이다.
도 5는 표 1에서 설명한 알고리즘들의 사고적중률을 도식적으로 나타낸 도면이다.
도 6은 표 1에서 설명한 알고리즘들의 모델정확도를 도식적으로 나타낸 도면이다.
도 7은 표 1에서 설명한 알고리즘들의 F1스코어를 도식적으로 나타낸 도면이다.
도 8은 표 1에서 설명한 알고리즘들의 탐지건수를 도식적으로 나타낸 도면이다.
도 9는 본 발명에 따른 방법의 일 예를 흐름도로 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시 예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시 예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도 1은 본 발명에 따른, 개선된 학습모델을 통해 재난발생여부를 판단하는 장치의 동작을 개념적으로 설명한 개념도이다.
이하에서는, 본 발명에 따른, 개선된 학습모델을 통해 재난발생여부를 판단하는 장치를 자동재난발생 판단장치로 약칭하기로 한다.
본 발명에 따른 자동재난발생 판단장치는 웹 크롤링(web crawing)을 통해서 재난이 발생되었는지 여부를 판단하기 위한 대상 데이터를 자동으로 수집할 수 있다. 자동재난발생 판단장치는 재난이 발생되었는지 판단하기 위해서 대상 데이터를 주기적으로 수집할 수 있고, 기설정된 시간 함수에 따라서 대상 데이터를 비주기적으로 수집할 수도 있다.
자동재난발생 판단장치는 기존에 존재하고 있는 소셜 네트워크 서비스 플랫폼(social network service platform)에서 공개적으로 검색가능한 게시글을 크롤링 데이터로 수집할 수 있다. 예를 들어, 자동재난발생 판단장치는 트위터(twitter)에서 현재로부터 일정 시간 내에 작성된 트윗(tweet)을 크롤링 방식으로 수집할 수 있다. 전술한 트위터는 소셜 네트워크 서비스 플랫폼의 일 예이므로, 자동재난발생 판단장치는 트위터가 아니라 다른 SNS플랫폼의 게시글을 수집하여 재난발생사실을 판단하는 데에 활용할 수 있는 것은 이 분야의 통상의 기술자에게 자명할 것이다.
자동재난발생 판단장치는 수집된 게시글 데이터를 일정한 규칙에 따라서 라벨링(labeling)하고, 전처리(pre-processing)한 후에, 전처리된 데이터가 자동재난발생 판단장치에 포함되어 있는 학습모델에 입력되도록 제어할 수 있다.
도 1에 도시된 것처럼, 자동재난발생 판단장치의 학습모델은, 자동검증 모듈(Auto-Evaluation Module), 자동클린징 모듈(Auto-Cleansin Module), 자동최적화 모듈(Auto-Optimization Module), 자동화된 탐지설계모듈(Auto-Search Modeling Module) 및 자동유의성 도출모듈(Auto Search Space Preprocessing Module)을 포함할 수 있다. 자동검증 모듈, 자동클린징 모듈, 자동최적화 모듈, 자동화된 탐지설계 모듈 및 자동유의성 도출모듈은 물리적 또는 논리적으로 자동재난발생 판단장치에 포함되어, 본 발명에 따른 NAS(Neural Architecture Search) 프로세스를 구현할 수 있다.
본 발명에 따른 NAS 프로세스를 통해서 게시글 데이터를 효과적으로 학습한 학습모델은 학습이 완료된 후에 시험 데이터(test data)가 입력되면, 시험 데이터를 기초로 하여 재난이 발생되었는지 여부를 판단하고, 판단결과를 출력값으로 출력하게 된다.
도 2는 자동재난발생 판단장치의 일 예를 블록도로 나타낸 도면이다.
도 2를 참조하면, 자동재난발생 판단장치(200)는 데이터베이스(210), 통신부(230), 처리부(250) 및 출력부(270)를 포함하는 것을 알 수 있다.
본 발명의 일 실시 예에 따른 자동재난발생 판단장치(200)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 자동재난발생 판단장치(200) 및 자동재난발생 판단장치(200)에 포함되어 있는 통신부(230), 처리부(250), 출력부(270)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 하드웨어 장치에 포함된 형태로 구동될 수 있다.
도 2에 도시된 자동재난발생 판단장치(200)에 포함된 각 모듈의 명칭은, 각 모듈이 수행하는 대표기능을 직관적으로 설명하기 위해서 임의로 명명된 것으로서, 자동재난발생 판단장치(200)가 실제로 구현되었을 때, 각 모듈에는 도 2에 기재된 명칭과는 다른 명칭이 부여될 수 있다.
또한, 도 2의 자동재난발생 판단장치(200)에 포함되어 있는 모듈의 수는 실시 예에 따라 매번 달라질 수 있다. 보다 구체적으로는, 도 2의 자동재난발생 판단장치(200)는 총 4개의 모듈을 포함하고 있으나, 실시 예에 따라서, 적어도 둘 이상의 모듈이 하나의 모듈로 통합되거나, 적어도 하나 이상의 모듈이 둘 이상의 모듈로 분리되는 형태로 구현될 수도 있다.
데이터베이스(210)는 자동재난발생 판단장치(200)가 동작하기 위해서 필요한 각종 데이터를 저장하고 있다. 일 예로서, 데이터베이스(210)는 자동재난발생 판단장치(200)의 동작을 제어하기 위한 통합관리 프로그램을 저장하고 있으며, 데이터베이스(210)는 통신부(230)가 수신한 데이터를 전달받아 저장할 수 있다. 다른 일 예로서, 데이터베이스(210)는 자동재난발생 판단장치(200)가 통신부(230)를 통해 수집한 SNS플랫폼의 게시글 데이터를 저장하고 있다가 처리부(250)의 요청을 받아서 처리부(250)에 SNS플랫폼의 게시글 데이터를 전달할 수 있다.
통신부(230)는 구축되어 있는 기존 통신망을 통해 외부 통신가능한 장치들과 통신을 수행할 수 있다. 통신망은 자동재난발생 판단장치(200)와 SNS플랫폼의 게시글을 저장하고 있는 서버 또는 클라우드를 연결시키는 기능을 수행하고, 데이터망, 이동통신망, 인터넷 등 각종 유무선 통신망을 포함할 수 있다. 특히, 본 발명에서 통신망은 현재 사용되고 있는 이동통신망뿐만 아니라 이미 사용되었다가 폐기된 구세대 이동통신망 및 향후 인프라가 구축되어 사용될 예정인 차세대 이동통신망을 모두 포함하므로, GSM(Global System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), CDMA 2000, LTE(Long Term Evolution), LTE-A(Long Term Evolution Advanced), 5G(5-Generation) 및 2030년에 서비스 예정인 6G 이동통신망 중 하나가 될 수 있다.
처리부(250)는 통신부(230)가 수신한 데이터 및 통신부(230)가 송신할 데이터를 처리하며, 자동재난발생 판단장치(200)의 동작을 총괄적으로 제어할 수 있다. 처리부(250)에 대해서는, 도 3을 통해 상세히 설명하기로 한다.
출력부(270)는 처리부(250)의 명령을 받아서 처리부(250)가 산출한 데이터를 외부로 출력하는 기능을 수행한다. 일 예로서, 출력부(270)는 처리부(250)가 처리한 결과데이터를 출력하여, 통신부(230)에 전달할 수 있다.
도 3은 도 2에서 설명한 처리부의 다른 일 예를 블록도로 나타낸 도면이다.
도 3을 참조하면, 처리부(250)는 수집부(251), 전처리부(253), 입력제어부(255), 학습제어부(257) 및 재난판단부(259)를 포함하는 것을 알 수 있다. 수집부(251), 전처리부(253), 입력제어부(255), 학습제어부(257) 및 재난판단부(259)는 처리부(250)에 포함된 하위모듈이므로, 전술한 것처럼 적어도 하나 이상의 프로세서에 해당하거나, 적어도 하나 이상의 프로세서를 포함하여 독자적인 연산이 가능한 모듈일 수 있다. 또한, 도 3에서 처리부(250)는 총 5개의 하위모듈을 포함하는 것으로 도시되어 있으나, 실시 예에 따라서, 도 3에 도시된 적어도 하나 이상의 모듈이 다른 모듈에 포함되거나, 적어도 둘 이상의 모듈이 하나의 모듈로 통합된 형태로 구현될 수도 있다. 이하에서는, 도 2를 참조하여 설명하기로 한다.
수집부(251)는 제1로우 데이터를 수집할 수 있다. 여기서, 제1로우 데이터는 기설정된 SNS플랫폼의 데이터가 일정 개수 이상 수집되도록 크롤링하는 수집알고리즘에 의해서 수집된 게시글 데이터일 수 있다. 예를 들어, 제1로우 데이터는 2021년 10월 21일 0시부터 2021년 10월 22일 0시까지 작성된 57840개의 트윗(tweet) 데이터일 수 있다. 여기서, 제1로우 데이터가 수집되는 시간적 범위, 양적 범위 및 SNS플랫폼의 종류는 실시예에 따라서 달라질 수 있으므로, 제1로우 데이터가 수집된 기간은 2021년이 아닐 수 있고, 57840개보다 더 많거나 더 적을수도 있으며, 트위터(twitter)가 아닌 페이스북(facebook)이나 인스타그램(instagram)에 게시되어 있는 게시글일 수 있다.
수집부(251)는 이미 공지되어 있는 소셜 데이터 크롤러(social data crawler)를 물리적인 또는 논리적인 모듈로 포함할 수 있으며, 수집부(251)에 포함된 소셜 데이터 크롤러는 미리 설정된 개수의 SNS게시글을 시계열적으로 수집하도록 동작할 수 있다.
전처리부(253)는 수집된 제1로우 데이터를 라벨링하고 전처리하는 기능을 수행할 수 있다. 먼저, 전처리부(253)는 수집부(251)로부터 제1로우 데이터를 전달받아서, 제1로우 데이터를 라벨링할 수 있다. 전처리부(253)가 제1로우 데이터를 라벨링하는 기준은 여러 가지가 있을 수 있다.
예를 들어, 전처리부(253)는 재난이 발생되는 국가를 기설정된 국가로 한정하는 자동알고리즘으로 제1로우 데이터를 라벨링할 수 있다. 기설정된 국가가 대한민국이라면, 최종적으로 재난판단부(259)가 재난이 발생되었다고 판단하는 국가는 대한민국이 될 수 있으며, 여기서 기설정된 국가는 대한민국 외에 다른 국가가 될 수도 있다. 또한, 전처리부(253)는 간단한 키워드 필터링을 통해서, 재난경고, 재난복구에 대한 날짜, 시간, 장소 등을 특정할 수 있는지 여부를 수집된 제1로우 데이터마다 라벨링할 수 있다.
즉, 전처리부(253)에서 처리되는 제1로우 데이터의 라벨링은 수집된 SNS게시글별로 적용되는 메타데이터(metadata)를 부여하는 것을 의미하고, 후술하는 학습모델의 학습실패를 방지하기 위해 선행되는 프로세스로 이해될 수 있다.
이어서, 전처리부(253)는 전처리(pre-processing)과정으로서 제1로우 데이터에서 이모지(Emoji)를 제거하거나, 맞춤법을 검사하거나, 띄어쓰기 검사를 하는 것과 같은 교정(correction)처리를 수행할 수 있다.
입력제어부(255)는 적어도 하나 이상의 알고리즘이 에이전트(agent)로 설정되어 동작하는 학습모델에 전처리된 데이터가 적절히 입력되도록 제어하는 기능을 수행한다. 보다 구체적으로, 입력제어부(255)는 크롤러를 통해 수집된 제1로우 데이터가 라벨링 및 전처리되면, 이를 임베딩(embedding)하여 벡터(vector)로 가공하고, 가공된 벡터를 입력값으로 하는 학습모델에 벡터가 제대로 입력되도록 제어하는 기능을 수행할 수 있다.
여기서, 학습모델은 딥러닝(Deep Learning)과 같은 기계학습알고리즘(ML Algorithm)으로 학습데이터(training data)에 대해서 학습을 수행하고, 학습이 완료된 이후에 입력되는 시험데이터에 대해서 결과값을 출력하는 모델을 의미한다. 특히, 학습모델이 강화 학습(reinforcement learning)을 기반을 하는 딥러닝모델일 경우, 환경(environment) 및 에이전트(agent)가 구성요소(component)로 필수적으로 포함되어야 하며, 본 발명에서 에이전트는 시퀀스 LSTM(Sequence Long-Short Term Memory)알고리즘이 사용될 수 있다.
선택적 일 실시예로서, 도 1에 도시된 것처럼, 학습모델은 제1로우 데이터 전체에 해당하는 데이터셋(data set)에 적합한 딥러닝 알고리즘과 그에 대응되는 하이퍼 파라미터(hyper parameter)를 찾기 위한 방법으로서, NAS(Neural Architecture)알고리즘을 사용할 수 있으며, NAS알고리즘을 이용할 경우, 학습모델에 입력되는 데이터를 벡터데이터로 가공하는 임베딩 프로세스가 최적화될 수 있어서, 수집된 게시글 데이터에서 재난발생을 판단하는 학습모델의 정확도가 크게 향상될 수 있다. 이하에서는, 학습모델에 포함된 모델로서, 전처리 및 가공처리된 제1로우 데이터가 임베딩되어 입력되었을 때 NAS알고리즘을 수행하는 모델을 NAS모델로 호칭하기로 한다.
이하에서는, 임베딩 프로세스의 최적화 과정에 대해서 설명한다.
입력제어부(255)는 딥러닝 알고리즘과 그에 대응되는 하이퍼 파라미터를 찾는 방법을 NAS알고리즘을 통해 진행하기에 앞서, 전처리가 완료된 제1로우 데이터에 대해서 최적화된 임베딩 프로세스를 수행할 수 있다. 보다 구체적으로, 입력제어부(255)는 복수의 형태소분석기를 후보군으로 설정하고, 분석률, 처리속도 및 애매성 분석여부를 정량적인 지표로 삼아서 조화평균을 산출하고 최종 지표를 도출하여 가장 좋은 성능을 도출하는 형태소분석기를 하나 선정하는 프로세스를 수행할 수 있다. 이때, 복수의 형태소분석기는 한나눔, 꼬꼬마 등과 같은 종래에 알려진 형태소분석기일 수 있으며, 전처리과정에서 파악된 국가에 따라서 달라질 수 있다.
여기서, 분석률은 제1로우 데이터의 형태소를 정확히 분석한 비율, 잘못 분석한 비율, 오인식 비율에 의해서 달라지는 가변값을 의미한다. 또한, 처리속도는 단위 시간당 분석한 단어의 수 및 복잡도(complexity)에 의해 결정되는 값을 의미한다. 또한, 애매성 분석 여부는 애매성이 내포된 단어의 모든 분석 결과 생성 및 비교에 의해 산출되는 단일값을 의미한다. 입력제어부(255)는 전술한 세 가지 정량적인 지표로 조화평균(harmonic mean)을 산출하고, 산출된 조화평균 값을 최종 지표로 하여 제1로우 데이터의 성향(재난 특성을 의미)에 가장 부합하는 형태소분석기를 하나 결정하여 사용할 수 있다.
이어서, 입력제어부(255)는 형태소분석이 완료된 제1로우 데이터에 대해서 임베딩 프로세스의 최적화를 수행할 수 있다. 보다 구체적으로, 입력제어부(255)는 복수의 서로 다른 임베딩알고리즘을 후보군으로 설정한 상태에서 좌표 거리 및 분류정량평가의 조화평균(harmonic mean)을 사용하여, 제1로우 데이터 및 NAS모델에 대해서 가장 좋은 임베딩 성능(조화 평균값)을 보이는 알고리즘을 임베딩알고리즘을 결정하고, 그에 따라 임베딩 처리를 수행할 수 있다.
여기서, 복수의 임베딩 알고리즘은 공지되어 있는 Sentence2Vec알고리즘 및 Bert에 포함되어 있는 Positional Encoding알고리즘 등을 포함할 수 있으며, 이에 한정되지 않는다. 또한, 좌표 거리는 임베디드된 단어 또는 문장 간의 물리적인 거리를 유클리드 거리로 표현한 값을 의미하고, 분류정량평가는 제1로우 데이터와 NAS모델간의 승산비(Odds Ratio)값이 될 수 있다.
학습제어부(257)는 에이전트를 기반으로 하여, 학습모델이 전처리된 데이터로 학습되도록 제어할 수 있다.
구체적으로, 학습제어부(257)는 입력제어부(255)에서 제1로우 데이터를 NAS모델에 입력하기 위해서 최적의 임베딩 처리를 완료하면, 임베딩된 데이터로 학습을 진행하게 된다. 임베딩된 데이터에서 가장 적합한 파라미터(하이퍼 파라미터)를 찾으려면 많은 시간과 리소스가 필요하며, 그 중에서도, 학습모델의 학습시간은 모델 개발의 주요 지표가 될 수 있다.
과업(Tasks) RF(분) SVC(분) GBM(분) 본 발명의 장치
임베딩
(Embedding)		 2.58 -
하이퍼 파라미터 최적화 학습
(Training)		 17.42 19.28 9.75 35.86
총소요시간(분) 20.00 21.86 12.33 35.86
표 1은 본 발명에 따른 재난발생여부 판단장치와 다른 학습모델의 학습시간을 비교한 결과를 표로 나타낸 것이다. 본 발명에서 수행되는 학습모델과 비교하기 위해서 사용된 기계학습알고리즘은 랜덤 포레스트(RF: Random Forest), 서포트 벡터 분류기(SVC: Support Vector Classifier), 그레디언트 부스트 머신(GBM: Gradient Boost Machine), 이상 3종류이다. 표 1에서는 학습 데이터(게시글) 4337개를 학습한 결과이지만, 실시예에 따라서 학습 데이터의 수는 달라질 수 있다.
표 1을 참조하면, GBM이 가장 빨리 학습을 마쳤고, 본 발명에 따른 장치는 약 36분만에 학습을 완료한 것을 알 수 있다. 본 발명에 따른 장치는 딥러닝 알고리즘에 대응되는 하이퍼 파라미터를 찾는 과정에 임베딩 프로세스를 포함시켜 진행하는 특성상, 임베딩을 무조건적으로 선행하는 다른 알고리즘에 비해서 학습시간은 다소 긴 경향이 있으며, 임베딩을 선행하여 진행하기 위한 시간을 소요되지 않는 특징이 있다.
재난판단부(259)는 학습이 완료된 학습모델에 제2로우 데이터가 입력되면, 제2로우 데이터를 분석하여 재난이 발생되었는지 여부를 판단할 수 있다.
도 4는 표 1에서 설명한 알고리즘들의 모델적중률을 도식적으로 나타낸 도면이다.
도 4 내지 도 8에서 Metamon은, 본 발명에 따른 재난발생여부 판단 장치에서 사용된 학습알고리즘 또는 학습모델로 간주한다.
도 4를 참조하면, Metamon의 모델적중률은 임계치(threshold value)를 0.1에서 0.9로 변경하는 과정에서, 83% 내지 89%정도로, 다른 학습알고리즘의 모델적중률에 비해서 상대적으로 높은 것을 알 수 있다. 여기서, 모델적중률이 높다는 것은, 장치에 의해서 재난이 발생된 것으로 판단된 상태에서, 실제로 재난이 발생된 경우를 의미한다.
도 5는 표 1에서 설명한 알고리즘들의 사고적중률을 도식적으로 나타낸 도면이다.
도 5의 사고적중률은 재난의 재현율을 의미하며, 재현율이 높을수록 동일한 유형의 재난의 재현확률이 높은 것을 의미한다. 도 5를 참조하면, Metamon의 사고적중률은 임계치를 0.1에서 0.9로 변경하는 과정에서, 89%에서 83%정도까지 낮아지며, 다른 학습알고리즘의 사고적중률에 비해서 상대적으로 높은 것을 알 수 있다.
도 6은 표 1에서 설명한 알고리즘들의 모델정확도를 도식적으로 나타낸 도면이다.
도 6의 모델정확도는 도 4에서 설명한 모델적중률과 달리 학습모델 자체의 정밀도를 나타낸다. 도 6을 참조하면, Metamon의 모델정확도는 임계치를 0.1에서 0.9로 변경하는 과정에서, 93.85%에서 94.33%정도까지 변경되며, 다른 학습알고리즘의 모델정확도에 비해서 상대적으로 높은 것을 알 수 있다.
도 7은 표 1에서 설명한 알고리즘들의 F1스코어를 도식적으로 나타낸 도면이다.
도 7에서 F1스코어는 정밀도와 재현율의 조화 평균(harmonic mean)을 의미하고, 분류결과가 불균형구조일 때의 학습모델의 성능을 정확하게 평가할 수 있는 척도를 의미한다. 보다 간결한 결과를 위해서, 입력된 시험 데이터(제2로우 데이터)의 수는 1447개이고, 그 중에서 실제 재난에 대한 게시글은 311건이었다고 가정한다. 도 7을 참조하면, Metamon의 F1스코어가 다른 알고리즘들의 F1스코어보다 상대적으로 더 높은 것을 알 수 있다.
도 8은 표 1에서 설명한 알고리즘들의 탐지건수를 도식적으로 나타낸 도면이다.
도 8을 참조하면, Metamon과 SVC가 임계치를 다양하게 변화시키더라도 거의 비슷한 탐지건수를 나타내며, RF의 경우는 탐지건수가 부족하고, GBM은 탐지건수가 과도한 측면이 있다는 것을 알 수 있다.
평가지표
(Metric)		 RF SVC GBM 본 발명의 장치
(Metamon)
정확도 0.8625 0.8728 0.8721 0.9385
재현율 0.6559 0.7235 0.7428 0.8939
정밀도 0.6892 0.6966 0.6875 0.8823
F1스코어 0.6722 0.7098 0.7141 0.8928
표 2는 도 4 내지 도 8에서 설명한 알고리즘들의 각종 지표를 통합하여 비교한 결과를 나타내고 있다. 표 2를 참조하면, 본 발명에 따른 재난발생여부 판단장치가 모든 평가지표에서 가장 우수한 값을 나타내는 것을 알 수 있다.
일 실시예로서, 재난판단부(259)는 제2로우 데이터에서 재난에 대한 데이터로 최종분류된 키워드(또는, 게시글)의 수를 계수하고, 계수된 키워드(또는, 게시글)의 수로 재난이 발생되었는지 여부를 최종적으로 판단할 수도 있다. 여기서, 재난판단부(259)가 계수된 키워드(또는, 게시글)의 수와 비교하기 위한 값이 미리 설정될 수 있으며, 그 설정된 값은 장치내부에 설정된 임계치에 따라 달라질 수 있다. 여기서, 제2로우 데이터는 앞서 학습모델을 학습시키기 위해서 사용된 학습데이터가 아니라 실제 재난 발생 여부를 판단하기 위한 시험데이터(test data)의 성격을 갖는다는 것은 이 분야의 통상의 기술자라면 이해할 수 있을 것이다.
과업(Task) Baseline Process(초) Metamon(초)
이모지 제거
(Emoji remove)		 15.71 -
맞춤법 교정
(Data Correction)		 18.85 -
품사 태깅
(POS: Part Of Speach)		 22.58 -
토큰화
(Tokenizing)		 4.52 -
임베딩
(Embedding)		 41.58 -
추론
(Inference)		 2.26 82.15
총소요시간(초) 105.50 82.15
표 3은 학습이 완료된 학습모델에 제2로우 데이터가 입력되었을 때의 재난발생여부를 판단하기까지 소요되는 시간과 종래 모델의 소요 시간을 비교한 표이다. 보다 구체적으로, 표 3에서 Baseline Process는 표 1 및 표 2에서 설명한 다른 알고리즘으로 장치를 구현했을 때의 소요시간의 평균이며, Metamon은 본 발명에 따른 장치가 재난발생여부를 판단하기까지 소요되는 시간을 의미한다. 표 3에서 제2로우 데이터의 수는 도 7의 설명과 동일하게 1447개의 게시글 데이터를 사용한 것으로 간주한다.
표 1 내지 표 3을 모두 참조하면, 본 발명에 따른 장치는 학습하는 시간은 다른 알고리즘보다 더 오래 걸리지만, 학습이 완료된 이후에 모델의 정확도, 재현율, 정밀도, F1스코어는 더 우수할 뿐만 아니라, 학습이 완료된 후의 동일한 조건에서 재난발생여부를 판단하는 시간은 더 짧은 것을 알 수 있다. 특히, 표 3에서 본 발명에 따른 장치는 사전 처리 및 추론이 일체형(통합장치인 처리부(250)에서 처리)으로 처리되므로, 추론시간만 측정된 것을 알 수 있으며, 이러한 결과는 표 1에서 설명한 내용에 부합하는 결과이다.
도 9는 본 발명에 따른 방법의 일 예를 흐름도로 나타낸 도면이다.
도 9에 따른 방법은 도 2 및 도 3에서 설명한 처리부(250) 및 처리부(250)에 포함되어 있는 하위모듈들에 의해서 구현될 수 있으므로, 이하에서는, 도 2 및 도 3을 참조하여 설명하기로 하며, 이미 설명한 내용과 중복되는 설명은 생략하기로 한다.
수집부(251)는 제1로우 데이터를 수집할 수 있다(S910).
전처리부(253)는 수집된 제1로우 데이터를 라벨링하고 전처리할 수 있다(S930).
입력제어부(255)는 적어도 하나 이상의 알고리즘이 에이전트로 설정되어 동작하는 학습모델에 전처리된 데이터가 입력되도록 제어할 수 있다(S950).
학습제어부(257)는 에이전트를 기반으로 학습모델이 전처리된 데이터를 학습하도록 제어할 수 있다(S970).
재난판단부(259)는 학습이 완료된 학습모델에 제2로우 데이터가 입력되면, 그 결과로 재난이 발생되었는지 여부를 판단할 수 있다(S990).
이상 설명된 본 발명에 따른 실시 예는 컴퓨터상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1로우 데이터를 수집하는 단계;
    수집된 제1로우 데이터를 라벨링하고 전처리하는 단계;
    적어도 하나 이상의 알고리즘이 에이전트로 설정되어 동작하는 학습모델에 상기 전처리된 데이터를 입력하는 단계;
    상기 에이전트를 기반으로 상기 학습모델을 상기 전처리된 데이터로 학습시키는 단계; 및
    학습이 완료된 상기 학습모델에 제2로우 데이터가 입력되면, 상기 제2로우 데이터를 분석하여 재난이 발생되었는지 여부를 판단하는 단계를 포함하고,
    상기 학습모델은,
    자동검증 모듈(Auto-Evaluation Module), 자동 클린징 모듈(Auto-Cleansin Module), 자동최적화 모듈(Auto-Optimization Module), 자동화된 탐지설계 모듈(Auto-Search Modeling Module) 및 자동 유의성 도출 모듈(Auto Search Space Preprocessing Module)을 포함하는, 학습모델을 통해 재난발생여부를 판단하는 방법.
  7. 제6항에 있어서,
    상기 재난이 발생되었는지 여부를 판단하는 단계는,
    제2로우 데이터에서 재난에 대한 데이터로 최종분류된 키워드의 수를 계수하는 단계; 및
    상기 계수된 키워드의 수로 재난이 발생되었는지 여부를 최종적으로 판단하는 단계를 포함하는, 학습모델을 통해 재난발생여부를 판단하는 방법.
  8. 제6항 및 제7항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 학습모델을 통해 재난발생여부를 판단하는 장치로서,
    제1로우 데이터를 수집하는 수집부;
    수집된 제1로우 데이터를 라벨링하고 전처리하는 전처리부;
    적어도 하나 이상의 알고리즘이 에이전트로 설정되어 동작하는 학습모델에 상기 전처리된 데이터를 입력하는 입력제어부;
    상기 에이전트를 기반으로 상기 학습모델을 상기 전처리된 데이터로 학습시키는 학습제어부; 및
    학습이 완료된 상기 학습모델에 제2로우 데이터가 입력되면, 상기 제2로우 데이터를 분석하여 재난이 발생되었는지 여부를 판단하는 재난판단부를 포함하고,
    상기 학습모델은,
    자동검증 모듈(Auto-Evaluation Module), 자동 클린징 모듈(Auto-Cleansin Module), 자동최적화 모듈(Auto-Optimization Module), 자동화된 탐지설계 모듈(Auto-Search Modeling Module) 및 자동 유의성 도출 모듈(Auto Search Space Preprocessing Module)을 포함하는, 학습모델을 통해 재난발생여부를 판단하는 장치.
  15. 제14항에 있어서,
    상기 재난판단부는,
    제2로우 데이터에서 재난에 대한 데이터로 최종분류된 키워드의 수를 계수하고,
    상기 계수된 키워드의 수로 재난이 발생되었는지 여부를 최종적으로 판단하는, 학습모델을 통해 재난발생여부를 판단하는 장치.
KR1020220137381A 2022-10-24 2022-10-24 개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치 KR102560907B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220137381A KR102560907B1 (ko) 2022-10-24 2022-10-24 개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220137381A KR102560907B1 (ko) 2022-10-24 2022-10-24 개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102560907B1 true KR102560907B1 (ko) 2023-07-31

Family

ID=87458315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220137381A KR102560907B1 (ko) 2022-10-24 2022-10-24 개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102560907B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133198A (ko) * 2015-05-12 2016-11-22 대한민국(국민안전처 국립재난안전연구원장) 키워드 관련도 기반의 재난 이슈별 재난 탐지 기술 및 이를 이용한 재난대처 방법
JP2017199225A (ja) * 2016-04-28 2017-11-02 北九州市 災害情報選択装置およびその方法
KR20220089533A (ko) * 2020-12-21 2022-06-28 한국전자통신연구원 인공지능 시스템의 데이터 수집 방법 및 장치
KR20220093671A (ko) * 2020-12-28 2022-07-05 올유저닷넷(주) Ai 기반의 소셜 네트워크 서비스 분석 장치
KR102445527B1 (ko) 2022-06-17 2022-09-21 주식회사 올인원 코리아 자가통신망을 이용한 긴급상황알림에 사용하는 방송장비와 ai기법을 활용한 단말장애 관리기능

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133198A (ko) * 2015-05-12 2016-11-22 대한민국(국민안전처 국립재난안전연구원장) 키워드 관련도 기반의 재난 이슈별 재난 탐지 기술 및 이를 이용한 재난대처 방법
JP2017199225A (ja) * 2016-04-28 2017-11-02 北九州市 災害情報選択装置およびその方法
KR20220089533A (ko) * 2020-12-21 2022-06-28 한국전자통신연구원 인공지능 시스템의 데이터 수집 방법 및 장치
KR20220093671A (ko) * 2020-12-28 2022-07-05 올유저닷넷(주) Ai 기반의 소셜 네트워크 서비스 분석 장치
KR102445527B1 (ko) 2022-06-17 2022-09-21 주식회사 올인원 코리아 자가통신망을 이용한 긴급상황알림에 사용하는 방송장비와 ai기법을 활용한 단말장애 관리기능

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박순욱 외 3인, A Deep Learning Model for Disaster Alerts Classification, 한국컴퓨터정보학회논문지, Vol. 26, No. 12, pp. 1-9, 2021.12.* *

Similar Documents

Publication Publication Date Title
US20210224258A1 (en) Computer-based systems configured for entity resolution for efficient dataset reduction
CN106992994B (zh) 一种云服务的自动化监控方法和系统
US20180365574A1 (en) Method and apparatus for recognizing a low-quality article based on artificial intelligence, device and medium
US8453027B2 (en) Similarity detection for error reports
US20170109668A1 (en) Model for Linking Between Nonconsecutively Performed Steps in a Business Process
US20170109667A1 (en) Automaton-Based Identification of Executions of a Business Process
CN111949646B (zh) 基于大数据的设备运行状况分析方法、装置、设备及介质
CN111160783B (zh) 数字资产价值的评价方法、系统及电子设备
CN112434178B (zh) 图像分类方法、装置、电子设备和存储介质
US20170109639A1 (en) General Model for Linking Between Nonconsecutively Performed Steps in Business Processes
KR102407057B1 (ko) Sns 사용자 채널에 대한 공개 데이터를 분석하여 영향력 리포트를 제공하는 시스템 및 방법
CN108550065A (zh) 评论数据处理方法、装置及设备
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
US11373103B2 (en) Artificial intelligence based system and method for predicting and preventing illicit behavior
CN116841779A (zh) 异常日志检测方法、装置、电子设备和可读存储介质
US20170109640A1 (en) Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process
CN112732690B (zh) 一种用于慢病检测及风险评估的稳定系统及方法
KR102560907B1 (ko) 개선된 학습모델을 통해 재난발생여부를 판단하는 방법 및 그 장치
CN107016561B (zh) 一种信息处理方法和装置
US20170109637A1 (en) Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process
CN109933784B (zh) 一种文本识别方法和装置
CN116432099A (zh) 日志分类方法、装置、电子设备及存储介质
CN113962216A (zh) 文本处理方法、装置、电子设备及可读存储介质
KR101691083B1 (ko) 토픽 모델과 다중 특성 기반의 버그 정정 개발자 추천 및 버그 심각성 예측 시스템 및 방법
CN112768090A (zh) 一种用于慢病检测及风险评估的过滤系统及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant